AWS兰姆达

AWS兰姆达

应用程序和数据/ 应用托管/ 无服务器/任务处理

决定 在FundsCorner about 扎帕AWS兰姆达,SQLAlchemy蟒蛇,亚马逊Node.js,蒙哥德针迹PostgreSQL,蒙哥大

Avatar of jeyabalajis

最近,我们正在研究一些可靠且经济高效的复制我们生产中的数据的方法。蒙哥大到A波斯特雷斯尔数据仓库和商业智能数据库。

我们为完成这项工作的最佳工具设置了以下标准:-数据复制必须接近实时,yet it should NOT impact the production database- The data replication must be horizontally scalable (based on the load),异步和抗崩溃

根据上述标准,我们选择了以下工具来执行端到端数据复制:

我们选择蒙哥德针迹用于获取源数据库中的更改。它是MongoDB的无服务器平台。One of the services offered by MongoDB Stitch is Stitch Triggers.Using stitch triggers,you can execute a serverless function (inJ.N.) in real time in response to changes in the database.当数据库发生大量更改时,Stitch通过异步队列自动“前馈”这些更改。

我们选择AmazonSQS作为管道/消息主干,用于将MongoDB的更改传输到我们自己的复制服务。Interestingly enough,MongoDB Stitch提供与AWS服务的集成。

J.N.function,我们编写了将数据库更改(插入/更新/删除/替换)传递到亚马逊简单队列服务.

Next we wrote a minimal micro-service inPython要收听SQS上的消息事件,pickup the data payload & mirror the DB changes on to the target Data warehouse.我们通过模拟目标表结构实现了源数据到目标数据的转换。圣卢西亚.我们将此微服务部署为AWS兰姆达with扎帕.和扎帕一起,deploying your services as event-driven & horizontally scalable Lambda service is dumb-easy.

最后,我们必须实现一个高度可扩展的近实时更改数据复制服务,该服务在几天内就可以“工作”并部署到生产环境中!

二十三 优胜亚博平台怎么样票 · 22.1K 意见

决定 at SmartZip about Amazon DynamoDB,红宝石,Node.js,AWS兰姆达,New Relic,亚马逊弹性搜索服务,弹性搜索超集,亚马逊Quicksight,Amazon Redshift,扎皮埃Segment,亚马逊云端,内存缓存,亚马逊Elasticache,亚马逊的奥罗拉无线电数据系统,MySQL亚马逊RDS亚马逊S3,DockerCapistranoAWS Elastic Beanstalk,Rails API,钢轨,阿尔戈利亚

朱利安德法兰西的化身
Principal Software Engineer 斯泰萨 ·

回到2014,I was given an opportunity to re-architect SmartZip Analytics platform,以及旗舰产品:智能瞄准。这是一款SaaS软件,帮助房地产专业人士了解他们在特定社区/地区的前景和领先优势,找出(由于预测分析)谁最有可能列出/出售他们的房子,并针对他们运行跨渠道营销自动化:直接邮件,在线广告,电子邮件…该公司还向企业客户提供数据API。

I had inherited years and years of technical debt and I knew things had to change radically.The first enabler to this was to make use of the cloud and go with AWS,所以我们将停止重新发明轮子,and build around managed/scalable services.

对于SaaS产品,我们继续与栏杆因为这是我的团队最了解的。We've however broken up the monolith and decoupled the front-end application from the backend thanks to the use ofRails APIso we'd get independently scalable micro-services from now on.

我们的各种应用程序现在可以使用弹性豆茎所以我们不会再浪费时间写东西了卡皮斯特拉诺例如,部署脚本。与码头工人所以我们的应用程序将在自己的容器中运行,independently from the underlying host configuration.

存储明智,我们一起去亚马逊S3并放弃了以前人们在我们的旧系统中处理的任何本地或网络存储。在数据库方面:关系数据库服务/MySQL最初。Ultimately migrated to亚马逊的Aurora无线电数据系统/MySQL当它被释放的时候。Once again,在这里,您需要云提供商为您处理的托管服务。

未来的改进/技术决策包括:

缓存:亚马逊Elasticache/内存缓存CDN:亚马逊云端系统集成:/扎皮尔数据仓库:亚马逊红移毕:亚马逊Quicksight/Superset搜索:Elasticsearch/亚马逊弹性搜索服务/阿尔戈利亚监测:新遗迹

随着我们使用量的增加,模式改变了,和/或我们的业务需求不断发展,作为工程经理兼工程总监,我的职责还在于确保我的团队不断学习和创新,同时实现业务价值。

其中一个创新是让我们自己进入无服务器状态:采用AWS兰姆达向前迈出了一大步。当时,仅适用于J.N.(不是)Ruby)但是一个处理成本效率的好方法,不可预测的交通,突然爆发的流量……最终,您希望一个呼叫中涉及的整个服务链都是无服务器的,这就是我们开始利用亚马逊发电机在这些项目上,它们将是完全可扩展的。

十六 优胜亚博平台怎么样票 · 16.4K 意见

决定 在ChecklyHQ about 维乌斯Knex.js,PostgreSQL,亚马逊S3,AWS兰姆达,Vue.jshapi,Node.js,github,DockerHeroku

Avatar of tim_nolet
Founder,工程师和洗碗机 结结巴巴地 ·

Heroku 码头工人 github J.N. 哈皮 VUE JS AWS兰姆达 亚马逊S3 波斯特雷斯尔 Knex.jsCheckly是一家相当年轻的公司,我们仍在努力寻找正确的产品特性组合,价格和受众。

我们专注于技术B2B,但我也一直想为独立开发者服务。所以我决定做一个7美元的计划。

为什么要7美元?简单地说,这似乎是科技公司的最佳去处:Heroku,Dockergithub,Appoptics(天秤座)都提供7美元的计划。他们一定对此做了大量的研究,所以,为什么不把它放回去试试呢。

有足够的生意机会,技术上。The challenges were:

  • 将部分功能分割开来,这样一个7美元的计划仍然是有利可图的。我们称之为“计划限制”
  • 更新API和后端服务以处理和实施计划限制。
  • 将用户界面更新为友好的状态,计划限制在用户界面的某些部分生效。
  • 更新定价页以反映所有更改。
  • 保留实际处理后端,储存和原料药尽可能保持原样。

本质上,we went from strictly volume based pricing to value based pricing.下面是我们为达到目标所做的技术步骤和决策。

  1. 我们更新了我们的波斯特雷斯尔模式,所以计划现在有一个“功能”数组。这些是表示功能切换的字符串常量。
  2. 这个VUE JSfrontend reads these from the武克斯登录时存储。
  3. Based on these values,the UI has simplev-if声明只显示功能或显示友好的“请升级”按钮。
  4. 这个哈皮API在每个相关的API端点上都有一个钩子,用于检查用户的计划是否启用了功能,或者没有。

旁注:我们每月在开发者计划中提供10条短信。However,我们并没有真正计算有多少人在发送,我们必须更新我们的警报守护进程(运行在Heroku上,并通过AWS SNS触发SMS消息),以实际触发一个计数器。

我们构建的基本上是基于平面特征的特征切换。它对于将来的添加是非常可扩展的,我们的调度和存储后端实际上运行用户的监控请求(aws lambda)并存储结果(s3和postgres),它不知道所有这些,并且保持不变。

希望这能帮助任何人构建出他们的SaaS,并处于类似的情况。

十六 优胜亚博平台怎么样票 · 7.5K 意见

决定 在Dubsmash about Google BigQuery,亚马逊AWS兰姆达,亚马逊运动Google Analytics,BigDataAsService服务,RealTimeDataProcessing,GeneralAnalytics,服务器存储处理

Avatar of tspecht
联合创始人兼首席技术官 杜姆斯马什 ·
谷歌BigQu疑问谷歌BigQu疑问 亚马逊简单队列服务亚马逊简单队列服务 AWS兰姆达AWS兰姆达 亚马逊运动亚马逊运动 谷歌分析谷歌分析
#BigDataAsService
#实时数据处理
#GeneralAnalytics
#ServerlessTaskProcessing

In order to accurately measure & track user behaviour on our platform we moved over quickly from the initial solution using谷歌分析由于我们对资源和价格的担忧,我们定制了一个。

While this does sound complicated,它就像客户端发送JSON事件块一样简单亚马逊运动from where we useAWS兰姆达&亚马逊简单队列服务to batch and process incoming events and then ingest them into谷歌BigQu疑问.一旦事件存储在bigquery中(从客户机发送数据到可用的时间通常只需一秒钟)。we can use almost-standard-SQL to simply query for data while Google makes sure that,even with terabytes of data being scanned,query times stay in the range of seconds rather than hours.在将数据输入管道之前,我们的移动客户端正在内部聚合活动,一旦达到某个阈值或应用程序将进入后台,将事件作为JSON blob发送到流中。

在过去,我们让运行的工作人员不断地从流中读取数据,并对数据进行验证和后处理,然后将其排队等待其他工作人员将其写入BigQuery。我们继续进行并实现了基于lambda的方法,这样lambda函数将自动为传入的记录触发,聚合前事件,把它们写回SQS,然后我们从中读到它们,并将事件持久化到bigquery。While this approach had a couple of bumps on the road,像异步重新触发函数以跟上流和适当的批处理大小,我们最终设法使它以可靠的方式运行,并对这个解决方案感到非常满意。

#ServerlessTaskProcessing #GeneralAnalytics #实时数据处理 #BigDataAsService

14 优胜亚博平台怎么样票 · 九百一十三 意见

决定 在Dubsmash about 亚马逊SNS,AWS兰姆达,应用程序托管

Avatar of tspecht
联合创始人兼首席技术官 杜姆斯马什 ·
亚马逊SNS亚马逊SNS AWS兰姆达AWS兰姆达
#应用程序托管

Whenever we need to notify a user of something happening on our platform,无论是一个用户向另一个用户发出的个人推送通知,a new Dub,或者在提供新内容的同时向数百万用户发出通知,we rely onAWS兰姆达为我们完成这项任务。当我们两年前开始实现这个特性时,幸运的是我们能够很早地访问lambda测试版,并且仍然对那里的运行方式感到满意,especially given all the easy to set up integrations with other AWS services.

lambda使我们能够在几分钟内通过在亚马逊SNS.我们只需调用第一个lambda函数,它将发送一批多达300个推送通知,然后调用后续的lambda函数,每个函数有20个push,然后调用sns实际发送推送通知。

这种多层发送推送通知的过程使我们能够快速调整发送量,同时保持成本和维护开销,on our side,达到最低限度。

#应用程序托管

十三 优胜亚博平台怎么样票 · 三百四十七 意见

决定 在FundsCorner about 亚马逊Sentry,GITLAB CI,松弛,谷歌计算引擎,NetlifyAWS兰姆达,扎帕维乌斯VuetifyVue.js昂首阔步的用户界面蒙哥大,瓶,Python

Avatar of jeyabalajis

在基金会上,我们的任务是为印度的基拉那商店提供快速贷款。我们是一家初创公司,拥有一支超小型工程团队。All the tech decisions we have made until now are based on our core philosophy: "Build usable products fast".

基于上述基本原则,我们选择Python作为我们所有API和微服务的基础语言。一开始就非常容易,然而,即使对于最复杂的用例,也能提供很棒的库。我们的整个后端堆栈运行在Python我们不能对它更满意!如果您希望将API部署为无服务器的,python提供的冷启动时间最少。

我们用Flask.For backend database,我们的自然选择是蒙哥大.它将我们的时间从复杂的数据库规范中解放出来——我们用我们的时间来做明智的数据建模,一旦我们最终确定了数据模型,我们使用昂首阔步的用户界面.Mongo支持复杂的查询,通过聚合框架剔除困难数据,我们甚至构建了一个名为“Poetry”的内部框架。用于聚合查询。

我们的网络应用程序建立在VUE JS使肥沃武克斯.最初我们围绕选择争论了很多VUE JS或反应,but finally settled withVUE JS,主要是因为使用方便,支持Vue的快速开发周期和强大的库和实用程序集。

你根本不能出错VUE JS.很好的文件,图书馆是超小型的,而且燃烧得很快。ChoosingVUE JS是做出的关键决定之一,这使我们能够在不到一个月的时间内启动我们的Web应用程序(否则很容易花费3个月)。对于那些想要大牌的人,土砖,阿里巴巴和Gitlab也在使用Vue。

通过选择使肥沃,我们在设计CSS文件时节省了数千人的时间。使肥沃包含所有关键的材料组件,设计一个流畅的用户体验,它只是工作!It's an awesome framework.我们在Fundscorner的所有人现在都是VUE JS使肥沃.

在基础设施方面,all our API services and backend services are deployed as server less micro-services through扎帕.扎帕通过将部署代码所需的一切打包为AWS兰姆达.我们现在沉迷于通过扎帕.试试看,你会变的!

也,如果您正在使用扎帕,您可以大大简化CI/CD管道。一定要试试!太棒了!还有…你会惊讶于你在本月底的自动焊接系统账单上节省下来的钱。

Our CI / CD pipelines are built using吉塔实验室.The documentation is very good & it enables you to go from from concept to production in minimal time frame.

我们使用哨兵所有事故报告和解决方案。专业小贴士,它们确实有处理程序AWS兰姆达,这使得我们的集成非常容易。

All our micro-services including APIs are event-driven.我们的后台微服务是面向消息的,我们使用亚马逊简单队列服务作为我们的信息管道。我们有自己的内部工作流管理器来协调整个微服务。

我们的静态网站位于网络化.最酷的事情之一网络化是Git Push上的自动CI/CD。你只要按一下就可以了!再一次,它的使用非常简单,而且非常有效。我们一直坚持即使在静态网站上也要减少服务器数量,而你可以减少服务器数量网络化几分钟后。只需点击几下。

我们使用谷歌计算引擎,尤其是我们人工智能实验的谷歌愿景。

对于操作自动化,we use松弛.Slack提供了一个超级丰富的API(通过Slack应用程序),通过它您可以为无聊的操作任务编织神奇的自动化。

十二 优胜亚博平台怎么样票 · 8.7K 意见

决定 在码因子 about 谷歌云功能,Azure Functions,AWS兰姆达,Docker谷歌计算引擎,微软Azure,亚马逊EC2代码因子KubernetesDevops人工智能,机器学习,Automation,Startup,自动尺度,Containerization,国际原子能机构,SaaS

卡斯卡的化身
谷歌云功能谷歌云功能 Azure FunctionsAzure Functions AWS兰姆达AWS兰姆达 码头工人码头工人 谷歌计算引擎谷歌计算引擎 Microsoft AzureMicrosoft Azure 亚马逊EC2亚马逊EC2 代码因子代码因子 库伯内斯库伯内斯
德沃普
艾艾
#机器学习
自动化自动化
启动启动
α自标
#集装箱化
阿伊亚斯
萨亚斯

码因子是一个#SaaSproduct,我们的目标是从第一天开始在云本地基础设施上运行。我们希望保持产品关注,而不是必须在支持应用程序的基础结构上工作。我们需要一个可靠的云托管提供商,对我们的产品来说是最经济、最有效的。

代码因子旨在为软件开发人员提供自动化和无摩擦的代码审查服务。这需要灵活性,即时资源调配,自标定,安全性,可用性和法规遵从性管理功能。我们看了前三名#IAAS占据大部分市场份额的供应商:亚马逊亚马逊EC2,微软Microsoft Azure,和谷歌计算引擎.

AWS has been available since 2006 and has developed the most extensive services ant tools variety at a massive scale.Azure和GCP大约是AWS时代的一半,but also satisfied our technical requirements.

值得注意的是,尽管这三家供应商都支持码头工人 集装箱化服务,由于GCP投资于库伯内斯.也,如果你是微软商店,并在.NET中开发-Visual Studio Azure在集成方面大放异彩,所有现有的.NET代码在Azure上无缝工作。All three providers have serverless computing offerings (AWS兰姆达Azure Functions,和谷歌云功能)此外,三家供应商都有机器学习工具,but GCP appears to be the most developer-friendly,intuitive and complete when it comes to#机器学习艾艾.

供应商之间的价格具有全面的竞争力。对于我们的要求,AWS would have been the most expensive,GCP最便宜,Azure在中间。另外,如果你α自标经常有大三角洲,请注意,Azure和GCP有每分钟计费,where AWS bills you per hour.我们还申请了启动启动三家供应商的项目,这就是蔚蓝闪耀的地方。虽然新兴企业的AWS和GCP将为我们支付大约一年的基础设施成本,Azure的赞助将包括codefactor两年的托管成本。此外,Azure团队很棒——我觉得他们想和我们合作,而对于AWS和GCP来说,我们只是另一家初创公司。

综上所述,we were leaning towards GCP.GCP's advantages in集装箱化自动化工具集,德沃普心态,定价是其中的驱动因素。Nevertheless,我们不能拒绝Azure的财务激励措施以及在整个过程中的强烈合作和支持。

底线是,IAAS与AWS的产品,天青,GCP发展迅速。在码因子,we aim to be platform agnostic where it is practical and retain the flexibility to cherry-pick the best products across providers.

优胜亚博平台怎么样票 · 146K 意见

决定 about github,AWS兰姆达,亚马逊EC2集装箱服务,AWS代码部署,AWS代码构建

基督化身
副总裁工程类 SparkPost ·

我们最近将CI/CD工具移动到AWS代码构建/AWS码部署github)以及搬到亚马逊EC2集装箱服务/AWS兰姆达对于我们的大多数服务的部署架构,帮助我们显著减少了部署时间,同时提高了功能速度和总体可靠性。在一个极端情况下,we got one service down from 90 minutes to a very reasonable 15 minutes.基于容器的构建和部署使许多事情变得简单和容易,工具之间的集成也很有帮助。为了进一步简化我们的环境,我们的服务网格和API代理方法还有一些工作要做。

优胜亚博平台怎么样票 · 评论 · 3.4K 意见

决定 about 亚马逊Elasticache,亚马逊弹性搜索服务,AWS弹性负载平衡(ELB)内存缓存,雷迪斯蟒蛇,AWS兰姆达,亚马逊RDSMicrosoft SQL Server,MariaDB亚马逊RDS for PostgreSQL,钢轨,红宝石,赫鲁库弹性豆茎

Avatar of bpr-admin

We initially started out withHeroku作为我们的PaaS提供商,因为我们的原始开发人员希望将其用于我们的Ruby栏杆当时的应用程序/网站。We were finding response times slow,it was painfully slow,有时需要10秒钟来开始加载主页面。升级到下一个“计算”级别将非常昂贵。

我们把网站移到弹性豆茎,不仅现场的响应时间变得即时,我们的应用程序云计算费用被削减了一半。

In database world we are currently using用于PostgreSQL的Amazon RDS也,we have both玛丽亚德Microsoft SQL Server双方托管关系数据库服务.计划是为所有3个数据库系统迁移到AWS Aurora Serverless。

我们用于公共应用的其他服务:AWS兰姆达PythonRedis内存缓存AWS Elastic Load Balancing (ELB)亚马逊弹性搜索服务亚马逊Elasticache

优胜亚博平台怎么样票 · comment · 12.2K 意见

决定 在Epsagon about AWS兰姆达,github,Java去吧,Node.js,NPMServerless,Python

Avatar of nshap

在爱普生,我们用上百个AWS兰姆达功能,大多数都是用文字写的Python,以及无服务器Framework to pack and deploy them.我们遇到的一个问题是,使用无服务器框架很难将外部库打包到lambda环境中。这种限制可能是由设计造成的,因为lambda需要的外部代码通常可以包含在包管理器中。

为了克服这个问题,我们开发了一种工具,我们也将其作为开放源码发布(见下面的链接)。它使用简单的npm包和一个yaml配置文件。Support forJ.N.Go,和爪哇很快就会有。

这个github记忆:https://github.com/epsagon/serverless-package-external

优胜亚博平台怎么样票 · comment · 7.7K 意见