替代卡夫卡标志

替代卡夫卡

的ActiveMQ,RabbitMQ的,亚马逊室壁运动,Apache的星火和阿卡是最流行的选择和竞争对手卡夫卡。
10.9K
9.7K
+ 1
527

什么是卡夫卡,什么是它的顶部的替代品?

卡夫卡是一个分布式,分区,复制的提交日志服务。它提供了一个邮件系统的功能,但具有独特的设计。
卡夫卡工具在吗消息队列一个技术堆栈的范畴。
卡夫卡是一个开源工具17.2K GitHub的明星和9.2KGitHub叉子。这里有一个链接卡夫卡的开源库 GitHub上

热门替代卡夫卡

  • ActiveMQ的

    ActiveMQ的

    Apache的ActiveMQ是速度快,支持多种跨语言客户端和协议,配备了易于使用的企业集成模式和许多先进的功能,同时完全支持JMS 1.1和J2EE 1.4。阿帕奇的ActiveMQ是在Apache 2.0许可证下发布。...

  • 的RabbitMQ

    的RabbitMQ

    RabbitMQ的让你的应用程序的通用平台,以发送和接收消息,和您的邮件安全的地方居住,直到收到。...

  • 亚马逊室壁运动

    亚马逊室壁运动

    亚马逊的Kinesis可以采集和处理每秒数百GB的数据来自成千上万的来源,允许您轻松地编写实时处理信息的应用程序,这些来源包括web站点点击流、营销和财务信息、制造仪器和社会媒体,以及运营日志和计量数据。...

  • 阿帕奇星火

    阿帕奇星火

    Spark是用Hadoop数据兼容的快速和通用处理引擎。它可以在Hadoop集群通过纱线或火花的独立模式下运行,并且它可以在HDFS,HBase的,卡桑德拉,配置单元,以及任何的Hadoop InputFormat处理数据。它被设计为同时执行批处理(类似的MapReduce)和新的工作负载像流媒体,互动查询和机器学习。...

  • Akka

    Akka

    Akka是一个用于构建高并发、分布式和高运行时的工具包和运行时JVM上的弹性消息驱动应用程序。...

  • 阿帕奇风暴

    阿帕奇风暴

    Apache的风暴是一个自由和开源的分布式实时计算系统。风暴可以很容易地可靠地处理数据的无限流,做了实时处理的Hadoop什么做批量处理。风暴有许多用例:实时分析,在线学习机,连续计算,分布式RPC,ETL,等等。风暴是快:基准主频它在每个节点每秒处理超过一百万元组。它是可扩展性,容错,保证您的数据将被处理,并且易于设置和操作。...

  • Apache Flink

    Apache Flink

    阿帕奇弗林克是快速和灵活的数据分析的开源系统在集群。Flink支持批处理和流分析,在一个系统。分析程序可以用Java和Scala简洁优雅的api编写。...

  • Redis的

    Redis的

    Redis的是一个开源的,BSD授权的,先进的key-value存储。它往往是由于键可以包含字符串、散列、列表、集合和排序集合,因此被称为数据结构服务器。...

卡夫卡的替代品及相关的帖子

ActiveMQ的标志

ActiveMQ的

369
870
65
一个用Java编写的消息代理和一个完整的JMS客户机
369
870
+ 1
65

相关帖子的ActiveMQ

我想选择消息队列具有以下特点 - 高可用性,分布式,可扩展,监控。我有的RabbitMQActiveMQ的卡夫卡阿帕奇RocketMQ心里。但我很困惑哪一个选择。

查看更多
诺沙德Warsi
共享见解
ActiveMQ的
的RabbitMQ

我用ActiveMQ的因为的RabbitMQ已经停止给了AMQP 1.0或以上版本,并支持早期版本AMQP的不给支持OAuth的功能。

如果不需要的OAuth,我们可以使用AMQP 0.9去的话,我还是建议的RabbitMQ。

查看更多

相关帖子的RabbitMQ

詹姆斯·坎宁安
共享见解
芹菜
的RabbitMQ

由于哨兵运行全天,大约有50个不同的离线任务,我们执行,任何从“处理这一事件,拜托”到“发送所有这些很酷的人的一些电子邮件。”有一些是我们每天执行一次,有些每秒执行数千人。

管理这个品种需要一个可靠的高吞吐量消息传递技术。我们使用芹菜的RabbitMQ落实,我们偶然发现了被称为联邦一个很大的特点,使我们能够在任意数量的RabbitMQ服务器的划分我们的任务队列,使我们有信心,如果任何一台服务器被积压,其他​​人会在场上和分发一些积压任务他们的消费者。

#MessageQueue

查看更多

我们一直在使用的RabbitMQ作为Zulip的排队系统,因为我们需要一个排队系统。我喜欢它,它扩展非常好,具有良好的库可用于广泛的平台,包括我们自己蟒蛇。因此,从得到它运行不谈,我们不得不把主要精力0到使其扩展为我们的需求。

然而,有几件事情,可能会更好看:*它的错误信息是绝对可怕;如果有的话我们的用户的一个最后还是会与RabbitMQ的错误(甚至像一个错误配置的主机名简单的事情),他们总是最终需要得到从Zulip团队的帮助,因为错误日志只是高深莫测。作为一个开源项目,我们通过认真真脚本安装是失败的防爆配置(在这种情况下处理这个问题,RabbitMQ的主机名设置为127.0.0.1,这样任何用户控制的配置都不能破坏它)。但实现这一目标是一件很痛苦的事情,而决定我们需要做这件事的过程给安装Zulip的人们带来了很大的痛苦。*鼠兔图书馆为Python需要花费大量的时间来启动一个RabbitMQ的连接;这意味着,Zulip重新启动服务器时都更具破坏性比将是理想的。*这很烦人,你需要运行rabbitmqctl作为根管理命令。

但总体而言,我喜欢它有干净,清晰semanstics和高可扩展性,并没有被诱惑做的工作迁移到像Redis的(它有自己的缺点)。

查看更多
亚马逊室壁运动的标志

亚马逊室壁运动

539
406
4
从成千上万的来源每小时数据的存储和处理数TB
539
406
+ 1
4
的好处:AMAZON KINESIS
的利弊AMAZON KINESIS

相关亚马逊室壁运动的职位

正如我们已经进化或增加额外的基础设施,我们的堆栈,我们偏向于管理服务。大多数新的后备存储亚马逊RDS现在的情况。我们确实使用自我管理PostgreSQL的TimescaleDB对于时间序列数据,这是由HA与使用佩特罗尼领事

我们还使用管理亚马逊ElastiCache实例,而不是旋转起来亚马逊EC2实例运行Redis的工作负荷,以及转移到亚马逊室壁运动代替卡夫卡

查看更多
蒂姆·施佩希特
联合创始人兼首席技术官在Dubsmash· |14个up亚博平台怎么样votes·535.6K观点

为了准确测量与我们的平台上跟踪用户行为,我们使用迅速移动了从最初的解决方案谷歌分析对因资源和定价的担忧定制一个我们有。

虽然这听起来很复杂,但它很简单,只需客户端向其发送JSON事件blob即可亚马逊室壁运动从这里我们使用AWS LAMBDA亚马逊SQS批量和处理传入的事件,然后咽下成谷歌的BigQuery。Once events are stored in BigQuery (which usually only takes a second from the time the client sends the data until it’s available), we can use almost-standard-SQL to simply query for data while Google makes sure that, even with terabytes of data being scanned, query times stay in the range of seconds rather than hours. Before ingesting their data into the pipeline, our mobile clients are aggregating events internally and, once a certain threshold is reached or the app is going to the background, sending the events as a JSON blob into the stream.

在过去,我们不得不运行从流连续读取和验证会和后处理数据,然后将它们入队的其他工人,并写入到BigQuery的工人。我们说干就干,实现以这样的方式基于LAMBDA的方法,这种lambda函数将自动触发传入的记录,预聚集事件,并把它们写回SQS,从中我们再阅读它们,并持续了事件的BigQuery。虽然这种方法已经在路上了几个颠簸,像重新触发功能异步跟上流和适当的批量大小,我们终于设法得到它以可靠的方式运行,并很高兴与这个解决方案今天。

# ServerlessTaskProcessing# GeneralAnalytics# RealTimeDataProcessing# BigDataAsAService

查看更多
阿帕奇星火标识

阿帕奇星火

1.9K
2K
126
快速和通用引擎,用于大规模数据处理
1.9K
2K
+ 1
126

Apache Spark相关文章

埃里克·科尔森

在缝合修复的算法和数据基础设施坐落在#AWS。数据采集​​流经事件之间的分裂卡夫卡,并定期快照PostgreSQL的星展银行。我们将数据存储在亚马逊S3基于数据仓库。阿帕奇星火对成纱是我们的数据移动和选择的工具#ETL。因为我们的存储层(S3)是从我们的处理层分离,我们可以很弹性扩展我们的计算环境。我们有几个半永久性的,自动缩放运行服务于我们的数据处理需求纱集群。虽然我们的计算基础设施的大部分专用于算法处理,我们还实施急板用于特殊查询和指示板。

除了数据移动和ETL,最#ML在一个类似的弹性环境运行容器中运行中心的作业(例如模型训练和执行)蟒蛇[R在代码亚马逊EC2集装箱服务集群。ECS上批处理作业的执行由Flotilla管理,Flotilla是我们内部构建的开放源码服务(参见https://github.com/stitchfix/flotilla-os)。

在缝合修复,算法集成是整个企业普遍。我们有很多的数据产品,积极整合系统。这需要服务层是强大的,灵活的,灵活的,并允许自助服务。舰队上生产的车型使用的是汗,我们内部开发的另一个框架打包部署在生产。汗提供我们的数据科学家能够快速productionize他们已经用在Python 3开源框架开发的模型的能力(例如,PyTorch,sklearn),通过自动包装它们作为搬运工人集装箱和部署到Amazon ECS。这为我们的数据科学家从他们的算法让生产的一键式方法。然后,我们这些部署整合到一个服务网点,这使我们能够在我们的产品A / B测试各种实现方式。

欲了解更多信息:

#DataScience# DataStack#数据

查看更多
康纳尔梅尔沃德
高科技品牌经理,CTO办公室在尤伯杯· | 7个赞成亚博平台怎么样票数·801.5K的浏览量

我们为什么要为Apache创建Marmaray,一个开放源码的通用数据摄取和分散框架和库Hadoop的

建造和我们的Hadoop平台团队设计,马尔马雷是建立在Hadoop的生态系统之上的插件为基础的框架。用户可以从任何来源和分散到摄取数据支持添加到任何水槽利用使用阿帕奇星火。这个名字,马尔马雷,来自土耳其的隧道连接欧洲和亚洲。同样,我们内尤伯杯设想马尔马雷作为管道从任何来源取决于消费者的喜好任意水槽连接数据:

https://eng.uber.com/marmaray-hadoop-ingestion-open-source/

(直接GitHub上回购:https://github.com/uber/marmaray卡夫卡卡夫卡经理

查看更多
阿卡标志

Akka

691
663
72
更轻松地构建强大的并行与分布式应用程序
691
663
+ 1
72

相关帖子阿卡

为了解决计划,并在其分布式基础设施执行任意任务的问题,PagerDuty创建了一个名为调度程序的开放源代码工具。计划是用Scala编写,并使用Cassandra的任务持久性。它还增加了Apache的卡夫卡处理任务队列和分区,用阿卡构建库的并发性。

服务的逻辑通过将任务传递给调度程序的Scala API来调度任务,该API序列化任务元数据并将其放入Kafka中。然后,Scheduler使用这些任务,并将它们发送到Cassandra以防止数据丢失。

查看更多
共享见解
Akka
卡夫卡

我决定用Akka代替卡夫卡流,因为我在@Lightbend有私人关系。

查看更多
Apache的风暴的标志

阿帕奇风暴

166
205
21
分布式和容错实时计算
166
205
+ 1
21
的好处:APACHE STORM
的利弊APACHE STORM
    没有缺点

    相关阿帕奇风暴的帖子

    马克·布林

    Lumosity是拥有世界上最大的认知训练数据库,我们认真对待责任。对于大多数公司的历史,我们的用户行为和训练数据分析已经搭载的事件流 - 首先简单Node.js的发布/订阅应用程序,然后一个重量级红宝石应用具有更强的耐用性。双方支持体面的吞吐量和延迟,但他们缺乏通过现有的开放源代码方案支持的一些主要特点:重放现有的消息(也缺乏在大多数基于消息队列的解决方案),对于相同的流缩放了许多不同的读者,能够将杠杆雇人外部谁已经有专业知识的能力:阅读和写作,也可能是最重要的现有解决方案。

    我们最终迁移到卡夫卡在2016年年初到年中,我们提到了一些公司的行业趋势,这些公司具有相似的持久性和吞吐量需求,以及非常强大的文档和社区。我们仔细阅读了凯尔·金斯伯里的《杰普森邮报》(https://aphyr.com/posts/293-jepsen-Kafka),以及杰伊·克雷普斯随访(http://blog.empathybox.com/post/62279088548/a-few-notes-on-kafka-and-jepsen),与Confluent的人员和社区成员进行了详细的讨论,并且在相当长的一段时间内仍然在运行并行系统,但最终,我们非常非常高兴。理解内部和适当的杠杆需要一些投入,但一旦配置好,只需很少的维护。自此,汇流平台社区不断壮大;我们已经不再使用自定义进行大多数开发斯卡拉消费者和生产者是60/40卡夫卡流/连接。

    我们最初调查风暴/苍鹭,我们会感动从上Redis的发布/订阅。Heron看起来很棒,但我们已经有了一个跨服务的编程模型,它更类似于消费一个消息消费者,而不是需要一个螺栓拓扑等等。当我们开始迁移东西时,Heron也刚刚出现,而Kafka的社区势头和方向感觉比以前的风暴更加坚实。如果我们今天重新开始这个过程,我们可能会退房脉冲星虽然生态系统还非常年轻。

    要了解更多信息,请阅读我们的2017年工程博客文章有关迁移!

    查看更多
    阿帕奇弗林克标志

    Apache Flink

    307
    434
    28
    快速可靠的大规模数据处理引擎
    307
    434
    + 1
    28

    相关阿帕奇弗林克帖子

    苏拉巴Bhawsar
    共享见解
    卡夫卡
    Apache Flink

    我需要建立一个警报和通知框架与计划程序的使用。我们将从数据库表中分析事件,过滤属于一天时间范围内的事件,并通过电子邮件发送这些事件消息。目前,我们正在使用卡夫卡发布/订阅的消息。客户希望我们能够在Apache弗林克移动,我想了解如何Apache Flink可能更适合我们。

    查看更多

    我必须建立与数据处理应用阿帕奇梁栈和Apache Flink转轮上亚马逊EMR簇。我看到一些不稳定性与过程和EMR簇不断下降。在这里,阿帕奇梁应用程序获取从输入卡夫卡并将累积的数据流发送到另一个Kafka主题。对于如何使流程更稳定,有什么建议吗?

    查看更多

    相关帖子的Redis

    我们使用MongoDB的作为我们的首要#datastore。蒙戈的方法副本集能够像维护,备份和#ETL操作一些精彩的图案。

    正如我们拉#microservices从我们的#monolith开始,我们利用这个机会用它们自己的数据存储来构建它们PostgreSQL的。我们还使用Redis的为了缓存我们永远不会永久存储的数据,并将我们的请求限制为合作伙伴的api(比如GitHub上)。

    当我们正在处理的不可变的数据(日志,工件和测试结果)的大斑点,我们将它们存储在亚马逊S3。我们处理S3的最终一致性模型的我们自己的代码中的任何副作用。这确保了我们在处理用户请求正确而写的过程中。

    查看更多

    我的工作在RunaHR工程线索之一。由于我们的平台是一个SaaS,我们认为这将会是很好的有一个API(我们选择红宝石轨道此)和SPA(建有应对终极版) 连接的。我们开始了与SPA创建应用程序作出反应因为这是很容易启动。

    我们使用笑话作为测试框架和反应测试库测试反应的组分。在Rails我们做测试用RSpec的

    我们的主要数据库PostgreSQL的,但我们也使用MongoDB的存储某种类型的数据。我们开始使用Redis的高速缓存和其他时间敏感的操作。

    我们有几个额外的项目:一个是内置的员工应用反应本地另一种是采用内置内部的后台仪表板Next.js客户端和蟒蛇在后端。

    既然我们有不同的前端应用程序,我们已经找到有用的记录可视化组件和utils的在JavaScript

    查看更多