Apache Kafka:分布式消息系统
Apache Storm:实时消息处理
我们如何在实时数据管道中使用这两种技术来处理事件数据?
就实时数据管道而言,在我看来,两者的工作都是相同的。我们如何在数据管道上使用这两种技术?
您可以使用 Apache Kafka 作为一种分布式且强大的队列,它可以处理大量数据,并使您能够将消息从一个端点传递到另一个端点。
Storm 不是队列。它是一个具有分布式实时处理能力的系统,这意味着您可以并行地对实时数据执行各种操作。
这些工具的常见流程(据我所知)如下:
实时系统 --> Kafka --> Storm --> NoSql --> BI(可选)
因此,您的实时应用程序可以处理大量数据,并将其发送到 Kafka 队列。 Storm 从 kafka 中提取数据并应用一些所需的操作。此时,您通常希望从这些数据中获得一些好处,因此您可以将其发送到某个 Nosql 数据库以进行额外的 BI 计算,或者您可以简单地从任何其他系统查询此 NoSql。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)