Problem
我们希望使用 Google Cloud 中的数据流管道来使用 Azure 中的 EventHub 主题。
Question
是否知道 KafkaIO 是否允许直接在 Apache Beam/Google Cloud 数据流作业中从 EventHub 消费？ （看这个帖子 https://stackoverflow.com/questions/54080893/kafka-to-google-cloud-platform-dataflow-ingestion)
将 EventHub 数据导入 Pub/Sub 的替代方法也受到赞赏（例如从 Azure Streaming Analytics 发布到 Pub/Sub）
谢谢你！
Azure 事件中心支持Apache Kafka 协议 1.0 及更高版本 https://learn.microsoft.com/en-us/azure/event-hubs/event-hubs-for-kafka-ecosystem-overview，因此您应该能够使用来自事件中心的事件KafkaIO https://beam.apache.org/releases/javadoc/2.17.0/org/apache/beam/sdk/io/kafka/KafkaIO.html（支持 Kafka 0.10.1 及更高版本）。 Google Cloud 有一个在 Dataflow 中处理来自 Kafka 的消息的指南here https://cloud.google.com/solutions/processing-messages-from-kafka-hosted-outside-gcp.
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
