正如文档中所解释的那样,Spark 可以通过多种方式提供(如 Kafka、Flume、Twitter、ZeroMQ、Kinesis 或普通的旧式 TCP 套接字)。
有人知道如何从 Amazon SQS 提供 Spark Streaming 吗?
有一个名为 Spark-sql-receiver 的 github 项目。已上传至maven仓库,groupId为com.github.imapi,artifactId为spark-sqs-receiver_2.10。目前版本为 1.0.1。从外观来看github项目 https://github.com/imapi/spark-sqs-receiver,它也正在积极维护。以下是从项目的 README.md 文件中无耻地复制的一些示例代码:
ssc.receiverStream(new SQSReceiver("sample")
.credentials(<key>, <secret>)
.at(Regions.US_EAST_1)
.withTimeout(2))
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)