Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Spark Streaming kafka 偏移量管理
我一直在做 Spark Streaming 工作 通过 kafka 消费和生成数据 我使用的是directDstream 所以我必须自己管理偏移量 我们采用redis来写入和读取偏移量 现在有一个问题 当我启动我的客户端时 我的客户端需要从
apachespark
ApacheKafka
SparkStreaming
offset
sparkstreamingkafka
Spark Streaming Kafka 流
我在尝试使用 Spark Streaming 读取 kafka 时遇到一些问题 我的代码是 val sparkConf new SparkConf setMaster local 2 setAppName KafkaIngestor val
apachespark
ApacheKafka
SparkStreaming
sparkstreamingkafka
Spark Streaming scala mongodb 获取数据时出现异常 java.lang.IllegalArgumentException
我在 Spark Streaming scala 中有以下代码 用于从 kafka 获取数据并将其插入到 mongodb 中 现在我想从 mongodb 获取数据 但出现异常 如何在 Spark Streaming 中从 MongoDb 获
MongoDB
scala
apachespark
sparkstreamingkafka
如何在通过Spark生产消息的Kafka中均匀分布数据?
我有一个将数据写入 Kafka 的流作业 我注意到其中一个 Kafka 分区 3 比其他分区获取更多的数据 partition messages earlist offset next offset 1 166522754 58616033
apachespark
ApacheKafka
sparkstreamingkafka
如何将 Spark Streaming DF 写入 Kafka 主题
我正在使用 Spark Streaming 处理两个 Kafka 队列之间的数据 但我似乎找不到从 Spark 写入 Kafka 的好方法 我已经尝试过这个 input foreachRDD rdd gt rdd foreachPartit
scala
apachespark
ApacheKafka
SparkStreaming
sparkstreamingkafka
如何对Spark Structured Streaming进行单元测试?
我想了解 Spark 结构化流的单元测试方面 我的场景是 我从 Kafka 获取数据 并使用 Spark 结构化流处理并在数据之上应用一些转换来使用它 我不确定如何使用 Scala 和 Spark 对此进行测试 有人可以告诉我如何使用 Sc
scala
apachespark
SparkStructuredStreaming
sparkstreamingkafka
如何为 Spark Streaming 定义 Kafka(数据源)依赖项?
我正在尝试使用 Spark streaming2 0 0 使用 kafka 0 8 主题 我正在尝试确定所需的依赖项 我已尝试在 build sbt 文件中使用这些依赖项 libraryDependencies org apache spa
apachespark
sbt
SparkStreaming
sparkstreamingkafka