Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Spark Streaming StreamingContext.start() - 启动接收器时出错 0
我有一个使用 Spark Streaming 的项目 我使用 spark submit 运行它 但遇到了以下错误 15 01 14 10 34 18 ERROR ReceiverTracker Deregistered receiver f
scala
apachespark
ApacheKafka
SparkStreaming
默认情况下,多个Kafka消费者可以从同一主题的同一分区读取数据吗?
默认情况下 多个Kafka消费者可以从同一主题的同一分区读取数据吗 默认情况下 我的意思是 由于 group id 不是强制性的 我想知道如果我在不指定任何 group id 的情况下生成多个 kafka 消费者并给他们相同的主题和分区名称
ApacheKafka
KSQL 表-表左外连接多次发出相同的连接结果
使用 KSQL 并执行左外连接 我可以看到有时多次发出的连接结果 换句话说 相同的连接结果会被多次发出 我不是在谈论右侧具有空值的联接版本和不具有空值的版本 从字面上看 连接产生的同一条记录会被多次发出 我想知道这是否是预期的行为 一般答案
ApacheKafka
ksqldb
Kafka Log 压缩返回具有相同键的两条记录
我在卡夫卡中的日志压缩有一个奇怪的行为 我创建了一个具有以下配置的主题 kafka topics zookeeper create topic myTopic partitions 12 replication factor 3 confi
ApacheKafka
使用 NLB 和 IAM 身份验证公开 AWS MSK - 主机名验证失败
我们正在努力让 Amazon MSK Kafka 与 IAM 身份验证配合使用 然后使用 aws kafka 广告侦听器中的更改通过 DNS 公开访问它 为了实现这一点 我们遵循如下相同的基础设施计划 但我们不使用接口端点 而是使用网络负载
amazonwebservices
ApacheKafka
awsmsk
Karaf - Kafka OSGI 捆绑包 - 生产者问题
我正在尝试在 apache Karaf version 4 0 3 中为 Kafka 生产者创建一个简单的捆绑包 这是我的Java代码 Properties props new Properties props put bootstrap
OSGI
Bundle
ApacheKafka
karaf
producer
我可以依靠 Kafka 流中的内存 Java 集合通过微调标点和提交间隔来缓冲事件吗?
一个自定义处理器 以简单的方式缓冲事件java util List in process 该缓冲区不是状态存储 每 30 秒 WALL CLOCK TIME punctuate 对此列表进行排序并刷新到接收器 假设只有单个分区源和接收器 需
ApacheKafka
apachekafkastreams
exactlyonce
punctuator
Kafka Streams stateStores 容错一次?
我们正在尝试使用 Kafka Streams 实现重复数据删除服务 总体而言 它将使用它的rocksDB状态存储来在处理过程中检查现有的密钥 如果我错了 请纠正我 但为了使这些 stateStore 也具有容错能力 Kafka Stream
ApacheKafka
apachekafkastreams
faulttolerance
编写自定义 Kafka 序列化器
我在 Kafka 消息中使用我自己的类 其中包含一堆字符串数据类型 因此 我无法使用默认的序列化器类或StringSerializerKafka 库附带的 我想我需要编写自己的序列化器并将其提供给生产者属性 EDIT 在较新的 Kafka
Java
scala
serialization
ApacheKafka
具有相同 GroupId 的多个 Kafka 监听器都接收消息
我在 Spring Boot 应用程序中配置了一个 kafka 监听器 如下所示 KafkaListener topicPartitions TopicPartition topic data all partitions 0 1 2 gr
Java
Spring
springboot
ApacheKafka
springKafka
如何将 JavaPairDStream 的结果写入 Spark Streaming 上的输出 kafka 主题?
我正在寻找一种在输出 kafka 主题中编写 Dstream 的方法 只有当微批量 RDD 吐出一些东西时 我在 Java8 中使用 Spark Streaming 和 Spark streaming kafka 连接器 都是最新版本 我无
Java
apachespark
ApacheKafka
SparkStreaming
kappa架构和lambda架构有什么区别
如果 Kappa 架构直接对流进行分析 而不是将数据分成两个流 那么在像 Kafka 这样的消息系统中 数据存储在哪里 或者可以在数据库中进行重新计算吗 单独的批处理层是否比使用流处理引擎重新计算进行批处理分析更快 需要考虑的一个非常简单的
如何在 flink-kafka 中省略空值异常,任何帮助都可以
我正在尝试编写一个代码 当温度高于阈值温度 如代码中定义 时创建警报 但键控流正在产生问题 我是 flink 的新手 也是 scala 的中间人 我需要这段代码的帮助 我几乎尝试了一切 def main args Array String
json
scala
ApacheKafka
sbt
apacheflink
如果将新分区添加到 Kafka 主题,消费者偏移量会发生什么?
当添加新分区时 消费者偏移量会发生什么 它保持不变吗 是的 它保持不变 为每个分区单独维护一个偏移量 因此您的新分区的偏移量将从 0 开始 并且不会影响其他偏移量
ApacheKafka
从外部连接kafka的问题
我正在使用 hortonwork Sandbox 作为 kafka 服务器 尝试使用java代码从eclipse连接kafka 使用此配置连接到生产者发送消息 metadata broker list sandbox hortonworks
Hadoop
Cloudera
ApacheKafka
hortonworksdataplatform
Python Kafka 消费者缺少轮询一些消息
我的 Kafka 消费者的代码如下所示 def read messages from kafka topic my topic consumer KafkaConsumer bootstrap servers my host1 my hos
python
ApacheKafka
如何让 IntelliJ IDEA 加载 org.slf4j.impl.StaticLoggerBinder 来运行 Kafka?
我想从 IDEA 运行 Kafka 但收到以下错误 gt Task core Kafka main SLF4J Failed to load class org slf4j impl StaticLoggerBinder SLF4J Def
Java
scala
Gradle
intellijidea
ApacheKafka
Kafka 到 hdfs3 接收器缺少所需配置“confluence.topic.bootstrap.servers”,该配置没有默认值
Status 我的HDFS是通过ambari HDP安装的 我目前正在尝试将 kafka 主题加载到 HDFS 接收器中 Kafka 和 HDFS 安装在同一台机器 x x x x 上 除了根据我的需要更改一些端口之外 我没有对默认设置进行
ApacheKafka
HDFS
apachekafkaconnect
confluentplatform
将连接器添加到 Kafka Connect
我正在使用 Confluence Kafka Docker 镜像 特别是使用这个 https github com confluenceinc cp docker images tree 4 0 x examples cp all in o
jar
ApacheKafka
apachekafkaconnect
Spark结构化流仅从Kafka的一个分区获取消息
我遇到了这样一种情况 spark 只能从 Kafka 2 分区主题的一个分区进行流式传输和获取消息 我的主题 C bigdata kafka 2 11 0 10 1 1 bin windows gt kafka topics create
apachespark
ApacheKafka
SparkStructuredStreaming
«
1 ...
28
29
30
31
32
33
34
...37
»