Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
来自 Kafka 主题的 PySpark 结构化流的 Cassandra 接收器
我想使用 PySpark 结构化流 API 将结构流数据写入 Cassandra 我的数据流如下 REST API gt Kafka gt Spark 结构化流 PySpark gt Cassandra 来源和版本如下 火花版本 2 4 3
apachespark
PySpark
ApacheKafka
cassandra
sparkcassandraconnector
将数据流式传输到基于 Web 的(角度)前端的现代方法
tldr 我想建立一个带有实时显示数据的节点后端的角度应用程序 数据流的源是kafka流 其数据存储在postgres数据库中 我对某些主题很陌生 但有信心可以启动并运行它 但很可能不是以 最佳实践 方式 我无法弄清楚什么是现代且有效的方法
nodejs
angular
postgresql
ApacheKafka
Stream
如何在同一个消费者组中运行两个控制台消费者?
当我运行两个具有完全相同属性的 Kafka console consumers 实例 使用默认的 config consumer properties 时 我在两个实例上收到相同的消息 bin kafka console consumer
ApacheKafka
Apache Kafka JDBC 连接器 - SerializationException:未知的魔术字节
我们尝试使用 Confluence JDBC Sink Connector 将主题中的值写回到 postgres 数据库 connector class io confluent connect jdbc JdbcSinkConnector
JDBC
ApacheKafka
Avro
apachekafkaconnect
Debezium 是否可以配置 table_name => kafka 主题映射?
我读了http debezium io docs connectors mysql 但我找不到任何关于是否可以配置 debezium 的信息 以便可以将 2 个 或更多 表的更改写入同一个 kafka 主题 在我看来 它总是 1 个表 gt
mysql
ApacheKafka
apachekafkaconnect
debezium
kafka jar 不包含 kafka.utils.testutils
我正在尝试为 kafka 生产者 消费者编写一个单元测试测试用例 并遇到了一个简单的示例http grokbase com t kafka users 13ck94p302 writing unit tests for kafka code
Java
unittesting
jar
ApacheKafka
flink 中的 Kafka 消费者
我正在使用 kafka 和 apache flink 我正在尝试使用 apache flink 中的 kafka 主题的记录 采用 avro 格式 下面是我正在尝试使用的代码片段 使用自定义反序列化器对主题中的 avro 记录进行反序列化
Java
ApacheKafka
apacheflink
如何在通过Spark生产消息的Kafka中均匀分布数据?
我有一个将数据写入 Kafka 的流作业 我注意到其中一个 Kafka 分区 3 比其他分区获取更多的数据 partition messages earlist offset next offset 1 166522754 58616033
apachespark
ApacheKafka
sparkstreamingkafka
具有 kerberos 的 Kafka Java 生产者
在 kerberos 环境中向 kafka 主题发送消息时出现错误 我们在 hdp 2 3 上有集群 我跟着这个http henning kropponline de 2016 02 21 secure kafka java Produce
Java
ApacheKafka
kerberos
jaas
hortonworksdataplatform
Kafka connect(单消息转换)行过滤
我读到了 kafka 0 10 2 1 中引入的 Kafka 连接转换https kafka apache org documentation connect transforms 我注意到所有转换都是基于列的转换 我有一个需要基于值的过滤
filter
ApacheKafka
apachekafkaconnect
Spring Kafka 中的 Kafka 消费者/生产者测试
我目前正在研究我正在使用的 Kafka 模块spring kafka卡夫卡通信的抽象 我能够从实际实现的角度集成生产者和消费者 但是 我不确定如何测试 特别是集成测试 消费者周围的业务逻辑 KafkaListener 我试着跟随spring
Java
Spring
ApacheKafka
springtest
springKafka
如何使用单个命令在 Apache Kafka 中创建主题列表
截至目前 我正在使用以下命令一一创建一个主题 sh bin kafka topics create zookeeper localhost 2181 topic sdelivery replication factor 1 partitio
unix
ApacheKafka
apachezookeeper
如何控制从 Spark DataFrame 写入的输出文件的数量?
使用 Spark Streaming 从 Kafka 主题读取 Json 数据 我使用 DataFrame 来处理数据 稍后我希望将输出保存到 HDFS 文件 问题是使用 df write save append format text 产
scala
apachespark
ApacheKafka
apachesparksql
SparkStreaming
嵌入式Kafka:KTable+KTable leftJoin产生重复记录
我来寻求神秘的知识 首先 我有两对主题 每对中的一个主题融入另一个主题 后面的主题形成两个KTable 用于KTable KTable leftJoin 问题是 当我向任一 KTable 生成一条记录时 leftJoin 会生成三个记录 我
Kafka 比较键的连续值
我们正在构建一个应用程序来从传感器获取数据 数据被传输到 Kafka 消费者将其发布到不同的数据存储 每个数据点将具有代表传感器状态的多个属性 在其中一个消费者中 我们希望仅当值发生变化时才将数据发布到数据存储 例如如果有温度传感器每 10
ApacheKafka
apachekafkastreams
如何为 Kubernetes 中托管的多个应用程序选择 Kafka 事务 ID?
我有一个经典的微服务架构 所以 有不同的应用 每个应用程序可能有1 N实例 该系统部署到Kubernetes 所以 我们有很多不同PODs 可以随时启动和停止 我想实施读 处理 写模式 所以我需要 Kafka 事务 要配置交易 我需要设置一
Java
Kubernetes
ApacheKafka
springKafka
kafkaproducerapi
kafka.cluster.BrokerEndPoint 无法转换为 kafka.cluster.Broker
我正在尝试将数据从 kafka 流式传输到 Spark 我正在使用 Spark 1 6 2 与 kafka 0 9 0 1 和 scala 2 11 8 当我使用基于接收器的方法时 一切正常 KafkaUtils createStream
apachespark
ApacheKafka
Kafka 连接器和架构注册表 - 检索 Avro 架构时出错 - 未找到主题
我有一个主题 最终会有很多不同的模式 目前它只有一个 我已经通过 REST 创建了一个连接作业 如下所示 name com mycompany sinks GcsSinkConnector auth2 config connector cl
ApacheKafka
Avro
apachekafkaconnect
confluentschemaregistry
Apache Flink:Python 流 API 中的 Kafka 连接器,“无法加载用户类”
我正在尝试 Flink 的新 Python 流 API 并尝试使用以下命令运行我的脚本 flink 1 6 1 bin pyflink stream sh examples read from kafka py python 脚本相当简单
python
ApacheKafka
apacheflink
flinkstreaming
pyflink
Spark Streaming StreamingContext.start() - 启动接收器时出错 0
我有一个使用 Spark Streaming 的项目 我使用 spark submit 运行它 但遇到了以下错误 15 01 14 10 34 18 ERROR ReceiverTracker Deregistered receiver f
scala
apachespark
ApacheKafka
SparkStreaming
«
1 ...
25
26
27
28
29
30
31
...35
»