Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
有没有办法使用 .NET 中的 Kafka Ksql Push 查询
我目前正在 NET 中使用 Kafka 消费者处理大量 Kafka 消息 我的处理过程的第一步是解析 JSON 并根据 JSON 中特定字段的值丢弃许多消息 我不想首先处理 特别是不下载 那些不需要的消息 看起来 kSql 查询 写为推送查
c
NET
ApacheKafka
ksqldb
卡夫卡流:RocksDB TTL
据我了解 默认 TTL 设置为无穷大 非正数 但是 如果我们需要在存储中保留数据最多 2 天 我们可以使用 RocksDBConfigSetter 接口实现 即 options setWalTtlSeconds 172800 进行覆盖吗 或
ApacheKafka
apachekafkastreams
如何检测 KTable 连接的哪一侧触发了更新?
当您在 Kafka 中连接两个表时 每次更新两个 KTable 之一时 您的输出 Ktable 也会更新 想象一下你正在加入Customers与一个列表Orders你已经适当减少了 再次想象一下 您使用此连接的结果来为最终客户提供特别优惠和
ApacheKafka
apachekafkastreams
当我重新运行 Flink 消费者时,Kafka 再次消费最新消息
我在用 Scala 编写的 Apache Flink API 中创建了一个 Kafka 消费者 每当我从某个主题传递一些消息时 它就会及时接收它们 但是 当我重新启动使用者时 它不会接收新的或未使用的消息 而是使用发送到该主题的最新消息 这
ApacheKafka
apacheflink
频繁出现“offset out of range”消息,分区被消费者抛弃
我们正在运行 3 节点 Kafka 0 10 0 1 集群 我们有一个消费者应用程序 它有一个连接到多个主题的消费者组 我们在消费者日志中看到奇怪的行为 有了这些线 Fetch offset 1109143 is out of range
Java
ApacheKafka
使用 Spring Embedded Kafka 测试 @KafkaListener
我正在尝试为我正在使用 Spring Boot 2 x 开发的 Kafka 侦听器编写单元测试 作为一个单元测试 我不想启动一个完整的 Kafka 服务器作为 Zookeeper 的实例 所以 我决定使用 Spring Embedded K
Java
springboot
ApacheKafka
springKafka
SpringBootTest
当我们在 Apache Spark 中使用时,无法找到 Set([TOPIC NAME,0])) 的领导者
我们使用 Apache Spark 1 5 1 和 kafka 2 10 0 8 2 1 以及 Kafka DirectStream API 通过 Spark 从 Kafka 获取数据 我们使用以下设置在 Kafka 中创建了主题 复制因子
apachespark
ApacheKafka
SparkStreaming
了解Kafka流groupBy和window
我无法理解 kafka 流中的 groupBy groupById 和窗口的概念 我的目标是聚合一段时间内 例如 5 秒 的流数据 我的流数据看起来像 value 0 time 1533875665509 value 10 time 153
Java
ApacheKafka
apachekafkastreams
streamprocessing
Kafka:如何获取主题的最后修改时间,即添加到主题的任何分区的最后一条消息
我们的用例是从 kafka 中删除陈旧 未使用的主题 即如果某个主题 在所有分区上 在过去 7 天内没有任何新消息 那么我们会将其视为陈旧 未使用并删除它 许多谷歌结果建议向消息添加时间戳 然后解析它 对于新主题和消息 灵魂可以工作 但我们
ApacheKafka
kafkaconsumerapi
我的 Kafka 流应用程序刚刚退出,代码为 0,什么也不做
为了尝试 Kafka 流 我这样做了 public static void main String args final StreamsBuilder builder new StreamsBuilder final Properties
Java
ApacheKafka
apachekafkastreams
slf4j
kafka消费者群体正在重新平衡
我正在使用 Kafka 9 和新的 java 消费者 我正在循环内进行轮询 当代码尝试执行 Consumer commitSycn 时 由于组重新平衡 我收到 commitfailedexcption 请注意 我将 session time
ApacheKafka
kafkaconsumerapi
如何使用 Kafka 发送大消息(超过 15MB)?
我发送字符串消息到Kafka V 0 8使用 Java Producer API 如果消息大小约为 15 MB 我会得到MessageSizeTooLargeException 我尝试过设置message max bytes到 40 MB
Java
Exception
ApacheKafka
使用 Spring Boot 进行 Kafka 流
我想在我的 Spring Boot 项目中使用 Kafka Streams 实时处理 所以我需要 Kafka Streams 配置或者我想使用 KStreams 或 KTable 但我在互联网上找不到示例 我做了生产者和消费者 现在我想实时
springboot
ApacheKafka
apachekafkastreams
springKafka
使用 offsets_for_times 从时间戳消费
尝试使用 confluence kafka AvroConsumer 来消费给定时间戳的消息 if flag creating a list topic partitons to search list map lambda p Topic
python
ApacheKafka
kafkaconsumerapi
confluentkafkapython
从 Apache Kafka 中的主题删除消息
所以我是 Apache Kafka 的新手 我正在尝试创建一个简单的应用程序 以便我可以更好地理解 API 我知道这个问题在这里被问了很多 但是如何清除存储在主题上的消息 记录 我看到的大多数答案都说要更改消息保留时间或删除并重新创建主题
Java
ApacheKafka
为每个键使用主题中的最新值
我有一个 Kafka 生产者 它正在以高速率生成消息 消息键是用户名 值是他在游戏中的当前分数 Kafka消费者处理消费消息的速度相对较慢 在这里 我的要求是显示最新的分数并避免显示陈旧的数据 但代价是某些分数可能永远不会显示 本质上 对于
Stream
ApacheKafka
apachekafkastreams
Kafka Streams - 如何扩展 Kafka 存储生成的变更日志主题
我有多个冗余应用程序实例 它们想要使用主题的所有事件并独立存储它们以进行磁盘查找 通过rocksdb 为了便于论证 我们假设这些冗余消费者正在服务无状态 http 请求 因此 负载不是使用 kafka 共享的 而是使用 kafka 将数据从
ApacheKafka
apachekafkastreams
如何在 Python 中以编程方式检查 Kafka Broker 是否已启动并运行
我正在尝试使用来自 Kafka 主题的消息 我正在使用包装器confluent kafka消费者 我需要在开始使用消息之前检查连接是否已建立 我读到消费者很懒 所以我需要执行一些操作才能建立连接 但我想检查连接建立而不执行consume o
python
ApacheKafka
kafkaconsumerapi
kafkapython
卡夫卡主题查看器? [关闭]
Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我想调试一些 Kafka 主题 这样我就知道消费者或生产者是否有问题 Kafka 是否有一个 UI 我
ApacheKafka
kafkaconsumerapi
将数据从 Kafka 存储传输到 Kafka 主题
我想在卡夫卡做这样的事情 继续将数据存储在 KStream Ktable Kafka store 中 当我的应用程序收到特定事件 数据时 仅将上述存储中的特定数据集发送到主题 我们可以在卡夫卡中做到这一点吗 我认为单独使用 Kafka 消费
ApacheKafka
apachekafkastreams
«
1
2
3
4
5
6
...37
»