Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
是否可以使用Kafka传输文件?
我每天都会生成数千个文件 我想使用 Kafka 进行流式传输 当我尝试读取该文件时 每一行都被视为一条单独的消息 我想知道如何将每个文件的内容作为 Kafka 主题中的单个消息 以及消费者如何将 Kafka 主题中的每条消息写入单独的文件中
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
事务性 Kafka 生产者
我正在尝试让我的卡夫卡生产者具有事务性 我正在发送 10 条消息 如果发生任何错误 则不应向 kafka 发送任何消息 即不发送或全部消息 我正在使用 Spring Boot KafkaTemplate Configuration Enab
ApacheKafka
springKafka
kafkaproducerapi
无法初始化类 io.confluence.kafka.schemaregistry.client.rest.RestService
我正在尝试使用 KafkaAvroSerialzer 设置一个卡夫卡生产者以获得价值 当 rit 尝试创建生产者时 我遇到了这个错误 我正在使用 confluence 5 2 1 中提供的所有罐子 java lang NoClassDefF
Java
ApacheKafka
Avro
kafkaproducerapi
confluentschemaregistry
如何在kafka消费组中动态添加消费者
我应该如何知道何时必须扩展消费者组中的消费者 当存在快速生产者时 消费者扩大规模的触发因素是什么 一种直接的方法是获取消费者延迟 这可以计算为提交的偏移量和开始偏移量之间的差值 如果最后 n 次计算的延迟正在增加 您可以扩大规模 反之亦然
ApacheKafka
kafkaproducerapi
Kafka中如何使用事务以及如何使用abortTransaction?
我是 kafka 新手 我使用 Kafka Producer Java api 面对Kafka的这个问题 Kafka Invalid transition attempted from state COMMITTING TRANSACTIO
ApacheKafka
kafkaproducerapi
无法向 Kafka 发送大消息
我想从生产者向 Kafka 发送一条大消息 因此我更改了以下属性 代理 服务器 属性 replica fetch max bytes 317344026 message max bytes 317344026 max message byt
python27
ApacheKafka
max
kafkaproducerapi
kafkapython
Kafka 连接教程停止工作
我在此链接中执行了步骤 7 使用 Kafka Connect 导入 导出数据 http kafka apache org documentation html quickstart http kafka apache org documen
WARN 获取相关 ID 为 1 的元数据时出错:{MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)
当我使用 kafka 运行以下命令时0 9 0 1 我收到这些警告 1 你能告诉我我的主题有什么问题吗 我正在与在 ec2 中运行的 kafka 经纪人交谈 kafka console consumer sh new consumer bo
JMS
ApacheKafka
kafkaconsumerapi
jmstopic
kafkaproducerapi
在 Kafka 生产者上启用幂等性是否会降低吞吐量
我有卡夫卡制作人启用幂等性 没有启用一次语义或事务 在休息端点调用中 我启用它的原因是因为我不希望卡夫卡重试导致任何重复 我担心以下几点 幂等性会减慢我的端点速度吗 这个端点需要非常快 我读了 kafka api 文档 启用幂等性将使重试无
ApacheKafka
kafkaproducerapi
Kafka分区中消息分布不均匀
我有一个主题 有 10 个分区 1 个消费者组 有 4 个消费者 工作线程大小为 3 我可以看到分区中的消息分布不均匀 一个分区有太多数据 而另一个分区是空闲的 如何让我的生产者将负载均匀分配到所有分区 以便所有分区都得到正确利用 根据De
ApacheKafka
kafkaproducerapi
卡夫卡领导者选举什么时候发生?
Kafka High Level Producer 何时以及多久选举一次领导者 它是在发送每条消息之前执行还是仅在创建连接时执行一次 每个代理都有有关主题 和分区 及其领导者列表的信息 每当新领导者当选或分区数量发生变化时 动物园管理员都会
ApacheKafka
kafkaproducerapi
apachekafkaconnect
连接到生产者时出错:错误:ssl.certificate.location 失败
环境信息 操作系统 例如Mac Arch Windows 10 Windows10 节点版本 例如8 2 1 10 4 1 NPM 版本 例如5 4 2 6 4 1 节点 rdkafka版本 例如2 3 3 2 5 1 重现步骤 节点 rd
SSL
ApacheKafka
sslcertificate
kafkaproducerapi
nodekafkastreams
来自 Kafka Producer 的控制台消息过多
如何控制 Kafka 生产者或消费者的控制台日志记录级别 我在 Scala 中使用 Kafka 0 9 API 每次send on the KafkaProducer被调用时 控制台给出如下输出 这是否表明我没有KafkaProducer设
Log4j
ApacheKafka
kafkaproducerapi
当引导服务器关闭时,具有 transactionIdPrefix 的 DefaultKafkaProducerFactory 会无限等待
Hy 我正在使用 spring kafka 1 3 0 RELEASE 创建事务生产者 当引导服务器关闭时 DefaultKafkaProducerFactory 会无休止地等待 直到引导服务器启动 我究竟做错了什么 我可以设置超时和 或其
Java
ApacheKafka
kafkaproducerapi
springKafka
kafka 是否有默认的 Web UI [关闭]
Closed 这个问题需要多问focused help closed questions 目前不接受答案 我有几个关于卡夫卡的问题 1 Kafka 有默认的 Web UI 吗 2 我们如何优雅地关闭独立的kafka服务器 kafka控制台
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
SASL 握手期间出现意外的 METADATA 类型的 Kafka 请求
我正在尝试使用 SASL Plain 将 Kafka Java 客户端连接到 Kafka 代理 但是当我尝试从生产者发送消息时 Kafka 服务器记录以下错误 2020 04 30 14 48 14 955 INFO SocketServe
Java
ApacheKafka
kafkaproducerapi
Kafka生产者读取数据文件
我正在尝试在循环中加载数据文件 以检查统计信息 而不是 Kafka 中的标准输入 下载 Kafka 后 我执行了以下步骤 启动动物园管理员 bin zookeeper server start sh config zookeeper pro
ApacheKafka
kafkaproducerapi
我可以在 Kafka Broker 所在的同一台机器上运行 Kafka Streams 应用程序吗?
我有一个 Kafka Streams 应用程序 它从几个主题获取数据并连接数据并将其放入另一个主题中 卡夫卡配置 5 kafka brokers Kafka Topics 15 partitions and 3 replication fa
ApacheKafka
kafkaconsumerapi
kafkaproducerapi
apachekafkastreams
Kafka 生产者超时异常
我正在运行 Samza 流作业 将数据写入 Kafka 主题 Kafka 正在运行一个 3 节点集群 Samza 作业部署在纱线上 我们在容器日志中看到很多这样的异常 INFO 2018 10 16 11 14 19 410 U 2 151
ApacheKafka
kafkaproducerapi
apachesamza
在 Windows 中启动 Confluence Schema Registry
我有Windows环境和我自己的一套kafka和zookeeper正在运行 为了使用自定义对象 我开始使用 Avro 但我需要启动注册表 下载 Confluence 平台并运行 bin schema registry start etc s
1
2
3
»