程序员经验分享-hwhale

无法在分布式模式下运行 Kafka Connect - 尝试创建/查找主题“connect-offsets”时出错

2024-02-19

[2017-08-31 10:15:20,715] WARN 配置 提供了“internal.key.converter”，但不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] 警告配置 已提供“status.storage.replication.factor”，但未知 配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] WARN 配置 提供了“internal.value.converter.schemas.enable”，但不是 已知配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] WARN 配置 已提供“value.converter.schemas.enable”，但未知 配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] WARN 配置 提供了“internal.value.converter”，但不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] 警告配置 已提供“offset.storage.replication.factor”，但未知 配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,716] WARN 配置 提供了“offset.storage.topic”，但不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,716] 警告提供了配置“value.converter” 但不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,716] 警告 已提供配置“key.converter”，但 不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,768]信息码头-9.2.15.v20160210 (org.eclipse.jetty.server.Server:327) 2017 年 8 月 31 日上午 10:15:21 org.glassfish.jersey.internal.Errors logErrors 警告：以下内容 已检测到警告：警告：（子）资源方法 列出连接器 org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource 包含空路径注释。警告：（子）资源方法 创建连接器在 org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource 包含空路径注释。警告：（子）资源方法 列出连接器插件 org.apache.kafka.connect.runtime.rest.resources.ConnectorPluginsResource 包含空路径注释。警告：（子）资源方法 服务器信息在 org.apache.kafka.connect.runtime.rest.resources.RootResource 包含 空路径注释。

[2017-08-31 10:15:21,142] 信息开始 o.e.j.s.ServletContextHandler@63f02de0{/,null,可用} （org.eclipse.jetty.server.handler.ContextHandler：744）[2017-08-31 10:15:21,149] 信息开始 ServerConnector@61b06738{HTTP/1.1}{0.0.0.0:8083} (org.eclipse.jetty.server.ServerConnector:266) [2017-08-31 10:15:21,149] 信息开始@13584ms (org.eclipse.jetty.server.Server:379) [2017-08-31 10:15:21,150] 信息 REST 服务器正在监听http://172.28.193.126:8083/ http://172.28.193.126:8083/, 广告网址http://172.28.193.126:8083/ http://172.28.193.126:8083/(org.apache.kafka.connect.runtime.rest.RestServer:150) [2017-08-31 10:15:21,150] INFO Kafka Connect 启动 (org.apache.kafka.connect.runtime.Connect:55) [2017-08-31 10:15:21,468] 错误牧羊人工作线程中未捕获的异常，退出： （org.apache.kafka.connect.runtime.distributed.DistributedHerder：206） org.apache.kafka.connect.errors.ConnectException：错误 尝试创建/查找主题“connect-offsets” org.apache.kafka.connect.util.TopicAdmin.createTopics(TopicAdmin.java:245) 在 org.apache.kafka.connect.storage.KafkaOffsetBackingStore$1.run(KafkaOffsetBackingStore.java:99) 在 org.apache.kafka.connect.util.KafkaBasedLog.start(KafkaBasedLog.java:126) 在 org.apache.kafka.connect.storage.KafkaOffsetBackingStore.start(KafkaOffsetBackingStore.java:109) 在 org.apache.kafka.connect.runtime.Worker.start(Worker.java:146) 处 org.apache.kafka.connect.runtime.AbstractHerder.startServices(AbstractHerder.java:99) 在 org.apache.kafka.connect.runtime.distributed.DistributedHerder.run(DistributedHerder.java:194) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) 处 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) 在 java.lang.Thread.run(Thread.java:748) 引起的： java.util.concurrent.ExecutionException： org.apache.kafka.common.errors.UnknownServerException：服务器 处理请求时遇到意外错误 org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow(KafkaFutureImpl.java:45) 在 org.apache.kafka.common.internals.KafkaFutureImpl.access$000(KafkaFutureImpl.java:32) 在 org.apache.kafka.common.internals.KafkaFutureImpl$SingleWaiter.await(KafkaFutureImpl.java:89) 在 org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:213) 在 org.apache.kafka.connect.util.TopicAdmin.createTopics(TopicAdmin.java:226)


当以分布式模式启动 Kafka Connect 时，它将尝试创建或期望 Kafka 中存在多个主题。就我而言，自动主题创建已关闭，因此 Kafka Connect 无法在我运行它的环境中创建主题。我自己创建这些主题解决了这个问题。您可以在属性文件（如下）中指定这些主题的名称。

offset.storage.topic

config.storage.topic

status.storage.topic

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ApacheKafka

apachekafkaconnect

无法在分布式模式下运行 Kafka Connect - 尝试创建/查找主题“connect-offsets”时出错 的相关文章

  • Kafka Connect 进入重新平衡循环

    我刚刚部署了 Kafka Connect 我只使用连接源 MQTT 应用程序位于两个实例的集群上 2 个容器上 机器 现在它似乎进入了一种重新平衡循环 我一开始有一点数据 但没有新数据出现 这就是我在日志中得到的内容 2017 08 11

  • 如何强制消费者读取kafka中的特定分区

    我有一个应用程序 用于从 1 个 Kafka 生产者生成的 URL 流中下载特定的 Web 内容 我创建了一个有 5 个分区的主题 有 5 个 kafka 消费者 但网页下载的超时时间为 60 秒 当下载其中一个 URL 时 服务器会假设消

  • WARN 获取相关 ID 为 1 的元数据时出错：{MY_TOPIC?=INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)

    当我使用 kafka 运行以下命令时0 9 0 1 我收到这些警告 1 你能告诉我我的主题有什么问题吗 我正在与在 ec2 中运行的 kafka 经纪人交谈 kafka console consumer sh new consumer bo

  • 批量插入成功后更新 Kafka 提交偏移量

    我有一个 spring kafka 消费者 它读取记录并将其移交给缓存 计划任务会定期清除缓存中的记录 我想仅在批次成功保存到数据库后更新 COMMIT OFFSET 我尝试将确认对象传递给缓存服务以调用确认方法 如下所示 public c

  • 无法向 Kafka 发送大消息

    我想从生产者向 Kafka 发送一条大消息 因此我更改了以下属性 代理 服务器 属性 replica fetch max bytes 317344026 message max bytes 317344026 max message byt

  • Kafka的消息键有什么特别的地方吗？

    我没有看到任何提及消息键 org apache kafka clients producer ProducerRecord key 除了它们可以用于主题分区 我可以自由地将我喜欢的任何数据放入密钥中 还是有一些我应该遵守的特殊语义 该密钥似

  • 如何处理Kafka流中的不同时区？

    因此 我正在评估 Kafka Streams 及其功能 看看它是否适合我的用例 因为我需要每 15 分钟 每小时 每天聚合传感器数据 并发现它由于其窗口功能而很有用 因为我可以通过应用创建窗口windowedBy on KGroupedSt

  • 在SSL模式下使用apache kafka

    我正在尝试在 SSL 1 way 模式下设置 kafka 我已经阅读了官方文档并成功生成了证书 我将记下两种不同情况的行为 此设置只有一名经纪人和一名动物园管理员 案例 1 经纪人间通信 明文 我的相关条目server properties

  • 安装 confluence-kafka 时“文件名或扩展名太长”？

    我在使用 pip install confluence kafka 安装 confluence kafka 时遇到一些问题 但我收到此错误 文件名或扩展名太长 详细信息如下 Collecting confluent kafka Using

  • Kafka Java 消费者从未收到任何消息

    我正在尝试设置一个基本的 Java 消费者来接收来自 Kafka 主题的消息 我已经跟踪了样本 https cwiki apache org confluence display KAFKA Consumer Group Example h

  • 无法向 kafka 主题发送消息

    我正在使用 Kafka Play 以及 Scala 这是我的代码 我想在其中发送消息到kafka服务器 主题名称是 测试主题 尽管我没有在主题中看到我发送的消息 但我没有收到任何错误 这里有什么问题吗 import kafka produc

  • 我们如何读取给定时间范围内的Kafka主题？

    我需要读取 Kafka 主题中给定时间范围内的消息 我能想到的解决方案是首先找出时间范围开始的最大偏移量 然后继续消费消息 直到所有分区上的偏移量超过时间范围的末尾 有没有更好的方法来解决这个问题 谢谢 好吧 您肯定必须首先搜索适合时间范围

  • 是否可以使用 Kafka Streams 访问消息头？

    随着添加Headers http apache spinellicreations com kafka 0 11 0 0 javadoc org apache kafka common header Header html到记录 生产者记录

  • 找不到 io.confluence:kafka-protobuf-serializer:6.0.0

    直接的问题是 为什么 Gradle 没有解决我添加的这个依赖关系 dependencies kafka protobuf serializer implementation io confluent kafka protobuf seria

  • 命名 kafka 主题的最佳实践是什么？

    我们是 kafka 的新手 我们有几个团队正在开发一些相互发布 订阅事件的应用程序 由于kafka主题名称将在团队之间共享 那么命名有什么最佳实践吗 基本上我们不希望看到 A 团队命名主题companyname appname events

  • 通过SOCKS代理连接Kafka

    我有一个在 AWS 上运行的 Kafka 集群 我想用标准连接到集群卡夫卡控制台消费者从我的应用程序服务器 应用程序服务器可以通过 SOCKS 代理访问互联网 无需身份验证 如何告诉 Kafka 客户端通过代理进行连接 我尝试了很多事情 包

  • kafka 连接 s3 源无法与 Minio 一起使用

    我已经验证了与 minio 的连接 确保凭据工作正常并且可以访问 minio 另外 如果我尝试任何其他值store url http minio 9000我无法保存配置 所以我猜想在可见性方面不存在问题卡夫卡连接容器和minio容器 我不确

  • 调试自定义 Kafka 连接器的简单有效的方法是什么？

    我正在使用几个 Kafka 连接器 在控制台输出中没有看到它们的创建 部署有任何错误 但是我没有得到我正在寻找的结果 没有任何结果 无论是期望的还是否则 我基于 Kafka 的示例 FileStream 连接器制作了这些连接器 因此我的调试

  • Kafka Consumer 无法加载任何密钥库类型和路径的 SSL 密钥库（Logstash ArcSight 模块）

    我需要为 Kafka Consumer 提供客户端身份验证证书 但是 它总是失败并出现以下异常 无法加载 SSL 密钥库 ssl cipher suites null ssl enabled protocols TLSv1 2 TLSv1

  • 生产者程序中的 kafka 网络处理器错误（ArrayIndexOutOfBoundsException：18）

    我有下面的 kafka Producer Api 程序 我对 kafka 本身是新手 下面的代码从 API 之一获取数据并将消息发送到 kafka 主题 package kafka Demo import java util Propert

随机推荐

  • Javascript：用另一个函数重新分配一个函数

    假设我有这两个功能 function fnChanger fn fn function sys print Changed function foo sys print Unchanged 现在 如果我打电话foo I see Unchan

  • PHP“未选择数据库”

    我最近开始用 PHP 创建一个网站 我的大部分代码都可以工作 但是我发现了一个无法纠正的问题 我有一个页面 其中有很多对数据库的调用 在我的页面顶部 我正在连接并使用 SELECT 来获取有关相关产品的一些信息 在页面底部 我再次连接以获取

  • 如何使用 Zend Framework 2 中的插件渲染自定义视图

    我正在开发一个应用程序 需要在流程完成后发送电子邮件 由于电子邮件需要是 HTML 我有一个好主意 将视图渲染为电子邮件消息正文 以便我可以实现 单击此处在浏览器上查看此内容 功能 这一切都在实现 AbstractRestfulContro

  • 如何用 Maven 属性替换 web.xml 中的值？

    我有一个 Maven 项目 它将一些测试文件下载到其构建目录中 target files 然后 这些文件应该可供 servlet 使用 我可以通过将完整路径硬编码为

  • 如何跳过HTTP请求的AngularJS拦截器？

    我有一个 angularjs 应用程序 其中有一个拦截器 它将授权令牌添加到每个请求的标头中 然而 在应用程序的某个地方 我需要使用外部 API 拦截器会破坏它 因为它添加了这个外部 API 提供者不接受的授权标头 如何让 angularj

  • VS2013 Windows服务-如何制作安装程序？

    我写了一个Windows服务 我现在想将其打包到安装程序中 我使用了 VS2013 x86 Native Tools 命令提示符 然后使用了以下命令 要安装它 installutil httpapiservice exe 要卸载它 inst

  • 启动Spring Boot应用程序时liquibase的问题

    我有一个Spring Boot申请与liquibase 第一次我创建表格没有问题 但当我再次启动时 我遇到了无法解决的问题 这是error Error starting ApplicationContext To display the c

  • 读取外部网页的内容并获取特定元素[重复]

    这个问题在这里已经有答案了 可能的重复 如何用PHP解析和处理HTML https stackoverflow com questions 3577641 how to parse and process html with php 我已经

  • 如何确保我使用的是“服务器”JVM？

    Sun 的 JVM 有两种风格 client and server 其中服务器 VM 应针对长时间运行的进程进行优化 建议用于服务器应用程序 当我跑步时java如果没有参数 它会显示使用选项 其中包括以下文本 The default VM

  • 减小 EPS 格式的绘图大小

    我有一个包含数百个项目的直方图 我为其绘制了 Q Q 图 这导致 EPS 大小为 2 5 兆字节 对于仅包含在出版物中并且不会以 100 倍放大倍率查看的图形来说 这太大了 R 中是否有任何选项可以以某种方式输出较小的 EPS 我搜索过文档

  • 无法在任何地方运行 jupyter（终端、anaconda 分发器）Mac os 10.12.6

    我在终端中运行 jupyter 时遇到问题 运行后终端显示什么 maxim MacBook Pro Maxim jupyter notebook Traceback most recent call last File Library Fr

  • 如何在C#中获取Windows面板控件中的Keypress事件

    我想在 C 中的 Windows 面板控件中获取按键事件 对我有帮助吗 你应该处理面板按键 http msdn microsoft com en us library system windows forms panel keypress

  • 弹簧形式：输入数字

    我正在使用 Spring 的 form input 如下

  • VS 扩展中未处理的异常

    我尝试为自定义文件定义创建语法突出显示 加载时出现异常 我已将 log 参数添加到 devenv 以获取日志 335 ERROR System Exception Duplicate EditorFormatDefinition expor

  • Python 中 OLS 的 Newey-West 标准错误？

    我想要一个系数和与之相关的 Newey West 标准误差 我正在寻找可以执行以下 R 代码正在执行的操作的 Python 库 理想情况下 但任何可行的解决方案都可以 library sandwich library lmtest a lt

  • 为什么我使用 OpenLayers 在两个弹出窗口中获得相同的文本

    我正在使用 OpenLLayers 5 我将经度 纬度和汽车名称保存在数据库中的数组中 我可以显示两个标记 我的数组目前只有两个索引 每个标记都有一个弹出窗口 其中应包含其名称 经度 纬度 例如 第一个标记的弹出窗口将汽车 1 作为文本 在

  • 使用 FQL 聆听音乐 [关闭]

    Closed 此问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我正在尝试使用 FQL 为用户和用户的朋友获取 music listens 有谁知道获取 music l

  • rake db:test:prepare 实际上做了什么？

    我正在关注 Rails 教程视频 但我不明白它是什么db test prepare命令确实如此 有人可以提供解释吗 上面的 rake db migrate 运行任何挂起的迁移 开发环境并更新db schema rb 耙子 db test l

  • 如何将 componentDidMount() 与 React-Redux connect() 混合使用？

    这似乎是一个简单的用例 但我无法弄清楚 我想显示从通过 HTTP 对远程 API 的请求中检索到的项目列表 我希望在请求发生时屏幕最初显示空白 然后在可用时填充结果 所以我想我会有两个组件 哑的 项目列表 组件和包装器 演示 组件 呃 以某

  • 无法在分布式模式下运行 Kafka Connect - 尝试创建/查找主题“connect-offsets”时出错

    2017 08 31 10 15 20 715 WARN 配置 提供了 internal key converter 但不是已知的配置 org apache kafka clients admin AdminClientConfig 231

热门标签