无法从本地计算机连接到 Google 计算引擎上的 kafka 服务器

2023-11-25

我正在谷歌计算引擎上运行我的动物园管理员和卡夫卡服务器。两者都在默认端口上运行(zookeeper 在 2181 上,kafka 在 9092 上)。两者都在同一个实例上运行。我也打开了这两个端口。在我的 server.properties 中我已经配置

zookeeper.connect=<InternalIP>:2181
host.name=localhost

如果我尝试从同一服务器推送/使用消息,我可以这样做 为了推送/消费我使用

 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

但是,如果在本地计算机上尝试相同的操作,我会在生产者和 java.net.ConnectException 中得到 kafka.common.FailedToSendMessageException:在消费者的情况下连接被拒绝 我尝试通过以下方式推送/消费

bin/kafka-console-producer.sh --broker-list <ExternalIP>:9092 --topic topic1
bin/kafka-console-consumer.sh --zookeeper <ExternalIP>:2181 --topic topic1 --from-beginning

请注意,我可以从本地系统 ping 外部 IP。

我已经在计算引擎中配置了下面提到的防火墙规则

Description

kafka port enabled
Network

default
Source filter

Allow from any source (0.0.0.0/0)
Allowed protocols and ports

tcp:9092

描述

zookeeper port enabled
Network

default
Source filter

Allow from any source (0.0.0.0/0)
Allowed protocols and ports

tcp:2181

您必须通过SSH访问云计算虚拟机实例,然后编辑kafka配置文件。

$ sudo vim /opt/bitnami/kafka/config/server.properties

取消注释行#advertisement.listeners=PLAINTEXT://:9092 并替换为advertising.listeners=PLAINTEXT://[instance_public_id_address]:9092

最后一步重启 kafka 服务

sudo /opt/bitnami/ctlscript.sh restart

重要的是要考虑 GCP 计算虚拟机的默认 IP 地址是临时的,因此您必须在 Kafka 实例的 GCP 配置面板中将其更改为静态,以避免每次 IP 地址更改时都更改配置文件。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

无法从本地计算机连接到 Google 计算引擎上的 kafka 服务器 的相关文章

  • kafka消费端Offsets的一致性

    我有复制因子为 3 的卡夫卡主题min insync replicas 2 一个向该主题发送 X 条消息的生产者acks all 一段时间后 1 分钟内 在所有消息发送到主题后 将使用 java kafka 客户端为此主题创建新的消费者 使
  • Kafka:隔离级别的影响

    我有一个用例 我需要 Kafka 分区中的 100 可靠性 幂等性 无重复消息 以及顺序保留 我正在尝试使用事务 API 来建立概念验证来实现这一目标 有一个名为 isolation level 的设置 我很难理解 In this arti
  • 从副本消费

    Kafka 将主题的每个分区复制到指定的复制因子 据我所知 所有写入和读取请求都会路由到分区的领导者 有没有办法从追随者那里消费而不是从领导者那里消费 Kafka中的复制只是为了故障转移吗 在 Kafka 2 3 及更早版本中 您只能从领导
  • 带有安全 Kafka 抛出的 Spark 结构化流:无权访问组异常

    为了在我的项目中使用结构化流 我正在 hortonworks 2 6 3 环境上测试 Spark 2 2 0 和 Kafka 0 10 1 与 Kerberos 的集成 我正在运行下面的示例代码来检查集成 我能够在 Spark 本地模式下的
  • Zookeeper 未启动,nohup 错误

    我已经下载了zookeeper 3 4 5 tar gz 解压后我将conf zoo cfg写为 tickTime 2000 dataDir var zookeeper clientPort 2181 现在我尝试通过 bin zkServe
  • kafka 连接 s3 源无法与 Minio 一起使用

    我已经验证了与 minio 的连接 确保凭据工作正常并且可以访问 minio 另外 如果我尝试任何其他值store url http minio 9000我无法保存配置 所以我猜想在可见性方面不存在问题卡夫卡连接容器和minio容器 我不确
  • KafkaConsumer.commitAsync() 行为的偏移量比以前更低

    kafka 将如何处理调用 KafkaConsumer commitAsync Map
  • 连接到 Apache Kafka 多节点集群中的 Zookeeper

    我按照以下说明设置了多节点 kafka 集群 现在 如何连接到zookeeper 是否可以从 JAVA 中的生产者 消费者端仅连接到一个 ZooKeeper 或者是否有一种方法可以连接所有 ZooKeeper 节点 设置多节点 Apache
  • Apache Kafka 是否提供异步订阅回调 API?

    我的项目正在将 Apache Kafka 视为老化的基于 JMS 的消息传递方法的潜在替代品 为了让这个过渡尽可能的顺利 如果替代的排队系统 Kafka 有一个异步订阅机制那就更理想了 类似于我们当前项目使用的JMS机制MessageLis
  • kafka ProducerRecord 和 KeyedMessage 有什么区别

    我正在衡量卡夫卡生产者生产者的表现 目前我遇到了两个配置和用法略有不同的客户 Common def buildKafkaConfig hosts String port Int Properties val props new Proper
  • Kafka Connect Confluence S3 Sink 连接器:找不到类 io.confluence.connect.avro.AvroConverter

    使用此 Kafka Connect 连接器 https www confluence io hub confluenceinc kafka connect s3 https www confluent io hub confluentinc
  • Spark shell (spark 3.0.0) 添加包 confluence kafka 5.5.1 javax.ws.rs-api 问题

    我本地的win10 WSL回到ubuntu 在ubuntu上 我安装了spark3 0 0 confluence平台5 5 1 手动下载 当我尝试运行spark shell或spark submit时 下面是shell示例 spark sh
  • 卡夫卡主题查看器? [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我想调试一些 Kafka 主题 这样我就知道消费者或生产者是否有问题 Kafka 是否有一个 UI 我
  • 如何在 Python 中以编程方式检查 Kafka Broker 是否已启动并运行

    我正在尝试使用来自 Kafka 主题的消息 我正在使用包装器confluent kafka消费者 我需要在开始使用消息之前检查连接是否已建立 我读到消费者很懒 所以我需要执行一些操作才能建立连接 但我想检查连接建立而不执行consume o
  • 我的 Kafka 流应用程序刚刚退出,代码为 0,什么也不做

    为了尝试 Kafka 流 我这样做了 public static void main String args final StreamsBuilder builder new StreamsBuilder final Properties
  • 了解Kafka流groupBy和window

    我无法理解 kafka 流中的 groupBy groupById 和窗口的概念 我的目标是聚合一段时间内 例如 5 秒 的流数据 我的流数据看起来像 value 0 time 1533875665509 value 10 time 153
  • 使用 Spring Embedded Kafka 测试 @KafkaListener

    我正在尝试为我正在使用 Spring Boot 2 x 开发的 Kafka 侦听器编写单元测试 作为一个单元测试 我不想启动一个完整的 Kafka 服务器作为 Zookeeper 的实例 所以 我决定使用 Spring Embedded K
  • 如何检测 KTable 连接的哪一侧触发了更新?

    当您在 Kafka 中连接两个表时 每次更新两个 KTable 之一时 您的输出 Ktable 也会更新 想象一下你正在加入Customers与一个列表Orders你已经适当减少了 再次想象一下 您使用此连接的结果来为最终客户提供特别优惠和
  • 创建 Kafka 主题导致没有领导者

    我正在使用 Kafka v0 9 0 1 Scala v2 11 和com 101tec zkclientv0 7 我正在尝试使用AdminUtils创建一个kafka主题 我的代码如下 String zkServers node1 218
  • 在云模式下设置 Apache Solr

    我必须执行以下操作 我必须在 2 个服务器 节点上部署 Solr 在另一台服务器上部署 Zookeeper 将自定义配置上传到 Zookeeper 创建具有 2 个分片和 2 个副本的自定义集合 Solr 7 4 0 和 Zookeeper

随机推荐

  • Autofac复合图案

    我注意到我经常需要实现复合模式 例如 interface IService class Service1 IService class Service2 IService class CompositeService IService pu
  • python - 使用 Django 将 Unicode 字符存储到 MySQL 时出现问题

    我有字符串 u Played Mirror s Edge u2122 应显示为 Played Mirror s Edge 但这是另一个问题 我手头的问题是我将其放入模型中 然后尝试将其保存到数据库中 又名 a models Achievem
  • 如何使用依赖 jar 创建可执行 jar

    我创建了一个依赖于一些外部 jar 的 java 应用程序 现在我想为我的项目创建一个可执行的 jar 这意味着如果我双击该项目 那么它应该执行 您可以使用 Ant 轻松做到这一点
  • Android PhotoView 在方向改变后保持缩放

    我正在利用照片查看器Chris Banes 的课程能够放大图像并查看它 但我想这样做 以便当我更改方向时 照片在更改后仍会放大 我了解如何执行此操作的基础知识 即当检测到方向更改时 将调用 onSaveInstanceState 因此我尝试
  • 破坏 RichTextBox 中的编码

    我在 winform 应用程序中使用 richtextbox 当我粘贴 高棉 文本时一切正常 但是 当我粘贴 阿拉伯语 文本时 会出现一些问题 在第一个插入中存在编码问题 我在 richtextbox 中没有找到任何编码属性 如何解决编码问
  • 如何从文本中提取关键字(标签)

    我目前正在尝试用 Java 实现一个标记引擎 并搜索从文本 文章 中提取关键字 标签的解决方案 我在 stackoverflow 上找到了一些建议使用逐点互信息的解决方案 解决方案1 解决方案2 我不能使用 python 和 nltk 所以
  • 异步请求后如何重定向路由?

    我有我使用的这段代码反应路由器 dom v6用于路由 class App extends Component constructor props super props this state accounts componentDidMou
  • 如何对 pandas 中连续出现的重复项进行分组

    我有一个数据框 其中包含两列 Name In cl 我想按名称分组 但它基于连续发生 例如考虑下面的 DataFrame 生成以下 DF 的代码 df pd DataFrame Name A B B A A B C C C B C In C
  • 将 List 传递到 SQL 参数

    该程序是用 C 编写的 我正在尝试传递一个List
  • 如何在 Android 中以编程方式读取 SHA 和 MD5 指纹

    您好 我想以编程方式读取我的应用程序的签名密钥库的 SHA 和 MD5 指纹值 我将采用 SHA 或 MD5 值作为安全密钥 我将在代码中使用该密钥来加密某些内容并在服务器端解密相同的内容 有什么方法可以找到这个 或者有什么方法可以使用不同
  • 表单验证 - 我收到标签两次

    我有一个注册表单 来自 FOSUserBundle 它位于模板中 form theme form AcmeMyBundle Form errors html twig
  • 无法在脚本中导入导入日期时间[重复]

    这个问题在这里已经有答案了 我无法从 python 脚本导入日期时间 但可以从终端命令行导入 1 import datetime 2 From datetime import datetime month datetime datetime
  • java8数组流到二维数组

    我是 Java8 的新手 无法使用流将一个数组映射到另一个二维数组 我有一个二维数组 它是一种模式 boolean pattern true true false true false true false true true 第二个数组包
  • 未知类型名称 __m256 - AVX 的英特尔内在函数无法识别?

    我正在尝试测试一些英特尔内部函数 看看它们是如何工作的 因此 我创建了一个函数来为我执行此操作 这是代码 void test intel 256 m256 res vec1 vec2 M256 MM SET PS vec1 7 0 7 0
  • Python tkinter 禁用按钮直到所有字段都被填充

    假设我在 tkinter 中有 2 个条目小部件 1 个选项菜单 下拉列表 和 1 个按钮 在用户填充所有 3 个小部件之前 如何将按钮小部件状态设置为 禁用 这就是我当前所拥有的 import Tkinter as tk root tk
  • 颤振删除应用栏上的后退按钮

    我想知道是否有人知道如何删除显示在屏幕上的后退按钮appBar当您使用 flutter 应用程序时Navigator pushNamed转到另一个页面 我不希望它出现在这个结果页面上的原因是它来自导航 我希望用户使用logout按钮 以便会
  • Spring Data Mongodb批量操作示例

    有人可以给我指点 Spring Data Mongodb DB 批量操作示例的完整示例吗 我正在尝试使用 spring data mongodb 切换到批量更新 无法找到一个好的例子 谢谢 Spring data mongodb 中的 Bu
  • Javascript - 跟踪鼠标位置

    我希望每 t 毫秒定期跟踪鼠标光标的位置 所以本质上 当页面加载时 这个跟踪器应该启动并且 比如说 每 100 毫秒 我应该获取 posX 和 posY 的新值并将其打印在表单中 我尝试了以下代码 但值没有刷新 只有 posX 和 posY
  • 了解 Xcode 中的 Instruments,测试泄漏

    我刚刚开始使用 Instruments 这是一个很好的小工具 用于测试内存分配 泄漏以及所有这些很棒的东西 但我对它的工作原理感到非常困惑 我寻找过解释如何使用它的教程 但没有教程解释如何使用它 我将尝试解释这一点 我将其设置为每当我运行
  • 无法从本地计算机连接到 Google 计算引擎上的 kafka 服务器

    我正在谷歌计算引擎上运行我的动物园管理员和卡夫卡服务器 两者都在默认端口上运行 zookeeper 在 2181 上 kafka 在 9092 上 两者都在同一个实例上运行 我也打开了这两个端口 在我的 server properties