我正在研究 debezium mongodb 源连接器。我可以通过将 kafka bootstrap 服务器地址提供为远程计算机(部署在 Kubernetes 中)和远程 MongoDB url 来在本地计算机上以分布式模式运行连接器吗?
我尝试了这个,我看到连接器成功启动,没有错误,只有几个警告,但没有数据从 mongodb 流出。
使用以下命令运行连接器
./bin/connect-distributed ./etc/schema-registry/connect-avro-distributed.properties ./etc/kafka/connect-mongodb-source.properties
如果不是,我还能如何实现这一点,我不想像大多数教程所建议的那样安装本地 kafka 或 mondoDB。我想为此使用我们的测试服务器。
为此遵循以下教程: https://medium.com/tech-that-works/cloud-kafka-connector-for-mongodb-source-8b525b779772 https://medium.com/tech-that-works/cloud-kafka-connector-for-mongodb-source-8b525b779772
以下是该问题的更多详细信息
连接器工作正常,我在连接器日志末尾看到以下几行
INFO [Worker clientId=connect-1, groupId=connect-cluster] Starting connectors and tasks using config offset -1 (org.apache.kafka.connect.runtime.distributed.DistributedHerder:1000)
] INFO [Worker clientId=connect-1, groupId=connect-cluster] Finished starting connectors and tasks (org.apache.kafka.connect.runtime.distributed.DistributedHerder:1021)
我还在 /etc/kafka/connect-mongodb-source.properties 中定义了 MongoDB 配置,如下所示
name=mongodb-source-connector
connector.class=io.debezium.connector.mongodb.MongoDbConnector
mongodb.hosts=/remoteserveraddress:27017
mongodb.name=mongo_conn
initial.sync.max.threads=1
tasks.max=1
但数据并没有在 MongoDB 和 Kafka 之间流动。我还发布了有关 Kafka-MongoDB Debezium Connector 的单独问题:分布式模式
任何指针表示赞赏