我在此链接中执行了步骤#7(使用 Kafka Connect 导入/导出数据):
http://kafka.apache.org/documentation.html#quickstart http://kafka.apache.org/documentation.html#quickstart
它运行良好,直到我删除“test.txt”文件。主要是因为 log4j 文件就是这样工作的。一段时间后,文件将被旋转 - 我的意思是 - 它将被重命名并且具有相同名称的新文件将开始写入。
但在我删除“test.txt”之后,连接器停止工作。我重新启动了连接器、代理、动物园管理员等,但“test.txt”中的新行不会转到“connect-test”主题,因此不会转到“test.sink.txt”文件。
我怎样才能解决这个问题?
连接器保留其“从文件读取的最后位置”的选项卡,因此,如果在读取文件时崩溃,它可以从中断处继续。
问题是您删除了文件而没有将偏移量重置为 0,因此它基本上看不到任何新数据,因为它等待新数据从头开始以特定字符计数开始显示...
解决方法是重置偏移量。如果您在独立模式下使用 connect,则偏移量默认存储在 /tmp/connect.offsets 中,只需从那里删除它们即可。
从长远来看,我们需要一个更好的文件连接器:)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)