问题:
如何使用 Kafka Connect 正确注册 SqlServer 连接器以连接到独立的 SQL Server 实例?注意:我没有在 Docker 中运行 SQL Server。
Error:
错误:由以下原因引起:com.microsoft.sqlserver.jdbc.SQLServerException:
与主机 127.0.0.1、端口 1433 的 TCP/IP 连接失败。错误:
“连接被拒绝(连接被拒绝)。验证连接
特性。确保 SQL Server 实例正在运行
主机并在端口上接受 TCP/IP 连接。确保 TCP
与端口的连接未被防火墙阻止。”。
故障排除:
- 在 dbo.Posts 表上启用 CDC(见下文)
- 验证 TCP/IP 已启用,并将所有地址在 SQL Server 配置管理器的 SQL Server 网络配置中的端口 1433 上设置为启用和活动
- 禁用 Windows 防火墙
- 在 SQL Server 配置管理器中启用 SQL Server 浏览器
- 已验证我可以通过以下方式远程登录:(127.0.0.1 1433;localhost 1433;lt-ls231 1433)
Context:
我正在尝试使用 Docker 在 Windows 10 上设置 Debezium。我可以毫无问题地在 Powershell 中成功运行以下命令:
docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:1.1
docker run -it --rm --name kafka -p 9092:9092 --link zookeeper:zookeeper debezium/kafka:1.1
docker run -it --rm --name connect -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my_connect_configs -e OFFSET_STORAGE_TOPIC=my_connect_offsets -e STATUS_STORAGE_TOPIC=my_connect_statuses --link zookeeper:zookeeper --link kafka:kafka debezium/connect:1.1
当我尝试使用 Kafka-Connect 注册 SQL Server 连接时出现错误(见上文)connect
,我运行以下命令:
Invoke-RestMethod -Method Post -Uri 'http://localhost:8083/connectors/' -Headers @{'Accept' = 'application/json'; 'Content-Type' = 'application/json'} -Body '{"name": "mssqlserver-localhost-testDb-connector", "config": {"connector.class": "io.debezium.connector.sqlserver.SqlServerConnector", "database.hostname": "127.0.0.1", "database.port": "1433", "database.user": "svc_kafka", "database.password": "password", "database.dbname": "Posts", "database.server.name": "LT-LS231", "table.whitelist": "dbo.Posts", "database.history.kafka.bootstrap.servers": "kafka:9092", "database.history.kafka.topic": "dbhistory.LT-LS231" }}'
JSON 格式如下:
Invoke-RestMethod -Method Post -Uri 'http://localhost:8083/connectors/' -Headers @{'Accept' = 'application/json'; 'Content-Type' = 'application/json'} -Body '
{
"name": "mssqlserver-localhost-testDb-connector",
"config": {
"connector.class": "io.debezium.connector.sqlserver.SqlServerConnector",
"database.hostname": "127.0.0.1",
"database.port": "1433",
"database.user": "svc_kafka",
"database.password": "password",
"database.dbname": "Posts",
"database.server.name": "LT-LS231",
"table.whitelist": "dbo.Posts",
"database.history.kafka.bootstrap.servers": "kafka:9092",
"database.history.kafka.topic": "dbhistory.LT-LS231"
}
}'
这是根据 Debezium 网站上提供的 JSON 建模的:https://debezium.io/documentation/reference/1.1/connectors/sqlserver.html#sqlserver-deploying-a-connector