程序员经验分享-hwhale

在 Debezium Mysql Connector 中将更多表列入白名单的有效方法

2024-02-19

将新表列入 debezium mysql 连接器白名单是否遵循任何最佳实践？

我们在 CDC 流程中使用 debezium mysql 连接器，并且出现了一个用例，将更多表列入连接器配置的白名单。以下是正在使用的 Debezium 的版本详细信息以及

{
    "class": "io.debezium.connector.mysql.MySqlConnector",
    "version": "0.8.0.Final",
    "snapshot.mode": "schema_only"
}

有一张 Debezium 票https://issues.redhat.com/browse/DBZ-906 https://issues.redhat.com/browse/DBZ-906表示运行连接器

"snapshot.mode": "schema_only_recover"

模式并在重新启动连接器之前重新创建历史主题。我对这种方法有几个问题

  • 此选项也适用于上述版本吗？
  • 如何获取在将表列入白名单之前对新表进行的更新？

    • 首先，请升级 Debezium，因为 0.8.0 版本非常旧。

    一般来说，有多种方法可以解决您的问题，但如果您可以承受流式传输的暂停，那么我建议您这样做 1）停止当前连接器 2) 使用列入白名单的新表启动一个新连接器以在其上执行快照 3) 快照完成后，使用更新的白名单列表启动原始连接器

    参见示例https://groups.google.com/forum/?fromgroups=#!msg/debezium/Iw4BgLZ8Mq4/SZBLGwEaAQAJ;context-place=forum/debezium https://groups.google.com/forum/?fromgroups=#!msg/debezium/Iw4BgLZ8Mq4/SZBLGwEaAQAJ;context-place=forum/debezium详细信息

    如果您无法承受停机时间，请检查中介绍的实验方法DBZ-175 https://issues.redhat.com/browse/DBZ-175

    本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

    mysql

    apachekafkaconnect

    mysqlconnector

    debezium

    在 Debezium Mysql Connector 中将更多表列入白名单的有效方法 的相关文章

    • Mysql：计算访问频率

      我有这张桌子 CREATE OR REPLACE TABLE hits ip bigint page VARCHAR 256 agent VARCHAR 1000 date datetime 我想计算每个页面的 googlebot 访问频率

    • 测验程序的 MySql 数据库设计

      我目前正在开发一个项目 主要是创建一个测验应用程序 它将能够进行包含 10 到 20 个问题的多项选择题或简答题的测验 它需要能够根据正确答案检查用户的答案 然后对用户的答案进行评分 稍后 我可能会实现一个后端功能来在线创建测验 但现在我将

    • TCPDF - 来自 mysql 的打印表显示重复的第一行

      我是 TCPDF 的新手 我面临的小问题是所有输出数据都显示同一行 我的意思是第一条记录重复数据库中存在的总数据 行 的次数 这是我的代码 tbl header

    • 多个数据库连接

      我有三张桌子 categories content info and content The categories表包含类别的id及其 IDparent类别 The content info包含两列 entry id帖子的 ID 和cat

    • 如何备份整个MySQL数据库的所有用户、权限和密码？

      我需要备份整个 MySQL 数据库 其中包含所有用户及其权限和密码的信息 我看到选项http www igvita com 2007 10 10 hands on mysql backup migration http www igvita

    • 可以有多个用户作为 MySQL 存储过程的定义者吗？

      我在 MySQL 存储过程方面遇到了一些困难 并且感到有点沮丧 我有一组由 Bob 创建的 SP 由于他是定义者 只有他才能看到它们的 CREATE 语句 修改它们等 Mary 可以在 MySQL Workbench 的架构中看到 Bob

    • PHP 数据库显示在具有不同锚标记的相同字段中

      我四处寻找 看看这是否可行 但却空手而归 首先 这是我的代码 div style display none div ul li li li li li li ul

    • MySql JOINS 的优点/缺点

      当我从多个表中选择数据时 我经常使用 JOINS 最近我开始使用另一种方式 但我不确定从长远来看会产生什么影响 例子 SELECT FROM table 1 LEFT JOIN table 2 ON table 1 column table

    • 使用 RMySQL 会干扰 RPostgreSQL

      我有一个 R 脚本 我想从 MySQL 数据库中提取一些数据 然后从 PostgreSQL 数据库中提取一些数据 但是 从 RMySQL 加载 MySQL 驱动程序会阻止我从以下位置加载 PostgreSQL 驱动程序 PostgreSQL

    • MySQL - 查询合并具有相同 id 的行并保留该 id 的所有条目但作为一条记录

      我一直在处理本地保存在 wamp 服务器上的 mysql 数据库中的表 我正在使用 wamp 中的 phpmyadmin 区域来运行查询 我正在尝试获取数据来执行以下操作 谁能帮我制作一张包含许多植物记录的表格 植物可以有多个名称 表格将其

    • AttributeError：尝试在 python 中运行 sqlalchemy 来管理我的 SQL 数据库时，“Engine”对象没有属性“execute”

      我有以下代码行不断给我一个错误 即引擎对象没有对象执行 我认为我一切都对 但不知道接下来会发生什么 似乎其他人也遇到了这个问题 重新启动他们的笔记本电脑就可以了 我正在使用 Pycharm 并已重新启动但没有任何解决方案 任何帮助是极大的赞

    • 删除 mysql 数据库中超过 3 个月的行的作业

      我们使用 mysql 服务器作为集中式日志系统 我希望有一项工作来定期删除 清理超过 3 个月的表条目 做这个的最好方式是什么 提前致谢 hinling 您是否在字段中存储项目的创建日期 If so DELETE FROM myTable

    • 尝试通过比较不同的表从 SQL 查询输出正确的值

      我对 SQL 非常陌生 需要有关如何使用正确的查询完成此任务的帮助 我有 2 张桌子需要使用 表 TB1 有 id Name 1 bob 2 blow 3 joe 表 TB2 有 compid property 1 bob 2 blow 我

    • 如何在php中正确显示另一种语言的mysql表数据

      我有一个 mySQL 表 其中一列中的数据采用英语以外的语言 波斯语 当我在表中输入数据时 它会正确显示 但是当我想在 php 文件中显示数据时 它会显示如下 好吧 我应该怎么做才能以正确的形式显示数据 由于我经常使用 非英语 字符 因此要

    • PHP实现的机票预订系统

      如何防止预订系统中的座位被重复预订 我正在用 PHP 和 MYSQL 制作一个航空旅行预订系统模型作为一个项目 我有一个小问题 仅在付款后 门票和座位详细信息才会永久存储在此处 座位号在付款前分配 假设人 1 预订了飞机上的座位 x 并支付

    • grails/mysql 时区更改

      完成更改应用程序时区的最佳方法是什么 在我看来 必须发生以下情况 服务器 TZ 已被系统管理员更改 mysql必须重新启动 数据库中每个基于时间的列都必须使用convert tz 或等效方法更新所有值 因此 要么必须编写一个 mysql 脚

    • 每个搜索词显示一行，如果未找到则替换默认值

      Query SELECT product id name FROM product WHERE barcode in 681027 8901030349379 679046 679047 679082 679228 679230 67923

    • Mysql获取特定表的最后一个id

      我必须从特定的插入表中获取最后的插入 ID 可以说我有这个代码 INSERT INTO blahblah test1 test 2 VALUES test1 test2 INSERT INTO blahblah2 test1 test 2

    • 无需 cron 在后台发送邮件

      我想知道是否有一种方法可以运行 PHP 循环 以便在后台向订阅者发送几百封电子邮件 我的目标是格式化新闻通讯 单击发送 然后关闭浏览器或更改页面 当然 发送电子邮件的实际过程将在后台运行 不会因浏览器关闭而中断 我知道这可以通过 cron

    • #1115 - 未知字符集：'utf8mb4'

      我的电脑上运行着一个本地网络服务器 用于本地开发 我现在正处于导出数据库并导入到我的托管 VPS 的阶段 导出然后导入时出现以下错误 1115 未知字符集 utf8mb4 有人能指出我正确的方向吗 该错误明确表明您没有utf8mb4您的阶段

    随机推荐

    • Sublime Text 3 有集成终端吗？

      我通常使用 WebStorm IDE 进行 Node js 和 FE JavaScript 开发 然而 我正在考虑使用 Sublime Text 3 因为我在蹩脚的旧 Macbook Pro 上的计算能力已经耗尽 而 ST3 在内存和 CP

    • 调用函数时设置列名

      假设我们有一个数字 data framefoo并想要找到每两列的总和 foo lt data frame x 1 5 y 4 8 z 10 14 w 8 4 bar lt combn colnames foo 2 function x fo

    • 詹金斯附件-语法是什么？

      我试图让 Jenkins 将一个或一组文件附加到作业已完成的电子邮件通知中 我不断收到以下错误 发送电子邮件以触发 成功 错误 访问要附加的文件时出错 需要 Ant GLOB 模式 但看到了C p p etc html See Filese

    • 设置多线程调试 (/MTd) 时发生崩溃 (C++)

      在构建动态库 C 时 我们可以选择Windows的多线程调试 MTd 或多线程调试DLL MDd 运行时库 如果我们选择多线程调试 那么创建的动态库将负责库中使用的所有变量的内存分配 因此 以下示例将显示 MDd 设置有效而 MTd 设置失

    • WindowsError：[错误2]系统找不到指定的文件，无法在Python中解析

      我制作了一个 Python 程序 它将清理我下载的 torrent 文件和文件夹中存在的不必要的名称 以便我可以将其上传到我的无限 Google Drive 存储帐户 而无需太多麻烦 然而 它给了我 WindowsError Error 2

    • Spring Security，注销：将参数从/logout传递到/login

      我使用默认的 Spring Security 来处理注销 登录 我有一个控制器方法来处理 login 当我注销时 我看到 Spring Security 将我重定向到app login logout 这个 Spring 创建的参数的存在 有

    • Android Phonegap 滑动类型

      我正在 Android Phonegap 中开发一个应用程序 我需要在我的应用程序中应用 swype 如何申请 任何人都好心指导我 您可以使用 jGestures jQuery 库 http jgestures codeplex com j

    • 核心数据 - 使用谓词过滤一对多关系

      我的核心数据模型中有以下两个实体 Manufacture name other attributes Product name other attributes 我已经设置了一对多关系 Manufacturer manufactures l

    • Postman请求带body表单数据转json

      我和邮递员有问题 For one side I can make this request with the body in form data 但是 当我尝试使用 raw json 中的正文发送相同的请求时 我得到了 我正在尝试通过 An

    • 为什么 javascript 不在加载 Ext.Ajax.Request 的 .php 文件中执行？

      我想通过 ajax 加载 php 文件 该文件在加载时执行 ExtJS 脚本 从而修改 DOM 中已存在的现有 ExtJS 对象 但是 我什至无法从正在加载的页面执行 JavascriptExt Ajax request Firebug N

    • 如何通过代码编程获取设备的 IMEI/ESN 号码但在 android > 6 中

      我的安卓版本是棉花糖6 0 如何以编程方式在 android gt 6 中查找 获取 imei 号码 注意 我在 AndroidManifest xml 文件中添加了 READ PHONE STATE 权限

    • Laravel - 会话返回 null

      我第一次在 Laravel 中使用会话 并且尝试执行多步骤形式 所以我认为使用会话将是一个明智之举 但是下面的代码返回一个空值 我做错了什么 user information name gt request gt name email gt

    • 扩展 CodeIgniter 中的控制器类

      I have class MY Controller extends CI Controller和大配置文件部分的通用逻辑 所以我尝试创建class Profile extends MY Controller正如我所理解的那样 配置文件部分

    • 如何使用自定义元素将子自定义元素包装到 div 中

      我正在尝试创建一个包装器自定义元素 将其子自定义元素包装到 div 中 但子元素没有被包装 相反 一个空的 div 被插入到子元素之前的包装元素中

    • 如何对私有变量进行单元测试？

      考虑一个链表类 我维护 2 个私有变量 1 firstNode 和 2 lastNode 因此 这些变量仅供内部使用 不通过 getter 公开 我想测试操作是否按预期修改这两个变量 例如 如果最后一个节点是重复的 则消除排序链表中的重复应

    • Blade 文件中的 if else 条件（laravel 5.3）

      我想检查一下if else我的刀片文件中的状况 我想检查一下情况 user gt status waiting 如下面给出的代码 输出按我的预期正确返回 但随着我的输出 我发现打印了大括号 我想删除结果中的大括号 我的有什么问题吗if健康

    • 计时器每 5 分钟运行一次

      如何每 5 分钟运行一些函数 示例 我想跑步sendRequest 仅在 14 00 14 05 14 10 等时间 我想用 C 以编程方式完成它 该应用程序是 Windows 服务 Use System Threading Timer h

    • Mockito：模拟对象，不是成员，但内联创建

      我有一个类执行以下操作 public class Transformer public void transform final Car car throws IOException switch car getType case OFFR

    • 如何以 vmware 清晰度动态切换主题

      Vmware Clarity 0 10 16 刚刚发布了新的深色主题 这很棒 他们描述了如何添加新主题 但没有描述在页面内动态更改它的可能性 是因为不可行吗 如果是的话 我该如何使用 Angular 4 来做到这一点 有什么网站可以帮助我解

    • 在 Debezium Mysql Connector 中将更多表列入白名单的有效方法

      将新表列入 debezium mysql 连接器白名单是否遵循任何最佳实践 我们在 CDC 流程中使用 debezium mysql 连接器 并且出现了一个用例 将更多表列入连接器配置的白名单 以下是正在使用的 Debezium 的版本详细

    热门标签