利用logstash，可以很方便的全量或增量同步MySql表中的数据。
可是如果MySql表里删除了记录，就没有办法直接删除对应的索引信息了。
变通方法：
方法一：
在删除MySql表里的记录的时候，去删除对应的索引信息。
这种方式的话，可以通过MQ来通知索引管理服务，让后者来实现删除索引的操作，不会影响系统的删除操作的性能。
方法二：
在MySql的表结构里增加状态标志字段is_deleted来标识记录的状态。
在删除表记录的时候，不直接删除记录，而是更改状态标识。这样该记录就会同步到ES索引中。
同时，查找语句需要增加过滤条件，过滤掉is_deleted为true的记录
可以新增一个功能，定时的批删is_deleted为true的MySql记录和ES索引记录。
缺点：更改了MySql的表结构、MySql和ES需要增加查询条件、LogStash增加了一些不必要的同步等
方法三：
使用阿里巴巴的开源框架canal。
官方地址 https://github.com/alibaba/canal
canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
基于日志增量订阅和消费的业务包括
- 数据库镜像
- 数据库实时备份
- 索引构建和实时维护(拆分异构索引、倒排索引等)
- 业务 cache 刷新
- 带业务逻辑的增量数据处理
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x
canal 工作原理
- canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
方法四：
新建一张删除记录表，里面记录表名、id、删除时间等信息 。在删除MySql表里的记录的时候，将删除记录保存到这张表里。
新建一个定时任务，根据删除记录删除对应的索引信息。
参考文章：
ES 译文之使用 Logstash 实现关系型数据库与 ElasticSearch 之间的数据同步 https://zhuanlan.zhihu.com/p/71629420
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
