MySQL5.6主从复制的配置(CentOS-6.6+MySQL-5.6)(二)

2023-11-11

原文地址:http://my.oschina.net/wushuicheng/blog/652680


MySQL5.6主从复制的配置(CentOS-6.6+MySQL-5.6)

作者:吴水成

出自 龙果学院《基于Dubbo的分布式系统架构视频教程》 高可用架构篇

http://www.roncoo.com


环境

操作系统:CentOS-6.6-x86_64-bin-DVD1.iso

MySQL版本:mysql-5.6.26.tar.gz

主节点IP192.168.1.205     主机名:edu-mysql-01

从节点IP192.168.1.206     主机名:edu-mysql-02

主机配置:4CPU4G内存

 

依赖课程

《高可用架构篇--13--MySQL源码编译安装(CentOS-6.6+MySQL-5.6)》

 

MySQL主从复制官方文档

http://dev.mysql.com/doc/refman/5.6/en/replication.html

 

MySQL主从复制的方式

MySQL5.6开始主从复制有两种方式:基于日志(binlog)、基于GTID(全局事务标示符)。

本教程主要讲基于日志(binlog)的复制。

 

MySQL主从复制(也称A/B复制)的原理

(1) Master将数据改变记录到二进制日志(binary log)中,也就是配置文件log-bin指定的文件,这些记录叫做二进制日志事件(binary log events)

(2) Slave通过I/O线程读取Master中的binary log events并写入到它的中继日志(relay log)

(3) Slave重做中继日志中的事件,把中继日志中的事件信息一条一条的在本地执行一次,完成数据在本地的存储,从而实现将改变反映到它自己的数据(数据重放)

主从配置需要注意的点

(1)主从服务器操作系统版本和位数一致;

(2) MasterSlave数据库的版本要一致

(3) MasterSlave数据库中的数据要一致

(4) Master开启二进制日志,MasterSlaveserver_id在局域网内必须唯一

 

主从配置的简要步骤

1Master上的配置

(1) 安装数据库;

(2) 修改数据库配置文件,指明server_id,开启二进制日志(log-bin)

(3) 启动数据库,查看当前是哪个日志,position号是多少;

(4) 登录数据库,授权数据复制用户(IP地址为从机IP地址,如果是双向主从,这里的还需要授权本机的IP地址,此时自己的IP地址就是从IP地址)

(5) 备份数据库(记得加锁和解锁);

(6) 传送备份数据到Slave上;

(7) 启动数据库;

以下步骤,为单向主从搭建成功,想搭建双向主从需要的步骤:

(1) 登录数据库,指定Master的地址、用户、密码等信息(此步仅双向主从时需要);

(2) 开启同步,查看状态;

2Slave上的配置

(1) 安装数据库;

(2) 修改数据库配置文件,指明server_id(如果是搭建双向主从的话,也要开启二进制日志log-bin);

(3) 启动数据库,还原备份;

(4) 查看当前是哪个日志,position号是多少(单向主从此步不需要,双向主从需要);

(5) 指定Master的地址、用户、密码等信息;

(6) 开启同步,查看状态。

 

单向主从环境(也称MySQL A/B复制)的搭建

1Master192.168.1.205)和Slave192.168.1.206)上都安装了相同版本的数据库(mysql-5.6.26.tar.gz),参考《高可用架构篇--13--MySQL源码编译安装(CentOS6.6+MySQL5.6)》。

注意:两台数据库服务器的的selinux都要disable(永久关闭selinux,请修改/etc/selinux/config,将SELINUX改为disabled

 

2、修改Master的配置文件/etc/my.cnf

[root@edu-mysql-01 ~]# vi /etc/my.cnf

##  [mysqld] 中增加以下配置项

## 设置server_id,一般设置为IP

server_id=205

## 复制过滤:需要备份的数据库,输出binlog

#binlog-do-db=roncoo

## 复制过滤:不需要备份的数据库,不输出(mysql库一般不同步)

binlog-ignore-db=mysql

## 开启二进制日志功能,可以随便取,最好有含义

log-bin=edu-mysql-bin

## 为每个session 分配的内存,在事务过程中用来存储二进制日志的缓存

binlog_cache_size=1M

## 主从复制的格式(mixed,statement,row,默认格式是statement

binlog_format=mixed

## 二进制日志自动删除/过期的天数。默认值为0,表示不自动删除。

expire_logs_days=7

## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。

## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致

slave_skip_errors=1062

## 如果需要同步函数或者存储过程

log_bin_trust_function_creators=true

 

(如想了解以上参数的更多详细解析,大家可以直接百度参数名)

 

2.1 复制过滤可以让你只复制服务器中的一部分数据,有两种复制过滤:

(1)     Master上过滤二进制日志中的事件;

(2)     Slave上过滤中继日志中的事件。如下:

2.2 MySQL对于二进制日志 (binlog)的复制类型

(1) 基于语句的复制:在Master上执行的SQL语句,在Slave上执行同样的语句。MySQL默认采用基于语句的复制,效率比较高。一旦发现没法精确复制时,会自动选着基于行的复制。   

(2) 基于行的复制:把改变的内容复制到Slave,而不是把命令在Slave上执行一遍。从MySQL5.0开始支持。

(3) 混合类型的复制:默认采用基于语句的复制,一旦发现基于语句的无法精确的复制时,就会采用基于行的复制。

 

3、启动/重启Master数据库服务,登录数据库,创建数据同步用户,并授予相应的权限

[root@edu-mysql-01 ~]# service mysql restart

Shutting down MySQL..[  OK  ]

Starting MySQL..[  OK  ]

[root@edu-mysql-01 ~]# mysql -uroot -p

Enter password:

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 1

Server version: 5.6.26-log Source distribution

 

Copyright (c) 2000, 2015, Oracle and/or its affiliates. All rights reserved.

 

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

 

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

##创建数据同步用户,并授予相应的权限

mysql> grant replication slave, replication client on *.* to 'repl'@'192.168.1.206' identified by 'roncoo.123';

Query OK, 0 rows affected (0.00 sec)

## 刷新授权表信息

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

## 查看MySQL现在有哪些用户及对应的IP权限

mysql> select user,host from mysql.user;

## 查看position号,记下position号(从机上需要用到这个position号和现在的日志文件)

mysql> show master status;

Master重启后会修改mysql-bin文件名(序号加1

 

4、创建roncoo库、表,并写入一定量的数据,用于模拟现有的业务系统数据库

create database if not exists roncoo default charset utf8 collate utf8_general_ci;

use roncoo;

DROP TABLE IF EXISTS `edu_user`;

CREATE TABLE `edu_user` (

  `Id` int(11) NOT NULL AUTO_INCREMENT,

  `userName` varchar(255) NOT NULL DEFAULT '' COMMENT '用户名',

  `pwd` varchar(255) NOT NULL DEFAULT '' COMMENT '密码',

  PRIMARY KEY (`Id`)

) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 COMMENT='用户信息表';

INSERT INTO `edu_user` (userName, pwd) VALUES ('吴水成','123456'),('清风','123456'),('龙果','roncoo.com');

 

5、为保证MasterSlave的数据一致,我们采用主备份,从还原来实现初始数据一致

## 先临时锁表

mysql> flush tables with read lock;

Query OK, 0 rows affected (0.00 sec)

## 这里我们实行全库备份,在实际中,我们可能只同步某一个库,那也可以只备份一个库

 [root@edu-mysql-01 ~]# mysqldump -p3306 -uroot -p --add-drop-table roncoo > /tmp/edu-master-roncoo.sql;

Warning: Using a password on the command line interface can be insecure.

Enter password:

[root@edu-mysql-01 ~]# cd /tmp

[root@edu-mysql-01 tmp]# ll

total 644

-rw-r--r--  1 root root 644266 Dec 20 04:10 edu-master-roncoo.sql

## 注意:实际生产环境中大数据量(超2G数据)的备份,建议不要使用mysqldump进行比分,因为会非常慢。此时推荐使用 XtraBackup 进行备份。

 

## 解锁表

mysql> unlock tables;

Query OK, 0 rows affected (0.00 sec)

 

Master上备份的数据远程传送到Slave上,以用于Slave配置时恢复数据

[root@edu-mysql-01 ~]# scp /tmp/edu-master-roncoo.sql root@192.168.1.206:/tmp/

root@192.168.1.206's password:

edu-master-roncoo.sql                        100%  629KB 629.2KB/s   00:00   

[root@edu-mysql-01 ~]#

 

6、接下来处理Slave192.168.1.206),配置文件只需修改一项,其余配置用命令来操作

[root@edu-mysql-02 ~]# vi /etc/my.cnf

##  [mysqld] 中增加以下配置项

## 设置server_id,一般设置为IP

server_id=206

## 复制过滤:需要备份的数据库,输出binlog

#binlog-do-db=roncoo

##复制过滤:不需要备份的数据库,不输出(mysql库一般不同步)

binlog-ignore-db=mysql

## 开启二进制日志,以备Slave作为其它SlaveMaster时使用

log-bin=edu-mysql-slave1-bin

## 为每个session 分配的内存,在事务过程中用来存储二进制日志的缓存

binlog_cache_size = 1M

## 主从复制的格式(mixed,statement,row,默认格式是statement

binlog_format=mixed

## 二进制日志自动删除/过期的天数。默认值为0,表示不自动删除。

expire_logs_days=7

## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。

## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致

slave_skip_errors=1062

## relay_log配置中继日志

relay_log=edu-mysql-relay-bin

## log_slave_updates表示slave将复制事件写进自己的二进制日志

log_slave_updates=1

## 防止改变数据(除了特殊的线程)

#read_only=1

 

如果Slave为其它SlaveMaster时,必须设置bin_log。在这里,我们开启了二进制日志,而且显式的命名(默认名称为hostname,但是,如果hostname改变则会出现问题)

relay_log配置中继日志,log_slave_updates表示slave将复制事件写进自己的二进制日志。

当设置log_slave_updates时,你可以让slave扮演其它slavemaster。此时,slaveSQL线程执行的事件写进行自己的二进制日志(binary log),然后,它的slave可以获取这些事件并执行它。如下图所示(发送复制事件到其它Slave):

7、保存后重启MySQL服务,还原备份数据

[root@edu-mysql-02 ~]# service mysql restart

Shutting down MySQL..[  OK  ]

Starting MySQL..[  OK  ]

 

Slave上创建相同库:

create database if not exists roncoo default charset utf8 collate utf8_general_ci;

use roncoo;

 

导入数据

[root@edu-mysql-02 ~]# mysql -uroot -p roncoo < /tmp/edu-master-roncoo.sql

Enter password:

[root@edu-mysql-02 ~]#

 

8、登录Slave数据库,添加相关参数

MasterIP、端口、同步用户、密码、position号、读取哪个日志文件)

[root@edu-mysql-02 ~]# mysql -uroot -p

Enter password:

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 3

Server version: 5.6.26-log Source distribution

 

Copyright (c) 2000, 2015, Oracle and/or its affiliates. All rights reserved.

 

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

 

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

 

mysql> change master to master_host='192.168.1.205', master_user='repl', master_password='roncoo.123', master_port=3306, master_log_file='edu-mysql-bin.000001', master_log_pos=429, master_connect_retry=30;

Query OK, 0 rows affected, 2 warnings (0.01 sec)

 

上面执行的命令的解释:

master_host='192.168.1.205'                  ## MasterIP地址

master_user='repl'                             ## 用于同步数据的用户(在Master中授权的用户)

master_password='roncoo.123'     ## 同步数据用户的密码

master_port=3306                              ## Master数据库服务的端口

master_log_file='edu-mysql-bin.000001'        ##指定Slave从哪个日志文件开始读复制数据(可在Master上使用show master status查看到日志文件名)

master_log_pos=429                         ## 从哪个POSITION号开始读

master_connect_retry=30  ##当重新建立主从连接时,如果连接建立失败,间隔多久后重试。单位为秒,默认设置为60秒,同步延迟调优参数。

 

## 查看主从同步状态

mysql> show slave status\G;

可看到Slave_IO_State为空, Slave_IO_RunningSlave_SQL_RunningNo,表明Slave还没有开始复制过程。

 

## 开启主从同步

mysql> start slave;

Query OK, 0 rows affected (0.00 sec)

## 再查看主从同步状态

mysql> show slave status\G;

主要看以下两个参数,这两个参数如果是Yes就表示主从同步正常

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

由截图中的主从同步状态信息可以看出,我们配置的主从同步是正常的。

 

可查看masterslave上线程的状态。在master上,可以看到slaveI/O线程创建的连接:

Master : mysql> show processlist\G;

1.row 为处理slaveI/O线程的连接。

 2.row 为处理MySQL客户端连接线程。

 3.row 为处理本地命令行的线程。

 

Slave : mysql> show processlist\G;

1.row I/O线程状态。

2.row SQL线程状态。

3.row 为处理本地命令行的线程。

 

9、主从数据复制同步测试

(1) Master中的roncoo库上变更数据的同步测试;

mysql> INSERT INTO `edu_user` VALUES (4,'同步测试1','123456'),(5,'同步测试2','123456');

 

Master中添加完之后,登录Slave中查看数据是否已同步。

 

(2) Master上新建一个ron

mysql> create database if not exists ron default charset utf8 collate utf8_general_ci;

Slave中查看数据库

mysql> show databases;

最终的测试结果是,在Master中的操作,都成功同步到了Slave

 

10、测试过程中,如果遇到同步出错,可在Slave上重置主从复制设置(选操作):

(1) mysql> reset slave;

(2) mysql> change master to master_host='192.168.1.205',

master_user='repl',

master_password='roncoo.123',

master_port=3306,

master_log_file='edu-mysql-bin.00000x',  

master_log_pos=xx,

master_connect_retry=30;

(此时,master_log_filemaster_log_pos要在Master中用show master status 命令查看)

 

注意:如果在Slave没做只读控制的情况下,千万不要在Slave中手动插入数据,那样数据就会不一致,主从就会断开,就需要重新配置了。

 

11、上面所搭建的是单向复制的主从,也是用的比较多的,而双向主从其实就是MasterSlave都开启日志功能,然后在Master执行授权用户(这里授权的是自己作为从服务器,也就是这里的IP地址是MasterIP地址),然后再在Master上进行chang master操作。

 

MySQL主从数据同步延迟问题的调优

基于局域网的Master/Slave机制在通常情况下已经可以满足“实时”备份的要求了。如果延迟比较大,可以从以下几个因素进行排查:

(1) 网络延迟;

(2) Master负载过高;

(3) Slave负载过高;

一般的做法是使用多台Slave来分摊读请求,再单独配置一台Slave只作为备份用,不进行其他任何操作,就能相对最大限度地达到“实时”的要求了。

 

两个可以减少主从复制延迟的参数(按需配置)

MySQL可以指定3个参数,用于复制线程重连主库:--master-retry-count--master-connect-retry--slave-net-timeout 。其中 master-connect-retry  master-retry-count 需要在 Change Master 搭建主备复制时指定,而 slave-net-timeout 是一个全局变量,可以在 MySQL 运行时在线设置。具体的重试策略为:备库过了 slave-net-timeout 秒还没有收到主库来的数据,它就会开始第一次重试。然后每过 master-connect-retry 秒,备库会再次尝试重连主库。直到重试了 master-retry-count 次,它才会放弃重试。如果重试的过程中,连上了主库,那么它认为当前主库是好的,又会开始 slave-net-timeout 秒的等待。slave-net-timeout 的默认值是 3600 秒,master-connect-retry 默认为 60 秒,master-retry-count 默认为 86400 次。也就是说,如果主库一个小时都没有任何数据变更发送过来,备库才会尝试重连主库。这就是为什么在我们模拟的场景下,一个小时后,备库才会重连主库,继续同步数据变更的原因。

这样的话,如果你的主库上变更比较频繁,可以考虑将 slave-net-timeout 设置的小一点,避免主库 Binlog dump 线程终止了,无法将最新的更新推送过来。当然 slave-net-timeout 设置的过小也有问题,这样会导致如果主库的变更确实比较少的时候,备库频繁的重新连接主库,造成资源浪费。

 

slave-net-timeout=seconds

参数说明:当SlaveMaster数据库读取log数据失败后,等待多久重新建立连接并获取数据,单位为秒,默认设置为3600秒。

 

在做MySQL Slave的时候经常会遇到很多错误,需要根据具体原因跨过错误继续同步,但有时候是因为网络不稳定、网络闪断造成同步不正常,如果Slave机器非常多的情况下,一个一个登录服务器去stop slavestart slave变得无聊而且重复。从MySQL5.1开始支持的解决方案配置:

master-connect-retry=seconds

参数说明:在主服务器宕机或连接丢失的情况下,从服务器线程重新尝试连接主服务器之前睡眠的秒数。如果主服务器.info文件中的值可以读取则优先使用。如果未设置,默认值为60

通常配置以上2个参数可以减少网络问题导致的主从数据同步延迟。

一般网络问题的错误是:

[ERROR] Error reading packet from server: Lost connection to MySQL server during query (server_errno=xxxx)

[ERROR] Slave I/O thread: Failed reading log event, reconnecting to retry, log ‘edu-mysql-bin.000256’  position 23456

作者:吴水成

出自 龙果学院《基于Dubbo的分布式系统架构视频教程》 高可用架构篇

http://www.roncoo.com


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

MySQL5.6主从复制的配置(CentOS-6.6+MySQL-5.6)(二) 的相关文章

随机推荐

  • MySQL:JDBC

    什么是JDBC JDBC Java DataBase Connectivity 称为 Java数据库连接 它是一种用于数据库访问的应用程序 API 由一组用Java语言编写的类和接口组成 有了JDBC就可以 用统一的语法对多种关系数据库进行
  • PID算法应用于室内温度控制的C语言实现

    我最近在学习PID算法 对此很感兴趣 所以与大伙分享下 有不足的地方欢迎指出 非常谢谢 PID算法的基本内容本篇博客就不做阐述了 网上有很多资料 文章的主题是用C语言实现PID算法 为了更好的理解 我采用软件模拟室内温度控制的方式与大伙分享
  • logback基本配置说明

    1 简介 logback继承自log4j 它是spring boot默认的日志集成框架 官网地址 https logback qos ch 2 spring boot默认日志框架 当我们启动spring boot项目的时候 没有进行任何日志
  • Python中MNE库的EEG数据(PCA和ICA)预处理

    PCA ICA是脑电数据预处理的一个步骤 一般放在带通滤波处理之后 个人理解PCA和ICA的作用基本一致 用于去除心电和眼电的影响 不过PCA是提取主要成分 相当于降维提取特征 ICA是分离独立成分 目前PCA和白化已经是ICA的标准化的预
  • Javascript输出

    js输出 严格来说 JavaScript 没有任何打印或者输出的函数 以下几种方式都只不过是一种数据展示的方法 第一种 弹出对话框 对话框有三种 Window alert Window confirm Window promt 通常省略Wi
  • 这个拒绝内卷的AI狼火了!高智商却自暴自弃,不想抓羊只想躺

    新智元报道 来源 B站等 编辑 Yaxin 新智元导读 近日 一个狼吃羊的AI火了 在一个狼吃羊的AI智障游戏中 狼发现自己吃不到羊 直接选择了 自杀 然而 狼选择撞石的原因竟是 自杀分数高 智障AI狼最近火了 在一个狼吃羊的AI游戏中 狼
  • 关于oauth2中为什么不直接返回token而是传授权码code

    1 客户端会暴露 token授权服务器是会根据客户端传来的 redirect url 返回给客户端 3xx 重定向状态码 然后客户端再把授权码 code 传给客户端服务器 首先前端 网页有源代码 手机app反编译 的都是不安全的 直接将 t
  • 在html中调用ActiveX控件

    刚做完一个控件 要求嵌入在C S结构的网页中 我 在HTML中嵌入vbscript脚本来调用控件中的方法和属性的 为啦以后做个参考 把它的源码给写下来 也希望能给一些同僚们做一个参考 我的控件接口是 FpGather 在html中的调用 h
  • 如何申请OPenai密钥

    你可以在 OpenAI 的网站上申请密钥 首先 你需要去到 OpenAI 的网站并注册一个账号 然后 登录到你的账号 在账号设置页面申请密钥 你可能需要填写一些信息 并描述你对 OpenAI API 的计划 如果你想使用某些特定的 Open
  • 1.4-从“把大象装进冰箱拢共分几步”来理解面向对象编程思想

    一 定义 面向过程 概念 面向过程是一种以过程为中心的编程思想 它是一种基础的顺序的思维方式 面向对象方法的基础实现中也包含面向过程思想 特性 模块化 流程化 优点 性能比面向对象高 因为类调用时需要实例化 开销比较大 比较消耗资源 比如单
  • QTCreator的使用

    用最新的QtCreator选择GUI的应用会产生含有如下文件的工程 下面就简单分析下各部分的功能 pro文件是供qmake使用的文件 不是本文的重点 不过其实也很简单的 在此不多赘述 所以呢 还是从main开始 view plain cop
  • 汉字转换为拼音的JavaScript库

    将JSPinyin剥离mootools这个JavaScript库 可以独立使用 1 一个是将汉字翻译为拼音 其中每一个字的首字母大写 pinyin getFullChars this value 2 一个是可以将每一个字的拼音的首字母提取出
  • MobaXterm学习与使用

    转载地址 MobaXterm学习与使用 首先要弄清几个概念 1 先来看看SSH是什么 定义如下 SSH是一种可以保证用户远程登录到系统的协议 实际上 SSH是一个网络协议 允许通过网络连接到Linux和Unix服务器 SSH使用公钥加密来认
  • 给定一个字符串求出最长重复子串

    主要是使用到了二分的思想 知道字符串就是知道了它的长度 然后可知len max s length 2 然后暴力枚举就可以得出答案 代码如下 include
  • python爬虫 模拟登录_Python爬虫(8):模拟登录方法汇总

    对于很多要先登录的网站来说 模拟登录往往是爬虫的第一道坎 本文介绍 POST 请求登录 获取 Cookies 登录 Seleium 模拟登录三种方法 摘要 在进行爬虫时 除了常见的不用登录就能爬取的网站 还有一类需要先登录的网站 比如豆瓣
  • 破解Photoshop cs6

    怎样安装和破解Photoshop CS6 浏览 152148 更新 2012 10 18 23 46 标签 photoshop 1 2 3 4 5 6 7 分步阅读
  • union struct的内存分配方式及其sizeof大小

    经验 1 int main union zcl double i char k 15 char c struct date int cat 元类型4 zcl cow 元类型8 zcl里面的i double类型 struct dat char
  • 有各组方差怎么算组间平方和_讲讲统计科学里的方差分析

    上一篇讲了假设检验 这一篇讲讲方差分析 1 背景 假如你们现在针对用户提出了三种提高客单价的策略A B C 现在想看一下这三种策略最后对提高客单价的效果有什么不同 那我们怎么才能知道这三种策略效果有什么不同 最简单的方法就是做一个实验 我们
  • react 通过生命周期优化组件性能

    已经对React生命周期有了认识 那如何利用它提高组件的性能那 通过shouldComponentUpdate函数 改善React组件性能的例子 小姐姐组件存在性能问题 是的 小姐姐组件已经写的很熟悉了 但是它有一个性能问题 那就是子组件X
  • MySQL5.6主从复制的配置(CentOS-6.6+MySQL-5.6)(二)

    原文地址 http my oschina net wushuicheng blog 652680 MySQL5 6主从复制的配置 CentOS 6 6 MySQL 5 6 作者 吴水成 出自 龙果学院 基于Dubbo的分布式系统架构视频教程