程序员经验分享-hwhale

Mysql 实战之——读写分离方案

2023-11-12

Linux环境：Centos 6.8  64-bit

Mysql 版本：5.1.7

 

一、准备工作：部署Mysql主从复制

二、使用Amoeba数据库代理来实现读写分离

Amoeba作为数据库代理，以中间件的形式存在，拓扑图如下所示：（Amoeba官网的一张图）

1、下载Amoeba：https://sourceforge.net/projects/amoeba/files/

2、解压并复制到local目录

[root@ linux ~]# unzip amoeba-mysql-3.0.5-RC-distribution.zip

[root@ linux ~]# cp -rf amoeba-mysql-3.0.5-RC /usr/local

3、启动Amoeba。

[root@chenllcentos ~]# /usr/local/amoeba-mysql-3.0.5-RC/bin/launcher

如果出现fatal exception：

The stack size specified is too small, Specify at least 228k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

原因是由于stack size太小，导致JVM启动失败，要如何修改呢？

 解决：

[root@ linux ~]# vi /usr/local/amoeba-mysql-3.0.5-RC/jvm.properties

将内容：

JVM_OPTIONS="-server -Xms256m -Xmx1024m -Xss196k -XX:PermSize=16m -XX:MaxPermSize=96m"

替换为：

JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m"

4、修改配置文件：Amoeba完成读写分离的实现主要是依靠2个非常重要的配置文件：

dbServers.xml  和  amoeba.xml

4.1、首先，看看dbServers.xml文件

[root@localhost conf]# cat dbServer.xml

这个文件主要是配置数据库链接，主库，还有从库（slave）节点的信息，以及数据库连接池信息

如下内容就是这个文件的配置

<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:dbServers SYSTEM “dbserver.dtd”> <amoeba:dbServers xmlns:amoeba=“http://amoeba.meidusa.com/”>
<!-- 
        Each dbServer needs to be configured into a Pool,
        If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
         add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
         such as 'multiPool' dbServer   
-->

<!-- 该dbServer节点abstractive="true"，包含Mysql的公共配置信息，其他dbServer节点都继承该节点 -->
<!-- 设置节点配置的继承结构，可以避免重复配置相同信息，减少配置文件冗余 -->
<dbServer name="abstractServer" abstractive="true">
    <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
        <property name="connectionManager">${defaultManager}</property>
        <property name="sendBufferSize">64</property>
        <property name="receiveBufferSize">128</property>

        <!-- mysql port -->
        <!-- Mysql默认端口 -->
        <property name="port">3306</property>

        <!-- mysql schema -->
        <!-- 默认连接的数据库，若不存在需要事先创建，否则Amoeba启动报错 -->
        <property name="schema">testdb</property>

        <!-- mysql user -->
        <property name="user">root</property>

        <property name="password">222</property>
    </factoryConfig>

    <poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
        <property name="maxActive">500</property>
        <property name="maxIdle">500</property>
        <property name="minIdle">1</property>
        <property name="minEvictableIdleTimeMillis">600000</property>
        <property name="timeBetweenEvictionRunsMillis">600000</property>
        <property name="testOnBorrow">true</property>
        <property name="testOnReturn">true</property>
        <property name="testWhileIdle">true</property>
    </poolConfig>
</dbServer>

<!-- Mysql主服务器master节点继承abstractServer -->
<dbServer name="master"  parent="abstractServer">
    <factoryConfig>
        <!-- master数据库主机地址 -->
        <property name="ipAddress">192.168.48.133</property>
    </factoryConfig>
</dbServer>

<!-- Mysql从服务器slave节点继承abstractServer -->
<dbServer name="slave1"  parent="abstractServer">
    <factoryConfig>
        <!-- slave数据库主机地址 -->
        <property name="ipAddress">192.168.48.132</property>
    </factoryConfig>
</dbServer>

<!-- 如果有多个从服务器节点, 可以复制多个dbServer -->

<!-- 配置数据库读取连接池 Amoeba实现读写分离根据readPool 连接池来实现-->
<dbServer name="readPool" virtual="true">
    <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
        <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
        <property name="loadbalance">1</property>

        <!-- Separated by commas,such as: server1,server2,server1 -->
        <property name="poolNames">slave1</property>
    </poolConfig>
</dbServer>

配置完成之后：

4.2、接着配置amoeba.xml

vi amoeba.xml

内容如下：

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

	<proxy>
	
		<!-- service class must implements com.meidusa.amoeba.service.Service -->
		<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
			<!-- port -->
			<property name="port">8066</property>
			
			<!-- bind ipAddress -->
			<!-- 
			<property name="ipAddress">127.0.0.1</property>
			 -->
			
			<property name="connectionFactory">
				<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
					<property name="sendBufferSize">128</property>
					<property name="receiveBufferSize">64</property>
				</bean>
			</property>
			
			<property name="authenticateProvider">
				<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
					
					<property name="user">root</property>
					
					<property name="password"></property>
					
					<property name="filter">
						<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
							<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
						</bean>
					</property>
				</bean>
			</property>
			
		</service>
		
		<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
			
			<!-- proxy server client process thread size -->
			<property name="executeThreadSize">128</property>
			
			<!-- per connection cache prepared statement size  -->
			<property name="statementCacheSize">500</property>
			
			<!-- default charset -->
			<property name="serverCharset">utf8</property>
			
			<!-- query timeout( default: 60 second , TimeUnit:second) -->
			<property name="queryTimeout">60</property>
		</runtime>
		
	</proxy>
	
	<!-- 
		Each ConnectionManager will start as thread
		manager responsible for the Connection IO read , Death Detection
	-->
	<connectionManagerList>
		<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
			<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
		</connectionManager>
	</connectionManagerList>
	
		<!-- default using file loader -->
	<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
		<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
	</dbServerLoader>
	
	<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
		<property name="ruleLoader">
			<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
				<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
				<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
			</bean>
		</property>
		<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
		<property name="LRUMapSize">1500</property>
		<property name="defaultPool">multiPool</property>
		
		<!--
		<property name="writePool">server1</property>
		<property name="readPool">server1</property>
		-->
		<property name="needParse">true</property>
	</queryRouter>
</amoeba:configuration>

我们需要改的有3个地方：

5、启动

cd /usr/local/amoeba-mysql-3.0.5-RC/bin/

./launcher

出现如下信息就是启动成功了

2016-10-11 23:20:55 [INFO] Project Name=Amoeba-MySQL, PID=4097 , System shutdown ....
2016-10-11 23:27:49 [INFO] Project Name=Amoeba-MySQL, PID=4162 , starting...
log4j:WARN log4j config load completed from file:/usr/local/amoeba-mysql-3.0.5-RC/conf/log4j.xml
2016-10-11 23:27:50,736 INFO  context.MysqlRuntimeContext - Amoeba for Mysql current versoin=5.1.45-mysql-amoeba-proxy-3.0.4-BETA
log4j:WARN ip access config load completed from file:/usr/local/amoeba-mysql-3.0.5-RC/conf/access_list.conf
2016-10-11 23:27:51,863 INFO  net.ServerableConnectionManager - Server listening on 0.0.0.0/0.0.0.0:8066.

6、测试

先停止从库的主从复制

mysql>slave stop;

 查询主库的数据

mysql> select * from t_test;
+------+------+
| id   | name |
+------+------+
|    3 | t3   |
+------+------+

查询从库的数据

mysql> select * from t_test;
+------+------+
| id   | name |
+------+------+
|    1 | aaa  |
+------+------+

 登录Amoeba

mysql -uroot -p111111 -h192.168.48.133 -P8066

先使用查询语句

-- 经过多次测试查询，始终返回从库的数据
mysql> select * from t_test ;
+------+------+
| id   | name |
+------+------+
|    1 | aaa  |
+------+------+
1 row in set (0.00 sec)

再使用insert语句

mysql> insert into t_test (id,name) values (100,'100');
Query OK, 1 row affected (0.02 sec)

mysql> insert into t_test (id,name) values (200,'200');
Query OK, 1 row affected (0.00 sec)

现在看看insert语句的结果：

-- 查询从库的结果：
mysql> select * from t_test;
+------+------+
| id   | name |
+------+------+
|  100 | 100  |
|  200 | 200  |
+------+------+

-- 查询主库的结果
mysql> select * from t_test;
+------+------+
| id   | name |
+------+------+
|  200 | 200  |
|  100 | 100  |
+------+------+
2 rows in set (0.00 sec)

--在Amoeba执行查询的结果：
mysql> select * from t_test ;
+------+------+
| id   | name |
+------+------+
|  100 | 100  |
|  200 | 200  |
+------+------+
2 rows in set (0.07 sec)

已经成功了。。。查询操作，始终查询的是从库的数据，而insert操作，始终是对主库进行操作

JAVA程序中整合amoeba的话，只需要把数据库链接改成amoeba的就行了。。

在企业的实际项目中，这样做的好处是，不需要对代码进行硬编码，具备非常高的解耦作用，而且，Amoeba的配置也非常的简单，其实还有分库和分表的操作，这里就不做演示

三、报错信息

amoeba里查询的时候报错：
amoeba ERROR 1044 (42000): Could not create a validated object, cause: ValidateObject failed

这个问题，我在网上找到了一个原因，就是，amoeba去从库查询的时候，账号没权限。grant 赋予从库那个账号所有权限就好了。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

系统架构

数据库开发

项目实战

Mysql 实战之——读写分离方案 的相关文章

  • C或C++项目实战之贪吃蛇

    编译环境 VS2017 VS其他版本皆可 EasyX图形库 编程语言 c c 当前版本 snakeGame1 0 修改时间 2019 6 13 项目组成 5 1 头文件 snake snake h 5 2 源文件 main cpp snak

  • MES管理系统在电子行业的作用和效益

    电子行业近年来发展很好 特别是MES管理系统对于生产的帮助 电子行业MES管理系统促进了行业的数字化转型 从而提高电子行业高效管理 使企业效益最大化 电子行业现状 1 产品 顶级企业只负责设计与销售 对于涉及制造的各级企业产品较多 并且产品

  • 多对一的4种查询方式

    多对一的概念在数据库中是十分常见的 下面将以多个学生对应一个老师的例子介绍4种多对一的查询方式 一 建立数据库 首先建立2种表 一种是teacher表 其中包含的字段有id 主键 name 一种是student表 其中包含的字段有id 主键

  • 系统架构设计专业技能 · 信息系统基础

    系列文章目录 系统架构设计专业技能 网络技术 三 系统架构设计专业技能 系统安全分析与设计 四 系统架构设计师 系统架构设计高级技能 软件架构设计 一 系统架构设计师 系统架构设计高级技能 系统质量属性与架构评估 二 系统架构设计师 系统架

  • 系统架构设计高级技能 · 系统质量属性与架构评估

    系列文章目录 系统架构设计高级技能 软件架构概念 架构风格 ABSD 架构复用 DSSA 一 系统架构设计师 系统架构设计高级技能 系统质量属性与架构评估 二 系统架构设计师 系统架构设计高级技能 软件可靠性分析与设计 三 系统架构设计师

  • 操作系统读书笔记- 01 x86系统架构概览.md-html

    x86系统架构概览 真看不懂了 今天就写这些吧 2 0 处理器工作模式 一般来讲 x86 64处理器具有5种工作模式 实模式 Real address Mode 处理器以16位8086的方式工作 只能以简单的段地址 偏移地址方式进行寻址 地

  • 系统架构设计师之网络安全-各个层次的网络安全保障

    系统架构设计师之网络安全 各个层次的网络安全保障

  • 预付费智能电表，做到一户一表、远程自动抄表、电费预充值、电表实时计量扣费、欠费自动跳闸。-安科瑞黄安南

    前言 国家从2018年开始对转供电加价开展规范清理以来 已经出来了一系列政策 不仅包括专门针对转供电问题的政策 18 20年间还在每次降电价政策中突出强调了转供电主体不得截留降价红利的要求 从具体内容看 各地政策都鼓励一户一表改造实现直供

  • 基于XMind的E-R图制作

    基于XMind的E R图制作 使用工具 XMind2021 E R图我们再熟悉不过 又称实体 联系图 E R图有许多绘制方式 网上也有许多工具和教程 今天我们来采取一种不太正规的手段 使用一款新的软件进行演示 XMind 这款应用我们也不陌

  • 卷首语：我决定从零开始，用C++手写自己的键值数据库

    2023年5月1日 周一下午 我为什么要自己写一个 今天中午 我在CSDN上提出了一个关于如何学习C 的观点 通过用C 造东西来学习C 于是为了实践这个观点 我决定用C 手写一个简单的属于自己的键值数据库 我会把这个键值库写到什么程度 只要

  • 操作系统(四):磁盘调度算法，先来先服务，最短寻道时间优先，电梯算法

    文章目录 一 磁盘结构 二 先来先服务 三 最短寻道时间优先 四 电梯算法 SCAN 一 磁盘结构 盘面 Platter 一个磁盘有多个盘面 磁道 Track 盘面上的圆形带状区域 一个盘面可以有多个磁道 扇区 Track Sector 磁

  • PLSQL安装步骤

    1 安装 下载PLSQL安装包 解压 默认安装 选择自己需要的版本安装 一路默认即可 2 添加客户端路径 解压instantclient 11 2 rar 放到自定义目录下 我是放在D盘下的Tools目录 没有配置客户端 是无法登陆的 所以

  • 系统架构演变详解

    文章目录 1 单体架构 2 垂直架构 3 分布式架构 4 SOA架构 5 微服务 6 集群 分布式和微服务的区别 1 单体架构 在学习 Dubbo 之后 我们先了解一下系统架构的演变过程 随着用户量的不断增加 业务功能的扩展逐步 系统架构变

  • 数据库开发三：JDBC数据库开发入门三(PrepareStatement的使用及预处理原理)

    目录 一PrepareStatement使用 二预处理原理 文章相关视频出处 https developer aliyun com lesson 1694 13598 spm 5176 10731542 0 0 4a023fdbjxoV5w

  • 2022年高级性能测试岗面试题【面试必看】

    昨天一个前同事找我 问有没有性能测试岗位的面试题 正好之前帮业务团队加面过几次性能测试岗位的候选人 我将面试时候会问的一些问题以及要考察的点列了出来 供大家参考 一 介绍下最近做过的项目 背景 预期指标 系统架构 场景设计及遇到的性能问题

  • 系统架构设计师-计算机网络

    目录 一 计算机网络技术概述 1 网络概述 2 网络有关指标 3 网络分类 4 5G技术 二 组网技术 1 交换技术 2 基本交换原理 三 TCP IP协议簇 1 DHCP 2 DNS 四 网络规划与设计 一 计算机网络技术概述 1 网络概

  • 万众瞩目--腾讯云数据库TDSQL第一届征文正式大赛开启

    首届腾讯云数据库TDSQL征文大赛开启啦 只要您对腾讯云数据库TDSQL有兴趣 有研究 有想法 皆可参加 腾讯云数据库诚挚邀请您参与活动 分享和TDSQL邂逅的若干趣事 领取精美礼品 腾讯云数据库TDSQL是腾讯自研的企业级分布式数据库 在

  • 数据库选型粗略对比，欢迎补充！！！

    关系型数据库 Oracle SQL Server MySQL PostgreSQL SQLite Oracle 甲骨文开发的商业数据库 不开源 支持所有主流平台 性能好 功能强 稳定性好 安全性好 支持大数据量 比较复杂 收费昂贵 SQL

  • 【车载开发系列】FlashMemory基本概念

    车载开发系列 FlashMemory基本概念 车载开发系列 FlashMemory基本概念 车载开发系列 FlashMemory基本概念 一 FlashMemory的特征 二 常见的FlashMemory 1 NOR FlashMemory

  • Java架构师系统架构高可用维度分析

    目录 1 导语 2 可用性介绍 3 本地高可用 集群 分布式 4 本地高可用 数据逻辑保护 5 异地容灾 双活 两地三中心 6 异地容灾 DRP规划 BCP业务连续性 7 多活和妥协方案 8 高可用流程 9 总结 想学习架构师构建流程

随机推荐

  • 六一儿童节-王者连连看

    庆祝六一 用java实现的连连看练手小游戏 王者连连看 游戏介绍 核心 总结 游戏介绍 王者连连看游戏的目标是通过消除相同的图案来得分并进入更高级别的挑战 游戏分为四个难度 可以自由选择也可以依次闯关 每次时间倒计时100秒 你需要在有效时

  • 图像处理、分析与机器视觉(基于labview)_基于3D技术的机器视觉解决方案

    当前机器视觉主流的检测手段还是依赖2D相机 即从灰度图中提取被测物特征 在X Y平面内进行测量 当遇到需要高度测量或需要Z方向信息 如需要测高度 测深度 测厚度 测平面度 测体积 测磨损等情况时 2D视觉往往无能为力 甚者在被测物灰度图像对

  • mysql--④多表操作

    文章目录 多表关系 外键约束概念 外键约束 验证外键约束的作用 删除外键约束 多表联合查询 非常重要 内连接查询 外连接查询 多表关系 一对一 一般是合并表 一对多 多对一 部门和员工 多对多 学生和课程 用中间表 外键约束概念 专门用于多

  • SpringMVC乱码问题的解决

    一 设置Tomcat过滤器 在web xml中添加过滤器 注意要在所有过滤器之前

  • c语言除号怎么打,C语言学习种除号问题出现奇怪错误

    include int main int first int second char operator scanf d c d first operator second if operator printf d first second

  • vue3.2 菜单, 路由跳转, elementplus

    1 属性加上router index是路由的跳转地址 2

  • 使用VMware Workstation搭建先电IaaS2.4基础服务私有云平台和创建云主机（参考先电2.4手册）

    1 前期准备与说明 使用搭建openstack私用云平台的软件 VMware Workstation16 使用的基础镜像 centos7 5 iso 使用搭建的iso镜像包 chinaskills cloud iaas iso 2 cont

  • 搭建http请求方式的git

    第一步 安装msysGit 百度下载 注意 安装时 要清除CopSSH在path中的配置 第二步 安装Apache服务器 注意 下载Window版的XAMPP 里面保括了Apache服务器 第三步 配置Apache服务器 注意端口冲突 和密

  • 记elementUI的popover出现在页面左上角

    找了好久找不到解决办法 给自己记一下 目标 出现在目标元素左侧 出现情况 出现在了页面左上方 产生原因 导入文件 文件导入后跟后端要上传失败的条数 封装了一个组件 只要有数字大于0 elpopover立马出现 但是向后端发起请求在导入成功十

  • Redis建集群时出现[ERR] Sorry, can‘t connect to node的错误

    Redis建集群时出现 ERR Sorry can t connect to node的错误 原因是由于Redis设置密码 无法连接 但由于Redis不设置密码容易被入侵 因此需要找到ruby中的配置文件加入密码的配置 先要安装ruby和r

  • mysql使用sql备份单个表

    1 复制表结构及数据 1 1第一种方式 create table A backup select from A 基于GTID复制会报错 1786 Statement violates GTID consistency CREATE TABL

  • androidx.lifecycle 中 ViewModelProviders 源码学习

    如果在学习 LiveData 其中需要ViewModelProviders 会出现爆红 找不到该类的方法 那是没有导入相关库 如下 implementation androidx lifecycle lifecycle viewmodel

  • 停止Tomcat报错：java.net.ConnectException: 拒绝连接 (Connection refused)

    问题描述 今天在部署项目时 发现停止tomcat的过程中抛出了异常 java net ConnectException 拒绝连接 Connection refused 几次尝试 项目中写的有定时任务 所以猜测是定时任务导致项目停止失败 解决

  • java操作excel表格详解

    在日常工作中 对Excel工作表格的操作处理可是多的数不清楚 下面是java语言对其的操作 有需要的小伙伴可以参考下 使用场景 1 将用户信息导出为excel表格 导出数据 2 将Excel表中的信息录入到网站数据库 习题上传 大大减轻网站

  • 【爬虫+可视化】Python爬取疫情数据，并做可视化展示

    知识点 爬虫基本流程 json requests 爬虫当中 发送网络请求 pandas 表格处理 保存数据 pyecharts 可视化 开发环境 python 3 8 比较稳定版本 解释器发行版 anaconda jupyter noteb

  • MPI 和OPENMP 混合编程 实现矩阵LU分解

    LU分解 将系数矩阵A转变成等价两个矩阵L和U的乘积 其中L和U分别是下三角和上三角矩阵 当A的所有顺序主子式都不为0时 矩阵A可以分解为A LU 且分解唯一 其中L是单位下三角矩阵 U是上三角矩阵 方法 使用openMP和MPI混合编程现

  • Jeesite开发平台限制用户多点登录

    Jeesite开发平台限制用户多点登录 授权查询回调函数 进行鉴权但缓存中无用户的授权信息时调用 Override protected AuthorizationInfo doGetAuthorizationInfo PrincipalCo

  • web前端性能优化

    1 图片处理 图片压缩 使用图片图片压缩 优化工具TinyPNG TinyJPG压缩图片 或者使用其Gulp 组件gulp tinypng结合到自动化构件流程中 图片格式转为base64 使用webpack的url loader 自动根据文

  • MyBatis 的架构

    MyBatis 的架构 MyBatis 是一个基于 Java 的持久层框架 可以将 SQL 语句和 Java 代码进行分离 通过 XML 或注解的方式配置 SQL 语句并执行 从而实现数据访问的功能 MyBatis 的架构包括以下几个部分

  • Mysql 实战之——读写分离方案

    Linux环境 Centos 6 8 64 bit Mysql 版本 5 1 7 一 准备工作 部署Mysql主从复制 二 使用Amoeba数据库代理来实现读写分离 Amoeba作为数据库代理 以中间件的形式存在 拓扑图如下所示 Amoeb

热门标签