程序员经验分享-hwhale

关系型数据库RDBMS -MySQL基础入门（三）数据分片

2023-11-16

数据分片
相关概念

分库分表
分片：存在一台数据库的服务器中的数据．特定方式拆分．分散存放在多台数据库服务中，达到单台服务器负载的效果．

垂直分割
纵向切分：按业务类型

什么是垂直分割?
• 纵向切分
– 把单一的表,拆分成多个表,并分散到不同的数据库 ( 主机 ) 上。
– 一个数据库由多个表构成,每个表对应不同的业务, 可以按照业务对表进行分类,将其分
布到不同的数据 库 ( 主机 ) 上,实现专库专用,让不同的库 ( 主机 ) 分 担不同的业务。

服务器
Taobaodb　　a 服务器
注册表 b服务器
店铺表 c服务器
商品表 d服务器
销售表 e
库存表 f

水平分割
什么是水平分割?
• 横向切分
– 按照表中某个字段的某种规则,把向表中写入的记录 分散到多个库 ( 主机 ) 中。 –
简单来说,就是按照数据行切分,将表中的某些行存储到指定的数据库 ( 主机 ) 中
横向切分 －指定字段分片．取余数０１２３

Mycat 基于java　的分布式数据库系统中间件　－为高并发环境的分布式存储提供解决方案
１适合大量数据存入
２支持mysql oracle sqlserver mongodb
３支持读写分离
４提供服务数据分片
５实现数据库服务高可用
６alibabacobar 开源

分片规则
１枚举＼
２固定分片
３范围约定
４求模
５日期列
６通配取模
７ASCII求摸通配
8字符串拆分
９编程指定
１０一致性hash

mycat 服务提供 10 种分片规则。
– 1 枚举法 sharding-by-intfile
– 2 固定分片 rule1
– 3 范围约定 auto-sharding-long
– 4 求模法 mod-long
– 5 日期列分区法 sharding-by-date
– 6 通配取模 sharding-by-pattern
– 7ASCII 码求模通配 sharding-by-prefixpattern
– 8 编程指定 sharding-by-substring
– 9 字符串拆分hash解析 sharding-by-stringhash
– 10 一致性hash sharding-by-murmur

.mycat 工作工程?
当 Mycat 收到一个 SQL 时
– 会先解析这个 SQL 查找涉及到的表,然后看此表的定 义
– 如果有分片规则,则获取到 SQL 里分片字段的值,并 匹配分片函数,得到该 QL 对应的分片列表
– 然后将 SQL 发往这些分片去执行,最后收集和处理所 有分片返回的结果数据,并输出到客户端

环境部署
1装包
yum -y install java-1.8.0-openjdk
Which java
java -version
tar -xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/　　　－此处和tomcat装包一样
ls /usr/local/

２配置文件
Bin - mycat 命令
Catlet -扩展功能软件
Conf -配置文件 .xml　mycat 配置文件
（1）Server.xml　　 用户名\密码\逻辑库名（information schema ）　
（2）Schema.xml 　配置数据分片
（3）Rule.xml 分片规则
（4）*.txt 函数调用文件
Lib -mycat 使用的jar 包
Logs -启动日志和运行日志
Wrapper -启动日志
Mycat.log -执行后报错内容

（１）　server .xml (默认不动)配置mycat 服务
＜user＞

（２）配置数据分片
Schema.xml
cp //usr/local/mycat/conf/schema.xml /root/

vim /usr/local/mycat/conf/schema.xml
sed -i ‘56,77d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘16,18d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘36,39d’ /usr/local/mycat/conf/schema.xml

Vim
— 定义分片信息
所有虚拟表最后都加上dn3
指定数据库主机名
数据节点


指定主机名ip地址　（用户名密码）


select user()


(3)Rule.xml
分片规则

3配置数据库服务器

（１）创建存储数据的库＼
　53 :Db1 54:db2 55:db3

（２）授权mycat 连接用用户admin

4 启动mycat 服务
Cd /usr/local/mycat/bin
/usr/local/mycat/bin/mycat start|status|dump|stop|

Ss -antulp | grep :8066端口号 mycat
ps -C java
PID TTY TIME CMD
1586 ? 00:00:47 java

5客户端链接
１连接
２选择表
３建表
４插入记录
Mysql -h -P8066 -u -p
Show databases;
Show tables
Desc hotnews

二分片规则
枚举法（sharding-by-intfile）
求魔法(mod-long)

1
枚举法
字段值必须在列举范围内选择
Schama.xml

－枚举法规则

Rule.xml
<function name=“hash-int”　－枚举算法
class=“io.mycat.route.function.PartitionByFileMap”>
partition-hash-int.txt　－修改算法规则

Vim /usr/local/mycat/conf/partion-hash-int.txt
cat partition-hash-int.txt
10000=0
10010=1
10020=2

(1)根据sharding-by-intfile建表
(2)Use testdb

mysql> create table employee (
-> id int primary key auto_increment,
-> sharding_id int,
-> name char(15) ,tal char(11)
-> );

51 desc db1.employee;
52 desc db2.employee
53desc db3.employee

插入内容字段

insert into employee(sharding_id ,name ,tal) values(10020,“lucyi”,“264362”)
53.54.55
验证分片效果

Select * from db1.employee
Select * from db2.employee
Select * from db3.employee

求模法 mod-long
根据字段值与设定的数字求模结果存储数据

schema.xml

客户端连接５６
创建表插入内容：
create table hotnews( id int(100), comment char(200), worker char(100) );
insert into hotnews(id , comment , worker) values(7,“lonux”,“haha”), (52,“linux”,“xixi”) );
５３　５４　５５验证
Select * from db1.hotnews
Select * from db2.hotnews
Select * from db3.hotnewsmod-long"

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

不分片
schema.xml

create table company ( id int(10) primary key, name char(20), addir char(200), epnum int )

insert into company(id,name,addir,epnum) values(3,“lc”,“huawei”,1040);

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

1加新库
Server.xml

123456 TESTDB,GAMEDB

２加新表
Schema.xml

３重

/usr/local/mycat/bin/mycat stop
/usr/local/mycat/bin/mycat start
４客户端测试
reate table user(name char(100), id int(10), class char(200) );
insert into user(id ,name , class) values(10,“jiji”,“nsd1904”);

select * from user;
| name | id | class |
| jiji | 10 | nsd1904 |
| xxix | 10 | nsd1905 |
| xigua | 10 | nsd1903 |
53测试
select * from db1.user;
| name | id | class |
| xxix | 30 | nsd1905 |
±-----±-----±--------+

５４测试
select * from db2.user;
| name | id | class |
±------±-----±--------+
| jiji | 10 | nsd1904 |
数据分片
相关概念

分库分表
分片：存在一台数据库的服务器中的数据．特定方式拆分．分散存放在多台数据库服务中，达到单台服务器负载的效果．

垂直分割
纵向切分：按业务类型

什么是垂直分割?
• 纵向切分
– 把单一的表,拆分成多个表,并分散到不同的数据库 ( 主机 ) 上。
– 一个数据库由多个表构成,每个表对应不同的业务, 可以按照业务对表进行分类,将其分
布到不同的数据 库 ( 主机 ) 上,实现专库专用,让不同的库 ( 主机 ) 分 担不同的业务。

服务器
Taobaodb　　a 服务器
注册表 b服务器
店铺表 c服务器
商品表 d服务器
销售表 e
库存表 f

水平分割
什么是水平分割?
• 横向切分
– 按照表中某个字段的某种规则,把向表中写入的记录 分散到多个库 ( 主机 ) 中。 –
简单来说,就是按照数据行切分,将表中的某些行存储到指定的数据库 ( 主机 ) 中
横向切分 －指定字段分片．取余数０１２３

Mycat 基于java　的分布式数据库系统中间件　－为高并发环境的分布式存储提供解决方案
１适合大量数据存入
２支持mysql oracle sqlserver mongodb
３支持读写分离
４提供服务数据分片
５实现数据库服务高可用
６alibabacobar 开源

分片规则
１枚举＼
２固定分片
３范围约定
４求模
５日期列
６通配取模
７ASCII求摸通配
8字符串拆分
９编程指定
１０一致性hash

mycat 服务提供 10 种分片规则。
– 1 枚举法 sharding-by-intfile
– 2 固定分片 rule1
– 3 范围约定 auto-sharding-long
– 4 求模法 mod-long
– 5 日期列分区法 sharding-by-date
– 6 通配取模 sharding-by-pattern
– 7ASCII 码求模通配 sharding-by-prefixpattern
– 8 编程指定 sharding-by-substring
– 9 字符串拆分hash解析 sharding-by-stringhash
– 10 一致性hash sharding-by-murmur

.mycat 工作工程?
当 Mycat 收到一个 SQL 时
– 会先解析这个 SQL 查找涉及到的表,然后看此表的定 义
– 如果有分片规则,则获取到 SQL 里分片字段的值,并 匹配分片函数,得到该 QL 对应的分片列表
– 然后将 SQL 发往这些分片去执行,最后收集和处理所 有分片返回的结果数据,并输出到客户端

环境部署
1装包
yum -y install java-1.8.0-openjdk
Which java
java -version
tar -xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/　　　－此处和tomcat装包一样
ls /usr/local/

２配置文件
Bin - mycat 命令
Catlet -扩展功能软件
Conf -配置文件 .xml　mycat 配置文件
Server.xml　　 用户名\密码\逻辑库名（information schema ）　
Schema.xml 　配置数据分片
Rule.xml 分片规则
*.txt 函数调用文件
Lib -mycat 使用的jar 包
Logs -启动日志和运行日志
Wrapper -启动日志
Mycat.log -执行后报错内容

server .xml (默认不动)配置mycat 服务
＜user＞

（２）配置数据分片
Schema.xml
cp //usr/local/mycat/conf/schema.xml /root/

vim /usr/local/mycat/conf/schema.xml
sed -i ‘56,77d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘16,18d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘36,39d’ /usr/local/mycat/conf/schema.xml

Vim
— 定义分片信息
所有虚拟表最后都加上dn3
指定数据库主机名
数据节点


指定主机名ip地址　（用户名密码）


select user()


Rule.xml
分片规则

3配置数据库服务器

创建存储数据的库＼
　53 :Db1 54:db2 55:db3

授权mycat 连接用用户admin

4 启动mycat 服务
Cd /usr/local/mycat/bin
/usr/local/mycat/bin/mycat start|status|dump|stop|

Ss -antulp | grep :8066端口号 mycat
ps -C java
PID TTY TIME CMD
1586 ? 00:00:47 java

5客户端链接
１连接
２选择表
３建表
４插入记录
Mysql -h -P8066 -u -p
Show databases;
Show tables
Desc hotnews

二分片规则
枚举法（sharding-by-intfile）
求魔法(mod-long)

1
枚举法
字段值必须在列举范围内选择
Schama.xml

－枚举法规则

Rule.xml
<function name=“hash-int”　－枚举算法
class=“io.mycat.route.function.PartitionByFileMap”>
partition-hash-int.txt　－修改算法规则

Vim /usr/local/mycat/conf/partion-hash-int.txt
cat partition-hash-int.txt
10000=0
10010=1
10020=2

根据sharding-by-intfile建表
Use testdb

mysql> create table employee (
-> id int primary key auto_increment,
-> sharding_id int,
-> name char(15) ,tal char(11)
-> );

51 desc db1.employee;
52 desc db2.employee
53desc db3.employee

插入内容字段

insert into employee(sharding_id ,name ,tal) values(10020,“lucyi”,“264362”)
53.54.55
验证分片效果

Select * from db1.employee
Select * from db2.employee
Select * from db3.employee

求模法 mod-long
根据字段值与设定的数字求模结果存储数据

schema.xml

客户端连接５６
创建表插入内容：
create table hotnews( id int(100), comment char(200), worker char(100) );
insert into hotnews(id , comment , worker) values(7,“lonux”,“haha”), (52,“linux”,“xixi”) );
５３　５４　５５验证
Select * from db1.hotnews
Select * from db2.hotnews
Select * from db3.hotnewsmod-long"

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

不分片
schema.xml

create table company ( id int(10) primary key, name char(20), addir char(200), epnum int )

insert into company(id,name,addir,epnum) values(3,“lc”,“huawei”,1040);

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

1加新库
Server.xml

123456 TESTDB,GAMEDB

２加新表
Schema.xml

３重

/usr/local/mycat/bin/mycat stop
/usr/local/mycat/bin/mycat start
４客户端测试
reate table user(name char(100), id int(10), class char(200) );
insert into user(id ,name , class) values(10,“jiji”,“nsd1904”);

select * from user;
| name | id | class |
| jiji | 10 | nsd1904 |
| xxix | 10 | nsd1905 |
| xigua | 10 | nsd1903 |
53测试
select * from db1.user;
| name | id | class |
| xxix | 30 | nsd1905 |
±-----±-----±--------+

５４测试
select * from db2.user;
| name | id | class |
±------±-----±--------+
| jiji | 10 | nsd1904 |

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

数据库

关系型数据库RDBMS -MySQL基础入门（三）数据分片 的相关文章

  • ubuntu14.04 Git Github环境搭建设置

    一 安装Git sudo apt get update 获得最近的软件包的列表 sudo apt get install git git core git gui git doc git svn git cvs gitweb gitk gi

  • python是完全面向对象的语言、并且完全支持_Python

    Python是一种高级动态 完全面向对象的语言 函数 模块 数字 字符串都是对象 并且完全支持继承 重载 派生 多继承 有益于增强源代码的复用性 运算语句 表达式 函数调用和赋值 各种类型的数据对象 可以通过各种运算组织成复杂的表达式 调用

随机推荐

  • 第一章 dolphinscheduler基础环境搭建

    官方链接 https dolphinscheduler apache org 1 准备工作 1 解压安装包 tar xzvf apache dolphinscheduler 1 3 9 bin tar gz C opt module apa

  • uni-app 1、app-plus的使用，#ifdef MP只兼容小程序

    最近开始查看uni app的一些项目 在pages json里面发现app plus 百度了下看见一些网友的解释是app跟h5端执行 小程序则不执行 只测试过微信小程序 据说其他小程序也不执行 代码如下 path pages index i

  • mysql中的全文索引

    查询操作在数据量比较少时 可以使用like模糊查询 但是对于大量的文本数据检索 效率很低 如果 使用全文索引 查询速度会比like快很多倍 在MySQL 5 6 以前的版本 只有MyISAM存储引擎支持全 文索引 从MySQL 5 6开始M

  • 《云计算-刘鹏》学习笔记-第一章：大数据与云计算

    文章目录 0 笔记说明 1 大数据时代 2 云计算 大数据的计算 3 云计算发展现状 4 云计算实现机制 5 云计算压倒性的成本优势 0 笔记说明 参考书籍为 云计算 第三版 作者为刘鹏 1 大数据时代 大数据的定义如下 海量数据或巨量数据

  • 概率论基础（sigma域、测度）

    一 样本空间 事件 样本空间 Omega 指一个实验的可能结果的集合 omega in Omega 称为 样本

  • 定时任务及分布式定时任务注意事项

    一 定时任务默认是阻塞的 定时任务默认是阻塞的 即串行执行 若一个服务配置多个定时任务 需要等上一个定时任务执行完 才能执行下一个定时任务 一个定时任务超长了 也不应该阻塞其他定时任务的执行 如一个定时任务每秒执行 而业务执行时间是5秒 那

  • vscode （1）直接编译

    第一步创建c文件 第二步配置 终端 配置默认生成任务 选择 usr bin gcc version 2 0 0 tasks type cppbuild label C C gcc 生成活动文件 command usr bin gcc 使用的

  • Stacked Queries（堆叠注入）

    文章目录 基本知识 原理介绍 堆叠注入的局限性 Mysql数据库实例介绍 CTF 实战与各种姿势 修改表名 利用HANDLER语句 利用MySql预处理 正常利用 MySql预处理配合十六进制绕过关键字 MySql预处理配合字符串拼接绕过关

  • jax安装

    Windows 安装 pip install jaxlib 0 3 5 f https whls blob core windows net unstable index html pip install jaxlib cuda111 f

  • Android开发工作中遇到的重点和难点总结

    1 Android N floating widget无法显示 统一管理一个window token解决了此问题 2 Pop up window在Android6 0上出现花屏 3 由于状态栏的影响 悬浮窗上下跳动 4 Wi Fi安全的数据

  • Windows下的oracle 11g的入门

    图全部都挂了 写的太累了 有空再来更 几个月没用oracle之后 花了一个下午把oracle的基本操作迅速捡回来了 记录如下 一 安装oracle11G 1 1 首先要下载oracle服务端和客户端 官网下载链接如下 http www or

  • content-type的几种取值

    目录 Content Type的几种取值 1 text plain 2 text html 3 application json 4 application xml 5 image jpeg 6 image png 7 audio mpeg

  • Socket编程基础

    提示 文章写完后 目录可以自动生成 如何生成可参考右边的帮助文档 文章目录 前言 一 基于TCP的socket通信流程 二 基于UDP的socket通信流程 三 TCP协议下socket编程主要API接口介绍 1 int socket in

  • 【Java】迭代器之：Iterable & Iterator

    在我们Java中的迭代器是一个接口 名为Iterator 他有两个抽象方法 hasNext方法 用来判断还有没有数据访问 next方法 用来访问集合的下一个数据 迭代器可以访问不同特性的集合数据 而无需关心他们的内部实现 注意 集合并不是直

  • 小学奥数题使用python解决（使用2倒9中不重复的数使得{}+{}={}{}-{}=1{}满足）

    使用2 9中不重复的数使得 1 满足 样子不太好看 1 利用for循环和if语句 代码 利用2 9不重复的数使得 1 i 0 for a1 in range 2 10 for a2 in range 2 10 if a1 a2 and a1

  • 新学期阅读计划

    1 再认真阅读 设计模式之禅 在理解的基础上应用设计模式 2 编程之美 共4章 61个有意思的题目 3 图书馆借阅 算法导论 4 再阅读 算法之道 5 了解 操作系统导论 真正理解不要死记硬背 6 反复多次阅读经典的论文 特别是及时和师姐多

  • 部署篇-Zabbix中文乱码字符集的修正

    部署zabbix监控后默认是英文 默认不支持中文字符集 切换成中文后会出现以下情况 解决方案 从Window服务器找到相应的字休复制到zabbix Server服务器上 控制面板 字体 选择一种中文字体 建议simkai ttf root

  • Java堆和栈应用实例

    以下是一个简单的Java程序 演示了Java堆和栈的应用实例 public class HeapAndStackExample public static void main String args 创建一个对象并分配在堆内存中 Perso

  • CTFshow web入门---web56

    CTFshow web入门 web56 题目 题目分析 查看本题 发现本题为命令执行类题目 但是有一个很致命的点 那么就是他过滤了所有的字母和数字 以及一系列的符号 因此本题最值得推敲的点就是如何实现无字母数字的命令执行 通过拜读P神的一篇

  • 关系型数据库RDBMS -MySQL基础入门（三）数据分片

    数据分片 相关概念 分库分表 分片 存在一台数据库的服务器中的数据 特定方式拆分 分散存放在多台数据库服务中 达到单台服务器负载的效果 垂直分割 纵向切分 按业务类型 什么是垂直分割 纵向切分 把单一的表 拆分成多个表 并分散到不同的数据库

热门标签