程序员经验分享-hwhale

MySQL-分库分表详解（七）

2023-11-03

♥️作者：小刘在C站

♥️个人主页： 小刘主页 

♥️努力不一定有回报，但一定会有收获加油！一起努力，共赴美好人生！

♥️学习两年总结出的运维经验，以及思科模拟器全套网络实验教程。专栏：云计算技术

♥️小刘私信可以随便问，只要会绝不吝啬，感谢CSDN让你我相遇！

前言

上章讲到MySQL-分库分表详解（六）

目录

5.3.7 字符串hash解析算法

1). 介绍

 2). 配置

 3). 测试

5.3.8 按天分片算法

1). 介绍

 2). 配置

 3). 测试

5.3.9 自然月分片

1). 介绍

​编辑

 2). 配置

 3). 测试

6 MyCat管理及监控

6.1 MyCat原理

6.2 MyCat管理

6.3 MyCat-eye

 6.3.1 介绍

6.3.2 安装

6.3.3 访问

 6.3.4 配置

 6.3.5 测试

A. 性能监控

 B. 物理节点

 C. SQL统计

​编辑

 D. SQL表分析

 E. SQL监控

​编辑

 F. 高频SQL

5.3.7 字符串hash解析算法

1). 介绍

截取字符串中的指定位置的子字符串 , 进行 hash 算法， 算出分片。
 2). 配置
schema.xml 中逻辑表配置： 
<!-- 字符串hash解析算法 -->
<table name="tb_strhash" dataNode="dn4,dn5" rule="sharding-by-stringhash" />
schema.xml 中数据节点配置： 
<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
rule.xml 中分片规则配置： 
<tableRule name="sharding-by-stringhash">
<rule>
<columns>name</columns>
<algorithm>sharding-by-stringhash</algorithm>
</rule>
</tableRule>
<function name="sharding-by-stringhash"
class="io.mycat.route.function.PartitionByString">
<property name="partitionLength">512</property> <!-- zero-based -->
<property name="partitionCount">2</property>
<property name="hashSlice">0:2</property>
</function>
分片规则属性含义：

 示例说明：

 3). 测试
配置完毕后，重新启动 MyCat ，然后在 mycat 的命令行中，执行如下 SQL 创建表、并插入数据，查看数据分布情况。
  
create table tb_strhash(
name varchar(20) primary key,
content varchar(100)
)engine=InnoDB DEFAULT CHARSET=utf8mb4;
INSERT INTO tb_strhash (name,content) VALUES('T1001', UUID());
INSERT INTO tb_strhash (name,content) VALUES('ROSE', UUID());
INSERT INTO tb_strhash (name,content) VALUES('JERRY', UUID());
INSERT INTO tb_strhash (name,content) VALUES('CRISTINA', UUID());
INSERT INTO tb_strhash (name,content) VALUES('TOMCAT', UUID());

5.3.8 按天分片算法

1). 介绍
按照日期及对应的时间周期来分片。
 2). 配置
schema.xml 中逻辑表配置： 
<!-- 按天分片 -->
<table name="tb_datepart" dataNode="dn4,dn5,dn6" rule="sharding-by-date" />
schema.xml 中数据节点配置： 
<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />
rule.xml 中分片规则配置： 
<tableRule name="sharding-by-date">
<rule>
<columns>create_time</columns>
<algorithm>sharding-by-date</algorithm>
</rule>
</tableRule>
<function name="sharding-by-date"
class="io.mycat.route.function.PartitionByDate">
<property name="dateFormat">yyyy-MM-dd</property>
<property name="sBeginDate">2022-01-01</property>
<property name="sEndDate">2022-01-30</property>
<property name="sPartionDay">10</property>
</function>
<!--
从开始时间开始，每10天为一个分片，到达结束时间之后，会重复开始分片插入
配置表的 dataNode 的分片，必须和分片规则数量一致，例如 2022-01-01 到 2022-12-31 ，每
10天一个分片，一共需要37个分片。
-->
分片规则属性含义：
 3). 测试
配置完毕后，重新启动 MyCat ，然后在 mycat 的命令行中，执行如下 SQL 创建表、并插入数据，查看数据分布情况。 
create table tb_datepart(
id bigint not null comment 'ID' primary key,
name varchar(100) null comment '姓名',
create_time date null
);
insert into tb_datepart(id,name ,create_time) values(1,'Tom','2022-01-01');
insert into tb_datepart(id,name ,create_time) values(2,'Cat','2022-01-10');
insert into tb_datepart(id,name ,create_time) values(3,'Rose','2022-01-11');
insert into tb_datepart(id,name ,create_time) values(4,'Coco','2022-01-20');
insert into tb_datepart(id,name ,create_time) values(5,'Rose2','2022-01-21');
insert into tb_datepart(id,name ,create_time) values(6,'Coco2','2022-01-30');
insert into tb_datepart(id,name ,create_time) values(7,'Coco3','2022-01-31');

5.3.9 自然月分片

1). 介绍
使用场景为按照月份来分片 , 每个自然月为一个分片。
 2). 配置
schema.xml 中逻辑表配置： 
<!-- 按自然月分片 -->
<table name="tb_monthpart" dataNode="dn4,dn5,dn6" rule="sharding-by-month" />
schema.xml 中数据节点配置： 
<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />
rule.xml中分片规则配置：     
<tableRule name="sharding-by-month">
<rule>
<columns>create_time</columns>
<algorithm>partbymonth</algorithm>
</rule>
</tableRule>
<function name="partbymonth" class="io.mycat.route.function.PartitionByMonth">
<property name="dateFormat">yyyy-MM-dd</property>
<property name="sBeginDate">2022-01-01</property>
<property name="sEndDate">2022-03-31</property>
</function>
<!--
从开始时间开始，一个月为一个分片，到达结束时间之后，会重复开始分片插入
配置表的 dataNode 的分片，必须和分片规则数量一致，例如 2022-01-01 到 2022-12-31 ，一
共需要12个分片。
-->
     
分片规则属性含义：
 3). 测试
配置完毕后，重新启动 MyCat ，然后在 mycat 的命令行中，执行如下 SQL 创建表、并插入数据，查看数据分布情况。 
create table tb_monthpart(
id bigint not null comment 'ID' primary key,
name varchar(100) null comment '姓名',
create_time date null
);
insert into tb_monthpart(id,name ,create_time) values(1,'Tom','2022-01-01');
insert into tb_monthpart(id,name ,create_time) values(2,'Cat','2022-01-10');
insert into tb_monthpart(id,name ,create_time) values(3,'Rose','2022-01-31');
insert into tb_monthpart(id,name ,create_time) values(4,'Coco','2022-02-20');
insert into tb_monthpart(id,name ,create_time) values(5,'Rose2','2022-02-25');
insert into tb_monthpart(id,name ,create_time) values(6,'Coco2','2022-03-10');
insert into tb_monthpart(id,name ,create_time) values(7,'Coco3','2022-03-31');
insert into tb_monthpart(id,name ,create_time) values(8,'Coco4','2022-04-10');
insert into tb_monthpart(id,name ,create_time) values(9,'Coco5','2022-04-30');

6 MyCat管理及监控

6.1 MyCat原理

 在MyCat中，当执行一条SQL语句时，MyCat需要进行SQL解析、分片分析、路由分析、读写分离分析等操作，最终经过一系列的分析决定将当前的SQL语句到底路由到那几个(或哪一个)节点数据库，数据库将数据执行完毕后，如果有返回的结果，则将结果返回给MyCat，最终还需要在MyCat中进行结果合并、聚合处理、排序处理、分页处理等操作，最终再将结果返回给客户端。

而在 MyCat 的使用过程中， MyCat 官方也提供了一个管理监控平台 MyCat-Web （ MyCat-eye ）。Mycat-web 是 Mycat 可视化运维的管理和监控平台，弥补了 Mycat 在监控上的空白。帮 Mycat分担统计任务和配置管理任务。 Mycat-web 引入了 ZooKeeper 作为配置中心，可以管理多个节点。 Mycat-web 主要管理和监控 Mycat 的流量、连接、活动线程和内存等，具备 IP 白名单、邮 件告警等模块，还可以统计 SQL 并分析慢 SQL 和高频 SQL 等。为优化 SQL 提供依据。

6.2 MyCat管理

Mycat 默认开通 2 个端口，可以在 server.xml 中进行修改。
8066 数据访问端口，即进行 DML 和 DDL 操作。
9066 数据库管理端口，即 mycat 服务管理控制功能，用于管理 mycat 的整个集群状态
连接 MyCat 的管理控制台： 

mysql -h 192.168.200.210 -p 9066 -uroot -p123456

6.3 MyCat-eye

 6.3.1 介绍

Mycat-web(Mycat-eye) 是对 mycat-server 提供监控服务，功能不局限于对 mycat-server 使
用。他通过 JDBC 连接对 Mycat 、 Mysql 监控，监控远程服务器 ( 目前仅限于 linux 系统 ) 的 cpu 、内
存、网络、磁盘。

Mycat-eye 运行过程中需要依赖 zookeeper ，因此需要先安装 zookeeper 。

6.3.2 安装

1). zookeeper 安装
2). Mycat-web 安装

6.3.3 访问

http://192.168.200.210:8082/mycat

 6.3.4 配置

1). 开启 MyCat 的实时统计功能 (server.xml) 

<property name="useSqlStat">1</property> <!-- 1为开启实时统计、0为关闭 -->
2). 在 Mycat 监控界面配置服务地址

 6.3.5 测试

配置好了之后，我们可以通过 MyCat 执行一系列的增删改查的测试，然后过一段时间之后，打开
mycat-eye 的管理界面，查看 mycat-eye 监控到的数据信息。

A. 性能监控

 B. 物理节点

 C. SQL统计

 D. SQL表分析

 E. SQL监控

 F. 高频SQL

 

♥️关注，就是我创作的动力

♥️点赞，就是对我最大的认可

♥️这里是小刘，励志用心做好每一篇文章，谢谢大家

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

MySQL入门到实战

mysql

数据库

MySQL-分库分表详解（七） 的相关文章

  • PMA 4.5.2.0 file_exists()：open_basedir 限制生效

    从 PPA 在我的 Ubuntu 服务器上安装 phpMyAdmin 后 https launchpad net nijel archive ubuntu phpmyadmin https launchpad net nijel archi

  • 更新重复密钥上的复合密钥 [重复]

    这个问题在这里已经有答案了 我需要更新新行 如果两者都满足 date dat and empId who 作为复合键 但如果其中之一或两者不同 则插入 sql INSERT INTO history SET endtimestamp now

  • 基本表创建 fpdf

    我找不到使用 fpdf 制作表格并从 mysql 数据库获取数据的合适教程 我只是想知道如何创建一个 我在网上尝试示例时遇到了很多错误 例如 我有 名字 中间名 姓氏 年龄 和 电子邮件 列 如何使用 fpdf 创建表格并回显数据库中的条目

  • 如何修复 InterfaceError: 2003: 无法连接到“127.0.0.1:3306:3306”上的 MySQL 服务器（11001 getaddrinfo 失败）

    我的MySQL连接成功但是遇到这个界面错误 import mysql connector db mysql connector connect host 127 0 0 1 3306 user root passwd teja databa

  • 高效插入和更新时检查唯一性

    我的员工表中有 2 列 每列值必须是唯一的 staff code staff name staff id staff code staff name 1 MGT Management 2 IT IT staff 当向表中插入或更新项目时 我

  • SQLSTATE[HY000] [2002] 资源暂时不可用 - mysql - innodb 和 pdo

    在我的错误日志中得到大量结果 如下所列 数据库中的所有表都是 innodb 并且就与这些表的任何交互而言 一切都是带有准备好的语句的 pdo 正如我所说 所有错误几乎与下面列出的错误相同 但发生在几个不同的页面上 无论页面如何 错误行始终指

  • MySQL 中的 UDF 性能

    我注意到 当查询在 SELECT 或 WHERE 子句中调用 UDF 时 MySQL 查询执行时间的性能会呈指数级下降 有问题的 UDF 查询本地表以返回标量值 因此它们不仅执行算术表达式 而且充当相关子查询 我通过简单地删除 UDF 并使

  • 使用 MySQLdb 在 Python 中执行 .sql 文件

    我有一个 sql 文件 其中包含一堆 SQL 查询 每个查询跨越多行 我想通过 Python 在 MySQL 中执行这些查询MySQLdb sqlite3为此目的有一个 非标准快捷方式 称为executescript http docs p

  • 项目链接在 Wamp 服务器上不起作用

    我正在另一台计算机上安装 Wamp 服务器来运行中型数据库和 UI 我已成功阻止 IIS 并将服务器路由到 Localhost 8080 但是每当我尝试从 localhost 主页访问我的项目时 在 www 文件中 我被重定向到页面未找到错

  • MySQL 中非空值的计数和分组

    我需要计算按特定 ID 分组的非空 我的意思是至少包含 1 个字符的字符串 行 例如 我的数据可能如下所示 form id mapping 1 value 1 1 1 value 2 2 2 NULL 3 value 3 我想计算每个表单的

  • PHP + MySQL 队列

    我需要一个充当队列的简单表 我的 MySQL 服务器限制是我不能使用 InnoDB 表 只能使用 MyISAM 客户 工人将同时工作 他们每次都需要接受不同的工作 我的想法是执行以下操作 伪代码 job lt SELECT FROM que

  • MySQL 选择第一个字符在哪里

    如何选择单元格的第一个字符并使用它来定义返回的内容 看看MySQL 字符串 和 控制流 功能 http dev mysql com doc refman 5 1 en functions html 例如 SELECT IF LEFT myF

  • 如何在分层类别树中找到我的节点及其祖先的所有兄弟节点？

    这是我的桌子 CREATE TABLE IF NOT EXISTS Category Name varchar 25 NOT NULL lft INT UNSIGNED NOT NULL rgt INT UNSIGNED NOT NULL

  • MySQL 使用 DATE_ADD 设置 DATE 列的默认值？

    我正在尝试使用表达式将 DATE 列添加到具有 DEFAULT DATE 值的表中 ALTER TABLE wp ezts project params ADD est completion DATE NOT NULL DEFAULT DA

  • 更改“Mysql 行大小太大”的限制

    我如何更改限制 行大小太大 gt 8126 将某些列更改为 TEXT 或 BLOB 或使用ROW FORMAT DYNAMIC or ROW FORMAT COMPRESSED可能有帮助 在当前行格式中 BLOB768 字节的前缀内联存储

  • MySQL：为什么 IN 子句中的第 5 个 ID 会极大地改变查询计划？

    给出以下两个查询 Query 1 SELECT log id FROM log WHERE user id IN 188858 188886 189854 203623 204072 and type in 14 15 17 ORDER B

  • 如何启用对 MySQL 服务器的外部访问？ [关闭]

    Closed 这个问题是无关 help closed questions 目前不接受答案 如何启用对 MySQL 服务器的外部访问 我可以在本地连接 但无法从网络上的另一个盒子进行连接 我刚刚尝试过 grant all privileges

  • MySql 复合索引

    我们使用 MySql 作为我们的数据库 以下查询在 mysql 表 大约 2500 万条记录 上运行 我在这里粘贴了两个查询 查询运行得太慢 我想知道更好的复合索引是否可以改善这种情况 你知道最好的综合指数是什么吗 并建议我这些查询是否需要

  • binary_log_types.h：没有这样的文件或目录

    我正在编译一个小型 mysql C 项目并且 遇到以下错误 C Program Files x86 MySQL MySQL Server 5 7 include mysql com h 22 30 fatal error binary lo

  • Python MySQL 模块

    我正在开发一个需要与 MySQL 数据库交互的 Web 应用程序 但我似乎找不到任何真正适合 Python 的模块 我特别寻找快速模块 能够处理数十万个连接 和查询 所有这些都在短时间内完成 而不会对速度产生重大影响 我想我的答案将是游戏领

随机推荐

  • OAM协议详解

    原文地址 https blog csdn net xinyuan510214 article details 79218004

  • CLIP论文解读

    文章目录 问题 方法 自然语言监督 数据集 有效预训练方法 模型选择 实验 Zero Shot Transfer 结论 论文 Learning Transferable Visual Models From Natural Language

  • 遗传算法（一） 遗传算法的基本原理

    遗传算法 一 遗传算法的基本原理 1 概述 遗传算法 Genetic Algorithm GA 起源于对生物系统所进行的计算机模拟研究 它是模仿自然界生物进化机制发展起来的随机全局搜索和优化方法 借鉴了达尔文的进化论和孟德尔的遗传学说 其本

  • 【Docker】如何运行容器?

    文章目录 容器操作 容器相关命令 创建并运行一个容器 docker命令解析 nacos启动成功 访问 进入容器 修改配置文件 总结 接上集 CentOS 7安装Docker https blog csdn net qq 39017153 a

  • unity中通过www加载外部音频

    IEnumerator DownloadVoice string url WWW w new WWW url yield return w 将声音资源赋值为外部加载的声音即可 myclip w audioClip 加载ogg格式的音频 au

  • 视频分类（Classification）和摘要（Captioning）总结

    想象力比知识更重要 爱因斯坦 论文 Deep Learning for Video Classification and Captioning 视频分类是指将大量的视频数据按照一定的标准和规则进行分类和归类 以便于用户快速找到自己感兴趣的视

  • 【MySQL】不就是子查询

    前言 今天我们来学习多表查询的下一个模块 子查询 子查询包括了标量子查询 列子查询 行子查询 表子查询 话不多说我们开始学习 目录 前言 目录 一 子查询 1 子查询的概念 2 子查询语法格式 2 1 根据子查询结果不同可以分为 2 2 根

  • 51单片机开发系列一-51单片机开发环境搭建以及入门汇编代码

    51单片机开发系列一 51单片机开发环境搭建以及入门汇编代码 象棋小子 1048272975 1 51单片机概述 51单片机是对所有兼容Intel 8031指令系统的单片机的统称 目前教科书基本都是以早期的MCS 51为原型 讲解微机的原理

  • Java上传Excel文件并解析入库，数据生成Excel文档（知识点满满）

    原因 我们经常会遇到甲方给数据是excel格式的数据 当然Navicat是支持导入excel的但是遇到客户想要自己上传Excel入库数据就要手动进行写代码了 一 解析Excel入库 param request param response

  • YOLOV7训练自己的数据集以及训练结果分析(手把手教你)

    YOLOV7训练自己的数据集以及训练结果分析 手把手教你 YOLOV7训练自己的数据集整个过程主要包括 环境安装 制作数据集 参数修改 模型测试 模型推理 一 环境安装 conda create n yolov7 python 3 8 co

  • python---的各种算法

    今天来聊聊python中的算法 比如AES DES RSA 1 MD5加密 md5是一个大的hash算法 它不存在解密的逻辑 市面上所为的解密是通过撞库来实现的 我们可以简单的理解为生活中的防伪码 1 不加salt 简单理解为密钥 from

  • 【语义分割】综述——一文搞定语义分割

    本文记录了博主阅读的关于语义分割 Semantic Segmentation 的综述类文章的笔记 更新于2019 02 19 语义分割 综述 一文搞定语义分割 参考文献网址 An overview of semantic image seg

  • 如何是matlab中的折线图变得更加的光滑？

    原来的代码如下 y2 Convergence2 m figure Name y2 Position 200 200 500 500 plot y2 title E2 xlabel Iteration ylabel Objective Fun

  • 网上学自动化测试靠谱吗 自己亲自试听一下去感受下就知道了

    众所周知 目前我国软件测试每年都要新增大量岗位 但学校还没有开展软件测试相关的课程 而企业培养的人才远远不足需求 因此自学和培训就成为目前主流的从事软件测试的两个最有效的途径 但相对自学来说 参与培训能够在较短时间内学到软件测试的相关知识

  • Claude2 AI实战：重新认识我们自己

    交流源于内心本真的需要 通过交流来降低信息的不对称 今天的交流对象是一个集大成者的老学者 当然是由 Claude2 扮演 相信会有不一样的收获 角色设定 你是一名集大成者的年迈学者 在哲学 社会学 历史 心理学等方面都有很高的造诣 现在我们

  • 【华为OD机试真题 Python】加扰字符串

    前言 本专栏将持续更新华为OD机试题目 并进行详细的分析与解答 包含完整的代码实现 希望可以帮助到正在努力的你 关于OD机试流程 面经 面试指导等 如有任何疑问 欢迎联系我 wechat steven moda email nansun09

  • 到底什么是Cortex、ARMv8、arm架构、ARM指令集、soc？一文帮你梳理基础概念【科普】

    更多信息请关注公众号 一口Linux 一 到底什么是Cortex ARMv8 arm架构 ARM指令集 soc 有粉丝问我到底什么是ARM 搞不清楚Cortex arm内核 arm架构 ARM指令集 soc这些概念都是什么关系 下面一口君给

  • xxljob 定时任务执行 报：job handler not found

    用xxljob做一个定时任务调度 执行以后出现执行失败 提示的找不到执行器 一般情况下是因为管理中心的JobHandler名称与代码中定义的不匹配 或者与pom文件引入的xxljob 版本不匹配 先检查一下这两个地方 在定时任务代码的入口文

  • 钩子函数(HOOK)完整的教程

    基本概念 钩子 Hook 是Windows消息处理机制的一个平台 应用程序可以在上面设置子程以监视指定窗口的某种消息 而且所监视的窗口可以是其他进程所创建的 当消息到达后 在目标窗口处理函数之前处理它 钩子机制允许应用程序截获处理windo

  • MySQL-分库分表详解（七）

    作者 小刘在C站 个人主页 小刘主页 努力不一定有回报 但一定会有收获加油 一起努力 共赴美好人生 学习两年总结出的运维经验 以及思科模拟器全套网络实验教程 专栏 云计算技术 小刘私信可以随便问 只要会绝不吝啬 感谢CSDN让你我相遇 前言

热门标签