程序员经验分享-hwhale

Mysql在大型网站的应用架构演变

2023-10-29

原创文章，转载请注明： 转载自http://www.cnblogs.com/Creator/
本文链接地址: Mysql在大型网站的应用架构演变

本文已经被多处转载，包括CSDN推荐以及码农周刊等等,阅读数超过50w+,回流到我博客流量的还是比较少,不过这不重要, 后续会分享更多技术，尽量试图把自己理解的东西描述出来(很多时候自己的理解是90分，可是描述出来就只有60分了)

CSDN的转载 ：http://www.csdn.net/article/2014-06-10/2820160

伯乐在线的转载： http://blog.jobbole.com/70844/

当然还有大量转载没有写明出处的...

 

写在最前:

本文主要描述在网站的不同的并发访问量级下，Mysql架构的演变

可扩展性

架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下，常用的扩展手段有以下两种
Scale-up :  纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力
Scale-out : 横向扩展,  通过加节点（机器）来实现伸缩，提升服务能力
对于互联网的高并发应用来说，无疑Scale out才是出路，通过纵向的买更高端的机器一直是我们所避讳的问题，也不是长久之计，在scale out的理论下，可扩展性的理想状态是什么？


可扩展性的理想状态

一个服务，当面临更高的并发的时候，能够通过简单增加机器来提升服务支撑的并发度，且增加机器过程中对线上服务无影响(no down time)，这就是可扩展性的理想状态！

 

架构的演变

V1.0  简单网站架构

一个简单的小型网站或者应用背后的架构可以非常简单,  数据存储只需要一个mysql instance就能满足数据读取和写入需求（这里忽略掉了数据备份的实例），处于这个时间段的网站，一般会把所有的信息存到一个database instance里面。

在这样的架构下，我们来看看数据存储的瓶颈是什么？
1.数据量的总大小  一个机器放不下时
2.数据的索引（B+ Tree）一个机器的内存放不下时
3.访问量(读写混合)一个实例不能承受

只有当以上3件事情任何一件或多件满足时，我们才需要考虑往下一级演变。 从此我们可以看出，事实上对于很多小公司小应用，这种架构已经足够满足他们的需求了，初期数据量的准确评估是杜绝过度设计很重要的一环，毕竟没有人愿意为不可能发生的事情而浪费自己的经历。


这里简单举个我的例子，对于用户信息这类表 （3个索引），16G内存能放下大概2000W行数据的索引，简单的读和写混合访问量3000/s左右没有问题，你的应用场景是否

V2.0 垂直拆分

一般当V1.0 遇到瓶颈时，首先最简便的拆分方法就是垂直拆分，何谓垂直？就是从业务角度来看，将关联性不强的数据拆分到不同的instance上，从而达到消除瓶颈的目标。以图中的为例，将用户信息数据，和业务数据拆分到不同的三个实例上。对于重复读类型比较多的场景，我们还可以加一层cache，来减少对DB的压力。

在这样的架构下，我们来看看数据存储的瓶颈是什么？

1.单实例单业务 依然存在V1.0所述瓶颈

遇到瓶颈时可以考虑往本文更高V版本升级, 若是读请求导致达到性能瓶颈可以考虑往V3.0升级， 其他瓶颈考虑往V4.0升级

 

V3.0  主从架构

此类架构主要解决V2.0架构下的读问题，通过给Instance挂数据实时备份的思路来迁移读取的压力，在Mysql的场景下就是通过主从结构，主库抗写压力，通过从库来分担读压力，对于写少读多的应用，V3.0主从架构完全能够胜任

在这样的架构下，我们来看看数据存储的瓶颈是什么？
1.写入量主库不能承受

 

作者微博: http://weibo.com/zealotyin

 

V4.0  水平拆分

对于V2.0 V3.0方案遇到瓶颈时，都可以通过水平拆分来解决，水平拆分和垂直拆分有较大区别，垂直拆分拆完的结果，在一个实例上是拥有全量数据的，而水平拆分之后，任何实例都只有全量的1/n的数据，以下图Userinfo的拆分为例，将userinfo拆分为3个cluster，每个cluster持有总量的1/3数据，3个cluster数据的总和等于一份完整数据（注：这里不再叫单个实例 而是叫一个cluster 代表包含主从的一个小mysql集群）

 

数据如何路由？

1.Range拆分

 sharding key按连续区间段路由，一般用在有严格自增ID需求的场景上，如Userid, Userid Range的小例子：以userid 3000W 为Range进行拆分   1号cluster  userid 1-3000W  2号cluster  userid   3001W-6000W

2.List拆分

List拆分与Range拆分思路一样，都是通过给不同的sharding key来路由到不同的cluster,但是具体方法有些不同,List主要用来做sharding key不是连续区间的序列落到一个cluster的情况，如以下场景：
假定有20个音像店，分布在4个有经销权的地区，如下表所示：

地区

商店ID 号

北区

3, 5, 6, 9, 17

东区

1, 2, 10, 11, 19, 20

西区

4, 12, 13, 14, 18

中心区

7, 8, 15, 16


业务希望能够把一个地区的所有数据组织到一起来搜索，这种场景List拆分可以轻松搞定

3.Hash拆分

通过对sharding key 进行哈希的方式来进行拆分，常用的哈希方法有除余,字符串哈希等等，除余如按userid%n 的值来决定数据读写哪个cluster，其他哈希类算法这里就不细展开讲了。


数据拆分后引入的问题：

数据水平拆分引入的问题主要是只能通过sharding key来读写操作，例如以userid为sharding key的切分例子，读userid的详细信息时，一定需要先知道userid,这样才能推算出再哪个cluster进而进行查询，假设我需要按username进行检索用户信息，需要引入额外的反向索引机制（类似HBASE二级索引），如在redis上存储username->userid的映射，以username查询的例子变成了先通过查询username->userid，再通过userid查询相应的信息。
实际上这个做法很简单，但是我们不要忽略了一个额外的隐患，那就是数据不一致的隐患。存储在redis里的username->userid和存储在mysql里的userid->username必须需要是一致的，这个保证起来很多时候是一件比较困难的事情，举个例子来说，对于修改用户名这个场景，你需要同时修改redis和mysql,这两个东西是很难做到事务保证的,如mysql操作成功 但是redis却操作失败了（分布式事务引入成本较高）,对于互联网应用来说，可用性是最重要的，一致性是其次，所以能够容忍小量的不一致出现. 毕竟从占比来说，这类的不一致的比例可以微乎其微到忽略不计（一般写更新也会采用mq来保证直到成功为止才停止重试操作）

在这样的架构下，我们来看看数据存储的瓶颈是什么？
在这个拆分理念上搭建起来的架构，理论上不存在瓶颈（sharding key能确保各cluster流量相对均衡的前提下),不过确有一件恶心的事情，那就是cluster扩容的时候重做数据的成本，如我原来有3个cluster，但是现在我的数据增长比较快，我需要6个cluster，那么我们需要将每个cluster 一拆为二，一般的做法是
1.摘下一个slave,停同步,
2.对写记录增量log（实现上可以业务方对写操作 多一次写持久化mq  或者mysql主创建trigger记录写 等等方式）
3.开始对静态slave做数据, 一拆为二
4.回放增量写入,直到追上的所有增量,与原cluster基本保持同步
5.写入切换，由原3 cluster 切换为6cluster

有没有类似飞机空中加油的感觉，这是一个脏活，累活，容易出问题的活，为了避免这个，我们一般在最开始的时候，设计足够多的sharding cluster来防止可能的cluster扩容这件事情

V5.0  云计算 腾飞（云数据库） 

云计算现在是各大IT公司内部作为节约成本的一个突破口，对于数据存储的mysql来说，如何让其成为一个saas（Software as a Service）是关键点。在MS的官方文档中，把构建一个足够成熟的SAAS(MS简单列出了SAAS应用的4级成熟度)所面临的3个主要挑战：可配置性，可扩展性，多用户存储结构设计称为"three headed monster". 可配置性和多用户存储结构设计在Mysql saas这个问题中并不是特别难办的一件事情，所以这里重点说一下可扩展性。

Mysql作为一个saas服务，在架构演变为V4.0之后，依赖良好的sharding key设计, 已经不再存在扩展性问题，只是他在面对扩容缩容时，有一些脏活需要干，而作为saas,并不能避免扩容缩容这个问题，所以只要能把V4.0的脏活变成 1. 扩容缩容对前端APP透明(业务代码不需要任何改动)  2.扩容缩容全自动化且对在线服务无影响 那么他就拿到了作为Saas的门票.

对于架构实现的关键点，需要满足对业务透明，扩容缩容对业务不需要任何改动，那么就必须eat our own dog food，在你mysql saas内部解决这个问题，一般的做法是我们需要引入一个Proxy,Proxy来解析sql协议，按sharding key 来寻找cluster, 判断是读操作还是写操作来请求主 或者 从，这一切内部的细节都由proxy来屏蔽。
这里借淘宝的图来列举一下proxy需要干哪些事情

百度公开的技术方案中也有类似的解决方案，见文章最后资料部分链接


对于架构实现的关键点，扩容缩容全自动化且对在线服务无影响； 扩容缩容对应到的数据操作即为数据拆分和数据合并，要做到完全自动化有非常多不同的实现方式，总体思路和V4.0介绍的瓶颈部分有关，目前来看这个问题比较好的方案就是实现一个伪装slave的sync slave, 解析mysql同步协议，然后实现数据拆分逻辑，把全量数据进行拆分。具体架构见下图：

其中Sync slave对于Original Master来说，和一个普通的Mysql Slave没有任何区别，也不需要任何额外的区分对待。需要扩容/缩容时，挂上一个Sync slave,开始全量同步+增量同步，等待一段时间追数据。以扩容为例，若扩容后的服务和扩容前数据已经基本同步了，这时候如何做到切换对业务无影响？ 其实关键点还是在引入的proxy,这个问题转换为了如何让proxy做热切换后端的问题。这已经变成一个非常好处理的问题了.

另外值得关注的是：2014年5月28日——为了满足当下对Web及云应用需求，甲骨文宣布推出MySQL Fabric，在对应的资料部分我也放了很多Fabric的资料，有兴趣的可以看看，说不定会是以后的一个解决云数据库扩容缩容的手段

V more ?

等待革命...

 

作者微博: http://weibo.com/zealotyin

其他资料

百度Dbproxy设计   http://tech.it168.com/a2012/0413/1337/000001337034.shtml
淘宝RDS 云数据库设计： http://blog.csdn.net/ywh147/article/details/8954625     http://www.infoq.com/cn/news/2012/10/taobao-ump
Mysql  Fabric
http://mysqlmusings.blogspot.jp/2013/09/brief-introduction-to-mysql-fabric.html
http://vnwrites.blogspot.jp/2013/09/mysqlfabric-sharding-introduction.html
http://vnwrites.blogspot.in/2013/09/mysqlfabric-sharding-example.html
http://vnwrites.blogspot.in/2013/09/mysqlfabric-sharding-migration.html
http://vnwrites.blogspot.jp/2013/09/mysqlfabric-sharding-maintenance.html

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

mysql

Mysql在大型网站的应用架构演变 的相关文章

  • SQL - 选择具有最大值的所有行

    我有这个 SQL 查询 SELECT id COUNT AS price FROM SELECT FROM rt WHERE somecondition AS st JOIN tt ON st id tt id GROUP BY id 现在

  • 如何避免此 PDO 异常：当其他未缓冲的查询处于活动状态时无法执行查询

    我想在我的页面中打印一个包含 3 列的简单表格 building name tags and architecture style 如果我尝试检索列表building names and arch styles没有问题 SELECT bui

  • SQL IN 子句比单个查询慢

    我正在使用 Hibernate 的 JPA 实现和 MySQL 5 0 67 MySQL 配置为使用 InnoDB 在执行 JPA 查询 转换为 SQL 时 我发现使用IN子句比执行单个查询慢 例子 SELECT p FROM Person

  • Mysql 中的 MD5 和 Salt

    如何 解密 各种电商存储的密码添加 盐 我不是密码专家 所以 在过去 我使用过类似的东西 SELECT FROM mytable WHERE email email AND passwd MD5 pwd MySql MD5 函数只接受一个参

  • 从mysql数据库读取pdf文件

    我正在使用这个例子http www php mysql tutorial com wikis mysql tutorials uploading files to mysql database aspx http www php mysql

  • mysql - 如果日期不与现有日期重叠，则将日期范围插入日期列

    我有以下表结构 表名 available id autoincremetn acc id start date end date 1 175 2015 05 26 2015 05 31 2 175 2015 07 01 2015 07 07

  • MySQL 无法使用 PHP 连接到本地主机上的服务器

    我正在使用 XAMPP 1 7 2 可以通过 cmd 和 SQLYog 连接到 MySQL 但不能以编程方式连接 这段 PHP 代码 conn mysql connect localhost root if conn die Could n

  • 如何在 Eclipse 中使用 MySql 数据库

    我对编程非常陌生 所以请耐心等待 如果一开始我没有理解的话 请提前道歉 我正在做一个本科编程项目 需要在 Java 程序中创建一些数据库 我正在使用 eclipse galilo 来编写我的程序 我已经下载了一个连接器 J 但还不知道应该如

  • 使用存储过程并发访问MySQL数据库

    我有一个存储过程 它将读取然后增加数据库中的值 许多程序同时使用这个特定的过程 我担心并发问题 特别是读写器问题 有人可以建议我任何可能的解决方案吗 thanks 首先 正如另一篇文章中所述 使用 InnoDB 从 MySQL 5 5 开始

  • 浏览器关闭后从数据库中删除

    我正在开发一个电子商务应用程序 但问题是 当用户将产品添加到购物车并在订购前关闭浏览器时 购物车会带走所有产品 所有购物车项目都保存在表中 如果用户关闭浏览器而不订购 我只想刷新购物车 您可以使用 Javascript 事件捕获浏览器关闭并

  • 在带有 OR 条件的 LEFT JOIN 中使用索引

    考虑以下查询 SELECT FROM table1 LEFT JOIN table2 ON table2 some primary key table1 some primary key LEFT JOIN table3 ON table3

  • 为什么这个 MySQL 更新不起作用？

    有一张桌子叫meterreadings 我需要复制属性meterreading从一排到另一排 这是数据示例 id meterreadingdate meterreading meterreadingtype id created 1 201

  • 用于分页的php示例脚本[关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 任何人都可以建议一个好的分页 php 脚本 其中人们想要分页显示数据库中的大量项目 以下链接可以帮助您

  • mysql变量赋值：如何强制赋值顺序？

    由于mysql是一种声明性语言 我找不到强制赋值变量顺序的方法 采取这个查询 SET v1 0 SET v2 0 SELECT v1 v2 FROM MyTable table WHERE v1 v2 is not null AND v2

  • 如何让MySQL数据库完全在内存中运行？

    我注意到我的数据库服务器支持内存数据库引擎 我想让一个已经运行 InnoDB 的数据库完全在内存中运行以提高性能 我怎么做 我探索了 PHPMyAdmin 但找不到 更改引擎 功能 假设您了解注释中提到的使用 MEMORY 引擎的后果 并且

  • WHERE 子句或 ON 子句中的 INNER JOIN 条件？

    我今天输错了一个查询 但它仍然有效并给出了预期的结果 我的意思是运行这个查询 SELECT e id FROM employees e JOIN users u ON u email e email WHERE u id 139840 但我

  • 如何在 JdbcTemplate 中创建 mySQL 存储过程

    背景 为了解决 MySql 中某些语句只允许在存储过程中出现的问题 我尝试在 JdbcTemplate 提交的 sql 中创建 运行然后删除存储过程 一个简单的例子是 这恰好是在 Spring Boot 中 Service public c

  • 在 MySQL 中搜索多个单词

    我使用 HTML 表单来允许用户查找数据库表中的条目

  • 如何获取mysql中一条记录的大小

    如果表包含 TEXT 或 BLOB 类型的字段 如何获取 MySql 中记录的大小 是否可以使用sql语句获取记录或表的大小 要计算字符串或 blob 的大小 以字节为单位 请使用LENGTH YourColumn http dev mys

  • 为什么运行 docker 容器后 mysql 数据所有权更改为 systemd-journal-remote

    我的mysql数据库存储在 home mysql代替 var lib mysql 该目录曾经属于mysql 但是 当我运行命令时docker compose up使用这个 yml 文件 version 3 services mariadb

随机推荐

  • C++14后如何读入一行带空格的一行字符串

    前文 在c 11标准及之前 仍可以使用gets读入 但是c 14正式删除了gets这一不安全的读入 由于读入对空格的自动忽略 所以需要其他读入函数来处理带空格的字符串 具体读入方式 一 字符数组 A std cin getline str

  • linux中shell脚本手动执行没问题，crontab定时执行失败

    问题描述 Shell脚本手动执行可以正常运行 并得到正确结果 使用Crontab定时调度的时候 Shell脚本执行出来的结果数据量为0 原因 Linux下用crontab执行定时任务不会缺省的从用户profile文件中读取环境变量参数 所以

  • 区块链原理通俗说明

    通俗讲解区块链 区块链是一个记录数据的一个共享数据库 具有 不可伪造 全程留痕 可以追溯 公开透明 集体维护 等特征 根据其具体实现的差异可以实现不同的功能 例如数字货币 Bitcoin 智能合约等 例子 转载 白话区块链 早些时候 农村一

  • jira 安装注意事项

    1 邮件配置 2 破解时 先注册一个jira账户 申请一个试用密钥

  • 分配学号 Python123

    描述 附件中学院代码和专业代码文件中的数据是每个学院的编号和专业的编号 学生名单文件中有若干学生信息 学生出现的顺序是他在班级中排名顺序 每行中的数据用逗号分隔 各数据依顺代表

  • 谷粒商城-基础篇-商品服务2-品牌管理（P59-P69）+（P75）

    目录 一 商品服务 API 品牌管理 1 使用逆向工程的前后端代码 2 效果优化及显示开关 3 云存储开通与使用 1 阿里云对象存储oss 2 oss整合测试 3 SpringCloud Alibaba 4 创建第三方模块 并完成添加上传功

  • Error in created hook (Promise/async): “AxiosError: Request failed with status code 404“

    背景 Error in created hook Promise async AxiosError Request failed with status code 404 原因 路径不对导致报错 解决方法 检查获取接口的代码 是否有空格

  • Github上1.1KFork的C++笔记

    编程语言 C C 原文链接 如果觉得本文对你有所帮助 欢迎去原地址点个Star 侵删 https github com linw7 Skill Tre 目录 Chapter 1 Chapter 2 Chapter 3 Chapter 4 编

  • 《C++ Primer Plus》学习随记1---模拟EOF

    EOF 文件结束符 End Of File 通常 EOF被定义为值 1 几种检测模拟EOF结束输入的代码实现 1 eof fail 从输入流读取数据 eof 如果检测到EOF cin eof 返回true 否则返回false fail 用来

  • 中台建设：中台有效落地的6脉神剑

    优质资源分享 学习路线指引 点击解锁 知识定位 人群定位 Python实战微信订餐小程序 进阶级 本课程是python flask 微信小程序的完美结合 从项目搭建到腾讯云部署上线 打造一个全栈订餐系统 Python量化交易实战 入门级 手

  • 关于利用Unity制作游戏登陆界面这件事

    提示 文章写完后 目录可以自动生成 如何生成可参考右边的帮助文档 关于利用Unity制作游戏登陆界面这件事 前言 一 Unity是什么 二 制作历程 1 开始界面 2 音效背景 3 跳转页 总结 前言 由于是自学 故实现功能和代码不太完善

  • 模板方法模式（Template Method）

    模板方法模式 Template Method 概述 定义一个操作中的算法的骨架 而将一些步骤延迟到子类中 Template Method 使得子类可以不改变一个算法的结构即可重定义该算法的某些特定步骤 例如生产饮料的流程 加原料 加水 烧水

  • 关于win10+2080ti 配置cuda cudnn 和tensorflow版本问题

    经过两天的设置 终于找到了配置的正确方法 现以文字的形式保留下来 防止忘记 本次配置的版本如下 python 3 5 2 cuda 10 0 一定要用10 0 10 1不行 cudnn 7 4 1 建议用这个 我用7 3 1提示我报错了 t

  • 【PTA】两个有序链表序列的交集 (20 分)

    记录这道题是因为被一个bug磨了很久很久 大概4个小时 自闭了 一直以为是自己的单链表知识不够才错的 妹想到是因为出现死循环 问了同学才知道错在这里 while p1 NULL p2 s2 这里 while p1 gt data p2 gt

  • 使用RT-Thread Studio 建立 L476 Nucleo 项目工程并完成相关功能

    使用RT Thread Studio 建立 L476 Nucleo 项目工程并完成相关功能 1 新建RTT工程 2 添加cube对应的驱动 Nucleo 板上 X2 低速时钟有 X3调整时钟无 UART2串口配置 PA2 PA3 用户按键

  • Python爬虫：浅谈【破解某易云音乐加密-JS逆向】

    网页及JS代码分析 我们这里直接进入某易云音乐官网 然后进入到任意一首歌曲的详情页 并进行分析 如下图 由于我们之前分析过网页的数据构成 所以这里不再赘述 直接点进R SO 4 1446235247 csrf token 往下翻 可以看到p

  • anconda下载

    a n c o n d a 下载以及基本指令 an

  • 300英雄服务器维护多久,300英雄7月19日停机更新公告

    300英雄 300英雄维护公告 尊敬的 300英雄 玩家 300英雄 将定于2019年07月19日06 00 09 00 星期五 对所有大区进行停机更新 届时请重新开启客户端便能正常进入游戏 如果在预定时间内无法完成维护内容 开服时间也将继

  • 玩转Windows服务系列——创建Windows服务

    玩转Windows服务系列 创建Windows服务 ATL 服务

  • Mysql在大型网站的应用架构演变

    原创文章 转载请注明 转载自http www cnblogs com Creator 本文链接地址 Mysql在大型网站的应用架构演变 本文已经被多处转载 包括CSDN推荐以及码农周刊等等 阅读数超过50w 回流到我博客流量的还是比较少 不

热门标签