mysql数据库容量规划_MySQL数据库服务器整体规划(方法论)

2023-11-06

我们在搭建MySQL数据库服务器的开始阶段就合理的规划,可以避免以后的很多问题的产生,大大节省我们的时间和精力,在一定幅度上降低成本。当然,这会涉及很多方面。比如机器的选型、业务评估和系统规划等。

所有的设计都是跟具体的需求相关的,我们首先要做的就是对业务进行整体评估。我在下面分享一个具体的例子。

一、业务需求要求指标

响应时间查询和操作请求ms级别返回

数据总量1年内大约有500GB的数据量

每秒请求量每秒有3W次请求

读写比读写比是1:1

重要程度核心业务,P1级别故障

其他说明数据具有时效性,历史数据访问较少,一般处理最近7天内的数据,数据总体长度约为1K

二、业务评估

step1:1年的数据量大约是500GB

结果:每秒产生的数据量为500*1024*1024/(365*24*60*60)=17KB。

step2:每秒3W次请求;读写比是1:1

结果:每秒的读请求是15000次;每秒的写请求是15000次。

step3:记录的长度大约为1KB

结果:根据step1得出的结果,每秒insert的数据写入大约为17KB;根据step2得出的结果,每秒写入的请求为15000次,可知14083次为update和delete操作。由于MySQL写入操作按照页来处理,页大小为16KB,假设每次操作的页都不相同,那么每秒写操作的数量为16KB*15000=234MB。每秒读操作的数量为16KB*15000=234MB。

step4:处理最近7天的数据

结果:热数据量为:(500/365)*7=21GB

step5:操作ms级别返回

结果:操作ms级别返回,并且读写基本平衡。需要尽可能多的将数据加载到内存。按照内存命中率接近100%计算的话,那么innodb_buffer大约需要21GB,而其它的内存大约需要1~2GB,因此内存超配大约为32GB。按照超配原则,写带宽(wBPS)限制为250MB/s。读带宽(rBPS)限制为250MB/s。

三、硬盘选择(HDD vs SSD)

HDD类型的硬盘更善于处理一些顺序读写的内容,而SSD硬盘不管是顺序还是随机的性能都有远远优于HDD的硬盘,但是SSD的硬盘价格比较昂贵。因此,我们可以通过合理的分配,降低整体拥有的成本。

例如,对于一些日志文件,这些日志文件主要是顺序IO,我们可以把这些文件放到HDD上,可以考虑使用RAID5级别,提高日志系统的容错能力。对于数据文件,我们可以考虑放到SSD上,使用RAID10提高容错能力。

四、机型测试

性能对比测试:对不同硬件设备在压力测试下数据库表现性能指标。对于硬件性能做出整体的评估。

稳定性测试:没有抖动现象,可以持续稳定的提供服务。

掉电保护测试:这个环节挺麻烦,需要系统工程师的支持。

内存异常测试:测试内存是否容易出现问题,能否对业务提供稳定支持。

此外还有IO设备和坏盘重构。

经过一系列的测试,我们可以选出2~3种候选机型,我们应当尽量避免应用和设备绑定,防止单个机型缺货,供应不足影响业务。

五、成本评估

通过前面的一系列的准备工作,我们可以选出候选的机型,考虑我们的使用成本。这包括:

设备成本

运维成本

功耗成本

特别注意:我们虽然有的时候单机使用成本虽然会上升,但是整体的使用成本却下降了。这是因为我们提升了单个机器的性能,可以减少机器的数目。降低运维和功耗的成本,甚至也降低了整体设备的成本。

六、文件系统规划

MySQL数据库的特点:

——单数据目录(单个实例不能指定多个数据库)

——混合读写(日志和数据的读写方式是不一样的)

——请求随机

文件系统划分:

/dev/sda1                /boot

/dev/sda2                /

/dev/sda3                /home

/dev/sda4                /tmp

/dev/sdb1               /data

/dev/sdc1                /log

根据使用经验,建议IO调度策略为deadline的方式:

#echo      deadline  >    /sys/block/sd{b,c}/queue/scheduler

MySQL数据库日志文件是顺序读写的,建议放在普通的SSD硬盘。

——binlog日志文件、error日志文件、slow日志文件可以存放在/log日志目录中

——tmp文件指定为系统的目录/tmp

——其他所有目录指定为数据目录/data

注意:虽然日志文件是随机读写的,但是由于把几个日志文件都放到一个分区,还是可能产生随机化读写的现象。

参考资料:

Inexpensive SSDs for Database Workloads:

SSD vs HDD: which is best?:

Solid State Drive vs Hard Disk Drive Price andPerformance Study:

SSD vs HDD:

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

mysql数据库容量规划_MySQL数据库服务器整体规划(方法论) 的相关文章

  • 在VREP的模型脚本中使用其他脚本的函数

    VREP是一款用于机器人仿真的软件 最近博主也正在使用此款软件完成机器人工控课程设计 VREP使用的是Lua语言编程的 Lua语言是嵌入式语言 十分方便简单 有C C 语言基础很容易上手 此次工控设计是关于youbot小车在迷宫中寻找随机生
  • 共识算法比较:Tendermint的BFT与EOS的dPoS

    这项技术深入研究由Chjango Unchained编写 本文比较了不同的共识系统 它们为EOS和Tendermint提供了关于每种基础技术以及它们有什么样的独特地类似证明 PoS 能力 在由单个组织运行的传统分布式系统中 信任和安全由防火
  • Windows下安装使用SVN

    Windows下安装使用SVN https www cnblogs com sns007 p 5769393 html
  • Git 学习(二)—— 工作区 — 本地仓库的操作命令

    我们要上传文件到本地仓库 不是直接拷贝进去的 而是需要通过命令一步步上传 从工作区到本地仓库分为了三步 也可以说是三个区域 目录 1 操作命令 1 git init 获取本地仓库 2 git add 工作区 暂存区 3 git commit
  • 关于distcc安装和使用

    distcc a fast free distributed C C compiler NEWS distcc 3 1 released Distcc release 3 1 is now available at Downloads Se
  • java 是怎么在中删除下拉列表_删除在一个下拉列表字段中选择的选项,并且不显示在该行中存在的其他下拉列表中不工作-jquery...

    我有一个包含多列的html表 在两列中我显示下拉列表 当用户从一个下拉列表中选择值时 选择Product1或Select Product2下拉列表 我想删除在一个下拉列表中选择的选项 并且不要在另一个下拉列表中显示该选项 下面的示例代码适用
  • Springboot 集成Druid

    Springboot 集成Druid Druid是Java语言中最好的数据库连接池 Druid能够提供强大的监控和扩展功能 本篇主要讲解一下 Springboot中如何集成 Druid 1 添加Druid依赖
  • QML 信号 槽 传递参数

    详细的C QML 的信号与槽 初学者教程 请参考该文 QML 中信号和槽之间传递参数并不需要在连接的时候特别声明 只需要将其关联在一起即可 main qml import QtQuick 2 13 import QtQuick Contro
  • flask web 01--基础入门案例

    flask web 01 基础入门案例 1 介绍 2 功能说明 3 源码分析 3 1 功能 3 2 源码 3 3 测试结果 4 注意事项 5 说明 1 介绍 最近由于需要 开始补了一些python web相关的技能 考虑到高效和简洁 就补了
  • Spring Boot 依赖注入

    Spring Boot 依赖注入 SpringBoot的实现方式基本都是通过注解实现的 跟Spring注解注入差不多 相关的常见注解有Autowired Resource Qualifier Service Controller Repos
  • 个人简历小程序

    为了熟练掌握微信小程序开发的一些基本技巧 熟悉微信小程序开发流程 特此 运用所学知识 做了一个个人简历小程序 效果图如下 代码如下 index js const app getApp Page data userInfo hasUserIn
  • Unity制作自定义消息提示框

    工作中使用软件经常会出现各种提示框 确定XXXXXX吗 选项一般是三个 是 否 取消 今天心血来潮 于是也尝试自己用unity制作一个简单的消息提示框 准备工作 首先需要搭建一个最简单的消息框界面 然后开始编写编写一个单例模式类 专门用来管
  • MySQL高级篇——事务

    一 简介 1 什么是事务 事务是由一个或多个sql语句组成一个最小的不可再分的工作单元 里面的内容要么都执行成功 要么都不成功 2 事务的ACID特性 原子性 atomicity 事务是一个不可分割的工作单元 要么全部提交 要么全部失败回滚
  • PhotoShop 之图层蒙版

    分黑色蒙版和白色蒙版 使用效果不同 黑色蒙版是表现 隐藏 当前图层的内容 是透明的 可以看到背景图层的内容 透明 白色蒙版是表示 显示 当前图层的内容 使用黑色画笔涂抹可以显示出背景图层的样子 不透明 总之记住一句话 黑色透明 白色不透明
  • 大学最应该学习的 5 门课, 毕业后大厂 Offer 直接拿到手软!

    时间如白驹过隙 我竟然已经是一名拥有 13 年编程经验的老油条了 有些自豪 因为自己从大一就开始学习的 Java 语言依然坚挺 几乎是编程语言中的霸主了 但也有些遗憾 大学的时候没有把这些计算机基础课程学好 有些甚至没有学 导致工作后有很长
  • C语言实现RGB packet格式转YUV(NV21)格式

    前言 此函数用于RGB packet R G B R G B 格式转YUV的NV21格式 保存NV21图像的内存由外部申请并传入 函数的具体实现原理在这里不做介绍 对RGB格式和YUV格式不熟悉的请自行查阅资料 该函数可直接拷贝过去使用 代
  • 智能排水解决方案,设备实时监控+预测分析,真正实现“无人值守”!

    什么是矿山排水 随着煤炭开采深度不断增加 地质条件也愈加复杂 井下综采作业会面临越来越高的渗水风险 为确保井下综采作业安全 需要设置大量排水系统 在矿山建设和生产过程中排除进入矿山的地下水和地表水 矿井排水系统是保障煤矿安全生产的关键环节
  • 求助关于speedtest中ookla跨域问题

    报错导致speedtest一直未上线 系统为windows 2012 求助给出合适的解决办法
  • Unity2D敌人/怪物AI控制 第一期

    AI 原地巡逻自动攻击型 AI会在横版地图上向左向右移动 移动一段距离后会原地停止移动 等待一段时间后 会随机向左或向右移动 以此循环 其中AI移动速度 移动时间 停留时间均可以自行调控 当人物进入怪物攻击范围后 会自动面向人物进行攻击 攻

随机推荐

  • 网络编程(20)—— 广播的编程实现

    一 广播和多播的区别 广播是向同一网络中所有主机传播数据的一种方式 它和多播的主要区别在于 1 从范围上来说 多播即使在跨越不同网络的情况下 只要加入多播组就能接受数据 而广播只能向同一网络中的主机传输数据 这种网络可以是发送者所在的网络
  • 一次完整的渗透测试流程,网站渗透存在哪些漏洞和隐藏的风险?

    渗透测试 渗透测试就是利用我们所掌握的渗透知识 对网站进行一步一步的渗透 发现其中存在的漏洞和隐藏的风险 然后撰写一篇测试报告 提供给我们的客户 客户根据我们撰写的测试报告 对网站进行漏洞修补 以防止黑客的入侵 渗透测试的前提是我们得经过用
  • LNK2005: _DllMain@12 already defined in LIBCMTD.lib(dllmain.obj)

    今天使用VS2003创建一个MFC 的dll工程时 出现以下错误 VPR error LNK2005 DllMain 12 already defined in LIBCMTD lib dllmain obj VPR error LNK20
  • 安全形势不容乐观 信息安全调查揭露五大误区

    日前 信息周刊 研究部和国际商业机器公司 IBM 合作进行了2008年 中国信息安全调查 这也是 信息周刊 以 11 年全球信息安全调查为基础 在中国开展的第四次安全调查 调查结果全面揭示了当前不容乐观的安全形势 对首席信息官 CIO 而言
  • Arthas 常用命令

    官方文档 Arthas Install Arthas 3 5 5 文档 安装 Arthas 是阿里开源的一款 linux mac 上性能问题排查工具 文档链接 Arthas 用户文档 Arthas 3 5 5 文档 这个里边具体步骤和指令讲
  • 数据链路层:ARP协议详解(绝对经典)

    ARP协议定义 地址解析协议 工作在数据链路层 在本层和硬件接口联系 同时向上层提供服务 IP数据包常通过以太网发送 以太网设备不识别32位IP地址 他们是以48位以太网地址传输以太网数据包的 因此需要IP转化为以太网目的地址 ARP协议用
  • Thread Pool 线程池

    Thread Pool 本文基于经典的99行代码 稍加修改使其支持C 20 并增加了wait与join功能 pragma once include
  • vue中使用drag事件左右拖动div,改变宽高大小

    实现思路 1 使用上左 top left 上 top 上右 top right 等6个小点实现拖动效果 2 拖动时记录起始点 结束点 startPoint x 0 y 0 开始坐标 拖动改变定位 endPoint x 0 y 0 结束坐标
  • 面试题 08.10. 颜色填充

    面试题 08 10 颜色填充 https leetcode cn com problems color fill lcci 难度简单12收藏分享切换为英文关注反馈 编写函数 实现许多图片编辑软件都支持的 颜色填充 功能 待填充的图像用二维数
  • Java多线程之间的通信

    重点 等待 gt 执行业务 gt 通知其他线程 package com liu pc 线程之间通讯问题 等待唤醒 通知唤醒 线程交替执行 A B操作同一个变量 A 1 B 1 public class A public static voi
  • virtual channels 虚拟通道——mipi协议

    1 虚拟通道ID字段 最多可以支持4个外设 2 需要 DSI Hub 无法将多个显示器连接到同一总线 3 或者某个显示设备支持使用虚拟通道 设备本身由多个物理驱动器控制显示面板的不同区域 这个显示器就可以使用虚拟通道将数据发送到各个驱动器
  • 【数据库原理及应用教程(第4版

    文章目录 一 选择题 二 填空题 三 设计题 四 简答题 Reference 一 选择题 1 2 3 4 5 6 7 8 9 10 B C C A C B C B D C 11 12 13 14 15 16 17 18 19 20 D B
  • bzoj1110 [POI2007]砝码Odw 贪心+进制拆分

    题意就不说了 一开始居然在想直接dp 看到是整数倍我的内心居然毫无波动 真是傻的不行了 因为是整数倍 那我们可以把一个容器用砝码的重量做为进制拆分 然后从小到大一个个填就可以了 贪心策略肯定是最优的 具体如何拆分看hzwer www htt
  • LSP和Hooks拦截

    分层服务提供者 英语 Layered Service Provider 缩写LSP 是一项已被弃用的Microsoft Windows中Winsock 2服务提供者接口 SPI 的特性 它也被称为分层服务提供商或分层服务提供程序 分层服务提
  • Mybatis-plus中操作JSON字段

    1 实体类上要加上自动映射 TableName value school autoResultMap true 2 json字段上加上json处理器 TableField value cover url typeHandler Jackso
  • 使用nmcli命令配置虚拟机网络

    简述 什么是nmcli Description nmcli is a command line tool for controlling NetworkManager and reporting network status It can
  • Mybatis 获取当前序列和下一个序列值 以及在一个方法中写多条SQL 语句

    目录 1 Mybatis 获取当前序列和下一个序列值 2 Mybatis 在一个方法中写多条SQL 语句 1 Mybatis 获取当前序列和下一个序列值 获取当前序列值 select XXX sequence currval from du
  • 电子信息工程毕设题目选题大全

    文章目录 1前言 2 如何选题 3 选题方向 3 1 嵌入式开发方向 3 2 物联网方向 3 3 移动通信方向 3 4 人工智能方向 3 5 算法研究方向 3 6 移动应用开发方向 3 7 网络通信方向 3 8 学长作品展示 4 最后 1前
  • Jetpack-Compose之一基础使用

    一 命令式UI和申明式UI 如果之前有了解或者使用果Flutter 应该会对命令式UI这种架构不陌生 目前申明式UI确实是很火包含Flutter SwiftUI JetpackCompose都使用了该种方式 2021年7月底 Google
  • mysql数据库容量规划_MySQL数据库服务器整体规划(方法论)

    我们在搭建MySQL数据库服务器的开始阶段就合理的规划 可以避免以后的很多问题的产生 大大节省我们的时间和精力 在一定幅度上降低成本 当然 这会涉及很多方面 比如机器的选型 业务评估和系统规划等 所有的设计都是跟具体的需求相关的 我们首先要