超详细图解!【MySQL进阶篇】MySQL架构原理

2023-11-08

MySQL体系架构

img

MySQL Server架构自顶向下大致可以分网络连接层服务层存储引擎层系统文件层

一、网络连接层

客户端连接器(Client Connectors):提供与MySQL服务器建立的支持。目前几乎支持所有主流
的服务端编程技术,例如常见的 Java、C、Python、.NET等,它们通过各自API技术与MySQL建立
连接。

二、服务层(MySQL Server)

服务层是MySQL Server的核心,主要包含系统管理和控制工具连接池SQL接口解析器查询优
****化器
缓存六个部分。

  • **连接池(Connection Pool):**负责存储和管理客户端与数据库的连接,一个线程负责管理一个
    连接。

  • **系统管理和控制工具(Management Services & Utilities):**例如备份恢复、安全管理、集群
    管理等

  • **SQL接口(SQL Interface):**用于接受客户端发送的各种SQL命令,并且返回用户需要查询的结
    果。比如DML、DDL、存储过程、视图、触发器等。

  • **解析器(Parser):**负责将请求的SQL解析生成一个"解析树"。然后根据一些MySQL规则进一步
    检查解析树是否合法。

  • **查询优化器(Optimizer):**当“解析树”通过解析器语法检查后,将交由优化器将其转化成执行计
    划,然后与存储引擎交互。

select uid,name from user where gender=1;
选取–》投影–》联接 策略
1)select先根据where语句进行选取,并不是查询出全部数据再过滤
2)select查询根据uid和name进行属性投影,并不是取出所有字段
3)将前面选取和投影联接起来最终生成查询结果

缓存(Cache&Buffer): 缓存机制是由一系列小缓存组成的。比如表缓存,记录缓存,权限缓
存,引擎缓存等。如果查询缓存有命中的查询结果,查询语句就可以直接去查询缓存中取数据。

三、存储引擎层(Pluggable Storage Engines)

存储引擎负责MySQL中数据的存储与提取,与底层系统文件进行交互。MySQL存储引擎是插件式的,
服务器中的查询执行引擎通过接口与存储引擎进行通信,接口屏蔽了不同存储引擎之间的差异 。现在有
很多种存储引擎,各有各的特点,最常见的是MyISAM和InnoDB。

四、系统文件层(File System)

该层负责将数据库的数据和日志存储在文件系统之上,并完成与存储引擎的交互,是文件的物理存储
层。主要包含日志文件,数据文件,配置文件,pid 文件,socket 文件等。

  • 日志文件

  • 错误日志(Error log)

​ 默认开启,show variables like ‘%log_error%’

  • 通用查询日志(General query log)
    记录一般查询语句,show variables like ‘%general%’;
  • 二进制日志(binary log)

记录了对MySQL数据库执行的更改操作,并且记录了语句的发生时间、执行时长;但是它不
记录select、show等不修改数据库的SQL。主要用于数据库恢复和主从复制。

show variables like ‘%log_bin%’; //是否开启
show variables like ‘%binlog%’; //参数查看
show binary logs;//查看日志文件

  • 慢查询日志(Slow query log)
    记录所有执行时间超时的查询SQL,默认是10秒。
    show variables like ‘%slow_query%’; //是否开启
    show variables like ‘%long_query_time%’; //时长

  • 配置文件
    用于存放MySQL所有的配置信息文件,比如my.cnf、my.ini等。

  • 数据文件

  • db.opt 文件:记录这个库的默认使用的字符集和校验规则。

  • frm 文件:存储与表相关的元数据(meta)信息,包括表结构的定义信息等,每一张表都会
    有一个frm 文件。

  • MYD 文件:MyISAM 存储引擎专用,存放 MyISAM 表的数据(data),每一张表都会有一个
    .MYD 文件。

  • MYI 文件:MyISAM 存储引擎专用,存放 MyISAM 表的索引相关信息,每一张 MyISAM 表对
    应一个 .MYI 文件。

  • ibd文件和 IBDATA 文件:存放 InnoDB 的数据文件(包括索引)。InnoDB 存储引擎有两种
    表空间方式:独享表空间和共享表空间。独享表空间使用 .ibd 文件来存放数据,且每一张
    InnoDB 表对应一个 .ibd 文件。共享表空间使用 .ibdata 文件,所有表共同使用一个(或多
    个,自行配置).ibdata 文件。

  • ibdata1 文件:系统表空间数据文件,存储表元数据、Undo日志等 。

  • ib_logfile0、ib_logfile1 文件:Redo log 日志文件。

  • pid 文件
    pid 文件是 mysqld 应用程序在 Unix/Linux 环境下的一个进程文件,和许多其他 Unix/Linux 服务
    端程序一样,它存放着自己的进程 id。

  • socket 文件
    socket 文件也是在 Unix/Linux 环境下才有的,用户在 Unix/Linux 环境下客户端连接可以不通过
    TCP/IP 网络而直接使用 Unix Socket 来连接 MySQL。

MySQL运行机制

img

①建立连接(Connectors&Connection Pool),通过客户端/服务器通信协议与MySQL建立连
接。MySQL 客户端与服务端的通信方式是 “ 半双工 ”。对于每一个 MySQL 的连接,时刻都有一个
线程状态来标识这个连接正在做什么。
通讯机制:

  • 全双工:能同时发送和接收数据,例如平时打电话。

  • 半双工:指的某一时刻,要么发送数据,要么接收数据,不能同时。例如早期对讲机

  • 单工:只能发送数据或只能接收数据。例如单行道

线程状态:
show processlist; //查看用户正在运行的线程信息,root用户能查看所有线程,其他用户只能看自
己的

  • id:线程ID,可以使用kill xx;

  • user:启动这个线程的用户

  • Host:发送请求的客户端的IP和端口号

  • db:当前命令在哪个库执行

  • Command:该线程正在执行的操作命令

  • Create DB:正在创建库操作

  • Drop DB:正在删除库操作

  • Execute:正在执行一个PreparedStatement

  • Close Stmt:正在关闭一个PreparedStatement

  • Query:正在执行一个语句

  • Sleep:正在等待客户端发送语句

  • Quit:正在退出

  • Shutdown:正在关闭服务器

  • Time:表示该线程处于当前状态的时间,单位是秒

  • State:线程状态

  • Updating:正在搜索匹配记录,进行修改

  • Sleeping:正在等待客户端发送新请求

  • Starting:正在执行请求处理

  • Checking table:正在检查数据表

  • Closing table : 正在将表中数据刷新到磁盘中

  • Locked:被其他查询锁住了记录

  • Sending Data:正在处理Select查询,同时将结果发送给客户端

  • Info:一般记录线程执行的语句,默认显示前100个字符。想查看完整的使用show full
    processlist;

②查询缓存(Cache&Buffer),这是MySQL的一个可优化查询的地方,如果开启了查询缓存且在
查询缓存过程中查询到完全相同的SQL语句,则将查询结果直接返回给客户端;如果没有开启查询
缓存或者没有查询到完全相同的 SQL 语句则会由解析器进行语法语义解析,并生成“解析树”。
③解析器(Parser)将客户端发送的SQL进行语法解析,生成"解析树"。预处理器根据一些MySQL
规则进一步检查“解析树”是否合法,例如这里将检查数据表和数据列是否存在,还会解析名字和别
名,看看它们是否有歧义,最后生成新的“解析树”。
④查询优化器(Optimizer)根据“解析树”生成最优的执行计划。MySQL使用很多优化策略生成最
优的执行计划,可以分为两类:静态优化(编译时优化)、动态优化(运行时优化)。

  • 等价变换策略

  • 5=5 and a>5 改成 a > 5

  • a < b and a=5 改成b>5 and a=5

  • 基于联合索引,调整条件位置等

  • 优化count、min、max等函数

  • InnoDB引擎min函数只需要找索引最左边

  • InnoDB引擎max函数只需要找索引最右边

  • MyISAM引擎count(*),不需要计算,直接返回

  • 提前终止查询

  • 使用了limit查询,获取limit所需的数据,就不在继续遍历后面数据

  • in的优化

  • MySQL对in查询,会先进行排序,再采用二分法查找数据。比如where id in (2,1,3),变
    成 in (1,2,3)

⑤查询执行引擎负责执行 SQL 语句,此时查询执行引擎会根据 SQL 语句中表的存储引擎类型,以
及对应的API接口与底层存储引擎缓存或者物理文件的交互,得到查询

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

超详细图解!【MySQL进阶篇】MySQL架构原理 的相关文章

  • 在一个后台为MYSQL的网站上集成搜索

    我有一个位置搜索website http www jammulinks com对于一个城市 我们首先收集该城市所有可能类别的数据 如学校 学院 百货商店等 并将其信息存储在单独的表中 因为每个条目除了名称 地址和电话号码外都有不同的详细信息
  • 如何将行变成列?

    我有一个数据库 其中存储分组到项目中的关键字以及与每个关键字相关的数据 然后我显示每个项目的数据网格 每个关键字一行和几列 全部从同一个表 数据 中检索 我有 4 个表 关键字 项目 group keywords 和数据 keywords
  • PHP使用auto_increment生成短唯一ID?

    我想生成一个简短的 唯一的 ID 而不必检查冲突 我目前正在做类似的事情 但是我当前生成的 ID 是随机的 并且在循环中检查冲突很烦人 并且如果记录数量显着增加 将会变得昂贵 通常担心冲突不是问题 但我想要生成的唯一 ID 是一个由 5 8
  • MySQL - 多个结果集

    我正在使用 NET Connector 连接到 MySQL 在我的应用程序中 很少有线程使用相同的连接 因此如果 MySQLDataReader 尚未关闭并且某个线程正在尝试执行查询 则会出现该错误 已经有一个打开的 DataReader
  • MySQL 将表从 Latin1 转换为 utf8

    我需要将包含大量数据的表从 Latin1 转换为 utf8 以便它可以接受韩语字符 如何更改该表而不损坏其中的数据 我的 SQL 语句是什么 最好的方法是什么 ALTER TABLE database name table name CON
  • 如何使用 Mysql Python 连接器检索二进制数据?

    如果我在 MySQL 中创建一个包含二进制数据的简单表 CREATE TABLE foo bar binary 4 INSERT INTO foo bar VALUES UNHEX de12 然后尝试使用 MySQL Connector P
  • 在同一查询中选择 Count of ip 和 Count of DISTINCT ip

    我有一个这样的表结构 TABLE NAME counter id datetime url ip 1 2013 04 12 13 27 09 url1 ip01 2 2013 04 13 10 55 43 url2 ip02 3 2013
  • mysql-connector-c++ - “get_driver_instance”不是“sql::mysql”的成员

    我是 C 的初学者 我认为学习的唯一方法就是接触一些代码 我正在尝试构建一个连接到 mysql 数据库的程序 我在 Linux 上使用 g 没有想法 我运行 make 这是我的错误 hello cpp 38 error get driver
  • meta_query,如何使用关系 OR 和 AND 进行搜索?

    已解决 请参阅下面的答案 我有一个名为的自定义帖子类型BOOKS 它有几个自定义字段 名称为 TITLE AUTHOR GENRE RATING 我该如何修复我的meta query下面的代码以便仅books在自定义字段中包含搜索词 tit
  • MVCC 如何与 MySql 中的 Lock 配合使用?

    我知道Mysql中使用锁或者MVCC可以实现并发控制 比如可重复读 但我不知道MVCC如何避免幻读 在其他地方了解到一般是通过MVCC和Gap Lock来实现的 但是目前我理解的是MVCC不需要锁 即更新和删除都是使用undo log来实现
  • MySQL - 从数字列表中选择在表的 id 字段中没有对应项的数字

    我有一个数字列表 例如 2 4 5 6 7 我有一个表 foos 带有 foos ID 包括 1 2 3 4 8 9 我想获取我的号码列表 并在我的表的 ID 字段中找到那些没有对应项的号码 实现此目的的一种方法是创建一个表格栏 在 ID
  • 将IP保存到数据库中

    当用户登录时 我想将他们的 IP 保存在数据库中 我该怎么做呢 MySQL 字段最适合使用哪种类型 获取IP的PHP代码是什么样的 我正在考虑将其用作登录 会话内容的额外安全功能 我正在考虑使用用户现在拥有的 IP 检查用户从数据库登录的
  • MySQL:如何仅获取正值的平均值?

    假设我有 INT 列 并且我使用 1 来表示插入时没有可用数据 我想获得该列中所有 0 或更大值的平均值 这可能吗 Thanks 我忘了提及 我正在与其他 AVG 一起执行此操作 因此从选项卡中选择 avg a avg b avg d 所以
  • Tomcat 6找不到mysql驱动

    这里有一个类似的问题 但关于类路径 ClassNotFoundException com mysql jdbc Driver https stackoverflow com questions 1585811 classnotfoundex
  • MySQL 概念:会话与连接

    我对 MySQL 的概念有点困惑 会话与连接 当谈论连接到 MySQL 时 我们使用连接术语 连接池等 然而在 MySQL 在线文档中 http dev mysql com doc refman 4 1 en server system v
  • Django 将 JSON 数据传递给静态 getJSON/Javascript

    我正在尝试从 models py 中获取数据并将其序列化为views py 中的 JSON 对象 模型 py class Platform models Model platformtype models CharField max len
  • 无法连接到 MAMP 上的 phpMyAdmin

    我收到此错误消息 MySQL 说道 无法连接 设置无效 phpMyAdmin 尝试连接 MySQL 服务器 但服务器拒绝连接 您应该检查配置中的主机 用户名和密码 并确保它们与 MySQL 服务器管理员提供的信息相对应 用户和通行证是默认的
  • 休眠以持久保存日期

    有没有办法告诉 Hibernate java util Date 应该持久保存 我需要这个来解决 MySQL 中缺少的毫秒分辨率问题 您能想到这种方法有什么缺点吗 您可以自己创建字段long 或者使用自定义的UserType 实施后User
  • 从表中选择行,其中另一个表中具有相同 id 的行在另一列中具有特定值

    在 MySQL 中 如果我们有两个表 comments key value 1 foo 2 bar 3 foobar 4 barfoo and meta comment key value 1 1 2 1 3 2 4 1 我想得到来自以下人
  • phpActiveRecord 日期时间格式不正确

    当尝试使用 phpActiveRecord 在表中创建记录时 出现以下错误 Invalid datetime format 1292 Incorrect datetime value 2013 06 20 11 59 08 PDT for

随机推荐

  • 输入一个链表的头节点,从尾到头反过来返回每个节点的值(用数组返回)

    在这里插入代码片输入一个链表的头节点 从尾到头反过来返回每个节点的值 用数组返回 示例 1 输入 head 1 3 2 输出 2 3 1 Definition for singly linked list public class List
  • Dart基础语言 — 布尔

    Dart基础语言 布尔 声明 为了代表布尔值 Dart 有一个名字为 bool 的类型 只有两个对象是布尔类型的 true 和 false 所创建的对象 这两个对象也都是编译时常量 bool bool a print a 只有 true 对
  • 涵盖大部分核心组件使用的 Spring Cloud 教程,一定要收藏哦!

    耗时2个多月 周更两篇的Spring Cloud 全套教程终于完成了 想学习 Spring Cloud 的小伙伴们抓紧了 简介 这是一套涵盖大部分核心组件使用的Spring Cloud教程 包括Spring Cloud Alibaba及分布
  • 3、Mybatis通过注解的形式实现增、删、改、查

    上一节介绍了通过XML配置的形式实现增 删 该 查 本节介绍通过注解的形式实现增 删 该 查 还是以数据库中的users表为例 1 首先建立users表对应的bean package com lzj mybaits test1 public
  • 使用 Stable Diffusion 生成的仿旧照片和二次元图片

    这几天在电脑上运行 Stable Diffusion 玩了玩 这是我机器上的测试页面 https qizhen xyz genimg 这个模型比 Dall E 的小很多 所以才能在配置不高的个人电脑上跑 而且 我的电脑也只能勉强生成小尺寸的
  • 2023深圳杯(东三省)数学建模D题思路 - 基于机理的致伤工具推断

    1 赛题 D题 基于机理的致伤工具推断 致伤工具的推断一直是法医工作中的热点和难点 由于作用位置 作用方式的不同 相同的致伤工具在人体组织上会形成不同的损伤形态 不同的致伤工具也可能形成相同的损伤形态 致伤工具品种繁多 形态各异 但大致可分
  • 基于JAVA+SpringBoot+Vue+ElementUI中学化学实验室耗材管理系统

    全网粉丝20W csdn特邀作者 博客专家 CSDN新星计划导师 java领域优质创作者 博客之星 掘金 华为云 阿里云 InfoQ等平台优质作者 专注于Java技术领域和毕业项目实战 文末获取项目下载方式 一 项目背景介绍 当前 中学的化
  • MATLAB的统计每个列向量的个数

    tabulate 变量名 例子 统计age列向量里面有多少个不同年龄的个数 tabulate age 下面还有很多太长了 没有截图
  • [Unity3D]关于Android真机调测Profiler

    Unity3D 关于Android真机调测Profiler 2013 08 25 13 28 50 转载 标签 android profiler adb it 分类 Unity3d U3D中的Profile也是可以直接在链接安卓设备运行游戏
  • 280场周赛

    6004 得到 0 的操作数 给你两个 非负 整数 num1 和 num2 每一步 操作 中 如果 num1 gt num2 你必须用 num1 减 num2 否则 你必须用 num2 减 num1 例如 num1 5 且 num2 4 应
  • 悬赏百万美金检测Deepfake假视频,数据集470G:比赛很久没这么壕

    2019 12 13 13 51 52 车栗子 发自 凹非寺 量子位 报道 公众号 QbitAI 谁说Kaggle比赛都那么穷 穷不穷 还要看做的是什么任务 比如 有左右两段视频 你能分辨哪个是修过的么 动图结尾公布了答案 右是原始视频 左
  • 刷视频课的脚本

    是不是不想上视频课 是不是被迫要上视频课 是不是视频课很长 是不是如果挂机短短几分钟就会出现自动暂停的情况 是不是还在为这些烦恼 那么 掌声 只需一台空置的电脑 这个代码可以为你解决这些烦恼 话不多说 上代码 import time imp
  • QT moveToThread线程理解

    一 moveToThread创建开启线程步骤 1 创建继承自QObject类 实现槽函数 2 将QObject类通过moveToThread方法移到QThread线程中 使QObject类依附于线程 3 连接信号槽 槽必须是QObject类
  • [LeetCode-70]-Climbing Stairs(爬楼梯,斐波那契数列问题)

    文章目录 题目相关 Solution 题目相关 题目解读 该题就是斐波那契数列问题 可以使用递归方法实现 原题描述 原题链接 You are climbing a stair case It takes n steps to reach t
  • NFS详细介绍

    NFS介绍 网络文件系统 network files system 简称NFS是一种基于TCP传输协议的文件共享习通 NFS的CS体系中的服务端启用协议将文件共享到网络上 然后允许本地NFS客户端通过网络挂载服务端共享的文件 应用场景 为w
  • LeetCode 题 -7. 整数反转

    题目 给出一个 32 位的有符号整数 你需要将这个整数中每位上的数字进行反转 示例 1 输入 123 输出 321 示例 2 输入 123 输出 321 示例 3 输入 120 输出 21 注意 假设我们的环境只能存储得下 32 位的有符号
  • JS逆向之网易云音乐

    文章目录 1 目标网站 2 初步分析 3 定位加密参数生成位置 4 编码测试 4 1 定义AES加密方法 4 2 调用两次AES加密获取params 4 3 获取歌曲的url 4 4 单曲下载初步测试代码 4 5 飙升榜单音乐批量抓取 文章
  • MySql中把一个表的数据插入到另一个表中

    1 如果2张表的字段一致 并且希望插入全部数据 可以用这种方法 INSERT INTO 目标表 SELECT FROM 来源表 例如 insert into insertTest select from insertTest2 2 如果只希
  • 2020年加密货币领域的5大做市商,都有谁?

    什么是加密货币做市 与传统做市商相比 加密货币做市是一个新的事物 本文旨在更好地了解加密货币做市商的行为 首先 让我们通过探索对做市流程的基本了解来研究什么是做市 简而言之 做市是一种交易活动 交易员同时向金融市场上的交易双方 买方和卖方
  • 超详细图解!【MySQL进阶篇】MySQL架构原理

    MySQL体系架构 MySQL Server架构自顶向下大致可以分网络连接层 服务层 存储引擎层和系统文件层 一 网络连接层 客户端连接器 Client Connectors 提供与MySQL服务器建立的支持 目前几乎支持所有主流 的服务端