揭秘SQL优化技巧 改善数据库性能

2023-05-16

http://www.php100.com/html/webkaifa/database/Mysql/2011/1206/9438.html


这篇文章是以 MySQL 为背景,很多内容同时适用于其他关系型数据库,需要有一些索引知识为基础,重点讲述如何优化SQL,来提高数据库的性能。

  优化目标

  1、减少 IO 次数

  IO永远是数据库最容易瓶颈的地方,这是由数据库的职责所决定的,大部分数据库操作中超过90%的时间都是 IO 操作所占用的,减少 IO 次数是 SQL 优化中需要第一优先考虑,当然,也是收效最明显的优化手段。

  2、降低CPU计算

  除了 IO 瓶颈之外,SQL优化中需要考虑的就是CPU运算量的优化了。order by, group by,distinct … 都是消耗 CPU 的大户(这些操作基本上都是 CPU 处理内存中的数据比较运算)。当我们的 IO 优化做到一定阶段之后,降低 CPU 计算也就成为了我们 SQL 优化的重要目标

  优化方法

  1、改变 SQL 执行计划

  明确了优化目标之后,我们需要确定达到我们目标的方法。对于 SQL 语句来说,达到上述2个目标的方法其实只有一个,那就是改变 SQL 的执行计划,让他尽量“少走弯路”,尽量通过各种“捷径”来找到我们需要的数据,以达到 “减少 IO 次数” 和 “降低 CPU 计算” 的目标

  常见误区

  1、count(1)和count(primary_key) 优于 count(*)

  很多人为了统计记录条数,就使用 count(1) 和 count(primary_key) 而不是 count(*) ,他们认为这样性能更好,其实这是一个误区。对于有些场景,这样做可能性能会更差,应为数据库对 count(*) 计数操作做了一些特别的优化。

  2、count(column) 和 count(*) 是一样的

  这个误区甚至在很多的资深工程师或者是 DBA 中都普遍存在,很多人都会认为这是理所当然的。实际上,count(column) 和 count(*) 是一个完全不一样的操作,所代表的意义也完全不一样。

  count(column) 是表示结果集中有多少个column字段不为空的记录

  count(*) 是表示整个结果集有多少条记录

  3、select a,b from … 比 select a,b,c from … 可以让数据库访问更少的数据量

  这个误区主要存在于大量的开发人员中,主要原因是对数据库的存储原理不是太了解。

  实际上,大多数关系型数据库都是按照行(row)的方式存储,而数据存取操作都是以一个固定大小的IO单元(被称作 block 或者 page)为单位,一般为4KB,8KB… 大多数时候,每个IO单元中存储了多行,每行都是存储了该行的所有字段(lob等特殊类型字段除外)。

  所以,我们是取一个字段还是多个字段,实际上数据库在表中需要访问的数据量其实是一样的。

  当然,也有例外情况,那就是我们的这个查询在索引中就可以完成,也就是说当只取 a,b两个字段的时候,不需要回表,而c这个字段不在使用的索引中,需要回表取得其数据。在这样的情况下,二者的IO量会有较大差异。

  4、order by 一定需要排序操作

  我们知道索引数据实际上是有序的,如果我们的需要的数据和某个索引的顺序一致,而且我们的查询又通过这个索引来执行,那么数据库一般会省略排序操作,而直接将数据返回,因为数据库知道数据已经满足我们的排序需求了。

  实际上,利用索引来优化有排序需求的 SQL,是一个非常重要的优化手段

  延伸阅读:MySQL ORDER BY 的实现分析 ,MySQL 中 GROUP BY 基本实现原理 以及 MySQL DISTINCT 的基本实现原理 这3篇文章中有更为深入的分析,尤其是第一篇

  5、执行计划中有 filesort 就会进行磁盘文件排序

  有这个误区其实并不能怪我们,而是因为 MySQL 开发者在用词方面的问题。filesort 是我们在使用 explain 命令查看一条 SQL 的执行计划的时候可能会看到在 “Extra” 一列显示的信息。

  实际上,只要一条 SQL 语句需要进行排序操作,都会显示“Using filesort”,这并不表示就会有文件排序操作。

  延伸阅读:理解 MySQL Explain 命令输出中的filesort,我在这里有更为详细的介绍

  基本原则

  1、尽量少 join

  MySQL 的优势在于简单,但这在某些方面其实也是其劣势。MySQL 优化器效率高,但是由于其统计信息的量有限,优化器工作过程出现偏差的可能性也就更多。对于复杂的多表 Join,一方面由于其优化器受限,再者在 Join 这方面所下的功夫还不够,所以性能表现离 Oracle 等关系型数据库前辈还是有一定距离。但如果是简单的单表查询,这一差距就会极小甚至在有些场景下要优于这些数据库前辈。

  2、尽量少排序

  排序操作会消耗较多的 CPU 资源,所以减少排序可以在缓存命中率高等 IO 能力足够的场景下会较大影响 SQL 的响应时间。

  对于MySQL来说,减少排序有多种办法,比如:

  上面误区中提到的通过利用索引来排序的方式进行优化

  减少参与排序的记录条数

  非必要不对数据进行排序

  …

  3、尽量避免 select *

  很多人看到这一点后觉得比较难理解,上面不是在误区中刚刚说 select 子句中字段的多少并不会影响到读取的数据吗?

  是的,大多数时候并不会影响到 IO 量,但是当我们还存在 order by 操作的时候,select 子句中的字段多少会在很大程度上影响到我们的排序效率,这一点可以通过我之前一篇介绍 MySQL ORDER BY 的实现分析 的文章中有较为详细的介绍。

  此外,上面误区中不是也说了,只是大多数时候是不会影响到 IO 量,当我们的查询结果仅仅只需要在索引中就能找到的时候,还是会极大减少 IO 量的。

  4、尽量用 join 代替子查询

  虽然 Join 性能并不佳,但是和 MySQL 的子查询比起来还是有非常大的性能优势。MySQL 的子查询执行计划一直存在较大的问题,虽然这个问题已经存在多年,但是到目前已经发布的所有稳定版本中都普遍存在,一直没有太大改善。虽然官方也在很早就承认这一问题,并且承诺尽快解决,但是至少到目前为止我们还没有看到哪一个版本较好的解决了这一问题。

  5、尽量少 or

  当 where 子句中存在多个条件以“或”并存的时候,MySQL 的优化器并没有很好的解决其执行计划优化问题,再加上 MySQL 特有的 SQL 与 Storage 分层架构方式,造成了其性能比较低下,很多时候使用 union all 或者是union(必要的时候)的方式来代替“or”会得到更好的效果。

  6、尽量用 union all 代替 union

  union 和 union all 的差异主要是前者需要将两个(或者多个)结果集合并后再进行唯一性过滤操作,这就会涉及到排序,增加大量的 CPU 运算,加大资源消耗及延迟。所以当我们可以确认不可能出现重复结果集或者不在乎重复结果集的时候,尽量使用 union all 而不是 union。

  7、尽量早过滤

  这一优化策略其实最常见于索引的优化设计中(将过滤性更好的字段放得更靠前)。

  在 SQL 编写中同样可以使用这一原则来优化一些 Join 的 SQL。比如我们在多个表进行分页数据查询的时候,我们最好是能够在一个表上先过滤好数据分好页,然后再用分好页的结果集与另外的表 Join,这样可以尽可能多的减少不必要的 IO 操作,大大节省 IO 操作所消耗的时间。

  8、避免类型转换

  这里所说的“类型转换”是指 where 子句中出现 column 字段的类型和传入的参数类型不一致的时候发生的类型转换:

  人为在column_name 上通过转换函数进行转换

  直接导致 MySQL(实际上其他数据库也会有同样的问题)无法使用索引,如果非要转换,应该在传入的参数上进行转换

  由数据库自己进行转换

  如果我们传入的数据类型和字段类型不一致,同时我们又没有做任何类型转换处理,MySQL 可能会自己对我们的数据进行类型转换操作,也可能不进行处理而交由存储引擎去处理,这样一来,就会出现索引无法使用的情况而造成执行计划问题。

  9、优先优化高并发的 SQL,而不是执行频率低某些“大”SQL

  对于破坏性来说,高并发的 SQL 总是会比低频率的来得大,因为高并发的 SQL 一旦出现问题,甚至不会给我们任何喘息的机会就会将系统压跨。而对于一些虽然需要消耗大量 IO 而且响应很慢的 SQL,由于频率低,即使遇到,最多就是让整个系统响应慢一点,但至少可能撑一会儿,让我们有缓冲的机会。

  10、从全局出发优化,而不是片面调整

  SQL 优化不能是单独针对某一个进行,而应充分考虑系统中所有的 SQL,尤其是在通过调整索引优化 SQL 的执行计划的时候,千万不能顾此失彼,因小失大。

  11、尽可能对每一条运行在数据库中的SQL进行 explain

  优化 SQL,需要做到心中有数,知道 SQL 的执行计划才能判断是否有优化余地,才能判断是否存在执行计划问题。在对数据库中运行的 SQL 进行了一段时间的优化之后,很明显的问题 SQL 可能已经很少了,大多都需要去发掘,这时候就需要进行大量的 explain 操作收集执行计划,并判断是否需要进行优化。

  via IT168 技术



本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

揭秘SQL优化技巧 改善数据库性能 的相关文章

  • 安全转义表名/列名

    我在 php 中使用 PDO 因此无法使用准备好的语句转义表名或列名 以下是我自己实现它的万无一失的方法 tn str replace REQUEST tn column str replace REQUEST column sql SEL
  • 光标返回错误值 - sqlite - Android

    我正在开发一个短信应用程序 我正在尝试从每次对话中获取最后一条短信 这是我的 SQL 语句 SELECT MAX smsTIMESTAMP AS smsTIMESTAMP id smsID smsCONID smsMSG smsNUM sm
  • 将数据从 MS SQL 导入 MySQL

    我想从 MS SQL Server 导入数据 通过某种正则表达式运行它以过滤掉内容 然后将其导入 MySQL 然后 对于每个查询 我希望显示来自第三个数据库的相关图像 明智地导入和链接 最简单的方法是什么 谢谢 澄清 它是一个 PHP 应用
  • MySQL - 替换列中的字符

    作为一个自学成才的新手 我给自己制造了一个大问题 在将数据插入数据库之前 我将字符串中的撇号 转换为双引号 而不是 MySQL 实际需要的反斜杠和撇号 在我的表增长到超过 200 000 行之前 我认为最好立即纠正此问题 所以我做了一些研究
  • 如何使用 WHERE x IN 子句编写PreparedStatement 的SQL?

    我有一个如下所示的查询 SELECT last name first name middle initial FROM names WHERE last name IN smith jones brown 我需要能够对 IN 子句中的列表进
  • MySQL:查询中周数的周日期范围

    我有一个看起来像这样的数据库表 id clock info 1 1262556754 some info 2 1262556230 some other info 3 1262556988 and another 4 1262555678
  • SQL中如何合并多个表的数据

    我想我的处境很复杂 这是场景 我在 SQL Server 中有 3 个表 注册 学生 课程 仅供参考 没有外键 表的列是 Student 学生号 学生名 Course 课程 ID 课程名称 注册 注册 ID 学生 ID 课程 ID 课程结果
  • AttributeError:尝试在 python 中运行 sqlalchemy 来管理我的 SQL 数据库时,“Engine”对象没有属性“execute”

    我有以下代码行不断给我一个错误 即引擎对象没有对象执行 我认为我一切都对 但不知道接下来会发生什么 似乎其他人也遇到了这个问题 重新启动他们的笔记本电脑就可以了 我正在使用 Pycharm 并已重新启动但没有任何解决方案 任何帮助是极大的赞
  • 尝试通过比较不同的表从 SQL 查询输出正确的值

    我对 SQL 非常陌生 需要有关如何使用正确的查询完成此任务的帮助 我有 2 张桌子需要使用 表 TB1 有 id Name 1 bob 2 blow 3 joe 表 TB2 有 compid property 1 bob 2 blow 我
  • Azure COSMOS DB 如何查询数组中的内容

    如何进行查询以获取文档数组 roles 中包含某些内容的文档 我想获取以下文档 其中 Trainer 是数组中的元素 enabled true profilePicture null roles Trainer Client SELECT
  • SQL 事务如何工作?

    我从事 SQL 工作的时间并不长 但我想我明白 通过将 SQL 语句包装在事务中 所有语句都会完成 或者都不会完成 这是我的问题 我有一个包含 lineitem 集合的订单对象 行项目在 order OrderId 上相关 我已经证实所有
  • 使用 SqlDataReader.IsDBNull 时使用列名

    我已经得到了从 SQL DB 读取数据的代码 我不知道应该如何编辑它 以便我可以使用原始列名称而不是列索引 string query SELECT FROM zajezd WHERE event thisrow AND year klien
  • 实体框架 - 查询可为空列时出现问题

    我在从具有可为空的tinyint 列的表中查询数据时遇到问题 问题似乎是查询生成为 AND CAST Extent1 PositionEffect AS int p linq 3 gt p linq 3 NULL 如果我手动运行该查询 它不
  • 显示包含特定表的所有数据库名称

    我的 SQL Server 中有很多数据库 我必须只搜索包含特定表名的数据库名称Heartbitmaster 我有很多数据库 例如Gotgold DVD等 我只想从包含此表的查询中查找数据库名称Heartbitmaster 我搜索我尝试查询
  • PostgreSQL:有效地将 JSON 数组拆分为行

    我有一个表 表 A 其中包含一个包含 JSON 编码数据的文本列 JSON 数据始终是一个包含一到几千个普通对象的数组 我有另一个表 表 B 其中有几列 包括数据类型为 JSON 的列 我想从表 A 中选择所有行 将 json 数组拆分为其
  • SQL如何将两个日期之间一小时内的事件相加并显示在一行中

    我正在使用 C 和 SQL Server 2005 开发一份报告 我只需显示我们每小时获得的点击次数 桌子很大 输出应如下所示 Row Date Time Hit Count 1 07 05 2012 8 00 3 2 07 05 2012
  • 如何避免这两个 SQL 语句之间出现死锁?

    我有两个存储过程在单独的线程中运行 在 SQL Server 2005 上运行 一个过程将新行插入到一组表中 另一个过程从同一组表中删除旧数据 这些过程在表上遇到了死锁DLevel and Model 这是架构 source barrams
  • 选定的非聚合值必须是关联组的一部分

    我在 Teradata 中有两个表 Table A 和 Table B 它们之间是 LEFT JOIN 之后我将创建 SELECT 语句 其中包含两个表中的属性 SELECT attribute 1 attribute 2 attribut
  • 如何在sql server中对行号进行内连接

    SQL Server 2008 两张表 表A有以下数据 RowA RowB RowC RowD 表B有以下数据 Row4 Row3 Row2 Row1 我想得到以下输出 RowA Row1 RowB Row2 RowC Row3 RowD
  • 表达与空列表相同的 IN 条件的可移植方式是什么?

    例如 工作于sqllite3 select from orders where custid and status in 但它失败了postgres ksysdb select code applicable objecttype from

随机推荐

  • magento salerule中关于attribute的一个bug

    描述 xff1a 在salerule的action中 xff0c 想优惠规则应用于attribute season值为autumn的商品 season是在项目中新添加的一个product attribute xff0c 如下图 xff1a
  • 平衡小车PID,就该这么调!!!

    上一篇文章 xff1a 看完这篇文章 xff0c 还不会做平衡小车 xff0c 你来打我 描述了平衡小车的制作过程 xff0c 也开源了一部分设计资料 在上篇文章留言中 xff0c 有朋友说 xff1a 安排 xff0c 必须安排 xff0
  • magento 通过命令行index的方法

    在magento中 xff0c reindex是经常需要使用的功能 xff0c 这个功能除了可在后台直接使用外 xff0c 还能通过一个magento自带的脚本运行 xff0c 这个脚本的位置在shell indexer php 脚本的三个
  • HP大中华区总裁孙振耀退休感言

    一 关于工作与生活 我有个有趣的观察 xff0c 外企公司多的是25 35岁的白领 xff0c 40岁以上的员工很少 xff0c 二三十岁的外企员工是意气风发的 xff0c 但外企公司40岁附近的经理人是很尴尬的 我见过的40岁附近的外企经
  • Linux 和 window 双启动 恢复的一种方法

    出处 xff1a http blog chinaunix net space php uid 61 7459305 amp do 61 blog amp id 61 2051833 声明 xff1a 下面的内容主要思想摘自 http www
  • Linux Windows 双启动 Grub 修复

    出处 xff1a http hotthing blog 163 com blog static 29670309200971974412760 Linux Windows 双启动 Grub 修复 重新安装 windows 后 linux的启
  • ubuntu11.04使用U盘启动或安装的方法

    出处 xff1a http blessht iteye com blog 1077674 今天在ubuntu官网下载最新版的iso xff0c 并且按照提示下载了名为 Universal USB Installer exe 的文件将iso写
  • Ubuntu11.04安装完全指南

    出处 xff1a http apps hi baidu com share detail 46047864 Ubuntu11 04安装完全指南 李顺亮 2011年5月3日00 44 09 现在的世界变化快 xff0c 早已不再年少的我们 x
  • Ubuntu 11.04更改分辨率

    出处 xff1a http www linuxidc com Linux 2011 08 41465 htm 刚从Ubuntu 10 10升级到11 04 xff0c 一切很顺利 xff0c 只是有部分软件要重新装下 xff0c 这倒没什么
  • 开机自动启动 Ubuntu iBus 输入法

    http apps hi baidu com share detail 5399322 buntu 的默认输入法是 ibus xff0c 但是发现系统启动时它不会自动启动 Google 的说法是 xff1a Ubuntu 系统安装后虽然自带
  • ubuntu 下更改窗口的默认颜色

    白色实在太刺眼 xff0c 在ubuntu 下同样也更改窗口颜色保护眼睛 更改边框的颜色 xff1a 在桌面上右键 xff0d 更改桌面背景 xff0d 主题 xff0d 自定义 xff0d 颜色 xff0d 输入框 xff0d 背景 R
  • Linux操作系统挂载U盘和硬盘光驱的问题

    http root 5d6d com thread 726 1 1 html 一 Linux挂载U盘 1 插入u盘到计算机 xff0c 如果目前只插入了一个u盘而且你的硬盘不是scsi的硬盘接口的话 xff0c 那它的硬件名称为 sda1
  • STM32:从菜鸟到牛人就是如此简单!

    为了学习单片机而去学习单片机的思路是不对的 你问 如何系统地入门学习stm32 xff1f 本身就是一个错误的问题 假如你会使用8051 会写C语言 那么STM32本身并不需要刻意的学习 你要考虑的是 我可以用STM32实现什么 xff1f
  • 如何在Ubuntu下制作ISO镜像

    http cursed iteye com blog 472512 在Windows下有很多大型破解软件可以完成 xff0c 但是在linux下就轻便多了 而且不用承受非法使用软件带来的不安 xff08 如果你感觉不安的话 xff09 步骤
  • Ubuntu中配置双显示器方法

    http hankgong iteye com blog 667022 现在很多人为了提高工作效率 xff0c 都用双显示器了 xff0c 我用了快有3年了 windows中配置双显示器是比较简单的 xff0c 只要显卡装好了 xff0c
  • pdf阅读器xpdf的安装与中文乱码问题

    http apps hi baidu com share detail 17962100 1 安装xpdf xff1a sudo apt get install xpdf 2 解决xpdf打开中文时的乱码问题 xff1a sudo apt
  • wamp 中apache没法启动的问题

    最近重装了window xff0c 所有的软件都需要重装 xff0c 但装了wamp后发现apache 总是没法启动 后来发现退出skype后apache就能启动 xff0c 哦 xff0c 想到apache启动后需要用80端 xff0c
  • ubuntu 用root登录后没法使用chromium 的问题

    用root登录后启动chromium会出现错误 xff1a Google Chrome can not be run as root Please start Google Chrome as a normal user To run as
  • Linux下的XAMPP基本配置技巧(设置虚拟主机、添加FTP账户等)

    http www cnblogs com luoine archive 2011 03 09 1978096 html xampp安装好之后就只有一个默认站点及一个默认nobody的ftp账户 xff0c 这显然不符合我们平时的需求了 xf
  • 揭秘SQL优化技巧 改善数据库性能

    http www php100 com html webkaifa database Mysql 2011 1206 9438 html 这篇文章是以 MySQL 为背景 xff0c 很多内容同时适用于其他关系型数据库 xff0c 需要有一