page_cleaner

2023-05-16

MySQL Error Log 中IO写入瓶颈的警告分析


在一台MySQL实例上频繁做大批量的写入测试,无意中发现MySQL的errorlog中频繁出现如下的Note:
page_cleaner: 1000ms intended loop took **** ms. The settings might not be optimal. (flushed=**** and evicted=0, during the time.)

 

一个典型的信息如下

InnoDB: page_cleaner: 1000ms intended loop took 4068ms. The settings might not be optimal. (flushed=2000 and evicted=0, during the time.)
该告警意味着MySQL实例按照目前IO相关的参数配置的前提下,存在着IO写入性能上的瓶颈,配置参数与IO处理能力不匹配。
因为很清楚是在做测试的情况下,连续大批量写入数据造成的,很有可能是checkpoint刷新脏页造成IO不足的警告。

page_cleaner超时只是果,而不是因,一个果可能是有不同的因造成的,具体原因在哪里?
逐步反推这个过程:单次刷新内存数据到磁盘的数量过大<----LRU刷新或者脏页刷刷新<------大批量读写数据(LRU)或者删除出数据(delete,drop等等))。
另外一个原因(删除数据造成的page_cleaner超时)参考:https://www.cnblogs.com/wy123/p/11763293.html

MySQL在正常运行时4个与IO写入(checkpoint)相关的参数,然后逐一分析其写入的时机和内存页面的数量。

1,innodb_io_capacity

master thread中每秒或者每10s循环中刷新脏页的数量

 那么master thread中定时循环刷新脏页的数据是多少?由参数innodb_io_capacity决定,

2,innodb_max_dirty_pages_pct

innodb buffer pool中脏页数量超过这个比例之后,刷新部分脏页到磁盘。

这种情况下刷新的“部分”脏页,到底是刷新多少个脏页?
因为没有阅读源码的能力,从这里来看(后面会给出参考链接),这个值是依旧是innodb_io_capacity个脏页。

innodb_max_dirty_pages_pct这个参数本身(75%)默认值差不多就是最优化的,应该是不能瞎调的。以下截图自《MySQL技术内幕InnoDB存储引擎》page 42

3,innodb_lru_scan_depth

lru列表中保持空闲page的数据量,如果低于这个数量,则按照LRU的原则刷新脏页到磁盘。
这种情况下是刷线多少个脏页?
(20190906补充:这句话是有问题的的,LRU的刷新跟脏页是没有必然关系,LRU只是脏冷数据从bufferpool中移除掉)LRU只关心页的冷热程度,而不关系页是否为脏页。
此情况下触发,默认扫描innodb_lru_scan_depth个lru冷端数据页,将脏页(扫描到的innodb_lru_scan_depth个冷数据页面中,如果是脏页的话)写入磁盘(有10个就刷10,有100个就刷100个……)
 

4,redo log日志空间达到配置阈值的刷新(一个实例的redo log空间总和)

单个redo log大小的参数:innodb_log_file_size
redo log 个数:innodb_log_files_in_group 
async_water_mark   = 75%*innodb_log_file_size
sync_water_mark    = 90%*innodb_log_file_size
  1)当checkpoint_age<sync_water_mark的时候,无需执行Flush checkpoint。也就说,redo log剩余空间超过25%的时候,无需执行Async/Sync Flush checkpoint。
  2)当async_water_mark<checkpoint_age<sync_water_mark的时候,执行Async Flush checkpoint,也就说,redo log剩余空间不足25%,但是大于10%的时候,执行Async Flush checkpoint,刷新到满足条件1
  3)当checkpoint_age>sync_water_mark的时候,执行sync Flush checkpoint。也就说,redo log剩余空间不足10%的时候,执行Sync Flush checkpoint,刷新到满足条件1。

在buffer pool远没有达到分配值的情况下,innodb_max_dirty_pages_pct和innodb_lru_scan_depth也不会达到checkpoint的条件,redo log也没有切换,
因此只能断定为master thread 后台线程定时刷新脏页造成的IO负担过载,因此尝试 set global innodb_io_capacity = 1000;
经后继续测试观察,尚未发现类似新的page_cleaner告警日志产生。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

page_cleaner 的相关文章

  • SpringBoot项目无法接收到数据(Whitelabel Error Page)

    前言 在一次SpringBoot项目模块迁移的过程中 xff0c 新建的模块无法接收到前端的数据 xff0c 在地址栏输入对应的url后显示Whitelabel Error Page 正文 核对了url以及启动类上注解 64 SpringB
  • #最详细# Github Page 个人博客绑定二级域名

    文章目录 1 必要条件 xff1a 2 操作步骤 xff1a 3 操作3 1 在阿里云控制台添加子域名解析记录3 2 在 Github 中修改配置 1 必要条件 xff1a 已申请个人域名已配置好Github Page 2 操作步骤 xff
  • OrCAD关闭start page

    打开原理图工具 Orcad Capture CIS 时 xff0c 总是会弹出startpage 页面 xff0c 有时候感觉这个东西挺碍事的 xff0c 于是找到了一个关闭它的方法 解决方法如下 xff1a 打开Command Windo
  • Github Page 个人主页——CDN加速

    原文地址 1 前言 前两篇文章介绍了 如何部署静态网站 以及 给网站自定义域名 xff0c 到目前为止 xff0c 您已经拥有一个使用自己的域名的网站了 在访问个人网页时 xff0c 实质上是去Github的服务器上取资源的 xff0c 但
  • postgresql page页结构

    前言 postgresql 保存数据的基本单位是 page xff0c 一个 page 里包含多条数据 postgresql 同磁盘的读写单位也是 page xff0c 一个 page 对应于磁盘的一个 block block 的格式和 p
  • 使用Laravel提交POST请求出现The page has expired due to inactivity错误

    使用Laravel提交POST请求出现The page has expired due to inactivity Please refresh and try again 问题 提交POST请求 xff0c 出现如下错误 xff1a Th
  • 解决无法在qstackedwidget的page中添加布局的问题

    问题描述 在qtdesigner中加入了qstackedwidget xff0c 并包含了多个page 在写代码的时候想对其中一个page添加布局发现程序运行后布局不起作用 解决 可能跟窗口初始化有关 xff0c 解决方法是直接remove
  • 破解modelsim之后电脑蓝屏出现的PAGE_FAULT_IN_NONPAGE,hardlock.sys错误

    我折腾了一上午终于弄好了X X 之前卸载了modelsim但是没删掉hardlock sys xff0c 一直蓝屏显示错误 1 首先长按电源键10s关机后开机 xff0c 扫一下这个二维码 xff0c 根据里面的提示进入安全模式 xff08
  • lvgl page manage 代码学习

    64 file lv 100ask page manager c INCLUDES include 34 lv 100ask page manager h 34 if LV USE 100ASK PAGE MANAGER 61 0 DEFI
  • LVGL lv_page页面控件(23)

    lv page 页面控件 xff0c 是由2个lv cont容器控件构成 xff0c 其中一个容器作为lv page页面控件的背景层 xff0c 另一个容器作为lv page页面控件的载体 xff0c 此载体存放其他任何子对象 xff0c
  • linux/mm/memory.c/put_page

    put page用来完成物理页面与一个线性地址页面的挂接 xff0c 从而将一个 线性地址空间内的页面落实到物理地址空间内 xff0c copy page tables函数 只是为一个进程提供了在线性地址空间的一个页表及1024页内存 xf
  • linux/mm/memory.c/int share_page(unsigned long address)

    share page tries to find a process that could share a page with the current one Address is the address of the wanted pag
  • xv6---Lab3: page tables

    目录 参考资料 RISC V页表的简化图如下所示 编辑 多级页表 xv6内核页表 3 6 Process Address Space 3 7 Code Sbrk 3 8 Code Exec Print a page table A kern
  • Magento Enterprise Full Page Caching

    出处 xff1a https aniscartujo com webproxy default aspx prx 61 http magentophp blogspot com 2011 02 magento enterprise full
  • Flush-Cache/Page-Lock/Flush-TLB说明

    Flush Cache Page Lock Flush TLB说明 理论上顺序 xff1a 获得页面锁 xff0c 保证后续flush操作完成之前不允许继续读写Flush cacheFlush tlb 以下用numa migrate pag
  • mac清理软件哪个好用?五大Mac Cleaner介绍推荐

    还在找好用的Mac清理软件吗 xff1f 你的Mac变慢了吗 xff1f 如果给你的Mac安装一款Mac清理软件 xff0c 可以删除Mac中不需要的垃圾文件 xff0c 以释放Mac的磁盘空间和内存 不知道mac清理软件哪个好用 xff1
  • 【java.lang.ref】PhantomReference & jdk.internal.ref.Cleaner

    目录 零 前情概要 ref包内容 系列目录 上一章回顾 一 PhantomReference 适用场景 优雅和提前规避 Java中使用native memory 常规做法 借助于Java引用机制 处理流程 二 jdk internal re
  • block(块),page(页),buffer cache(块缓冲)区别与联系

    在自己的理解里 块就是用来管理磁盘空间的 就像我们在给一个磁盘建立文件系统时候 我们可以指定block size 而页是针对内存管理 例如从磁盘读出的数据就缓存在内存页中 但突然对关buffer cache block buffer 这些东
  • 把握linux内核设计思想(十一):内存管理之页的分配与回收

    版权声明 尊重原创 转载请保留出处 blog csdn net shallnet 文章仅供学习交流 请勿用于商业用途 内存管理单元 MMU 负责将管理内存 在把虚拟地址转换为物理地址的硬件的时候是按页为单位进行处理 从虚拟内存的角度来看 页
  • 通过PAGE生成python GUI界面(用PAGE拖出需要的GUI界面)

    注 当前我的使用环境为windows10 64bit python v3 6 PAGE v4 14 Tcl v8 6 7 0 当前我定义一个目标 最终需要生成一个登录界面的GUI代码 如下 安装好各软件后 就可以运行PAGE来像VB一样所见

随机推荐

  • kubeadm的rbac

    什么是 Kubernetes RBAC 基于角色的访问控制 xff08 Role Based Access Control 即 34 RBAC 34 xff09 xff1a 使用 rbac authorization k8s io API
  • kubeadm部署dashboard-2.0.0版本

    kubeadm部署dashboard 2 0 0版本 创建dashboard的secret的私钥 root 64 yunwei CA openssl genrsa out od com key 2048 创建dashboard的secret
  • redis5.0的主从跟哨兵

    redis的主从跟哨兵 安装redis 5 0 12 下载地址 xff1a https download redis io releases 1 下载安装redis root 64 master01 cd opt root 64 maste
  • ROS运行gazebo提示“process has die”问题-已解决

    ROS运行gazebo提示 process has die 问题 已解决 解决方案概述升级gazebo方法 解决方案概述 无数次出现这个问题 xff0c 看了好多教程 xff0c 有的是把这个命令添加到 bashrc文件中 xff1a ex
  • Elasticsearch7.9集群部署,head插件,canal同步mysql数据到es,亲自测试,无坑

    Elasticsearch集群部署 1 服务器规划 10 4 7 11 node1 10 4 7 12 node2 10 4 7 13 node3 1 集群相关 一个运行中的 Elasticsearch 实例称为一个节点 xff0c 而集群
  • elasticsearch备份

    es集群主机分布 10 4 7 11 node1 10 4 7 12 node2 10 4 7 21 node3 10 4 7 22 nfs 1 在主机10 4 7 22部署nfs root 64 localhost yum install
  • 批量拷贝公钥到指定的主机,实现免秘钥登录

    一 xff1a copy公钥脚本 root 64 ansible tmp cat copy pubkey sh bin bash PassWord 61 1 rpm qa grep sshpass 2 gt amp 1 gt dev nul
  • centos7内核参数优化以及内核升级

    一 xff1a 修改内核配置文件 vim etc sysctl conf 刷新配置文件 sysctl p 关IPv6 net ipv6 conf all disable ipv6 61 1 net ipv6 conf default dis
  • k8s的ceph

    ceph安装 地址 xff1a https rook io docs rook v1 8 quickstart html 特性丰富 1 xff0c 支持三种存储接口 xff1a 块存储 文件存储 对象存储 2 xff0c 支持自定义接口 x
  • prometheus监控k8s集群

    prometheus监控k8s集群 实现思路 pod性能 xff1a 使用cadvisor进行实现 xff0c 监控容器的CPU 内存利用率 Node性能 xff1a 使用node exporter实现 xff0c 主要监控节点CPU 内存
  • centos7部署vsftpd虚拟用户

    vsftpd部署 一 xff1a 安装vsftpd 1 首先要查看你是否安装vsftpd rpm qa grep vsftpd vsftpd 3 0 2 10 el7 x86 64 2 安装vsftpd yum install y vsft
  • Ceph OSD扩容与缩容

    在企业生产环境中 xff0c 随着时间的迁移数据会存在磁盘空间不足 xff0c 或者机器节点故障等情况 OSD又是实际存储数据 xff0c 所以扩容和缩容OSD就很有必要性 随着我们数据量的增长 xff0c 后期可能我们需要对osd进行扩容
  • mysql的条件查询基础知识(一)

    一 xff1a 条件查询基础知识 语法 xff1a select 查询列表 from 表名 where 筛选条件 二 xff1a 分类 xff1a 主要分为3类 xff1a 一 按条件表达式筛选 简单条件运算符 xff1a gt lt 61
  • 【C++构造函数后面的冒号作用】

    C 43 43 构造函数后面的冒号作用 功能1 对基类进行初始化2 对类成员进行初始化3 对类中const变量进行初始化 功能 1 对基类进行初始化 多重继承中 xff0c 对多个基类进行初始化 冒号后面有多个参数 xff0c 中间用逗号隔
  • mysql基础知识常见函数(二)

    一 xff1a 常见函数概念 概念 xff1a 类似于java的方法 xff0c 将一组逻辑语句封装在方法体中 xff0c 对外暴露方法名 好处 xff1a 1 隐藏了实现细节 2 提高代码的重用性 调用 xff1a select 函数名
  • mysql基础知识分组函数跟分组查询(三)

    一 xff1a 分组函数 功能 xff1a 用作统计使用 xff0c 又称为聚合函数或统计函数或组函数 分类 xff1a sum 求和 avg 平均值 max 最大值 min 最小值 count 计算个数 特点 xff1a 1 sum av
  • $*和$@的区别

    一 xff1a 解析 xff1a 会把接收到的所有参数当成一个整体对待 xff0c 表示一个参数 64 会对待接收到的所有参数进行区分 以空格分隔开 xff0c 独立的多个参数 二 xff1a 举例说明 root 64 fengge sh
  • mysql性能瓶颈排查

    mysql性能瓶颈排查 top free vmstat sar mpstat 查看mysqld进程的cpu消耗占比 确认mysql进程的cpu消耗是 user 还是sys 高 确认是否是物理内存不够用了 确认是否有swap产生 使用下面工具
  • centos7系统提示no space left on device

    一 操作报错 no space left on device 但是查看系统磁盘占用空间 xff0c 却还有空闲 xff0c 说明是inodes占用满了 二 查看磁盘系统的inodes使用情况 三 要解决这问题 xff0c 只需找出 xff0
  • page_cleaner

    MySQL Error Log 中IO写入瓶颈的警告分析 在一台MySQL实例上频繁做大批量的写入测试 xff0c 无意中发现MySQL的errorlog中频繁出现如下的Note xff1a page cleaner 1000ms inte