欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

MySQL Error Log 中IO能力不足的警告分析

程序员文章站 2023-11-15 19:07:22
周末在一台MySQL实例上频繁做大批量的写入测试,无意中发现MySQL的errorlog中频繁出现如下的Note:page_cleaner: 1000ms intended loop took **** ms. The settings might not be optimal. (flushed= ......


周末在一台mysql实例上频繁做大批量的写入测试,无意中发现mysql的errorlog中频繁出现如下的note:
page_cleaner: 1000ms intended loop took **** ms. the settings might not be optimal. (flushed=**** and evicted=0, during the time.)

MySQL Error Log 中IO能力不足的警告分析 

一个典型的信息如下
innodb: page_cleaner: 1000ms intended loop took 4068ms. the settings might not be optimal. (flushed=2000 and evicted=0, during the time.)
该告警意味着mysql实例按照目前io相关的参数配置的前提下,存在着io写入性能上的瓶颈,配置参数与io处理能力不匹配。
因为很清楚是在做测试的情况下,连续大批量写入数据造成的,很有可能是checkpoint刷新脏页造成的改警告。

 

mysql在正常运行时4个与io刷新相关的参数。

1,innodb_io_capacity

master thread中中每秒或者每10s循环中刷新脏页的数量

MySQL Error Log 中IO能力不足的警告分析

刷新脏页的数据是多少?有参数innodb_io_capacity决定,以下截图自《mysql技术内幕innodb存储引擎》page 41

MySQL Error Log 中IO能力不足的警告分析


2,innodb_max_dirty_pages_pct

innodb buffer pool中脏页数量超过这个比例之后,刷新部分脏页到磁盘

MySQL Error Log 中IO能力不足的警告分析

这种情况下是刷新多少个脏页?
因为没有阅读源码的能力,从这里来看(后面会给出参考链接),这个值是innodb_io_capacity个脏页。
MySQL Error Log 中IO能力不足的警告分析

innodb_max_dirty_pages_pct这个参数本身默认值差不多就是最优化的,应该是不能瞎几把调的。以下截图自《mysql技术内幕innodb存储引擎》page 42

MySQL Error Log 中IO能力不足的警告分析

3,innodb_lru_scan_depth

lru列表中保持空闲page的数据量,如果低于这个数量,则按照lru的原则刷新脏页到磁盘。
这种情况下是刷线多少个脏页?
此情况下触发,默认扫描innodb_lru_scan_depth个lru冷端数据页,将脏页写入磁盘(有10个就刷10,有100个就刷100个……)
这一点参考这个(笔者并没有找到确切的证据):


4,redo log日志空间达到配置阈值的刷新(一个实例的redo log空间总和)

单个redo log大小的参数:innodb_log_file_size
redo log 个数:innodb_log_files_in_group 
async_water_mark   = 75%*innodb_log_file_size
sync_water_mark    = 90%*innodb_log_file_size
  1)当checkpoint_age<sync_water_mark的时候,无需执行flush checkpoint。也就说,redo log剩余空间超过25%的时候,无需执行async/sync flush checkpoint。
  2)当async_water_mark<checkpoint_age<sync_water_mark的时候,执行async flush checkpoint,也就说,redo log剩余空间不足25%,但是大于10%的时候,执行async flush checkpoint,刷新到满足条件1
  3)当checkpoint_age>sync_water_mark的时候,执行sync flush checkpoint。也就说,redo log剩余空间不足10%的时候,执行sync flush checkpoint,刷新到满足条件1。

 MySQL Error Log 中IO能力不足的警告分析

 

在buffer pool远没有达到分配值的情况下,innodb_max_dirty_pages_pct和innodb_lru_scan_depth也不会达到checkpoint的条件,redo log也没有切换,
因此只能断定为master thread 后台线程定时刷新脏页造成的io负担过载,因此尝试 set global innodb_io_capacity = 1000;
经后继续测试观察,尚未发现类似新的page_cleaner告警日志产生。