mysql innodb master thread分析
2013-08-27 11:14
253 查看
这是mysql技术内幕innodb存储引擎一本书上的内容,觉得对了解innodb存储引擎很有作用,于是便把他记录过来了。下面的内容主要是mysql5.1版本中的,现在的5.5或者5.6有些东西已经改变,比如innodb_max_dirty_pages_pct的值在现在的高mysql版本中已经变成了75% ,刷新脏页的比例也有所变换,现在是根据innodb_io_capacity的值的比例来指定每秒或者每10秒刷新脏页的数量,默认是200。但是大体的核心内容没有改变。
master thread的线程优先级别最高。其内部几个循环(loop)组成:主循环(loop),后台循环(background loop),刷新循环(flush loop),暂停循环(suspend loop).master thread会根据数据运行的状态在loop,background loop,flush loop和suspend loop中进行切换.
loop称为主循环,因为大多数的操作都在这个循环中,其中有两大部分操作:每秒钟的操作和每10秒的操作。伪代码如下:
可以看到,loop循环通过thread sleep来实现,这意味着所谓的每秒一次或每10秒一次的操作是不精确的.在负载很大的情况下可能会有延迟,只能说大概在这个频率下.当然,innodb源代码中还采用了其他的方法来尽量保证这个频率.
每秒一次的操作包括:
日志缓冲刷新到磁盘,即使这个事务还没有提交(总是)
合并插入缓冲(可能)
至多刷新100个innodb的缓冲池中的脏页到磁盘(可能)
如果当前没有用户活动,切换到background loop(可能)
即使某个事务还没有提交,innodb存储引擎仍然会每秒将重做日志缓冲中的内容刷新到重做日志文件.这一点是必须知道的,这可以很好地解释为什么再大的事务commit的时间也是很快的
合并插入缓冲(insert buffer)并不是每秒都发生.innodb存储引擎会判断当前一秒内发生的io次数是否小于5次,如果小于5次,innodb认为当前的io压力很小,可以执行合并插入缓冲的操作
同样,刷新100个脏页也不是每秒都在发生.innodb存储引擎通过判断当前缓冲池中的脏页比例(buf_get_modified_ratio_pct)是否超过了配置文件中innodb_max_dirty_pages_pct这个参数(默认为90,代表90%),如果超过了这个阙值,innodb存储引擎认为需要做磁盘同步操作,将100个脏页写入磁盘.
总结上述3个操作,伪代码可以进一步具体化,如下所示:
接着来看每10秒的操作,包括如下内容:
刷新100个脏页到磁盘(可能)
合并至多5个插入缓冲(总是)
将日志缓冲刷新到磁盘(总是)
删除无用的undo页(总是)
刷新100个或者10个脏页到磁盘(总是)
产生一个检查点(总是)
在以上过程中,innodb存储引擎会先判断过去10秒之内的磁盘的io操作是否小于200次.如果是,innodb存储引擎认为当前有足够的磁盘io能力,因此将100个脏页刷新到磁盘.接着,innodb存储引擎会合并插入缓冲.不同于1秒操作时可能发生的合并插入缓冲操作,这次的合并插入缓冲操作总会在这个阶段进行.之后,innodb存储引擎会再执行一次将日志缓冲刷新到磁盘的操作,这与每秒发生的操作是一样的.
接着innodb存储引擎会执行一步full purge操作,即删除无用的undo页.对表执行update,delete这类操作时,原生的行被标记为删除,但是因为一致性读的关系,需要保留这些行版本的信息.但是在full purge过程中,innodb存储引擎会判断当前事务系统中已被删除的行是否可以删除,比如有时候可能还有查询操作需要读取之前版本的undo信息,如果可以,innodb会立即将其删除.从源代码中可以发现,innodb存储引擎在操作full purge时,每次最多删除20个undo页.
然后innodb存储引擎会判断缓冲池中脏页的比例,如果有超过70%的脏页,则刷新100个脏页到磁盘;如果脏页得比例小于70%,则只需要刷新10的脏页到磁盘
最后,innodb存储引擎会产生一个检查点(checkpoint),innodb存储引擎的检查点也被称为模糊检查点(fuzzy checkpoint).innodb存储引擎在checkpoint时并不会把所有缓冲池中的脏页都写到磁盘,因为这样可能会对性能产生影响,而只是将最老日志序列号的页写入磁盘
现在,我们可以完整的把主循环的伪代码些出来了,内容如下:
接着来看background loop,若当前没有用户活动(数据库空闲时)或者数据库关闭时,就会切换到这个循环.这个循环会执行如下操作:
删除无用的undo页(总是).
合并20个插入缓冲(总是).
跳回到主循环(总是).
不断刷新100个页,直到符合条件(可能,跳转到flush loop中完成)
如果flush loop中也没有什么事情可以做了,innodb存储引擎会切换到supend_loop,将master thread挂起,等待事件的发生.若启用了innodb存储引擎,却没有使用任何存储引擎的表,那么master thread总是处于挂起状态.
最后,master thread完整的伪代码如下:
master thread的线程优先级别最高。其内部几个循环(loop)组成:主循环(loop),后台循环(background loop),刷新循环(flush loop),暂停循环(suspend loop).master thread会根据数据运行的状态在loop,background loop,flush loop和suspend loop中进行切换.
loop称为主循环,因为大多数的操作都在这个循环中,其中有两大部分操作:每秒钟的操作和每10秒的操作。伪代码如下:
void master_thread(){ loop: for(int i=0;i<10;i++){ do thing once per second sleep 1 second if necessary } do things once per ten seconds goto loop; }
可以看到,loop循环通过thread sleep来实现,这意味着所谓的每秒一次或每10秒一次的操作是不精确的.在负载很大的情况下可能会有延迟,只能说大概在这个频率下.当然,innodb源代码中还采用了其他的方法来尽量保证这个频率.
每秒一次的操作包括:
日志缓冲刷新到磁盘,即使这个事务还没有提交(总是)
合并插入缓冲(可能)
至多刷新100个innodb的缓冲池中的脏页到磁盘(可能)
如果当前没有用户活动,切换到background loop(可能)
即使某个事务还没有提交,innodb存储引擎仍然会每秒将重做日志缓冲中的内容刷新到重做日志文件.这一点是必须知道的,这可以很好地解释为什么再大的事务commit的时间也是很快的
合并插入缓冲(insert buffer)并不是每秒都发生.innodb存储引擎会判断当前一秒内发生的io次数是否小于5次,如果小于5次,innodb认为当前的io压力很小,可以执行合并插入缓冲的操作
同样,刷新100个脏页也不是每秒都在发生.innodb存储引擎通过判断当前缓冲池中的脏页比例(buf_get_modified_ratio_pct)是否超过了配置文件中innodb_max_dirty_pages_pct这个参数(默认为90,代表90%),如果超过了这个阙值,innodb存储引擎认为需要做磁盘同步操作,将100个脏页写入磁盘.
总结上述3个操作,伪代码可以进一步具体化,如下所示:
void master_thread(){ goto loop; loop: for(int i=0;i<10;i++){ thread_sleep(1); do log buffer flush to disk if(last_one_second_ios < 5) do merge at most 5 insert buffer if(buf_get_modifed_ratio_pct > innodb_max_dirty_pages_pct) do buffer pool flush 100 dirty page if(no user activity) goto background loop } do things once per ten seconds background loop: do something goto loop; }
接着来看每10秒的操作,包括如下内容:
刷新100个脏页到磁盘(可能)
合并至多5个插入缓冲(总是)
将日志缓冲刷新到磁盘(总是)
删除无用的undo页(总是)
刷新100个或者10个脏页到磁盘(总是)
产生一个检查点(总是)
在以上过程中,innodb存储引擎会先判断过去10秒之内的磁盘的io操作是否小于200次.如果是,innodb存储引擎认为当前有足够的磁盘io能力,因此将100个脏页刷新到磁盘.接着,innodb存储引擎会合并插入缓冲.不同于1秒操作时可能发生的合并插入缓冲操作,这次的合并插入缓冲操作总会在这个阶段进行.之后,innodb存储引擎会再执行一次将日志缓冲刷新到磁盘的操作,这与每秒发生的操作是一样的.
接着innodb存储引擎会执行一步full purge操作,即删除无用的undo页.对表执行update,delete这类操作时,原生的行被标记为删除,但是因为一致性读的关系,需要保留这些行版本的信息.但是在full purge过程中,innodb存储引擎会判断当前事务系统中已被删除的行是否可以删除,比如有时候可能还有查询操作需要读取之前版本的undo信息,如果可以,innodb会立即将其删除.从源代码中可以发现,innodb存储引擎在操作full purge时,每次最多删除20个undo页.
然后innodb存储引擎会判断缓冲池中脏页的比例,如果有超过70%的脏页,则刷新100个脏页到磁盘;如果脏页得比例小于70%,则只需要刷新10的脏页到磁盘
最后,innodb存储引擎会产生一个检查点(checkpoint),innodb存储引擎的检查点也被称为模糊检查点(fuzzy checkpoint).innodb存储引擎在checkpoint时并不会把所有缓冲池中的脏页都写到磁盘,因为这样可能会对性能产生影响,而只是将最老日志序列号的页写入磁盘
现在,我们可以完整的把主循环的伪代码些出来了,内容如下:
void master_thread(){ goto loop; loop: for(int i=0;i<10;i++){ thread_sleep(1); do log buffer flush to disk if(last_one_second_ios < 5) do merge at most 5 insert buffer if(buf_get_modifed_ratio_pct > innodb_max_dirty_pages_pct) do buffer pool flush 100 dirty page if(no user activity) goto background loop } if(last_ten_second_ios<200) do buffer pool flush 100 dirty page do merge at most 5 insert buffer do log buffer flush to disk do full purge if(buf_get_modified_ratio_pct > 70%) do buffer pool flush 100 dirty page else do buffer pool flush 10 dirty page do fuzzy checkpoint goto loop background loop: do something goto loop; }
接着来看background loop,若当前没有用户活动(数据库空闲时)或者数据库关闭时,就会切换到这个循环.这个循环会执行如下操作:
删除无用的undo页(总是).
合并20个插入缓冲(总是).
跳回到主循环(总是).
不断刷新100个页,直到符合条件(可能,跳转到flush loop中完成)
如果flush loop中也没有什么事情可以做了,innodb存储引擎会切换到supend_loop,将master thread挂起,等待事件的发生.若启用了innodb存储引擎,却没有使用任何存储引擎的表,那么master thread总是处于挂起状态.
最后,master thread完整的伪代码如下:
void master_thread(){ goto loop; loop: for(int i=0;i<10;i++){ thread_sleep(1); do log buffer flush to disk if(last_one_second_ios < 5) do merge at most 5 insert buffer if(buf_get_modifed_ratio_pct > innodb_max_dirty_pages_pct) do buffer pool flush 100 dirty page if(no user activity) goto background loop } if(last_ten_second_ios<200) do buffer pool flush 100 dirty page do merge at most 5 insert buffer do log buffer flush to disk do full purge if(buf_get_modified_ratio_pct > 70%) do buffer pool flush 100 dirty page else do buffer pool flush 10 dirty page do fuzzy checkpoint goto loop background loop: do full purge do merge 20 insert buffer if not idle: goto loop: else: goto flush loop flush loop: do buffer pool flush 100 dirty page if(buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) goto flush loop goto suspend loop suspend loop: suspend_thread(); waiting event goto loop; }
相关文章推荐
- innoDB 线程分析之Master Thread
- InnoDB存储引擎(engine)主线程(master thread)工作流程分析
- mysql InnoDB的Master Thread调度流程
- mysql innodb master_thread伪代码整理
- 【MySQL】MySQL同步报错-> received end packet from server, apparent master shutdown: Slave I/O thread: Failed reading log event, reconnecting to retry报错解决和分析
- MySQL系列:innodb源码分析之线程并发同步机制
- MySQL索引和Innodb与MyISM差别分析
- Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs
- MySQL列:innodb的源代码的分析的基础数据结构
- [MySQL 5.6] Innodb后台线程之master线程
- MySQL中innodb引擎分析(初始化)
- MySQL系列:innodb源码分析之表空间管理
- 浅谈MySQL存储引擎选择 InnoDB与MyISAM的优缺点分析
- Fatal error: The slave I/O thread stops because master and slave have equal MySQL server ids;
- MySQL优化系列(五)--数据库存储引擎(主要分析对比InnoDB和MyISAM以及讲述Mrg_Myisam分表)
- 解读mysql主从配置及其原理分析(Master-Slave)
- InnoDB的Master Thread工作原理
- MySQL Innodb日志机制深入分析
- mysql 主从配置以及 slave I/O 启动失败解决 Fatal error: The slave I/O thread stops because master and slave have
- 【MySQL】InnoDB日志机制深入分析