您现在的位置是:首页 > 文章详情

记一次服务器IO过高处理过程

日期:2017-05-27点击:608

记一次服务器IO过高处理过程

 

 

一、背景

    在一次上线升级后,发现两台tomcat服务器的IOwait一直超过100ms,高峰时甚至超过300ms,检查服务器发现CPU负载,内存的使用率都不高。问题可能出现在硬盘读写,而且那块硬盘除了写日志外,没有其他的IO操作。最后发现是应用打印的日志信息太多,导致磁盘IO负载过高。

 

 

二、寻求解决过程

通过查找资料发现,Linux是用pdflush进程把数据从缓存页写入硬盘的,那么通过修改pdflush的一些参数应该可以改善IO负载问题。

 

pdflush的行为受/proc/sys/vm中的参数的控制

pdflush写入硬盘看两个参数:

1 数据在页缓存中是否超出30秒,如果是,标记为脏页缓存,写入磁盘;

2 脏页缓存是否达到工作内存的10%;

 

pdflush的第一件事是读取

/proc/sys/vm/dirty_expire_centiseconds(default 3000)

声明Linux内核写缓冲区里面的数据多“旧”了之后,pdflush进程就开始考虑写到磁盘中去。单位是 1/100秒。缺省是 30000,也就是 30 秒的数据就算旧了,将会刷新磁盘。对于特别重载的写操作来说,这个值适当缩小也是好的,但也不能缩小太多,因为缩小太多也会导致IO提高太快。

当然,如果你的系统内存比较大,并且写入模式是间歇式的,并且每次写入的数据不大(比如几十M),那么这个值还是大些的好。

 

 

第二件事是判断内存是否到了要写入硬盘的限额,由参数决定:

/proc/sys/vm/dirty_ratio (default 20)

控制文件系统的写缓冲区的大小,单位是百分比,表示占系统内存的百分比,表示当写缓冲使用到系统内存多少的时候,开始向磁盘写出数据。增大之会使用更多系统内存用于磁盘写缓冲,也可以极大提高系统的写性能。但是,当你需要持续、恒定的写入场合时,应该降低其数值。


/proc/sys/vm/dirty_background_ratio(default 10)

控制文件系统的pdflush进程,在何时刷新磁盘。单位是百分比,表示系统内存的百分比,保留过期页缓存(脏页缓存)的最大值。是以MmeFree+Cached-Mapped的值为基准的,当超过最大值则缓存页写入磁盘。pdflush用于将内存中的内容和文件系统进行同步,比如说,当一个文件在内存中进行修改,pdflush负责将它写回硬盘。每当内存中的垃圾页(dirty page)超过10%的时候,pdflush就会将这些页面备份回硬盘。增大之会使用更多系统内存用于磁盘写缓冲,也可以极大提高系统的写性能。但是,当你需要持续、恒定的写入场合时,应该降低其数值:


/proc/sys/vm/dirty_writeback_centisecs(default 500)

控制内核的脏数据刷新进程pdflush的运行间隔。单位是 1/100 秒。缺省数值是500,也就是 5 秒。如果你的系统是持续地写入动作,那么实际上还是降低这个数值比较好,这样可以把尖峰的写操作削平成多次写操作。

 

对于有高度写入操作的系统

dirty_background_ratio:         主要调整参数。如果需要把缓存持续的而不是一下子大量的写入硬盘,降低这个值。

dirty_ratio    第二调整参数。

 

如果有大量的写操作,为避免I/O的长时间等待,可以设置:

$ echo 5 >/proc/sys/vm/dirty_background_ratio $ echo 10 > /proc/sys/vm/dirty_ratio

 

 

另外文件系统数据缓冲需要频繁的内存分配。加大保留内存的值能提升系统速度和稳定。小于8G的内存,保留内存为64M,大于8G的设置为256M

$ echo 65536 >/proc/sys/vm/min_free_kbytes



三、最终解决方案

修改后效果明显的参数:/proc/sys/vm/dirty_expire_centiseconds (default 3000)

 

默认是30秒,时间有点长,我把它改成10

echo 1000 >/proc/sys/vm/dirty_expire_centisecs

 

修改完后,IOwait时间立马下降,平均40ms~50ms,是原来的1/3~1/4

困扰已久的IO问题得以解决!

 

以下是我的修改参数完整列表:

echo 5 > /proc/sys/vm/dirty_ratio echo 2 >/proc/sys/vm/dirty_background_ratio echo 100 >/proc/sys/vm/dirty_writeback_centisecs echo 262144 >/proc/sys/vm/min_free_kbytes echo 1000 >/proc/sys/vm/dirty_expire_centisecs


原文链接:https://blog.51cto.com/12676522/1930316
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章