磁盘I/O性能监控和调优方法&iostat 总结 1/24

常见用法

iostat -d -k 1 10 #查看TPS和吞吐量信息 #TPS transfers per second

参数 -d 表示，显示设备（磁盘）使用状态；-k某些使用block为单位的列强制使用Kilobytes为单位；1 10表示，数据显示每隔1秒刷新一次，共显示10次

TPS：该设备每秒的传输次数（Indicate the number of transfers per second that were issued to the device.）。“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。“一次传输”请求的大小是未知的。

iostat -d -x -k 1 10 #查看设备使用率（%util）、响应时间（await）

iostat -c 1 10 #查看cpu状态

重要指标

%util: 一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间 I/O 队列是非空的

svctm: 平均每次设备I/O操作的服务时间

await: 平均每次设备I/O操作的等待时间

avgqu-sz: 平均I/O队列长度

iostat 相关参数说明


参数 英文说明 说明

rrqm/s read request merge 每秒进行 merge 的读操作数目。即 delta(rmerge)/s

wrqm/s write request merge 每秒进行 merge 的写操作数目。即 delta(wmerge)/s

r/s read 每秒完成的读 I/O 设备次数。即 delta(rio)/s

w/s write 每秒完成的写 I/O 设备次数。即 delta(wio)/s

rsec/s read section 每秒读扇区数。即 delta(rsect)/s

wsec/s write section 每秒写扇区数。即 delta(wsect)/s

rkB/s read kilo byte 每秒读 K字节数。是 rsect/s 的一半，因为每扇区大小为 512字节。 (需要计算 )

wkB/s write kilo byte 每秒写 K字节数。是 wsect/s 的一半。 (需要计算 )

avgrq-sz average request size 平均每次设备 I/O操作的数据大小 (扇区 )。 delta(rsect+wsect)/delta(rio+wio)

avgqu-sz average queue size 平均 I/O队列长度。即 delta(aveq)/s/1000 (因为 aveq的单位为毫秒 )

await average wait 平均每次设备 I/O操作的等待时间 (毫秒 )。即 delta(ruse+wuse)/delta(rio+wio)

svctm service time 平均每次设备 I/O操作的服务时间 (毫秒 )。即 delta(use)/delta(rio+wio)

%util utilty 一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间 I/O 队列是非空的。即 delta(use)/s/1000 (因为 use的单位为毫秒 )

重要指标分析

如果 %util 接近 100%,说明产生的I/O请求太多,I/O系统已经满负荷,该磁盘可能存在瓶颈.

idle小于70% IO压力就较大了,一般读取速度有较多的wait.

同时可以结合vmstat 查看查看b参数(等待资源的进程数)和wa参数(IO等待所占用的CPU时间的百分比,高过30%时IO压力高)

另外 await 的参数也要多和 svctm 来参考.差的过高就一定有 IO 的问题.

avgqu-sz 也是个做 IO 调优时需要注意的地方,这个就是直接每次操作的数据的大小,如果次数多,但数据拿的小的话,其实 IO 也会很小.如果数据拿的大,才IO 的数据会高.也可以通过 avgqu-sz × ( r/s or w/s ) = rsec/s or wsec/s.也就是讲,读定速度是这个来决定的.

另外还可以参考

svctm 一般要小于 await (因为同时等待的请求的等待时间被重复计算了),svctm 的大小一般和磁盘性能有关,CPU/内存的负荷也会对其有影响,请求过多也会间接导致 svctm 的增加.await 的大小一般取决于服务时间(svctm) 以及 I/O 队列的长度和 I/O 请求的发出模式.如果 svctm 比较接近 await,说明 I/O 几乎没有等待时间；如果 await 远大于
svctm,说明 I/O 队列太长,应用得到的响应时间变慢,如果响应时间超过了用户可以容许的范围,这时可以考虑更换更快的磁盘,调整内核 elevator 算法,优化应用,或者升级 CPU.

队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标,但由于 avgqu-sz 是按照单位时间的平均值,所以不能反映瞬间的 I/O 洪水.

CPU Utilization

CPU Utilization,一个很直观的概念,在任意时间内,CPU有7个状态:

1.idle,表示CPU闲置并等待工作分配.

2.user,表示CPU在运行用户的进程

3.system,表示CPU在执行kernel工作

4.nice,表示CPU花费在被nice改变过优先级的process上的时间(注意:被nice命令改变优先级的process仅指那些nice值为负的process.花费在被nice命令改变优先级的任务上的时间也将被计算在系统和用户时间内,因此整个时间加起来可能会超过百分之百)

5.iowait,表示CPU等待IO操作完成的时间

6.irq,表示CPU开销在响应硬中断上的时间

7.softirq,表示CPU开销在响应软中断上的时间.

我们一般用vmstat看到的都是四个状态:sy,us,id,wa,通过他和load avg结合，基本可以知道cpu的状态