iostat来对linux硬盘IO性能进行检测
时间:2015-01-07 15:44 来源:linux.it.net.cn 作者:IT
近期公司安装了几台DELLPE2650和2850的服务器，统一安装的是RHLE5.132位系统，而服务器的SCSI硬盘都统一做了raid1.公司老总要求对硬盘IO作统一检测报告，在Linux下找了许多工具，发现最实用的还是iostat,这个需要先安装sysstat,即yum-yinstallsysstat;公司内部的yum服务器搭建这个不是本文的重点，这里不作详细叙述。
#iostat-x110
Linux2.6.18-92.el5xen03/01/2010
avg-cpu:%user%nice%system%iowait%steal%idle
1.100.004.8239.540.0754.46
Device:rrqm/swrqm/sr/sw/srsec/swsec/savgrq-szavgqu-szawaitsvctm%util
sda0.003.500.402.505.6048.0018.480.000.970.970.28
sdb0.000.000.000.000.000.000.000.000.000.000.00
sdc0.000.000.000.000.000.000.000.000.000.000.00
sdd0.000.000.000.000.000.000.000.000.000.000.00
sde0.000.100.300.202.402.409.600.001.601.600.08
sdf17.400.50102.000.2012095.205.60118.400.706.812.0921.36
sdg232.401.90379.700.5076451.2019.20201.134.9413.782.4593.16rrqm/s:每秒进行merge的读操作数目。即delta（rmerge）/s
wrqm/s:每秒进行merge的写操作数目。即delta（wmerge）/s
r/s:每秒完成的读I/O设备次数。即delta（rio）/s
w/s:每秒完成的写I/O设备次数。即delta（wio）/s
rsec/s:每秒读扇区数。即delta（rsect）/s
wsec/s:每秒写扇区数。即delta（wsect）/s
rkB/s:每秒读K字节数。是rsect/s的一半，因为每扇区大小为512字节。（需要计算）
wkB/s:每秒写K字节数。是wsect/s的一半。（需要计算）
avgrq-sz:平均每次设备I/O操作的数据大小（扇区）。delta（rsect+wsect）/delta（rio+wio）
avgqu-sz:平均I/O队列长度。即delta（aveq）/s/1000（因为aveq的单位为毫秒）。
await:平均每次设备I/O操作的等待时间（毫秒）。即delta（ruse+wuse）/delta（rio+wio）
svctm:平均每次设备I/O操作的服务时间（毫秒）。即delta（use）/delta（rio+wio）
%util:一秒中有百分之多少的时间用于I/O操作，或者说一秒中有多少时间I/O队列是非空的。即delta（use）/s/1000（因为use的单位为毫秒）
如果%util接近100%,说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘
可能存在瓶颈；idle小于70%IO压力就较大了，一般读取速度有较多的wait.
同时可以结合vmstat查看查看b参数（等待资源的进程数）和wa参数（IO等待所占用的CPU时间的百分比，高过30%时IO压力高）
另外还可以参考
一般：
svctm<await（因为同时等待的请求的等待时间被重复计算了），
svctm的大小一般和磁盘性能有关：CPU/内存的负荷也会对其有影响，请求过多也会间接导致svctm的增加。
await:await的大小一般取决于服务时间（svctm）以及I/O队列的长度和I/O请求的发出模式。
如果svctm比较接近await,说明I/O几乎没有等待时间；
如果await远大于svctm,说明I/O队列太长，应用得到的响应时间变慢
如果响应时间超过了用户可以容许的范围，这时可以考虑更换更快的磁盘，调整内核elevator算法，优化应用，或者升级CPU.
队列长度（avgqu-sz）也可作为衡量系统I/O负荷的指标，但由于avgqu-sz是按照单位时间的平均值，所以不能反映瞬间的I/O洪水。
别人一个不错的例子（I/O系统vs超市排队）
举一个例子，我们在超市排队checkout时，怎么决定该去哪个交款台呢？首当是看排的队人数，5个人总比20人要快吧？除了数人头，我们也常常看看前面人购买的东西多少，如果前面有个采购了一星期食品的大妈，那么可以考虑换个队排了。还有就是收银员的速度了，如果碰上了连钱都点不清楚的新手，那就有的等了。另外，时机也很重要，可能5分钟前还人满为患的收款台，现在已是人去楼空，这时候交款可是很爽啊，当然，前提是那过去的5分钟里所做的事情比排队要有意义（不过我还没发现什么事情比排队还无聊的）。
I/O系统也和超市排队有很多类似之处：
r/s+w/s类似于交款人的总数
平均队列长度（avgqu-sz）类似于单位时间里平均排队人的个数
平均服务时间（svctm）类似于收银员的收款速度
平均等待时间（await）类似于平均每人的等待时间
平均I/O数据（avgrq-sz）类似于平均每人所买的东西多少
I/O操作率（%util）类似于收款台前有人排队的时间比例。
我们可以根据这些数据分析出I/O请求的模式，以及I/O的速度和响应时间。
下面是别人写的这个参数输出的分析
#iostat-x1
avg-cpu:%user%nice%sys%idle
16.240.004.3179.44
Device:rrqm/swrqm/sr/sw/srsec/swsec/srkB/swkB/savgrq-szavgqu-szawaitsvctm%util
/dev/cciss/c0d0
0.0044.901.0227.558.16579.594.08289.8020.5722.3578.215.0014.29
/dev/cciss/c0d0p1
0.0044.901.0227.558.16579.594.08289.8020.5722.3578.215.0014.29
/dev/cciss/c0d0p2
0.000.000.000.000.000.000.000.000.000.000.000.000.00上面的iostat输出表明秒有28.57次设备I/O操作：总IO（io）/s=r/s（读）+w/s（写）=1.02+27.55=28.57（次/秒）其中写操作占了主体（w:r=27:1）。
平均每次设备I/O操作只需要5ms就可以完成，但每个I/O请求却需要等上78ms,为什么？
因为发出的I/O请求太多（每秒钟约29个），假设这些请求是同时发出的，那么平均等待时间可以这样计算：
平均等待时间=单个I/O服务时间*（1+2+…+请求总数-1）/
请求总数应用到上面的例子：平均等待时间=5ms*（1+2+…+28）/29=70ms,和iostat给出的78ms的平均等待时间很接近。
这反过来表明I/O是同时发起的。
每秒发出的I/O请求很多（约29个），平均队列却不长（只有2个左右），这表明这29个请求的到来并不均匀，大部分时间I/O是空闲的。
一秒中有14.29%的时间I/O队列中是有请求的，也就是说，85.71%的时间里I/O系统无事可做，所有29个I/O请求都在142毫秒之内处理掉了。
delta（ruse+wuse）/delta（io）=await=78.21=>delta（ruse+wuse）/s=78.21*delta
(责任编辑：IT)
近期公司安装了几台DELLPE2650和2850的服务器，统一安装的是RHLE5.132位系统，而服务器的SCSI硬盘都统一做了raid1.公司老总要求对硬盘IO作统一检测报告，在Linux下找了许多工具，发现最实用的还是iostat,这个需要先安装sysstat,即yum-yinstallsysstat;公司内部的yum服务器搭建这个不是本文的重点，这里不作详细叙述。
#iostat-x110
Linux2.6.18-92.el5xen03/01/2010
avg-cpu:%user%nice%system%iowait%steal%idle
1.100.004.8239.540.0754.46
Device:rrqm/swrqm/sr/sw/srsec/swsec/savgrq-szavgqu-szawaitsvctm%util
sda0.003.500.402.505.6048.0018.480.000.970.970.28
sdb0.000.000.000.000.000.000.000.000.000.000.00
sdc0.000.000.000.000.000.000.000.000.000.000.00
sdd0.000.000.000.000.000.000.000.000.000.000.00
sde0.000.100.300.202.402.409.600.001.601.600.08
sdf17.400.50102.000.2012095.205.60118.400.706.812.0921.36
sdg232.401.90379.700.5076451.2019.20201.134.9413.782.4593.16rrqm/s:每秒进行merge的读操作数目。即delta（rmerge）/s
wrqm/s:每秒进行merge的写操作数目。即delta（wmerge）/s
r/s:每秒完成的读I/O设备次数。即delta（rio）/s
w/s:每秒完成的写I/O设备次数。即delta（wio）/s
rsec/s:每秒读扇区数。即delta（rsect）/s
wsec/s:每秒写扇区数。即delta（wsect）/s
rkB/s:每秒读K字节数。是rsect/s的一半，因为每扇区大小为512字节。（需要计算）
wkB/s:每秒写K字节数。是wsect/s的一半。（需要计算）
avgrq-sz:平均每次设备I/O操作的数据大小（扇区）。delta（rsect+wsect）/delta（rio+wio）
avgqu-sz:平均I/O队列长度。即delta（aveq）/s/1000（因为aveq的单位为毫秒）。
await:平均每次设备I/O操作的等待时间（毫秒）。即delta（ruse+wuse）/delta（rio+wio）
svctm:平均每次设备I/O操作的服务时间（毫秒）。即delta（use）/delta（rio+wio）
%util:一秒中有百分之多少的时间用于I/O操作，或者说一秒中有多少时间I/O队列是非空的。即delta（use）/s/1000（因为use的单位为毫秒）
如果%util接近100%,说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘
可能存在瓶颈；idle小于70%IO压力就较大了，一般读取速度有较多的wait.
同时可以结合vmstat查看查看b参数（等待资源的进程数）和wa参数（IO等待所占用的CPU时间的百分比，高过30%时IO压力高）
另外还可以参考
一般：
svctm<await（因为同时等待的请求的等待时间被重复计算了），
svctm的大小一般和磁盘性能有关：CPU/内存的负荷也会对其有影响，请求过多也会间接导致svctm的增加。
await:await的大小一般取决于服务时间（svctm）以及I/O队列的长度和I/O请求的发出模式。
如果svctm比较接近await,说明I/O几乎没有等待时间；
如果await远大于svctm,说明I/O队列太长，应用得到的响应时间变慢
如果响应时间超过了用户可以容许的范围，这时可以考虑更换更快的磁盘，调整内核elevator算法，优化应用，或者升级CPU.
队列长度（avgqu-sz）也可作为衡量系统I/O负荷的指标，但由于avgqu-sz是按照单位时间的平均值，所以不能反映瞬间的I/O洪水。
别人一个不错的例子（I/O系统vs超市排队）
举一个例子，我们在超市排队checkout时，怎么决定该去哪个交款台呢？首当是看排的队人数，5个人总比20人要快吧？除了数人头，我们也常常看看前面人购买的东西多少，如果前面有个采购了一星期食品的大妈，那么可以考虑换个队排了。还有就是收银员的速度了，如果碰上了连钱都点不清楚的新手，那就有的等了。另外，时机也很重要，可能5分钟前还人满为患的收款台，现在已是人去楼空，这时候交款可是很爽啊，当然，前提是那过去的5分钟里所做的事情比排队要有意义（不过我还没发现什么事情比排队还无聊的）。
I/O系统也和超市排队有很多类似之处：
r/s+w/s类似于交款人的总数
平均队列长度（avgqu-sz）类似于单位时间里平均排队人的个数
平均服务时间（svctm）类似于收银员的收款速度
平均等待时间（await）类似于平均每人的等待时间
平均I/O数据（avgrq-sz）类似于平均每人所买的东西多少
I/O操作率（%util）类似于收款台前有人排队的时间比例。
我们可以根据这些数据分析出I/O请求的模式，以及I/O的速度和响应时间。
下面是别人写的这个参数输出的分析
#iostat-x1
avg-cpu:%user%nice%sys%idle
16.240.004.3179.44
Device:rrqm/swrqm/sr/sw/srsec/swsec/srkB/swkB/savgrq-szavgqu-szawaitsvctm%util
/dev/cciss/c0d0
0.0044.901.0227.558.16579.594.08289.8020.5722.3578.215.0014.29
/dev/cciss/c0d0p1
0.0044.901.0227.558.16579.594.08289.8020.5722.3578.215.0014.29
/dev/cciss/c0d0p2
0.000.000.000.000.000.000.000.000.000.000.000.000.00上面的iostat输出表明秒有28.57次设备I/O操作：总IO（io）/s=r/s（读）+w/s（写）=1.02+27.55=28.57（次/秒）其中写操作占了主体（w:r=27:1）。
平均每次设备I/O操作只需要5ms就可以完成，但每个I/O请求却需要等上78ms,为什么？
因为发出的I/O请求太多（每秒钟约29个），假设这些请求是同时发出的，那么平均等待时间可以这样计算：
平均等待时间=单个I/O服务时间*（1+2+…+请求总数-1）/
请求总数应用到上面的例子：平均等待时间=5ms*（1+2+…+28）/29=70ms,和iostat给出的78ms的平均等待时间很接近。
这反过来表明I/O是同时发起的。
每秒发出的I/O请求很多（约29个），平均队列却不长（只有2个左右），这表明这29个请求的到来并不均匀，大部分时间I/O是空闲的。
一秒中有14.29%的时间I/O队列中是有请求的，也就是说，85.71%的时间里I/O系统无事可做，所有29个I/O请求都在142毫秒之内处理掉了。
delta（ruse+wuse）/delta（io）=await=78.21=>delta（ruse+wuse）/s=78.21*delta
(责任编辑：IT) |