性能指标之资源指标-磁盘-存储问题定位

从用户的角度来说，性能问题最直观的感受是应用响应时间或者业务处理时间变长，性能问题是系统性的，问题可能出现在各个环节。通常情况下，最先排查的是CPU、内存等服务器内在的原因，当服务器内在原因被初步排除后，才会排查网络IO、磁盘IO的问题。

即使确定是磁盘IO导致的，也要分析整个IO路径，分析IO瓶颈是主机/网络/存储中的哪个环节导致的。



主机侧

当主机侧观察到的时延很大，存储侧的时延较小，则可能是主机侧或网络存在问题。

主机是I/O的发起端，I/O特性首先由主机的业务软件和操作系统软件和硬件配置等决定。例如，在“服务队列满”这一章节介绍的I/O 队列长度参数（queue_depth），当然，还有许多其他的参数（如： driver 可以向存储发的最大的 I/O、光纤卡DMA memor区域大小、块设备并发数、HBA卡并发数）。

若排查完成，性能问题还是存在，则需要对组网及链路、存储侧进行性能问题排查。

交换网络

当主机侧观察到的时延很大，存储侧的时延较小，且排查主机侧无问题时，则性能问题可能出现在链路上。

可能的问题有：带宽达到瓶颈、交换机配置不当、交换机故障、多路径选路错误、线路的电磁干扰、光纤线有损、接口松动等。

存储侧

如果主机侧时延与存储侧时延都很大且相差较小，说明问题可能出现在存储上。首先需要了解当前存储侧所承载的IO模型、存储资源配置，并从存储侧收集性能数据，按照I/O路径进行性能问题的定位。

常见原因如硬盘性能达到上限、镜像带宽达到上限、存储规划（如条带过小）、硬盘域和存储池划分（例如划分了低速的磁盘）、LUN对应的存储缓存设置过小、IO的Qos限制的磁盘IO的带宽、存储接口模块数量过小、RAID划分（比如RAID10>RAID5>RAID6）、配置快照、克隆、远程复制等增值功能拖慢了性能、存储控制器的CPU利用率过高、LUN未格式化完成引起短时的性能问题。