如何解决IBM AIX PowerPath xcryptd进程在AIX主机消耗大量的CPU 和内存资源的问题

问题如下, 在IBM AIX上运行Powerpath 5.5, PowerPath xcryptd进程在AIX主机消耗大量的CPU 和内存资源的问题. 大概在180天后, emcp_xcrypt进程会消耗100%的CPU 和内存资源.

PID %CPU ResSize Char Command

10682438 63.6 263676 0 [emcp_xcrypt]

这个问题的原因目前还是未知的. Powerpath的开发人员仍然在调查原因. 但是可以用以下的workaround 解决.

杀死在运行的emcp_xcrypt进程.用kill -9 <pid no. >
为防止系统重启动后这个进程再回来, 编辑文件 /etc/PowerPathExtensions , 这个文件包含下面这些行,

mpxext:cfgmpx

gpxext

dmext:cfgdm

vlumdext:cfgvlumd

xcryptext:cfgxcrypt

删除掉最后面的两行.

3. 从/etc/inittab文件中删除下面的行并保存文件.

rcxcrypt:2:wait:/etc/rc.emcp_xcryptd xcrypt_rc >/dev/null 2>&1

4. 有时客户比较在意的是emcp_xcr和emcp_xcrypt是否为同一进程，以及什么时候显示为emcp_xcr，什么时候显示为emcp_xcrypt。 其实，这个问题和AIX的服务器上不同的命令来显示进程的名字有关。比如，PS这个命令和topas这个命令，对同一台服务器上PowerPath的这个进程显示出来的名称就不同，见下图：

Topas 图





PS 图





如上图所见，同一个进程号204900，就可以有两种不同的显示结果。但相同的进程号已经验证了他们是同一个进程。至于为什么在不同的情况下有不同的显示，IBM也作过一些说明，如下:

http://publib.boulder.ibm.com/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.cmds/doc/aixcmds4/ps.htm

(-f, -l, and l flags) Contains the command name. Under the -f flag, the ps command tries to determine the current command name and arguments, both of which may be changed asynchronously by the process. These are then displayed. If this fails, the command
name is written as it would appear without the -f option in square brackets.

如上所述，IBM陈述了ps 命令的-f 参数，这个文档描述了ps命令显示的进程名称可能有的时候只会显示前8位。到这里为止，我们已经能够充分的证明，emcp_xcr和emcp_xcrypt是同一个进程，因为他们的进程号相同。

5. 在AIX中有两种情况下进程不能通过kill或者kill -9来终止。一是出于Zombie状态，一是在kernel mode。只有在user mode的进程才可以通过kill命令终止。对于PPID为1，有时会发生进入kernel mode的情况。不管由于什么原因导致kill不能终止进程，都可以通过重启来解决。 对于不能kill的Zombie状态的进程，资源已经释放，对系统没有影响。对于处于kernel mode的进程，如果该进程没有占用过多资源，那么也没有影响，可以等下次有机会系统重启来解决。如果占用系统资源过高，那么就只能通过重启来解决。

KB:

IBM AIX PowerPath xcryptd consuming large amounts

of CPU and memory on AIX host.

Article Number:000083101 Version:2

Key Information

Audience: Level 30 = Customers Original Create Date: Wed Jan 25

19:23:40 GMT 2012

Article Type: Break Fix

Channels: Customer , Internal App First Published: Wed May 29 19:57:29

GMT 2013

Validation Status: Final Approved

Originally Created By: Amanda

Montford

Last Modified: Fri Dec 20 15:08:38

GMT 2013

Last Published: Fri Dec 20 15:08:38

GMT 2013

Summary:

Article Content

Issue: IBM AIX PowerPath xcryptd consuming large amounts of CPU and memory on AIX host.

After around 180 days the emcp_xcrypt process goes to 100%.

Environment:EMC SW: PowerPath

5.5

OS: IBM AIX

Cause:Unknown.

Resolution: Follow these steps as a workaround:

Halt the currently running process with kill -9 <pid no. >

Prevent the emcp_xcryptd daemon from coming back up on a reboot before the next reboot.

Edit the file /etc/PowerPathExtensions which contains these lines:

mpxext:cfgmpx

gpxext

dmext:cfgdm

vlumdext:cfgvlumd

xcryptext:cfgxcrypt

Remove the last two lines, save the file.

NOTE: Do NOT comment out the lines with #. The last two lines must be removed entirely. Using # to

comment out the lines will prevent PowerPath from configuring devices upon reboot.

Remove the following line from /etc/inittab and save the file:

rcxcrypt:2:wait:/etc/rc.emcp_xcryptd xcrypt_rc >/dev/null 2>&1

PowerPath engineering is currently investigating.

Article Metadata

Product: PowerPath for AIX5.5, PowerPath

Shared:Yes

RCA Status: Not Started

Bug Tracking Number: 384304

External Source: Primus

Primus/Webtop solution ID:emc286557

Originally Created By: Amanda Montford