故障重现(内存篇1), JAVA进程内存不够时突然挂掉模拟

背景，服务器上的一个JAVA服务进程突然挂掉，查看产生了崩溃日志，如下：

# Set larger code cache with -XX:ReservedCodeCacheSize=
# This output file may be truncated or incomplete.
#
# Out of Memory Error (os_linux.cpp:2673), pid=28610, tid=139813184919296 　

日志分析原因很简单，服务器的内存不够用，导致进程崩溃

JAVA涉及到内存不够用分两种情况：

1, 当超出JVM的分配的内存时，JAVA进程并不会退出只是结束当前的线程

2, 当服务器内存不够时，linux杀死使用内存的一个进程

很简单，但很容易忽略，因为在启动JAVA进程时，服务器检查的是当前内存，并不是可用额度。如，服务器有1G内存，而启动了两个1G内存的JAVA服务是不会报错的，但当内存紧张时，linux会kill任意JAVA服务，造成影响

我用代码重现模拟下这种情况

准备如下

服务器1台，1G内存

模拟JAVA进程，以每秒递增10m内存分配的去榨干服务器

服务器内存总量



发现整个可用内存大小在 3G附近（小于）

加入一个JAVA程序，开启一个线程以每秒10m的内存去申请内存

代码如下：



模拟第一种情况：

运行 java -Xmx1024m -Xms1024m org.hejinbin.memory.test.TestStepByStep

观察JVM垃圾回收情况，发现在程序把JVM的内存的heap慢慢耗光



直到再也无法分配10m大小的对象，然后程序输出



观察后发现， 知道JVM内存被榨干，这条JAVA线程已经被停止，但JAVA进程

也是存活的，而且等待下一次垃圾回收，死去线程的内存将被回收，系统恢复。 造成的影响仅仅是影响本次请求。

模拟第二种情况：

我模拟3个JAVA服务进程，每个进程分配1G, 然后同时递增分配内存

开启多个linux窗口同时运行：

java -Xmx1024m -Xms1024m org.hejinbin.memory.test.TestStepByStep

一段时间后：

the total use : 830m
the total use : 840m
the total use : 850m
the total use : 860m
Killed

其中一条线程被kill了

另外两个进程继续跑，知道线程异常，当然最后两个进程也不会挂掉

另：观察到kswapd0占用CPU 高，交互虚拟内存

结论：

1, 当超出JVM的分配的内存时，JAVA进程并不会退出只是结束当前的线程

2, 当服务器内存不够时，linux杀死使用内存的一个进程

3, 把系统拆分成多个服务部署在同一台机时需要特别注意，JVM启动时分配的内存只是申请（其实体现在[b]VIRT），当一台服务器运行多个JAVA进程时请保留足够的可用内存 (大于分配给各个JVM的进程之和)[/b]

接下来的问题：

1， 如何确认是因为内存过大被linux系统kill掉

答： 可以去linux的日志在/var/log/syslog 里能找到日志，如： grep "Out of memory" syslog ， 能找到刚刚被杀线程的原因

类似如下

Dec 29 21:43:42 ubuntu kernel: [81664.250008] Out of memory: Kill process 4053 (java) score 919 or sacrifice child

2，除了内存占用过大被kill，还有哪种原因会被kill

答： CPU时间占用过久也是会被杀掉，详情下一篇模拟

3，为什么我模拟的没有产生hs_err_pid*.log日志？

答： 因为日志是再进程尝试重启后产生， 当系统内存不足，系统kill掉进程，此时守护进程又尝试拉起进程，故产生了err日志。可以在进程A占用了大部分内存时手工重启线程B模拟，能在JAVA程序的运行生成该日志

4, 一个JAVA进程到底占用多少内存?

答：JAVA进程≈ JVM（JVM的代码区）+JVM（JVM的数据区）栈+JAVA栈(-Xss*线程数)+JAVA的NIO（对外内存）+JAVA堆(-Xmx) ​

另一种改进， 把SWAP关了再测试，更精确

欢迎关注我的公众号，专注重现各种线上的BUG





或搜 “包子的实验室”