真实互联网线上系统JVM内存溢出排查流程(文末彩蛋)

起因：
近期在工作中发生因jvm内存溢出导致线上应用进程崩溃，导致服务瞬间瘫痪。期间发现集群中每台应用服务器JVM内存使用率高达96%左右，存在瞬间内存打满，导致服务瘫痪情况。
根据经验分析，大概率是由于JVM中存在长期无法回收的（大）对象（此问题属代码本身问题）或瞬间流量激增导致垃圾收集器来不及回收（可调整JVM参数或横向增加服务器）导致。

排查过程：
1.通过命令（jmap -dump:format=b,file=/opt/jvmdump/20220810.dump pid）导出jvm dump文件备用。
2.打开MemoryAnalyzer工具进行分析。此工具需要jdk11或以上版本支持，如果没有jdk11或以上版本，需要安装jdk11或以上版本，并修改MemoryAnalyzer配置
修改MemoryAnalyzer工具的MemoryAnalyzer.ini文件，新增-vm D:/java/jdk-11.0.15.1/bin/javaw.exe，来指定jdk；如果dump文件过大，需要调整初始内存（如-Xmx4g）。记得修改jdk环境变量
MemoryAnalyzer工具下载：
https://ftp.yz.yamagata-u.ac.jp/pub/eclipse//mat/1.13.0/rcp/MemoryAnalyzer-1.13.0.20220615-win32.win32.x86_64.zip
3.导入准备好的dump文件到MemoryAnalyzer进行分析。

• Histogram看下可疑的类
  
  找到我们系统中的类，发现它占用很大内存，我们姑且把这个类叫做A
  
  
  
  上面红框中的对象大量引用了A类，导致内存占用过高，但是在系统中的确会有大量场景会引用此类，并且会存在大对象，如果流量较大，内存使用一定会比较大，所以如果是由于这个原因引起的内存使用过高，也属正常。随后又继续通过Leak Suspects进行了分析。
• Leak Suspects
  存在两个可疑点。查看具体详情，同样得到相同的结果，那么此问题基本可以得出了结论。我们只能通过调整JVM堆空间或横向增加集群中服务器数量来解决内存溢出的问题。
  可关注我dou yin号：szyking1107，之后会在那里同步分享技术干货及直播讲解技术干货。