一次 JVM 堆内存耗尽排查:为什么系统会像“卡死”了一样

最近处理了一次 Java 应用响应缓慢、部分请求长时间无响应的问题。

日志中出现的核心异常是:

1
java.lang.OutOfMemoryError: GC overhead limit exceeded

一开始很容易把它理解成数据库连接池故障,因为日志里同时出现了大量连接超时和连接泄漏告警。继续分析后才发现,数据库问题更像是结果:JVM 长时间执行 GC,业务线程无法正常运行,已经拿到的数据库连接也无法及时归还,最终表现为请求排队和连接池耗尽。

1. JVM 堆内存是什么

Java 程序运行时创建的对象主要存放在 JVM 堆内存中,例如:

  • 数据库查询返回的对象
  • JSON 序列化产生的字符串
  • HTTP 请求和响应对象
  • List、Map 等集合
  • 缓存数据
  • Excel 导出数据

堆内存不是无限的。应用启动时通常会配置最大堆大小,例如:

1
-Xmx3G

它表示 Java 堆最大使用约 3GB。

当程序持续创建对象时,堆会逐渐被占用。JVM 需要定期执行垃圾回收,释放不再使用的对象。如果对象一直被引用,垃圾回收无法释放它们,就会产生内存压力。

2. 常见垃圾回收阶段

不同垃圾收集器的具体算法不同,但通常可以简单理解为:

Minor GC

主要回收年轻代对象。大多数临时对象生命周期很短,例如一次请求中创建的 DTO、字符串和中间集合。

Minor GC 通常较频繁,但单次停顿一般较短。

Major GC / Full GC

主要处理老年代,甚至可能整理整个堆。持续时间通常更长。

Full GC 期间可能出现 Stop-The-World,也就是暂停所有业务线程。暂停期间,应用看起来可能像“没有响应”。

Stop-The-World 为什么可怕

假设一次 Full GC 停顿几十秒:

  • HTTP 请求无法继续执行。
  • 定时任务暂停。
  • 数据库连接对应的事务无法提交。
  • Hikari 后台巡检线程也被暂停。
  • 新请求继续堆积,占用更多线程和内存。

所以 GC 停顿不仅是“回收得慢”,还会引发一连串并发问题。

3. GC overhead limit exceeded 是什么意思

GC overhead limit exceeded 通常表示:

JVM 花了绝大部分时间执行垃圾回收,却只能回收很少的空间。

JDK 文档给出的典型判定条件是,垃圾回收时间超过总时间的约 98%,而每次回收的堆空间不足约 2%。

换句话说,程序可能已经陷入类似下面的循环:

1
2
3
4
5
6
7
8
9
10
11
12
13
创建对象
↓
堆空间不足
↓
触发 GC
↓
只回收很少内存
↓
业务继续创建对象
↓
再次 Full GC
↓
几乎没有时间执行正常业务

此时即使 JVM 偶尔还能响应,应用也已经不具备稳定服务能力。

4. 本次故障中的几个典型现象

4.1 业务请求突然大面积变慢

日志中出现了多次类似告警:

1
HikariPool-1 - Thread starvation or clock leap detected

它表示 Hikari 后台线程两次巡检之间的时间间隔异常变大,例如超过 1 分钟、接近 2 分钟甚至超过 2 分钟。

这不是数据库连接池自身突然停顿,而是整个 JVM 被长时间阻塞,连后台巡检线程都无法按计划执行。

4.2 获取数据库连接超时

随后出现了:

1
Connection is not available, request timed out

这说明请求还没有执行 SQL,就卡在了“等待一个可用数据库连接”的阶段。

原因可能是:

  • 部分业务线程拿到连接后长时间没有结束。
  • JVM 正在 GC,业务线程无法继续执行和归还连接。
  • 慢 SQL、慢外部接口或长事务占用了连接。

因此,连接池耗尽通常是并发压力或线程停顿的结果,而不是孤立的根因。

4.3 连接泄漏告警未必是真正泄漏

Hikari 日志中还有:

1
Connection leak detection triggered

但如果后续出现:

1
was returned to the pool (unleaked)

说明连接最终归还了,只是被持有时间过长。

在 GC 长时间停顿时,连接可能只是因为业务线程无法运行而迟迟没有归还。

4.4 OOM 异常堆栈的“最后位置”不是根因位置

OOM 可能出现在:

  • JDBC 驱动解析结果时
  • JSON 序列化时
  • Spring 参数转换时
  • 创建字符串或对象时

这个位置只是 JVM 当时最后一次尝试分配内存的位置,并不一定是内存增长最开始发生的位置。

例如日志显示 OOM 发生在 JDBC 驱动读取字符串,并不能直接证明“是这条 SQL 造成了内存泄漏”。可能是此前大量请求、全量查询、缓存或导出已经把堆压满,最后一个数据库结果只是压垮 JVM 的最后一根稻草。

5. 常见堆内存压力来源

5.1 无界查询

例如:

1
selectList(null);

或者允许传入特别大的分页参数:

1
pageSize=100000

这类查询会把大量数据库记录一次性加载到 JVM 堆中。

5.2 全量导出

Excel 导出很常见的一种写法是:

1
2
3
4
5
查询全部数据
↓
转换成导出对象
↓
整体写入 Excel

如果数据量很大,查询结果、转换后的列表和 Excel 工作簿可能同时存在于内存中。

5.3 无界缓存或静态集合

例如:

1
static Map<String, Object> cache = new HashMap<>();

如果只往里面添加数据,不删除或设置过期策略,缓存会随着运行时间不断增长。

5.4 一次请求加载不必要的数据

例如分页查询只有 10 条记录,却额外把全系统的数据加载出来,再在内存中匹配当前页。

这类问题在数据量小时不明显,随着用户量、角色量或业务数据增长,可能突然成为主要内存压力。

5.5 大文件和大响应体

以下操作也可能产生很高的瞬时内存峰值:

  • 将大文件整体读入 byte[]
  • 一次读取超大 HTTP 响应
  • 一次性序列化很大的 JSON
  • 大图片、大附件转换

5.6 慢外部调用造成请求堆积

外部接口本身不一定直接消耗大量堆内存,但如果调用很慢:

1
2
3
4
5
6
7
8
9
外部接口响应慢
↓
业务线程等待
↓
请求、响应和中间对象不能释放
↓
并发请求继续进入
↓
线程和堆内存压力增大

如果慢外部调用还位于数据库事务中,数据库连接也会被长期占用,进一步放大问题。

6. 如何判断是不是 JVM 堆问题

6.1 看 OOM 类型

常见的 Java 8 堆问题包括:

1
2
java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: GC overhead limit exceeded

两者都表示 Java 堆已经无法满足正常分配需求。

还需要区分:

1
2
3
OutOfMemoryError: Metaspace
OutOfMemoryError: Direct buffer memory
OutOfMemoryError: unable to create new native thread

它们不一定都是 Java 堆不足,排查方向不同。

6.2 看 GC 日志

Java 8 可以开启:

1
2
3
-XX:+PrintGCDetails
-XX:+PrintGCDateStamps
-Xloggc:/app/logs/gc-%t.log

重点关注:

  • Full GC 是否越来越频繁。
  • 每次 Full GC 后老年代使用量是否仍然很高。
  • 单次 GC 停顿是否持续增长。
  • 堆内存是否呈阶梯式上涨,而不是正常波动。

6.3 看 JVM 堆状态

1
jcmd 1 GC.heap_info

重点不是看“当前用了多少”,而是看:

  • 多次 Full GC 后能否降下来。
  • 老年代是否持续接近上限。
  • 系统空闲后内存是否能够恢复。

如果每次回收后占用仍然越来越高,就需要怀疑对象无法释放或请求数据量过大。

6.4 看线程栈

卡顿时连续抓取三次线程栈,每次间隔 5 秒:

1
2
3
4
5
jstack 1 > thread-1.txt
sleep 5
jstack 1 > thread-2.txt
sleep 5
jstack 1 > thread-3.txt

把三次结果放在一起看:

  • 哪些线程一直停在同一个数据库查询?
  • 哪些线程一直等待外部 HTTP 响应?
  • 哪些线程卡在文件或序列化处理?
  • 是否大量线程都停在 Hikari 获取连接?
  • 是否有大量请求线程堆叠在同一个业务入口?

6.5 获取堆快照

仅靠普通异常日志通常无法找到真正的内存增长源,需要在 OOM 时获取 .hprof:

1
2
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/app/dumps

也可以在系统尚未完全卡死时主动导出:

1
jcmd 1 GC.heap_dump /app/dumps/manual.hprof

堆快照可以进一步分析:

  • 哪些类的实例数量最多。
  • 哪些对象占用内存最多。
  • 对象被哪些引用链持有。
  • 是否存在缓存、集合或线程上下文导致的泄漏。

7. 正确的排查顺序

发生疑似 JVM 内存问题时,不建议第一反应就是重启。

第一步:先保现场

  • 保存应用日志。
  • 连续抓取线程栈。
  • 保存 GC 日志。
  • 条件允许时生成堆快照。
  • 记录当时正在使用的主要功能。

第二步:判断是内存泄漏还是负载过高

如果 GC 后内存能回落,但高峰时短暂升高:

  • 更可能是瞬时大对象、并发量高或某个大查询。

如果 GC 后内存仍然持续上涨:

  • 更可能是对象被长期持有、缓存无界或真实内存泄漏。

第三步:恢复服务

如果系统已经完全失去响应,在尽量保存现场后重启。

第四步:根据证据修复代码

不要仅通过把 -Xmx3G 改成 -Xmx6G 解决问题。

扩大堆内存可能:

  • 延后故障发生时间。
  • 让单次 Full GC 停顿更长。
  • 掩盖真正的内存泄漏。

扩容可以是临时缓解措施,但不能替代根因分析。

8. 日常防护建议

8.1 所有列表查询必须有上限

  • 分页大小设置硬上限。
  • 导出接口单独限制最大数据量。
  • 禁止无条件的 selectList(null)。

8.2 外部调用必须有超时

连接超时、连接池获取超时和响应超时都应该明确设置。

外部 HTTP 调用尽量放在数据库事务提交之后,避免慢接口长期占用数据库连接。

8.3 大任务改成流式处理

对于历史数据、Excel 导出和大结果集:

  • 分批读取。
  • 流式写入。
  • 避免把全部结果先加载到 List。

8.4 缓存必须有边界

  • 设置最大容量。
  • 设置过期时间。
  • 明确淘汰策略。
  • 不在静态集合中无限累积用户或业务数据。

8.5 监控 GC 和堆使用趋势

比“OOM 后报警”更有价值的是观察:

  • 老年代在 Full GC 后的基线是否持续上涨。
  • GC 停顿是否逐渐变长。
  • 高峰流量结束后内存能否恢复。

9. 案例总结

这次问题的表面现象是:

1
2
3
4
5
6
7
系统卡顿
↓
请求超时
↓
数据库连接池耗尽
↓
连接长时间未归还

继续查看底层原因,实际链条更接近:

1
2
3
4
5
6
7
8
9
10
11
堆内存压力上升
↓
GC 时间越来越长
↓
业务线程被长时间暂停
↓
请求和连接无法及时结束
↓
连接池耗尽并产生大量告警
↓
系统看起来像整体卡死

因此,连接池告警只是表象,不能只盯着数据库连接池调大参数。

处理这类问题时应同时做两件事:

  1. 修复能够确认的内存压力来源,例如无界查询、大导出和慢外部调用。
  2. 保留 GC 日志和堆快照,确保未知内存问题下次能够继续定位。

10. 一句话记住这次经验

当 Java 应用整体卡死,同时出现 OOM、长时间 GC 停顿、获取数据库连接超时和连接泄漏告警时,应先判断是不是 JVM 堆和 GC 已经把业务线程拖停了,而不是只把连接池告警当成根因。