JVM堆内存耗尽与GC长时间停顿
一次 JVM 堆内存耗尽排查:为什么系统会像“卡死”了一样
最近处理了一次 Java 应用响应缓慢、部分请求长时间无响应的问题。
日志中出现的核心异常是:
1 | java.lang.OutOfMemoryError: GC overhead limit exceeded |
一开始很容易把它理解成数据库连接池故障,因为日志里同时出现了大量连接超时和连接泄漏告警。继续分析后才发现,数据库问题更像是结果:JVM 长时间执行 GC,业务线程无法正常运行,已经拿到的数据库连接也无法及时归还,最终表现为请求排队和连接池耗尽。
1. JVM 堆内存是什么
Java 程序运行时创建的对象主要存放在 JVM 堆内存中,例如:
- 数据库查询返回的对象
- JSON 序列化产生的字符串
- HTTP 请求和响应对象
- List、Map 等集合
- 缓存数据
- Excel 导出数据
堆内存不是无限的。应用启动时通常会配置最大堆大小,例如:
1 | -Xmx3G |
它表示 Java 堆最大使用约 3GB。
当程序持续创建对象时,堆会逐渐被占用。JVM 需要定期执行垃圾回收,释放不再使用的对象。如果对象一直被引用,垃圾回收无法释放它们,就会产生内存压力。
2. 常见垃圾回收阶段
不同垃圾收集器的具体算法不同,但通常可以简单理解为:
Minor GC
主要回收年轻代对象。大多数临时对象生命周期很短,例如一次请求中创建的 DTO、字符串和中间集合。
Minor GC 通常较频繁,但单次停顿一般较短。
Major GC / Full GC
主要处理老年代,甚至可能整理整个堆。持续时间通常更长。
Full GC 期间可能出现 Stop-The-World,也就是暂停所有业务线程。暂停期间,应用看起来可能像“没有响应”。
Stop-The-World 为什么可怕
假设一次 Full GC 停顿几十秒:
- HTTP 请求无法继续执行。
- 定时任务暂停。
- 数据库连接对应的事务无法提交。
- Hikari 后台巡检线程也被暂停。
- 新请求继续堆积,占用更多线程和内存。
所以 GC 停顿不仅是“回收得慢”,还会引发一连串并发问题。
3. GC overhead limit exceeded 是什么意思
GC overhead limit exceeded 通常表示:
JVM 花了绝大部分时间执行垃圾回收,却只能回收很少的空间。
JDK 文档给出的典型判定条件是,垃圾回收时间超过总时间的约 98%,而每次回收的堆空间不足约 2%。
换句话说,程序可能已经陷入类似下面的循环:
1 | 创建对象 |
此时即使 JVM 偶尔还能响应,应用也已经不具备稳定服务能力。
4. 本次故障中的几个典型现象
4.1 业务请求突然大面积变慢
日志中出现了多次类似告警:
1 | HikariPool-1 - Thread starvation or clock leap detected |
它表示 Hikari 后台线程两次巡检之间的时间间隔异常变大,例如超过 1 分钟、接近 2 分钟甚至超过 2 分钟。
这不是数据库连接池自身突然停顿,而是整个 JVM 被长时间阻塞,连后台巡检线程都无法按计划执行。
4.2 获取数据库连接超时
随后出现了:
1 | Connection is not available, request timed out |
这说明请求还没有执行 SQL,就卡在了“等待一个可用数据库连接”的阶段。
原因可能是:
- 部分业务线程拿到连接后长时间没有结束。
- JVM 正在 GC,业务线程无法继续执行和归还连接。
- 慢 SQL、慢外部接口或长事务占用了连接。
因此,连接池耗尽通常是并发压力或线程停顿的结果,而不是孤立的根因。
4.3 连接泄漏告警未必是真正泄漏
Hikari 日志中还有:
1 | Connection leak detection triggered |
但如果后续出现:
1 | was returned to the pool (unleaked) |
说明连接最终归还了,只是被持有时间过长。
在 GC 长时间停顿时,连接可能只是因为业务线程无法运行而迟迟没有归还。
4.4 OOM 异常堆栈的“最后位置”不是根因位置
OOM 可能出现在:
- JDBC 驱动解析结果时
- JSON 序列化时
- Spring 参数转换时
- 创建字符串或对象时
这个位置只是 JVM 当时最后一次尝试分配内存的位置,并不一定是内存增长最开始发生的位置。
例如日志显示 OOM 发生在 JDBC 驱动读取字符串,并不能直接证明“是这条 SQL 造成了内存泄漏”。可能是此前大量请求、全量查询、缓存或导出已经把堆压满,最后一个数据库结果只是压垮 JVM 的最后一根稻草。
5. 常见堆内存压力来源
5.1 无界查询
例如:
1 | selectList(null); |
或者允许传入特别大的分页参数:
1 | pageSize=100000 |
这类查询会把大量数据库记录一次性加载到 JVM 堆中。
5.2 全量导出
Excel 导出很常见的一种写法是:
1 | 查询全部数据 |
如果数据量很大,查询结果、转换后的列表和 Excel 工作簿可能同时存在于内存中。
5.3 无界缓存或静态集合
例如:
1 | static Map<String, Object> cache = new HashMap<>(); |
如果只往里面添加数据,不删除或设置过期策略,缓存会随着运行时间不断增长。
5.4 一次请求加载不必要的数据
例如分页查询只有 10 条记录,却额外把全系统的数据加载出来,再在内存中匹配当前页。
这类问题在数据量小时不明显,随着用户量、角色量或业务数据增长,可能突然成为主要内存压力。
5.5 大文件和大响应体
以下操作也可能产生很高的瞬时内存峰值:
- 将大文件整体读入
byte[] - 一次读取超大 HTTP 响应
- 一次性序列化很大的 JSON
- 大图片、大附件转换
5.6 慢外部调用造成请求堆积
外部接口本身不一定直接消耗大量堆内存,但如果调用很慢:
1 | 外部接口响应慢 |
如果慢外部调用还位于数据库事务中,数据库连接也会被长期占用,进一步放大问题。
6. 如何判断是不是 JVM 堆问题
6.1 看 OOM 类型
常见的 Java 8 堆问题包括:
1 | java.lang.OutOfMemoryError: Java heap space |
两者都表示 Java 堆已经无法满足正常分配需求。
还需要区分:
1 | OutOfMemoryError: Metaspace |
它们不一定都是 Java 堆不足,排查方向不同。
6.2 看 GC 日志
Java 8 可以开启:
1 | -XX:+PrintGCDetails |
重点关注:
- Full GC 是否越来越频繁。
- 每次 Full GC 后老年代使用量是否仍然很高。
- 单次 GC 停顿是否持续增长。
- 堆内存是否呈阶梯式上涨,而不是正常波动。
6.3 看 JVM 堆状态
1 | jcmd 1 GC.heap_info |
重点不是看“当前用了多少”,而是看:
- 多次 Full GC 后能否降下来。
- 老年代是否持续接近上限。
- 系统空闲后内存是否能够恢复。
如果每次回收后占用仍然越来越高,就需要怀疑对象无法释放或请求数据量过大。
6.4 看线程栈
卡顿时连续抓取三次线程栈,每次间隔 5 秒:
1 | jstack 1 > thread-1.txt |
把三次结果放在一起看:
- 哪些线程一直停在同一个数据库查询?
- 哪些线程一直等待外部 HTTP 响应?
- 哪些线程卡在文件或序列化处理?
- 是否大量线程都停在 Hikari 获取连接?
- 是否有大量请求线程堆叠在同一个业务入口?
6.5 获取堆快照
仅靠普通异常日志通常无法找到真正的内存增长源,需要在 OOM 时获取 .hprof:
1 | -XX:+HeapDumpOnOutOfMemoryError |
也可以在系统尚未完全卡死时主动导出:
1 | jcmd 1 GC.heap_dump /app/dumps/manual.hprof |
堆快照可以进一步分析:
- 哪些类的实例数量最多。
- 哪些对象占用内存最多。
- 对象被哪些引用链持有。
- 是否存在缓存、集合或线程上下文导致的泄漏。
7. 正确的排查顺序
发生疑似 JVM 内存问题时,不建议第一反应就是重启。
第一步:先保现场
- 保存应用日志。
- 连续抓取线程栈。
- 保存 GC 日志。
- 条件允许时生成堆快照。
- 记录当时正在使用的主要功能。
第二步:判断是内存泄漏还是负载过高
如果 GC 后内存能回落,但高峰时短暂升高:
- 更可能是瞬时大对象、并发量高或某个大查询。
如果 GC 后内存仍然持续上涨:
- 更可能是对象被长期持有、缓存无界或真实内存泄漏。
第三步:恢复服务
如果系统已经完全失去响应,在尽量保存现场后重启。
第四步:根据证据修复代码
不要仅通过把 -Xmx3G 改成 -Xmx6G 解决问题。
扩大堆内存可能:
- 延后故障发生时间。
- 让单次 Full GC 停顿更长。
- 掩盖真正的内存泄漏。
扩容可以是临时缓解措施,但不能替代根因分析。
8. 日常防护建议
8.1 所有列表查询必须有上限
- 分页大小设置硬上限。
- 导出接口单独限制最大数据量。
- 禁止无条件的
selectList(null)。
8.2 外部调用必须有超时
连接超时、连接池获取超时和响应超时都应该明确设置。
外部 HTTP 调用尽量放在数据库事务提交之后,避免慢接口长期占用数据库连接。
8.3 大任务改成流式处理
对于历史数据、Excel 导出和大结果集:
- 分批读取。
- 流式写入。
- 避免把全部结果先加载到 List。
8.4 缓存必须有边界
- 设置最大容量。
- 设置过期时间。
- 明确淘汰策略。
- 不在静态集合中无限累积用户或业务数据。
8.5 监控 GC 和堆使用趋势
比“OOM 后报警”更有价值的是观察:
- 老年代在 Full GC 后的基线是否持续上涨。
- GC 停顿是否逐渐变长。
- 高峰流量结束后内存能否恢复。
9. 案例总结
这次问题的表面现象是:
1 | 系统卡顿 |
继续查看底层原因,实际链条更接近:
1 | 堆内存压力上升 |
因此,连接池告警只是表象,不能只盯着数据库连接池调大参数。
处理这类问题时应同时做两件事:
- 修复能够确认的内存压力来源,例如无界查询、大导出和慢外部调用。
- 保留 GC 日志和堆快照,确保未知内存问题下次能够继续定位。
10. 一句话记住这次经验
当 Java 应用整体卡死,同时出现 OOM、长时间 GC 停顿、获取数据库连接超时和连接泄漏告警时,应先判断是不是 JVM 堆和 GC 已经把业务线程拖停了,而不是只把连接池告警当成根因。