Mistral AI·· 2026-01-22精选AI 评分63
Mistral AI 复盘 vLLM 内存泄漏:定位 UCX mmap hook 并给出修复
Heaps do lie: debugging a memory leak in vLLM.
AI 导读
Mistral AI 复盘了 vLLM 在 Mistral Medium 3.1、Prefill/Decode 分离服务和 graph compilation 条件下的内存泄漏,生产类流量中系统内存以 400 MB 每分钟增长并最终 OOM。
推荐理由
文章完整呈现从 Python 堆分析到内核追踪的排查路径,并给出可直接使用的 vLLM 内存泄漏规避配置。
来源:Mistral AI · mistral.ai