跳到正文
原文
Mistral AI·· 2026-01-22精选AI 评分63

Mistral AI 复盘 vLLM 内存泄漏:定位 UCX mmap hook 并给出修复

Heaps do lie: debugging a memory leak in vLLM.

AI 导读

Mistral AI 复盘了 vLLM 在 Mistral Medium 3.1、Prefill/Decode 分离服务和 graph compilation 条件下的内存泄漏,生产类流量中系统内存以 400 MB 每分钟增长并最终 OOM。

推荐理由

文章完整呈现从 Python 堆分析到内核追踪的排查路径,并给出可直接使用的 vLLM 内存泄漏规避配置。

来源:Mistral AI · mistral.ai