Mistral AI 复盘 vLLM 内存泄漏:定位 UCX mmap hook 并给出修复
Mistral AI 复盘了 vLLM 在 Mistral Medium 3.1、Prefill/Decode 分离服务和 graph compilation 条件下的内存泄漏,生产类流量中系统内存以 400 MB 每分钟增长并最终 OOM。
推荐理由:文章完整呈现从 Python 堆分析到内核追踪的排查路径,并给出可直接使用的 vLLM 内存泄漏规避配置。
模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。
Mistral AI 复盘了 vLLM 在 Mistral Medium 3.1、Prefill/Decode 分离服务和 graph compilation 条件下的内存泄漏,生产类流量中系统内存以 400 MB 每分钟增长并最终 OOM。
推荐理由:文章完整呈现从 Python 堆分析到内核追踪的排查路径,并给出可直接使用的 vLLM 内存泄漏规避配置。
Mistral AI 发布下一代 Mistral 3 模型家族,包含 3B、8B、14B 的 Ministral 3 稠密模型,以及 41B active、675B 总参数的稀疏 MoE 模型 Mistral Large 3,全部采用 Apache 2.0 许可。
推荐理由:官方同时给出模型规格、开源许可、部署平台和基准位置,便于读者按端侧到数据中心的不同场景选型。
Mistral AI 联合 Carbone 4 与 ADEME 完成 Large 2 生命周期分析,并经 Resilio、Hubblo 同行评审。
推荐理由:报告把训练与单次推理的碳、水和资源消耗拆开披露,可作为比较不同大模型环境成本的参考框架。
Mistral AI 为 Le Chat 发布多项新功能,包括 Deep Research 预览模式、基于 Voxtral 的语音模式、由 Magistral 驱动的多语言 Think 模式、Projects 文件夹,以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由:官方一次性说明 Le Chat 在研究、语音、推理、项目管理和图像编辑上的能力扩展,可用于对比通用 AI 助手的功能演进。
Mistral AI 发布首个推理模型 Magistral,包含 24B 参数的开源 Magistral Small 和企业版 Magistral Medium。
推荐理由:官方同时给出开源与企业版本、基准成绩和可用入口,便于读者比较其推理能力与部署方式。
Mistral AI 发布 Mistral Medium 3,称其以更低成本提供前沿模型性能,API 定价为 $0.4 input / $2 output per M token。
推荐理由:官方给出定价、基准对比和企业部署方式,可帮助读者判断中等规模模型在成本与专业任务间的取舍。