跳到正文
原文
Hugging Face Blog·· 2026-07-08精选AI 评分68

Hugging Face 升级 transformers 的 vLLM 建模后端,推理速度追平原生实现

Native-speed vLLM transformers modeling backend

AI 导读

Hugging Face 宣布 transformers 的 vLLM 建模后端已升级,兼容架构可通过 --model-impl transformers 达到或超过 vLLM 手写原生实现的吞吐。

推荐理由

文章给出三种 Qwen3 配置的实测吞吐和启用参数,模型作者可据此省去为 vLLM 单独移植优化代码的工作。

来源:Hugging Face Blog · huggingface.co