Hacker News：AI 热帖· gmays·2026-10-16 02:41· 4 小时前AI 评分53

vLLM 推出 NixlPushConnector，用推送式 KV 传输优化分离式推理 TTFT 与 TPOT

Push-Based KV Transfer to Improve TTFT, TPOT for Disaggregated Inference in vLLM

AI 导读

vLLM 新增推送式 NIXL KV 连接器 NixlPushConnector，让 decode 实例在 prefill 计算期间提前注册目标块，并由 prefill 侧通过 NIXL WRITE 推送 KV，减少首 token 前的串行协调。