Hacker News:AI 热帖· floathub·· 7 天前AI 评分64
Muna 分析如何用 GPU 协同式多任务缓解芯片短缺
Fighting the chip shortage with old school cooperative multitasking on GPUs
AI 导读
Muna 提出在单张 GPU 上动态共置多个模型,以协同式租约调度提升推理吞吐利用率,而不是只依赖更快的 kernel。文章估算单模型按峰值容量部署的平均利用率上限约为 35%,Qwen 3.8 27B 与 Kimi K3 在 OpenRouter 的加权市场利用率分别约为 28–33% 和 30–34%。
来源:Hacker News:AI 热帖 · muna.ai