Hacker News：AI 热帖· matt_d·· 11 天前AI 评分60
研究提出用 System One 决策模型重构 LLM 服务，并发布 JevServe-Bench 评测
Rethinking LLM Serving with System One Models
AI 导读
一项研究提出用低成本 System One 决策模型处理 LLM 服务中的缓存、路由、安全、工具调用和排队等判断，并构建 JevServe-Bench 评测这些决策。
来源：Hacker News：AI 热帖 · supercomputing-system-ai-lab.github.io