Hacker News:AI 热帖· thebeardisred·· 14 天前AI 评分67
如何用 vLLM、Red Hat AI 与 DiffusionGemma 运行决策模型
Run Decision Models on vLLM and Red Hat AI Using DiffusionGemma
AI 导读
文章介绍如何用开源 DiffusionGemma 26B-A4B 在 vLLM 中实现类似 Jev 的结构化决策引擎,输出带概率的选择、评分和是非判断。vLLM PR #57250 通过 seeded canvas、单步 denoising 和 logprobs 读取决策,32 并发时测得 54 req/s、0.58 s,每请求 3 个问题。
来源:Hacker News:AI 热帖 · developers.redhat.com