跳到正文
原文
Hacker News:AI 热帖· jackwsmth·· 6 天前AI 评分42

在11台Intel AI PC上运行Inkling(975B)

Running Inkling (975B) Across Eleven Intel AI PCs

AI 导读

Cascadia在11台Intel Core Ultra X7 358H AI PC上常驻运行总参数975B、活跃参数41B的MoE模型Inkling,自研引擎将dense层调用时间从约8.1ms降至4.5ms。系统在88路并发下达到60.29 tokens/s聚合解码速度,完整服务阶段为46.87 tokens/s,15路并发时首token延迟中位数6.05秒,单流内存可支持512k位置上下文。

来源:Hacker News:AI 热帖 · arxiv.org