跳到正文
原文
Hacker News:AI 热帖· ilreb·· 13 天前AI 评分53

Heimr 570M 端侧实验模型发布,长上下文解码速度提升 2 至 8 倍

Heimr 570M: a local model that stays fast as the context grows

AI 导读

Heimr 570M 是面向手机和笔记本的实验性混合 MoE 模型,总参数 2.7B、每 token 激活约 570M,训练上下文为 64K。模型由 16 层 Mamba-3 和 4 层 Heimr attention 组成,在 64K 上下文下单流解码比 Qwen3-0.6B 快 14 倍,DCLM CORE 得分为 0.411。

来源:Hacker News:AI 热帖 · sevren.ai