Hugging Face Blog·· 12 天前精选AI 评分67
Olmo-core 3 发布：面向万亿参数 MoE 的开放可扩展训练基础设施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
AllenAI 发布 Olmo-core 3，这是面向大型 MoE 大语言模型的开放训练框架升级，可扩展到万亿参数范围并保持计算效率。
推荐理由
文章给出从 FSDP 转向 DDP、专家驻留 GPU 等架构变化，并用多组吞吐和显存数据说明其对大规模 MoE 训练的工程参考价值。
来源：Hugging Face Blog · huggingface.co