Fireworks AI(网页)·· 20 天前AI 评分52
Fireworks 发布 ARCv3 权重增量压缩器,跨区域 RL 传输负载较 ARCv2 缩小近 50%
Every byte counts: ARCv3 and the case for cross-region RL
AI 导读
Fireworks 发布 ARCv3 权重增量压缩器,用于压缩训练器发送给 RL rollout 机器的 BF16 权重更新。基于 1,000 个生产环境 RL 权重更新增量测试,ARCv3 的平均负载为原始 BF16 权重大小的约 0.19%,低于 ARCv2 的 0.36%,并可无损重建逐 bit 一致的权重。
来源:Fireworks AI(网页) · fireworks.ai