AWS Machine Learning Blog· Mona Mona·· 4 小时前AI 评分52
Amazon SageMaker AI 上的 MoE 内核工程优化实践
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 介绍了在 Amazon SageMaker AI 的 LMI Deep Learning Container 中为 fused MoE 模型实施的三类内核优化，整体带来最高 10% 吞吐提升和最高 9% TTFT 改善。
来源：AWS Machine Learning Blog · aws.amazon.com