Microsoft AI 完成 MAI-Base-2 预训练，2.8T 参数 MoE 模型进入后训练

Microsoft AI 宣布完成 MAI-Base-2 预训练，该模型为 MoE 基座模型，拥有 80B 激活参数和 2.8T 总参数，目前正在后训练。模型在 16k GB200 GPU 上训练 38 天，训练混合数据共 50T token，其中 VLM 数据占 18%，VLM 语料包含 4.5T 唯一 token。