Multiverse Computing 提出低成本 LLM 知识蒸馏方法并开源分块 KL loss

Multiverse Computing 发布论文 Efficient Knowledge Distillation for LLMs，通过离线缓存教师模型每位置 top-100 logits，并使用 fused chunked KL loss，避免同时驻留教师和学生及生成完整词表乘序列矩阵。