DiScoFormer：一个跨分布同时估计密度与 score 的 Transformer 模型

Hugging Face 介绍 DiScoFormer，这是一个可在单次前向传播中同时估计分布密度与 score、无需按新分布重新训练的 Transformer 模型。模型用高斯混合模型训练，采用共享主干与密度、score 双输出头，并把 KDE 作为特殊情形。在 100 维任务中，其 score 误差较最佳手工调优 KDE 降低约 6.5x，密度误差降低超过 37x。