DiScoFormer：一个跨分布同时估计密度和得分的Transformer
从有限样本中恢复出完整的概率分布，是机器学习最核心的任务之一。但传统方法有个死穴：要么像核密度估计（KDE）那样通用但碰高维数据就立刻失效，要么像专门的神经网络那样精度高却必须针对每个新分布从头训练。更麻烦的是，你需要同时知道两样东西—密度（哪里密集）和得分（密度上升最快的方向），而生成模型、贝叶斯采样甚至等离子体模拟全都依赖后者。这形成了一个尴尬的取舍：要么用KDE死磕高维，精度惨不忍睹；要么为每个新问题重新训练一个巨大的模型，成本高到离谱。
DiScoFormer的思路非常聪明：它用一个Transformer把这两个问题一次性解决了。核心是把KDE当作自己的一个特例—单个注意力头的权重本质上就是高斯核，所以交叉注意力层天然就能做密度和得分估计。然后它用一堆这样的头，再加上可学习的位置编码，就能同时学到多个尺度的KDE，比手工选带宽强得多。更巧妙的是，密度和得分在数学上是有关系的一得分就是密度对数的梯度，所以他们让两个输出头共享一个骨干网络，然后在推理时通过一个无标签的一致性损失来微调。这意味着你换了个数据集，不需要重新训练，跑几步梯度下降就能自适应。训练数据全是高斯混合模型，因为这东西密度和得分有闭式解，可以无限生成监督信号。
我对这篇工作最认可的，是它回归了基础问题而非追逐时髦应用。得分估计是生成模型、贝叶斯推断、科学计算之间的底层桥梁，如果真有一个即插即用的预训练模型，能在100维上比调参调到最佳的KDE误差降低37倍，那整个实学领域都会被冲击。当然，它在小样本下的速度劣势和真实分布（比如图像）上的表现还需要验证，但方向绝对正确—与其为每个新问题造轮子，不如造一个能学习的KDE替代品。这个工作让我更确信：Transformer的架构优势远不止于语言和视觉，它正在变成一种通用的“函数逼近器和集合处理器”。
