DiScoFormer找到了KDE和神经网络都错过的AI瓶颈解决方案

几十年来，在根据少量数据点估计概率分布的任务中，两条路径一直并存。核密度估计（KDE）是通用的，它无需训练即可适用于任何分布，但其精度会随着维度增加而急剧下降。神经得分匹配模型在高维空间中保持高精度，但必须针对每个新分布从头重新训练。这两条路径都无法同时提供通用性和精确性。 what-the-5-day-old-paper-260623050-tells-us-about-the-future-of-ai

一个研究团队现在提出了第三条路径：一种他们称之为DiScoFormer（密度与得分Transformer）的Transformer，它接收一组数据点，在一次前向传播中返回底层分布的密度和得分，无需重新训练。该方法在一篇预印本论文中详细介绍，展示了在高维基准测试中的强劲性能，对生成式AI、贝叶斯统计和科学计算具有重要影响。 gpt-55-dominates-a-new-benchmark-for-agents-that-rewrite-their-own-rules

密度和得分的实际作用

分布的密度是一个平滑的直方图：数据点聚集处高，罕见处低。得分是对数密度的梯度，它指向密度上升最快的方向。沿着得分移动一个点，它会趋向概率更高的区域。这种方向信息是Stable Diffusion和DALL-E等基于扩散的生成模型的核心：它们从随机噪声开始，反复跟随得分以生成逼真的图像。同样的得分也驱动着贝叶斯采样和等离子体物理学中使用的粒子模拟。 microsoft-research-cracks-the-black-box-of-brain-prediction-ai-with-a-closed-loop-test

从有限样本中提取这两个量是核心难点。KDE在每个数据点处放置一个核（一个凸起），并将它们求和以估计密度。它无需训练且可推广到任何分布，但成本随维度增加而急剧上升，精度也迅速下降。神经得分匹配模型训练一个网络直接预测得分，即使在高维空间中也保持高精度，但每个模型都必须学习特定的分布，当数据变化时需要重新训练。

DiScoFormer的架构：注意力机制作为广义核

DiScoFormer通过使用交叉注意力的堆叠Transformer块，将整个样本映射到其背后分布的密度和得分。关键的设计见解是，单个交叉注意力头计算的权重几乎就是数据上的高斯核，作者从数学上证明了这一已知事实。因此，一个交叉注意力块已经可以复现经典KDE的密度和得分。但Transformer并不止步于此：多个头和多层让DiScoFormer能够同时学习多个核尺度，并根据数据的局部结构进行调整。

得分和密度在数学上相互关联：得分是对数密度的梯度。DiScoFormer通过使用带有两个输出头的共享主干来利用这一点。这种耦合产生了一个无标签的一致性损失：在推理时，得分头的预测必须与每个查询点处对数密度头的梯度相匹配。团队利用这一特性来适应分布外输入：固定上下文，对一致性损失进行几步梯度更新，模型无需任何真实密度或得分即可自我调整。 nvidias-nemotron-data-atlas-reveals-why-synthetic-data-is-the-real-agent-bottleneck

在无限混合分布上训练

训练数据完全由高斯混合模型（GMM）组成。作者给出了两个原因：GMM是通用密度逼近器，具有足够多的分量可以匹配任何平滑分布；并且它们具有封闭形式的密度和得分，为每个批次提供精确的目标。模型每批次都会看到一个全新的GMM，这实际上是在无限供应的目标分布上进行训练。这种策略消除了过拟合固定基准的风险，并使模型能够处理与训练时所见分布迥异的分布。

高维优势与经典速度权衡

最显著的数据来自100维测试。与最佳手工调整的KDE相比，DiScoFormer将得分误差降低了约6.5倍，密度误差降低了超过37倍。随着样本量增长，差距进一步拉大：KDE因内存耗尽而停止改进，而DiScoFormer持续提升。该模型还能推广到包含训练期间从未见过的更多模态的混合分布，以及拉普拉斯分布和t分布等非高斯形状。

KDE在速度上仍具优势，尤其是在小数据集上。但作者认为，对于大多数得分估计至关重要的应用, , 生成建模、贝叶斯推断、科学计算, , 能够跨多个问题使用单个预训练模型而无需重训，可能足以抵消推理时的计算开销。 navigating-the-edge-new-framework-promises-safer-ai-deployment-in-critical-systems

一个模型服务于多个领域

DiScoFormer最有前景之处在于，得分估计是多个学科共同依赖的基础。扩散模型在采样时需要得分。贝叶斯计算在哈密顿蒙特卡洛和变分推断中使用得分。等离子体物理和天体物理学中的粒子模拟依赖于基于得分的校正步骤。一个预训练的即插即用型估计器，能够在高维空间保持高精度并适应新分布而无需重训，可能同时降低所有这些领域的成本。 mistral-acquires-emmi-ai-to-bring-physics-foundation-models-to-industrial-engineering

研究人员承认，DiScoFormer目前还不是专用神经得分匹配在所有场景下的直接替代品，每个领域对延迟、内存和期望精度都有各自约束。但结果表明，单个Transformer可以弥合多年来将KDE与神经方法分隔开来的通用适用性与高维精度之间的差距。这种方法能否成为分布恢复的默认工具，将取决于它是否能扩展到更高维度，以及一致性损失自适应能否在现实世界的科学工作流中可靠运行。