DESS: Dimensional-PDFs for Embedding Space Sampling

doi:10.1007/978-3-032-11402-0_1

2026-01-01

PRE

DOI：10.1007/978-3-032-11402-0_1

原文链接

原文求助

摘要

En 中文

机器学习模型中的概率采样是一种在输出生成过程中引入有益随机性和变异性的技术。它增强了输出多样性和创造性，特别是在轻微变化即可产生新颖有趣结果的任务中。例如，大型语言模型（LLMs）使用此技术生成多样且语境适宜的响应，以反映人类语言的灵活性。本文提出了一种新颖的方法，用于训练神经网络输出嵌入空间中每个维度概率密度函数（PDF）的参数。我们的方法——嵌入空间采样的维度概率密度函数（DESS）——在推理时利用这些PDF从嵌入空间中采样，为模型输出的概率采样提供了新途径。我们的方法采用简单的损失函数和多步损失计算来学习均值和方差参数，无需在训练期间进行采样，从而提高了计算效率并易于与现有架构集成。我们通过合成数据集上的受控实验验证了DESS，展示了其在不同高斯目标分布下对真实分布参数的准确近似。该框架在大词汇量模型中具有潜在应用，能够显著减少参数同时保持校准的不确定性估计。我们以正态分布为例介绍了DESS，但该方法可扩展至其他分布类型以满足特定采样需求。

Keyword:

Machine Learning

Probabilistic Sampling

Embedding Spaces

Uncertainty Estimation

Neural Networks