.png){kind=icon}
返回
DESS: A Robust Uncertainty Layer for Embedding-Space Models
.png){kind=icon}
OA
AI
DOI：10.1007/s13218-026-00919-x.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
嵌入空间系统通常从一个点表示中检索、排序或推荐，即使任务会受益于不确定性或受控多样性。我们介绍了DESS，一种轻量级不确定性层，它通过预测均值向量和独立的逐维扩展向量来增强现有嵌入模型。DESS使用确定性逐元素损失进行训练，训练过程中无需采样，并通过最近邻选择将推理时的样本映射回可用输出，使训练好的预测器与固定的输出字典解耦。核心问题是，这种简单的对角不确定性层在多维嵌入空间中是否有意义且安全。我们表明，学习到的扩展捕获了真实的局部几何特征：在20 Newsgroups句子转换器嵌入中，它与经验类内变异强秩相关（斯皮尔曼$$\rho = 0.94$$）。然而，它并非知识不确定性：扩展范数在留出类OOD检测中表现随机（AUROC 0.49）。随后我们表明，推理时的采样受测度集中效应支配，样本位移集中在扩展向量范数附近。这产生了一个训练集几何规则来选择扩展乘数$$\beta$$，该规则预测了AG News上的安全采样范围。在SQID/ESCI重排序中，最强的DESS变体保留冻结的SBERT查询嵌入作为均值，仅学习局部扩展；当$$\beta = 0.09$$时，采样的重排序与SBERT-文本基线匹配，但未超过多模态融合或交叉编码器系统。因此，DESS为嵌入空间模型提供了一个模块化、几何感知的不确定性层，前提是其扩展需校准到局部嵌入几何。
Keyword:
Probabilistic sampling
Embedding spaces
Uncertainty estimation
Concentration of measure
Calibration
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
K
IF:
3.6
论文数:
29
被引数:
977
.png){kind=icon}
