.png){kind=icon}
返回
Two-stage distributionally robust decoding for reliability-oriented natural language generation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.ipm.2026.105000.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
自然语言生成（NLG）的可靠性常因语义上合理但缺乏支持的续接内容而受损。我们提出两阶段分布鲁棒解码（TS-DRD），一种推理时框架，结合Wasserstein鲁棒对数修正与不确定性条件仿射控制。鲁棒修正的分析基于传输层内使用的代理目标函数。一阶变分表征解释了修正为何能平滑语义脆弱的词元配置，尽管其对事实正确性或幻觉率无定理级保证。因此，事实性导向的改进以公共基准上的经验发现形式报告。我们在TruthfulQA（N = 817）、HaluEval（N = 10,000）、CNN/DailyMail（N = 11,490）和PopQA上评估TS-DRD。经验上，TS-DRD将TruthfulQA MC2准确率从53.8%提升至58.2%，超过静态鲁棒基线，并将HaluEval摘要幻觉率从28.8%降至24.2%。分解诊断进一步刻画了这些改进的来源：基线正确与基线幻觉的分桶对比显示，改进主要来自修正幻觉案例而非均匀缩短响应；在离线Monte Carlo（MC）Dropout统计与我们的单次不确定性预测器之间的保真度检查得到Pearson相关系数r = 0.86；而按方法生成的长度与实体密度测量排除了简单的保守缩短。这些结果支持TS-DRD作为面向可靠性的解码实践方法，适用于信息处理任务。
Keyword:
Decoding
Hallucination
Reliability
Robustness
Uncertainty
Wasserstein
