返回
ECD: Efficient Contrastive Decoding with Probabilistic Hallucination Detection
DOI:10.1007/978-3-032-06109-6_2.png)
摘要
En 中文
尽管大型视觉语言模型(LVLMs)取得了近期进展,但这些模型仍存在生成与所提供视觉输入不符的幻觉性响应。为缓解此类幻觉,我们提出了一种高效对比解码(ECD)方法,该方法利用概率性幻觉检测,在推理阶段将输出分布转向上下文准确的答案。通过对比标记概率和幻觉分数,ECD从原始分布中减去幻觉概念,有效抑制幻觉。值得注意的是,我们提出的方法可应用于任何开源LVLM,且无需额外训练LVLM。我们在多个基准数据集和不同LVLM上评估了该方法。实验表明,ECD有效缓解了幻觉问题,在LVLM基准性能和计算时间方面优于现有最优方法。
Keyword:
Multimodal large language models
Contrastive decoding
Hallucination mitigation
Hallucination detection
Meta classification
期刊
机构
引用论文
Overcoming language priors with self-contrastive learning for visual question answering通过自我对比学习克服语言先验知识以进行视觉问答
Logical Closed Loop: Uncovering Object Hallucinations in Large Vision-Language Models逻辑闭环:揭示大型视觉语言模型中的对象幻觉

