返回
Random Direct Preference Optimization for Radiography Report Generation
DOI:10.1007/978-3-032-07845-2_17.png)
摘要
En 中文
放射学报告生成(RRG)在医学图像分析中已引起广泛关注,作为一种有望减轻放射科医生日益繁重工作负荷的潜在工具。然而,尽管已有诸多进展,现有方法尚未达到满足实际临床部署所要求的报告质量。与此同时,大型视觉语言模型(VLMs)通过采用最初为大型语言模型(LLMs)设计的训练策略(如对齐技术),在通用领域已展现出显著进步。在本文中,我们提出了一种模型无关的框架,利用直接偏好优化(DPO)来提升RRG的准确性。我们的方法借助随机对比采样来构建训练对,无需依赖奖励模型或人类偏好标注。在为三种当前最优模型补充我们的随机DPO的实验中表明,我们的方法在无需额外训练数据的情况下,可将临床性能指标提升高达5%。
Keyword:
Radiography
Report Generation
Visual Language Models
Alignment
Direct Preference Optimization
期刊
F
IF:
0
论文数:
16
被引数:
0

