arrow
返回

Do multimodal large language models understand welding?

delete2025-05-15
delete0
PRE
AI
G
Grigorii Khvatskii
Y
Yong Suk Lee *
C
Corey Angst
R
Robert G. Landers
N
Nitesh V. Chawla *
DOI:10.1016/j.inffus.2025.103121delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
本文考察了多模态大型语言模型(MLLMs)在专业生产工作中的应用性能,重点研究了焊接领域。利用由领域专家标注的新型数据集,该数据集包含真实世界和在线焊接图像,我们评估了两种前沿MLLMs在三种不同情境下的焊接可接受性评估性能:RV & Marine(房车与船舶)、Aeronautical(航空航天)和Farming(农业)。尽管两种模型在在线图像上的表现更优,这可能是由于先前接触或记忆所致,它们在未见过的真实世界焊接图像上也表现出相对良好的性能。此外,我们引入了WeldPrompt,一种结合链式思维生成与上下文学习的提示策略,旨在减少幻觉并提升推理能力。WeldPrompt在某些情境下提高了模型的召回率,但在其他情境中表现不一致。这些结果表明,MLLMs在高风险技术领域存在局限性与潜力,并强调了微调、领域特定数据以及更复杂的提示策略对于提升模型可靠性的重要性。本研究为多模态学习在工业应用中的进一步研究开辟了新的方向。
Keyword:
AI in manufacturing
Multimodal Large Language Models (MLLMs)
Welding
Skilled production work
Real-world image classification
WeldPrompt

期刊

Information Fusion 封面图
Information Fusion
IF:
15.5
论文数:
4.2K
被引数:
2.7W

机构

U
Univ Notre Dame
学者数:
576
论文数: 324
被引数: 106
引用论文

引用论文

err分享
err收藏
Computer Vision Techniques in Manufacturing
err2023-01-01
err53
errOAAI
errZhou, Longfei; Zhang, Lin; Konz, Nicholas
err分享
err收藏
GPTs are GPTs: Labor market impact potential of LLMsGPTs是GPTs: LLMs的劳动力市场影响潜力
err2024-06-21
err0
PREAI
errTyna Eloundou; Sam Manning; Pamela Mishkin; Daniel Rock
err分享
err收藏
Survey of Hallucination in Natural Language Generation自然语言生成中的幻觉调查
err2023-03-03
err707
errOAAI
errJi, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Ye Jin; Madotto, Andrea; Fung, Pascale
err分享
err收藏
err分享
err收藏
学者 查看更多内容