返回
Do multimodal large language models understand welding?
DOI:10.1016/j.inffus.2025.103121.png)
摘要
En 中文
本文考察了多模态大型语言模型(MLLMs)在专业生产工作中的应用性能,重点研究了焊接领域。利用由领域专家标注的新型数据集,该数据集包含真实世界和在线焊接图像,我们评估了两种前沿MLLMs在三种不同情境下的焊接可接受性评估性能:RV & Marine(房车与船舶)、Aeronautical(航空航天)和Farming(农业)。尽管两种模型在在线图像上的表现更优,这可能是由于先前接触或记忆所致,它们在未见过的真实世界焊接图像上也表现出相对良好的性能。此外,我们引入了WeldPrompt,一种结合链式思维生成与上下文学习的提示策略,旨在减少幻觉并提升推理能力。WeldPrompt在某些情境下提高了模型的召回率,但在其他情境中表现不一致。这些结果表明,MLLMs在高风险技术领域存在局限性与潜力,并强调了微调、领域特定数据以及更复杂的提示策略对于提升模型可靠性的重要性。本研究为多模态学习在工业应用中的进一步研究开辟了新的方向。
Keyword:
AI in manufacturing
Multimodal Large Language Models (MLLMs)
Welding
Skilled production work
Real-world image classification
WeldPrompt
期刊
IF:
15.5
论文数:
4.2K
被引数:
2.7W
机构
引用论文
CausalKGPT: Industrial structure causal knowledge-enhanced large language model for cause analysis of quality problems in aerospace product manufacturingCausalKGPT: 用于航空航天产品制造质量问题原因分析的产业结构因果知识增强型大语言模型
The Short-Term Effects of Generative Artificial Intelligence on Employment: Evidence from an Online Labor Market生成性人工智能对就业的短期影响: 来自在线劳动力市场的证据
ORGANIZATION SCIENCE
IF5.4
Leveraging error-assisted fine-tuning large language models for manufacturing excellence利用错误辅助微调大型语言模型实现卓越制造

