.png){kind=icon}
返回
Domain knowledge-driven image captioning for bridge damage description generation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.autcon.2025.106116.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
基于深度学习的桥梁视觉检测通常产生有限的输出，缺乏实际评估所需的准确描述。研究人员已探索多模态方法以生成损伤描述，但现有模型易产生幻觉，且面临特征表示充分性、注意力机制灵活性和领域特定知识整合等方面的挑战。本文开发了一种由领域知识驱动的图像字幕生成框架，以解决这些问题。该框架整合了一个多级特征融合模块，自适应地将训练好的Faster R-CNN权重（领域知识）与CNN架构相结合。此外，它引入了一种关联感知的注意力机制，以动态捕捉图像区域间的相互依赖关系，并在LSTM解码过程中优化注意力焦点。实验结果表明，所提出的框架实现了更高的BLEU分数，并通过注意力热图验证提升了图像-文本对齐效果。尽管该框架提升了检测效率和质量，但仍需进一步扩充数据集和更广泛的领域验证，以评估其泛化能力。
Keyword:
Deep learning
Image captioning
Bridge damage
Multimodal learning
期刊
IF:
11.5
论文数:
6.3K
被引数:
4.2W
机构
暂无机构信息
引用论文
Comparison of deep convolutional neural networks and edge detectors for image-based crack detection in concrete深度卷积神经网络和边缘检测器在基于图像的混凝土裂缝检测中的比较
PREAI
分享收藏Vision-based automated crack detection using convolutional neural networks for condition assessment of infrastructure基于卷积神经网络的基于视觉的自动化裂缝检测，用于基础设施的状态评估
PREAI
分享收藏分享收藏Sam-based instance segmentation models for the automation of structural damage detection基于Sam的结构损伤自动检测实例分割模型
PREAI
分享收藏Deep learning for automated multiclass surface damage detection in bridge inspections深度学习用于桥梁检测中的自动化多类表面损伤检测
PREAI
分享收藏Advances in Computer Vision-Based Civil Infrastructure Inspection and Monitoring基于计算机视觉的民用基础设施检测与监控研究进展.png)
ENGINEERING
OAAI
ENGINEERINGIF11.6
OAAI分享收藏Computer vision-based concrete crack detection using U-net fully convolutional networks基于计算机视觉的u-net全卷积网络混凝土裂缝检测
PREAI
分享收藏分享收藏
查看更多内容