Large Language Model Guided Progressive Feature Alignment for Multimodal UAV Object Detection

doi:10.1109/TIP.2026.3702419

Large Language Model Guided Progressive Feature Alignment for Multimodal UAV Object Detection

2026-06-16

0

PRE

AI

DOI：10.1109/TIP.2026.3702419

原文链接

原文求助

摘要

En 中文

现有多模态无人机目标检测方法常忽略模态间语义差异的影响，导致难以实现准确的语义和空间对齐，最终限制了检测性能。为解决此问题，我们提出了一种由大语言模型（LLM）引导的渐进特征对齐网络LPANet，利用大语言模型提取的语义特征引导多模态无人机目标检测中的渐进语义和空间对齐。为利用LLM强大的语义表示能力，我们通过ChatGPT生成各目标类别的精细文本描述，并使用大语言模型MPNet提取语义特征，提供高层语义先验以指导多模态对齐。基于语义特征，我们按以下方式引导渐进的语义和空间对齐：首先，设计语义对齐模块（SAM）拉近各目标在模态间的语义特征和视觉特征，缓解模态间的目标语义差异；其次，设计显式空间对齐模块（ESM），通过将语义关系整合到特征级偏移估计中，缓解模态间的粗空间错位；最后，设计隐式空间对齐模块（ISM），利用跨模态相关性聚合邻域关键特征以实现隐式空间对齐。在两个公开多模态无人机目标检测数据集上的全面实验表明，该方法优于当前最先进的多模态无人机目标检测器。源代码将在https://github.com/Vehicle-AHU/LPANet发布。

Keyword:

Infrared-visible UAV object detection

feature alignment

multi-modal fusion

large language model

Large Language Model Guided Progressive Feature Alignment for Multimodal UAV Object Detection

摘要

期刊

机构

引用论文