.png){kind=icon}
返回
Context-Aware Dynamic Actor-Critic for Multimodal Visual Reinforcement Learning
.png){kind=icon}
PRE
AI
DOI：10.1007/s11263-026-02955-4.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
将RGB帧与其他视觉模态的融合在基于视觉的强化学习（RL）中正日益受到关注。现有的多模态基于视觉的RL方法通常将所有输入模态特征融合为全局模态特征，作为后续决策的统一环境描述。然而，这种直接的“融合-决策”范式往往忽视了模态异质性对价值估计和政策学习的影响，导致模态价值冲突和单模态策略优势。为解决此问题，本文提出了一种面向上下文的动态Actor-Critic（ConDAC）框架用于多模态基于视觉的RL。与“融合-决策”不同，ConDAC采用“辨识-决策”范式，在决策前根据环境上下文动态协调不同模态的交互。它包含一种双一致性价值估计（DCVE）方法来评估单个模态的贡献及其集体效能，确保更准确的价值估计。此外，一种目标渐进策略学习（TPPL）策略通过逐步整合各模态的最佳见解，系统地优化最终策略。大量实验证明了本方法在自动驾驶和机器人控制等挑战性任务中的优越性，为未来多模态基于视觉的RL增强提供了有前景的方向。
Keyword:
Vision-based Reinforcement Learning
Multiple Modalities
Value Estimation
Policy Learning
期刊
IF:
9.3
论文数:
3.9K
被引数:
2.8W
机构
引用论文
.png){kind=icon}
Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving: Datasets, Methods, and Challenges面向自动驾驶的深度多模式对象检测和语义分割: 数据集、方法和挑战
OAAI
OAAI分享收藏TransFuser: Imitation With Transformer-Based Sensor Fusion for Autonomous DrivingTransFuser: 基于变压器的传感器融合模拟自动驾驶
OAAI
OAAI分享收藏
查看更多内容