.png){kind=icon}
返回
Autonomous agents: Augmenting visual information with raw audio data
.png){kind=icon}
OA
AI
DOI：10.1371/journal.pone.0318372.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在游戏玩法的领域，深度强化学习主要依赖视觉输入将状态映射到动作。从游戏环境中提取的视觉数据构成了强化学习代理状态表示的基础。然而，人类利用额外的感官输入，如音频提示，这些在感知和决策中起着关键作用。因此，将原始音频与视觉信息相结合，显示出为强化学习代理提供宝贵见解的潜力。本研究倡导将原始音频样本作为补充信息整合到状态表示中的视觉数据中。通过使用原始音频与视觉提示，我们的目标是丰富代理在每个阶段的决策过程。实验评估采用Deep Q Networks（DQN）和Proximal Policy Optimization（PPO）算法，在ViZDoom和Unity强化学习环境中进行。我们的实验结果表明，与仅依赖视觉数据相比，用原始音频样本增强视觉信息可获得更优的奖励并加速学习速率。此外，研究发现考虑视觉和音频特征可提升代理的行为，这一趋势在Unity和ViZDoom环境中均观察到。本研究强调了将多感官信息（尤其是原始音频）整合到强化学习代理状态表示中的潜在优势。这些见解有助于推进我们对代理如何感知并与其环境互动的理解，最终在复杂游戏场景中提升性能。
期刊
IF:
2.6
论文数:
2.6W
被引数:
81.6W
机构
引用论文
Self-supervised Deep Learning Based End-to-End Face Verification Method using Siamese Network基于自监督深度学习的端到端人脸验证方法，使用Siamese网络OAAI
OAAI分享收藏分享收藏FASS: Face Anti-Spoofing System Using Image Quality Features and Deep LearningFASS：基于图像质量特征和深度学习的防伪人脸系统.png)
ElectronicsOAAI
ElectronicsIF0
OAAI分享收藏UFace: An Unsupervised Deep Learning Face Verification SystemUFace: 一种无监督深度学习人脸验证系统ElectronicsOAAI
ElectronicsIF0
OAAI分享收藏分享收藏
查看更多内容