Human-centric multimodal data processing for human-robot collaboration: A survey

doi:10.1016/j.cie.2026.112271

Human-centric multimodal data processing for human-robot collaboration: A survey

2026-08-01

0

PRE

AI

DOI：10.1016/j.cie.2026.112271

原文链接

原文求助

摘要

En 中文

在工业5.0的背景下，倡导以人为中心的制造，人机协作（HRC）已成为通过整合人类的认知和适应能力与机器人的高精度执行来增强生产灵活性和效率的关键范式。在复杂且动态的协作环境中，自然交互和有效团队协作高度依赖于多模态数据采集、表示、对齐、融合和推理。然而，现有综述主要关注一般HRC框架或应用导向的视角，而关于多模态数据处理方法及其在整个协作流程中的功能作用的系统性综述仍有限。为弥补这一差距，我们从多模态数据驱动、端到端的角度审视HRC（涵盖截至2025年6月30日的研究）。共回顾了191项相关研究，并建立了一个综合研究框架，涵盖人机关系建模、感知、认知、决策和应用分析。特别地，我们分析了关系建模、单模态表示学习、跨模态对齐与融合的核心方法，以及语义推理和决策，并讨论了它们在环境感知、用户理解和协作辅助中的作用。最后，识别了人机关系建模、多模态感知、数据建模和推理中的关键挑战，并概述了未来研究方向。本综述旨在为HRC中的多模态数据处理提供系统性的理解，并促进这一快速发展的领域的进一步研究和学术讨论。

Keyword:

Human-Robot Collaboration

Industry 5.0

Multimodal Data

Human-Robot Relationship

Collaboration

Human-centric multimodal data processing for human-robot collaboration: A survey

摘要

期刊

机构

引用论文