.png){kind=icon}
返回
Streamlining Human–Robot Interaction: Integrating LLM-Based Planning into Modular Robotic Frameworks
.png){kind=icon}
OA
AI
DOI：10.3390/s26061978.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
具身人工智能（AI），即整合了AI与机器人技术的领域，已取得显著进展，尤其是在人机交互、任务辅助机器人和多模态AI模型的集成方面。实验研究已证明其在提供人类辅助、执行家务劳动及通过拾取与放置操作进行物体操控等复杂任务中表现出色。然而，尽管具备这些卓越能力，其实际应用仍受限制。虽然家务劳动和物体操控等任务具有显著实用价值，但用户常难以提供有效指令，且执行速度过慢，难以满足实际部署需求。本研究提出一种通过语音人类指令提升可用性的方法，并通过我们的Module Handler简化中间步骤以缩短操作时间。该方法利用大型语言模型精确提取语音人类指令中的信息。通过实验，我们验证了该方法的准确性，并确认其相较于相关研究实现了速度提升。我们的实验评估了系统从语音人类指令中提取相关信息时的准确性，实现了约92.47%的物体识别准确率。此外，相较于现有模块化机器人系统，我们的方法在四种不同实验环境中将任务完成时间平均减少了33秒。这一时间缩减对提升机器人任务执行效率具有重要意义。
Keyword:
embodied AI
modular robotics
large language model
human–robot interaction
task execution
期刊
IF:
3.5
论文数:
7.2W
被引数:
20.9W
机构
引用论文
Dorbala, V.S.; Mullen, J.F., Jr.; Manocha, D. Can an embodied agent find your Cat-Shaped Mug? LLM-guided exploration for zero-shot object navigation. arXiv 2023, arXiv:2303.03480. [Google Scholar] [CrossRef]Dorbala, V.S.; Mullen, J.F., Jr.; Manocha, D. 一个具身智能体能否找到您的猫形马克杯？基于大型语言模型指导的零样本目标导航探索。arXiv 2023, arXiv:2303.03480. [Google Scholar] [CrossRef].png)
IF0
PREAI
分享收藏Embodied Agent Interface: Benchmarking LLMs for Embodied Decision MakingLi, M.; Zhao, S.; Wang, Q.; Wang, K.; Zhou, Y.; Srivastava, S.; Gokmen, C.; Lee, T.; Li, L.E.; Zhang, R.; et al. 具身智能体接口：为具身决策制定基准测试大型语言模型。神经信息处理系统进展. 2024, 37, 100428–100534. [Google Scholar] [CrossRef]
PREAI
分享收藏Minderer, M.; Gritsenko, A.; Stone, A.; Neumann, M.; Weissenborn, D.; Dosovitskiy, A.; Houlsby, N. Simple Open-Vocabulary Object Detection with Vision Transformers. arXiv 2022, arXiv:2205.06230. [Google Scholar] [CrossRef]Minderer, M.; Gritsenko, A.; Stone, A.; Neumann, M.; Weissenborn, D.; Dosovitskiy, A.; Houlsby, N. 简单的开放词汇目标检测与视觉转换器。arXiv 2022, arXiv:2205.06230. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏KMSAV: Korean multi‐speaker spontaneous audiovisual datasetPark, K.; Oh, C.; Dong, S. KMSAV: 韩国多说话人自发声音频视觉数据集。ETRI J. 2024, 46, 71–81. [Google Scholar] [CrossRef]ETRI Journal
ETRI JournalIF0
PREAI
分享收藏Liu, P.; Orru, Y.; Vakil, J.; Paxton, C.; Shafiullah, N.M.M.; Pinto, L. OK-Robot: What really matters in integrating open-knowledge models for robotics. arXiv 2024, arXiv:2401.12202. [Google Scholar] [CrossRef]刘, P.; Orru, Y.; Vakil, J.; Paxton, C.; Shafiullah, N.M.M.; Pinto, L. OK-Robot: 在机器人技术中集成开放知识模型真正重要的因素。arXiv 2024, arXiv:2401.12202. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏
查看更多内容