.png){kind=icon}
返回
Evaluating LLMs in ROS robotic software code generation
.png){kind=icon}
PRE
AI
DOI：10.1007/s10664-026-10910-7.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
代码生成已成为加速机器人软件开发的一项有价值的技术。然而，与通用编程不同，为赛博物理系统（CPS）生成代码需要导航复杂的、领域特定的框架，如机器人操作系统（ROS）。尽管大型语言模型（LLMs）在通用代码生成方面表现出色，但它们合成可执行且符合中间件规范的ROS代码的能力仍不为人所知。这项任务要求LLMs不仅要解决机器人任务，还要生成能够在分布式ROS框架内无缝集成的代码。为解决这一差距，我们构建了ROSDevEval，一个包含240个真实世界ROS编程任务的专用基准，并进行了全面的实证研究，以评估四种最先进的LLMs以及一个专用代码助手（GitHub Copilot）。我们的结果显示出严重的领域能力差距：尽管最先进的LLMs在通用C++上达到高达88.4%的Pass@1，但它们在机器人场景中的性能出现了急剧的相对下降，范围从78.8%到85.4%，甚至专用助手也难以超过32.5%的成功率。通过严格的开放式编码分析，我们将LLMs的生成失败系统地分为两个不同维度。在机器人任务解决中，LLMs难以应用物理约束并产生功能性逻辑。在ROS框架集成中，它们系统地违反了系统编排所需的严格中间件合同。此外，我们的根本原因分析明确地将这些表面级失败与其潜在病因分离，揭示了一种深刻的认知双重缺陷：LLMs缺乏长视域的流程分解能力，无法将抽象任务转化为可执行序列，并且无法把握分布式系统集成所需的刚性架构拓扑。这些发现界定了当前局限性，并为推进下一代机器人基础模型提供了可操作的、架构感知的启示。代码和数据集可在https://github.com/zyx065/rosdeveval获取。
Keyword:
Code generation
Robot software
Robot operating system
Large language model
期刊
IF:
3.6
论文数:
2.0K
被引数:
5.3K
机构
引用论文
.png){kind=icon}
分享收藏分享收藏
查看更多内容