Evaluating Large Language Models for Arduino Code Generation

Jabrw, Sardar K.

doi:10.14500/aro.12344

Evaluating Large Language Models for Arduino Code Generation

2026-01-01

0

PRE

AI

DOI：10.14500/aro.12344

原文链接

摘要

En 中文

语言模型（LLMs），也称为生成式AI，通过将自然语言提示翻译为可执行代码，改变了代码生成方式。然而，它们在为资源受限设备（如用于物联网和嵌入式系统的Arduino）生成代码方面的能力仍待探索。本研究评估了六种最先进的LLMs在生成正确、高效且高质量的Arduino代码方面的表现。评估从五个维度进行，即功能正确性、运行时效率、内存使用、代码质量、与人工编写代码的相似性以及多轮错误纠正。结果显示，ChatGPT-4o实现了最高的零样本功能正确性，并在可读性和相似性方面与人工代码高度一致。另一方面，Gemini 2.0 Flash生成执行速度更快的代码，但代价是更高的代码复杂度和更低的相似性。DeepSeek-V3在正确性与卓越的闪存内存优化之间取得了平衡，而Claude 3.5 Sonnet则在提示遵循方面存在困难。最后，多轮错误纠正提高了所有六个模型的正确性。总体而言，研究发现没有一种LLM在所有评估标准上持续表现出色。因此，模型选择必须与项目优先级保持一致；例如，ChatGPT-4o在功能正确性方面表现优异，Gemini 2.0在执行时间方面表现优异，而DeepSeek-V3在内存效率方面表现优异。本研究对使用LLMs为Arduino生成的代码进行了系统评估，据我们所知，此前尚未有研究在多个模型和性能指标上进行此类评估，从而为未来研究奠定了基础，并有助于增强LLM生成代码的可信度和有效性。

Keyword:

Large language models

Arduino

Code generation

Internet of Things

Code performance

Evaluating Large Language Models for Arduino Code Generation

摘要

期刊

机构

引用论文