EvaLooop : A Self-Consistency-Centered Framework for Assessing Large Language Model Robustness in Programming

Sen Fang

doi:10.1145/3850240

EvaLooop : A Self-Consistency-Centered Framework for Assessing Large Language Model Robustness in Programming

2026-01-01

0

PRE

AI

DOI：10.1145/3850240

原文求助

摘要

En 中文

动机：评估大型语言模型（LLMs）的编程鲁棒性对于确保其在基于AI的软件开发中的可靠性至关重要。现有的鲁棒性评估通常采用外生对抗性扰动，其中修改是外部设计和应用于模型输入的。存在两个局限性。首先，不同的外生攻击策略可能导致模型排名不同，使结论依赖于扰动设置。其次，这些评估没有直接表征当模型自身输出被转换并重新用作输入时的稳定性。这种设置与迭代软件工程工作流程相关。解决方案：我们引入EvaLooop，一种新颖的评估框架，从自一致性角度评估鲁棒性，利用软件工程任务中固有的自然对偶性（例如，代码生成和代码摘要）。EvaLooop建立一个自包含的反馈循环，其中相同的LLM在代码和自然语言之间迭代转换，从其自身输出分布产生内源性转换。在这些自生成转换下的鲁棒性由平均可持续循环（ASL）指标量化，这是一个归一化分数，结合二次加权成功循环计数与语义相似性。这种循环策略识别生成的代码首次功能测试失败的时间，并在评估循环内提供鲁棒性的互补视图，无需外部攻击配置。结果：我们在配备MBPP Plus基准的EvaLooop上评估了96个流行的LLM，参数范围从0.5B到685B，发现EvaLooop通常在十次循环内导致Pass@1准确率绝对下降2.65%–47.62%。自生成转换下的稳定性并不总是与初始性能（即一次查询）一致；例如，Qwen3-235B-A22B-Instruct-2507尽管与OpenAI的o系列模型和DeepSeek-V3相比初始代码生成较差，但获得了更高的ASL分数。影响：EvaLooop揭示了不同模型间的不同退化模式，为开发者提供了一种通过迭代转换评估LLM功能一致性的实用框架，并提供了支持更明智模型选择决策的互补见解。实时排行榜：https://evalooop.github.io/。

EvaLooop : A Self-Consistency-Centered Framework for Assessing Large Language Model Robustness in Programming

摘要

期刊

机构

引用论文