.png){kind=icon}
返回
Evaluating Large Language Models for Line-Level Vulnerability Localization
.png){kind=icon}
PRE
AI
DOI：10.1109/TSE.2025.3649250.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近期，自动化漏洞定位（AVL）日益受到关注，旨在通过精确定位导致漏洞的具体代码行来促进诊断。大型语言模型（LLMs）已在多个领域展现出潜力，但其在行级漏洞定位中的有效性仍需进一步探索。本研究首次对LLMs在AVL中的表现进行了全面的实证评估。我们考察了19种适用于代码分析的领先LLMs，包括ChatGPT和多种开源模型，涵盖仅编码器、编码器-解码器及仅解码器架构，模型规模从6000万到700亿参数不等。我们在C/C++的BigVul衍生数据集和智能合约漏洞数据集上，评估了包括少样本提示、判别式微调和生成式微调（带与不带低秩适配LoRA）三种范式。结果显示，在训练数据充足时，判别式微调相较于现有基于学习的AVL方法取得了显著性能提升；而在低数据环境下，提示高级LLMs（如ChatGPT）更为有效。我们还识别了微调过程中的输入长度和单向上下文挑战，并提出滑动窗口和右向嵌入两种改进策略，均显著提升了性能。此外，我们首次评估了LLMs在AVL中的泛化能力，发现某些模型能有效跨常见弱点枚举（CWE）和项目迁移。然而，对于包含陌生词法或结构模式的最新漏洞，性能明显下降，凸显了持续适配的必要性。这些发现为在真实软件安全工作流中部署基于LLMs的AVL系统提供了实用指导。
Keyword:
Codes
Location awareness
Software
Large language models
Adaptation models
Training
Training data
Security
Robustness
Maintenance engineering
Vulnerability localization
large language models
deep learning
software security
期刊
IF:
5.6
论文数:
2.9K
被引数:
1.1W
机构
引用论文
.png){kind=icon}
分享收藏VulDeeLocator: A Deep Learning-Based Fine-Grained Vulnerability DetectorVulDeeLocator: 一种基于深度学习的细粒度漏洞检测器
OAAI
OAAI分享收藏Vulnerability Detection by Learning From Syntax-Based Execution Paths of Code通过基于语法的代码执行路径学习进行漏洞检测
PREAI
分享收藏
查看更多内容