Attention Is All You Need for LLM-Based Code Vulnerability Localization

Yue Li

doi:10.1109/tifs.2026.3725564

Attention Is All You Need for LLM-Based Code Vulnerability Localization

2026-08-20

0

PRE

AI

DOI：10.1109/tifs.2026.3725564

原文链接

原文求助

摘要

En 中文

软件系统的快速扩展和报告漏洞数量的增加，强调了准确识别易受攻击代码段的重要性。传统的漏洞定位方法，如手动代码审计或基于规则的工具，通常耗时且范围有限，通常专注于特定的编程语言或漏洞类型。近年来，大型语言模型（LLMs）如GPT和LLaMA的引入为自动化漏洞定位开辟了新的可能性。然而，尽管LLMs在此领域显示出潜力，它们仍面临挑战，特别是在维护较长代码上下文的准确性方面。本文介绍了 $\textsf {LOVA}$ ，一种利用LLMs固有自注意力机制来增强漏洞定位的新型框架。我们的关键见解是，自注意力机制为输入的不同部分分配不同的重要性，使得可以跟踪模型对特定代码行的关注程度。在漏洞定位的背景下，假设易受攻击的代码行会自然吸引更高的注意力权重，因为它们对模型的输出有更大的影响。通过系统地跟踪注意力权重的变化并关注特定代码行， $\textsf {LOVA}$ 提高了跨各种编程语言识别易受攻击代码行的精度。通过严格的实验和评估，我们证明 $\textsf {LOVA}$ 显著优于现有的基于LLM的方法，在F1分数上实现了最高5.3倍的改进。在C、Python、Java和Solidity等语言中， $\textsf {LOVA}$ 在智能合约漏洞定位方面也显示出强大的可扩展性，实现了最高14.6倍的改进。其鲁棒性通过在不同LLM架构上的稳定性能得到证明。

Keyword:

Large language models

attention mechanisms

malware

Attention Is All You Need for LLM-Based Code Vulnerability Localization

摘要

期刊

机构

引用论文