arrow
返回

Using Large Language Models for multi-level commit message generation for large diffs

delete2025-07-08
delete0
PRE
AI
A
Abhishek Kumar *
S
Sandhya Sankar
P
Partha Pratim Das
P
P. P. Chakrabarti
DOI:10.1016/j.infsof.2025.107831delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
提交信息在版本控制系统(VCS)中发挥着关键作用,为代码库中的变更提供必要的上下文和解释。尽管其重要性,许多提交信息编写质量低下或完全缺失,导致代码理解、错误追踪和项目维护面临挑战。本文针对现有自动生成提交信息方法中的两大显著问题:使用短长度数据集的局限性以及依赖单一提交信息涵盖多文件变更的依赖。为克服这些挑战,我们使用最新的大型语言模型(LLMs),包括GPT-4o、Llama 3.1 70B & 8B和Mistral Large,为具有较大标记长度的差异(diffs)生成提交信息。在评估中,我们采用BLEU、ROUGE、METEOR和CIDEr等指标进行自动评估,并进行人工评估。我们的研究发现,GPT-4o和Llama 3.1 70B是生成提交信息的最佳模型。此外,我们提出了一种两级方法,生成整体提交信息以及针对每个文件变更的文件特定信息。为验证此方法,我们调查了开发者以了解他们当前提交信息所面临的问题,并收集了他们对两级方法的反馈。我们的调查表明,两级方法有效,并有助于开发者更好地理解复杂且冗长的代码差异。

期刊

Information and Software Technology 封面图
Information and Software Technology
IF:
4.3
论文数:
3.8K
被引数:
7.7K

机构

I
Indian Institute of Technology
学者数:
1.5K
论文数: 749
被引数: 1.3W
A
Ashoka University
学者数:
309
论文数: 234
被引数: 280
引用论文

引用论文

BLEU布卢
err2001-01-01
err0
errOAAI
errKishore Papineni; Salim Roukos; Todd Ward; Wei-Jing Zhu
err分享
err收藏
CoreGen: Contextualized Code Representation Learning for Commit Message Generation
err2021-10-01
err25
errOAAI
errNie, Lun Yiu; Gao, Cuiyun; Zhong, Zhicong; Lam, Wai; Liu, Yang; Xu, Zenglin
err分享
err收藏
err分享
err收藏
Version Control System: A Review
err2018-01-01
err0
errOAAI
errNazatul Nurlisa Zolkifli; Amir Ngah; Aziz Deraman
err分享
err收藏
Inside Commits: An Empirical Study on Commits in Open-Source Software
err
IF0
err2021-10-05
err0
PREAI
errMívian Ferreira; Diego Golçalves; Kecia Ferreira; Mariza Bigonha
err分享
err收藏
Only diff Is Not Enough: Generating Commit Messages Leveraging Reasoning and Action of Large Language Model
err
IF0
err2024-07-12
err0
PREAI
errJiawei Li; David Faragó; Christian Petrov; Iftekhar Ahmed
err分享
err收藏
ATOM: Commit Message Generation Based on Abstract Syntax Tree and Hybrid Ranking
err2022-05-01
err47
errOAAI
errLiu, Shangqing; Gao, Cuiyun; Chen, Sen; Nie, Lun Yiu; Liu, Yang
err分享
err收藏
学者 查看更多内容