.png){kind=icon}
返回
Leveraging large language models for sentiment analysis in GitHub pull request discussions
.png){kind=icon}
OA
AI
DOI：10.1007/s10664-026-10868-6.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
社会编码平台（如GitHub）通过拉取请求（PRs）促进协作软件开发，这些请求生成的讨论显著影响代码质量、需求和设计。此类对话成为改进开发实践和预测项目成果的丰富见解来源，并涉及与代码质量和PR接受度相关的人类因素。情感分析是理解这些人类因素的方法之一。然而，PR讨论具有多面性，常涉及技术术语和方面，限制了通用情感分析工具的实用性。这促使创建了软件工程（SE）专用工具，但近期研究也观察到其效果有限。因此，本研究探讨了使用大型语言模型（LLMs）的潜力，因其具备增强的上下文理解和处理技术语言的能力。我们评估了十个来自专有和开源类别的LLMs，使用两个互补数据集：精选的Gold数据集和捕获真实PR讨论的PRemo数据集。模型在零样本、少样本和思维链提示技术下对8,913条消息进行评估。此外，我们通过评估微调的基于Transformer的模型建立基线。结果显示，GPT-4o在LLMs中表现最佳，但较小模型（如Mistral Small和Deepseek-R1 32B）也提供了有竞争力的结果。基于Transformer的模型在Gold数据集上表现优异，但在PRemo数据集上性能下降。最后，我们对误分类实例进行定性分析，揭示了与术语、情绪化关键词、消息长度和上下文模糊性相关的重复挑战。这些发现表明，模型选择应在性能要求与实际约束之间取得平衡，而非默认选择最大可用模型。
Keyword:
Large language models
Human aspects
Sentiment analysis
Prompt engineering
期刊
IF:
3.6
论文数:
2.0K
被引数:
5.3K
机构
引用论文
.png){kind=icon}
分享收藏An empirical study on the teams structures in social coding using GitHub projects基于GitHub项目的社交编码团队结构实证研究
OAAI
OAAI分享收藏Locating Latent Design Information in Developer Discussions: A Study on Pull Requests在开发人员讨论中定位潜在的设计信息: 关于拉取请求的研究
PREAI
分享收藏A topological analysis of communication channels for knowledge sharing in contemporary GitHub projects当代GitHub项目中知识共享沟通渠道的拓扑分析OAAI
OAAI分享收藏SentiStrength-SE: Exploiting domain specificity for improved sentiment analysis in software engineering textSentiStrength-SE: 利用领域特异性来改进软件工程文本中的情感分析
PREAI
分享收藏
查看更多内容