Comprehensive predictive analytics for collaborators’ answers, code quality, and dropout: stack overflow case study

Elijah Zolduoarrati

doi:10.1007/s10664-025-10692-4

2025-07-23

PRE

Elijah Zolduoarrati *

Sherlock A. Licorish

Nigel Stanger

DOI：10.1007/s10664-025-10692-4

原文链接

原文求助

摘要

En 中文

先前使用Stack Overflow数据开发预测模型的研究常采用3-5个模型的有限基准或采用任意选择方法。尽管这些研究富有洞察力，但其有限的覆盖范围表明需要评估更多模型以避免忽略未测试的算法。本研究评估了21种算法在三项任务上的表现：预测用户可能回答的问题数量、其代码质量违规情况以及流失状态。我们采用了归一化、标准化以及与贝叶斯超参数优化和遗传算法配对的日志转换和幂变换。CodeBERT（一种用于自然语言和编程语言的预训练语言模型）针对用户流失进行了微调，基于其帖子（问题和答案）及代码片段进行分类。我们发现，结合标准化的Bagging集成模型在预测用户回答方面取得了最高的R2值（0.821）。在预测用户代码质量的多维度和跨语言表现中，随机梯度下降回归器、Bagging模型以及Epsilon支持向量机模型持续展现出优于其他基准算法的性能。结合对数变换的极端梯度提升在预测用户流失方面表现出了最高的F1分数（0.825）。CodeBERT最终以F1分数0.809成功分类了用户流失，验证了仅基于数值数据的极端梯度提升的性能。总体而言，我们对21种算法的基准测试提供了多重见解。研究人员可利用关于特定目标变量最适模型的发现，而实践者可利用识别出的最优超参数来缩小其超参数调优过程中的初始搜索空间。

Keyword:

Answers

Code Quality

Prediction

Stack Overflow

User Dropout