.png){kind=icon}
返回
Improving Source Code Pre-Training via Type-Specific Masking
.png){kind=icon}
OA
AI
DOI：10.1145/3699599.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
掩码语言建模（MLM）任务被广泛认可为最有效的预训练任务之一，目前在软件工程（SE）领域衍生出许多变体。然而，这些变体大多主要关注代码表示，而没有区分不同的代码标记类型，而有些则专注于特定类型，例如代码标识符。实际上，存在各种代码标记类型，且没有证据表明仅标识符能够提升预训练模型（PTMs）。因此，为了通过不同类型改进PTMs，我们进行了一项广泛研究，评估不同类型特定的掩码任务如何影响PTMs。首先，我们提取五种代码标记类型，将其转换为类型特定的掩码任务，并生成它们的组合。其次，我们使用组合对CodeBERT和PLBART进行预训练，并在四个SE下游任务上进行微调。实验结果表明，类型特定的掩码任务可以在所有下游任务上增强CodeBERT和PLBART。此外，我们讨论了与低资源数据集相关的话题、原始预训练任务与我们的方法冲突的冲突PTMs、我们方法的开销和性能、影响我们方法性能的因素，以及将我们的方法应用于最新PTMs的应用。这些讨论全面分析了不同类型特定掩码任务的优缺点。CCS概念：中心点 软件及其工程- 软件创建和管理；中心点 计算方法学- 人工智能；
Keyword:
code representation learning
pre-trained model
pre-training tasks
masked language modeling
期刊
A
IF:
6.2
论文数:
1.2K
被引数:
3.4K
机构
暂无机构信息
引用论文
.png){kind=icon}
分享收藏
分享收藏
查看更多内容