Assessing Small Language Models for Code Generation: An Empirical Study with Benchmarks

doi:10.1016/j.jss.2026.112815

2026-02-13

DOI：10.1016/j.jss.2026.112815

原文链接

查看原文

摘要

En 中文

• 评估了20个开源小型语言模型（SLMs）在五个代码生成基准上的表现，涵盖了代码合成、总结和修复等任务。 • 识别出多个紧凑型SLMs（参数量<3B）能在资源需求较低的情况下达到有竞争力的性能，因此适合在内存受限的环境中部署。 • 较大的SLMs提供更高的准确性，但需要多达4倍的资源（显存）才能实现pass@1指标10%的提升，凸显了SLMs在性能与效率上的明确权衡。 • 不同编程语言间未观察到具有统计学意义的性能差异，表明SLMs在研究中测试的编程语言内，对多语言代码生成任务具有良好的泛化性。

Keyword:

Small Language Models

Code Generation

Empirical Study

Benchmarks

Software Engineering

Generative AI

AI总结

对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

期刊

Journal of Systems and Software

IF:

4.1

论文数:

5.4K

被引数:

8.4K

机构

暂无机构信息

引用论文

A Survey on Optimization Techniques for Edge Artificial Intelligence (AI)边缘人工智能 (AI) 优化技术综述

SENSORS

IF3.5

2023-01-22

OAAI

Surianarayanan, Chellammal; Lawrence, John Jeyasekaran; Chelliah, Pethuru Raj; Prakash, Edmond; Hewage, Chaminda

Competition-level code generation with AlphaCode 使用字母码生成竞争级代码

Science

IF0

2022-12-09

OAAI

Yujia Li; David Choi; Junyoung Chung; Nate Kushman; Julian Schrittwieser; Rémi Leblond; Tom Eccles; James Keeling; Felix Gimeno; Agustin Dal Lago; Thomas Hubert; Peter Choy; Cyprien de Masson d’Autume; Igor Babuschkin; Xinyun Chen; Po-Sen Huang; Johannes Welbl; Sven Gowal; Alexey Cherepanov; James Molloy; Daniel J. Mankowitz; Esme Sutherland Robson; Pushmeet Kohli; Nando de Freitas; Koray Kavukcuoglu; Oriol Vinyals

CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation CodeT5: 用于代码理解和生成的标识符感知的统一预训练编码器-解码器模型

Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing

IF0

2021-01-01

OAAI

Yue Wang; Weishi Wang; Shafiq Joty; Steven C.H. Hoi

LLM-Based Test-Driven Interactive Code Generation: User Study and Empirical Evaluation 基于LLM的测试驱动交互式代码生成: 用户研究和实证评估

IEEE TRANSACTIONS ON SOFTWARE ENGINEERING

IF5.6

2024-09-01

OAAI

Fakhoury, Sarah; Naik, Aaditya; Sakkas, Georgios; Chakraborty, Saikat; Lahiri, Shuvendu K.