.png){kind=icon}
返回
Less Is More: DocString Compression in Code Generation
.png){kind=icon}
PRE
AI
DOI：10.1145/3735636.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型语言模型（LLMs）在软件工程中的广泛应用加剧了对模型和资源效率改进的需求。特别是在神经代码生成中，LLMs用于将函数/方法签名和DocString转换为可执行代码。DocString捕获代码的用户需求，通常用作LLMs的提示，但常包含冗余信息。近期提示压缩的进展在自然语言处理（NLP）中显示出有前景的结果，但其对代码生成的适用性尚不确定。我们的实证研究显示，当前最先进的提示压缩方法仅能实现约10%的压缩，进一步压缩会导致性能显著下降。本研究中，我们提出了一种新型压缩方法ShortenDoc，专用于代码生成的DocString压缩。我们在六个代码生成数据集、五个开源LLMs（1B至10B参数）和一个闭源LLM GPT-4o上的实验证实，ShortenDoc在保持生成代码质量的同时实现25%-40%的压缩，并在相似压缩水平下优于其他基线方法。该方法的优势在于提高效率、降低令牌处理成本，同时保持生成代码的质量，特别是在调用第三方API时。
Keyword:
DocString Compression
Code Generation
Large Language Model
期刊
A
IF:
6.2
论文数:
1.2K
被引数:
3.4K
机构
引用论文
.png){kind=icon}
分享收藏Efficient Memory Management for Large Language Model Serving with PagedAttention使用PagedAttention服务的大型语言模型的有效内存管理
OAAI
OAAI分享收藏分享收藏CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and GenerationCodeT5: 用于代码理解和生成的标识符感知的统一预训练编码器-解码器模型OAAI
OAAI分享收藏
查看更多内容