.png){kind=icon}
返回
Self-Prompt: Gradient-guided discrete prompt optimization for code generation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neucom.2026.134963.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
尽管大型语言模型在代码生成方面展现出显著能力，但其执行可靠性对提示词的表述极为敏感。自动化提示工程技术已缓解了手动提示设计的低效问题；然而，现有的离散搜索方法主要依赖启发式语言先验，将优化限制在次优的语义边界内。在本文中，我们提出了Self-Prompt，一种基于梯度的优化框架，连接了连续梯度下降和离散提示合成。该方法将提示生成分解为自然语言上下文脚手架构建和梯度引导的离散触发词提取，而非在离散文本空间中进行启发式搜索。通过将提示提取表述为参数冻结的伪训练过程，Self-Prompt模拟了传统微调的优化动态，同时将所有更新限制在虚拟嵌入层内。学习到的连续表示随后被投影到离散词汇空间，生成与任务对齐的触发词元，这些词元在保持梯度下降过程中获得的优化信号的同时，无需修改底层模型参数。在HumanEval、MBPP和EvalPlus基准测试中，对11种不同的开放权重LLM进行的全面评估表明，Self-Prompt有效规避了对启发式文本搜索的依赖，在大多数评估配置中实现了整体性能提升和良好的跨模型稳定性。
期刊
IF:
6.5
论文数:
2.5W
被引数:
6.5W
机构
查看更多机构
引用论文
暂无论文信息