.png){kind=icon}
返回
AutoML-Pipeline: A RAG-Enhanced Code Generation Framework With Pre-Validation for Cloud-Native Machine Learning Workflows
.png){kind=icon}
PRE
AI
DOI：10.1109/ACCESS.2026.3673923.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
云原生机器学习平台的普及显著加速了模型开发和部署周期。然而，构建和维护跨越多种语言（Python、YAML、Spark SQL）和云特定配置的异构管道代码仍然劳动密集且容易出错。现有的基于LLM的代码生成工具缺乏对运行时约束和历史执行模式的感知，经常生成因资源配置不当或依赖冲突而在部署时失败的代码。为解决这些挑战，我们提出AutoML-Pipeline，一个集成了检索增强生成（RAG）与强化学习反馈机制的闭环代码生成框架。我们的方法利用从成功管道执行日志构建的知识库来指导GPT-4生成符合平台特定约束的部署就绪代码。关键创新在于一个新颖的预验证代理，它通过模拟执行环境预测资源消耗并在实际部署前检测依赖冲突。该代理通过由预测执行配置文件和依赖图驱动的反馈循环迭代优化生成的代码。我们在添加了Azure ML管道规范的CodeSearchNet数据集上评估了我们的框架，结果表明与原始GPT-4基线相比，首次提交成功率提高了43.7%，资源过度配置减少了31.2%。消融研究证实，RAG检索机制和预验证代理均对性能提升做出了显著贡献。我们的工作建立了一种将大型语言模型与领域特定运行时智能集成的实用范式，其潜在应用可扩展至其他基础设施即代码生成任务。
Keyword:
Codes
Pipelines
Retrieval augmented generation
Machine learning
Large language models
Knowledge based systems
Training
Reinforcement learning
Programming
Iterative methods
Code generation
retrieval-augmented generation
cloud computing
automated optimization
large language models
期刊
IF:
3.6
论文数:
9.8W
被引数:
29.4W
机构
引用论文
.png){kind=icon}
分享收藏
分享收藏
查看更多内容