.png){kind=icon}
返回
ELTC: An End-to-End Large Language Model-Based Tensor Compilation Optimization Framework
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-3585-9_12.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
张量程序优化是一个非凸优化问题，在高效求解的同时平衡优化效率与执行性能仍然是一项具有挑战性的任务。基于搜索的张量程序编译器通过构建包含潜在高性能程序变体的规模化探索空间，已被证明是有效的，从而克服了传统程序优化方法的性能瓶颈。然而，这些方法在搜索策略上仍面临重大挑战，因为现有编译器通常需要数小时甚至数天才能确定最优的程序表示。本文提出ELTC，一种基于大语言模型（LLMs）的端到端张量程序编译框架，旨在高效优化深度神经网络中的张量程序。ELTC将张量程序探索问题表述为语言模型的生成任务。通过离线训练大型语言模型，它基于张量程序的特征表示以端到端方式生成变换序列。在保留广泛搜索空间的同时，该方法显著提高了优化效率。此外，我们引入了一种面向语言模型的中间表示，它使用结构化文本格式对张量程序的关键特征进行编码。基于此表示，我们构建了一个专用于语言模型的张量程序数据集。实验结果表明，ELTC在优化质量和调优速度方面均表现出优越性能。与完全收敛的AnsorTenSet相比，ELTC在收敛条件下实现了34.07倍的编译加速和1.06倍的平均性能提升。此外，ELTC还超越了手动优化的核心库TensorRT，实现了1.3倍的性能增益。
Keyword:
Program Transformation
Compiler
Large Language Models
期刊
P
IF:
0
论文数:
13
被引数:
0
机构
引用论文
.png){kind=icon}
分享收藏
分享收藏Global wheat trade and Codex Alimentarius guidelines for deoxynivalenol: A mycotoxin common in wheat
OAAI
OAAI分享收藏 没有更多内容
没有更多内容