.png){kind=icon}
返回
Texplorer: Efficient Tensor Program Optimization for GPUs Using a Highly Constrained Search Space
.png){kind=icon}
PRE
AI
DOI：10.1109/TPDS.2026.3675079.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
优化深度学习推理的张量程序成本高昂，通常需要花费数小时在巨大的搜索空间（>10^{10}）中进行搜索。先前的基于机器学习的引导方法具有随机性和低效性，因为它们将搜索和程序视为黑箱，忽略了两个关键属性：1）搜索空间具有高度结构化，包含大量无效或低性能的配置区域；2）张量程序在内存访问和流水线执行中表现出可分析的模式。我们提出Texplorer，一种利用这些结构进行稳健高效搜索的确定性张量程序优化器。Texplorer引入了一种三阶段剪枝算法，用于消除无效、冗余和低效的候选方案，将搜索空间从数十亿缩小到数千。它用轻量级分析成本模型替代了昂贵的学习模型，该模型能够捕捉GPU流水线和内存行为，实现准确、无需训练的性能预测和强大的跨算子泛化能力。最后，Texplorer将剪枝和成本建模集成到一个单次分析评估流水线中，对所有剩余候选方案进行排序，实现快速收敛，而无需迭代再训练或随机采样。在144个算子和11个DNN模型在NVIDIA V100、A100和H100 GPU上的测试中，Texplorer实现了与当前最优性能相当的结果，同时将搜索时间最多减少了300倍。增强版Texplorer^{+}进一步提升了性能，最高提升3.1%，同时调优速度最高提升72倍。
Keyword:
Tensor program tuning
Compiler optimization
期刊
IF:
6
论文数:
5.2K
被引数:
1.1W
机构
引用论文
分享收藏XGBoost.png)
Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining
OAAI
Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data MiningIF0
OAAI分享收藏
查看更多内容