Enabling Automatic Compiler-Driven Vectorization of Transformers

Shreya Alladi

doi:10.1109/CGO68049.2026.11395226

Enabling Automatic Compiler-Driven Vectorization of Transformers

2026-01-01

0

PRE

AI

DOI：10.1109/CGO68049.2026.11395226

原文链接

原文求助

摘要

En 中文

针对边缘设备上编译神经网络和Transformer模型面临的资源限制及对人工优化操作的依赖等挑战，本文提出创新技术以克服当前编译方法中的低效问题并减少对人工优化的依赖。研究提出一种新型编译流程ONNX-MLIR-LLVM（OML），利用MLIR和LLVM IR实现自动优化并生成独立RISC-V二进制文件。通过全面分析，我们识别出自动向量化器处理友好向量化算子（尤其是归约操作和不友好数据布局）的主要障碍。通过通用MLIR归约检测传递和编译时转置传递分别解决这些问题。我们的自动转换（OML-vect）解锁了MLIR仿射超向量化器的能力，降低了对人工向量化的依赖。在x86和RISC-V平台上对8种神经网络和Transformer模型的评估显示，通过OML-vect实现的自动向量化相比基线（人工向量化库），在x86和RISC-V上平均分别提升了5%和59%，为边缘设备部署提供了高效且可移植的解决方案。

Keyword:

Compiler

neural networks

vectorization

reduction detection

data layout optimizations

Enabling Automatic Compiler-Driven Vectorization of Transformers

摘要

期刊

机构