MIX-PC: Enabling Efficient DNN Inference with Mixed Numeric Precision Compilation Optimization

Shiyuan Huang

doi:10.1145/3785473

MIX-PC: Enabling Efficient DNN Inference with Mixed Numeric Precision Compilation Optimization

2026-03-01

0

PRE

AI

DOI：10.1145/3785473

原文求助

摘要

En 中文

混合精度量化在降低内存需求和提高推理效率方面显示出巨大潜力，并已受到广泛关注。然而，由于各种原因，缩短位宽并不总能带来显著的效率提升。首先，计算内核通常缺乏对混合精度操作的支持，限制了其在依赖此类内核的系统中的实用性。其次，由于深度神经网络（DNN）计算涉及多个阶段，不同阶段的精度模式可能存在显著差异。这增加了开发端到端效率优化的难度。最终，有效的精度感知优化需要整个垂直堆栈的额外支持。本文提出Mix-PC框架，用于实现高性能DNN推理的高效混合精度编译。一方面，我们深入探讨了当前编译支持混合精度操作符时效率低下的原因。另一方面，我们提出Mix-PC，一个通用编译框架，利用自适应模式支持不同的数值精度，并采用渐进式融合策略，以增强对不同模型的兼容性。结果表明，与当前最先进的量化方法相比，Mix-PC在BERT、ViT和HuBERT模型上分别实现了1.70倍、1.34倍和2.13倍的速度提升。

Keyword:

AI compiler

model compression

mixed-precision quantization

MIX-PC: Enabling Efficient DNN Inference with Mixed Numeric Precision Compilation Optimization

摘要

期刊

机构

引用论文