.png){kind=icon}
返回
An adaptive outlier correction quantization method for vision Transformers
.png){kind=icon}
PRE
AI
DOI：10.1631/FITEE.2400994.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
Transformer模型已在各个领域展现出显著的成功，但其巨大的计算和内存需求限制了其应用。这为在资源受限设备上的部署带来了挑战。量化作为一种有效的模型压缩方法，能够显著减少Transformer在边缘设备上的运行时间。值得注意的是，Transformer模型比卷积神经网络展现出更多的异常值，导致不同通道和标记之间的特征分布不均。为解决此问题，我们提出了一种自适应异常值校正量化（AOCQ）方法用于Transformer模型，该方法显著缓解了这些异常值的不利影响。AOCQ通过三个层面（操作层面、框架层面和损失层面）调整通道和标记之间显著的差异。我们引入了一个新操作符，以等效方式平衡不同通道间的激活值，并在框架层面插入一个额外阶段以优化激活量化步骤。此外，我们将跨标记和通道的不平衡激活值转移到损失层面的模型权重优化中。基于理论研究，我们的方法能够减少量化误差。该方法的有效性已在多种基准模型和任务上得到验证。令人惊讶的是，经过8位后训练量化（PTQ）的DeiT-Base模型在准确率仅下降0.28个百分点的情况下，运行速度提升了4倍。此外，Swin和DeiT模型在包括分类和目标检测在内的多个任务中，其权重可进行超低4位后量化，准确率损失最小为2%，同时内存需求减少近8倍。
期刊
IF:
2.9
论文数:
129
被引数:
2.5K
.png){kind=icon}
