.png){kind=icon}
返回
Token-based dynamic bit-width assignment for ViT quantization
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2025.112269.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
• 我们提出了一种新颖的基于token的动态比特分配方法用于ViT量化，该方法为每个输入实例动态分配各个token（包括class token）的比特宽度。
• 我们提出了一种专为后GELU激活设计的移位量化器，该量化器考虑了正负值之间的非对称分布。
• 我们证明了我们的方法显著提升了token-wise量化方案的性能，并展示了该方法在效率与效果之间取得了良好的平衡。
Keyword:
token-based dynamic bit-allocation
ViT quantization
shifting quantizer
post-GELU activations
efficiency and efficacy
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
暂无机构信息
.png){kind=icon}
