.png){kind=icon}
返回
Better than Optimal: Improving Adaptive Stochastic Quantization Using Shared Randomness
.png){kind=icon}
PRE
AI
DOI：10.1145/3771564.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
量化用于将高精度数据转换为低精度表示，为减少机器学习任务中的内存使用、计算复杂度和通信成本提供了基础技术。最近的研究表明，自适应随机量化（ASQ）方法——即在输入分布未知给解量化器的情况下提供无偏优化的量化值——对于实时压缩大型张量是高效的。本文引入了自适应无偏量化（AUQ）问题，将其推广至允许量化器和解量化器共享已知随机性的场景。我们证明了两种问题可实现精度之间的渐近差距，显示AUQ可实现二次方的更高精度。随后，我们介绍了Simba，一种AUQ技术，可提升最优ASQ方法的精度。直观上，Simba使用多组量化值，且用于量化特定值的组别由共享随机性决定。有趣的是，我们发现Simba通过利用近似ASQ解作为起点进行改进，可同时提升最优ASQ方法的速度和精度。实测表明，对于常见分布，Simba比当前最优ASQ方法QUIVER最高提升约24倍的精度，同时速度提升达两个数量级。最后，我们演示了Simba可通过替换QUIC-FL（一种先进的分布式均值估计技术）基于求解器的查找表为Simba计算的表，来提升其精度。
Keyword:
Compression
Quantization
Shared Randomness
Machine Learning
Stochastic Quantization
Unbiasedness
期刊
P
IF:
2.7
论文数:
45
被引数:
1.0K
机构
查看更多机构
引用论文
Algorithm Unrolling: Interpretable, Efficient Deep Learning for Signal and Image Processing算法展开: 用于信号和图像处理的可解释、高效的深度学习
OAAI
OAAI分享收藏Beyond Throughput and Compression Ratios: Towards High End-to-end Utility of Gradient Compression.png)
IF0
PREAI
分享收藏Detecting routing loops in the data planeProceedings of the 16th International Conference on emerging Networking EXperiments and Technologies
Proceedings of the 16th International Conference on emerging Networking EXperiments and TechnologiesIF0
PREAI
分享收藏 没有更多内容