.png){kind=icon}
返回
Efficient Deep Learning Model Compression for Sensor-Based Vision Systems via Outlier-Aware Quantization
.png){kind=icon}
OA
AI
DOI：10.3390/s25092918.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着传感器技术和计算机视觉的快速发展，高效深度学习模型对于资源受限环境下的实时图像特征提取至关重要。然而，大多数现有的量化深度神经网络（DNNs）对异常值高度敏感，导致在低精度设置下性能严重下降。我们的研究表明，超出名义权重分布的异常值会显著增加动态范围，从而降低量化分辨率并影响基于传感器的图像分析任务。为解决这一问题，我们提出了一种异常值感知量化（OAQ）方法，该方法能够有效重塑权重分布以提升量化精度。通过分析基于结构相似性（SSIM）测量结果的先前异常值处理技术，我们证明了OAQ显著减少了异常值的负面影响，同时保持了计算效率。值得注意的是，OAQ与现有的量化方案正交，使其能够与各种量化方法兼容且无额外计算开销。在多种CNN架构和量化方法上的实验结果表明，OAQ有效缓解了量化误差。在训练后量化（PTQ）中，我们的4位OAQ ResNet20模型相比全精度模型实现了更高的准确率；而在量化感知训练（QAT）中，OAQ使2位量化性能相比基线方法提升了43.55%。这些结果证实了OAQ在优化基于传感器的视觉应用中的深度学习模型方面的潜力。
Keyword:
quantization
outlier awareness
model compression
image feature extraction
sensor-based computer vision
期刊
IF:
3.5
论文数:
7.2W
被引数:
20.9W
机构
引用论文
Weighted Quantization-Regularization in DNNs for Weight Memory Minimization Toward HW Implementation
PREAI
分享收藏Performance Evaluation of Stochastic Quantization Methods for Compressing the Deep Neural Network Model深度神经网络模型压缩的随机量化方法性能评估
PREAI
分享收藏From Near-Sensor to In-Sensor: A State-of-the-Art Review of Embedded AI Vision Systems从近传感器到传感器: 嵌入式AI视觉系统的最新评论.png)
SENSORS
OAAI
SENSORSIF3.5
OAAI分享收藏分享收藏
查看更多内容