.png){kind=icon}
返回
QuantTPM: Efficient Mixed-Precision Quantization Framework for Tractable Probabilistic Models
.png){kind=icon}
PRE
AI
DOI：10.1109/TCAD.2025.3543424.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
易处理概率模型（TPMs）能够执行可靠的概率推断，并增强边缘设备的推理能力，例如协助自动驾驶车辆进行决策。为在硬件资源和能量受限的边缘场景中部署TPMs，需要高效的量化算法。然而，由于模型结构不规则且数据分布高度变化，传统的神经网络量化方法不适用于TPMs。为解决这些问题，我们提出了QuantTPM，一种混合精度量化框架，旨在提升TPM推断的能耗和资源效率。首先，我们将不规则模型结构重新表述为统一格式，因为不规则结构不利于硬件实现。其次，我们将重表述后的模型图划分为层次级别，以便为具有不同精度要求的不同级别分配适当的量化位宽。最后，我们将整个混合精度量化搜索分解为多个具有较小搜索空间的步骤，以降低算法复杂度并节省搜索时间。与当前最先进的工作相比，我们的混合精度量化框架平均实现了3.7倍的权重压缩、6.0倍的资源效率提升和4.8倍的能耗降低，同时保持了有竞争力的精度。
Keyword:
Mixed precision quantization
probabilistic inference
sum-product networks
tractable probabilistic model (TPM)
期刊
I
IF:
2.9
论文数:
606
被引数:
9.6K
机构
引用论文
.png){kind=icon}
DPU: DAG Processing Unit for Irregular Graphs With Precision-Scalable Posit Arithmetic in 28 nm
PREAI
分享收藏
CausalKGPT: Industrial structure causal knowledge-enhanced large language model for cause analysis of quality problems in aerospace product manufacturingCausalKGPT: 用于航空航天产品制造质量问题原因分析的产业结构因果知识增强型大语言模型
PREAI
分享收藏
查看更多内容