返回
LogSumExp: Efficient Approximate Logarithm Acceleration for Embedded Tractable Probabilistic Reasoning
DOI:10.1109/TCSI.2025.3613975.png)
摘要
En 中文
概率模型(PMs)已成为在透明度和可靠性至关重要的应用中补充或替代深度学习的替代方案。由于PMs计算显式的高分辨率概率,确保数值稳定性证明了使用对数(log)计算的需求。由于硬件上的精确对数计算通常成本高昂,现有硬件加速器坚持使用高分辨率线性计算,例如浮点数(FP)。从边缘设备上高效执行的角度来看,使用此类通用线性硬件进行对数运算容易导致下溢,并且不适合对数加法等运算。因此,PMs的对数域计算需要新的硬件解决方案,结合数值稳定性和节能执行。受现有PM软件工具中用于在日志和线性域之间传输数据以计算对数加法的Log-Sum-Exp(LSE)函数启发,本研究提出了一种LSE处理单元(LSE-PE)。LSE-PE通过创新的对数加法双重近似实现高效的对数计算,同时利用紧凑的错误校正查找表(CLUT)通过误差补偿方法确保数值稳定性。采用16nm技术的硬件综合结果表明,所提出的24位LSE-PE硬件仅使用32位浮点数的46%面积和32%功耗,每个条目10位仅使用16个查找表条目。此外,我们在各种PM基准测试中的实验表明,LSE-PE即使对于存在于所有其他32位数字系统中的大型模型也能防止下溢,且精度损失小于0.2%。我们还展示了使用LSE-PE进行图像分类模型的不确定性估计中的异常检测任务,其计算成本仅为主模型的很小一部分(MNIST上代表性DNN架构的0.06%至20%)。
Keyword:
Approximate computing
log-sum-exp
probabilistic models
number system
hardware acceleration
期刊
I
IF:
0
论文数:
268
被引数:
0
机构
引用论文
FactorialHMM: fast and exact inference in factorial hidden Markov modelsFactorialHMM:因子隐马尔可夫模型中的快速精确推断
A High-Throughput Pruning-Based Pair-Hidden-Markov-Model Hardware Accelerator for Next-Generation DNA Sequencing一种基于剪枝的高吞吐量配对-隐马尔可夫模型硬件加速器,用于下一代DNA测序

