arrow
返回

LogSumExp: Efficient Approximate Logarithm Acceleration for Embedded Tractable Probabilistic Reasoning

delete2025-10-01
delete0
PRE
AI
L
Lingyun Yao
S
Shirui Zhao
M
Martin Trapp
J
Jelin Leslin
M
Marian Verhelst
M
Martin Andraud
DOI:10.1109/TCSI.2025.3613975delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
概率模型(PMs)已成为在透明度和可靠性至关重要的应用中补充或替代深度学习的替代方案。由于PMs计算显式的高分辨率概率,确保数值稳定性证明了使用对数(log)计算的需求。由于硬件上的精确对数计算通常成本高昂,现有硬件加速器坚持使用高分辨率线性计算,例如浮点数(FP)。从边缘设备上高效执行的角度来看,使用此类通用线性硬件进行对数运算容易导致下溢,并且不适合对数加法等运算。因此,PMs的对数域计算需要新的硬件解决方案,结合数值稳定性和节能执行。受现有PM软件工具中用于在日志和线性域之间传输数据以计算对数加法的Log-Sum-Exp(LSE)函数启发,本研究提出了一种LSE处理单元(LSE-PE)。LSE-PE通过创新的对数加法双重近似实现高效的对数计算,同时利用紧凑的错误校正查找表(CLUT)通过误差补偿方法确保数值稳定性。采用16nm技术的硬件综合结果表明,所提出的24位LSE-PE硬件仅使用32位浮点数的46%面积和32%功耗,每个条目10位仅使用16个查找表条目。此外,我们在各种PM基准测试中的实验表明,LSE-PE即使对于存在于所有其他32位数字系统中的大型模型也能防止下溢,且精度损失小于0.2%。我们还展示了使用LSE-PE进行图像分类模型的不确定性估计中的异常检测任务,其计算成本仅为主模型的很小一部分(MNIST上代表性DNN架构的0.06%至20%)。
Keyword:
Approximate computing
log-sum-exp
probabilistic models
number system
hardware acceleration

期刊

I
ieee transactions on circuits and systems i: regular papers
IF:
0
论文数:
268
被引数:
0

机构

A
Aalto University
学者数:
1.6W
论文数: 1.5W
被引数: 2.1W
A
aalto university
学者数:
1.4K
论文数: 667
被引数: 0
K
ku leuven
学者数:
7.4K
论文数: 3.1K
被引数: 1
学者 查看更多机构
引用论文

引用论文

err分享
err收藏
DPU: DAG Processing Unit for Irregular Graphs With Precision-Scalable Posit Arithmetic in 28 nm
err2022-08-01
err0
PREAI
errShah,Nimish; Olascoaga,Laura Isabel Galindez; Zhao,Shirui; Meert,Wannes; Verhelst,Marian
err分享
err收藏
学者 查看更多内容