.png){kind=icon}
返回
SparseMap: A Sparse Tensor Accelerator Framework Based on Evolution Strategy
.png){kind=icon}
PRE
AI
DOI：10.1109/TCAD.2025.3621407.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
机器学习和大数据对稀疏张量代数（SpTA）日益增长的需求推动了各种稀疏张量加速器（SpTA）的发展。然而，大多数现有的人工设计加速器仅限于特定场景，且当场景变化时，调整大量设计因素既耗时又具挑战性。因此，自动化设计SpTA加速器至关重要。然而，以往研究仅关注映射（即空间和时间的分块通信与计算）或稀疏策略（即跳过零元素以提高效率）中的某一方面，由于缺乏对两者的综合考虑，导致设计次优。一个能联合优化两者的统一框架亟待提出。然而，整合映射与稀疏策略会导致设计空间组合爆炸（例如，对于工作负载 $P_{32 \times 64} \times Q_{64 \times 48} = Z_{32 \times 48}$，设计空间高达 $O(10^{41})$）。这一广阔的搜索空间使大多数传统优化方法（如粒子群优化（PSO）、强化学习（RL）和蒙特卡洛树搜索（MCTS））效率低下。为应对此挑战，我们提出了一种基于进化策略（ES）的SpTA优化框架，称为SparseMap。SparseMap通过考虑映射和稀疏策略，构建了一个更本质的设计空间。我们引入了一系列对遗传编码和进化算子的改进，使SparseMap能够高效探索广阔且多样的设计空间。我们定量比较了SparseMap与现有工作和经典优化方法，结果表明SparseMap始终能找到更优的解决方案。
Keyword:
Accelerator
design space exploration (DSE)
design toolkit
sparse tensor algebra (SpTA)
期刊
I
IF:
2.9
论文数:
668
被引数:
9.6K
机构
引用论文
MEDEA: A Multi-objective Evolutionary Approach to DNN Hardware MappingMEDEA：一种用于DNN硬件映射的多目标进化方法
.png){kind=icon}
PREAI
分享收藏
SIGMA: A Sparse and Irregular GEMM Accelerator with Flexible Interconnects for DNN TrainingSIGMA: 具有灵活互连的稀疏和不规则GEMM加速器，用于DNN训练
PREAI
分享收藏分享收藏
查看更多内容