.png){kind=icon}
返回
EinDecomp: Decomposition of Declaratively-Specified Machine Learning and Numerical Computations for Parallel Execution
.png){kind=icon}
OA
AI
DOI：10.14778/3734839.3734858.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
我们考虑高性能、基于张量的系统中的自动并行性问题。我们的重点是针对单个GPU服务器或CPU集群上的推理任务的内层算子并行，其中每个算子被自动拆分，以便在多个设备上运行。我们主张基于张量的系统应提供一种基于扩展的Einstein求和记号的编程抽象，这是一种用于张量计算的完全声明式、数学规格说明。我们证明，任何用Einstein求和记号指定的计算都可以重写为等效的张量-关系计算，从而促进内层算子并行，而这种重写推广了现有的张量并行方法，如"data parallel"和"model parallel"。我们考虑了算法问题，即如何最优地计算用我们扩展的Einstein求和记号指定的操作图的张量-关系分解。
.png){kind=icon}
