.png){kind=icon}
返回
MetaKernel: Enabling Efficient Encrypted Neural Network Inference through Unified MVM and Convolution
.png){kind=icon}
PRE
AI
DOI：10.1145/3763095.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在CKKS全同态加密（FHE）方案下，实用的加密神经网络推理高度依赖于加速两种关键核操作：矩阵-向量乘法（MVM）和卷积（Conv）。然而，现有解决方案——如专家调优的库和领域特定语言——采用临时性设计方式，导致因过度轮转（rotations）而引发显著低效。我们引入MKR，一种新颖的基于组合的编译器方法，在统一框架内优化CKKS下的DNN模型的MVM和Conv核操作。MKR将每个核分解为可组合单元，称为MetaKernels，以增强密文内的单指令多数据（SIMD）并行性（通过水平批处理）以及它们之间的计算并行性（通过垂直批处理）。我们的方法解决了此前未被应对的挑战，包括通过数据打包的轮转感知成本模型来减少轮转开销，同时确保高槽位利用率、对任意大小输入的统一处理以及与输出张量布局的兼容性。MKR实现于一个生产级FHE编译器中，与当前最先进的FHE编译器相比，单个MVM和Conv核的推理时间加速比达到10.08x-185.60x，端到端推理加速比达到1.75x-11.84x。此外，MKR使先前方法无法处理的大型DNN模型得以同态执行，显著提升了FHE编译器的实用性。
Keyword:
FHE
CKKS
FHE Compilers
MetaKernel
期刊
P
IF:
2.8
论文数:
308
被引数:
4.7K
机构
引用论文
Privacy-Preserving Machine Learning With Fully Homomorphic Encryption for Deep Neural Network.png)
IEEE ACCESS
OAAI
IEEE ACCESSIF3.6
OAAI分享收藏A Tensor Compiler with Automatic Data Packing for Simple and Efficient Fully Homomorphic Encryption
PREAI
分享收藏nGraph-HE2Proceedings of the 7th ACM Workshop on Encrypted Computing & Applied Homomorphic Cryptography
Proceedings of the 7th ACM Workshop on Encrypted Computing & Applied Homomorphic CryptographyIF0
PREAI
分享收藏
查看更多内容