EncFormer: Secure and Efficient Transformer Inference Over Encrypted Data

Yufan Zhu

doi:10.1109/tdsc.2026.3714715

EncFormer: Secure and Efficient Transformer Inference Over Encrypted Data

2026-07-17

0

PRE

AI

DOI：10.1109/tdsc.2026.3714715

原文链接

原文求助

摘要

En 中文

在机器学习即服务（MLaaS）中的Transformer推理对敏感用户输入引发隐私担忧。现有的结合全同态加密（FHE）和安全多方计算（MPC）的安全解决方案受到低效FHE内核、通信密集型MPC协议以及昂贵的FHE–MPC转换的瓶颈制约。我们提出EncFormer，一个两方私有Transformer推理框架，引入阶段兼容模式（Stage-Compatible Patterns），使FHE内核高效组合，减少重新打包和转换。EncFormer还提供了一个基于最小转换基准的成本分析模型，能够规范选择FHE–MPC边界。为进一步减少通信，EncFormer提出了一种安全的复数CKKS–MPC转换协议，并设计了针对非线性运算的高效通信MPC协议。通过GPU优化，在GPT-和BERT风格模型上的评估表明，与先前的混合FHE–MPC系统相比，EncFormer实现了1.4倍至30.4倍的推理时间通信降低和1.3倍至9.9倍的端到端延迟降低，在匹配的后端下，与仅FHE的流水线相比，BERT-base的端到端延迟降低了1.9倍至3.5倍，同时保持接近明文精度的GLUE任务性能。

Keyword:

Private inference

homomorphic encryption

secure multiparty computation

transformer inference

EncFormer: Secure and Efficient Transformer Inference Over Encrypted Data

摘要

期刊

机构

引用论文