Quantum-enhanced hybrid-model compression using knowledge distillation

Luigi Barbato

doi:10.1007/s42484-026-00431-3

Quantum-enhanced hybrid-model compression using knowledge distillation

2026-09-04

0

OA

AI

DOI：10.1007/s42484-026-00431-3

原文链接

原文求助

摘要

En 中文

量子计算已作为一种有前景的范式出现，用于解决经典系统难以处理的计算任务，利用叠加和纠缠等量子力学原理来高效探索高维解空间。近年来，混合量子-经典方法因能够在保留经典机器学习框架实用性的同时利用量子系统的表示能力而备受关注。本文研究了基于特征的知识蒸馏的量子增强模型压缩，其中一个大型的经典神经网络（教师）向一个显著更小的混合学生模型转移知识。所提出的混合量子-经典学生架构包含一个在Qiskit中实现的参数化量子电路（PQC），采用线性$$\varvec{R_y}$$角度编码特征映射，随后是EfficientSU2变分假设，并通过$$\varvec{\tanh (\cdot )\times \frac{\pi }{2}}$$缩放对特征进行约束，以确保稳定的梯度传播。梯度计算通过StatevectorEstimator原语的逆向模式（伴随）微分完成，该原语在单次前向-后向传递每优化步的代价下提供精确、无shot噪声的梯度。混合学生在严格的1:1参数匹配下，与一个参数匹配的纯经典学生进行了比较，跨越了涵盖MNIST和Fashion-MNIST的六个任务二分类基准以及一个四分类多分类基准，共进行十一次分类实验。此外，还使用参数平移规则在IQM Garnet 20量子比特量子处理器上进行了硬件验证实验。结果表明，混合学生在六个二分类任务中的五个（83%）以及两个最困难的多分类配置中优于其经典对应模型，优势在高混淆区域最为显著，其中紧凑的经典分类器接近其表示能力的极限。在真实量子硬件上，准确率从无噪声模拟的99.04%下降到80.50%，反映了门噪声、读出误差和传输开销的影响。虽然混合模型展示了改进的参数效率和表示能力，但计算开销更高，且与经典基线相比表现出更大的训练波动性。我们讨论了与噪声、可扩展性和当前硬件限制相关的实际局限性，并确定了未来工作的方向，包括硬件高效的梯度估计和先进的误差缓解协议。总体而言，我们的发现表明，变分量子电路可以作为紧凑而富有表现力的组件嵌入到神经网络压缩方案中，其表示优势在二分类和高模糊分类场景中最为有效。

Keyword:

Quantum machine learning

Knowledge distillation

Model compression

Hybrid quantum-classical models

Quantum neural networks

Qiskit

Reverse-mode differentiation

Parameter-shift rule

Quantum-enhanced hybrid-model compression using knowledge distillation

摘要

期刊

机构

引用论文