Efficient Cluster-Based Knowledge Distillation for Deep Face Recognition

doi:10.1109/tsusc.2026.3677896

Efficient Cluster-Based Knowledge Distillation for Deep Face Recognition

2026-05-01

0

PRE

AI

DOI：10.1109/tsusc.2026.3677896

原文链接

原文求助

摘要

En 中文

知识蒸馏已被广泛应用于提升人脸识别中小型紧凑模型的性能。然而，选择关键知识并有效地将其从教师模型转移到学生模型仍然是一个具有挑战性的问题。在这项工作中，我们提出了一种高效的基于聚类的知识蒸馏方法（CKD），旨在从样本关系和类别中心两个方面对齐学生模型与教师模型。具体而言，CKD首先基于教师提取的样本特征与现有聚类算法生成的聚类中心之间的相似性来确定关键样本关系。然后，CKD通过设计基于聚类的关联蒸馏损失，有效地将上述关系的知识从教师模型转移到学生模型。最后，CKD通过构建上述代表性聚类中心与学生类别中心之间的中心损失，进一步提升了学生类别中心的质量。我们在多个人脸基准数据集上验证了所提出的CKD方法。例如，CKD将MegaFace基准上基线学生模型的性能从91.95%提升至94.20%，并在多个基准上持续优于近期竞争性蒸馏方法。这些结果证明了CKD的有效性和优越性。

Keyword:

Face recognition

Chronic kidney disease

Training

Measurement

Feature extraction

Computational modeling

Knowledge engineering

Clustering algorithms

Benchmark testing

Performance evaluation

Knowledge distillation

deep face recognition

cluster centers

Efficient Cluster-Based Knowledge Distillation for Deep Face Recognition

摘要

期刊

机构

引用论文