DUET: Dually guided knowledge distillation from explicit feedback

Hong-Kyun Bae

doi:10.1016/j.inffus.2025.103098

2025-05-02

PRE

DOI：10.1016/j.inffus.2025.103098

原文链接

原文求助

摘要

En 中文

近年来，针对推荐系统的多种知识蒸馏（KD）方法被引入，以实现两个目标：（i）获得比繁琐模型（即教师模型）更短的推理时间；（ii）提供比紧凑模型（即学生模型）更高的精度。尽管这些方法取得了成功，但它们仅专注于开发基于隐式反馈的KD方法。我们认为，处理具有显式反馈的协同过滤（CF）同样至关重要，因为它能体现用户偏好的不同程度。为此，我们提出了一种新颖的推荐系统KD框架，即双引导知识蒸馏（DUET）。我们首先观察到，显式反馈可被解释为两种用户偏好，即使用前偏好和使用后偏好。受显式反馈的这些特性启发，我们旨在通过采用两个教师模型（即教师模型#1和教师模型#2），融合来自教师模型使用前和使用后偏好的知识。教师模型#1根据使用前偏好训练，从未评分项目中选取部分项目。教师模型#2根据使用后偏好训练，确定教师模型#1所选项目的软标签（即预测的使用后偏好）。最终，学生模型使用已评分项目的硬标签（即观察到的使用后偏好）以及教师模型#1所选项目的软标签（即教师模型#2预测的使用后偏好）进行训练。广泛的实验结果表明，我们的DUET框架在三个基准数据集上始终优于现有的KD方法。值得注意的是，在NDCG@10指标上，它分别比RD、CD、DE-RRD、BD和TD高13.6%、18.6%、16.8%、9.6%和18.6%。

Keyword:

Collaborative filtering

Explicit feedback

Knowledge distillation

Model compression

Top-N recommendation