Context-aware knowledge distillation for anomaly detection

Ning Li

doi:10.1016/j.knosys.2026.115690

Context-aware knowledge distillation for anomaly detection

2026-03-07

0

PRE

AI

DOI：10.1016/j.knosys.2026.115690

原文链接

原文求助

摘要

En 中文

知识蒸馏已被证明在异常检测中通过量化教师网络与学生网络(T-S)之间的差异具有高度有效性。然而，现有方法主要关注局部特征蒸馏，常常忽视了特征之间的上下文关系。这种疏忽导致了两个主要问题：(1)学生网络仅捕获了碎片化的局部信息，未能充分学习正常数据的分布；(2)缺乏上下文信息阻碍了异常的精确定位，因为异常通常表现为局部特征与其全局上下文之间的不一致。为解决这些问题，我们提出了一种简单而有效的上下文感知知识蒸馏(ContextKD)框架用于异常检测。具体而言，我们在学生网络的每一层后集成了一个上下文感知推理(CAR)块以增强上下文学习。该CAR块由两个关键模块组成：逐层上下文挖掘(LCM)模块和上下文引导重建(CGR)模块。LCM模块通过跨层交互从多层特征中提取丰富的上下文信息，而CGR模块随机掩码局部特征标记并利用上下文关系重建掩码区域。这种设计使学生网络能够捕获正常数据的分布并放大异常区域内的特征不一致性。此外，我们系统地研究了16种不同的T-S蒸馏框架，并在标准设置下比较了它们的异常检测性能。为验证ContextKD的有效性，我们在30个不同类别（在光照、分辨率和背景噪声等不同成像条件下收集）上进行了广泛的实验。此外，一个实际油封检测应用进一步证明了所提出的ContextKD的有效性和实用性，在生产线标准下实现了98.5%的检测精度和低于2%的误报率。

Keyword:

Context-aware knowledge distillation

anomaly detection

feature distillation

contextual learning

student-teacher networks

Context-aware knowledge distillation for anomaly detection

摘要

期刊

机构

引用论文