QCore: Data-Efficient, On-Device Continual Calibration for Quantized Models

doi:10.14778/3681954.3681957

2024-08-30

PRE

DOI：10.14778/3681954.3681957

原文链接

原文求助

摘要

En 中文

我们正见证流数据可用性的不断提高，这些数据可能包含关于底层过程的有价值信息。因此，能够在靠近传感器的边缘设备上部署机器学习模型（例如用于分类），从而实现即时决策，而不是首先需要将传入数据传输到服务器，这一方式具有吸引力。为了在存储和计算能力有限的边缘设备上实现部署，标准模型中的全精度参数可以量化为使用更少的比特。然后使用完整训练数据通过反向传播对量化后的模型进行校准，以确保准确性。这种一次性校准适用于静态环境中的部署。然而，动态边缘环境中的模型部署需要持续校准，以自适应地调整量化模型以适应新的传入数据，这些数据可能与原始训练数据具有不同的分布。在边缘实现持续校准的第一个难点是完整训练数据可能过于庞大，因此不能假设它始终可在边缘设备上可用。第二个难点是边缘上使用反向传播进行重复校准的成本过高。我们提出QCore以实现边缘上的持续校准。首先，它将完整训练数据压缩为一个小型子集，以实现对不同比特宽度的量化模型的有效校准。我们还提出了更新子集的方法，以在新的流数据到达时反映环境变化，同时不遗忘早期的训练数据。其次，我们提出一个小型位翻转网络，该网络与子集协同工作以更新量化模型参数，从而在不使用反向传播的情况下实现高效的持续校准。一项在持续学习设置中使用真实数据进行的实验研究，为QCore的特性提供了见解，并表明其能够超越强大的基线方法。