Toward Diverse Tiny-Model Selection for Microcontrollers

Xiao Ma

doi:10.1109/TMC.2025.3561778

2025-09-01

PRE

DOI：10.1109/TMC.2025.3561778

原文链接

原文求助

摘要

En 中文

在微控制器上实现高效且准确的深度神经网络（DNN）推理具有挑战性，这主要源于其片上资源的限制。现有方法主要关注压缩大型模型，通常以牺牲模型精度作为权衡。在本文中，我们从逆向视角重新审视该问题，通过直接构建小型/弱模型，随后提升其精度。因此，我们提出DiTMoS，一种新型DNN训练与推理框架，该框架具有selector-classifiers架构，其中selector将每个输入样本路由至合适的分类器进行分类。DiTMoS基于一个关键洞见：弱模型的组合可以表现出高度多样性，而它们的并集可以显著提高整体精度的上限。为逼近该上限，DiTMoS引入三种策略，包括多样化训练数据分割以增强分类器的多样性、对抗性selector-classifiers训练以确保协同交互从而最大化互补性，以及异构特征聚合以提升分类器的容量。我们进一步设计了一种网络切片技术，以消除特征聚合带来的额外内存消耗。我们将DiTMoS部署在Nucleo STM32F767ZI板上，并在人体活动识别、关键词检测和情感识别任务的三个人体时间序列数据集上评估其性能。实验结果表明：(a) DiTMoS相较于最佳基线方法将精度提升了最高13.4%；(b) 网络切片成功消除了特征聚合引入的内存开销，且仅导致极小的延迟增加。

Keyword:

Embedded machine learning

model diversity

model selection

adversarial training

期刊

IEEE Transactions on Mobile Computing

IF:

9.2

论文数:

5.9K

被引数:

1.8W

机构

Singapore Management University

学者数:

1.5K

论文数: 2.5K

被引数: 3.5K

引用论文

Mobile and wearable sensors for data-driven health monitoring system: State-of-the-art and future prospect 用于数据驱动的健康监测系统的移动和可穿戴传感器: 最新技术和未来展望

EXPERT SYSTEMS WITH APPLICATIONS

IF7.5

2022-09-01

PREAI

Anikwe, Chioma Virginia; Nweke, Henry Friday; Ikegwu, Anayo Chukwu; Egwuonwu, Chukwunonso Adolphus; Onu, Fergus Uchenna; Alo, Uzoma Rita; Teh, Ying Wah

Knowledge Distillation: A Survey 知识蒸馏: 一项调查

INTERNATIONAL JOURNAL OF COMPUTER VISION

IF9.3

2021-03-22

1.5K

PREAI

Gou, Jianping; Yu, Baosheng; Maybank, Stephen J.; Tao, Dacheng

LoTE-Animal: A Long Time-span Dataset for Endangered Animal Behavior Understanding LoTE-Animal：一个用于濒危动物行为理解的长时域数据集

2023 IEEE/CVF International Conference on Computer Vision (ICCV)

IF0

2023-10-01

PREAI