Lightweight Task-Oriented Semantic Communication Empowered by Large-Scale AI Models

Chuanhong Liu

doi:10.1109/TVT.2025.3563635

Lightweight Task-Oriented Semantic Communication Empowered by Large-Scale AI Models

0

PRE

AI

Mingzhe Chen (Mingzhe Chen)

T

Tony Q. S. Quek

DOI：10.1109/TVT.2025.3563635

原文链接

原文求助

摘要

En 中文

近期研究已聚焦于利用大规模人工智能（LAI）模型来提升语义表示与压缩能力。然而，LAI模型巨大的计算需求为实时通信场景带来了严峻挑战。为解决此问题，本文提出采用知识蒸馏（KD）技术从LAI模型中提取并凝练知识，有效降低模型复杂度与计算时延。但LAI模型固有的复杂性导致蒸馏过程中的推理时间延长，且其缺乏信道感知能力会损害蒸馏性能。这些局限性使得标准KD方法难以适用于面向任务的语义通信场景。为应对这些挑战，我们提出了一种具有预存储压缩机制的高效快速蒸馏方法，该机制消除了重复推理的必要性，显著提升了效率。此外，引入信道自适应模块，可根据变化的信道条件动态调整传输的语义信息，增强了通信的可靠性与适应性。同时，推导出基于信息瓶颈的损失函数，以指导快速蒸馏过程。仿真结果表明，所提方案在任务准确率、模型尺寸、计算时延及训练数据需求等方面均优于基线方法。

Keyword:

Semantic communication

knowledge distillation

large-scale AI model

information bottleneck

Lightweight Task-Oriented Semantic Communication Empowered by Large-Scale AI Models

摘要

期刊

机构

引用论文