Task-oriented Multimodal Semantic Communication Based on Double Channel State Estimation

doi:10.1109/tmc.2026.3725238

Task-oriented Multimodal Semantic Communication Based on Double Channel State Estimation

2026-08-18

0

PRE

AI

DOI：10.1109/tmc.2026.3725238

原文链接

原文求助

摘要

En 中文

多模态语义通信（MSC）作为一种新颖的通信范式已经出现。尽管MSC通过整合异构数据模态（包括文本、图像和音频）在提高通信效率与可靠性方面具有巨大潜力，但现有MSC方法通常假设完美信道状态信息（CSI）和静态信道条件，严重限制了其在高度动态真实环境中的适用性。此外，它们主要处理单模态任务，缺乏处理复杂多模态任务（如流数据中的视听事件定位）的鲁棒机制。这些局限性阻碍了它们满足多样化场景中任务特定应用需求的能力。为应对这些挑战，我们提出了一种面向任务的MSC框架，带有双信道状态估计，专门针对视听事件定位。该框架利用数字导频码和信道模块，在变化的信道条件下跟踪和调整模拟信道状态，并采用基于欧拉的多模态语义编码与解码，考虑基于动态信道状态的时间-频率特性。广泛的实验结果表明，所提出的框架在相同信噪比（SNR）下的事件定位精度方面优于几种基线方法，突显了其在语义通信质量方面的优势。

Keyword:

Multimodal semantic communication

Audio-visual event localization

Double channel state estimation

Task-oriented Multimodal Semantic Communication Based on Double Channel State Estimation

摘要

期刊

机构

引用论文