Toward Semantic Communications: Deep Learning-Based Image Semantic Coding

Danlan Huang

doi:10.1109/JSAC.2022.3221999

2023-01-01

PRE

DOI：10.1109/JSAC.2022.3221999

原文链接

原文求助

摘要

En 中文

语义通信已受到越来越多的关注，因为它可以显着减少要传输的数据量，而不会丢失关键信息。大多数现有的工作都探索文本的语义编码和传输，并应用自然语言处理 (NLP) 中的技术来解释文本的含义。在本文中，我们构想了图像数据的语义通信，该语义通信在语义和带宽敏感方面更加丰富。我们提出了一种基于强化学习的自适应语义编码 (rl-asc) 方法，该方法可以对像素级以上的图像进行编码。首先，我们定义了图像数据的语义概念，包括类别，空间排列和视觉特征作为表示单元，并提出了卷积语义编码器来提取语义概念。其次，我们提出了从传统的像素相似性到语义相似性和感知性能的图像重建标准。第三，我们设计了一种新颖的基于RL的语义比特分配模型，其回报是在使用自适应量化级别对某个语义概念进行编码后，速率-语义-感知性能的提高。因此，任务相关信息被适当地保存和重构，而较不重要的数据被丢弃。最后，我们提出了基于生成对抗网 (gan) 的语义解码器，该解码器通过注意力模块融合了本地和全局特征。实验结果表明，所提出的rl-asc具有抗噪性，可以在低比特率条件下重建视觉上令人愉悦且语义一致的图像。

Keyword:

Semantic communications

image semantic coding

generative adversarial nets (GANs)

reinforcement learning (RL)

rate-semantic-perceptual criterion