.png){kind=icon}
返回
Cross-Modal Generative Semantic Communications Powered by Semantic Knowledge Base
.png){kind=icon}
PRE
AI
DOI：10.1109/TNSE.2025.3650269.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
生成式人工智能（GAI）的快速发展为语义通信（SemCom）开辟了新的途径。本文提出了一种统一的跨模态生成语义通信框架CG-SemCom，由共享语义知识库（SKB）提供支持。CG-SemCom利用GAI技术作为发射端的语义提取器和接收端的生成重建器，实现灵活且可解释的跨模态传输。我们进一步开发了VCG-SemCom，这是CG-SemCom面向视觉传输的实现。具体而言，发射端采用视觉语言大模型（vLLM）提取以视觉差异描述形式呈现的简洁语义信息，并通过联合信源信道编码（JSCC）传输。在接收端，基于扩散模型（DM）的生成重建器合成目标图像。引入了针对共享SKB定制的知识检索机制，以指导语义提取并确保一致性。此外，提出了一种深度强化学习（DRL）驱动的推理代理，以动态优化接收端的生成过程。为解决由知识错位和模块不匹配引起的语义噪声问题，引入了双级错误检测和重传机制。此外，我们提出了一种新的生成相似度度量标准，用于在不访问原始图像的情况下评估重建质量。大量实验表明，所提出的VCG-SemCom在信息传输效率方面优于SemCom基准方案，语义保真度提高6%，带宽消耗降低4倍以上。
Keyword:
Semantics
Receivers
Transmitters
Image reconstruction
Visualization
Data mining
Semantic communication
Knowledge based systems
Training
Measurement
Cross-modal transmission
generative semantic communication
semantic knowledge base (SKB)
vision-language large model (vLLM)
diffusion model (DM)
期刊
I
IF:
7.9
论文数:
2.6K
被引数:
10.0K
机构
引用论文
On the Road to 6G: Visions, Requirements, Key Technologies, and Testbeds在通往6g的道路上: 愿景、需求、关键技术和测试平台
OAAI
OAAI分享收藏Harnessing the Power of AI-Generated Content for Semantic Communication利用AI生成的内容的力量进行语义通信.png)
IEEE NETWORKOAAI
IEEE NETWORKIF6.3
OAAI分享收藏
分享收藏
查看更多内容