SEER: Knowledge-driven semantic image restoration with vision-language diffusion alignment

doi:10.1016/j.knosys.2025.114464

SEER: Knowledge-driven semantic image restoration with vision-language diffusion alignment

2025-09-12

0

PRE

AI

DOI：10.1016/j.knosys.2025.114464

原文链接

原文求助

摘要

En 中文

语义通信是一种新兴范式，旨在提升网络效率与感知质量，尤其在图像生成任务中展现出强大潜力。然而，现有的基于深度学习（DL）的单模态重建方法在带宽受限和高度噪声信道条件下，常出现语义失真和图像模糊问题，限制了其在任务导向感知场景中的适用性。尽管基于生成式AI的语义通信能显著减少数据传输量，但其对信道噪声的高敏感性及缺乏动态适应机制限制了重建的稳定性。为应对这些挑战，本文提出了一种名为SEER的多模态语义通信框架，专为资源受限的智能感知终端设计。SEER基于预训练语言模型构建，整合了信道感知的提示控制策略、双模态整合语义恢复机制（DISR）以及单次遍历的顺序跨模态重建路径，以实现图像与文本间的协同语义表示和鲁棒结构恢复。实验结果表明，SEER可实现约2.08%的带宽压缩，并在极端信道条件下，在结构保真度上超越现有方法33.92%，在感知一致性上提升12.64%，凸显了其强大的工程部署能力。

SEER: Knowledge-driven semantic image restoration with vision-language diffusion alignment

摘要

期刊

机构

引用论文