Underlying Semantic Diffusion for Effective and Efficient In-Context Learning

Zhong Ji

doi:10.1109/TIP.2026.3707788

Underlying Semantic Diffusion for Effective and Efficient In-Context Learning

2026-07-02

0

PRE

AI

DOI：10.1109/TIP.2026.3707788

原文链接

原文求助

摘要

En 中文

扩散模型已作为图像可控生成和密集预测等任务的有力框架出现。然而，现有模型常难以捕捉底层语义（如边缘、纹理、形状）并有效利用上下文学习，限制了其上下文理解和图像生成质量。此外，高昂的计算成本和缓慢的推理速度阻碍了其实时应用。为解决这些挑战，我们提出了底层语义扩散（US-Diffusion），一种增强的扩散模型，可提升底层语义学习、计算效率及多任务场景下的上下文学习能力。我们引入分离与聚合适配器（SGA），它解耦不同任务的条件输入但共享架构，实现更优的上下文学习和跨视觉域的泛化。我们还提出了反馈辅助学习（FAL）框架，利用反馈信号引导模型捕捉语义细节并动态适应任务特定的上下文提示。此外，我们提出一种即插即用的高效采样策略（ESS），用于高噪声水平时间步的密集采样，旨在优化训练和推理效率，同时保持强大的上下文学习能力。实验结果表明，US-Diffusion优于当前最优方法，在Map2Image任务上平均FID降低7.47，在Image2Map任务上平均RMSE降低0.026，同时推理速度提升约9.45倍。该方法还展现出卓越的训练效率和上下文学习能力，在新型数据集和任务中表现优异，凸显其跨视觉域的鲁棒性和适应性。源代码将发布于https://github.com/dragon-cao/US-Diffusion。

Keyword:

Diffusion model

in-context learning

underlying semantics

efficient sampling

Underlying Semantic Diffusion for Effective and Efficient In-Context Learning

摘要

期刊

机构

引用论文