.png){kind=icon}
返回
Spatiotemporal semantic structural representation learning for image sequence prediction
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neucom.2025.130159.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像序列预测是计算机视觉中的一个基础任务，神经网络通过给定图像序列来预测下一帧发生的情况。尽管近年来取得了显著进展，但由于以下几方面原因，预测模型学习鲁棒表示以避免模糊物体仍然具有挑战性。(i) 不完整的语义结构。包括潜在语义的纹理、位置和形状等空间结构未被全面建模，现有方法直接从原始像素或特定类别内的有限结构特征中学习。(ii) 缺失的结构相关性。该方向通常使用循环和卷积架构来建模图像间的相关性，而对显式结构间的相关性缺乏探索。(iii) 非选择性的结构融合。该任务中现有结构融合方法主要关注数据或中间特征的拼接，导致特征被同等对待而忽略了代表性特征。为解决上述问题，本研究提出了一种时空语义结构表示学习框架。(i) 为全面建模空间结构，该框架首先基于SAM对潜在语义物体进行分割，然后提供包括纹理、位置和形状在内的空间结构。(ii) 为实现结构相关性建模，该框架利用时序自注意力模块提取对应结构中的压缩时序特征。(iii) 最后，通过基于交叉注意力融合模块整合压缩特征，获得时空语义结构表示。在KITTI、KTH和Sthv2数据集上进行了大量实验，表明了本模型的优势，特别是在语义部分的视觉质量方面表现更优。
Keyword:
Image sequence prediction
Structural representation learning
Segment anything model
Spatiotemporal self-attention
期刊
IF:
6.5
论文数:
2.5W
被引数:
6.5W
机构
引用论文
Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects视觉皮层中的预测编码: 对某些超经典接受场效应的功能解释
PREAI
分享收藏分享收藏分享收藏RT-GCN: Gaussian-based spatiotemporal graph convolutional network for robust traffic predictionRt-gcn: 基于高斯时空图卷积网络的鲁棒流量预测.png)
INFORMATION FUSION
OAAI
INFORMATION FUSIONIF15.5
OAAI分享收藏Accurate medium-range global weather forecasting with 3D neural networks使用3D神经网络进行精确的中期全球天气预报Nature
OAAI
NatureIF0
OAAI分享收藏 没有更多内容
没有更多内容