.png){kind=icon}
返回
A Multimodal Federated Learning Framework for Remote Sensing Image Classification
.png){kind=icon}
OA
AI
DOI：10.1109/TGRS.2025.3603859.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
联邦学习（FL）能够在不共享客户端本地数据的情况下，实现跨去中心化数据档案（即客户端）的深度神经网络协同训练。现有的大多数FL方法假设所有客户端分布的数据关联相同的模态。然而，不同客户端中存在的遥感（RS）图像可能与多样的数据模态相关联。多模态（MM）RS数据的联合使用可以显著提升分类性能。为有效利用去中心化且未共享的MM RS数据，本文提出了一种新颖的MM FL框架，用于RS图像分类问题。所提出的框架包含三个模块：1）多模态融合（MF）；2）特征白化（FW）；3）互信息最大化（MIM）。MF模块采用迭代模型平均来促进学习，而无需访问客户端上的MM训练数据。FW模块旨在通过跨客户端对齐数据分布来解决训练数据异构性的局限性。MIM模块旨在通过最大化不同模态图像之间的相似性来建模互信息。在实验分析中，我们重点关注RS中的多标签分类和基于像素的分类任务。使用两个基准档案获得的结果表明，与文献中的最新算法相比，所提出的框架是有效的。所提出框架的代码公开可获取于https://git.tu-berlin.de/rsim/multi-modal-FL。
Keyword:
Federated learning (FL)
multimodal (MM) image classification
remote sensing (RS)
期刊
IF:
8.6
论文数:
2.1W
被引数:
10.7W
机构
引用论文
.png){kind=icon}
Transformer-Based Multi-Modal Learning for Multi-Label Remote Sensing Image Classification基于Transformer的多模态学习用于多标签遥感图像分类OAAI
OAAI分享收藏Personalized Multiparty Few-Shot Learning for Remote Sensing Scene Classification个性化多方少拍学习在遥感场景分类中的应用
PREAI
分享收藏From single- to multi-modal remote sensing imagery interpretation: a survey and taxonomy从单模态到多模态遥感影像解释: 调查和分类学OAAI
OAAI分享收藏分享收藏
查看更多内容