fmenat/multiviewRS-models

# 基于遥感的多视图学习（MVL）数据融合模型 基础模型可在 [TorchGeo](https://torchgeo.readthedocs.io/en/stable/api/models.html) 或 [HuggingFace](https://huggingface.co/models) 找到。 ### 从遥感（RS）多视图数据中学习的 MVL 模型列表 :satellite: :earth_americas: :satellite: | 名称 | 参考文献 | 描述 | 代码 | |------|-----------|-------------|------| MVL | [Mena 等人 2025](https://doi.org/10.1016/j.jag.2025.104823) | 使用时态数据的多种融合策略 | https://github.com/fmenat/optimal-multiview-crop-classifier | SSL4EO-S12 | [Wang 等人 2024](https://ieeexplore.ieee.org/abstract/document/10261879) | 自监督模型 | https://github.com/zhu-xlab/SSL4EO-S12 | EarthGPT | [Zhang 等人 2024](http://arxiv.org/abs/2401.16822) | 使用 Transformer 层的特征级融合 | https://github.com/wivizhang/EarthGPT | ContextFormer | [Benson 等人 2024](http://arxiv.org/abs/2303.16198) | 使用 Transformer 的特征级融合 | https://github.com/vitusbenson/greenearthnet | SEnSeIv2 | [Francis 2024](https://ieeexplore.ieee.org/document/10505181) | 传感器不变模型 | https://github.com/aliFrancis/SEnSeIv2 | OmniSat | [Astruc 等人 2024](http://arxiv.org/abs/2404.0835) | 使用 Transformer 层并进行预训练的特征级融合 | https://github.com/gastruc/OmniSat | MMEarth | [Nedungadi 等人 2024](http://arxiv.org/abs/2405.02771) | 单视图输入预测其他视图（预设任务） | https://github.com/vishalned/MMEarth-train | MambaDifussion | [Du 等人 2024](https://ieeexplore.ieee.org/document/10733944) | 使用跨不同层的 Mamba（包含跳跃连接）的特征级融合，包括扩散模型 | https://github.com/WenliangDu/MambaDiffusion| FusionMamba | [Peng 等人 2024](https://ieeexplore.ieee.org/document/10750233) | 使用 Mamba 层的密集融合 | https://github.com/PSRben/FusionMamba | SatViT | [Fuller 等人](https://doi.org/10.1109/LGRS.2022.3201489) | 使用 ViT 的输入级融合（带自监督训练） | https://github.com/antofuller/SatViT | ELECTS | [Russwurm 等人 2023](https://doi.org/10.1016/j.isprsjprs.2022.12.016) | 使用 LSTM 的输入级融合。 | https://github.com/marccoru/elects | MV CNN | [Ferrari 等人 2023](https://doi.org/10.1109/LGRS.2023.3242430) | 使用 2D CNN（编码器-解码器）的多种融合策略 | https://github.com/felferrari/deforestation-from-data-fusion | AFCF3D-Net | [Ye 等人 2023](https://arxiv.org/abs/2302.05109) | 使用 3D CNN 的输入级融合。 | https://github.com/wm-Githuber/AFCF3D-Net | UnCRtainTS | [Ebel 等人 2023](https://openaccess.thecvf.com/content/CVPR2023W/EarthVision/html/Ebel_UnCRtainTS_Uncertainty_Quantification_for_Cloud_Removal_in_Optical_Satellite_Time_CVPRW_2023_paper.html) | 使用 2D CNN 和注意力的输入融合。 | https://github.com/PatrickTUM/UnCRtainTS | MFT | [Roy 等人 2023](https://doi.org/10.1109/TGRS.2023.3286826) | 使用 Transformer 模块的特征级融合（一个来源 - LIDAR - 作为主来源 - 光学的查询） | https://github.com/AnkurDeria/MFT | PRESTO | [Tseng 等人 2023](http://arxiv.org/abs/2304.14065) | 使用 Transformer 模块的输入级融合（自监督预训练） | https://github.com/nasaharvest/presto | Cross-HL | [Roy 等人 2023](https://ieeexplore.ieee.org/document/10462184) | 使用 Transformer 层中定向注意力的特征级融合 | https://github.com/AtriSukul1508/Cross-HL | SCT Fusion | [Hoffman 等人 2023](https://doi.org/10.1109/IGARSS52108.2023.10281927) | 使用 Transformer 层并在所有层中使用类别标记的密集融合 | https://git.tu-berlin.de/rsim/sct-fusion | MMST-ViT | [Lin 等人 2023](https://ieeexplore.ieee.org/abstract/document/10376769) | 使用 Transformer 层的特征级融合 | https://github.com/fudong03/MMST-ViT | DiffusionSat | [Khanna 等人 2023](https://arxiv.org/abs/2312.03606) | 多模态扩散生成模型 | https://github.com/samar-khanna/DiffusionSat | AMM-FuseNet | [Ma 等人 2022](https://doi.org/10.3390/rs14184458) | 使用 2D CNN 和注意力的特征级融合。 | https://github.com/oktaykarakus/ReSIF/tree/main/AMM-FuseNet | MCANet | [Li 等人 2022](https://doi.org/10.1016/j.jag.2021.102638) | 使用 2D CNN 和交叉注意力的密集融合。 | https://github.com/yisun98/SOLC | ChangeFormer | [Bandara 等人 2022](https://doi.org/10.1109/IGARSS46834.2022.9883686) | 使用 Transformer 和注意力的密集融合。 | https://github.com/wgcban/ChangeFormer | CMAFF | [Qingyun 等人 2022](https://doi.org/10.1016/j.patcog.2022.108786) | 使用 2D CNN 和交叉注意力的密集融合。 | https://github.com/DocF/CMAFF | OmbriaNet | [Drakonakis 等人 2022](https://doi.org/10.1109/JSTARS.2022.3155559) | 使用 2D CNN 和跳跃连接的特征融合 | https://github.com/geodrak/OMBRIA | DCSA-Net | [Wang 等人 2022](https://doi.org/10.3390/rs14194941) | 使用 2D CNN 和注意力的混合融合。 | https://github.com/Julia90/DCSA-Net | Siamese U-Net | [Cummings 等人 2022](https://doi.org/10.1109/IGARSS46834.2022.9884834) | 使用 2D CNN 和跳跃连接的密集融合 | https://github.com/solcummings/earthvision2021-weakly-supervised | AM$^3$Net | [Wang 等人 2022](https://doi.org/10.1109/TCSVT.2022.3148257) | 使用 2D CNN 和交叉注意力的特征级融合。 | https://github.com/Cimy-wang/AM3Net_Multimodal_Data_Fusion | MAHiDFNet | [Wang 等人 2022](https://doi.org/10.1016/j.inffus.2021.12.008) | 使用 2D CNN 的密集特征融合。 | https://github.com/SYFYN0317/-MAHiDFNet | EndNet | [Hong 等人 2022](https://doi.org/10.1109/LGRS.2020.3017414) | 使用 2D CNN 和视图重建的特征级融合。 | https://github.com/danfenghong/IEEE_GRSL_EndNet | SE$^2$Net | [Fang 等人 2022](https://doi.org/10.1109/LGRS.2021.3121028) | 使用 2D CNN 的特征级融合。 | https://github.com/likyoo/Multimodal-Remote-Sensing-Toolkit | MV CNN | [Lu 等人 2022](https://doi.org/10.1016/j.rse.2021.112830)| 使用 2D CNN 和自适应注意力的特征级融合。 | https://github.com/GeoX-Lab/UnifiedDL-UFZ-extraction | IP-CNN | [Zhang 等人 2022](https://doi.org/10.1109/TGRS.2021.3093334) | 使用 2D CNN 和视图重建的特征级融合。 | https://github.com/HelloPiPi/IP-CNN-code | ASF2N | [Gao 等人 2022](https://doi.org/10.1016/j.jag.2022.102687) | 使用 2D CNN 和注意力的特征级融合。 | https://github.com/zhonghaocheng/ELSEVIER_IJAEOG_AS2F2N << 无代码| SEnSeI | [Francis 等人 2022](https://ieeexplore.ieee.org/abstract/document/9615070) | 基于 2D CNN 的传感器不变模型 |https://github.com/aliFrancis/SEnSeI | MV NN | [Danilevicz 等人 2021](https://doi.org/10.3390/rs13193976) | 使用表格 NN 和 2D CNN 的特征级融合。 | https://github.com/mdanilevicz/maize_early_yield_prediction | CFCNN | [He 等人 2021](https://doi.org/10.1109/TGRS.2020.3028622) | 使用 2D 和 1D CNN 的特征级融合。 | https://github.com/SysuHe/MultiSourceData_CFCNN | S2FL | [Hong 等人 2021](https://doi.org/10.1016/j.isprsjprs.2021.05.011) | 带特征约束的特征级融合。 | https://github.com/danfenghong/ISPRS_S2FL | CMGFNet | [Hosseinpour 等人 2022](https://doi.org/10.1016/j.isprsjprs.2021.12.007) | 使用 2D CNN 和门控注意力的密集融合。 | https://github.com/hamidreza2015/CMGFNet-Building_Extraction | MDL-RS | [Hong 等人 2021](https://doi.org/10.1109/TGRS.2020.3016820) | 使用 NN 的多种融合策略。 | https://github.com/danfenghong/IEEE_TGRS_MDL-RS | MV PSE-TAE | [Ofori-Ampofo 等人 2021](https://doi.org/10.3390/rs13224668) | 使用 PSE-TAE 的多种融合策略。 | https://github.com/ellaampy/CropTypeMapping | CCR-Net | [Wu 等人 2021](https://doi.org/10.1109/TGRS.2021.3124913) | 使用 2D CNN 和跨视图重建的特征级融合。 | https://github.com/danfenghong/IEEE_TGRS_CCR-Net | LFMC from SAR | [Rao 等人](https://doi.org/10.1016/j.rse.2020.111797) | 使用 LSTM 的输入级融合 | https://github.com/kkraoj/lfmc_from_sar | FusAtNet | [Mohla 等人 2020](https://doi.org/10.1109/CVPRW50498.2020.00054) | 使用 2D CNN 和交叉注意力的特征级融合。 | https://github.com/ShivamP1993/FusAtNet | HRWN | [Zhao 等人 2020](https://doi.org/10.1109/TGRS.2020.2982064) | 使用 2D CNN 和像素图约束的输入级融合。 | https://github.com/xudongzhao461/HRWN | UNet-CLSTM | [Rustowicz 等人 2019](https://openaccess.thecvf.com/content_CVPRW_2019/html/cv4gc/Rustowicz_Semantic_Segmentation_of_Crop_Type_in_Africa_A_Novel_Dataset_CVPRW_2019_paper.html) | 使用 2D CNN 和卷积-LSTM 的决策级融合 | https://github.com/roserustowicz/crop-type-mapping | Multi3Net | [Rudner 等人 2019](https://doi.org/10.1609/aaai.v33i01.3301702) | 使用 2D CNN 的特征级融合。 | https://github.com/FrontierDevelopmentLab/multi3net | V-FuseNet | [Audebert 等人 2018](https://doi.org/10.1016/j.isprsjprs.2017.11.011) | 使用 2D CNN 和中心模型的密集融合。 | https://github.com/nshaud/DeepNetsForEO | MV CNN | [Xu 等人 2018](https://doi.org/10.1109/TGRS.2017.2756851) | 使用 2D CNN 的特征级融合。 | https://github.com/Hsuxu/Two-branch-CNN-Multisource-RS-classification << 不可用| ### 对缺失数据和视图具有鲁棒性的 MVL 模型列表 | 名称 | 参考文献 | 描述 | 代码 | |------|-----------|-------------|------| MDiCo | [Mena 等人 2025](https://doi.org/10.1007/s10994-025-06903-0) | 决策级协同学习，用于处理单视图预测 | https://github.com/fmenat/MDiCo | DSensD+ | [Mena 等人 2025](https://doi.org/10.1109/ACCESS.2025.3568706) | 带传感器 dropout 和相互蒸馏的决策级融合 | https://github.com/fmenat/dsensdp | FCoM-* | [Mena 等人 2025](https://doi.org/10.1016/j.neucom.2025.130175) | 考虑所有缺失视图组合并具有动态融合的特征级融合 | https://github.com/fmenat/CoM-views| OOD Fusion | [Gawlikowski 等人 2023](https://doi.org/10.1186/s13634-023-01008-z) | 使用 CNN 和加权平均聚合的输入级、特征级和决策级融合 | https://github.com/JakobCode/OOD_DataFusion | 一些缩写 | 缩写 | 名称 | | --- | --- | | CNN | 卷积神经网络 | | LSTM | 长短期记忆网络 | | NN | 神经网络| | PSE-TAE | 像素集编码器 - 时间注意力编码器 |

标签：Mamba模型, Transformer模型, 人工智能, 传感器不变性, 凭据扫描, 卫星图像分析, 地球观测, 多视图学习, 扩散模型, 数据融合, 模型列表, 深度学习, 特征融合, 用户模式Hook绕过, 自监督学习, 计算机视觉, 遥感, 遥感数据处理, 预训练