从感知识别到认知预测：空天•灵眸时空预测基础模型

随着对地观测手段的不断进步，每天可获取海量多模态、多分辨率、多时相的遥感数据。智能解译是遥感数据处理分析的核心手段之一，但是目前侧重于感知目标要素位置、类别等信息，难以反映目标要素的未来动向。因此，如何通过掌握目标要素时空规律，预测演变趋势，成为遥感领域研究热点问题。近日，中国科学院空天信息创新研究院（空天院）牵头研制出遥感领域通用预测基础模型“空天•灵眸 时空预测”（RingMo-Sense）。该模型通过共享学习遥感异构多时相数据，支持多空间、多时间尺度的预测任务。

研制团队从2021年致力遥感基础模型研究，于2022年发布多模态遥感基础模型“空天•灵眸”（RingMo），在场景分类、检测定位、要素提取及变化检测等典型感知识别下游任务上展现出其有效性。现在推出的遥感时空预测基础模型RingMo-Sense的核心突破，是在RingMo对目标要素分类定位的“感知识别”基础上，扩展至对目标要素演化规律的“认知预测”。

空天•灵眸 时空预测

RingMo-Sense结合遥感异构多时相数据与多空间、多时间尺度预测任务的特点，创新提出基于时空演化解耦的三支路网络架构，学习空天多时相数据的变化情况，获取稳定泛化的时空通用特征，并在要素分割预测、场景演化预测、数值趋势预测等典型应用任务中进行验证，探索时空预测基础模型在遥感专业领域应用的可能。同时，空天院与华为公司进行深度技术合作，基于昇思MindSpore AI框架与昇腾AI澎湃算力进行RingMo-Sense基础模型设计训练，实现自主创新。

图1空天•灵眸 时空预测

核心能力 创新创造

1、架构创新设计

RingMo-Sense的核心目标是打通遥感多域异构多时相数据输入及多时间、多空间尺度任务输出的信息通路，通过提取稳定泛化特征实现对未来状态的精准预测。

因此，团队提出基于时空演化解耦的三支路网络架构。通过构建时间-空间-时空的三支路网络结合块状（Block-wise）、管状（Tube-wise）、帧状（Frame-wise）的掩码方式，将时空关联解耦，分别学习遥感多时相数据中的空间位置关系、时序动态关系和时空交互关系，并利用渐进式训练策略实现三支路的权重共享和联合优化，以适应不同时间尺度、不同空间尺度的任务特点，达到稳定预测的目的。

图2 基于时空演化解耦的三支路网络架构

2、模型训练优化

遥感预测所涉及的场景分布广泛，为提升模型的鲁棒性和泛化性，RingMo-Sense的训练优化需要规模庞大、丰富度高的遥感多时相数据。

团队收集了来自卫星、航空飞机、无人机等多平台的多时相数据，如高分系列卫星和高空遥感飞机的时序图像、吉林卫星和无人机的视频数据，涵盖了厘米级、米级、数十米级等多种分辨率，数据总量达四百万帧，用以支持RingMo-Sense的训练优化。但不同遥感数据的时间间隔不统一，存在时空演化规律难捕捉的问题。因此团队提出时序变化幅度引导的多尺度数据自适应掩码机制，将时序变化的一阶导数作为超参数，通过掩码自主调节上下帧间的信息流通量，为时序冗余度高或低的数据选取更大或小的掩码比率，使得模型能够处理不同时间间隔的数据，实现对不同遥感数据自适应提取时序特征的能力。

图3 时序变化幅度引导的多尺度数据自适应掩码机制

3、应用任务泛化

时空预测的应用涵盖地物要素分割预测、遥感场景预测、无人机场景预测、数值趋势预测等多种任务，各种应用间差异大，具有时间尺度、空间尺度不一的特点。

RingMo-Sense因其自身架构特点，使得应用任务间的转换非常灵活，基础模型训练结束后，可以将其快速应用到时空预测下游任务中。RingMo-Sense会丢弃掉基础模型训练时采用的解码器，然后将其替换为对应下游预测任务特定的解码器，进而利用下游任务的少量数据对模型进行简单微调。RingMo-Sense在多个时空预测任务上取得了有竞争力的效果。

图4 空天•灵眸 时空预测下游应用

4、昇腾AI基础软硬件适配

空天院与华为深度合作，由北京昇腾人工智能生态创新中心提供技术保障，在昇腾AI澎湃算力上，利用昇思MindSporeAI框架对RingMo-Sense基础模型和下游任务完成了昇腾AI基础软硬件适配，并针对时序数据训练方面进行性能优化，为各行各业研究者基于昇腾AI基础软硬件平台进行遥感时序模型训练与开发提供有力支撑。

目前，“空天•灵眸”时空预测基础模型的核心成果已在遥感领域权威期刊IEEE Transactions on Geoscience and Remote Sensing公开发表。同时，该模型已在住建交通、国土资源等行业开展试用，支持对重点目标、地物要素的时空规律分析，实现精准认知预测。

相关论文信息

F. Yao et al., "RingMo-Sense: Remote Sensing Foundation Model for Spatiotemporal Prediction via Spatiotemporal Evolution Disentangling," in IEEE Transactions on Geoscience and Remote Sensing, vol. 61, pp. 1-21, 2023, Art no. 5620821, doi: 10.1109/TGRS.2023.3316166.

论文链接

https://ieeexplore.ieee.org/document/10254320

以上内容由地理与赛博空间信息技术研究部赛博智能团队提供。