雷达回波图预测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种雷达回波图预测方法、装置、计算机设备和存储介质。

背景技术

气象雷达回波，是由雷达发射、经大气及其悬浮物散射而返回的被雷达天线所接收的电磁波。由这些电磁波转换得到的信号所对应的图像称为雷达回波图。分析气象雷达回波图，可及时发现台风、雷暴、暴雨、冰雹、龙卷风等灾害性天气的强度、位置及其移动变化情况。

在传统方式中，通常基于单一的初始雷达回波图进行预测，然后再基于预测得到的雷达回波预测图继续进行后续的预测。

但是，基于单一的初始雷达回波图进行预测仅考虑了单一时间节点的特征，使得在连续预测中预测准确性较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升连续多帧雷达回波图预测准确性的雷达回波图预测方法、装置、计算机设备和存储介质。

一种雷达回波预测方法，所述方法包括：

获取初始雷达回波图集，初始雷达回波图集中包括至少两帧初始雷达回波图；

对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图；

根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图；

对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流；

基于雷达回波预测图以及光流，对初始雷达回波图集进行更新；

根据更新后的初始雷达回波图集继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。

在其中一个实施例中，上述方法还包括：

将获取的初始雷达回波图集作为参考帧图像集，并对参考帧图像集进行特征提取，得到对应参考帧图像集的参考特征图；

将参考特征图以及初始特征图进行特征融合，生成目标特征图；

根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图，包括：

根据目标特征图进行回归预测，生成下一时刻的雷达回波预测图；

对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流，包括：

对目标特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流。

在其中一个实施例中，对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图，包括：

对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集；

对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

在其中一个实施例中，对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图，包括：

根据预先训练完成的部分卷积网络对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

在其中一个实施例中，部分卷积网络的训练方式包括：

获取训练集图像；

基于训练集图像，确定对应的遮挡掩膜；

根据训练集图像以及对应的遮挡掩膜，生成训练样本集；

将训练样本集输入构建的初始部分卷积网络，对初始部分卷积网络进行迭代训练，得到训练后的部分卷积网络。

在其中一个实施例中，基于训练集图像，确定对应的遮挡掩膜，包括：

根据训练集图像，得到与训练集图像尺寸一致的初始遮挡掩膜；

基于训练集图像中的标注的噪声区域，对初始遮挡掩膜中对应的区域位置进行遮挡区域扩展，得到遮挡区域扩展后的初始遮挡掩膜；

对遮挡区域扩展后的初始遮挡掩膜添加随机噪声，生成噪声增强的遮挡掩膜。

在其中一个实施例中，基于雷达回波预测图以及光流，对初始雷达回波图集进行更新，包括：

将雷达回波预测图以及光流进行融合，得到光流融合后的雷达回波预测图；

根据初始雷达回波图集中各初始雷达回波图的采集生成时间顺序，将光流融合后的雷达回波预测图替换初始雷达回波图集中最先采集并生成的初始雷达回波图，得到更新后的初始雷达回波图集。

一种雷达回波预测装置，所述装置包括：

图集获取模块，用于获取初始雷达回波图集，初始雷达回波图集中包括至少两帧初始雷达回波图；

特征提取模块，用于对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图；

回归预测模块，用于根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图；

光流预测模块，用于对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流；

更新模块，用于基于雷达回波预测图以及光流，对初始雷达回波图集进行更新；

迭代预测模块，用于根据更新后的初始雷达回波图集继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述方法的步骤。

一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。

上述雷达回波图预测方法、装置、计算机设备和存储介质，通过获取初始雷达回波图集，初始雷达回波图集中包括至少两帧初始雷达回波图，对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图，根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图，对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流，基于雷达回波预测图以及光流，对初始雷达回波图集进行更新，根据更新后的初始雷达回波图集继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。从而，在进行连续多帧图像预测的时候，可以根据特征提取得到的特征图预测相邻帧图像的光流，基于得到的光流以及预测得到的雷达回波预测图更新初始雷达回波图集，并继续进行特征提取以及预测，可以提升连续多帧雷达回波图预测的准确性。

附图说明

图1为一个实施例中雷达回波图预测方法的应用场景图；

图2为一个实施例中雷达回波图预测方法的流程示意图；

图3为另一个实施例中雷达回波图预测方法的流程示意图；

图4为一个实施例中部分卷积神经网络的示意图；

图5为一个实施例中初始遮挡掩膜的示意图；

图6为一个实施例中训练集图像的示意图；

图7为一个实施例中遮挡区域扩展后的初始遮挡掩膜的示意图；

图8为一个实施例中噪声增强的遮挡掩膜的示意图；

图9为一个实施例中雷达回波图预测装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的雷达回波图预测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102采集到至少两帧初始雷达回波图后，生成初始雷达回波图集，并发送至服务器104。服务器104获取到初始雷达回波图集，可以对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图。然后服务器104根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图。进一步，当服务器104对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流，然后服务器104基于雷达回波预测图以及光流，对初始雷达回波图集进行更新。进一步，服务器104根据更新后的初始雷达回波图集继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种雷达回波图预测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，获取初始雷达回波图集，初始雷达回波图集中包括至少两帧初始雷达回波图。

其中，初始雷达回波图集是指通过终端采集并生成的雷达回波图的图集，初始雷达回波图集中包括至少连续的两帧初始雷达回波图，即至少包括当前时刻以及当前时刻的前一时刻的初始雷达回波图。

在本实施例中，当前时刻以及当前时刻的前一时间之间的时间差可以根据预设值确定，例如，若设定初始雷达回波图的采集周期为5分钟，则当前时刻以及当前时刻的前一时间之间的时间差为5分钟。

在本实施例中，服务器在获取初始雷达回波图集后，可以对初始雷达回波图集进行预处理，例如，可以先将所有的图像进行图像尺寸的调整，调整至同一预设尺寸，或者也可以根据各图像的亮度水平等，对初始雷达回波图集中的各初始雷达回波图的亮度进行调整，使得初始雷达回波图集中所有的初始雷达回波图亮度水平一致。

步骤S204，对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图。

在本实施例中，服务器在获取到初始雷达回波图集后，可以分别对初始雷达回波图集中的各初始雷达回波图进行特征的提取，以分别得到对应初始雷达回波图集中各初始雷达回波图的初始特征图。

在本实施例中，服务器可以并行对初始雷达回波图集中的各初始雷达回波图进行特征的提取，以提升数据处理效率。

步骤S206，根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图。

其中，雷达回波预测图是指介于初始特征图预测的当前时刻的下一时刻的雷达回波图，沿用前例，终端按照5分钟为一个采集周期采集初始雷达回波图，则当前时刻的下一时刻为当前时刻5分钟后的时刻。

在本实施例中，服务器可以根据各初始雷达回波图的初始特征图，确定相邻帧特征图之间的变化差异，然后服务器基于各初始特征图对当前时刻的下一时刻的雷达回波图进行预测，以生成下一时刻的雷达回波预测图。

在其中一个实施例中，在生成下一时刻的雷达回波预测图之后，还可以判断雷达回波预测图是否对应于预设预测时间区间。

其中，预设预测时间区间是指预先设置的预测时间区间，例如，可以是指当前时刻之后的2个小时。

在本实施例中，服务器在生成当前时刻的下一时刻的雷达回波预测图时，还可以生成雷达回波预测图与初始雷达回波图集中最后一帧初始雷达回波图的帧差，然后基于帧差以及预测时间间隔，确定预测得到的雷达回波预测图是否对应于预设预测时间区间。

例如，初始雷达回波图集中包括10帧初始雷达回波图，记为0帧～9帧，预测得到的当前时刻的下一时刻的雷达回波预测图为第10帧，则服务器可以确定雷达回波预测图与初始雷达回波图集中最后一帧初始雷达回波图的帧差为1(预测得到的第一帧)。并且，服务器按照终端的采集周期5分钟一次的频率进行预测，则预测时间间隔为5分钟，则可以确定，预测得到的雷达回波预测图位于预设预测时间区间(2小时)内，即对应于预设预测时间区间。或者，当服务器预测到的当前时刻的下一时刻的雷达回波预测图为第34帧，则服务器可以确定雷达回波预测图与初始雷达回波图集中最后一帧初始雷达回波图的帧差为25(预测得到的第25帧)，则可以进一步确定第34帧对应的雷达回波预测图与初始雷达回波图集中最后一帧初始雷达回波图的时间间隔为2小时5分钟，未位于预设预测时间区间(2小时)内，即不对应于预设预测时间区间。

步骤S208，对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流。

其中，光流是指初始雷达回波图集中相邻帧初始雷达回波图的图像差，例如，初始雷达回波图集中包括第0帧～第9帧初始雷达回波图，则光流是指基于第0帧和第1帧、第1帧和第2帧…第8帧和第9帧各相邻帧之间的初始图像差所生成的总的图像差、或者是平均图像差、或者也可以是加权求和后的图像差。

在本实施例中，服务器可以基于各初始特征图，进行相邻帧图像的光流进行预测，生成对应初始雷达回波图集中相邻帧初始雷达回波图的光流。

在其中一个实施例中，服务器对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流，也可以是在当服务器确定雷达回波预测图对应于预设预测时间区间之后进行的，即服务器先进行判定，在判对应于预设预测时间区间时，在进行光流的预测，从而人可以保障预测的准确性。

步骤S210，基于雷达回波预测图以及光流，对初始雷达回波图集进行更新。

具体地，服务器可以对雷达回波预测图以及光流进行融合，得到融合后的雷达回波预测图，然后对初始雷达回波图集进行更新。

在本实施例中，更新可以是指新增或者替换，本申请对此不作限制。

步骤S212，根据更新后的初始雷达回波图集继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。

具体地，服务器可以基于更新后的初始雷达回波图集，继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。例如，沿用前例，当服务器预测到第10帧的雷达回波预测图，可以对初始雷达回波图集中进行更新，然后继续预测第11帧～第34帧的雷达回波预测图，从而实现对预设预测时间区间的多帧雷达回波预测图的预测。

上述雷达回波图预测方法中，通过获取初始雷达回波图集，初始雷达回波图集中包括至少两帧初始雷达回波图，对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图，根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图，对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流，基于雷达回波预测图以及光流，对初始雷达回波图集进行更新，根据更新后的初始雷达回波图集继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。从而，在进行连续多帧图像预测的时候，可以根据特征提取得到的特征图预测相邻帧图像的光流，基于得到的光流以及预测得到的雷达回波预测图更新初始雷达回波图集，并继续进行特征提取以及预测，可以提升连续多帧雷达回波图预测的准确性。

在其中一个实施例中，上述方法还可以包括：将获取的初始雷达回波图集作为参考帧图像集，并对参考帧图像集进行特征提取，得到对应参考帧图像集的参考特征图；将参考特征图以及初始特征图进行特征融合，生成目标特征图。

其中，参考帧图像集是指用于参考辅助预测的图像集。在本实施例中，参考帧图像集与预测开始时的初始雷达回波图集一致，即第0帧～第9帧初始雷达云图构成的图像集。

在本实施例中，服务器可以将获取的初始雷达回波图集作为参考帧图像集，并对参考帧图像集进行特征提取。

具体地，参考图3，服务器将初始雷达回波图集以及参考帧图像集分别输入分支A和分支B中，以分别进行特征提取，然后对提取得到的初始特征图以及参考特征图进行特征融合，生成目标特征图。

在本实施中，在预设预测时间区间内，A分支中输入的初始雷达回波图集根据预测得到的雷达回波预测图进行更新的图像集，B分支中输入的参考帧图像集为自始不发生变化的图像集。当当前预设预测时间区间结束，进行下一预设预测时间区间的预测时，则在以对应于下一预设预测时间区间的初始雷达回波图集作为新的图像集进行下一预设预测时间区间的预测。

在本实施例中，根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图，可以包括：根据目标特征图进行回归预测，生成下一时刻的雷达回波预测图。

在本实施例中，对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流，可以包括：对目标特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流。

具体地，继续参考图3，服务器可以对融合得到的目标特征图进行回归预测，生成下一时刻的雷达回波预测图以及对应初始雷达回波图集中相邻帧初始雷达回波图的光流，然后在进行后续的处理。

上述实施例中，通过将初始雷达回波图集作为参考帧图像集，并进行特征提取，得到对应参考帧图像集的参考特征图，然后将参考特征图以及初始特征图进行特征融合，生成目标特征图，并对目标特征图进行雷达回波预测图以及光流的预测，从而，在连续预测过程中，可以以最原始采集真实的初始雷达回波图集作为参考帧图像集作为预测参考，可以提升后续预测过程中的准确性，提升预测得到的雷达回波预测图准确性。

在其中一个实施例中，基于雷达回波预测图以及光流，对初始雷达回波图集进行更新，可以包括：将雷达回波预测图以及光流进行融合，得到光流融合后的雷达回波预测图；根据初始雷达回波图集中各初始雷达回波图的采集生成时间顺序，将光流融合后的雷达回波预测图替换初始雷达回波图集中最先采集并生成的初始雷达回波图，得到更新后的初始雷达回波图集。

具体地，继续参考图3，服务器可以对生成的光流以及预测得到的下一帧雷达回波图进行融合，得到光流融合后的雷达回波预测图。

进一步，服务器根据初始雷达回波图集中各初始雷达回波图的采集生成时间顺序，或者是帧顺序，将得到光流融合后的雷达回波预测图替换初始雷达回波图集中最先采集并生成的初始雷达回波图。继续沿用前例，初始雷达回波图集中包括第0帧～第9帧初始雷达回波图，则服务器可以将光流融合后的雷达回波预测图替换掉初始雷达回波图集中的第0帧的初始雷达回波图，使得输入A分支的初始雷达回波图集为包括第1帧～第10帧的雷达回波图集。

同理，当完成下一次预测后，服务器可以更新输入A分支的初始雷达回波图集为第2帧～第11帧的雷达回波图集，以此类推，进行循环预测。

上述实施例中，通过将雷达回波预测图以及光流进行融合，得到光流融合后的雷达回波预测图，然后将光流融合后的雷达回波预测图替换初始雷达回波图集中最先采集并生成的初始雷达回波图，得到更新后的初始雷达回波图集，可以使得下一次预测的时候包含了前一次预测的信息，可提升预测的准确性。

在其中一个实施例中，对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图，可以包括：对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集；对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

其中，无效图像区域是指采集得到的初始雷达回波图中存在的噪声区域或者存在部分雷达回波缺失的区域。

在本实施例中，服务器在对雷达回波图集中各初始雷达回波图进行特征提取的时候，可以各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，然后对遮挡后的初始雷达回波图集进行特征提取。例如，可以通过MASK等进行无效区域的遮挡并进行特征提取。

上述实施例中，通过对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，然后对遮挡后的初始雷达回波图集进行特征提取，从而，可以去除初始雷达回波图集中各初始雷达回波图的无效图像区域，以减少特征提取的干扰，提升特征提取的准确性，进而提升雷达回波图的预测的准确性。

在其中一个实施例中，对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图，可以包括：根据预先训练完成的部分卷积网络对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

其中，部分卷积网络可以参考图4所示，部分卷积网络包括多个部分卷积层，partial conv以及resnet with partial conv表示两种不同的部分卷积层，feature表示提取的特征，mask表示掩码。

在本实施例中，部分卷积网络的表达形式可以入下公式(1)所示。

其中，

在本实施例中，在每次完成部分卷积操作后，掩膜mask要进行一轮更新，即mask输入到部分卷积之后，mask的有效值将会扩大，经过部分卷积之后的mask比输入的mask为1的区域会大些，从而，如果卷积能够在至少一个有效输入上调节其输出，则在该位置移除掩码。输出掩码如下公式(2)所示。

m

上述实施例中，通过训练完成的部分卷积网络对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图，可以提升特征提取的准确性，进而可以提升预测的准确性。

在其中一个实施例中，部分卷积网络的训练方式可以包括：获取训练集图像；基于训练集图像，确定对应的遮挡掩膜；根据训练集图像以及对应的遮挡掩膜，生成训练样本集；将训练样本集输入构建的初始部分卷积网络，对初始部分卷积网络进行迭代训练，得到训练后的部分卷积网络。

具体地，服务器预先构建初始模型。然后，服务器可以准备一批雷达回波图，按照30帧作为一组，作为训练集图像，每组前10帧作为输入，后20帧作为输出的ground true。

进一步，服务器可以基于训练图像，确定对应尺寸的遮挡掩膜。

具体地，由于获取的雷达回波图的有效区域是一个圆形，则服务器可以根据获取的雷达回波图，准备一张与雷达回波图的尺寸相同的掩码mask。其中，雷达回波图有效的区域，在掩码mask对应的像素点为1，反之为0，如图5所示。

进一步，服务器可以根据训练集图像以及得到的对应的遮挡掩膜，生成训练样本集。

进一步，服务器准备好的训练样本集输入图3所示的网络中，进行训练。

具体地，服务器将训练样本集分别输入A、B两个分支进行特征提取，然后进行特征融合，得到融合特征图。然后进行光流以及雷达回波预测图的预测。

在本实施例中，服务器可以根据预测得到的雷达回波预测图与作为ground true的训练集图像进行损失值的计算，并根据计算的损失值更新模型参数。然后对服务器模型参数更新后的模型继续进行训练，直至损失值稳定。

在本实施例中，服务器可以通过多组训练集图像对构建的模型进行训练，以进一步提升模型的预测的准确性。

在其中一个实施例中，基于训练集图像，确定对应的遮挡掩膜，可以包括：根据训练集图像，得到与训练集图像尺寸一致的初始遮挡掩膜；基于训练集图像中的标注的噪声区域，对初始遮挡掩膜中对应的区域位置进行遮挡区域扩展，得到遮挡区域扩展后的初始遮挡掩膜；对遮挡区域扩展后的初始遮挡掩膜添加随机噪声，生成噪声增强的遮挡掩膜。

在本实施例中，参考图6，针对图中的雷达回波图，由于硬件设备的原因，会有一些辐射状的噪声，如601虚线框所示。这部分噪声会严重影响雷达回波预测的效果，可以通过人工手动或者自动化的方式对训练集图像中这部分辐射状噪声进行标注，标注为噪声区域。

进一步，服务器可以根据训练集图像中标注的噪声区域对初始遮挡掩膜的遮挡区域对应进行扩展，即参考图7所示的701区域，将mask中与辐射噪声对应的区域置为0，得到遮挡区域扩展后的新的mask。

进一步，服务器还可以对遮挡区域扩展后的初始遮挡掩膜做数据增强，添加随机噪声，将mask中为1的区域设置部分区域随机置0，生成新的mask，生成噪声增强的遮挡掩膜，如图8所示，其中801区域为噪声增强的区域。

上述实施例中，通过对初始遮挡掩膜中对应的区域位置进行遮挡区域扩展以及进行随机噪声的添加，并生成遮挡掩膜，可以提升对无效图像区域进行遮挡的准确性以及全面性，提升后续特征提取的准确性以及雷达回波预测图的预测的准确性。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种雷达回波图预测装置，包括：图集获取模块100、特征提取模块200、回归预测模块300、光流预测模块400、更新模块500和迭代预测模块600，其中：

图集获取模块100，用于获取初始雷达回波图集，初始雷达回波图集中包括至少两帧初始雷达回波图。

特征提取模块200，用于对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图。

回归预测模块300，用于根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图。

光流预测模块400，用于对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流。

更新模块500，用于基于雷达回波预测图以及光流，对初始雷达回波图集进行更新。

迭代预测模块600，用于根据更新后的初始雷达回波图集继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。

在其中一个实施例中，上述装置还可以包括：

参考帧图像集确定模块，用于将获取的初始雷达回波图集作为参考帧图像集，并对参考帧图像集进行特征提取，得到对应参考帧图像集的参考特征图。

特征融合模块，用于将参考特征图以及初始特征图进行特征融合，生成目标特征图。

在本实施例中，回归预测模块300用于根据目标特征图进行回归预测，生成下一时刻的雷达回波预测图。

在本实施例中，光流预测模块400用于对目标特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流。

在其中一个实施例中，特征提取模块200可以包括：

遮挡子模块，用于对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集。

特征提取子模块，用于对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

在其中一个实施例中，遮挡子模块用于根据预先训练完成的部分卷积网络对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

在其中一个实施例中，上述装置还可以包括：

训练模块，用于训练部分卷积网络。

在本实施例中，训练模块可以包括：

训练集图像获取子模块，用于获取训练集图像。

遮挡掩膜确定子模块，用于基于训练集图像，确定对应的遮挡掩膜。

训练样本集生成子模块，用于根据训练集图像以及对应的遮挡掩膜，生成训练样本集。

迭代训练子模块，用于将训练样本集输入构建的初始部分卷积网络，对初始部分卷积网络进行迭代训练，得到训练后的部分卷积网络。

在其中一个实施例中，遮挡掩膜确定子模块可以包括：

初始遮挡掩膜确定单元，用于根据训练集图像，得到与训练集图像尺寸一致的初始遮挡掩膜。

遮挡扩展单元，用于基于训练集图像中的标注的噪声区域，对初始遮挡掩膜中对应的区域位置进行遮挡区域扩展，得到遮挡区域扩展后的初始遮挡掩膜。

噪声添加单元，用于对遮挡区域扩展后的初始遮挡掩膜添加随机噪声，生成噪声增强的遮挡掩膜。

在其中一个实施例中，更新模块500可以包括：

光流融合子模块，用于将雷达回波预测图以及光流进行融合，得到光流融合后的雷达回波预测图。

更新子模块，用于根据初始雷达回波图集中各初始雷达回波图的采集生成时间顺序，将光流融合后的雷达回波预测图替换初始雷达回波图集中最先采集并生成的初始雷达回波图，得到更新后的初始雷达回波图集。

关于雷达回波图预测装置的具体限定可以参见上文中对于雷达回波图预测方法的限定，在此不再赘述。上述雷达回波图预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储初始雷达回波图集、初始特征图、雷达回波预测图以及光流等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种雷达回波图预测方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取初始雷达回波图集，初始雷达回波图集中包括至少两帧初始雷达回波图；对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图；根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图；对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流；基于雷达回波预测图以及光流，对初始雷达回波图集进行更新；根据更新后的初始雷达回波图集继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。

在其中一个实施例中，处理器执行计算机程序时还可以实现以下步骤：将获取的初始雷达回波图集作为参考帧图像集，并对参考帧图像集进行特征提取，得到对应参考帧图像集的参考特征图；将参考特征图以及初始特征图进行特征融合，生成目标特征图。

在本实施例中，处理器执行计算机程序时实现根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图，可以包括：根据目标特征图进行回归预测，生成下一时刻的雷达回波预测图。

在本实施例中，处理器执行计算机程序时实现对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流，可以包括：对目标特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流。

在其中一个实施例中，处理器执行计算机程序时实现对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图，可以包括：对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集；对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

在其中一个实施例中，处理器执行计算机程序时实现对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图，可以包括：根据预先训练完成的部分卷积网络对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

在其中一个实施例中，处理器执行计算机程序时实现部分卷积网络的训练方式可以包括：获取训练集图像；基于训练集图像，确定对应的遮挡掩膜；根据训练集图像以及对应的遮挡掩膜，生成训练样本集；将训练样本集输入构建的初始部分卷积网络，对初始部分卷积网络进行迭代训练，得到训练后的部分卷积网络。

在其中一个实施例中，处理器执行计算机程序时实现基于训练集图像，确定对应的遮挡掩膜，可以包括：根据训练集图像，得到与训练集图像尺寸一致的初始遮挡掩膜；基于训练集图像中的标注的噪声区域，对初始遮挡掩膜中对应的区域位置进行遮挡区域扩展，得到遮挡区域扩展后的初始遮挡掩膜；对遮挡区域扩展后的初始遮挡掩膜添加随机噪声，生成噪声增强的遮挡掩膜。

在其中一个实施例中，处理器执行计算机程序时实现基于雷达回波预测图以及光流，对初始雷达回波图集进行更新，可以包括：将雷达回波预测图以及光流进行融合，得到光流融合后的雷达回波预测图；根据初始雷达回波图集中各初始雷达回波图的采集生成时间顺序，将光流融合后的雷达回波预测图替换初始雷达回波图集中最先采集并生成的初始雷达回波图，得到更新后的初始雷达回波图集。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取初始雷达回波图集，初始雷达回波图集中包括至少两帧初始雷达回波图；对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图；根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图；对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流；基于雷达回波预测图以及光流，对初始雷达回波图集进行更新；根据更新后的初始雷达回波图集继续进行特征提取以及光流和雷达回波预测图的预测，直至得到预设预测时间区间的多帧雷达回波预测图。

在其中一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：将获取的初始雷达回波图集作为参考帧图像集，并对参考帧图像集进行特征提取，得到对应参考帧图像集的参考特征图；将参考特征图以及初始特征图进行特征融合，生成目标特征图。

在本实施例中，计算机程序被处理器执行时实现根据各初始雷达回波图的初始特征图进行回归预测，生成下一时刻的雷达回波预测图，可以包括：根据目标特征图进行回归预测，生成下一时刻的雷达回波预测图。

在本实施例中，计算机程序被处理器执行时实现对初始特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流，可以包括：对目标特征图进行光流预测，得到对应初始雷达回波图集中相邻帧初始雷达回波图的光流。

在其中一个实施例中，计算机程序被处理器执行时实现对初始雷达回波图集进行特征提取，生成对应初始雷达回波图集中各初始雷达回波图的初始特征图，可以包括：对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集；对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

在其中一个实施例中，计算机程序被处理器执行时实现对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图，可以包括：根据预先训练完成的部分卷积网络对初始雷达回波图集中各初始雷达回波图的无效图像区域进行遮挡，形成遮挡后的初始雷达回波图集，以及对遮挡后的初始雷达回波图集进行特征提取，得到对应初始雷达回波图集的初始特征图。

在其中一个实施例中，计算机程序被处理器执行时实现部分卷积网络的训练方式可以包括：获取训练集图像；基于训练集图像，确定对应的遮挡掩膜；根据训练集图像以及对应的遮挡掩膜，生成训练样本集；将训练样本集输入构建的初始部分卷积网络，对初始部分卷积网络进行迭代训练，得到训练后的部分卷积网络。

在其中一个实施例中，计算机程序被处理器执行时实现基于训练集图像，确定对应的遮挡掩膜，可以包括：根据训练集图像，得到与训练集图像尺寸一致的初始遮挡掩膜；基于训练集图像中的标注的噪声区域，对初始遮挡掩膜中对应的区域位置进行遮挡区域扩展，得到遮挡区域扩展后的初始遮挡掩膜；对遮挡区域扩展后的初始遮挡掩膜添加随机噪声，生成噪声增强的遮挡掩膜。

在其中一个实施例中，计算机程序被处理器执行时实现基于雷达回波预测图以及光流，对初始雷达回波图集进行更新，可以包括：将雷达回波预测图以及光流进行融合，得到光流融合后的雷达回波预测图；根据初始雷达回波图集中各初始雷达回波图的采集生成时间顺序，将光流融合后的雷达回波预测图替换初始雷达回波图集中最先采集并生成的初始雷达回波图，得到更新后的初始雷达回波图集。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。