一种基于残差场和位移场的图像光流优化方法及系统

技术领域

本发明涉及图像序列光流计算领域，特别是涉及一种基于残差场和位移场的图像光流优化方法及系统。

背景技术

光流是运动物体或场景表面像素点在投影平面的二维瞬时速度，其不仅能够提供图像中运动目标和景物的运动参数信息，还能够提供丰富的三维结构信息，是图像处理、计算机视觉等领域的热点问题。近年来，随着深度学习理论与技术的快速发展，卷积神经网络模型被广泛应用于光流估计技术研究，由于该类方法具有计算速度快、稳定性高等显著优点，因此逐渐成为遮挡检测研究领域的热点，研究成果被广泛应用于动作识别、人体姿态识别、光流估计、人脸识别、目标跟踪和三维重建等更高级视觉任务。

目前，基于卷积神经网络的光流估计技术是图像序列光流计算技术中最常采用的一类光流估计技术，该类方法通常会在物体运动边界区域导致过度平滑现象，并且对于包含非刚性运动和大位移的图像序列边缘模糊现象更为严重，限制了此类方法在各个领域的应用。

发明内容

本发明的目的是提供一种基于残差场和位移场的图像光流优化方法及系统，以提高图像序列光流估计在运动边界区域的精度和鲁棒性。

为实现上述目的，本发明提供了如下方案：

一种基于残差场和位移场的图像光流优化方法，包括：

获取参考图像；

采用光流估计方法对所述参考图像进行估计，得到初始光流场；

获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器；

将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场；

将所述初始光流场与所述残差场叠加，得到初步优化的光流场；

利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场。

可选的，所述图像编码器包括多层卷积层；所述光流编码器包括多层卷积层；所述第一解码器包括多个卷积层；所述子解码器包括第一子解码器和第二子解码器。

可选的，所述将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场，具体包括：

利用所述图像编码器对所述参考图像进行特征金字塔下采样分层，得到多个分辨率不同的图像特征图；

利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层，得到多个分辨率不同的光流场特征图；

根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图；

根据所述解码器特征图，利用所述第一子解码器计算残差场；

根据所述解码器特征图，利用所述第二子解码器计算位移场。

可选的，所述根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图，具体包括：

利用公式

本发明还提供一种基于残差场和位移场的图像光流优化系统，包括：

参考图像获取模块，用于获取参考图像；

光流估计模块，用于采用光流估计方法对所述参考图像进行估计，得到初始光流场；

光流优化模型获取模块，用于获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器；

残差场和位移场计算模块，用于将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场；

叠加模块，用于将所述初始光流场与所述残差场叠加，得到初步优化的光流场；

重采样模块，用于利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场。

可选的，所述图像编码器包括多层卷积层；所述光流编码器包括多层卷积层；所述第一解码器包括多个卷积层；所述子解码器包括第一子解码器和第二子解码器。

可选的，所述残差场和位移场计算模块，具体包括：

图像特征提取单元，用于利用所述图像编码器对所述参考图像进行特征金字塔下采样分层，得到多个分辨率不同的图像特征图；

光流场特征提取单元，用于利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层，得到多个分辨率不同的光流场特征图；

第一解码单元，用于根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图；

残差场计算单元，用于根据所述解码器特征图，利用所述第一子解码器计算残差场；

位移场计算单元，用于根据所述解码器特征图，利用所述第二子解码器计算位移场。

可选的，所述第一解码单元，具体包括：

解码子单元，用于利用公式

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明采用残差场和位移场优化运动边界区域的光流估计，通过残差场进行优化，对于包含非刚性运动和大位移等图像序列具有更好的计算精度。通过位移场的进一步优化，图像中物体运动边界处的光流场精度得到了显著提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于残差场和位移场的图像光流优化方法的流程示意图；

图2为本发明参考图像的示例；

图3为本发明的初始光流场；

图4为本发明的光流优化模型总体图；

图5为本发明经光流优化模型优化后的光流场；

图6为本发明基于残差场和位移场的图像光流优化系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明基于残差场和位移场的图像光流优化方法的流程示意图。如图1所示，本发明基于残差场和位移场的图像光流优化方法包括以下步骤：

步骤100：获取参考图像。参考图像为图像序列中的任一帧图像。如图2所示，图2为ambush5图像序列的第一帧图像。

步骤200：采用光流估计方法对参考图像进行估计，得到初始光流场。采用现有的光流估计方法对参考图像进行光流估计，得到的估计结果作为初始光流场。以图2示例的参考图像，进行光流估计后的初始光流场如图3所示。

步骤300：获取光流优化模型。如图4所示，本发明的光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器。其中，图像编码器E

光流编码器E

其中，

第一解码器由四层3×3卷积层D

式中：

步骤400：将参考图像和初始光流场输入光流优化模型，输出残差场和位移场。将参考图像和初始光流场输入光流优化模型后，如图4所示，依次经过图像编码器、光流编码器和第一解码器后，输出解码特征图。本发明的子解码器包括第一子解码器和第二子解码器，第一子解码器和第二子解码器均为3×3卷积层。第一子解码器用于计算残差场，第二子解码器用于计算位移场。公式如下：

式中，

步骤500：将初始光流场与残差场叠加，得到初步优化的光流场。公式如下：

式中：p代表了参考图像I中的一个像素坐标位置，F

步骤600：利用位移场对初步优化的光流场进行重采样，得到优化后的光流场。公式如下：

计算方式如下：

式中，f

下面举例说明重采样过程，假设重采样前的光流场f

本发明还提供一种基于残差场和位移场的图像光流优化系统，图6为本发明基于残差场和位移场的图像光流优化系统的结构示意图。如图6所示，本发明基于残差场和位移场的图像光流优化系统包括：

参考图像获取模块601，用于获取参考图像。

光流估计模块602，用于采用光流估计方法对所述参考图像进行估计，得到初始光流场。

光流优化模型获取模块603，用于获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器。

残差场和位移场计算模块604，用于将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场。

叠加模块605，用于将所述初始光流场与所述残差场叠加，得到初步优化的光流场。

重采样模块606，用于利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场。

作为具体实施例，本发明基于残差场和位移场的图像光流优化系统中，所述图像编码器包括多层卷积层；所述光流编码器包括多层卷积层；所述第一解码器包括多个卷积层；所述子解码器包括第一子解码器和第二子解码器。

作为具体实施例，本发明基于残差场和位移场的图像光流优化系统中，所述残差场和位移场计算模块604，具体包括：

图像特征提取单元，用于利用所述图像编码器对所述参考图像进行特征金字塔下采样分层，得到多个分辨率不同的图像特征图。

光流场特征提取单元，用于利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层，得到多个分辨率不同的光流场特征图。

第一解码单元，用于根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图。

残差场计算单元，用于根据所述解码器特征图，利用所述第一子解码器计算残差场。

位移场计算单元，用于根据所述解码器特征图，利用所述第二子解码器计算位移场。

作为具体实施例，本发明基于残差场和位移场的图像光流优化系统中，所述第一解码单元，具体包括：

解码子单元，用于利用公式

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。