一种联合图像金字塔引导和循环交叉注意力的光流计算方法

技术领域

本发明涉及一种联合图像金字塔引导和循环交叉注意力的光流计算方法。

背景技术

光流是空间移动物体在像素观察平面中移动的瞬时速度，是一种计算物体在相邻帧间运动信息的方法，由物体和相机的相对速度产生的，反映了物体在极小时间内对应的图像像素的运动方向和速度。从光流中恢复物体三维结构和运动则是现有计算机视觉研究面临的最富有意义和挑战性的任务之一，在计算机视觉中，光流扮演着重要角色，在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等都有着非常重要的应用。

目前，光流计算模型的特征提取方法大多采用特征金字塔，但仅单纯的采用卷积进行特征提取会使得浅层中空间信息不能被有效利用，造成复杂运动场景中上下文提取能力不足，从而导致运动边缘和大位移光流估计的准确性降低。而引入图像金字塔作引导，并加入循环交叉注意力作为辅助上下文提取，能够有效实现深浅层信息平衡，有望提高在运动边缘和大位移区域光流计算的准确性和鲁棒性。

发明内容

本发明的目的在于提供一种联合图像金字塔子网引导和循环交叉注意力的光流计算方法，以解决上述背景技术中涉及的问题。

为实现上述目的，本发明提供如下技术方案：

本发明提供一种联合图像金字塔子网引导和循环交叉注意力的光流计算方法，所述方法包括以下步骤：

1)将图像序列连续两帧图像分别输入到图像金字塔子网和特征金字塔子网；

2)使用图像金字塔子网对图片进行处理：

3)将图像金字塔子网提取到的特征与同层特征金字塔提取到的特征进行相加融合作为下一层特征金字塔的输入；

4)分别在第四层和第五层将相加融合后的特征图和第六层特征金字塔提取到的特征图作为循环交叉注意力模块的输入以获得图像的上下文信息：

5)将特征图进行变形和相关性计算后输入到共享光流解码器中进行初始光流估计，并在所有金字塔级别上进行迭代细化输出；

6)将步骤(5)中所输出的初始光流经过上下文网络细化后再通过双边滤波器进行优化，从而得到最后精细化的光流计算结果。

进一步的，所述步骤(2)中的图像金字塔子网的输入是一组经过下采样的图像金字塔图片；经过图像金字塔进行下采样后，通过一个浅层网络即图像金字塔子网提取图像金字塔的特征。

进一步的，所述步骤(4)分别通过两个1×1的卷积降维获得Q、K两个特征图，得到Q、K后再通过关联操作得到注意力图A，再进行softmax操作得到注意力图A'。

本发明的联合图像金字塔子网引导和循环交叉注意力的光流计算方法，首先将连续的两帧图像输入到联合图像金字塔子网引导和循环交叉注意力的特征提取网络中进行特征提取；其次通过对特征图进行变形和相关性计算；然后将进行相关性计算后的特征图送入共享光流解码器中进行初始光流估计；最后将初始光流经过上下文网络细化后再进行双边细化，从而得到最终的光流计算结果。本发明联合图像金字塔子网引导和循环交叉注意力的光流计算方法，通过浅层信息的补充和对上下文信息的准确提取能力，对图像序列的运动边缘和大位移区域的特征信息进行提取，显著提高光流估计的准确性和鲁棒性。

本发明的联合图像金字塔子网引导和循环交叉注意力的光流计算方法，通过对浅层信息的补充和对上下文信息的准确提取，使得对运动边缘和大位移区域光流估计的准确性和鲁棒性提高。

本发明的联合图像金字塔子网引导和循环交叉注意力的光流计算方法，通过在深层卷积引入浅层空间信息，对全局上下文信息进行轻量化提取，显著提高了光流计算的精度，克服了深浅层信息不平衡、计算量大等问题，对于复杂边缘图像序列和大位移图像序列具有更高的计算精度和更好的实用性，在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等都有着非常重要的应用。

附图说明

图1为本发明实例cave_3图像序列中的第16帧图像；

图2为本发明实例cave_3图像序列中的第17帧图像；

图3为本发明实例联合图像金字塔子网引导和循环交叉注意力的特征提取网络结构图；

图4为本发明实例特征图的相关性计算图；

图5为本发明实例光流和遮挡的共享解码器图；

图6为本发明实例光流和遮挡的双边细化图；

图7为本发明计算所获得的cave_3图像序列光流图；

图8为本发明的计算方法流程图。

具体实施方式

下面将结合本发明实例中的附图，对本发明实例中的技术方案进行清楚，完整的描述，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-图8，本发明提供了一种联合图像金字塔子网引导和循环交叉注意力的光流计算方法，使用cave_3序列图像进行实验说明：

1)输入图1和图2是cave_3图像序列连续两帧图像；其中：图1是第一帧图像，图2是第二帧图像；

2)将图1和图2分别输入到图像金字塔子网和特征金字塔子网；

3)如图3所示，首先使用图像金字塔子网对图片进行处理：

图像金字塔子网的输入是一组简单的经过下采样的图像金字塔图片，表示为：

式中，H和W是图片的分辨率，i表示图像金字塔层数，

式(2)中f(·)指的是图像金字塔子网在第

4)在特征金字塔的第一层至第五层，将图像金字塔子网提取到的特征与同层特征金字塔提取到的特征进行相加融合直接作为下一层特征金字塔的输入；

5)分别在第四层和第五层将相加融合后的特征图和第六层特征金字塔提取到的特征图作为循环交叉注意力模块的输入以便获得图像更丰富的全局上下文信息：

分别通过两个1×1的卷积降维获得Q、K两个特征图，得到Q、K后再通过关联操作得到注意力图A，再进行softmax操作得到注意力图A'，关联操作如下：

d

式中d

再通过一个1×1卷积得到V，将V每个位置u的横纵方向上的特征与A每个位置u横纵方向上的特征进行点乘，相加得到该位置的残差聚合特征，再加上原特征H

式(4)中，Φ

6)如图4和图5所示，为获得初始光流，将特征图进行变形和相关性计算后输入到共享光流解码器中计算光流，具体操作如下：

x

式(5)代表图像的变形操作，其中l表示金字塔的层数，x

式(6)是光流的计算过程，式中

7)如图6所示，将步骤(6)中所输出的初始光流经过上下文网络细化后再通过双边滤波器进行优化，从而得到最后精细化的光流计算结果：

式(7)为光流的双边优化过程。

如图7所示，本发明方法对于运动边缘和大位移运动图像序列具有更高的计算精度和更好的适用性，在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等都有着非常重要的应用。

本发明的联合图像金字塔子网引导和循环交叉注意力的光流计算方法，首先将连续的两帧图像输入到联合图像金字塔子网引导和循环交叉注意力的特征提取网络中进行特征提取；其次通过更换特征图的输入顺序与变形后的特征图进行相关性计算；然后将原特征图、变形后的特征图和上采样光流进行堆叠并送入共享遮挡和光流解码器中进行初始光流估计；最后将初始光流经过上下文网络细化后再进行双边细化，从而得到最终的光流计算结果。本发明联合图像金字塔子网引导和循环交叉注意力的光流计算方法，通过浅层信息的补充和对上下文信息的准确提取能力，对图像序列的运动边缘和大位移区域的特征信息进行提取，显著提高光流估计的准确性和鲁棒性。

本发明的联合图像金字塔子网引导和循环交叉注意力的光流计算方法，通过对浅层信息的补充和对上下文信息的准确提取，使得对运动边缘和大位移区域光流估计的准确性和鲁棒性提高。

本发明的联合图像金字塔子网引导和循环交叉注意力的光流计算方法，通过在深层卷积引入浅层空间信息，对全局上下文信息进行轻量化提取，显著提高了光流计算的精度，克服了深浅层信息不平衡、计算量大等问题，对于复杂边缘图像序列和大位移图像序列具有更高的计算精度和更好的实用性，在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等都有着非常重要的应用。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不限于本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。