一种基于无监督深度光流网络的极光运动表征方法

技术领域

本发明属于视频分析技术领域，更进一步涉及极光运动的表征方法，可用于从复杂的极光观测视频中进行极光事件识别与检测。

背景技术

极光是一种发生在地球南北极高空缤纷绚丽的地球物理现象，它是太阳风携带的高能带电粒子随着磁力线运动到地球南北极上空，与高层大气中的粒子相互碰撞而激发的发光现象，是研究太阳风暴的最佳窗口。目前，极光的观测手段有很多，如光学成像观测、雷达观测和磁力计观测等。其中以全天空成像仪为代表的光学观测时空分辨率高，其获取的极光观测视频记录着极光的二维形态结构随时间的演化规律。

早期关于极光运动的研究“J.Kimball,T.J.Hallinan.Observations of blackauroral patches and of their relationship to other types of aurora.Journal ofGeophysical Research,1998,pp.14671-14682.”通过视觉追踪极光某一特定结构或特征来估计极光的运动速度，这样的人工研究方式使得对极光运动的分析往往被局限于案例分析，只有少数的极光事件得到研究。后来，Blixt等人在文献“Blixt E M,Semeter J,Ivchenko N.Optical flow analysis of the aurora borealis.IEEE Geoscience&Remote Sensing Letters,2006,pp.159-163.”中将变分光流法用于估计极光的二维速度场并分析了光流法用于极光数据的可行性。但是，该方法存在以下问题：第一，他们的光流场计算基于经典的亮度不变假设，即观测对象在运动过程中亮度保持不变，且运动物体被假设为刚性的，存在稳定突出的轮廓特征，然而绝大多数极光图像中不存在这样稳定的观测对象，极光的形状、亮度、体积等在演变过程中都会发生改变，所以极光数据是不满足亮度不变假设的。第二，在该文献的光流求解过程中，目标方程的解是用微分形式表示的视标速度。由于微分的性质，基于速度方法的一个隐含假设是图像序列中的运动尺度较小，然而在极光的演变过程中，两帧间的运动可能包含不同大小的运动尺度。近年来，深度神经网络的成功推动了光流计算方法的发展。2015年文献“Fischer P,Dosovitskiy A,Ilg E,etal.FlowNet:Learning Optical Flow with Convolutional Networks.IEEEInternational Conference on Computer Vision,2015,pp.2758-2766.”首次提出了端到端有监督学习的Flownet光流卷积网络，该网络以两幅连续图像作为输入，采用先编码再解码的网络结构输出像素级光流场。随后的Flownet 2.0将几个基本Flownet模块进行堆叠，并一起进行迭代训练，显著提高了光流估计的准确性。但是，有监督深度光流模型训练需要大量的标记数据，实现成本非常高。

综上所述，现有方法用于极光运动估计会存在以下问题：

(1)全天空成像仪每年会获取数以百万计的极光图像，面对多年累积的极光观测数据，人工估计极光运动方法越来越力不从心；

(2)极光不具有刚体性质，在其演变过程中，形状、亮度和体积都会发生变化，因此极光数据不满足变分光流法的亮度不变假设；

(3)基于速度方法的变分光流法使用微分的形式求解目标方程，要求观测对象运动尺度较为固定。然而在极光的演变过程中，两帧间的运动可能包含不同的运动尺度，该种求解方式无法获得准确的极光光流场；

(4)人工标记像素级的极光光流场极为困难，难以提供有监督深度光流模型所需的大量训练数据。

发明内容

本发明的目的在于针对上述极光运动估计方法的不足，提出一种基于无监督深度光流网络的极光运动表征方法，以在无监督的方式下完成极光光流估计，提高极光运动表征正确性。

实现本发明上述目的的技术方案是：首先以预处理后的两幅连续全天空极光图像作为输入，利用光流网络输出双向光流；其次，利用全天空极光图像和双向光流计算出双向翘曲图像；然后结合形变检测和Census变换构造损失函数，计算全天空极光图像与翘曲图像的差异，以此来优化光流网络参数；最后使用优化后的光流网络提取像素级极光光流场。其具体步骤包括如下：

步骤1：提取极光观测视频中的每一帧原始极光图像，对每一帧原始极光图像进行预处理，将预处理后的极光图像按时间排序，得到连续的全天空极光图像序列；

步骤2：以相邻两幅连续的全天空极光图像I

步骤3：利用前向-后向一致性约束，通过前向光流w

步骤4：结合空间变换模块，利用全天空极光图像I

步骤5：计算全天空极光图像和翘曲图像间的差异，并结合前向形变图O

步骤6：根据反向传播训练法原理，通过最小化损失函数，得到优化后的光流网络参数，更新并保存网络参数；

步骤7：向优化后的光流网络中输入任意两幅连续的全天空极光图像，输出即为对应的像素级极光光流场。

进一步地，步骤1中的预处理包括：(1)减去暗电流；(2)去除边缘噪声；(3)灰度拉伸；(4)图像旋转；(5)图像裁剪，预处理后的图像大小为440×440，得到连续的全天空极光图像序列。

进一步地，步骤2的光流网络包含特征金字塔提取网络和光流估计网络，网络前馈过程步骤如下：

2.1)输入两帧连续的全天空极光图像I

2.2)首先处理特征金字塔的第l＝7级，将第l+1级的上采样光流设置为0，执行步骤2.3)-2.5)；其次当l<7时，将第l+1级的光流通过双线性插值法进行上采样，得到第l+1级的上采样光流，并从l＝6开始，逐级重复执行步骤2.3)-2.5)，直至第l＝1级；最后将特征金字塔第l＝1级的光流图输出作为前向光流w

2.3)利用第l+1级的上采样光流，使用双线性插值法将第二幅图像的特征图向第一幅图像的特征图进行翘曲，得到翘曲特征图

2.4)利用第一帧图像第l级的特征图F

其中，N表示F

2.5)将第l级匹配代价cv

2.6)交换全天空极光图像输入顺序为I

进一步地，步骤3利用前向-后向一致性假设，若前后两帧全天空极光图像未发生形变，它们的前向光流和后向光流互为相反数。具体的，当全天空极光图像中某一像素的前向光流和后向光流不符合下述前向一致性约束时，则判断该像素发生前向形变，并将该像素处的形变像素值标记为1，反之则标记为0：

其中，α

后向形变图O

进一步地，空间变换模块包含两个部分：网格生成器和图像采样器；网格生成器由以下方式逐点转换生成采样网格：

其中，(x

其中，

进一步地，步骤5中构造损失函数的操作如下：首先利用Census变换对全天空极光图像I

其中，ρ(x)＝(x

与现有技术相比，本发明具有以下优点：

(1)本发明解决了极光数据不符合亮度不变假设的问题，利用Census变换补偿极光图像的加性和乘性亮度变化以及伽马变化，减少了亮度变化引起的错误匹配，避免了极光突变过程中的亮度变化问题，提升了光流估计的鲁棒性；

(2)本发明考虑了极光的非刚体性质，利用前向-后向一致性约束检测极光形变像素，以创建掩膜的方式屏蔽极光形变区域，避免了极光运动过程中形状和体积变化带来的问题，有效提升了光流估计的准确性；

(3)本发明设计了7层特征金字塔提取网络逐级提取特征，通过上采样的方式结合来自高层的语义特征，使得网络可以联合学习深层特征与浅层特征，从而使不同运动尺度的极光光流场都能得到准确的估计；

(4)本发明设计了一种无监督光流训练方法，仅使用全天空极光图像序列训练光流网络，避免了昂贵的真实光流数据的获取，有效提升了本发明的可实现性。

附图说明

图1是本发明公开的一种基于无监督深度光流网络的极光运动表征方法的整体结构图；

图2是本发明的光流可视化示例；

图3是本发明的损失函数消融实验视觉比较，其中列(a)是预处理后的全天空极光图像，列(b)为采用亮度不变假设且不考虑形变训练的光流图，列(c)为采用亮度不变假设且考虑形变训练的光流图，列(d)为使用Census变换且不考虑形变训练的光流图，列(e)为使用Census变换且考虑形变训练的光流图。

具体实施方式

下面结合附图对本发明的实现步骤和技术效果做进一步的详细描述：

一种基于无监督深度光流网络的极光运动表征方法，包括以下步骤：

步骤1：提取极光观测视频中的每一帧原始极光图像，对每一帧原始极光图像进行预处理，将预处理后的极光图像按时间排序，得到连续的全天空极光图像序列；

步骤2：使用连续的全天空极光图像序列对光流网络进行训练。

2.1)输入两帧连续的全天空极光图像I

2.2)首先处理特征金字塔的第l＝7级，将第l+1级的上采样光流设置为0，执行步骤2.3)-2.5)；其次当l<7时，将第l+1级的光流通过双线性插值法进行上采样，得到第l+1级的上采样光流，并从l＝6开始，逐级重复执行步骤2.3)-2.5)，直至第l＝1级；最后将特征金字塔第l＝1级的光流图输出作为前向光流w

2.3)利用第l+1级的上采样光流，使用双线性插值法将第二幅图像的特征图向第一幅图像的特征图进行翘曲，得到翘曲特征图

2.4)利用第一帧图像第l级的特征图F

其中，N表示F

2.5)将第l级匹配代价cv

2.6)交换全天空极光图像输入顺序为I

步骤3：利用文献“Sundaram,N.；Brox,T.；and Keutzer,K.Dense pointtrajectories by GPU-accelerated large displacement optical flow.EuropeanConference on Computer Vision,2010,pp.438–451.”提出的前向-后向一致性假设，若前后两帧全天空极光图像未发生形变，它们的前向光流和后向光流互为相反数。前向形变图O

3.1)当全天空极光图像中某一像素的前向光流和后向光流不符合下述前向一致性约束时，则判断该像素发生前向形变，并将该像素处的形变像素值标记为1，反之则标记为0：

其中，α

3.2)当全天空极光图像中某一像素的后向光流和前向光流不符合下述后向一致性约束时，则判断该像素发生后向形变，并将该像素处的形变像素值标记为1，反之则标记为0：

其中，α

步骤4：结合“M.Jaderberg,K.Simonyan,A.Zisserman,andK.Kavukcuoglu.Spatial transformer networks.Proceedings of the 28thInternational Conference on Neural Information Processing Systems,2015,pp.2017–2025”提出的空间变换模块，利用全天空极光图像I

其中，(x

其中，

步骤5：利用Census变换计算全天空图像和翘曲图像间的差异。Census变换可以补偿加性和乘性的亮度变化以及伽马变化，能够减少亮度差异引起的错误匹配，对光流估计具有鲁棒性。其实质是将图像像素的灰度值编码成二进制码流，以此来获取邻域像素灰度值相对于中心像素灰度值的大小关系。构建损失函数的具体步骤如下：

5.1)利用Census变换补偿全天空极光图像和步骤4中翘曲图像的极光亮度变化；

5.2)计算变换后的I

5.3)利用前向形变图O

其中，ρ(x)＝(x

步骤6：根据反向传播训练法原理，通过最小化损失函数L，自动更新光流网络参数，更新完毕后保存网络参数；

步骤7：向训练好的光流网络中输入任意两帧连续的全天空极光图像，输出为对应的像素级极光光流场。图2是本发明提取极光光流场的一个示例，左列是两帧连续全天空极光图像的第一帧，中间列是本发明提取的极光光流场，右列是方框中光流场的稀疏采样。

图3是对损失函数的形变检测和Census变换模块进行了消融实验的视觉对比图，当不考虑形变时，将损失函数L中的O

本发明的效果可以通过极向运动极光(Poleward Moving Auroras,PMAs)事件识别仿真实验进一步描述。

实验1：基于光流的PMAs事件识别。

实验条件：本发明利用北极黄河站2003年11月至2004年12月采集的极光观测视频构建数据集进行实验。其中，训练数据集来自2003年11月至2004年1月共20天的极光观测，我们从中挑选了349个PMAs事件，PMAs事件的持续时间由2min到18min不等；从剩余的极光观测中随机挑选了431个非PMAs事件，其亮度、形状和持续时间变化较大，最长持续时间可达24min.测试数据集来自2004年的11/23、11/24、11/30和12/26共四天的日侧(03:00-15:00UT/06:00-18:00MLT)连续观测，其中，11/23、11/24和12/26三天的数据中有云层和月光干扰，11/30天气较为晴朗。

实验内容：

首先，对上述训练和测试数据集中的全天空极光图像序列，分别使用最新的无监督深度光流方法BackToBasic、UnFlow、DDFlow、EpiFlow-sub和本发明方法提取极光光流场；

其次，利用训练数据集对应的极光光流场对PMAs识别模型ResNet-18进行训练；

最后，比较本发明和其他四种光流方法在测试数据集上的PMAs识别准确率，结果见表1。

表1PMAs事件识别准确率(％)比较

从表1可以看出，本发明方法能够适应不同天气条件下的PMAs识别任务，在五种方法中取得了最优的结果，证明了本发明极光运动表征方法的有效性。而UnFlow方法虽然在天气晴朗的11/30准确率较高，但它在其它较恶劣天气条件下的准确率急剧下降，鲁棒性较差；这是由于该方法添加了全局平滑约束用于约束各像素邻域内的局部运动，使得模型仅提取到极光大尺度的全局运动而忽略了小尺度的局部运动。