基于卫星超时相数据多源信息的运动目标提取方法

技术领域

本发明涉及一种基于卫星超时相数据多源信息的运动目标提取方法。

背景技术

运动目标检测是计算机视觉、遥感图像处理、人工智能等领域交叉融合形成的技术，是态势感知的重要研究内容。其不仅能够感知事物的存在，同时还可以感知到事物的动态变化趋势。这一点在军用和民用领域的实时侦查、实时监控、实时控制等方面都发挥着极其重要的作用。视频卫星是一项新型对地观测技术，能够从运动的卫星平台上捕捉连续影像，为运动目标检测与态势感知提供了可靠的数据来源。视频卫星大面积观测、高空间分辨率、视频连续成像等特点，使其可迅速获取地表的实时动态信息。

由于卫星平台与地表的相对运动，地表高低起伏等因素造成视频不同帧之间存在平移、旋转、扭曲、拉伸等形变。因此，高层建筑、铁塔等目标会呈现出明显的伪运动特征。若利用传统的帧间差分法、背景建模法、光流法等运动目标检测算法直接对视频卫星的运动目标进行检测，则可能会将这些高层目标误判为运动目标。并且，仅依靠对传统方法的简单改进也难以完成对由于图像平移产生的地物边缘，视差变化引起的高处目标伪运动的识别。

发明内容

本发明的目的在于提供一种基于卫星超时相数据多源信息的运动目标提取方法。

为实现上述发明目的，本发明提供一种基于卫星超时相数据多源信息的运动目标提取方法，包括以下步骤：

a、采集一区域的超时相图像，并对图像进行预处理；

b、初步提取图像中的运动目标，并提取图像中运动目标依赖的道路目标；

c、依据初步提取的运动目标和道路目标共同完成图像中运动目标的进一步提取；

d、对所述步骤(c)提取的目标结果图像进行形态学处理，得到最终结果。

根据本发明的一个方面，在所述步骤(a)中，采集当前帧图像并在当前帧的前、后一段时间内各采集一帧图像，形成前帧、当前帧和后帧的三帧序列；

三帧图像采集的时间间隔通过运动目标的速度、长度以及视频的帧频共同决定，运动目标在提取出的相邻帧之间的运动幅度在10m至100m之间。

根据本发明的一个方面，所述步骤(a)中的预处理为，以当前帧为基准先后对其之前和之后提取出的一帧图像进行帧间配准；

所述帧间配准包括，将当前帧图像与其之前或之后的一帧图像读入数组，采用SIFT、SURF、ORB或AKAZE算法对两帧图像分别进行关键点检测和特征描述；

利用匹配器对两帧图像上的关键点进行特征匹配，匹配的方法是计算每对关键点之间的描述符的距离，返回与每个关键点的k个最佳匹配中的最小距离；

根据匹配点对计算两幅图像变换的单应矩阵，对当前帧之前或之后的一帧图像进行图像变形，变形时采用RANSAC算法去除异常点对。

根据本发明的一个方面，在所述步骤(b)中，初步提取图像中的运动目标的方式为分别基于运动目标的速度属性和时间序列属性提取运动目标；

基于运动目标的速度属性提取运动目标时，利用光流法对当前帧及其之前的一帧图像进行稠密光流解算，获得每个像元的光流状态，像元的速度和方向均不变则为背景，反之则为前景目标；

基于运动目标的时间序列属性提取运动目标时，利用三帧差分法结合运动目标在时间序列上的运动性特征，初步划分出前景目标和背景目标；

利用基于深度学习的D_LinkNet网络在图像上对运动目标依赖的道路目标进行提取。

根据本发明的一个方面，基于运动目标的速度属性提取运动目标时，依次输入需要进行光流计算的前一帧图像和当前帧图像，指定图像比例为每个图像构建金字塔；

确定金字塔的层数、平均窗口的大小、算法在图像金字塔每层的迭代次数、在每个像素点处计算多项式展开的相邻像素点的个数、用于平滑导数的高斯标准偏差以及初始流近似；

将计算的光流从笛卡尔坐标系转化到极坐标系下，获取每个像素点的速度和方向；

根据光流解算的速度和方向，像素点的速度和方向值均为0的表示为背景目标，否则，为前景目标。

根据本发明的一个方面，所述步骤(b)中基于运动目标的时间序列属性提取运动目标时，将采集到的三帧图像全部读取，并将图像由RGB图转化为灰度图；

分别将当前帧的灰度图和其之前和之后帧的灰度图做帧间差分获得两个差值图；

设定阈值以对两个差值图分别进行二值化，得到两个区分了前景和背景目标的二值图；

对两个二值图进行与操作，并在相交后的图像中进行运动目标的提取。

根据本发明的一个方面，所述步骤(b)中提取运动目标依赖的道路目标时，首先构建网络训练和测试的样本数据集，用于生成道路提取网络；

选取一些目标卫星的遥感影像，对影像中的道路目标和其他目标进行标注；

将数据集按一定比例划分为训练集、验证集和测试集，训练集用于对网络参数进行迭代训练，验证集用于验证所训练模型是否能够达到期望的精度；

将当前帧图像作为测试数据集，输入训练好的道路提取网络，得到最终的道路分割结果。

根据本发明的一个方面，所述道路提取网络是一个基于encoder-bridge-decoder结构的U型网络；

网络中的encoder部分为一个ResNet34，bridge部分为五个卷积块；

decoder部分为encoder部分的逆操作，并采用上采样并与同级别的encoder部分相叠加。

根据本发明的一个方面，在所述步骤(c)中，对所述步骤(b)提取的三类结果分别进行0、1二值化存储，0表示背景目标，1表示前景；

对经过二值化存储后数值共同为1的目标进行提取，作为运动目标的精准提取结果。

根据本发明的一个方面，所述步骤(d)中的形态学处理为，采用3*3圆形模板结构，对经过最终目标提取的图像进行形态开运算，以消除图像中的斑点；

采用3*3圆形模板结构，对经过形态开运算的图像进行形态闭运算，以消除图像中的孔洞；

还包括对经过形态学处理的图像进行连通性分析，按以下规则提取出最终的运动目标：

当目标尺寸在4像元至2000像元之间、目标长宽比在8以下、目标面积与最小外接矩形面积的比例大于0.2以及目标的平均像素值在10至250之间时，确定为车辆目标。

根据本发明，在视频卫星光谱、纹理、时间序列等特征的基础上，提取出运动目标的空间几何形状、运动速度、以及所依赖的道路环境等信息，共同用于运动目标的探测，避免了一些由于视差引起的伪运动目标、以及由于配准误差和随机噪声引起的虚假运动目标的影响，有效提升了运动目标检测的准确率，并降低了误检率。

根据本发明的一个方案，利用深度学习算法提取图像中运动目标依赖的道路目标。从而可以筛除初步运动目标提取中被误认为是运动目标的具有伪运动特征的物体，以更加精准的提取视频卫星的运动目标，从而解决了现有技术中的缺陷。

根据本发明的一个方案，利用光流法和改进三帧差法两种方法分别提取图像中的运动目标，再将这两种方法的提取结果与道路目标的提取结果一同进行叠置分析，从而使得两种方式相互校正，以进一步提高最终的运动目标提取的准确性。

根据本发明的一个方案，在进行运动目标与道路目标的提取之前，先对采集到的图像进行预处理。预处理的步骤主要为利用当前帧对其之前和之后的两帧图像分别进行帧间配准。以避免由于卫星抖动等原因导致的图像畸变的现象影响后续的目标提取。

附图说明

图1示意性表示根据本发明的一种实施方式的基于卫星超时相数据多源信息的运动目标提取方法的流程图；

图2示意性表示图像配准过程中当前帧与在前的一帧的最佳匹配关键点对的示意图；

图3示意性表示光流法获取的运动目标速度的示意图；

图4示意性表示改进三帧差分法获取的运动目标的示意图；

图5示意性表示基于深度学习方法提取的道路目标(道路)的示意图；

图6示意性表示当前帧(左)与在当前帧上进行最终目标提取后(右)的示意图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

参见图1，本发明的基于卫星超时相数据多源信息的运动目标提取方法，首先采集某一区域的超时相图像(或称多时相图像)，超时相图像即为时间序列连续的图像数据(也可理解为视频数据)。随后利用数据预处理模块(图像读取也可由此模块完成)对采集到的图像进行预处理，经过预处理之后，即可利用目标信息提取模块进行图像中的运动目标的初步提取。考虑到高处物体可能会被误判为运动目标，因此根据本发明的构思，额外基于运动目标的背景环境依赖属性提取图像中运动目标依赖的道路目标。以车辆和道路为例，车辆为运动目标，道路即为车辆所依赖的道路目标。初步提取的运动目标可能同时包含有车辆和高层建筑。然而，这些运动目标只有出现在道路上时，才是应当被提取的运动目标。由此，本发明额外考量了运动目标的环境依赖属性，在初始提取的基础上对图像进行进一步提取，从而消除了现有技术中误将高层建筑或铁塔等具有伪运动特征的物体判定为运动目标的缺陷。

以下以图1所示的吉林一号视频03星在亚特兰大机场区域的视频作为一种实施方式来详细说明本发明的方法。

本发明在采集图像时，采集到的超时相图像包括当前帧以及在当前帧的前、后一段时间内各采集一帧影像，形成前帧、当前帧和后帧的三帧序列。数据读取的时间间隔是由待提取目标的速度、长度，以及视频的帧频共同决定，从而最大程度地保障运动目标在相邻帧间不重叠。具体的，对于这三帧图像而言，相邻的帧之间的采集时间间隔应保证运动目标的运动幅度在10m至100m之间，以避免运动目标在不同帧之间的重叠。具体的，可对在前帧、当前帧和在后帧依次读取。对前两帧图像进行初始化后再读取下一帧图像作为当前帧之后的一帧。对于本实施方式而言，吉林一号视频卫星的帧率是10帧/s，地面车辆的运动速度通常在20-160m/s，地面车辆目标目标的尺寸通常在3-15m之间。因此，在本实施方式中，设置0.5s作为图像采集(或称影像读取)的时间间隔，这样能够检测出绝大多数的车辆目标。仅存在非常少量的超长货车和运动速度非常低的车辆，会由于差分产生孔洞现象，这些也可以在后处理过程中予以消除。由上述步骤即可获得三帧并非在时间上连续，而是根据运动目标的速率和超时相数据帧率，共同确定的选取影像的时间间隔的图像。

本发明对于图像预处理的步骤的思路为，以当前帧为基准，先后对其之前和之后提取出的两帧图像进行配准(变换)。从而能够避免由于卫星自身抖动等因素导致的图像畸变等现象影响后续目标提取。具体的，参见图2，先将当前帧及其之前的一帧图像读入数组，采用SIFT、SURF、ORB、AKAZE等算法对两帧图像分别进行关键点检测和特征描述。在本实施方式中，利用的是AKAZE算法，共识别筛选出644个关键点。当这两帧图像的关键点都识别出以后，利用匹配器对两帧图像上的关键点进行特征匹配，匹配的方法是计算每对关键点之间的描述符的距离，返回与每个关键点的k个最佳匹配中的最小距离。具体的，衡量每一对关键点的描述子之间的距离，得到与每个关键点距离最小的k个最佳匹配关键点对。如图2所示，在本实施方式中，共返回了515个最佳匹配关键点对。随后即可根据匹配点对计算两幅图像变换的单应矩阵(即Homographies)，对当前帧之前的一帧图像进行图像变形。本实施方式中，为了保证最优的变形效果，变形时采用RANSAC算法去除异常点对。在最终的变形结束后即可获得配准后的前帧图像。随后将当前帧及其之后的一帧图像读入数组，利用与上述相同的步骤也可获得配准后的后帧图像。

由上述步骤即完成了图像的帧间配准工作(即预处理)，可以保证图像中的物体不会发生畸变而影响后续的检测识别流程。之后即可对图像中应当提取的运动目标进行初步提取，对此本发明采用两种方法进行运动目标的初步提取，分别为基于运动目标的速度属性和时间序列属性来提取运动目标。基于运动目标的速度属性提取运动目标时，利用光流法对当前帧及其之前的一帧图像进行稠密光流解算，获得每个像元的光流状态，像元的速度和方向均不变的认为是背景，否则，则认为是前景目标。如此，得到了目标在像素水平上的运动速度，从而实现目标的速度测量。基于运动目标的时间序列属性提取运动目标时，利用改进的三帧差分法，结合目标在时间序列上的运动性特征，进行前景目标和背景目标的初步划分。

在利用光流法提取运动目标时，应当基于图像梯度恒定假设和局部光流恒定假设。即，在同一点随着时间的变化时，其亮度不会发生改变。这是基本光流法的假定，所有光流法变种都必须满足，用于得到光流法基本方程。另外，也应保证时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导。如此，才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。本实施方式中采用Gunnar Farneback算法计算密集光流，该方法对图像上所有点进行逐点匹配，计算所有点的偏移量，得到光流场，进而进行配准。在本实施方式中，依次输入需要进行光流计算的在前一帧和当前帧图像，指定图像比例为0.5，为每个图像构建(图像)金字塔。确定金字塔的层数为3，平均窗口的大小为12，确定算法在图像金字塔每层的迭代次数为3，确定在每个像素点处计算多项式展开的相邻像素点的个数为7。随后确定用于平滑导数的高斯标准偏差，用作多项式展开的基础，本实施方式将其设置为1.5。另外，本实施方式使用输入流作为初始流近似，当然在其他实施方式中也可使用Gaussian过滤器。

按照上述设定完成后，将计算的光流从笛卡尔坐标系转化到极坐标系下，获取每个像素点运动目标的速度和方向。如图3所示，光流图中亮度越高则其速度就越高，随后可设定一定的阈值，判断出光流图中的运动目标。例如，若速度值为0，1，2，3，……，则大于等于1的点在光流图中均可视为运动目标，即该阈值可设定为1。由此，即可根据运动目标的速度属性初步提取运动目标，即提取速度大于等于1的目标。具体的，可以利用颜色来表征运动目标的方向。根据光流解算的速度和方向，像素点的速度和方向值均为0的表示为背景目标，否则，为前景目标。

在利用三帧差法提取运动目标时，读取图像采集步骤中采集的三帧图像。将这些图像由RGB图转化为灰度图，分别对当前帧的灰度图与其之前和之后帧的灰度图做帧间差分获得两个差值图。随后可设定阈值，并对上述两帧的差值图分别进行二值化，得到两个二值图。在本实施方式中，设定阈值为40，该阈值为图像灰度，其值越高则越亮，越低则越暗，即二值化时像素点大于这一阈值为1，反之为0。由此即可区分出前景(即亮点区域)和背景(即黑色区域)，从而得到了分别由当前帧及其之前和之后帧图像提取出的运动目标。随后，需要将这两个二值图进行“与”(即相交)操作，该操作可以理解为求取两帧二值图的交集(也可称叠置分析)，例如同时为1的点即为运动目标(亮点)，从而可在相交后的二值图中初步提取出图像中的运动目标，如图4所示。

通过上述步骤即分别利用光流法和三帧差法根据运动目标的速度属性和时间序列属性初步地提取出了图像中的运动目标。根据本发明的上述构思，还需要提取运动目标所以来的道路目标。对此，本发明利用基于深度学习的目标(道路)识别方法进行目标依赖环境要素(即道路目标)的提取，对地面运动目标依赖环境的提取主要是指从高分辨率卫星遥感影像上对道路目标(车辆)的提取。本发明采用D_LinkNet网络进行道路目标的提取。对此，首先需要构建一个道路提取网络。由于本实施方式以车辆为运动目标，以道路为道路目标。因此道路提取网络为一个基于encoder-bridge-decoder结构的U型道路提取网络。网络中的encoder部分为一个ResNet34，bridge部分为五个(常规)卷积块，decoder部分为encoder部分的逆操作。并且，decoder部分采用上采样并与同级别的encoder部分相叠加的方式，从而实现不同空间尺度的特征融合。在构建道路提取网络时，首先网络训练和测试的样本数据集，从而用来生成道路提取网络。具体的，需要有针对性地选取一些目标卫星的部分有代表性的遥感影像。其中，有代表性的数据可通过灰度属性选出，例如道路目标在历史数据中不同时刻下的典型灰度值。利用这些影像构建的数据集可以保证训练出的模型在各个时刻均能识别出各种类型的道路目标。当然还可根据目标物体的其他空间、光谱等属性，总之能够体现目标物的特点从而便于模型识别即可。选出有代表性的影像后需要对其中的道路目标和其他目标进行(数据集)标注，并将数据集按一定比例划分为进行训练集、验证集和测试集，训练集用于对网络参数进行迭代训练，验证集用于验证所训练模型是否能够达到期望的精度。将训练集输入道路提取网络，对网络参数进行迭代训练，直到网络在训练集和验证集上达到理想的损失和精度。最后，将视频卫星的影像帧(即当前帧)作为测试数据集，输入训练好的网络，输出得到最终的道路分割结果，即当前帧对应影像中的道路图(即提取结果)，如图5所示。

由此，按照上述步骤即可得到两种方式提取的运动目标和利用深度学习算法获得的道路目标。随后应对这三次提取的目标进行叠置分析，即利用三种方式的提取结果共同完成运动目标的最终提取。具体的，将光流法和三帧差法提取的运动目标与基于深度学习提取的道路目标的提取结果(图)这三类结果均进行0、1二值化存储，形成二值化图像，在存储时同样将运动目标存储为1(即亮点)，即0表示背景目标，1表示前景。如此，在当前帧图像中对经过二值化存储后数值共同为1的目标进行目标提取，即可得到融合多源信息属性得到的运动目标的精准(进一步)提取结果。

由此，本发明实质上是分别利用光流法和三帧差法对图像进行了运动目标的提取，即集合了光流法得到的目标速度属性和三帧差法得到的前景目标。这两种方法各有优劣，而将两种方法结合可以使得二者之间能够相互校正，再配合运动目标依赖的环境属性考量，可以得到最精确的运动目标提取结果。当然，虽然本方法至此已经基本完成了运动目标的最终提取，但其提取结果还只是初始结果，仍需要经过后处理步骤进行完善。

具体的，如图6所示，利用数据后处理模块对经过上述目标信息提取的图像进行形态学处理，从而消除图像中的小斑点以及小孔洞(即随机噪声、图像配准误差)对运动目标(车辆)整体性的影响，得到最终的结果。具体的，采用3*3圆形模板结构，对图像进行形态开运算，消除小的孤立的点(即斑点)。再采用3*3圆形模板结构，对经过形态开运算的图像进行形态闭运算，去除小洞对车辆目标整体性的影响。还需对结果进行连通性分析，按一定规则提取出想要的运动目标，该规则可以根据目标的大小、长宽比、目标与最小外接矩形的面积比等制定。例如，对于车辆目标，仅有那些运动目标大小(尺寸)>4像元,并同时<2000像元的,目标的长宽比≤8的，目标面积与最小外接矩形面积的比例>0.2的，目标的平均像素值>10,或者<250的，才会被认为是车辆目标。经过上述形态学分析和连通性分析后，保存结果图即可获得标注有最终运动目标提取结果的当前帧图像。

综上所述，本发明面向基于超时相数据的运动目标检测技术，在传统帧间差分、光流法的基础上，融入了超时相数据的帧间配准、光流解算、三帧差分、基于深度学习的目标依赖环境提取、以及后处理等过程，从而统筹利用目标的速度属性、时间序列属性、地物的光谱属性和空间位置属性，即从不同的角度感知目标的多维度属性，形成一整套面向卫星超时相数据的运动目标检测方法。相对于传统的运动目标检测方法如帧间差分、光流法、背景建模法等更加的系统化，提取精度更高，进而可以进行更加准确的运动目标检测，在卫星超时相数据应用上更具有实用性。从而解决了当前运动目标检测算法应用于卫星视频数据检测时产生的检测准确率较低、误检率较高的问题，实现对运动目标更加精准的检测。综合来讲，本发明可用于天基卫星超时相数据的运动目标(地面运动车辆目标)检测、跟踪等方面的研究，在卫星超时相数据的运动目标提取中具有非常好的通用性和较高的提取精度，对开展基于视频卫星的车流量分析、地面运动目标的定位与跟踪等研究具有重要意义，可广泛应用到智能交通、智慧城市、应急救援等领域。

以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。