一种对地观测空间云服务车辆目标三维跟踪方法

技术领域

本发明属于遥感影像处理领域，涉及卫星视频影像的车辆目标三维跟踪。

背景技术

近年来，随着遥感视频卫星的快速发展，遥感视频卫星对地观测时间分辨率大幅提升。在这之前，单颗高分辨率遥感卫星重访周期为2-5天，多颗轻小卫星组建的星座重访周期最快也要几个小时。因此，视频卫星的快速发展带来的是时间分辨率革命性的提升，其在自然灾害应急快速响应、重大工程监测、车辆实时监测和国防安全等领域具有重要应用潜力，是未来遥感动态监测发展的重要方向。

运动目标是智能交通和应急反应等研究关注的重点，自动地从遥感视频卫星影像上提取运动目标，对于研究运动目标特征、运动目标的轨迹跟踪至关重要。传统的运动目标提取相关研究使用监控视频图像，主要用于交通流量监测、动态目标跟踪，其存在视频范围小、获取信息少的缺点。而遥感卫星视频，因其具有大尺度、广阔范围且拥有不俗的分辨率(一般为1米左右)，弥补了传统运动目标提取的缺陷，同时，由于遥感视频卫星属于非接触式信息获取平台，其从太空中对地球进行观测，可以消除很多空间限制。

动态背景下常用的运动目标检测方法有光流法、背景差分法和帧间差分法以及它们的改进方法。光流法，因其具有不需要预先知道实验场景任何信息的独特优势，以及其可观的精度，非常适合用于卫星视频的动态目标提取。但目前而言，还没较好的算法利用卫星视频影像对动态目标进行三维跟踪。

发明内容

针对上述问题，本发明提出了一种对地观测空间云服务车辆目标三维跟踪方法，本发明使用大尺度的卫星视频影像作为数据源，可以同时大范围的车辆目标三维跟踪。

本发明采用的技术方案为：

一种对地观测空间云服务车辆目标三维跟踪方法，包括以下步骤：

步骤1：读入卫星视频影像；

步骤2：对卫星视频影像的有理多项式系数进行区域网平差；

步骤3：利用有理多项式系数生成核线影像，并在此基础上进行密集匹配；

步骤4：利用迁移神经网络，对卫星视频影像中的道路进行提取，得到道路掩模；

步骤5：根据SIFT算法，计算卫星视频影像帧间同名点，在此基础上使用RANSAC算法，对同名点进行提纯，并且对卫星视频影像进行帧间两两配准；

步骤6：根据帧差法，基于配准后的卫星视频影像，提取待选车辆目标；

步骤7：结合已经提取好的道路掩模，对待选车辆目标进行提纯，获取位于道路上的车辆目标；

步骤8：根据密集匹配的结果，在特定帧上搜索车辆目标邻近的三维点的高程，以高程中位数作为车辆目标的高程，结合基于单张影像求解地面点三维坐标的方法，获取车辆目标的三维坐标。

进一步地，步骤2的具体方式如下：

步骤2a：在相邻两帧影像间利用SIFT算法提取同名点，然后使用RANSAC算法剔除同名点中的误匹配点对；

步骤2b：利用已有的同名点及有理多项式系数，构建有理函数模型的误差方程；

步骤2c：列出法方程，根据最小二乘算法，求解有理多项式系数的改正数：

式中，t为有理多项式系数系统误差补偿模型中参数的改正数，X为加密点坐标的改正数，A和B分别为t和X的系数矩阵；l是误差方程的常数项；

步骤2d：迭代直至改正数小于阈值，输出平差后的有理多项式系数。

进一步地，步骤3的具体方式如下：

步骤3a：使用投影轨迹法进行核线影像生成，将高程差异引起的点位轨迹定义为核线，利用基于有理函数模型的单张影像求解地面点三维坐标方法将左影像上任意一点q投影到不同的高程面上，得到对应的物方点，记为Q

核线影像生成，需要先计算左影像每一列的中心M(x，y)作为起算点获取左右影像上的核线方程，根据核线方程，将原影像上的数据按列进行采样从而对核线影像进行赋值，生成左右核线影像：

式中，k

步骤3b：同名点匹配；首先从左核线影像出发，根据视差范围在右核线影像同名核线影像上搜索获取左核线影像对应视差，匹配代价为相邻两关键帧对应像素点窗口内影像相关系数；然后计算视差梯度，对于梯度大的像素对应视差，根据其相邻像素与该像素灰度相似性决定该像素视差；再从右核线影像出发，按照从左核线影像出发的方式计算视差，同样对于视差梯度大的像素根据领域信息决定该像素视差；最后，对于左右视差绝对值之差超过阈值的像素，视差赋为异常值；

根据核线方程，同时结合行号y，将视差转换到原影像，得到每个像素点在原影像上的位移：

步骤3c：基于多视影像进行密集匹配。

进一步地，步骤5的具体方式如下：

步骤5a：在不同的尺度空间上查找关键点，并计算出关键点的方向，以此来得到128维SIFT特征；

步骤5b：计算两帧之间128维SIFT特征间的欧式距离，根据距离最小原则进行特征点匹配，以距离最小的特征点作为同名点；

步骤5c：从所有同名点中，随机选择几组，计算两帧间的相对变换模型；

利用剩余的同名点组验证该模型，重复步骤5a-5c，最后以剩余点中符合模型的点的数目最多的模型作为最终变换模型，对应的同名点组作为正确匹配的同名点；

步骤5d：相邻帧配准；利用同名点，根据最小二乘原则求解两个平移参数(dx，dy)、一个旋转参数θ、一个缩放参数λ；然后利用这四个参数按下式进行配准：

进一步地，步骤8的具体方式如下：

步骤8a：对指定的某一帧，将具备三维坐标的地面点投影到该影像上面，并将其建立K-D树；

步骤8b：根据步骤7提取到的该帧的车辆目标，设第i个车辆目标的像点点集为

根据得到的中心c

步骤8c：在已知像点坐标及有理多项式系数的情况下，结合高程辅助信息，解算像点对应的地面点三维坐标，利用其构建误差方程：

其中，P是纬度、L是经度，F

根据最小二乘原理对误差方程进行求解，得到

Δ＝(A

步骤8d：对该帧影像上的所有车辆目标重复步骤8c，其中，地面坐标初始值(P

其中，H为对应经纬度的数字高程模型值；

得到该帧影像上的所有车辆目标的三维坐标；

步骤8e：对于每一帧影像，重复步骤8a-8d，得到多帧影像上的车辆目标的三维坐标。

本发明的有益效果在于：

1、本发明能够在只需极少人工干预的情况下进行三维车辆目标的跟踪。

2、本发明使用大尺度的卫星视频影像作为数据源，可以同时大范围的车辆目标三维跟踪。

3、本发明可使用多线程技术以及GPU计算方法进行加速，使其具有更高的效率。

附图说明

图1是一种对地观测空间云服务车辆目标三维跟踪方法与装置的流程图；

图2是本发明的实例图；

图3是核线影像生成示意图；

图4是核线影像图；

图5是车辆目标提取结果图；

图6是车辆目标三维跟踪结果图。

具体实施方式

为了使本发明的目的、技术方案更加清楚明白，以下结合附图，对本发明进一步详细说明。

一种对地观测空间云服务车辆目标三维跟踪方法，以图2为例实施该方法，具体过程如图1所示，包括以下步骤：

步骤1：读入卫星视频影像，本实施例读入长光一号卫星29帧视频影像及其对应的RPC参数；

步骤2：对卫星视频影像的RPC参数进行区域网平差；

步骤3：如图3、图4所示，利用RPC参数生成核线影像，并在此基础上进行密集匹配；

步骤4：利用迁移的神经网络，对卫星视频影像中的道路进行提取，得到道路mask；

步骤5：根据SIFT算法，计算卫星视频影像帧间同名点，在此基础上使用RANSAC算法，对同名点进行提纯，并且对视频影像进行帧间两两配准；

步骤6：根据帧差法，基于配准后的卫星视频影像，提取待选车辆目标；

步骤7：结合已经提取好的道路mask，对待选车辆目标进行提纯，获取位于道路上的车辆目标，如图5所示；

步骤8：根据密集匹配的结果，在特定帧上搜索车辆目标邻近的三维点的高程，以其高程中位数作为车辆目标的高程，结合基于单张影像求解地面点三维坐标的方法，获取车辆目标的三维坐标，如图6所示。

其中，步骤2具体如下：

步骤2a：在相邻两帧影像间利用SIFT算法提取同名点，然后使用RANSAC算法剔除同名点中的误匹配点对；

步骤2b：利用已有的同名点及RPC参数，构建RFM补偿模型的误差方程：

步骤2c：列出法方程，根据最小二乘算法，求解RPC参数的的改正数：

式中，t为RPC系统误差补偿模型中参数的改正数；X为加密点坐标的改正数；A和B分别为t和X的系数矩阵；1是误差方程的常数项；

步骤2d：迭代直至改正数小于阈值，输出平差后的RPC参数。

步骤3具体如下：

步骤3a：核线影像的生成方法。使用投影轨迹法进行核线影像生成，该方法将高程差异引起的点位轨迹定义为核线，利用基于RFM模型的单张影像求解地面点三维坐标方法将左影像上任意一点q投影到不同的高程面上，得到对应的物方点，记为Q

核线影像生成，需要先计算左影像每一列的中心M(x，y)作为起算点获取左右影像上的核线方程，根据核线方程，将原影像上的数据按列进行采样从而对核线影像进行赋值，生成左右核线影像。

式中，k

步骤3b：同名点匹配。首先从左核线影像出发，根据视差范围在右核线影像同名核线影像上搜索获取左核线影像对应视差，匹配代价为相邻两关键帧对应像素点窗口内影像相关系数；然后计算视差梯度，对于梯度过大的像素对应视差，根据其相邻像素与该像素灰度相似性决定该像素视差；再从右核线影像出发，按照从左核线影像出发的方式计算视差，同样对于视差梯度过大的像素根据领域信息决定该像素视差；最后，对于左右视差绝对值之差超过某阈值的像素(存在遮挡)，视差赋为异常值。

由于核线影像上的一列对应原始影像上的一条核线，因此根据核线影像的列号x即可确定核线的序号，根据核线方程，同时结合行号y，即可利用式将其转回到原始影像。因此，对于上一步得到的视差，可以转换到原影像，得到每个像素点在原影像上的位移。

步骤3c：基于多视影像进行密集匹配。

步骤5具体如下：

步骤5a：SIFT特征提取。在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向，以此来得到128维SIFT特征；

步骤5b：SIFT特征匹配。计算两帧之间128维SIFT特征间的欧式距离，根据距离最小原则进行特征点匹配，以距离最小的特征点作为同名点；

步骤5c：随机采样一致性(RANSAC)算法剔除误匹配同名点。首先从所有同名点中，随机选择几组，计算两帧间的相对变换模型；然后利用剩余的同名点组验证该模型，重复上述步骤，最后以剩余点中符合模型的点的数目最多的模型作为最终变换模型，对应的同名点组作为正确匹配的同名点；

步骤5d：相邻帧配准。相邻帧的配准与经典摄影测量中左右影像配准比较类似，从数学的角度而言，二者均是一个坐标转换问题，本文是二维的坐标转换，采用四参数法进行转换，这四个参数分别为：两个平移参数(dx，dy)、一个旋转参数θ、一个缩放参数λ，首先利用上一小节提取到的同名点，根据最小二乘原则求解五个参数，再利用这五个参数按下式进行配准。

步骤8具体如下：

步骤8a：对指定的某一帧，将具备三维坐标的地面点投影到该影像上面，并将其建立K-D树；

步骤8b：根据步骤7提取到的该帧的车辆目标，设第i个车辆目标的像点点集为

根据得到的中心c

步骤8c：在已知像点坐标及RPC参数的情况下，结合高程辅助信息，可以解算像点对应的地面点三维坐标，利用其构建误差方程：

其中，P是纬度、L是经度。

根据最小二乘原理对误差方程进行求解，得到

Δ＝(A

解算地面点坐标采用的数学模型是线性化后的模型，因此要进行迭代，地面坐标初始值(P

步骤8d：对该帧影像上的所有车辆目标重复步骤8c，即可得到该帧影像上的所有车辆目标的三维坐标。

步骤8e：对于每一帧影像，重复步骤8a-8d，可以得到多帧影像上的车辆目标的三维坐标。

总之，本发明利用RPC参数生成核线影像并进行密集匹配，利用迁移的神经网络对卫星视频影像中的道路进行提取得到道路mask，结合已经提取好的道路mask对待选车辆目标进行提纯获取位于道路上的车辆目标，根据密集匹配的结果，获取车辆目标的三维坐标。本发明只需要极少人工干预即可进行三维车辆目标的跟踪，此外，本发明使用大尺度的卫星视频影像作为数据源，可以同时大范围的车辆目标三维跟踪。