一种视频监控和无人机的图像对齐方法

技术领域

本发明涉及监控检测领域，具体涉及一种视频监控和无人机的图像对齐方法。

背景技术

视频监控和无人机在海洋和国土等方面运用较为广泛，能对违法或涉嫌违法用海的地区、违法建筑及其他特征情况进行快速的日常监控，为违法用海查处和突发事件处理提供依据。为了快速得到目标物体不同视角的信息，以至于起到更好的监控作用，需要视频监控和无人机图像的映射。

现有的技术在进行图像对齐时一般采用的方法为提取两张图像的特征关键点与特征描述子，然后通过匹配算法寻找匹配度高的特征点进行变换从而实现图像对齐。然而SIFT、SURF、ORB等特征提取算法的特征提取性能有限，可能存在因特征点不足而匹配失败导致无法实现图像映射的问题。

近年来，提出了一些结合AIS和监控视频的船舶检测方法，例如：

公开号为CN111914049A的发明专利公开了一种经纬度坐标与图像坐标映射方法，该发明选取场景中若干点，利用场景的已知测量数据或谷歌地图等工具对其在物理空间中的经纬度坐标与其在图像画面中的像素坐标进行标定，通过人工对图像像素坐标和物理坐标进行关联。但是该方法中由于实际应用中人工标定的坐标值含有误差，导致得到的图像坐标一般含有误差，且耗时耗力。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种视频监控和无人机的图像对齐方法，通过分别对监控和无人机建立坐标映射关系，根据计算得到的变换矩阵实现监控和无人机的对齐，可以灵活、快速的在监控画面或无人机图像中得到同一物体的位置信息。

为实现上述发明目的，本发明采取的技术方案如下：

一种视频监控和无人机的图像对齐方法，包括以下步骤：

步骤S1：对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头画面坐标和经纬度坐标的低精度映射关系；

步骤S2：对齐无人机摄像头画面坐标和经纬度坐标，建立无人机摄像头画面坐标和经纬度坐标的低精度映射关系；

步骤S3：利用目标检测算法检测监控摄像头和无人机摄像头画面中的所有物体，得到监控摄像头和无人机摄像头画面中所有物体的画面坐标，并通过步骤S1中的低精度映射关系得到转换后的监控画面中所有物体的经纬度坐标集合Ω＝{＜λ

步骤S4：根据步骤S3的标准经纬度坐标集合

优选的，所述步骤S1中，所述监控摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：

步骤S1.1：根据Haversine公式，计算监控摄像头所在的位置在水平面上的垂直投影位置O′和监控摄像头可视范围内的水平面任意位置A

其中：a、b均为中间变量值，O′(λ

计算O′和A

其中，O为监控摄像头所在的位置，H为监控摄像头距离水平面的高度，单位为m；

计算A

其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X×Y，可得X和Y的参数值；θ为监控摄像头中心线与垂直线的夹角，β为监控摄像头中心线在水平面上的投影和地理真北方向的夹角，ω

步骤S1.2：在监控摄像头画面中随机选取多个画面坐标，得到监控摄像头画面坐标集合，从监控摄像头画面坐标集合中每次选取三组坐标，通过所述监控摄像头画面坐标和经纬度坐标的低精度映射关系，将选取的所述监控摄像头画面坐标转换为经纬度坐标，根据监控摄像头画面坐标和转换后的经纬度坐标计算得到变换矩阵H，具体过程如下：

通过逆矩阵计算得到多个变换矩阵H

其中(x

取多个变换矩阵H

得到监控摄像头画面坐标和经纬度坐标的转换关系如下：

其中，(x,y)是监控摄像头画面坐标，(lon,lat)是监控摄像头画面坐标转换的经纬度坐标。

优选的，所述步骤S2中，所述无人机摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：

步骤S2.1：根据Haversine公式，计算无人机摄像头所在的位置Q在水平面上的垂直投影位置Q′和无人机摄像头可视范围内的水平面任意位置B的直线水平距离d

其中：a、b均为中间变量值，Q′(λ

计算Q′和B的连线和地理真北方向的夹角φ，Q和B的连线和垂直线的夹角σ：

其中，Q为无人机摄像头所在的位置，h

计算B在无人机摄像头画面坐标(a,b)：

其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X×Y，可得X和Y的参数值；θ为无人机摄像头中心线与垂直线的夹角，β为无人机摄像头中心线在水平面上的投影和地理真北方向的夹角，ω

步骤S2.2：在无人机摄像头画面中随机选取多个画面坐标，得到无人机摄像头画面坐标集合，从无人机摄像头画面坐标集合中每次选取三组坐标，通过所述无人机摄像头画面坐标和经纬度坐标的低精度映射关系，将选取的所述无人机摄像头画面坐标转换为经纬度坐标，根据无人机摄像头画面坐标和转换后的经纬度坐标计算得到变换矩阵H，具体过程如下：

通过逆矩阵计算得到多个变换矩阵M

其中(a

取多个变换矩阵H

得到无人机摄像头画面坐标和经纬度坐标的转换关系如下：

其中，M是多个变换矩阵M

进而可得监控和无人机的低精度映射关系，转换关系如下：

(x,y)是监控摄像头画面坐标，(a,b)是无人机摄像头画面坐标。

优选的，所述步骤S3中得到标准经纬度坐标集合

步骤S3.1：利用目标检测算法检测监控和无人机画面中的所有物体，得到监控和无人机画面中所有物体的画面坐标，并通过各自的映射关系转换为经纬度坐标，得到转换后的监控画面中所有物体的经纬度坐标集合Ω＝{＜λ

步骤S3.2：设置一个阈值(Δlon,Δlat)，对经纬度坐标集合Ω和T两两之间作差，筛选出满足条件的经纬度坐标对，具体过程如下：

将集合Ω中的每个经纬度坐标分别和集合T中的每个经纬度坐标作差值运算，即λ

得到满足条件的经纬度坐标对集合K＝{＜λ

步骤S3.3：根据步骤S3.2得到的经纬度坐标对集合K，得到与之对应的转换前的画面坐标对集合I＝{＜x

优选的，所述步骤S3.1在筛选出满足条件的经纬度坐标对时，需要判断是否会出现一个经纬度坐标对应多个经纬度坐标的情况，若出现，则舍弃该经纬度坐标，若不出现，则保留该对经纬度坐标。

这样设置是由于有些目标物体间隔会比较近，为了避免目标物体之间的误匹配，舍弃出现一个经纬度坐标对应多个经纬度坐标的该经纬度坐标，只有当一个经纬度坐标和另一个经纬度坐标符合条件，即一对一时，保留该对经纬度坐标。

优选的，所述步骤S4包括如下步骤：

步骤S4.1.根据步骤S3.3的标准经纬度坐标集合

步骤S4.2.根据变换矩阵的方法，结合得到的坐标集合P和Z，计算得到校准后的监控的变换矩阵H′和无人机的变换矩阵M′；监控摄像头画面坐标和经纬度坐标精确的转换关系如下：

无人机画面坐标和经纬度坐标精确的转换关系如下：

当(λ,μ)＝(ε,δ)时，可建立监控和无人机精确的映射关系，即监控画面坐标和无人机画面坐标精确的转换关系如下：

其中(λ,μ)为校准后的监控摄像头经纬度坐标，(ε,δ)为校准后的无人机摄像头经纬度坐标，(x,y)是校准后的监控摄像头画面坐标，(a,b)是校准后的无人机摄像头画面坐标。

相对于现有技术，本发明取得了有益的技术效果：

1.本发明通过分别对监控摄像头、无人机摄像头与经纬度坐标建立坐标映射关系，根据计算得到的变换矩阵实现监控和无人机的对齐，从而可以灵活、快速的在监控画面或无人机图像中得到同一物体的位置信息；

2.本发明通过筛选得到同一目标物体的经纬度坐标，分别对视频监控映射关系和无人机映射关系中的变换矩阵进行校准，提高变换矩阵的准确度，最终建立视频监控和无人机精确的映射关系，实现视频监控和无人机精确的对齐。

附图说明

图1是本发明实施例中视频监控和无人机的图像对齐方法的流程图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明，但本发明要求保护的范围并不局限于下述具体实施例。

实施例

参考图1，本实施例公开了一种视频监控和无人机的图像对齐方法，包括以下步骤：

步骤S1：对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头画面坐标和经纬度坐标的低精度映射关系；

步骤S2：对齐无人机摄像头画面坐标和经纬度坐标，建立无人机摄像头画面坐标和经纬度坐标的低精度映射关系；

步骤S3：利用目标检测算法检测监控摄像头和无人机摄像头画面中的所有物体，得到监控摄像头和无人机摄像头画面中所有物体的画面坐标，并通过步骤S1中的低精度映射关系得到转换后的监控画面中所有物体的经纬度坐标集合Ω＝{＜λ

步骤S4：根据步骤S3的标准经纬度坐标集合

具体的，在所述步骤S1中，所述监控摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：

步骤S1.1：根据Haversine公式，计算监控摄像头所在的位置在水平面上的垂直投影位置O′和监控摄像头可视范围内的水平面任意位置A

其中：a、b均为中间变量值，O′(λ

计算O′和A

其中，O为监控摄像头所在的位置，H为监控摄像头距离水平面的高度，单位为m；

计算A

其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X×Y，可得X和Y的参数值；θ为监控摄像头中心线与垂直线的夹角，β为监控摄像头中心线在水平面上的投影和地理真北方向的夹角，ω

步骤S1.2：在监控摄像头画面中随机选取多个画面坐标，得到监控摄像头画面坐标集合，从监控摄像头画面坐标集合中每次选取三组坐标，通过所述监控摄像头画面坐标和经纬度坐标的低精度映射关系，将选取的所述监控摄像头画面坐标转换为经纬度坐标，根据监控摄像头画面坐标和转换后的经纬度坐标计算得到变换矩阵H，具体过程如下：

通过逆矩阵计算得到多个变换矩阵H

其中(x

取多个变换矩阵H

得到监控摄像头画面坐标和经纬度坐标的转换关系如下：

其中，(x,y)是监控摄像头画面坐标，(lon,lat)是监控摄像头画面坐标转换的经纬度坐标。

所述步骤S2无人机摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程和步骤S1采用的方法相同，具体的，所述步骤S2中，所述无人机摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：

步骤S2.1：根据Haversine公式，计算无人机摄像头所在的位置Q在水平面上的垂直投影位置Q′和无人机摄像头可视范围内的水平面任意位置B的直线水平距离d

其中：a、b均为中间变量值，Q′(λ

计算Q′和B的连线和地理真北方向的夹角φ，Q和B的连线和垂直线的夹角σ：

其中，Q为无人机摄像头所在的位置，h

计算B在无人机摄像头画面坐标(a,b)：

其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X×Y，可得X和Y的参数值；θ为无人机摄像头中心线与垂直线的夹角，β为无人机摄像头中心线在水平面上的投影和地理真北方向的夹角，ω

步骤S2.2：在无人机摄像头画面中随机选取多个画面坐标，得到无人机摄像头画面坐标集合，从无人机摄像头画面坐标集合中每次选取三组坐标，通过所述无人机摄像头画面坐标和经纬度坐标的低精度映射关系，将选取的所述无人机摄像头画面坐标转换为经纬度坐标，根据无人机摄像头画面坐标和转换后的经纬度坐标计算得到变换矩阵H，具体过程如下：

通过逆矩阵计算得到多个变换矩阵M

其中(a

取多个变换矩阵H

得到无人机摄像头画面坐标和经纬度坐标的转换关系如下：

其中，M是多个变换矩阵M

进而可得监控和无人机的低精度映射关系，转换关系如下：

(x,y)是监控摄像头画面坐标，(a,b)是无人机摄像头画面坐标。

通过步骤S1和步骤S2分别完成监控摄像头与经纬度坐标的坐标映射关系的建立、以及无人机摄像头与经纬度坐标的坐标映射关系的建立，根据计算得到的变换矩阵实现监控和无人机的对齐，从而可以灵活、快速的在监控画面或无人机图像中得到同一物体的位置信息。

进一步的，所述步骤S3中得到标准经纬度坐标集合

步骤S3.1：利用目标检测算法检测监控和无人机画面中的所有物体，得到监控和无人机画面中所有物体的画面坐标，并通过各自的映射关系转换为经纬度坐标，得到转换后的监控画面中所有物体的经纬度坐标集合Ω＝{＜λ

所述步骤S3.1在筛选出满足条件的经纬度坐标对时，需要判断是否会出现一个经纬度坐标对应多个经纬度坐标的情况，若出现，则舍弃该经纬度坐标，若不出现，则保留该对经纬度坐标。这样设置是由于有些目标物体间隔会比较近，为了避免目标物体之间的误匹配，舍弃出现一个经纬度坐标对应多个经纬度坐标的该经纬度坐标，只有当一个经纬度坐标和另一个经纬度坐标符合条件，即一对一时，保留该对经纬度坐标。

步骤S3.1中的图像目标检测算法为现有，可参考现有的公开专利：公告号为CN109993163A、名称为一种基于人工智能的非标铭牌识别系统及其识别方法，因此对监控视频中每隔Δt时间获取的每一帧的图像进行检测，从而得到船只的摄像头画面坐标集合Ω＝{(x

步骤S3.2：设置一个阈值(Δlon,Δlat)，对经纬度坐标集合Ω和T两两之间作差，筛选出满足条件的经纬度坐标对，具体过程如下：

将集合Ω中的每个经纬度坐标分别和集合T中的每个经纬度坐标作差值运算，即λ

得到满足条件的经纬度坐标对集合K＝{＜λ

步骤S3.3：根据步骤S3.2得到的经纬度坐标对集合K，得到与之对应的转换前的画面坐标对集合I＝{＜x

通过步骤S3筛选得到同一目标物体的经纬度坐标，然后将每对经纬度坐标的平均值作为该组的标准经纬度坐标，用于分别对视频监控映射关系和无人机映射关系中的变换矩阵进行校准。

优选的，所述步骤S4包括如下步骤：

步骤S4.1.根据步骤S3.3的标准经纬度坐标集合

步骤S4.2.根据变换矩阵的方法，结合得到的坐标集合P和Z，计算得到校准后的监控的变换矩阵H′和无人机的变换矩阵M′；监控摄像头画面坐标和经纬度坐标精确的转换关系如下：

无人机画面坐标和经纬度坐标精确的转换关系如下：

当(λ,μ)＝(ε,δ)时，可建立监控和无人机精确的映射关系，即监控画面坐标和无人机画面坐标精确的转换关系如下：

其中(λ,μ)为校准后的监控摄像头经纬度坐标，(ε,δ)为校准后的无人机摄像头经纬度坐标，(x,y)是校准后的监控摄像头画面坐标，(a,b)是校准后的无人机摄像头画面坐标。

最终通过步骤S4分别完成对视频监控映射关系和无人机映射关系中的变换矩阵进行校准，提高变换矩阵的准确度，建立视频监控和无人机精确的映射关系，实现视频监控和无人机精确的对齐。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对发明构成任何限制。