一种基于PTZ相机单目变焦的告警定位方法

技术领域

本发明属于单目相机定位领域，具体为一种基于PTZ相机单目变焦的告警定位方法。

背景技术

近年来，各个领域对安全防范和现场记录报警系统的需求不断增强。针对异常情况，如果监控系统能准确定位与识别异常目标，从而有效实施后续的应急救援方案，可以减少后续可能导致的人力、物力和财力损失。

传统的静态视觉系统由于摄像机是固定的且不能控制，其实用性大大降低。而PTZ摄像机可以全方位移动以及变倍，为用户提供更大的自由度，具备更多的优势。

目前基于机器视觉进行距离测算的方法大致分为双目测距和单目测距。双目测距精度较高，但存在对摄像头安装和协同性要求较高、处理计算量大、对处理器性能要求较高以及测距实时性能不好的问题。而单目视觉测距系统可以比较好地解决上述问题，其适用范围广、操作简单、安装成本低、计算量较小、处理单幅图像速度快，可以较好地保证处理的实时性。

常见的单目PTZ相机定位方法有四种，分别是视觉特征提取和匹配方法，运动估计和跟踪方法，深度学习方法和多视角信息融合。视觉特征提取和匹配方法通常使用静态图像测距模型来估计物体的距离；在提取目标物体的视觉特征后，通过匹配这些特征，推算出物体的位置，进而得到物体距离。运动估计和跟踪方法一般利用连续多帧图像测距模型来实现；通过分析相邻帧之间物体的运动信息和视差变化等特征估计物体位置；但算法的精度和稳定性会受到噪声和运动模型的影响。深度学习方法虽然可以直接从图像中预测目标的位置，但其训练和推理过程需要大量的计算资源。多视角信息融合利用不同视角下的图像信息来推断物体的距离，但其涉及到跨视角的特征匹配、立体视觉等复杂技术，对计算资源和算法复杂度要求较高。

发明内容

为了克服现有技术的不足，本发明提出了一种基于PTZ相机单目变焦的告警定位方法。

实现本发明目的的技术方案为：一种基于PTZ相机单目变焦的告警定位方法，具体步骤为：

步骤1：建立像素坐标系，图像坐标系；

步骤2：在固定视角，利用PTZ相机拍摄一组在不同放大倍数下告警目标所在场景图像；

步骤3：对不同放大倍数下拍摄的图像的公共区域进行图像匹配，并进行修正，获得匹配点像素坐标；

步骤4：将匹配点像素坐标转化为图像坐标；

步骤5：建立相机坐标系，相机初始坐标系，相机原始坐标系；

步骤6：计算目标点在相机坐标系的三维坐标；

步骤7：将目标点三维坐标从相机坐标系转换到相机初始坐标系；

步骤8：建立初始坐标系到相机原始坐标系的转换关系；

步骤9：建立相机原始坐标系到世界坐标系的转换关系；

步骤10：建立世界坐标系到经纬高坐标系的转换关系；

步骤11：利用告警目标真实坐标求解PTZ相机的初始朝向，将求解出的初始朝向角代入步骤8，利用步骤8至步骤10建立的转换关系，利用迭代法求解出告警目标的经纬高坐标。

优选地，将匹配点像素坐标转化为图像坐标的转换公式为：

其中，dx为每个像素在x轴方向上的物理尺寸，dy为每个像素在y轴方向上的物理尺寸，u

优选地，步骤5中采用图像坐标系原点o作为相机坐标系的原点，相机光轴指向的方向为Z

构建PTZ相机的参数P＝0,T＝0时相机所处方位的坐标系作为相机初始坐标系；

设定相机原始坐标系X'Y'Z'：Z'轴指向北极，Y'轴垂直于地面指向地心的反方向，则根据右手法则，构建相机原始坐标系X'Y'Z'。

优选地，计算目标点在相机坐标系的三维坐标的具体方法为：

计算不同放大倍数下的焦距：

f

其中f

根据变焦定位模型计算目标点s在相机坐标系X

式中，(i,j),(k,n)分别为匹配点的图像坐标。

优选地，将目标点三维坐标从相机坐标系转换到相机初始坐标系的具体公式为：

式中，(x

优选地，初始坐标系到相机原始坐标系的转换关系具体为：

式中，(yaw,pitch,roll)为PTZ相机的初始朝向角，(x

优选地，相机原始坐标系到世界坐标系的转换关系具体为：

式中，(x',y',z')为目标原始坐标，(x

优选地，世界坐标系到经纬高坐标系的转换关系的具体公式为：

式中，(x

优选地，利用告警目标真实坐标求解PTZ相机的初始朝向的具体方法为：

利用PTZ相机在当前视角已知告警目标真实经纬高坐标的一组图像，重复步骤3至步骤7，获得匹配点在相机初始坐标系X

将告警目标真实经纬高坐标(lon

其中，(lon

利用如下方程求解初始朝向角(yaw,pitch,roll)：

优选地，根据步骤10的世界坐标系到经纬高坐标系的转换公式，采用迭代法计算纬度和高度的具体方法为：

初次迭代时，初始化纬度为零，得

具体迭代公式如下，

Δalt＝alt

利用以上迭代公式不断循环迭代，当Δalt<0.001m,Δlat<0.001rad时，即可停止迭代，获得最终的告警目标的经纬高坐标(lon,lat,alt)。

本发明与现有技术相比，其显著优点为：

1、本发明可以在无需知道目标物体高度的前提下测得目标距离，进行目标定位。

2、本发明只需要一个变焦相机，成本更低，且相机不包含运动机械结构，对空间要求更低，可以在更多的场景下安装使用，有利于普及推广。

3、本发明提供的方法简单易行，可移植性高，同时计算量适中，满足实时性测距定位需求。

附图说明

图1是本发明的变焦定位方法流程示意图。

图2是本发明的变焦定位模型示意图。

图3是本发明的像素坐标系示意图。

图4是本发明的变焦定位模型在相机坐标系下的示意图。

图5是本发明的一对变焦图像。

图6是本发明的相机原始坐标系和世界坐标系的示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，一种基于PTZ相机单目变焦的告警定位方法，首先建立像素坐标系，图像坐标系；再利用PTZ相机采集图像信息，并对目标进行图像匹配，通过理想变焦模型条件修正获取匹配点坐标；将像素坐标转换为图像坐标，根据变焦模型计算出目标在相机坐标系下的三维坐标，利用三维距离公式可求得目标距离；最后将目标在相机坐标系下的坐标转换到世界坐标系下，并将ECEF坐标转换为LLA坐标。本发明包括以下步骤：

步骤1：建立像素坐标系，图像坐标系；

在传统的相机中，光线从被摄物体通过透镜系统进入相机，然后在图像传感器上形成倒立的实时图像，所以相机拍摄后的图像一般经过水平翻转来保持视觉一致性。

一般地，都是以图像的左上角点作为像素坐标系的原点o'，竖直向下方向为v轴正方向，水平向右方向为u轴正方向，如图3(a)所示；

同理，在相机的图像传感器上，以相机成像平面的左下角点为像素坐标系的原点o'，竖直向上方向为v轴正方向，水平向右方向为u轴正方向，建立像素坐标系o'-uv，如图3(b)所示。

以单目相机光轴所在的直线和单目相机成像平面的交点作为图像坐标系的原点o，竖直向上方向为y轴正方向，水平向右方向为x轴正方向，建立图像坐标系o-xy，如图2所示。

步骤2：PTZ相机发现异常情况时，相机自主对准告警目标s所在场景并固定视角，保证相机参数P、T不变(P为相机相机在水平平面上的旋转角度，T为相机在垂直平面上的旋转角度)，在不同放大倍数Z

如图5所示，abcd表示像平面的大小，a'b'c'd'则表示成像1和成像2的公共场景；所以成像1与成像2相比，成像1包含更广的空间，而成像2包含更多的细节。

步骤3：利用LightGlue算法对不同放大倍数下拍摄的图像的公共区域a'b'c'd'区域进行图像匹配，再利用“变焦前后成像点在同一直线上”的条件进行修正，获得匹配点s

步骤4：将匹配点像素坐标(u

坐标转换公式为

其中，dx为每个像素在x轴方向上的物理尺寸，dy为每个像素在y轴方向上的物理尺寸，u

步骤5：建立相机坐标系，相机初始坐标系，相机原始坐标系；

当相机进行变焦时，相机中的透镜组或反射镜等光学元件会发生一定的移动和调整，导致光心位置发生变化，而图像传感器的位置通常是固定不变的；

所以采用图像坐标系原点o作为相机坐标系的原点，相机光轴指向的方向为Z

同时构建PTZ相机的参数P＝0,T＝0时相机所处方位的坐标系——相机初始坐标系X

设定相机原始坐标系X'Y'Z'：Z'轴指向北极，Y'轴垂直于地面指向地心的反方向，则根据右手法则，可以构建相机原始坐标系X'Y'Z'，如图6所示。

步骤6：计算目标点在相机坐标系的三维坐标；

如图2所示，根据本发明提出的变焦定位模型计算目标点s在相机坐标系X

图2所示的基于单目相机变焦测距原理图是基于针孔成像模型进行几何分析。

步骤2中固定相机对同一空间分别在焦距f

f

其中f

将两次成像的模型画在同一坐标系中进行分析，理想模型下像点s

截取平面som单独分析，如图4所示，

r

过点s作平行于om的直线交Z

如图4所示，由于△so

由式(5)得，

将(7)代入(6)得，

再将(8)代入(7)得，

由(3,4,9)式和公式

可得点在相机坐标系X

还可以利用式(12)计算告警目标距相机的距离，

步骤7：将目标点三维坐标从相机坐标系X

利用相机的P、T参数，将步骤6计算出的三维坐标转换到相机初始坐标系X

其中，P为相机相机在水平平面上的旋转角度，T为相机在垂直平面上的旋转角度。

步骤8：建立相机初始坐标系X

利用该台PTZ相机的初始朝向角(yaw,pitch,roll)将坐标(x

步骤9：建立相机原始坐标系X'Y'Z'到世界坐标系X

如图6所示，本发明采取的世界坐标系X

原始坐标系X'Y'Z'到世界坐标系X

其中，R为旋转矩阵，平移矩阵T

由相机的纬度为

其中，N为基准椭圆体的曲率半径，

考虑到本发明的实验数据采集于中国地区，所以采用更适合中国地区的西安80模型参数，长轴a＝6378137.000m，扁率f＝1/298.257223563。

将原始坐标系X'Y'Z'的三条轴分别投影到X

将(16,17)代入(15)，得

步骤10：建立世界坐标系(ECEF)到经纬高坐标系的转换关系；

坐标(x

式中，(x

步骤11：利用告警目标真实坐标求解PTZ相机的初始朝向；

利用该台PTZ相机已知告警目标真实经纬高坐标的一组图像，重复步骤3至步骤7，获得匹配点在相机初始坐标系X

然后将告警目标真实经纬高坐标(lon

由告警目标真实经纬高坐标进行反推的具体过程如下：

相机LLA坐标为(lon

由式(16)可知，告警地点在ECEF坐标系的坐标(x

相机在ECEF坐标系的坐标(x

回顾步骤9，反推原始坐标系X'Y'Z'到世界坐标系X

其中，R'＝R

将式(25)中的数据都换成真值数据，则

将(26,27,28)代入(25)，得

由式(22,23,24,29)，可以解得该台PTZ相机的初始朝向角(yaw,pitch,roll)，将该台PTZ相机的初始朝向角(yaw,pitch,roll)代入步骤8，由步骤8至步骤10进行后续的坐标转换，最终推算出告警目标的经纬高坐标。

由式(19)可知，经度lon可以由x

初次迭代时，先令纬度初始化为零，得

具体迭代公式如下，

Δalt＝alt

利用以上迭代公式不断循环迭代，当Δalt<0.001m(,Δlat<0.001rad时，即可停止迭代，获得最终的告警目标的经纬高坐标(lon,lat,alt)。

此外，导入该台PTZ相机的其他数据，逐步实施步骤1至步骤10，即可推出相应的告警目标经纬高坐标。

本发明在图像匹配的基础上，根据目标投影匹配点的像素位置可以在无需知道目标经纬高的前提下，直接计算出目标相对于相机的坐标，实现测距；同时，利用相机位置信息可以进一步推算出目标的经纬度，实现单目定位。本发明操作简便，部署便捷，可移植性高；同时测距定位精度理想，环境适应性较高。

实施例：

1、如图2所示，建立像素坐标系，图像坐标系，

图像坐标系o-xy主要用来记录目标成像的位置信息；

2、相机变焦拍摄远景图和近景图；

3、利用LightGlue算法对一组图像进行图像匹配，获得匹配点的像素坐标(u

4、再建立相机坐标系，相机初始坐标系，相机原始坐标系；

5、利用图3的变焦定位模型将图像坐标转换为相机坐标系X

6、最后通过旋转平移将相机坐标系坐标(x

7、为了便于理解，需要将其转换为经纬高坐标(即LLA坐标)，

8、对模型的准确性进行检测，

采用海康、大华的PTZ云台相机拍摄到的告警目标变焦图像，获得的部分实验结果如表1、表2所示：

表1目标测距实验结果

表2目标定位实验结果

一般的激光测距误差控制在4％以内，远距离测距时误差会更大；由表1可知，本发明在远距离测距下误差基本控制在3.6％以内，平均误差率为0.029，精度较为理想。

由表2可知，经纬度平均误差均控制在0.0001级，经度误差最低能达到E-06级，纬度误差最低能达到E-05级。

实验证明，该变焦定位模型具有可行性。