基于云台相机的目标检测方法

技术领域

本申请属于视觉拍摄领域，尤其涉及基于云台相机的目标检测方法。

背景技术

当今监控市场通常有着在不同倍率下定位感兴趣目标的需求，从而对目标整体到局部细节的全面观测。现有技术通常聚焦与如何在对准目标的前提下，进行不同倍率的观测，这些方法可以归结为两种，一种是基于模板匹配在不同倍率下定位目标，这个方法需要在不同倍率下采集模板图像，并且要保证目标在不同倍率下都在图像内才能进行定位，这个假设在实际应用时由于变倍过程中相机光心偏移变得不成立，且不同倍率下采集模板图像工作繁琐。另一种方法是先在小倍率下定位感兴趣目标，然后调整相机云台使得图像中心对准目标中心，接着进行变倍。这种方法并没有考虑在变倍过程中光心的偏移，导致从小倍率变到大倍率时，目标很有可能已经逃出图像，这样在大倍率下无法定位目标。

最相似实现方案CN108805940，此方案标定得到不同倍率下的焦距和光心，利用投影原理得到不同倍率下感兴趣目标的定位区域。这种方法需要标定相机在不同倍率下的视野，和不同变率下的光心位置，不同倍率下求得的目标定位区域完全取决于标定的准确性，这对标定提出较高的要求，并且该方法并没有详细阐述如何去对准被检测物体，以及如何去修正云台使得被检测物体中心在相机中心。

发明内容

本申请实施例提出了基于云台相机的目标检测方法，通过已知物体相对于云台相机的空间位置，自动解算得到云台转动量，调控云台姿态，对准目标物体。解决机器人巡检过程中，云台变倍相机自动去对准感兴趣目标，自动选择合适的倍率去放大观察目标的细节，并且目标始终保持在图像的中心。

具体的，本申请实施例提出的基于云台相机的目标检测方法，包括：

控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，得到云台相机的模板图像；

对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角；

控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量；

根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。

可选的，所述控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，包括：

预先使用激光雷达构建激光点云地图，在得到的激光点云地图中构建机器人巡检路线；

控制机器人沿巡检路线行进，采集变电站的全景图像同时获取拍摄点的定位数据，使用采集的全景图像和SFM技术恢复变电站的三维点云地图，在采集的全景图像中标注代表设备的兴趣目标，得到兴趣目标的模板图像I

获取拍摄点的定位数据对应的机器人三维空间坐标

可选的，所述对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角，包括：

通过预先离线标定的机器人坐标系和云台相机坐标系的外参数

已知云台相机在世界坐标系下的位置

θ

θ

得到包含水平转角θ

可选的，所述通过预先离线标定的机器人坐标系和云台相机坐标系的外参数

已知机器人的空间位置，固定AprilTag标定板，云台姿态置于零位，云台相机置于1倍率，遥控机器人面向AprilTag标定板行走；

每隔固定距离或者角度采集包含AprilTag标定板图像和机器人定位数据，按照S型路线重复行走，；

利用采集的数据，得到机器人车体坐标系和云台相机坐标系的外参数

通过标定得到的外参数

可选的，所述控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量，包括：

控制云台相机在1倍率下拍摄图像I

完成特征提取后，进行快速特征点匹配得到特征点的对应关系，利用GMS算法对得到的特征点关系进行优化，利用RANSAC算法再排除误匹配的特征点，如果保留下的特征点对大于等于第一阈值，基于保留下来的特征点对求取单应性矩阵；

在模板图像I

得到目标在I

P'

式中，w为图像的宽度，h为图像的高度。

可选的，所述对拍摄图像I

对于图像进行网格化分割，每个网格r*r大小，遍历每个网格，假设网格中有N个特征点，选取在网格中响应最高点作为该网格的特征点，其他在网格内的特征点被删除；

假设网格中没有特征点，对网格进行二次特征点提取，重复筛选步骤，确保特征点就均匀分布在图像中。

可选的，所述根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：

根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角；

构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。

可选的，所述根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角，包括：

步骤1，固定云台和相机位置，准备ArUco标定板，标定板正对相机放置，保证标定板整体都在图像中，记录当前云台角度A

步骤2，当前位置拍照，利用opencv函数提取ArUco标定板角点；

步骤3，转动云台，记录云台转动的角度A

步骤4，根据A中ArUco码的内容，在B中找到对应的码，得到对应的码后，因为每个码提取角点顺序时固定的，得到A和B中ArUco角点的对应关系；

步骤5，根据对应关系，求出每个对应角点的偏移量P

步骤6，变换相机倍率，重复执行步骤2-5，得到了不同倍率下云台转动角度与像素偏移的关系Δ，通过上述标定方法，得到了不同倍率下云台转动角度与像素偏移的关系Δ，从步骤4中得到了目标框中心距离图像中心的偏移[t

可选的，所述构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：

步骤一，固定云台相机，标定过程中云台相机位置不变。标定板放置在相机正前方；

步骤二，在Z1倍率下，云台相机拍照，得到

步骤三，在Z2倍率下，云台相机拍照，得到

步骤四，根据识别ArUco码中的信息，获得

步骤五，重复步骤三至四得到剩下倍率的H矩阵，利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度A

可选的，所述利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度A

当根据公式十可以求

根据公式十一可以求得Z

然后根据公式十二可以获得Z

当

接着根据公式八可以求得Z

本申请提供的技术方案带来的有益效果是：

通过云台相机与机器人的外参标定，得到云台相机的位置，通过空间解算，得到云台的转动量，然后控制云台对准目标，并且自动计算倍率，保证了云台相机在变倍后，目标仍然位于图像中心。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提出的基于云台相机的目标检测方法的流程示意图。

具体实施方式

为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。

本实施例涉及到的名词解释：

云台：可以水平竖直转动的装置，里面通过电机进行转动控制。

世界坐标系(W)：东-北-天坐标系。

云台坐标系(Y)：以云台转动中心为原点，水平旋转顺时针角度为负，逆时针角度为正，竖直转动往上角度为负，往下角度为正。

变倍摄像机坐标系(C)：相机坐标系的原点为相机的光心，x轴与y轴与图像的X,Y轴平行，z轴为相机光轴，它与图形平面垂直。

单应性矩阵：它用来描述物体在世界坐标系和像素坐标系之间的位置映射关系，约束了同一3D空间点在两个像素平面的2D齐次坐标。

ArUco码：ArUco码外围都有一组黑色边框，同时内部有着确定该标记ID的二维矩阵组合而成，类似二维码，常用来做标识或者物体的位姿检测。

云台相机与机器人定位的外参数：描述了云台相机坐标系与机器人定位坐标系的空间位置变换关系。

AprilTag码：与二维码相似，由特定的标志组成，可以识别标志，常用来计算相对位置。

structure from motion(SFM)：通过相机运动来恢复场景的稀疏几何结构。

Grid-based Motion Statistics(GMS)：基于网格化的运动统计。

Fast Library for Approximate Nearest Neighbors(FLANN)：最近邻快速逼近。

open source computer vision library(OpenCV)：开放源代码计算机视觉类库，跨平台计算机视觉和机器学习软件库。

Singular Value Decompositionm(SVD)：奇异值分解

在变电站机器人巡检时，巡检目标(包括表记，油位等)往往需要人工去对准，并且还需要人工去放大倍率观察目标的细节。本申请可以解决机器人巡检过程中，云台变倍相机自动去对准感兴趣目标，自动选择合适的倍率去放大观察目标的细节，并且目标始终保持在图像的中心。

具体的，本申请实施例提出的基于云台相机的目标检测方法，如图1所示，包括：

11、控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，得到云台相机的模板图像；

12、对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角；

13、控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量；

14、根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。

在实施中，本申请流程的实现思想为：基于云台变倍摄像机的物体自动对准的方法，并解决了变倍过程中的偏心以及基于像素变换调整云台问题。已知物体相对于云台相机的空间位置，自动解算得到云台转动量，从而调控云台姿态对准目标物体。利用图像处理技术以及几何约束关系，实现不同相机倍率下云台转动量与图像像素的自动标定。

本申请提出的技术方案在已知机器人和感兴趣目标的位置的前提下，通过云台相机与机器人的外参标定，得到云台相机的位置，通过空间解算，得到云台的转动量，然后控制云台对准目标，并且自动计算倍率，保证了云台相机在变倍后，目标仍然位于图像中心。可以做到均匀化提取特征点，并利用GMS算法提高了特征点匹配的准确性。

步骤11中，所述控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，包括：

111、预先使用激光雷达构建激光点云地图，在得到的激光点云地图中构建机器人巡检路线；

112、控制机器人沿巡检路线行进，采集变电站的全景图像同时获取拍摄点的定位数据，使用采集的全景图像和SFM技术恢复变电站的三维点云地图，在采集的全景图像中标注代表设备的兴趣目标，得到兴趣目标的模板图像I

113、获取拍摄点的定位数据对应的机器人三维空间坐标

在实施中，遥控机器人用激光雷达构建激光点云地图，构图完成后，构建机器人巡检路线。接着再用该机器人自动沿着巡检路线行走，边走边对变电站进行全景图像的采集，获得一系列的全景图像和对应的机器人定位信息，利用采集的全景图像和SFM技术恢复变电站的三维点云地图，接着在全景图像中对感兴趣目标选择合适视角进行标记，得到感兴趣目标中心的三维空间位置，全景图像对应的机器人车体定位位置.以及基于全景图像按照全景-云台相机变换关系生成云台相机1倍率视野的模板图像。

步骤12中，提出的所述对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角，包括：

121、通过预先离线标定的机器人坐标系和云台相机坐标系的外参数

122、已知云台相机在世界坐标系下的位置

θ

θ

得到包含水平转角θ

在实施中，标注目标中心三维空间位置

步骤121中提出的通过预先离线标定的机器人坐标系和云台相机坐标系的外参数

1211、已知机器人的空间位置，固定AprilTag标定板，云台姿态置于零位，云台相机置于1倍率，遥控机器人面向AprilTag标定板行走；

1212、每隔固定距离或者角度采集包含AprilTag标定板图像和机器人定位数据，按照S型路线重复行走，；

1213、利用采集的数据，得到机器人车体坐标系和云台相机坐标系的外参数

1214、通过标定得到的外参数

在上述过程中利用采集的数据，得到机器人车体坐标系和云台相机坐标系的外参数

步骤13提出的控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量，包括：

131、控制云台相机在1倍率下拍摄图像I

132、完成特征提取后，进行快速特征点匹配得到特征点的对应关系，利用GMS算法对得到的特征点关系进行优化，利用RANSAC算法再排除误匹配的特征点，如果保留下的特征点对大于等于第一阈值，基于保留下来的特征点对求取单应性矩阵；

133、在模板图像I

134、得到目标在I

P'

式中，w为图像的宽度，h为图像的高度。

在实施中，计算完两幅图像的特征点后，首先里面FLANN算法进行一次快速特征点匹配，会得到特征点的对应关系，这里会存在很多的错误的特征点对应，然后利用GMS算法对前面得到的特征点关系进行优化，保证了保留的特征点对应基本正确。接着利用RANSAC算法再排除一些误匹配的特征点，如果保留下的特征点对大于等于8，则用保留下来的特征点对用来求取单应性矩阵，否则返回失败。

通过上一步得到了单应性矩阵，在I

其中，步骤131提出的对拍摄图像I

1311、对于图像进行网格化分割，每个网格r*r大小，遍历每个网格，假设网格中有N个特征点，选取在网格中响应最高点作为该网格的特征点，其他在网格内的特征点被删除；

1311、假设网格中没有特征点，对网格进行二次特征点提取，重复筛选步骤，确保特征点就均匀分布在图像中。

可选的，步骤14提出的根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：

141、根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角；

142、构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。

其中，步骤141提出的根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角，包括：

步骤1，固定云台和相机位置，准备ArUco标定板，标定板正对相机放置，保证标定板整体都在图像中，记录当前云台角度A

步骤2，当前位置拍照，利用opencv函数提取ArUco标定板角点；

步骤3，转动云台，记录云台转动的角度A

步骤4，根据A中ArUco码的内容，在B中找到对应的码，得到对应的码后，因为每个码提取角点顺序时固定的，得到A和B中ArUco角点的对应关系；

步骤5，根据对应关系，求出每个对应角点的偏移量P

步骤6，变换相机倍率，重复执行步骤2-5，得到了不同倍率下云台转动角度与像素偏移的关系Δ，通过上述标定方法，得到了不同倍率下云台转动角度与像素偏移的关系Δ，从步骤4中得到了目标框中心距离图像中心的偏移[t

步骤142提出的构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：

步骤一，固定云台相机，标定过程中云台相机位置不变。标定板放置在相机正前方；

步骤二，在Z1倍率下，云台相机拍照，得到

步骤三，在Z2倍率下，云台相机拍照，得到

步骤四，根据识别ArUco码中的信息，获得

步骤五，重复步骤三至四得到剩下倍率的H矩阵，利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度A

在执行步骤五的过程中，利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度A

当根据公式十可以求

根据公式十一可以求得Z

然后根据公式十二可以获得Z

当

接着根据公式八可以求得Z

以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。