移动式红外测温系统的自动标定方法

技术领域

本发明涉及计算机视觉技术领域。更具体地说，本发明涉及一种移动式红外测温系统的自动标定方法。

背景技术

目前，红外测温系统在多个领域得到了深入发展，尤其在某些高危环境下进行测量工作时，然而红外测温相机畸变的存在直接影响系统采集数据的可信度；此外，由于红外测温相机的成像清晰度不如可见光，所以往往需要二者配合使用，因此研究红外标定技术具有重要的意义。为了提高红外测温系统的覆盖范围，可将红外测温相机安装于移动设备上，并配备可转动云台以全方位覆盖不同角度的环境与设备。移动设备一般基于激光雷达进行定位，为了获取被测物体的位置，需要对激光雷达、可转动云台、可见光相机以及红外相机进行统一标定。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种移动式红外测温系统的自动标定方法，其能够有效完成可见光相机和红外相机的外参标定，使得两种相机的标定互不干扰，且标定效率明显提高。

为了实现根据本发明的上述目的和其它优点，提供了一种移动式红外测温系统的自动标定方法，所述移动式红外测温系统包括：定焦的可见光相机、定焦的红外相机、可转动云台、激光雷达、移动设备，可见光相机与红外相机通过可转动云台安装于带有激光雷达的移动设备，可见光相机与红外相机相对于所述可转动云台具有相同的转动效果以及部分的重叠视场，所述自动标定方法包括：标定可见光相机与红外相机的相对位置、可转动云台在不同旋转角度下激光雷达与可见光相机的相对位置，得到激光雷达与红外相机的实时相对位置。

优选的是，标定可见光相机与红外相机的相对位置的具体实现方式为：可见光相机拍摄靶标，获得图像，计算可见光相机的内参矩阵以及畸变系数，红外相机拍摄靶标，获得图像，计算红外相机的内参矩阵以及畸变系数，可见光相机与红外相机拍摄靶标，变换位姿，获得不同位姿的多对图像，结合可见光相机、红外相机的内参矩阵以及畸变系数，计算可见光相机与红外相机的外参矩阵。

优选的是，所述靶标包括等尺寸依次叠设的黑白棋盘格标定板、隔热层、恒温发热板，所述靶标贯穿设有通孔，所述通孔的圆心与各棋盘格的中心重合，所述通孔的数量以及棋盘格角点数量需至少可确定唯一的空间平面；

拍摄靶标前，预热所述靶标，可见光相机、红外相机位于朝向黑白棋盘格标定板的一侧，对可见光相机拍摄靶标获得的图像进行角点检测并提取，对红外相机拍摄靶标获得的图像进行圆点检测并提取，构建平面单应矩阵，计算可见光相机与红外相机之间的外参矩阵。

优选的是，可转动云台在不同旋转角度下激光雷达与可见光相机的相对位置的具体实现方式为：先标定激光雷达与可转动云台的I轴的相对位置，再标定可转动云台的I轴与可转动云台的II轴的相对位置、以及可转动云台的II轴与可见光相机的相对位置，得到激光雷达与可见光相机的相对位置；

其中，可转动云台的I轴安装于所述移动设备。

优选的是，标定激光雷达与可转动云台的I轴的相对位置时，固定可转动云台的II轴，转动可转动云台的I轴至少2个角度，标定激光雷达与可见光相机的外参矩阵，获取可转动云台的I轴相对于0°时的旋转矩阵，根据激光雷达与可见光相机的变换矩阵关系，通过非线性优化的方式获得激光雷达与可转动云台的I轴的外参矩阵；

标定可转动云台的I轴与可转动云台的II轴的相对位置以及可转动云台的II轴与可见光相机的相对位置时，固定可转动云台的I轴，转动可转动云台的II轴至少2个角度，标定激光雷达与可见光相机的外参矩阵，获取可转动云台的I轴相对于0°时的旋转矩阵，可转动云台的II轴相对于0°时的旋转矩阵，结合激光雷达与可转动云台的I轴的外参矩阵，根据激光雷达与可见光相机的变换矩阵关系，通过非线性优化的方式获得可转动云台的I轴与可转动云台的II轴的外参矩阵、以及可转动云台的II轴与可见光相机的外参矩阵；

以可转动云台的I轴与可转动云台的II轴的旋转角度为已知变量，获取可转动云台的I轴旋转某一角度时的旋转矩阵，可转动云台的II轴旋转另一角度时的旋转矩阵，以激光雷达与可转动云台的I轴的外参矩阵、可转动云台的I轴与可转动云台的II轴的外参矩阵、以及可转动云台的II轴与可见光相机的外参矩阵为已知量，根据激光雷达与可见光相机的变换矩阵关系，通过非线性优化的方式获得激光雷达与可见光相机的实时位姿解算。

电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的方法。

存储介质，其上存储有计算机程序，该程序被处理器执行时，实现所述的方法。

本发明至少包括以下有益效果：

第一、本发明能够有效地解决红外相机内参的标定难题，进而仅利用对一块标靶采集到的图像，完成可见光相机和红外相机的外参标定，使得两种相机的标定互不干扰，且标定效率明显提高；

第二、本发明在空间限制较大的地方，标靶可以固定不动，单纯地控制可转动云台带动相机进行拍摄能达到良好的标定效果，操作简单，便利快捷；

第三、激光雷达与可转动云台的标定巧妙地借助于激光雷达与安装在可转动云台上的可见光相机的外参标定完成，通过变换可转动云台不同的观测角度实现标定。移动设备与可转动云台的存在将大幅度增加可见光相机与红外相机的测量范围。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明的一种技术方案的流程图；

图2为本发明激光雷达、可转动云台、可见光相机与红外相机的相对位置关系示意图；

图3为本发明的靶标的结构示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得；在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1-3所示，本发明提供一种移动式红外测温系统的自动标定方法，所述移动式红外测温系统包括：定焦的可见光相机、定焦的红外相机、可转动云台、激光雷达、移动设备，可转动云台可采用电动云台，更容易实现左右旋转以及上下旋转，移动设备可采用轮式、轨道式可移动式结构，可见光相机与红外相机通过可转动云台安装于带有激光雷达的移动设备，可见光相机与红外相机相对于所述可转动云台具有相同的转动效果以及部分的重叠视场，这意味着可转动云台的I轴和/或II轴转动带动可见光相机与红外相机同步转动，且能够拍摄同一靶标，所述自动标定方法包括：标定可见光相机与红外相机的相对位置、可转动云台在不同旋转角度下激光雷达与可见光相机的相对位置，得到激光雷达与红外相机的实时相对位置。

①标定可见光相机与红外相机的相对位置可以通过以下方式实现：

1.将黑白棋盘格模板图案制成金属材质，两种类型相机同时拍摄加热后的金属黑白棋盘格标靶，通过提取可见光图像中的角点和红外图像中的金属标靶四边边缘的交点，根据物点像点计算出的单映性矩阵，求解可见光相机和红外相机的相对位置；

2.针对红外光的光学特性，通过使用能够区分红外光高反射和低反射的特殊材质制成黑白棋盘格标靶，再通过恒温控制器，将整个标靶系统达到热平衡状态后，从红外图像和可见光图像中分别提取角点信息，进而在计算出各自的像点物点之间的单应性矩阵之后，求解可见光相机和红外相机的相对位置；

②可转动云台在不同旋转角度下激光雷达与可见光相机的相对位置可以通过以下方式实现：

1.在精度要求不高的情况下，云台与相机的相对位置可直接根据出厂参数得到，而雷达与云台之间的相对位置则可测量得到；

2.云台与相机的相对位置同样直接根据出厂参数得到，而雷达与云台的相对位置则通过标定固定角度的雷达与相机的相对位置反算得到；

③二者结合得到激光雷达与红外相机的实时相对位置：

在计算得到系统中可见光相机和红外相机之间的固定的相对位置、以及系统中激光雷达和云台上可见光相机的实时相对位置之后，以可见光相机于系统中所在位置作为桥接，即可得到激光雷达于红外相机的实时相对位置。

在上述技术方案中，能够有效地解决红外相机内参的标定难题，完成可见光相机和红外相机的外参标定，标定效率高。

在另一种技术方案中，标定可见光相机与红外相机的相对位置的具体实现方式为：可见光相机拍摄靶标，采用高精度棋盘格标定板即可，获得图像，计算可见光相机的内参矩阵以及畸变系数，张正友标定法对于可见光相机的标定较为成熟，且对于可见光相机来说，高精度棋盘格标定板靶标的角点信息较为易得，黑白格内部如何并不影响最终的标定结果，红外相机拍摄靶标，获得图像，计算红外相机的内参矩阵以及畸变系数，红外相机的标定方法往往需要借助标定靶板，现有红外标定靶标主要为以下4种形式：自加热靶标、透射外部红外热源靶标、红外发光二极管靶标和红外辐射涂层靶标，本技术方案选用透射外部红外热源靶标，在靶标远离红外相机一侧放置面积较大的红外热源，热源所释放的红外辐射透过金属板上的孔洞透射到红外相机上，可见光相机与红外相机拍摄靶标，可以将高精度棋盘格标定板靶标与透射外部红外热源靶标设置为同一尺寸规格并对通孔的圆心与各棋盘格的角点进行定位，即，在保证两种标靶的相对位置已知且不变的情况下，进而保证了在计算过程中各特征点的物点坐标可相互转换，变换位姿，拍摄不同视角的完整靶标，对两个靶标进行校正，获得不同位姿的多对图像，结合可见光相机、红外相机的内参矩阵以及畸变系数，计算可见光相机与红外相机的外参矩阵。

其具体实现方法中的关键环节可概括为以下步骤：

1.按照传统的相机内参标定方法，利用两种相机拍摄到的内参标定图像中相应的标定板特征点，通过OpenCV中的calibrateCamera函数，计算出两种相机各自的内参数据；

2.两种相机之间代求的相对位置保持不变，同时拍摄不同位姿的多对图像，通过EPNP算法求解各相机图像中特征点所对应相机坐标系下的物点坐标，以及相应的单应性矩阵，并严格按照对应顺序，整理成各相机坐标系下的特征点物点坐标集合；

针对上一步中求出的各相机对应的特征点物点坐标集合，通过OpenCV中的estimateAffine3D的函数，求解两相机坐标系的位姿关系，即求解出可见光相机与红外相机的外参矩阵。

在上述技术方案中，在空间限制较大的地方，两个靶标可以固定不动，单纯地控制相机进行拍摄能达到良好的标定效果，操作简单，便利快捷，能够较好的标定可见光相机与红外相机的相对位置。

在另一种技术方案中，所述靶标包括等尺寸依次叠设的黑白棋盘格标定板、隔热层、恒温发热板，黑白棋盘格标定板选择至少2×2个棋盘格，优选为图3示出的7×8个棋盘格，所述靶标贯穿设有通孔，所述通孔的圆心与各棋盘格的中心重合，所述通孔的数量以及棋盘格角点数量需至少可确定唯一的空间平面，恒温发热板不限制为红外热源，只要能够均匀加热被红外相机识别即可，改造的靶标呈现红外光结构化特征点，可用于可见光相机的内参标定、红外相机的内参标定、可见光相机和红外相机的外参标定；

拍摄靶标前，预热所述靶标，使红外相机能够识别特征点，可见光相机、红外相机位于朝向黑白棋盘格标定板的一侧，即远离恒温发热板的另一侧，对可见光相机拍摄靶标获得的图像进行角点检测并提取，对红外相机拍摄靶标获得的图像进行圆点检测并提取，可见光相机拍摄靶标获得的图像可利用OpenCV中的findChessboardCorners函数进行角点检测，红外相机拍摄靶标获得的图像可利用OpenCV中的findCirclesGrid函数进行圆点检测，构建平面单应矩阵，计算可见光相机与红外相机之间的外参矩阵；

在上述技术方案中，首先设计一种特制靶标，将透射外部红外热源靶标与棋盘格标定法相结合，测量内参时，可见光相机和红外相机可以各自拍摄靶标，分别获得一定数量的图像，利用OpenCV分别检测角点与圆点，分别计算可见光相机、红外相机的内参，包括焦距、驻点、畸变、相机自身参数等等，测算外参时，可见光相机与红外相机同时对标靶拍摄图像，变换靶标位姿，保证标靶完整，两种相机成像清晰，拍摄获得一定数量的成对图像，图像灰度化后进行角点检测与圆点检测，由于靶标中心设有通孔，在实际计算中，通过EPNP算法，求解出不同靶标位姿图像的特征点在相应相机坐标系下的物点坐标集合，利用这两个特征点物点坐标集合进行可见光相机与红外相机的外参矩阵计算。仅利用对一块标靶采集到的图像，完成了可见光相机和红外相机的外参标定，使得两种相机的标定互不干扰，且标定效率明显提高。

在另一种技术方案中，可转动云台在不同旋转角度下激光雷达与可见光相机的相对位置的具体实现方式为：先标定激光雷达与可转动云台的I轴的相对位置，再标定可转动云台的I轴与可转动云台的II轴的相对位置、以及可转动云台的II轴与可见光相机的相对位置，得到激光雷达与可见光相机的相对位置；

其中，可转动云台的I轴安装于所述移动设备，如图2所示，可转动云台的I轴为竖直轴、可转动云台的II轴为水平轴。

在上述技术方案中，由于可见光相机安装于可转动云台上，因此需要同时标定旋转轴，每个旋转轴的自由度为4个，可转动云台包括水平轴和竖直轴两个轴，共8个自由度，因此需要依次标定激光雷达与可转动云台的I轴、可转动云台的I轴与可转动云台的II轴、可转动云台的II轴与可见光相机的相对位置。可转动云台本身的运动学参数大都采用出厂参数，但由于制造误差和装配误差的影响，导致出厂参数与实际情况有一定偏差。可转动云台的本质是2轴的机械臂，而机械臂与相机的标定称为手眼标定，这是在机械臂参数已知的情况下进行标定的，而针对未知参数的情况，目前尚未有成熟的解决方案。本专利巧妙借用雷达与相机的标定，间接得到云台的运动学参数。

在另一种技术方案中，可转动云台的I轴的坐标系定义为：原点位于可转动云台的I轴与可见光相机光心旋转平面的交点，x轴指向可见光相机的光心，z轴与旋转正方向一致(第二角度相对第一角度的旋转方向)，y轴则通过右手法则得到。标定激光雷达与可转动云台的I轴的相对位置时，固定可转动云台的II轴，转动可转动云台的I轴至少2个角度，标定激光雷达与可见光相机的外参矩阵

标定可转动云台的I轴与可转动云台的II轴的相对位置以及可转动云台的II轴与可见光相机的相对位置时，固定可转动云台的I轴，同上，转动可转动云台的II轴至少2个角度，可转动云台的II轴的坐标系定义为：原点位于可转动云台的II轴与可见光相机光心旋转平面的交点，x轴指向可见光相机的光心，z轴与旋转正方向一致(第二角度相对第一角度的旋转方向)，y轴则通过右手法则得到。标定激光雷达与可见光相机的外参矩阵

以可转动云台的I轴与可转动云台的II轴的旋转角度为已知变量，获取可转动云台的I轴旋转某一角度α时的旋转矩阵R1(α)，可转动云台的II轴旋转另一角度β时的旋转矩阵R2(β)，以激光雷达与可转动云台的I轴的外参矩阵

以上所说的非线性优化方法，目标函数是标定外参的误差值，优化变量则是其中的10个自由度的未知量，最后可以通过误差大小来判定标定是否成功，误差平方根在百分之一以下为较理想的结果。而非线性优化算法有很多种，按照迭代方式的不同可以分为线搜索和信赖域，按照二阶近似方式的不同可以分为牛顿法、拟牛顿法等等。

在上述技术方案中，激光雷达与云台的标定巧妙地借助于激光雷达与安装在云台上的可见光相机的外参标定完成，通过变换云台不同的观测角度实现标定。移动式设备与云台的存在将大幅度增加可见光相机与红外测温系统的测量范围。

电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的方法。

存储介质，其上存储有计算机程序，该程序被处理器执行时，实现所述的方法。

在一个实例中：

所述移动式红外测温系统包括：定焦的可见光相机、定焦的红外相机、可转动云台、激光雷达、移动设备，可见光相机与红外相机通过可转动云台安装于带有激光雷达的移动设备，可见光相机与红外相机相对于所述可转动云台具有相同的转动效果以及部分的重叠视场；

S1：构建靶标：包括等尺寸依次叠设的黑白棋盘格标定板、隔热层、恒温发热板，所述靶标贯穿设有通孔，所述通孔的圆心与各棋盘格的中心重合，所述黑白棋盘格标定板包括7×8个棋盘格；

S2：可见光相机、红外相机均位于朝向黑白棋盘格标定板的一侧，分别拍摄靶标，拍摄靶标时，预热所述靶标，两种相机成像清晰，可见光相机拍摄靶标，获得图像，保证图像中靶标完整，对可见光相机拍摄的棋盘格图像灰度化后利用OpenCV中的findChessboardCorners函数进行角点检测，构建平面单应矩阵，计算可见光相机的内参矩阵以及畸变系数，红外相机拍摄靶标，获得图像，保证图像中靶标完整，对红外测温相机拍摄的红外光源图像灰度化后利用OpenCV中的findCirclesGrid函数进行圆点检测，构建平面单应矩阵，计算红外相机的内参矩阵以及畸变系数，

S3：可见光相机与红外相机拍摄靶标，变换位姿，对标靶拍摄多组图像，保证标靶完整，获得不同位姿的多对图像，结合可见光相机、红外相机的内参矩阵以及畸变系数，计算可见光相机与红外相机的外参矩阵，

S4：固定可转动云台的II轴，转动可转动云台的I轴至少2个角度，标定激光雷达与可见光相机的外参矩阵

S5：固定可转动云台的I轴，转动可转动云台的II轴至少2个角度，可转动云台的II轴的坐标系定义为：原点位于可转动云台的II轴与可见光相机光心旋转平面的交点，x轴指向可见光相机的光心，z轴与旋转正方向一致(第二角度相对第一角度的旋转方向)，y轴则通过右手法则得到。标定激光雷达与可见光相机的外参矩阵

S6：以可转动云台的I轴与可转动云台的II轴的旋转角度为已知变量，获取可转动云台的I轴旋转某一角度α时的旋转矩阵R1(α)，可转动云台的II轴旋转另一角度β时的旋转矩阵R2(β)，以激光雷达与可转动云台的I轴的外参矩阵

S7：如何基于S6直接得到激光雷达与红外相机的相对位置，根据公式

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。