基于图像边缘信息的红外相机自标定方法

技术领域

本发明涉及相机标定技术领域，尤其涉及一种基于图像边缘信息的红外相机自标定方法。

背景技术

在相机标定领域，当前相机标定主要有两类方法。第一类方法使用相机对结构已知的场景拍摄多幅图像，通过算法计算得到相机几何参数。另一类方法不需要特定场景，只需要相机以一定模式运动，并拍摄若干张图像，通过算法计算出相机几何参数，即自标定。

虽然相机的自标定方法操作方便，不需要额外的设备，但是现有的自标定方法的精度普遍较差。

发明内容

本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明提出一种基于图像边缘信息的红外相机自标定方法，以提高红外相机的标定精度。

本发明第一方面实施例提出了一种基于图像边缘信息的红外相机自标定方法，包括：

获取红外相机采集的多帧图像；

对所述多帧图像中的各帧图像进行预处理，以得到所述各帧图像的特征点和边缘信息；

对所述各帧图像的特征点进行匹配，得到匹配结果，以根据所述匹配结果对红外相机参数进行粗标定；

从所述多帧图像中得到关键帧图像；

将所述各帧图像的边缘信息分别与所述关键帧图像的匹配，得到所述红外相机的标定参数。

可选地，所述对所述多帧图像中的各帧图像进行预处理，以得到所述各帧图像的特征点和边缘信息，包括：

对所述多帧图像中的各帧图像进行图像预处理，得到经所述图像预处理后的所述各帧图像的图像边缘信息，其中，所述图像预处理包括：图像灰度化转换处理、去噪处理、锐化增强处理、提取轮廓处理；

依据图像边缘信息对所述各帧图像进行特征提取处理，以得到所述各帧图像的特征点。

可选地，所述对所述各帧图像的特征点进行匹配，包括：

采用随机抽样一致算法RANSAC对所述各帧图像的特征点进行匹配，以得到匹配结果。

可选地，所述从所述多帧图像中得到关键帧图像，包括：

将所述多帧图像中光心夹角最大的两帧图像作为第一关键帧图像和第二关键帧图像；

根据原点、第一关键帧图像和第二关键帧图像的光心构成一个平面，将所述多帧图像中距离所述平面最远的两帧图像作为第三关键帧图像和第四关键帧图像；

遍历剩余的所述多帧图像，将与第一关键帧图像、第二关键帧图像、第三关键帧图像和第四关键帧图像的光心角都大于视场角的一半的图像，确定为第五关键帧图像。

可选地，所述将所述各帧图像的边缘信息分别与所述关键帧图像的匹配，包括：

将所述各帧图像的边缘信息，按照预测的位置，搜索所述关键帧图像中最近的边缘点，作为匹配结果。

本发明第二方面实施例提出了一种基于图像边缘信息的红外相机自标定装置，其特征在于，包括：

第一获取模块，用于获取红外相机采集的多帧图像；

处理模块，用于对所述多帧图像中的各帧图像进行预处理，以得到所述各帧图像的特征点和边缘信息；

匹配模块，用于对所述各帧图像的特征点进行匹配，得到匹配结果，以根据所述匹配结果对红外相机参数进行粗标定；

第二获取模块，用于从所述多帧图像中得到关键帧图像；

标定模块，用于将所述各帧图像的边缘信息分别与所述关键帧图像的匹配，得到所述红外相机的标定参数。

本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现第一方面实施例所述的标定方法。

本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面实施例所述的标定方法。

本发明的基于图像边缘信息的红外相机自标定方法，与现有的技术方案相比，具有以下优点：

通过获取红外相机采集的多帧图像，对多帧图像中的各帧图像进行预处理，以得到各帧图像的特征点和边缘信息，对各帧图像的特征点进行匹配，得到匹配结果，以根据匹配结果对红外相机参数进行粗标定；从多帧图像中得到关键帧图像，将各帧图像的边缘信息分别与关键帧图像的匹配，得到红外相机的标定参数。由于红外图像中的边缘特征比特征点更加稳定可靠，图像中边缘点的数量远多于特征点的数量，从而提高了对红外相机的标定的精度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1为本发明实施例提供的一种基于图像边缘信息的红外相机自标定方法的流程示意图；

图2为本发明实施例提供的一种确定关键帧图像的示例图；

图3为本发明实施例提供的一种基于图像边缘信息的红外相机自标定装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

相关技术中，对红外相机的标定，与可见光一样，主要使用张正友提出的“基于平面模板的摄像机标定法”，该方法首先制造一个已知图像的二维标定板，然后在不同角度拍摄多幅图像，以根据图像中已知控制点的位置，恢复出相机的几何参数和外参数。

张正友提出的相机标定方法对可见光相机的标定精度很高，并且操作简便，仅使用一部打印机即可制作标定板。但是，普通打印机无法打印出不同红外辐射率的团，因此，红外标定板需要特别定制。然而，红外标定板不易制作、成本高、笨重、不便携带，给红外相机的标定带来了很大的麻烦。另外，考虑到红外相机由于对焦、开闭镜头盖以及运输中镜头等零件的震动，相机的参数在每次使用时可能发生变化，从而导致经常需要重新标定相机。

为了解决上述问题，本发明提出了一种基于图像边缘信息的红外相机自标定方法。

下面参考附图描述本申请实施例的基于图像边缘信息的红外相机自标定方法、装置以及存储介质。

图1为本发明实施例提供的一种基于图像边缘信息的红外相机自标定方法的流程示意图。

如图1所示，该标定方法包括以下步骤：

步骤101，获取红外相机采集的多帧图像。

本发明实施例的红外相机已经经过了粗标定，各参数的出值比较准确。

作为一种可能的实现方式，可以采用红外相机采集的两帧图像对红外相机进行粗标定。

可选地，获取到红外相机采集的第一图像和第二图像后，可以对第一图像和第二图像进行特征和边缘提取，以得到对应的特征点和边缘信息。进一步地，基于第一图像和第二图像的特征点对红外相机进行参数标定，以及基于第一图像和第二图像的边缘信息对红外相机进行参数标定。最终，根据不同的相机模型对得到的相机参数进行调整，以实现对红外相机的粗标定。

步骤102，对多帧图像中的各帧图像进行预处理，以得到各帧图像的特征点和边缘信息。

本发明实施例中，获取到红外相机采集的多帧图像后，首先对多帧图像中的各帧图像进行预处理，以得到各帧图像的特征点和边缘信息。

作为一种可能的情况，获取到红外相机采集的多帧图像后，可以对多帧图像中的各帧图像进行图像预处理，得到图像预处理后的各帧图像的图像边缘信息。

其中，图像预处理包括：图像灰度化转换处理、去噪处理、锐化增强处理、提取轮廓处理。

进一步地，可以依据图像边缘信息对各帧图像进行特征提取处理，以得到各帧图像的特征点。

步骤103，对各帧图像的特征点进行匹配，得到匹配结果，以根据匹配结果对红外相机参数进行粗标定。

本发明实施例中，可以采用随机抽样一致算法(Random Sample Consensus，简称RANSAC)对各帧图像的特征点进行匹配，以得到匹配结果。

其中，RANSAC算法是根据一组包含异常数据的样板数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

步骤104，从多帧图像中得到关键帧图像。

由于边缘匹配和优化的计算量很大，本发明并不对所有图像进行两两匹配，而是从红外相机采集的多帧图像中选出一些关键帧，将其他帧同关键帧进行匹配，从而降低计算量。为了尽量多保存观测信息，关键帧应当覆盖所有观测的全部区域。

作为一种可能的实现方式，首先将多帧图像中光心夹角最大的两帧图像作为第一关键帧图像和第二关键帧图像，根据原点、第一关键帧图像和第二关键帧图像的光心构成一个平面，将多帧图像中距离平面最远的两帧图像作为第三关键帧图像和第四关键帧图像；遍历剩余的多帧图像，将与第一关键帧图像、第二关键帧图像、第三关键帧图像和第四关键帧图像的光心角都大于视场角的一半的图像，确定为第五关键帧图像。之后的关键帧以此类推，以得到多帧关键帧图像。

作为一种示例，如图2所示，获取到红外相机采集的多帧图像后，可以首先选择光心夹角最大的两幅图像作为关键帧图像，即KF1和KF2。将原点、关键帧图像KF1和关键帧图像KF2的光心可以构成一个平面，在平面两侧各选一个距离平面最远的图像作为关键帧图像，即KF3和KF4。遍历其他帧图像，如果某帧与所有关键帧的光心夹角都大于FOV/2(视场角的一半)，则将该帧图像设为关键帧图像KF5。之后的关键帧图像以此类推，以得到所有的关键帧图像。

步骤105，将各帧图像的边缘信息分别与关键帧图像的匹配，得到红外相机的标定参数。

本发明实施例中，将各帧图像的边缘信息，按照预测的位置，搜索关键帧图像中最近的边缘点，作为匹配结果。由于图像中的边缘点数量远多于特征点的数量，基于边缘信息的标定能从图像中提取更多信息，因此它的精度更高。

作为一种可能的实现方式，可以采用KD(K-dimension)树搜索关键帧图像中最近的边缘点。其中，KD树是一种查询索引结构，广泛应用于数据库的索引中。

需要解释的是，在采用各帧图像的边缘信息分别与关键帧图像匹配时，具体的优化过程如下：

首先，多帧图像重合区域的视场角可能大于180，因此无法将所有点都投影到一个平面上再计算残差。由于标定中相机只存在纯旋转运动，所有点可以被映射到一个单位球上。这里使用三个参数描述一个二维的点，虽然有些浪费储存空间，但可以在统一的框架下描述所有图像中的点，而且更方便计算点与点间的距离。其次，由于用到了多帧图像，因此每帧图像都需要一个旋转矩阵描述其姿态(除了第一帧的姿态恒设为单位阵)。

因此，图像a中的第i个点

其中，

在对边缘进行优化时，每次优化后都用新的参数对边缘进行投影和匹配，经过多次迭代，即可获取参数的估计值。

由于相机标定问题的非线性性很强，在优化参数时，可能出现严重偏离真值的结果，即标定出现错误。这些错误的结果会严重影响结果的均值、标准差、RMSE等统计量。因此，本发明对标定后的红外相机进行测试时，可以使用一种鲁棒的精度评价方法：以参数中值(或者真值、参考值)为标准计算每个观测的误差，对误差排序，取排在第n％的误差作为参数估计的误差8。这个方法，可以在衡量参数精度的同时，尽量减小野值的影响。

作为一种可能的实现方式，可以采用如下方法对标定后的红外相机进行测试：(1)对场景拍摄多帧图像；2)使用全部拍摄的图像对相机进行标定，获得相机参数的参考值；3)在拍摄的图像中随机选择N帧幅用于标定；4)执行100次步骤3；5)统计各参数的标定结果并显示。

本发明实施例的基于图像边缘信息的红外相机自标定方法，通过获取红外相机采集的多帧图像，对多帧图像中的各帧图像进行预处理，以得到各帧图像的特征点和边缘信息，对各帧图像的特征点进行匹配，得到匹配结果，以根据匹配结果对红外相机参数进行粗标定；从多帧图像中得到关键帧图像，将各帧图像的边缘信息分别与关键帧图像的匹配，得到红外相机的标定参数。由于红外图像中的边缘特征比特征点更加稳定可靠，图像中边缘点的数量远多于特征点的数量，从而提高了对红外相机的标定的精度。

为了实现上述实施例，本发明提出了一种基于图像边缘信息的红外相机自标定装置。

图3为本发明实施例提供的一种基于图像边缘信息的红外相机自标定装置的结构示意图。

如图3所示，该自标定装置，可以包括：第一获取模块310、处理模块320、匹配模块330、第二获取模块340以及标定模块350。

其中，第一获取模块310，用于获取红外相机采集的多帧图像。

处理模块320，用于对多帧图像中的各帧图像进行预处理，以得到各帧图像的特征点和边缘信息。

匹配模块330，用于对各帧图像的特征点进行匹配，得到匹配结果，以根据匹配结果对红外相机参数进行粗标定。

第二获取模块340，用于从多帧图像中得到关键帧图像。

标定模块350，用于将各帧图像的边缘信息分别与关键帧图像的匹配，得到红外相机的标定参数。

可选地，处理模块320，还可以用于：对多帧图像中的各帧图像进行图像预处理，得到经图像预处理后的各帧图像的图像边缘信息，其中，图像预处理包括：图像灰度化转换处理、去噪处理、锐化增强处理、提取轮廓处理；依据图像边缘信息对各帧图像进行特征提取处理，以得到各帧图像的特征点。

可选地，匹配模块330，还可以用于：

采用随机抽样一致算法RANSAC对各帧图像的特征点进行匹配，以得到匹配结果。

可选地，第二获取模块340，还可以用于：

将多帧图像中光心夹角最大的两帧图像作为第一关键帧图像和第二关键帧图像；根据原点、第一关键帧图像和第二关键帧图像的光心构成一个平面，将多帧图像中距离平面最远的两帧图像作为第三关键帧图像和第四关键帧图像；遍历剩余的多帧图像，将与第一关键帧图像、第二关键帧图像、第三关键帧图像和第四关键帧图像的光心角都大于视场角的一半的图像，确定为第五关键帧图像。

可选地，标定模块350，还可以用于：

将各帧图像的边缘信息，按照预测的位置，搜索关键帧图像中最近的边缘点，作为匹配结果。

需要说明的是，前述对标定方法实施例的解释说明也适用于该实施例的标定装置，此处不再赘述。

本发明实施例的基于图像边缘信息的红外相机自标定装置，通过获取红外相机采集的多帧图像，对多帧图像中的各帧图像进行预处理，以得到各帧图像的特征点和边缘信息，对各帧图像的特征点进行匹配，得到匹配结果，以根据匹配结果对红外相机参数进行粗标定；从多帧图像中得到关键帧图像，将各帧图像的边缘信息分别与关键帧图像的匹配，得到红外相机的标定参数。由于红外图像中的边缘特征比特征点更加稳定可靠，图像中边缘点的数量远多于特征点的数量，从而提高了对红外相机的标定的精度。

为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述实施例中所述的标定方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例中所述的标定方法。

为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行上述实施例中所述的标定方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。