用于评估RGB-D摄像模组标定结果的评估方法、系统及电子设备

技术领域

本发明涉及3D成像领域，尤其涉及一种用于评估RGB-D摄像模组标定结果的评估方法、系统及电子设备。

背景技术

近年来，深度相机(例如，RGB-D深度相机)，在3D视觉技术领域有着广泛的应用。

RGB-D相机包括深度摄像模组和RGB摄像模组，该深度摄像模组用于获取目标场景的深度图像，并通过所述RGB摄像模组采集被测场景的彩色图像。常见的深度信息摄像模组包括基于TOF(Time of Flight，飞行时间法则)原理的深度摄像模组和基于三角测距原理的摄像模组，其中，基于三角测距原理的深度摄像模组包括基于散斑结构光的深度摄像模组和基于编码结构光的深度摄像模组以及主动双目和被动双目的深度摄像模组。

在将深度图像与彩色图像结合以获得RGB-D图像的过程中，由于深度图像和彩色图像不在同一坐标系下，因此，需要进行RGB-D深度相机的标定(目的是为了获得RGB-D深度相机的内参和外参)。也就是说，RGB-D图像的成像质量与RGB-D深度相机的标定精度有关。因此，对RGB-D深度相机的标定精度评估具有重要意义。

现有的评估方法一般是采用标准的CAD模型人为主观地评测该RGB-D相机的配准效果，以评价RGB-D深度相机的标定结果的优劣。这种评估方法需要的人力物力成本较高，效率低下，且易受人为因素的影响，难以定量分析，不适用于RGB-D深度相机的标定结果的验证。

因此，需要一种优化的用于评估RGB-D摄像模组标定结果的评估方法、系统及电子设备。

发明内容

本发明的一个主要优势在于提供一种用于评估RGB-D摄像模组标定结果的评估方法、系统及电子设备，其能够定量评估所述RGB-D摄像模块的标定结果，简化了标定验证流程，满足量产RGB-D摄像模组的标定的验证需求，成本低，效率高。

本发明的另一个优势在于提供一种用于评估RGB-D摄像模组标定结果的评估方法、系统及电子设备，其适用于不同摄像距离、不同型号或不同配置的RGB-D摄像模组，适用性高。

本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。

依本发明的一个方面，提供了一种用于评估RGB-D摄像模组标定结果的评估方法，包括：

获取被测标板的源图像、RGB图像和深度点云，其中，所述源图像用于确定所述被测标板的深度点云；

对所述源图像和所述RGB图像进行特征点检测并进行特征点匹配，以从所述源图像提取出与所述RGB图像的特征点相匹配的第一特征点和从所述RGB图像中提取出与所述源图像的特征点相匹配的第二特征点；

提取在所述深度点云中与所述第一特征点相对应的特征点点云；

基于所述RGB-D摄像模组的标定结果，将所述特征点点云投影至RGB相机坐标系，以获取对应的投影点；以及

基于所述投影点和所述第二特征点，确定所述RGB-D摄像模组的标定结果的误差。

在本申请一实施例中，所述源图像为由IR相机采集的IR图像；

其中，对所述源图像和所述RGB图像进行特征点检测并进行特征点匹配，以从所述源图像提取出与所述RGB图像的特征点相匹配的第一特征点和从所述RGB图像中提取出与所述源图像的特征点相匹配的第二特征点，包括：

对所述IR图像和所述RGB图像进行标志位检测，其中，所述标志位为预设于所述被测标板的特定标识；以及

基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的特征点，其中，所述IR图像中与所述RGB图像的特征点相匹配的特征点为所述第一特征点，所述RGB图像中与所述IR图像的特征点相匹配的特征点为所述第二特征点。

在本申请一实施例中，所述被测标板为包括以阵列方式排布的圆和所述特定标识的圆形网格；

其中，基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的特征点，包括：

基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的IR圆心和RGB圆心，其中，所述IR圆心为所述第一特征点，所述RGB圆心为所述第二特征点。

在本申请一实施例中，所述被测标板为包括以阵列方式排布的方格和特定标识的棋盘格；

其中，基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的特征点，包括：

基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的IR棋盘格角点和RGB棋盘格角点，其中，所述IR棋盘格角点为所述第一特征点，所述RGB棋盘格角点为所述第二特征点。

在本申请一实施例中，提取在所述深度点云中与所述第一特征点相对应的特征点点云，包括：

对以所述IR圆心对应的点云为圆心和具有预设半径的圆形点云区域进行平面拟合，以获得ROI点云平面；

对所述IR圆心进行去畸变；

确定以去畸变的所述IR圆心为起点和穿过所述RGB-D摄像模组的光心的射线；以及

获取所述射线和所述ROI点云平面的交点，其中，所述交点为所述深度点云中与所述IR圆点相对应的特征点点云。

在本申请一实施例中，提取在所述深度点云中与所述第一特征点相对应的特征点点云，包括：

对由所述IR棋盘格角点围成的方形区域进行平面拟合，以获取ROI点云平面；

对所述IR棋盘格角点进行去畸变；

确定以去畸变的所述IR棋盘格角点为起点和穿过所述RGB-D摄像模组的光心的射线；以及

获取所述射线和所述ROI点云平面的交点，其中，所述交点为所述深度点云中与所述IR棋盘格角点相对应的特征点点云。

在本申请一实施例中，所述源图像包括分别由两个单色相机采集的第一图像和第二图像；

其中，对所述源图像和所述RGB图像进行特征点检测并进行特征点匹配，以从所述源图像提取出与所述RGB图像的特征点相匹配的第一特征点和从所述RGB图像中提取出与所述源图像的特征点相匹配的第二特征点，包括：

基于所述单色相机之间的内外参数，对所述第一图像和所述第二图像进行立体校正；

对经过校正后的所述第一图像和所述第二图像以及所述RGB图像进行标志位检测，其中，所述标志位为预设于所述被测标板的所述特定标识；

基于所述标志位分别从经过校正后所述第一图像和所述第二图像以及所述RGB图像中提取出相互匹配的特征点，其中，所述第一图像和所述第二图像中相匹配的特征点为所述第一特征点，所述RGB图像中相匹配的特征点为第二特征点。

在本申请一实施例中，提取在所述深度点云中与所述第一特征点相对应的特征点点云，包括：

基于所述第一图像和所述第二图像中的所述第一特征点和所述单色相机之间的内外参数，确定所述第一特征点对应的深度点云为所述特征点点云。

在本申请一实施例中，基于所述投影点和所述第二特征点，确定所述RGB-D摄像模组的标定结果的误差，包括：

将所述投影点和所述第二特征点之间的偏移量的平均值和标准差，确定为所述RGB-D摄像模组的标定结果的误差。

根据本申请另一方面，还提供一种用于评估RGB-D摄像模组标定结果的评估系统，包括：

图像获取单元，用于获取被测标板的源图像、RGB图像和深度点云，其中，所述源图像用于确定所述被测标板的深度点云；

特征点提取单元，对所述源图像和所述RGB图像进行特征点检测并进行特征点匹配，以从所述源图像提取出与所述RGB图像的特征点相匹配的第一特征点和从所述RGB图像中提取出与所述源图像的特征点相匹配的第二特征点；

特征点点云提取单元，用于提取在所述深度点云中与所述第一特征点相对应的特征点点云；

投影单元，用于基于所述RGB-D摄像模组的标定结果，将所述特征点点云投影至RGB相机坐标系，以获取对应的投影点；以及

误差确定单元，用于基于所述投影点和所述第二特征点，确定所述RGB-D摄像模组的标定结果的误差。

根据本申请另一方面，还提供一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行所述的评估方法。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1图示了根据本申请较佳实施例的用于评估RGB-D摄像模组标定结果的评估方法的方法流程图。

图2图示了根据本申请较佳实施例的所述评估方法的第一具体示例的被测标板的平面示意图。

图3图示了根据本申请较佳实施例的所述评估方法的第一具体示例的获取第一特征点和第二特征点的方法流程图。

图4图示了根据本申请较佳实施例的所述评估方法的第一具体示例的提取特征点点云的方法流程图。

图5图示了根据本申请较佳实施例的所述评估方法的第二具体示例的被测标板的平面示意图。

图6图示了根据本申请较佳实施例的所述评估方法的第二具体示例的获取第一特征点和第二特征点的方法流程图。

图7图示了根据本申请较佳实施例的所述评估方法的第二具体示例的提取特征点点云的方法流程图。

图8图示了根据本申请较佳实施例的所述评估方法的第三具体示例的获取第一特征点和第二特征点的方法流程图。

图9图示了根据本申请较佳实施例的用于评估RGB-D摄像模组标定结果的评估系统的模块框图。

图10图示了根据本申请较佳实施例的用于评估RGB-D摄像模组标定结果的电子设备的结构框图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、向横向”、向上”、向下”、向前”、向后”、向左”、向右”、向竖直”、直水平”、平顶”、平底”、平内”、平外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

如图1示出了根据本申请较佳实施例的用于评估RGB-D摄像模组标定结果的评估方法的方法流程图。如图1所示，根据本申请该较佳实施例的所述评估方法，包括：

获取被测标板的源图像、RGB图像和深度点云，其中，所述源图像用于确定所述被测标板的深度点云；

对所述源图像和所述RGB图像进行特征点检测并进行特征点匹配，以从所述源图像提取出与所述RGB图像的特征点相匹配的第一特征点和从所述RGB图像中提取出与所述源图像的特征点相匹配的第二特征点；

提取在所述深度点云中与所述第一特征点相对应的特征点点云；

基于所述RGB-D摄像模组的标定结果，将所述特征点点云投影至RGB相机坐标系，以获取对应的投影点；以及

基于所述投影点和所述第二特征点，确定所述RGB-D摄像模组的标定结果的误差。

需要指出的是，所述RGB-D摄像模组包括深度摄像模块和RGB摄像模块，其中，所述深度摄像模块用于拍摄获得被测标板的源图像和深度点云，其中所述源图像用于确定所述被测标板的深度点云，其中，所述RGB摄像模块用于拍摄获得被测标板的RGB图像，如RGB摄像模组或RGB相机等。在本实施例中，所述RGB-D摄像模组中的D表示为所述深度摄像模块，其中，所述深度摄像模块可以为基于TOF技术的IR相机(或IR摄像模组、或红外相机/摄像模组等)或基于三角测距原理的IR相机和单色相机(如散斑结构光、双目深度相机或摄像模组)等，以用于采集所述被测标板的源图像和深度点云。所述IR相机包括但不限于TOF深度信息摄像模块、散斑结构光深度信息摄像模块以及编码结构光深度摄像模块等，在此不受限制。

在本实施例中，所述被测标板具有特定标识101，所述被测标板为平面标板，其中，所述RGB-D摄像模组的前端面与所述被测标板基本保持平行，所述深度摄像模块与所述RGB摄像模块的光心连接线与所述被测标板的所述特定标识101大致对准。进一步地，所述特定标识位于所述被测标板的中心位置，其中，所述光心连接线与所述被测标板的中心大致对准。更进一步地，所述RGB-D摄像模组与所述被测标板之间具有预设的测量距离，所述测量距离根据所述RGB-D摄像模组的有效拍摄距离被预设。更进一步地，所述测量距离可调整，也就是说，所述RGB-D摄像模组与所述被测标板之间的间距可以进行调整，以适用于不同摄像距离、不同型号或不同配置的RGB-D摄像模组，普适性高，如通过滑轨、步进电机等可移动装置移动所述RGB-D摄像模组或所述被测标板等，在此不受限制。

更进一步地，在所述RGB-D摄像模组采集数据的过程中，可通过一个或多个补光灯进行补光，举例地，所述补光灯可以被设置于所述被测标板的四周或所述RGB-D摄像模组的四周等。更进一步地，所述被测标板可以被贴在白色墙壁或白色背景板上，以确保所述RGB-D摄像模组的采集数据的质量。

需要指出的是，所述RGB-D摄像模组的所述深度摄像模块采集获取所述源图像和所述深度点云与所述RGB摄像模块采集获取所述RGB图像可以同时进行，即由所述深度摄像模块采集获得所述源图像和所述深度点云，和由所述RGB摄像模块采集获得所述RGB图像。或者，所述深度摄像模块采集获取所述源图像和所述深度点云与所述RGB摄像模块采集获取所述RGB图像也分别进行。例如，关闭所述补光灯，由所述深度摄像模块采集获得所述被测标板的深度点云。然后，打开所述补光灯，由所述深度摄像模块采集获得所述被测标板的源图像，和由所述RGB摄像模块采集获得所述RGB图像。

在本申请的第一具体示例中，在所述评估方法，其中，所述源图像为由IR相机采集的IR图像，所述深度摄像模块为IR相机或IR摄像模块，所述IR相机用于采集获得所述被测标板的IR图像(或红外图像)，即所述源图像为由所述IR相机采集的所述IR图像。举例地，所述第一具体示例中，所述IR相机包括TOF深度信息摄像模块(或TOF深度信息摄像模组或相机)，其通过投射器投射激光采集获得所述IR图像。

其中，对所述源图像和所述RGB图像进行特征点检测并进行特征点匹配，以从所述源图像提取出与所述RGB图像的特征点相匹配的第一特征点和从所述RGB图像中提取出与所述源图像的特征点相匹配的第二特征点，包括：

对所述IR图像和所述RGB图像进行标志位检测，其中，所述标志位为预设于所述被测标板的特定标识；以及

基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的特征点，其中，所述IR图像中与所述RGB图像的特征点相匹配的特征点为所述第一特征点，所述RGB图像中与所述IR图像的特征点相匹配的特征点为所述第二特征点。

在本申请的第一具体示例中，如图3所示，在所述评估方法，其中，所述被测标板为包括以阵列方式排布的圆和所述特定标识的圆形网格；

其中，基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的特征点，包括：

基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的IR圆心和RGB圆心，其中，所述IR圆心为所述第一特征点，所述RGB圆心为所述第二特征点。

在本申请的一实施例中，在所述评估方法中，如图2所示，进一步地，所述被测标板为包括以阵列方式排布的圆102和所述特定标识101的圆形网格。所述被测标板整体大小尺寸和网格中的圆101的大小尺寸、排布方式以及个数均可根据所述RGB-D摄像模组的待测量距离进行等比例的调整，在此不受限制。进一步地，所述特定标识101也可以为预设尺寸的圆，所述特定标识101优选地位于所述圆形网格的中心。

举例地，以所述标志位为起始点采用生长法分区域分别从所述IR图像和所述RGB图像中提取出相互匹配的IR圆心和RGB圆心。详细地，以所述标志位为起始点分区域(如按上下左右四个方向的分区域)在所述IR图像和所述RGB图像中查找所有的所述圆102的圆心，再按照检测出的行和列的所述圆102的圆心的个数进行对应位置的圆心匹配，从而获得相互匹配的所述IR圆心和所述RGB圆心。也就是说，对所述标志位进行圆心提取，再将所述标志位的圆心为中点作为坐标系的中心，以所述标志位的圆心的X方向偏差作为初始查找角度，按上下左右四个方向依次生长，获取亚像素精度的所述IR图像和所述RGB图像中的相互匹配的所述IR圆心和所述RGB圆心。

在本申请的第一具体示例中，如图4所示，在所述评估方法，其中，提取在所述深度点云中与所述第一特征点相对应的特征点点云，包括：

对以所述IR圆心对应的点云为圆心和具有预设半径的圆形点云区域进行平面拟合，以获得ROI点云平面；

对所述IR圆心进行去畸变；

确定以去畸变的所述IR圆心为起点和穿过所述RGB-D摄像模组的光心的射线；以及

获取所述射线和所述ROI点云平面的交点，其中，所述交点为所述深度点云中与所述IR圆点相对应的特征点点云。或者，所述特征点点云可以包括对应于所述特征点的点云信息和基于所述点云信息计算得出的所述特征点点云。

可以理解的是，通过预设具有预设半径的圆形点云区域的半径尺寸，使得所述ROI点云平面的区域尺寸可以被预设。

在所述第一具体示例中，具体地，在基于所述RGB-D摄像模组的标定结果，将所述特征点点云投影至RGB相机坐标系，以获取对应的投影点中，采用相机投影模型(如下公式1所示)将所述特征点点云投影至RGB相机坐标系，即将所述特征点点云投影至所述RGB图像坐标系，以获取对应的投影点坐标。

公式1

进一步地，在基于所述投影点和所述第二特征点，确定所述RGB-D摄像模组的标定结果的误差中，所述投影点与所述第二特征点之间的坐标偏差用于确定所述RGB-D摄像模组的标定结果的误差，从而实现定量评估所述RGB-D摄像模块的标定结果，简化了标定验证流程，满足量产RGB-D摄像模块的标定的验证需求，成本低，效率高。

更进一步地，将所述投影点和所述第二特征点之间的偏移量(坐标偏移量)的平均值和标准差，确定为所述RGB-D摄像模组的标定结果的误差，以用于评估所述RGB-D摄像模组的整体的标定结果的好坏、系统的配准误差以及图像不同区域间的稳定性等。

在本申请的第二具体示例中，所述深度摄像模块为IR相机或IR摄像模块，所述IR相机用于采集获得所述被测标板的IR图像(或红外图像)，即所述源图像为由所述IR相机采集的所述IR图像。举例地，所述第二具体示例中，所述IR相机包括散斑结构光深度信息摄像模块(或单目散斑结构光深度信息摄像模组或相机)，其通过投射器投射经特定光学系统处理的散斑结构光采集获得所述被测标板的所述IR图像。或者，所述IR相机包括编码结构光深度信息摄像模块(或编码结构光深度信息摄像模组或相机)，其通过投射器投射经特定光学系统处理的编码结构光采集获得所述被测标板的所述IR图像。

其中，在获取被测标板的源图像、RGB图像和深度点云，其中，所述源图像用于确定所述被测标板的深度点云中，由所述IR相机采集的所述IR图像和所述深度点云，其中所述IR图像用于确定所述深度点云，由所述RGB摄像模块采集的所述RGB图像。

对所述IR图像和所述RGB图像进行标志位检测，其中，所述标志位为预设于所述被测标板的所述特定标识，以及基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的特征点，其中，所述IR图像中与所述RGB图像的特征点相匹配的特征点为所述第一特征点，所述RGB图像中与所述IR图像的特征点相匹配的特征点为所述第二特征点。

在第二具体示例中，如图5所示，所述被测标板为包括以阵列方式排布的方格103和所述特定标识101的棋盘格。所述被测标板的整体大小尺寸和网格中的所述方格103的大小尺寸、排布方式以及个数均可根据所述RGB-D摄像模组的待测量距离进行等比例的调整，在此不受限制。进一步地，所述特定标识101可以为预设尺寸的圆，所述特定标识101优选地位于所述棋盘格的中心。熟知本领域的人员可知，所述被测标板也可以被实施为以非阵列方式排布的圆、方格、多边形或不规则图形的图形结构，在此不受限制。

更进一步地，如图6所示，对所述IR图像和所述RGB图像进行标志位检测，其中所述标志位为预设于所述被测标板的特定标识101，基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的IR棋盘格角点和RGB棋盘格角点，其中，所述IR棋盘格角点为所述第一特征点，所述RGB棋盘格角点为所述第二特征点。

举例地，以所述标志位为起始点采用生长法分区域分别从所述IR图像和所述RGB图像中提取出相互匹配的IR棋盘格角点和RGB棋盘格角点。详细地，以所述标志位为起始点分区域(如按上下左右四个方向的分区域)在所述IR图像和所述RGB图像中查找所有的所述方格103的角点，再按照检测出的行和列的所述方格103的角点的个数进行对应位置的角点匹配，从而获得相互匹配的所述IR棋盘格角点和所述RGB棋盘格角点。也就是说，对所述标志位进行圆心提取，再将所述标志位的圆心为中点作为坐标系的中心，以所述标志位的圆心的X方向偏差作为初始查找角度，按上下左右四个方向依次生长，获取亚像素精度的所述IR图像和所述RGB图像中的相互匹配的所述IR棋盘格角点和所述RGB棋盘格角点。

在所述评估方法，如图7所示，其中，提取在所述深度点云中与所述第一特征点相对应的特征点点云，包括：

对由所述IR棋盘格角点围成的方形区域进行平面拟合，以获取ROI点云平面；

对所述IR棋盘格角点进行去畸变；

确定以去畸变的所述IR棋盘格角点为起点和穿过所述RGB-D摄像模组的光心的射线；以及

获取所述射线和所述ROI点云平面的交点，其中，所述交点为所述深度点云中与所述IR棋盘格角点相对应的特征点点云。

值得一提的是，所述方法中，根据所述IR棋盘格角点返回至所述IR图像上对应所述方格103的左上、右上、左下以及右下四个位置对应的角点坐标，画出所述ROI四边形区域，然后提取所述ROI四边形区域内点云进行平面拟合，以获得所述ROI点云平面。

在基于所述RGB-D摄像模组的标定结果，将所述特征点点云投影至RGB相机坐标系，以获取对应的投影点中，具体地，采用相机投影模型(如所述公式1所示)将所述特征点点云投影至RGB相机坐标系，即将所述特征点点云投影至所述RGB图像坐标系，以获取对应的投影点坐标。基于所述投影点和所述第二特征点，确定所述RGB-D摄像模组的标定结果的误差，以供量化评估所述RGB-D摄像模组的标定结果。

在本申请的第三具体示例中，所述深度摄像模块为两个单色相机，如双目深度相机，所述源图像包括分别由两个所述单色相机采集的第一图像和第二图像。举例地，两个所述单色相机的前端面均与所述被测标板平行，并且所述单色相机和所述RGB相机的光心与所述被测标板的所述标识位大致对准。可选地，可以采用补光灯对所述单色相机进行补光，其中所述补光灯被放置于所述单色相机的四周，或所述补光灯被放置于所述被测标板的四周。

如图8所示，在所述评估方法中，在获取被测标板的源图像、RGB图像和深度点云中，其中，所述源图像为由两个所述单色相机采集的所述第一图像和所述第二图像，所述第一图像和所述第二图像用于确定所述被测标板的深度点云。也就是说，由两个所述单色相机采集的所述第一图像和所述第二图像，其中所述第一图像和所述第二图像用于确定所述深度点云，以及，由所述RGB摄像模块采集的所述RGB图像。

在所述方法中，对所述源图像和所述RGB图像进行特征点检测并进行特征点匹配，以从所述源图像提取出与所述RGB图像的特征点相匹配的第一特征点和从所述RGB图像中提取出与所述源图像的特征点相匹配的第二特征点。具体地，基于两个所述单色相机之间的内外参数，对所述第一图像和所述第二图像进行立体矫正，对经过矫正后的所述第一图像和所述第二图像以及所述RGB图像进行标志位检测，其中，所述标志位为预设于所述被测标板的所述特定标识，以及基于所述标志位分别从经过矫正后的所述第一图像和所述第二图像以及所述RGB图像中提取相互匹配的特征点，其中，所述第一图像和所述第二图像中相匹配的特征点为所述第一特征点，所述RGB图像中相匹配的特征点为所述第二特征点。

需要指出的是，所述方法中，对所述第一图像和所述第二图像进行畸变矫正和极线矫正，使得所述第一图像和所述第二图像的极线对齐，以获得经矫正后的所述第一图像和所述第二图像。

在第三具体示例中，所述被测标板为包括以阵列方式排布的圆102和所述特定标识101的圆形网格。所述被测标板整体大小尺寸和网格中的圆101的大小尺寸、排布方式以及个数均可根据所述RGB-D摄像模组的待测量距离进行等比例的调整，在此不受限制。进一步地，所述特定标识101也可以为预设尺寸的圆，所述特定标识101优选地位于所述圆形网格的中心。

更进一步地，基于所述标志位分别从经过矫正后的以及所述RGB图像中提取出相互匹配的第一圆心、第二圆心和RGB圆心，其中，所述第一图像和所述第二图像的公共区域内的相互匹配的所述第一圆心与所述第二圆心为所述第一特征点，所述RGB圆心为所述第二特征点。

举例地，以所述标志位为起始点采用生长法分区域分别从所述第一图像、所述第二图像和所述RGB图像中提取出相互匹配的第一圆心、第二圆心和RGB圆心。详细地，以所述标志位为起始点分区域(如按上下左右四个方向的分区域)在所述第一图像、第二图像和所述RGB图像中查找所有的所述圆102的圆心，再按照检测出的行和列的所述圆102的圆心的个数进行对应位置的圆心匹配，从而获得相互匹配的所述第一圆心、第二圆心和所述RGB圆心。也就是说，对所述标志位进行圆心提取，再将所述标志位的圆心为中点作为坐标系的中心，以所述标志位的圆心的X方向偏差作为初始查找角度，按上下左右四个方向依次生长，获取亚像素精度的所述第一图像、第二图像和所述RGB图像中的相互匹配的所述第一圆心、所述第二圆心和所述RGB圆心。

值得一提的是，由于所述第一图像和所述第二图像经矫正后，所述第一图像和所述第二图像中的公共区域内的相互匹配的所述第一圆心与所述第二圆心被定义为所述第一特征点。

在所述方法中，基于所述第一图像和所述第二图像中的所述第一特征点和所述单色相机之间的内外参数，确定所述第一特征点对应的深度点云为所述特征点点云。具体地，基于所述第一图像和所述第二图像中的所述第一特征点和所述单色相机之间的内外参数，利用双目三角测距原理将所第一特征点对应的视差转换为对应的深度点云。

可选地，所述被测标板为包括以阵列方式排布的方格103和所述特定标识101的棋盘格。所述被测标板的整体大小尺寸和网格中的所述方格103的大小尺寸、排布方式以及个数均可根据所述RGB-D摄像模组的待测量距离进行等比例的调整，在此不受限制。进一步地，所述特定标识101可以为预设尺寸的圆，所述特定标识101优选地位于所述棋盘格的中心。熟知本领域的人员可知，所述被测标板也可以被实施为以非阵列方式排布的圆、椭圆、方格、多边形或不规则图形的图形结构，在此不受限制。

更进一步地，所述方法中，基于所述标志位分别从所述第一图像、所述第二图像和所述RGB图像中提取出相互匹配的第一棋盘格角点、第二棋盘格角点和RGB棋盘格角点，其中，所述第一图像和所述第二图像中的公共区域内的相互匹配的所述第一棋盘格角点和所述第二棋盘格角点为所述第一特征点，所述RGB棋盘格角点为所述第二特征点。

举例地，以所述标志位为起始点采用生长法分区域分别从所述第一图像、所述第二图像和所述RGB图像中提取出相互匹配的第一棋盘格角点、第二棋盘格角点和RGB棋盘格角点。详细地，以所述标志位为起始点分区域(如按上下左右四个方向的分区域)在所述第一图像、所述第二图像和所述RGB图像中查找所有的所述方格103的角点，再按照检测出的行和列的所述方格103的角点的个数进行对应位置的角点匹配，从而获得相互匹配的所述第一棋盘格角点、所述第二棋盘格角点和所述RGB棋盘格角点。也就是说，对所述标志位进行圆心提取，再将所述标志位的圆心为中点作为坐标系的中心，以所述标志位的圆心的X方向偏差作为初始查找角度，按上下左右四个方向依次生长，获取亚像素精度的所述第一图像、所述第二图像和所述RGB图像中的相互匹配的所述第一棋盘格角点、所述第二棋盘格角点和所述RGB棋盘格角点。

值得一提的是，由于所述第一图像和所述第二图像经矫正后，所述第一图像和所述第二图像中的公共区域内的相互匹配的所述第一棋盘格角点与所述第二棋盘格角点被定义为所述第一特征点。

所述方法中，基于所述第一图像和所述第二图像中的所述第一特征点和所述单色相机之间的内外参数，确定所述第一特征点对应的深度点云为所述特征点点云。具体地，基于所述第一图像和所述第二图像中的所述第一特征点和所述单色相机之间的内外参数，利用双目三角测距原理将所第一特征点对应的视差转换为对应的深度点云。

所述方法中，基于所述RGB-D摄像模组的标定结果，将所述特征点点云投影至RGB相机坐标系，以获取对应的投影点。具体地，采用相机投影模型(如所述公式1所示)将所述特征点点云投影至RGB相机坐标系，即将所述特征点点云投影至所述RGB图像坐标系，以获取对应的投影点坐标。

所述方法中，基于所述投影点和所述第二特征点，确定所述RGB-D摄像模组的标定结果的误差，以供量化评估所述RGB-D摄像模组的标定结果。也就是说，所述投影点与所述第二特征点之间的坐标偏差用于确定所述RGB-D摄像模组的标定结果的误差，从而实现定量评估所述RGB-D摄像模块的标定结果，简化了标定验证流程，满足量产RGB-D摄像模块的标定的验证需求，成本低，效率高。

进一步地，所述方法中，将所述投影点和所述第二特征点之间的偏移量(坐标偏移量)的平均值和标准差，确定为所述RGB-D摄像模组的标定结果的误差，以用于评估所述RGB-D摄像模组的整体的标定结果的好坏、系统的配准误差以及图像不同区域间的稳定性等。

图9示出了根据本申请较佳实施例的用于RGB-D摄像模组标定结果的评估系统的框图示意图，如图9所示，根据本申请的该较佳实施例的所述评估系统，包括：图像获取单元10、特征点提取单元20、特征点点云提取单元30、投影单元40以及误差确定单元50，用于实现量化评估所述RGB-D摄像模组的标定结果。

所述图像获取单元10，用于获取被测标板的源图像、RGB图像和深度点云，其中，所述源图像用于确定所述被测标板的深度点云；

所述特征点提取单元20，对所述源图像和所述RGB图像进行特征点检测并进行特征点匹配，以从所述源图像提取出与所述RGB图像的特征点相匹配的第一特征点和从所述RGB图像中提取出与所述源图像的特征点相匹配的第二特征点；

所述特征点点云提取单元30，用于提取在所述深度点云中与所述第一特征点相对应的特征点点云；

所述投影单元40，用于基于所述RGB-D摄像模组的标定结果，将所述特征点点云投影至RGB相机坐标系，以获取对应的投影点；以及

所述误差确定单元50，用于基于所述投影点和所述第二特征点，确定所述RGB-D摄像模组的标定结果的误差。

在本申请的一具体示例中，所述源图像为由IR相机采集的IR图像。

其中，所述被测标板为包括以阵列方式排布的圆和所述特定标识的圆形网格。其中所述特征点提取单元20用于基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的IR圆心和RGB圆心，其中，所述IR圆心为所述第一特征点，所述RGB圆心为所述第二特征点。

其中，所述特征点点云提取单元30用于对以所述IR圆心对应的点云为圆心和具有预设半径的圆形点云区域进行平面拟合，以获得ROI点云平面；对所述IR圆心进行去畸变；确定以去畸变的所述IR圆心为起点和穿过所述RGB-D摄像模组的光心的射线；以及获取所述射线和所述ROI点云平面的交点，其中，所述交点为所述深度点云中与所述IR圆点相对应的特征点点云。

在本申请的一具体示例中，所述被测标板为包括以阵列方式排布的方格和特定标识的棋盘格；

其中，所述特征点提取单元20用于基于所述标志位分别从所述IR图像和所述RGB图像中提取出相互匹配的IR棋盘格角点和RGB棋盘格角点，其中，所述IR棋盘格角点为所述第一特征点，所述RGB棋盘格角点为所述第二特征点。

其中，所述特征点点云提取单元30用于对由所述IR棋盘格角点围成的方形区域进行平面拟合，以获取ROI点云平面；对所述IR棋盘格角点进行去畸变；确定以去畸变的所述IR棋盘格角点为起点和穿过所述RGB-D摄像模组的光心的射线；以及获取所述射线和所述ROI点云平面的交点，其中，所述交点为所述深度点云中与所述IR棋盘格角点相对应的特征点点云。

在本申请的一具体示例中，所述源图像包括分别由两个单色相机采集的第一图像和第二图像。

其中，所述特征点提取单元20包括用于基于所述单色相机之间的内外参数，对所述第一图像和所述第二图像进行立体校正；对经过校正后的所述第一图像和所述第二图像以及所述RGB图像进行标志位检测，其中，所述标志位为预设于所述被测标板的所述特定标识；基于所述标志位分别从经过校正后所述第一图像和所述第二图像以及所述RGB图像中提取出相互匹配的特征点，其中，所述第一图像和所述第二图像中相匹配的特征点为所述第一特征点，所述RGB图像中相匹配的特征点为第二特征点。

其中，所述特征点点云提取单元30用于基于所述第一图像和所述第二图像中的所述第一特征点和所述单色相机之间的内外参数，确定所述第一特征点对应的深度点云为所述特征点点云。

所述评估方法中，所述误差确定单元用于将所述投影点和所述第二特征点之间的偏移量的平均值和标准差，确定为所述RGB-D摄像模组的标定结果的误差。

如图10示出了本申请提供的一种电子设备，如图10所示，所述电子设备包括：

处理器201；以及

存储器202，在所述存储器202中存储有计算机程序指令，所述计算机程序指令在被所述处理器201运行时使得所述处理器201执行用于评估RGB-D摄像模组标定结果的所述评估方法。

所述处理器201可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

所述存储器202可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器201可以运行所述程序指令，以实现上文所述的本发明的各个实施例的方法以及/或者其他期望的功能。

在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置可以是例如用于采集图像数据或视频数据的摄像模组等等。

该输出装置可以向外部输出各种信息，包括分类结果等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图中仅示出了该电子设备中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。