一种虚拟图像自动标注的方法、装置及设备

技术领域

本申请涉及人工智能应用技术领域，特别是涉及一种虚拟图像自动标注的方法、装置及设备。

背景技术

在一些应用场景下，我们需要去确定图像标定板中角点所处的位置。例如，存在一个神经网络需要去训练，训练过程中，需要输入包含带有标注的图像以及标定板角点空间位置的训练样本，输出的是相机的内外参数，为了准确训练出一个神经网络，我们需要输入大量的训练样本，在现有技术中，通常是采用人工的方式去标注图像以得到训练样本，但是采用人工标注图像的效率比较低，从而导致生成训练样本的效率较低。

发明内容

本申请实施例的目的在于提供一种虚拟图像自动标注的方法、装置及设备，以实现提高虚拟图像标注的效率，在不用耗费人力物力的情况下生成大量的训练样本。具体技术方案如下：

第一方面，本申请实施例提供了一种虚拟图像自动标注方法，所述方法包括：

获取设置于虚拟场景中的虚拟相机的目标参数，所述虚拟场景中还设置有标定板；

根据所述目标参数，在未发生镜头畸变的情况下确定所述虚拟相机感应所述标定板发出的光线形成的虚拟图像；

根据第一坐标系与第二坐标系之间的第一坐标转换关系，对所述虚拟图像进行坐标转换，得到矫正图像；其中，所述第一坐标系为所述虚拟相机在未发生镜头畸变下的图像坐标系，所述第二坐标系为所述虚拟相机在发生镜头畸变下的图像坐标系；

根据所述标定板中各特征点在所述虚拟场景中所处的空间位置，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像；

基于所述目标图像以及所述标定板中各特征点在所述虚拟场景中所处的空间位置生成训练样本，以使得基于所述训练样本对原始相机标定模型进行训练。

在一种可能的实施例中，所述根据所述标定板中各特征点在所述虚拟场景中所处的空间位置，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像，包括：

根据所述标定板中各特征点在所述虚拟场景中所处的空间位置坐标、第二坐标转换关系以及所述第一坐标转换关系，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像；其中，所述第二坐标转换关系为空间坐标系和所述第一坐标系之间的坐标转换关系。

在一种可能的实施例中，所述方法还包括：

根据所述虚拟相机镜头的径向畸变以及畸变半径，确定第一坐标转换关系；

所述根据所述虚拟相机镜头的径向畸变以及畸变半径，确定第一坐标转换关系，包括：

按照以下公式，计算得到所述畸变点的横坐标以及纵坐标：

其中，x

在一种可能的实施例中，所述根据所述目标参数，在未发生镜头畸变的情况下确定所述虚拟相机感应所述标定板发出的光线形成的虚拟图像，包括：

根据所述目标参数，未发生镜头畸变的情况下，且为不同光源条件下确定所述虚拟相机感应所述标定板发出的光线形成的各个虚拟图像，其中所述不同光源条件包括强光源。

在一种可能的实施例中，所述根据所述目标参数，在未发生镜头畸变的情况下确定所述虚拟相机感应所述标定板发出的光线形成的虚拟图像，包括：

根据所述目标参数，未发生镜头畸变的情况下，且所述标定板处于不同状态时确定所述虚拟相机感应所述标定板发出的光线形成的各个虚拟图像，其中所述标定板的不同状态包括标定板褶皱、破损和污渍其中的一种。

在一种可能的实施例中，所述虚拟场景还设置有汽车模型，所述虚拟相机为设置于所述汽车模型上的鱼眼相机。

第二方面，本申请实施例提供了一种虚拟图像自动标注装置，所述装置包括：

相机参数获取模块，用于获取设置于虚拟场景中的虚拟相机的目标参数，所述虚拟场景中还设置有标定板；

虚拟图像确定模块，用于根据所述目标参数，在未发生镜头畸变的情况下确定所述虚拟相机感应所述标定板发出的光线形成的虚拟图像；

图像坐标转换模块，用于根据第一坐标系与第二坐标系之间的第一坐标转换关系，对所述虚拟图像进行坐标转换，得到矫正图像；其中，所述第一坐标系为所述虚拟相机在未发生镜头畸变下的图像坐标系，所述第二坐标系为所述虚拟相机在发生镜头畸变下的图像坐标系；

图像位置标注模块，用于根据所述标定板中各特征点在所述虚拟场景中所处的空间位置，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像；

标定模型训练模块，用于基于所述目标图像以及所述标定板中各特征点在所述虚拟场景中所处的空间位置生成训练样本，以使得基于所述训练样本对原始相机标定模型进行训练。

在一种可能的实施例中，所述图像位置标注模块，包括：

图像位置标注子模块，根据所述标定板中各特征点在所述虚拟场景中所处的空间位置坐标、第二坐标转换关系以及所述第一坐标转换关系，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像；其中，所述第二坐标转换关系为空间坐标系和所述第一坐标系之间的坐标转换关系；

在一种可能的实施例中，所述装置还包括：

转换关系确定模块，用于根据所述虚拟相机镜头的径向畸变以及畸变半径，确定第一坐标转换关系；

所述转换关系确定模块，包括：

转换关系确定子模块，用于按照以下公式，计算得到所述畸变点的横坐标以及纵坐标：

其中，x

在一种可能的实施例中，所述虚拟图像确定模块，包括：

虚拟图像确定第一子模块，用于根据所述目标参数，未发生镜头畸变的情况下，且为不同光源条件下确定所述虚拟相机感应所述标定板发出的光线形成的各个虚拟图像，其中所述不同光源条件包括强光源；

在一种可能的实施例中，所述虚拟图像确定模块，包括：

虚拟图像确定第二子模块，用于根据所述目标参数，未发生镜头畸变的情况下，且所述标定板处于不同状态时确定所述虚拟相机感应所述标定板发出的光线形成的各个虚拟图像，其中所述标定板的不同状态包括标定板褶皱、破损和污渍其中的一种；

在一种可能的实施例中，所述虚拟场景还设置有汽车模型，所述虚拟相机为设置于所述汽车模型上的鱼眼相机；

第三方面，提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现上述任一所述的一种虚拟图像自动标注方法。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的一种虚拟图像自动标注方法。

本申请实施例有益效果：

本申请实施例提供的一种虚拟图像自动标注的方法，通过获取设置于虚拟场景中的虚拟相机的目标参数，所述虚拟场景中还设置有标定板；根据所述目标参数，在未发生镜头畸变的情况下确定所述虚拟相机感应所述标定板发出的光线形成的虚拟图像；根据第一坐标系与第二坐标系之间的第一坐标转换关系，对所述虚拟图像进行坐标转换，得到矫正图像；其中，所述第一坐标系包括所述虚拟相机在未发生镜头畸变下的图像坐标系，所述第二坐标系包括所述虚拟相机在发生镜头畸变下的图像坐标系；根据所述标定板中各特征点在所述虚拟场景中所处的空间位置，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像；基于所述目标图像以及所述标定板中各特征点在所述虚拟场景中所处的空间位置生成训练样本，以使得基于所述训练样本对原始相机标定模型进行训练。应用本申请的方案，通过设置虚拟场景以及处在虚拟场景中的虚拟相机，虚拟场景还包括标定板，正因为虚拟场景是我们自己预先设置的，所以可以明确得到标定板中特征点在虚拟场景中所处的空间位置。在根据目标参数确定矫正图像的过程中，即光线追踪渲染的过程中，可以得到真实相机畸变效果的照片级标定板图像，也可以得到虚拟的空间位置和相机中图像坐标系的转换关系，所以可以根据特征点的空间位置坐标直接计算得到特征点在图像中坐标位置，即是将三维坐标转换为二维坐标，实现了对特征点的自动化标注。基于目标图像与标定板中各特征点在虚拟场景中所处的空间位置生成训练样本训练原始相机标定模型，即是将照片级图像以及标注信息共同应用于模型训练中，无需对采集到的图像进行人工标注处理，节省了人力标定成本，提高了虚拟图像标注的效率，在不用耗费人力物力的情况下生成了大量的训练样本，并且与人工标注图像以生成训练样本相比，能够减少由人工标注图像带来的误差，从而降低误标率，提高相机标定模型的准确度。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1a为本申请实施例提供的一种正确拼接的环视鸟瞰图的示意图；

图1b为本申请实施例提供的一种未正确拼接的环视鸟瞰图；

图2为本申请实施例提供的一种虚拟图像自动标注方法的流程图；

图3a为本申请实施例提供的一种汽车模型的示意图；

图3b为本申请实施例提供的一种相机参数的示意图；

图3c为本申请实施例提供的一种标定板模型的示意图；

图3d为本申请实施例提供的一种汽车模型放置的示意图；

图4a为本申请实施例提供的一种虚拟图像的第一种示意图；

图4b为本申请实施例提供的一种虚拟图像的第二种示意图；

图4c为本申请实施例提供的一种虚拟图像的第三种示意图；

图5a为本申请实施例提供的一种虚拟图像的第四种示意图；

图5b为本申请实施例提供的一种矫正图像的示意图；

图6a为本申请实施例提供的一种目标图像的第一种示意图；

图6b为本申请实施例提供的一种目标图像的第二种示意图；

图7为本申请实施例提供的一种虚拟图像自动标注方法步骤的示意图；

图8为本申请实施例提供的一种虚拟图像自动标注的装置的结构示意图；

图9为本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。

为更清楚的对本申请提供的虚拟图像自动标注的方法进行说明，下面将对本申请提供的虚拟图像自动标注的方法的一种可能的应用场景进行示例性说明，可以理解的是，以下示例仅是本申请提供的虚拟图像自动标注的方法的一种可能的应用场景，在其他可能的实施例中本申请提供的虚拟图像自动标注的方法也可以应用于其他可能的实施例中，以下示例对此不作任何限制。

具备自动驾驶或辅助驾驶功能的车辆为实现自动驾驶或辅助驾驶功能，需要准确识别车辆周围地面上的交通标识，如斑马线、转向箭头等。因此，可以在车辆的前、后、左、右后视镜中设置四个环视摄像头，在车辆行驶过程中，各个环视相机分别采集图像数据，基于各环视相机采集到的图像数据生成鸟瞰图，并根据各相机的内外参对生成的各鸟瞰图进行拼接，得到如图1a所示的环视鸟瞰图，图1a为本申请实施例提供的一种正确拼接的环视鸟瞰图的示意图。

但是，若无法准确确定各相机的内外参，则将导致无法准确地将各鸟瞰图拼接为环视鸟瞰图，各鸟瞰图拼接处可能存在一定的偏移，形成如图1b所示的环视鸟瞰图，图1b为本申请实施例提供的一种未正确拼接的环视鸟瞰图。由图1b可见，在拼接得到的环视鸟瞰图中斑马线存在断裂。导致车辆无法准确识别地面上的交通标识，进而难以甚至无法有效实现自动驾驶或辅助驾驶功能。

为了能够准确的确定各相机的内外参，在一种可能的方式中，我们使用一个训练好的神经网络，神经网络的输入是包含带有标注的图像以及标定板角点空间位置的训练样本，输出的结果是相机的内外参。为了训练一个上述的神经网络，需要使用大量的标注有相机真实内外参的训练样本，但是采用人工方式去标注角点效率比较低，从而导致生成训练样本的效率较低。

基于此，本申请提供了一种虚拟图像自动标注的方法，如图2所示，图2为本申请实施例提供的一种虚拟图像自动标注方法的流程图，包括：

S201，获取设置于虚拟场景中的虚拟相机的目标参数，虚拟场景中还设置有标定板。

S202，根据目标参数，在未发生镜头畸变的情况下确定虚拟相机感应标定板发出的光线形成的虚拟图像。

S203，根据第一坐标系与第二坐标系之间的第一坐标转换关系，对虚拟图像进行坐标转换，得到矫正图像；其中，第一坐标系为虚拟相机在未发生镜头畸变下的图像坐标系，第二坐标系为虚拟相机在发生镜头畸变下的图像坐标系。

S204，根据标定板中各特征点在虚拟场景中所处的空间位置，在矫正图像中标注标定板中各特征点所处的图像位置，得到目标图像。

S205，基于目标图像以及标定板中各特征点在虚拟场景中所处的空间位置生成训练样本，以使得基于训练样本对原始相机标定模型进行训练。

选用该实施例，通过设置虚拟场景以及处在虚拟场景中的虚拟相机，虚拟场景还包括标定板，正因为虚拟场景是我们自己预先设置的，所以可以明确得到标定板中特征点在虚拟场景中所处的空间位置。在根据目标参数确定矫正图像的过程中，即光线追踪渲染的过程中，可以得到真实相机畸变效果的照片级标定板图像，也可以得到虚拟的空间位置和相机中图像坐标系的转换关系，所以可以根据特征点的空间位置坐标直接计算得到特征点在图像中坐标位置，即是将三维坐标转换为二维坐标，实现了对特征点的自动化标注。基于目标图像与标定板中各特征点在虚拟场景中所处的空间位置生成训练样本训练原始相机标定模型，即是将照片级图像以及标注信息共同应用于模型训练中，无需对采集到的图像进行人工标注处理，节省了人力标定成本，提高了虚拟图像标注的效率，在不用耗费人力物力的情况下生成了大量的训练样本，并且与人工标注图像以生成训练样本相比，能够减少由人工标注图像带来的误差，从而降低误标率，提高相机标定模型的准确度。

下面将对前述S201-S205进行详细说明：

为了方便理解，下面先对本申请中出现的坐标系进行说明，本申请中将虚拟场景中的世界坐标系称之为空间坐标系，将虚拟相机在未发生镜头畸变下的图像坐标系称之为第一坐标系，将虚拟相机在发生镜头畸变下的图像坐标系称之为第二坐标系。

在S201中，在一种实施例中，虚拟场景中设置有汽车模型，虚拟相机为设置于汽车模型上的鱼眼相机，分别设置在汽车模型前、后、左、右后视镜中。汽车模型可以通过任意具备三维建模功能的软件进行建模得到虚拟，如图3a所示，图3a为本申请实施例提供的一种汽车模型的示意图。

虚拟相机的目标参数包括相机的内参和外参两种类型，如图3b所示，图3b为本申请提供的一种相机参数的示意图。相机的外参指的是相机在虚拟场景中所在的位置(x、y、z)与朝向(用欧拉角表示：俯仰角pitch、偏航角yaw、旋转角roll)。相机的内参指的是相机自身因镜头畸变、成像系统所引起的内部参数，包括了焦距(F

虚拟场景中还可以设置一些除汽车模型，虚拟相机以外的其他物体或者是对象，使得设置的虚拟场景更接近于真实场景。示例性的，以前述设置于汽车模型上的鱼眼相机为例，为了使鱼眼相机拍摄到的虚拟场景更接近于真实场景，还可以在虚拟场景中设置房间、地面、灯光、环境贴图、车道线、障碍物等。

虚拟场景中设置有标定板，标定板包括但不仅限于棋盘格，也可以是圆形网格。可以根据不同厂商、不同算法的要求，对不同样式的标定板进行三维建模，并放置在汽车模型周围，尺寸保持与真实一致，如图3c所示，图3c为本申请实施例提供的一种标定板模型的示意图。在图3c中，假设汽车模型的长为5400mm，宽为2500mm，在左半部分图中，图中实线框区域为放置汽车模型的区域。在右半部分图中，中间长为540cm，宽为240cm的空白区域为放置汽车模型的区域。

在完成汽车模型，标定板模型等虚拟场景的创建后，将汽车模型放置于标定板中间，如图3d所示，图3d为本申请提供的一种汽车模型放置的示意图。

通过上述虚拟场景投影重建技术，可以实现包括顶视图，前后角视图，前进或者倒车视图，左右侧视图，任意虚拟视点视图等多种虚拟视角的图像。

选用上述实施例，可以实现在虚拟场景中模拟真实的标注过程，从而节省了人力和物力，提高了标注的效率。

在S202中，上述确定标定板发出的光线即是模拟由标定板发出的光线，并不是真正由标定板发出光线，而是指模拟由标定板反射虚拟场景中光源发出的光。上述虚拟图像并不是由虚拟相机真实拍摄到的图像，而是通过计算模拟得到的虚拟相机理论上能够拍摄到的图像。

在一种可能的实施例中，可以是根据目标参数，确定标定板发出的光线在未发生镜头畸变的情况下，且为不同光源条件下入射至虚拟相机形成的各个虚拟图像，其中不同光源条件包括强光源。

在又一种可能的实施例中，还可以是根据目标参数，确定标定板发出的光线在未发生镜头畸变的情况下，且标定板处于不同状态时入射至虚拟相机形成的各个虚拟图像，其中标定板的不同状态包括标定板褶皱、破损和污渍其中的一种。

为了模拟真实场景中会发生的各种各样的情况，在根据虚拟相机的内外参确定虚拟图像的过程中，可以加入一些特殊的效果，从而获得标定板发出的光线在未发生镜头畸变的情况下，且在不同光源条件下和/或标定板处在不同状态时入射至虚拟相机形成的各个不同的虚拟图像。可以通过调节虚拟场景中灯光的参数，使得虚拟场景处在不同光源条件下。

在实际应用中，不同的光源条件可以包括强光源，在强光源条件下，可以使得到的虚拟图像达到过曝、光晕等效果，如图4a所示，图4a为本申请提供的一种虚拟图像的第一种示意图，图中为达到过曝、光晕效果后得到的虚拟图像的示意图。

标定板所处的不同状态是指对标定板反射光线产生影响的一些状态，例如标定板褶皱、破损和污渍，除此之外，还可以通过输入三维模型，任意的摆放障碍物，如图4b、图4c所示，图4b为本申请提供的一种虚拟图像的第二种示意图，图中为摆放障碍物后得到的虚拟图像的示意图。图4c为本申请实施例提供的一种虚拟图像的第三种示意图，图中为标定板存在褶皱时得到的虚拟图像的示意图。

还可以是在不同光源条件和标定板处于不同状态的情况下得到虚拟图像，示例性的，可以得到在强光源条件下，且标定板处于褶皱状态下的虚拟图像、也可以得到在强光源条件下，且标定板处于破损状态下的虚拟图像以及得到在强光源条件下，且标定板处于污渍状态下的虚拟图像。

选用上述实施例，在虚拟场景中添加多种不同的特殊效果与异常效果，使得最终渲染得到的虚拟图像能够包含真实场景中所能遇到的各种情况，即使得最终得到目标图像更丰富，使用丰富的目标图像来训练标定模型，就可以使得标定模型在训练的过程中学习到在各种应用场景下，如何去准确的标定相机的内外参，使得训练得到的模型适用性更强。

在S203中，可以理解的是，采用相机拍摄图像通常都会存在畸变，会使得实际物体原本笔直的线条，在相机拍摄的图像中出现明显的弯曲，如图5a所示，图5a为本申请实施例提供的一种虚拟图像的第四种示意图，图中为相机拍摄的标定板在发生畸变后的虚拟图像。鱼眼相机的畸变尤其严重，在前述自动驾驶的场景中，为了拍摄车辆周围的区域，所使用的相机大部分都是鱼眼相机，因此为了使拍摄到的图像更接近于真实图像，要对相机进行畸变矫正。

在一种可能的实施例中，可以根据虚拟相机镜头的径向畸变以及畸变半径，确定第一坐标转换关系。具体的，可以根据以下公式(1)，计算得到畸变点的横坐标与纵坐标：

其中，x

在实际应用中，相机底片上一个成像点在相机坐标系上的坐标值可以为[x

选用该实施例，通过对相机进行畸变矫正，得到真实镜头畸变的画面，使得得到的矫正图像更加接近真实的图像，即使得最终得到目标图像更加贴近于真实场景中的标注好角点信息的图像，使得训练得到的标定模型准确度更高。

在S104中，在一种可能的实施例中，目标图像可以是图像内容与矫正图像一致的图像，目标图像与矫正图像的区别仅在于目标图像是经过标注的图像。

在另一种可能的实施例中，上述目标图像也可以是在矫正图像经过标注之后，再经过一些处理之后得到的图像，比如可以对图像进行去噪声，此时目标图像与矫正图像的区别不仅在于目标图像是经过标注的图像，目标图像与矫正图像的内容也不相同。

在又一种可能的实施例中，根据标定板中各特征点在虚拟场景中所处的空间位置，在矫正图像中标注标定板中各特征点所处的图像位置，得到目标图像，包括：

根据标定板中各特征点在虚拟场景中所处的空间位置坐标、第二坐标转换关系以及第一坐标转换关系，在矫正图像中标注标定板中各特征点所处的图像位置，得到目标图像。其中，第二坐标转换关系为空间坐标系和第一坐标系之间的坐标转换关系。

在上述步骤中即是根据特征点的空间位置坐标以及第二坐标转换关系，得到特征点在第一坐标系中的坐标，其中，空间位置坐标为特征点在空间坐标系中的位置。然后再根据第一坐标转换关系对虚拟图像进行坐标转换，从而在矫正图像中标注了各特征点所处的图像位置，实现了自动标注，标注后的得到的目标图像如图6a所示，图6a为本申请实施例提供的一种目标图像的第一种示意图，图6a所示的示例中，特征点为角点，并且预先为每个角点设置有编号，图中的编号即为各角点的编号，且编号所处的位置即为该编号所标识的角点所处的位置。

将四个鱼眼相机所采集的图像进行拼接，得到完整的标定板角点图，如图6b所示，图6b为本申请提供的一种目标图像的第二种示意图，包括前视图、后视图、左视图以及右视图。

选用该实施例，可以将特征点的三维坐标转变为二维坐标，实现对特征点的自动化标注，与人工标注相比，方法更加简单易操作，减少了人力物力的耗费，提高了虚拟图像的标注效率。

在S205中，目标图像中标注有标定板中各特征点的图像位置，基于目标图像和标定板中各特征点在虚拟场景中所处的空间位置生成的训练样本，能够反映出标定板中各特征点的图像位置和各特征点所处的空间位置。因此，原始相机标定模型能够根据图像位置和空间位置确定出转换关系，进而根据转换关系预测出虚拟相机的内外参数，即预估参数。具体的，可以根据预估参数和目标参数之间的差异，构建一个损失函数，基于损失函数，调整模型参数以实现对原始相机标定模型的训练。

在一种可能的实施例中，训练样本中还可以包含除目标图像和标定板中各特征点在所述虚拟场景中所处的空间位置之外的其他数据。比如可以为反映出虚拟图像中标定板被遮挡情况的掩膜信息。

选用上述实施例，将目标图像以及标定板中各特征点在虚拟场景中所处的空间位置，输入到原始相机标定模型，无需对采集到的图像进行人工标注处理，节省了人力标定成本，提高了虚拟图像标注的效率，在不用耗费人力物力的情况下生成了大量的训练样本，与人工标注图像以生成训练样本相比，能够减少由人工标注图像带来的误差，从而降低误标率，并且，由于生成的目标图像较多，且种类比较全面真实，因此进一步的提高了训练得到的相机标定模型的准确度。

在上述方法中，需要获取虚拟场景中虚拟相机的目标参数，所以需要预先构建一个虚拟场景，设置虚拟相机的内外参，所以在此之前，需要对汽车/标定板/场景建模，设置相机内/外参，在完成虚拟场景建模之后，对虚拟场景进行光线追踪渲染，即相当于上述步骤S201、S202。在光线追踪渲染完成之后，需要确定虚拟图像中特征点所处的位置，可以视作在图像中标定特征点，即为自动化标定，相当于上述步骤S203、S204。所以本申请的方案也可简单概括为四个步骤，第一步：汽车/标定板/场景建模；第二步：设置相机内/外参；第三步：光线追踪渲染；第四步：目标自动化标定。如图7所示，图7是本申请实施例提供的一种虚拟图像自动标注方法步骤的示意图。

为了更清楚对本申请提供的虚拟图像自动标注方法进行说明，下面将结合具体的应用场景进行示例性说明，以前述自动驾驶场景环视相机为例：

假设我们有一辆汽车，我们需要去标定车辆中设置的环视相机。本申请可以预先构建了一个用于标定的模型，标定模型的输入为包含标定好角点信息的样本图像和角点的空间位置的训练样本，输出为环视相机的内外参。

为了得到大量的训练样本，并且不需要耗费人力物力，我们可以预先创建一个虚拟场景，虚拟场景中包括汽车模型、虚拟相机、标定板模型等。获取虚拟相机的目标参数，即虚拟相机内参外参的真值。然后根据虚拟相机的内外参数，对虚拟场景进行光线追踪渲染，先得到未产生畸变的虚拟图像。

在一种可能的实施例中，为了使训练得到的标定模型适用性更强，准确度更高，可以在光线追踪渲染的过程中，加入一些特殊效果或者异常效果。特殊效果可以是使灯光条件为强光源，使渲染得到的虚拟图像达到过曝、光晕等效果。异常效果可以是使标定板状态为褶皱、破损、污渍中的一种。

为了使得拼接得到的虚拟图像更接近于真实场景中通过相机拍摄得到的鸟瞰图，所以需要对虚拟图像进行畸变矫正，通过控制畸变函数，即通过上述公式(1)对图像进行畸变矫正，得到矫正图像。在得到矫正图像后，通过标定板中各个角点的空间位置坐标以及第二坐标转换关系，得到特征点在第一坐标系中的坐标，然后再根据第一坐标转换关系对虚拟图像进行坐标转换，即将三维坐标转换为二维坐标。从而在矫正图像中标注了各角点所处的图像位置，得到了目标图像，即样本图像，实现了自动标注，图6a为标注好角点信息的一部分目标图像。

将虚拟相机采集到的目标图像进行拼接就可以得到完整的标定板角点图，如图6b所示。将标定好角点的样本图像和角点的空间位置输入标定模型，对标定模型进行训练，从而训练得到一个适用性更强，准确度更高的相机标定模型。

在得到相机标定模型之后，在汽车所处场景内摆设标定板，并获取汽车的环视相机拍摄到的图像，在图像中标注标定板中角点所处的位置，得到经过标注的图像，将经过标注的图像和角点在场景中所处的空间位置输入至得到的目标相机标定模型，得到目标相机标定模型输出的内外参，该内外参即为车辆的环视相机的内外参，基于该内外参，可以准确地拼接该车辆各环视相机拍摄到的图像，得到如图1a所示的鸟瞰图。

对应于上述方法实施例，本申请实施例提供了一种虚拟图像自动标注的装置，如图8所示，图8为本申请实施例提供的一种虚拟图像自动标注的装置的结构示意图，该装置可以包括以下模块：

相机参数获取模块801，用于获取设置于虚拟场景中的虚拟相机的目标参数，所述虚拟场景中还设置有标定板；

虚拟图像确定模块802，用于根据所述目标参数，在未发生镜头畸变的情况下确定所述虚拟相机感应所述标定板发出的光线形成的虚拟图像；

图像坐标转换模块803，用于根据第一坐标系与第二坐标系之间的第一坐标转换关系，对所述虚拟图像进行坐标转换，得到矫正图像；其中，所述第一坐标系为所述虚拟相机在未发生镜头畸变下的图像坐标系，所述第二坐标系为所述虚拟相机在发生镜头畸变下的图像坐标系；

图像位置标注模块804，用于根据所述标定板中各特征点在所述虚拟场景中所处的空间位置，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像；

标定模型训练模块805，用于基于所述目标图像以及所述标定板中各特征点在所述虚拟场景中所处的空间位置生成训练样本，以使得基于所述训练样本对原始相机标定模型进行训练。

采用本申请的实施例，通过获取设置于虚拟场景中的虚拟相机的目标参数，所述虚拟场景中还设置有标定板；根据所述目标参数，在未发生镜头畸变的情况下确定所述虚拟相机感应所述标定板发出的光线形成的虚拟图像；根据第一坐标系与第二坐标系之间的第一坐标转换关系，对所述虚拟图像进行坐标转换，得到矫正图像；其中，所述第一坐标系包括所述虚拟相机在未发生镜头畸变下的图像坐标系，所述第二坐标系包括所述虚拟相机在发生镜头畸变下的图像坐标系；根据所述标定板中各特征点在所述虚拟场景中所处的空间位置，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像；基于所述目标图像以及所述标定板中各特征点在所述虚拟场景中所处的空间位置生成训练样本，以使得基于所述训练样本对原始相机标定模型进行训练。应用本申请的方案，通过设置虚拟场景以及处在虚拟场景中的虚拟相机，虚拟场景还包括标定板，正因为虚拟场景是我们自己预先设置的，所以可以明确得到标定板中特征点在虚拟场景中所处的空间位置。在根据目标参数确定矫正图像的过程中，即光线追踪渲染的过程中，可以得到真实相机畸变效果的照片级标定板图像，也可以得到虚拟的空间位置和相机中图像坐标系的转换关系，所以可以根据特征点的空间位置坐标直接计算得到特征点在图像中坐标位置，即是将三维坐标转换为二维坐标，实现了对特征点的自动化标注。基于目标图像与标定板中各特征点在虚拟场景中所处的空间位置生成训练样本训练原始相机标定模型，即是将照片级图像以及标注信息共同应用于模型训练中，无需对采集到的图像进行人工标注处理，节省了人力标定成本，提高了虚拟图像标注的效率，在不用耗费人力物力的情况下生成了大量的训练样本，并且与人工标注图像以生成训练样本相比，能够减少由人工标注图像带来的误差，从而降低误标率，提高相机标定模型的准确度。

在一种可能的实施例中，所述图像位置标注模块，包括：

图像位置标注子模块，根据所述标定板中各特征点在所述虚拟场景中所处的空间位置坐标、第二坐标转换关系以及所述第一坐标转换关系，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像；其中，所述第二坐标转换关系为空间坐标系和所述第一坐标系之间的坐标转换关系；

所述装置还包括：

转换关系确定模块，用于根据所述虚拟相机镜头的径向畸变以及畸变半径，确定第一坐标转换关系；

所述转换关系确定模块，包括：

转换关系确定子模块，用于按照以下公式，计算得到所述畸变点的横坐标以及纵坐标：

其中，x

所述虚拟图像确定模块，包括：

虚拟图像确定第一子模块，用于根据所述目标参数，未发生镜头畸变的情况下，且为不同光源条件下确定所述虚拟相机感应所述标定板发出的光线形成的各个虚拟图像，其中所述不同光源条件包括强光源；

所述虚拟图像确定模块，包括：

虚拟图像确定第二子模块，用于根据所述目标参数，未发生镜头畸变的情况下，且所述标定板处于不同状态时确定所述虚拟相机感应所述标定板发出的光线形成的各个虚拟图像，其中所述标定板的不同状态包括标定板褶皱、破损和污渍其中的一种；

所述虚拟场景还设置有汽车模型，所述虚拟相机为设置于所述汽车模型上的鱼眼相机。

对应于上述方法实施例，本申请实施例还提供了一种电子设备，如图9所示，包括存储器901和处理器902，其中，存储器901，用于存放计算机程序；处理器902，用于执行存储器上所存放的计算机程序时，实现实现如下步骤：

获取设置于虚拟场景中的虚拟相机的目标参数，所述虚拟场景中还设置有标定板；

根据所述目标参数，在未发生镜头畸变的情况下确定所述虚拟相机感应所述标定板发出的光线形成的虚拟图像；

根据第一坐标系与第二坐标系之间的第一坐标转换关系，对所述虚拟图像进行坐标转换，得到矫正图像；其中，所述第一坐标系为所述虚拟相机在未发生镜头畸变下的图像坐标系，所述第二坐标系为所述虚拟相机在发生镜头畸变下的图像坐标系；

根据所述标定板中各特征点在所述虚拟场景中所处的空间位置，在所述矫正图像中标注所述标定板中各特征点所处的图像位置，得到目标图像；

基于所述目标图像以及所述标定板中各特征点在所述虚拟场景中所处的空间位置生成训练样本，以使得基于所述训练样本对原始相机标定模型进行训练。

上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离上述处理器的存储装置。

上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理单元)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种虚拟图像自动标注的方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一种虚拟图像自动标注的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者如固态硬盘Solid StateDisk(SSD)等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。