图像数据目标检测倾斜框自动标注方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及一种图像数据目标检测倾斜框自动标注方法及系统。

背景技术

现有技术中监督学习需要大量的标注数据，可以完全由人工标注，也可以由机器自动标注，也可以人机混合。这三种模式分别称为人工标注，自动标注和半自动标注。例如在自动驾驶中感知系统对标注需求很大，尤其是障碍物感知。其自动标注主要可利用不同传感器之间的相互标注。障碍物感知有三大主流传感器：激光雷达(LiDAR)，相机(Camera)，毫米波雷达(Radar)。从自动标注的数据流向来看，一般是依靠激光雷达和毫米波雷达给相机标注，这种自动标注方法需要额外激光雷达或者毫米波雷达的配合才能完成。

基于深度学习的目标检测需要大量的标注数据对深度神经网络进行训练。原始数据可以通过利用相机或者摄像头采集或者从网上公开下载图像，但是原始数据是不能直接用来训练的。原始数据只有经过标注之后才能用来训练目标检测模型。数据标注是一件非常繁琐且耗时的工作，这也使得进行深度学习研究的成本异常高。

现有科研人员对数据自动化标注的研究主要采用如下思路：1、以一个初步模型对小批量待标注数据进行检测，这里的初步模型可以是自己用少批量数据集训练出来的，也可以用网上公布的；2、对检测出来的结果进行人为干预纠正；3、把纠正后的数据训练新的模型；4、用新模型对中等批量待测数据进行检测；5、重复执行1～4。通过1～5步骤的循环迭代，可以逐步求精。虽然可以极大减少工作量但是也需要人工参与，并且需要重复多次。先采取以上思路对小批量数据进行标注学习训练，然后以学习结果去标注剩下的数据集，最后进行人工纠正迭代求精。这种目标检测数据标注方法并不能完全脱离人工，仍是一种半自动化的数据标注方法，因此要想实现对目标检测数据进行准确的自动标注，首先需要能够自动生成准确的目标检测框，基于目标检测框再进一步实现对目标物类别的自动标注。

发明内容

为了克服现有技术的上述缺陷，本发明的目的在于提供一种图像数据目标检测倾斜框自动标注方法及系统，该方法及系统用于解决现有技术中需要人为干预，流程繁琐且耗时的问题。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

为了实现上述发明目的，本发明提出了一种图像数据目标检测倾斜框自动标注方法，其改进之处在于，包括下述步骤：

采集目标物图像，并获取目标物的长度、宽度和高度，以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息；

根据目标物的长度、宽度和高度，以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息，通过坐标变换获得目标物最小外接长方体各顶点的像素坐标；

根据目标物最小外接长方体各顶点的像素坐标，确定目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标；

根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的边长以及目标检测倾斜框的倾斜角度，并基于获取的目标检测倾斜框中心点的像素坐标、所述边长和所述倾斜角度生成目标检测倾斜框；

其中，所述目标检测倾斜框用于对图像中的目标物进行标注。

优选地，所述根据目标物的长度、宽度和高度，以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息，通过坐标变换获得目标物最小外接长方体各顶点的像素坐标，包括：

根据目标物中心点的世界坐标、目标物的姿态信息以及目标物的长度、宽度和高度，计算目标物最小外接长方体各顶点的世界坐标；

基于目标物最小外接长方体各顶点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物最小外接长方体各顶点的像素坐标。

优选地，所述根据目标物中心点的世界坐标、目标物的姿态信息以及目标物的长度、宽度和高度，计算目标物最小外接长方体各顶点的世界坐标，包括：

以目标物中心作为目标物坐标系的原点构建目标物坐标系，令目标物坐标系的x、y和z轴分别与目标物的长、宽和高所在方向相平行；

根据目标物的长度、宽度和高度计算在目标物坐标系下目标物最小外接长方体各顶点的坐标；

根据在目标物坐标系下目标物最小外接长方体各顶点的坐标、目标物的姿态信息和目标物中心点的世界坐标，通过目标物坐标系到世界坐标系的坐标变换，获得目标物最小外接长方体各顶点的世界坐标。

优选地，所述根据目标物的长度、宽度和高度计算在目标物坐标系下目标物最小外接长方体各顶点的坐标，包括：

通过下式计算最小外接长方体各顶点的坐标：

式中，

优选地，所述根据在目标物坐标系下目标物最小外接长方体各顶点的坐标、目标物的姿态信息和目标物中心点的世界坐标，通过目标物坐标系到世界坐标系的坐标变换，获得目标物最小外接长方体各顶点的世界坐标，包括：

通过下式计算在世界坐标系下目标物最小外接长方体各顶点的世界坐标：

式中，

优选地，所述基于目标物最小外接长方体各顶点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物最小外接长方体各顶点的像素坐标，包括：

基于目标物最小外接长方体各顶点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，依次通过世界坐标系到图像采集器坐标系、图像采集器坐标系到图像坐标系、图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物最小外接长方体各顶点的像素坐标。

优选地，所述图像采集器的姿态信息包括图像采集器的偏航角、俯仰角和滚转角。

优选地，所述根据目标物最小外接长方体各顶点的像素坐标，确定目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标，包括：

根据目标物最小外接长方体各顶点的像素坐标，采用凸包算法构建目标物最小外接长方体各顶点在像素坐标系下的凸包；

根据所述凸包计算目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标。

优选地，所述根据目标物最小外接长方体各顶点的像素坐标，采用凸包算法构建目标物最小外接长方体各顶点在像素坐标系下的凸包，包括：

选取目标物最小外接长方体各顶点的像素坐标在像素坐标系横轴或者纵轴方向的最小或者最大值作为初始顶点；

将初始顶点与剩余各顶点分别进行连线得到对应线段，选择满足约束条件的一条线段，将该线段上除初始点以外的另一顶点作为初始点并重复此步骤，直至将所选取顶点逐个连接后形成能够包围最小外接长方体所有顶点的多边形时，所述多边形则作为目标物最小外接长方体各顶点在像素坐标系下的凸包。

优选地，所述约束条件包括：除被选择线段以外的其他线段均位于被选择线段的同一侧。

优选地，所述根据所述凸包计算目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标，包括：

根据凸包的每条边分别构建相应矩形；

比较所有矩形的面积，选择矩形面积最小的矩形作为目标物最小外接长方体各顶点在像素坐标系下的最小矩形包围框，将面积最小的矩形各顶点的像素坐标作为最小矩形包围框各参考顶点的像素坐标。

优选地，所述根据凸包的每条边分别构建相应矩形，包括：

作通过凸包的一条边两个顶点的第一条直线；

将除第一条直线上两个顶点外的其余顶点分别向第一条直线投影，沿投影距离最远的两个顶点分别作垂直于第一条直线的第二条直线和第三条直线；

寻找凸包中距离第一条直线最远的顶点，过该顶点作平行于第一条直线的第四条直线；

以第一至第四条直线相交的四点作为矩形的顶点，并得到凸包该条边所对应的矩形。

优选地，所述根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的边长，包括：

以所述最小矩形包围框任意一顶点的像素坐标为基准点；

在其余三个参考顶点中选取与基准点的直线距离较短的两个参考顶点，将基准点与两个参考顶点之间的直线距离作为最小矩形包围框中相交于基准点的两条边长；

若最小矩形包围框中相交于基准点的两条边长不等，则将两条中最短边长作为目标检测倾斜框的宽度，将最长边长作为目标检测倾斜框的长度；

若最小矩形包围框中相交于基准点的两条边长相等，则将任一边长作为目标检测倾斜框每条边的边长。

优选地，所述目标检测倾斜框的倾斜角度的计算方法，包括：

若最小矩形包围框中相交于基准点的两条边长不等，则根据两条中最长边长向像素坐标系纵轴和横轴的投影长度，计算目标检测倾斜框与像素坐标系横轴间的倾斜角度；

若最小矩形包围框中相交于基准点的两条边长相等，则根据两条中任一边长向像素坐标系纵轴和横轴的投影长度，计算目标检测倾斜框与像素坐标系横轴间的倾斜角度。

优选地，所述目标检测倾斜框中心点的像素坐标的获取方法，包括：

根据最小矩形包围框各参考顶点的像素坐标平均值，获得目标检测倾斜框中心点的像素坐标。

优选地，所述目标检测倾斜框中心点的像素坐标的获取方法，包括：

基于目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，依次通过世界坐标系到图像采集器坐标系、图像采集器坐标系到图像坐标系、图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物中心点的像素坐标；

将目标物中心点的像素坐标作为目标检测倾斜框中心点的像素坐标。

第二方面，本发明实施例还提出一种图像数据目标检测倾斜框自动标注系统，其改进之处在于，包括如下部件：

图像采集器，用于采集目标物图像；

传感器，用于获取目标物的长度、宽度和高度，以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息；

第一计算器，用于根据目标物的长度、宽度和高度，以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息，通过坐标变换获得目标物最小外接长方体各顶点的像素坐标；

第二计算器，用于根据目标物最小外接长方体各顶点的像素坐标，确定目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标；

生成器，用于根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的边长以及目标检测倾斜框的倾斜角度，并基于获取的目标检测倾斜框中心点的像素坐标、所述边长和所述倾斜角度生成目标检测倾斜框；

其中，所述目标检测倾斜框用于对图像中的目标物进行标注。

第三方面，本发明实施例还提出一种图像数据目标检测倾斜框自动标注方法，其改进之处在于，包括如下步骤：

采用如上任一方法生成图像中目标检测倾斜框；

获取图像中目标物类别，并根据目标物类别为图像中目标检测倾斜框中心点的像素坐标、目标检测倾斜框的边长和倾斜角度添加类别标签，以获得图像中目标物的最终标注数据。

第四方面，本发明实施例还提出一种图像数据目标检测倾斜框自动标注系统，其改进之处在于，包括如下部件：

生成装置，用于通过执行如上任一方法生成图像中目标检测倾斜框；

标注装置，用于获取图像中目标物类别，并根据目标物类别为图像中目标检测倾斜框中心点的像素坐标、目标检测倾斜框的边长和倾斜角度添加类别标签，以获得图像中目标物的最终标注数据。

与最接近的现有技术相比，本发明提供的技术方案具有以下有益效果：

本发明提供的一种图像数据目标检测倾斜框自动标注方法及系统中，通过目标物和图像采集器的相关信息，采用坐标变换获得目标物最小外接长方体各顶点的像素坐标；根据目标物最小外接长方体各顶点的像素坐标，确定目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标；根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的边长以及目标检测倾斜框的倾斜角度，并基于获取的目标检测倾斜框中心点的像素坐标、所述边长和所述倾斜角度生成目标检测倾斜框。该方法及系统能够在无需人为干预的前提下，真正实现了带有倾斜角度的目标检测倾斜框的自动化生成；还可以简化操作流程，保证标注的准确性。

本发明提供的一种图像数据目标检测倾斜框自动标注方法及系统中，利用凸包算法计算目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标，原理简单，易于实现。

本发明提供的一种图像数据目标检测倾斜框自动标注方法及系统中，除了采集带有目标物的图像外，仅仅需要获取图像中目标物的长宽高、以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息，无需配置复杂的激光雷达和毫米波雷达，简化了前期配置工作、节约成本。

本发明提供的一种图像数据目标检测倾斜框自动标注方法及系统中，先通过上述生成方法自动生成图像中目标检测倾斜框；再根据目标物类别为图像中目标检测倾斜框中心点的像素坐标、目标检测倾斜框的边长和倾斜角度添加类别标签，以获得图像中目标物的最终标注数据。该方法及系统真正实现了目标检测数据的的自动化标注，无需人为干预。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实施例中图像数据目标检测倾斜框自动标注方法的流程示意图；

图2是本发明实施例中在图像中生成的目标检测倾斜框示意图；

图3是本发明实施例中世界坐标系到相机坐标系的坐标转换示意图；

图4是本发明实施例中相机坐标系到图像坐标系的坐标转换示意图；

图5是本发明实施例中图像坐标系到像素坐标系的坐标转换示意图；

图6是本发明实施例中另一图像数据目标检测倾斜框自动标注方法的流程示意图。

具体实施方式

下面结合附图，对本发明实施例提供的目标检测倾斜框的生成方法、图像数据自动标注方法及系统分别进行详细说明。

实施例一

本发明实施例一提供的图像数据目标检测倾斜框自动标注方法(即目标检测倾斜框的生成方法)，如图1所示，具体包括如下步骤：

S11、采集目标物图像，并获取目标物的长度、宽度和高度，以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息；

S12、根据目标物的长度、宽度和高度，以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息，通过坐标变换获得目标物最小外接长方体各顶点的像素坐标；

S13、根据目标物最小外接长方体各顶点的像素坐标，确定目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标；

S14、根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的边长以及目标检测倾斜框的倾斜角度，并基于获取的目标检测倾斜框中心点的像素坐标、所述边长和所述倾斜角度生成目标检测倾斜框；

其中，所述目标检测倾斜框用于对图像中的目标物进行标注。

本实施例中的图像采集器可以选用本领域技术人员公知的图像采集器件，本实施例中以相机为例进行详细说明。

上述S11中的具体方案可以包括：

将相机朝向目标物的方向，使目标物出现在相机的画面中，采集含有目标物的图像数据；

在相机采集图像数据的同时，通过传感器采集目标物的长度l

本实施例中的世界坐标系可以采用三维直角坐标系，优选为北东地坐标系；

其中，目标物的姿态信息可以包括目标物的偏航角θ

上述S12中的具体方案可以包括：

S121、根据目标物中心点的世界坐标、目标物的姿态信息以及目标物的长度、宽度和高度，计算目标物最小外接长方体各顶点的世界坐标；

S122、基于目标物最小外接长方体各顶点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物最小外接长方体各顶点的像素坐标。

本发明实施例一的可选方案为，上述S121中，计算目标物最小外接长方体各顶点的世界坐标可以包括如下步骤：

S1211、以目标物中心作为目标物坐标系的原点构建目标物坐标系，令目标物坐标系的x、y和z轴分别与目标物的长、宽和高所在方向相平行；

S1212、根据目标物的长度、宽度和高度计算在目标物坐标系下目标物最小外接长方体各顶点的坐标；

S1213、根据在目标物坐标系下目标物最小外接长方体各顶点的坐标、目标物的姿态信息和目标物中心点的世界坐标，通过目标物坐标系到世界坐标系的坐标变换，获得在世界坐标系下目标物最小外接长方体各顶点的世界坐标。

本发明实施例一的可选方案为，上述S1212中，可以通过下式计算在目标物坐标系下目标物最小外接长方体各顶点的坐标：

式中，

本发明实施例一的可选方案为，上述S1213中，可以通过下式计算在世界坐标系下目标物最小外接长方体各顶点的世界坐标：

式中，

示例性的，上述S121中，根据目标物中心点的世界坐标P

目标物坐标系中，目标物中心为原点，八个顶点的目标物坐标系坐标分别为：

从世界坐标系到目标物坐标系坐标变换如下式：

其中R

绕Z轴旋转θ

绕Y轴旋转

绕X轴旋转ω

R

由式(1)-(6)可得目标物坐标系系到世界坐标系坐标变换如下式：

由此可得目标物最小外接长方体八个顶点的世界坐标为：

本发明实施例一的可选方案为，上述S122中获得目标物最小外接长方体各顶点的像素坐标，可以包括如下步骤：

基于目标物最小外接长方体各顶点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，依次通过世界坐标系到图像采集器坐标系(本实施例中即相机坐标系)、图像采集器坐标系到图像坐标系、图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物最小外接长方体各顶点的像素坐标。

本发明实施例一的可选方案为，上述S122中，还可以包括如下步骤：

S1221、基于目标物最小外接长方体各顶点的世界坐标、相机的世界坐标和相机的姿态信息，通过世界坐标系到相机坐标系的坐标变换，获得在相机坐标系下目标物最小外接长方体各顶点的坐标；

S1222、根据相机的内部参数，通过相机坐标系到图像坐标系的坐标变换，获得在图像坐标系下目标物最小外接长方体各顶点的坐标；

其中，相机的内部参数可以包括相机的焦距；

S1223、根据在图像坐标系下目标物最小外接长方体各顶点的坐标，通过图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物最小外接长方体各顶点的像素坐标。

本发明实施例一的可选方案为，上述S13中，可以包括如下步骤：

S131、根据目标物最小外接长方体各顶点的像素坐标，采用凸包算法构建目标物最小外接长方体各顶点在像素坐标系下的凸包；

S132、根据所述凸包计算目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标。

本发明实施例一的可选方案为，上述S131中，可以包括如下步骤：

S1311、选取目标物最小外接长方体各顶点的像素坐标在像素坐标系横轴或者纵轴方向的最小或者最大值作为初始顶点；

S1312、将初始顶点与剩余各顶点分别进行连线得到对应线段，选择满足约束条件的一条线段，将该线段上除初始点以外的另一顶点作为初始点并重复此步骤，直至将所选取顶点逐个连接后形成能够包围最小外接长方体所有顶点的多边形时，所述多边形则作为目标物最小外接长方体各顶点在像素坐标系下的凸包；

其中，约束条件包括：除被选择线段以外的其他线段均位于被选择线段的同一侧。

示例性的，上述S131中构建目标物最小外接长方体各顶点在像素坐标系下的凸包，还可以包括如下步骤：

S1311’、选取像素坐标系下8个顶点横轴或者纵轴方向的最小或者最大值作为初始点；

S1312’、将初始点与剩余的7个点连线得到7条线段，选择一条线段使得所有其他6个点均位于该条线段的左侧或者右侧，选择的线段上除初始点的另一个点即为第二个点；

S1313’、将第二点作为初始点与所有其余7个点连线得到7条线段，选择一条线段使得所有其他6个点均位于该条线段的左侧或者右侧(左右需要与第一个点保持一致)，选择的线段上除第二点之外的另外一个点即为第三个点；

S1314’、将第三点作为初始点重复以上步骤，直到选择的最后一个点为第一个点为止；

S1315’、选择的线段就构成了目标物最小外接长方体8个顶点在像素坐标系下凸包。

本发明实施例一的可选方案为，上述S132中，可以包括如下步骤：

S1321、根据凸包的每条边分别构建相应矩形；

S1322、比较所有矩形的面积，选择矩形面积最小的矩形作为目标物最小外接长方体各顶点在像素坐标系下的最小矩形包围框，将面积最小的矩形各顶点的像素坐标作为最小矩形包围框各参考顶点的像素坐标。

本发明实施例一的可选方案为，上述S1321中，可以包括如下步骤：

S13211、作通过凸包的一条边两个顶点的第一条直线；

S13212、将除第一条直线上两个顶点外的其余顶点分别向第一条直线投影，沿投影距离最远的两个顶点分别作垂直于第一条直线的第二条直线和第三条直线；

S13213、寻找凸包中距离第一条直线最远的顶点，过该顶点作平行于第一条直线的第四条直线；

S13214、以第一至第四条直线相交的四点作为矩形的顶点，并得到凸包该条边所对应的矩形。

示例性的，上述S132中，还可以先对凸包的每条边执行如下操作：

S13211’、作通过该条边两个端点的第一条直线；

S13212’、将所有点向该条直线投影，分别通过在直线的投影距离最远的两点作垂直于该条直线的第二条直线和第三条直线；

S13213’、寻找距离该条边最远的点，过该点作平行于当前边的第四条直线；

S13214’、以上述四条直线相交四点为顶点，得到凸包相应边对应的矩形。

再比较凸包每条边根据S13211’-S13214’得到的矩形的面积，选取其中面积最小者为该目标物最小外接长方体8个顶点在像素坐标系下的最小外接矩形包围框。

本发明实施例一的可选方案为，上述S14中根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的边长，可以包括如下步骤：

以所述最小矩形包围框任意一顶点的像素坐标为基准点；

在其余三个参考顶点中选取与基准点的直线距离较短的两个参考顶点，将基准点与两个参考顶点之间的直线距离作为最小矩形包围框中相交于基准点的两条边长；

若最小矩形包围框中相交于基准点的两条边长不等，则将两条中最短边长作为目标检测倾斜框的宽度，将最长边长作为目标检测倾斜框的长度，进而确定最小矩形包围框的四条边长；

若最小矩形包围框中相交于基准点的两条边长相等，则将任一边长作为目标检测倾斜框每条边的边长。

本发明实施例一的可选方案为，上述S14中根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的倾斜角度，可以包括如下步骤：

若最小矩形包围框中相交于基准点的两条边长不等，则根据两条中最长边长向像素坐标系纵轴和横轴的投影长度，计算目标检测倾斜框与像素坐标系横轴间的倾斜角度；

若最小矩形包围框中相交于基准点的两条边长相等，则根据两条中任一边长向像素坐标系纵轴和横轴的投影长度，计算目标检测倾斜框与像素坐标系横轴间的倾斜角度。

本发明实施例一的可选方案为，上述S14中基于获取的目标检测倾斜框中心点的像素坐标、所述边长和所述倾斜角度生成目标检测倾斜框，可以采用如下任一种方案：

第一种方案包括如下步骤：

S1411、根据最小矩形包围框各参考顶点的像素坐标平均值，获得目标检测倾斜框中心点的像素坐标；

S1412、基于目标检测倾斜框中心点的像素坐标、目标检测倾斜框的边长以及目标检测倾斜框与像素坐标系横轴间的倾斜角度生成目标检测倾斜框。

第二种方案包括如下步骤：

S1421、基于目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，将目标物中心点的像素坐标作为目标检测倾斜框中心点的像素坐标；

S1422、基于目标检测倾斜框中心点的像素坐标、目标检测倾斜框的边长以及目标检测倾斜框与像素坐标系横轴间的倾斜角度生成目标检测倾斜框。

本发明实施例一的可选方案为，上述S1421中，可以包括如下步骤：

基于目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，依次通过世界坐标系到图像采集器坐标系、图像采集器坐标系到图像坐标系、图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物中心点的像素坐标；

优选地，所述图像采集器的姿态信息包括图像采集器的偏航角、俯仰角和滚转角。

本发明实施例一的可选方案为，上述S1421中，还可以包括如下步骤：

S14211、基于目标物中心点的世界坐标、相机的世界坐标和相机的姿态信息，通过世界坐标系到相机坐标系的坐标变换，获得在相机坐标系下目标物中心点的坐标；

S14212、根据相机的内部参数，通过相机坐标系到图像坐标系的坐标变换，获得在图像坐标系下目标物中心点的坐标；

其中，相机的内部参数可以包括相机的焦距；

S14213、根据在图像坐标系下目标物中心点的坐标，通过图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物中心点的像素坐标。

示例性的，上述S13-S14中，根据S12得到最小外接长方体的8个顶点像素坐标计算这8个顶点最小外接矩形，如图2所示，A

通过A

令R

图像中目标物最小矩形包围框中心点的像素坐标R＝[u v]

基于同一发明构思，本发明实施例一提供的图像数据目标检测倾斜框自动标注系统(即目标检测倾斜框的生成系统)，该系统中各器件所解决问题的原理与前述方法相似，因此系统中各器件的功能、结构、参数可以参见前述方法的实施，重复之处不再赘述。下面对各个组成部分的功能进行分解说明：

图像采集器21，用于采集目标物图像；

传感器22，用于获取目标物的长度、宽度和高度，以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息；

第一计算器23，用于根据目标物的长度、宽度和高度，以及目标物中心点的世界坐标、目标物的姿态信息、图像采集器的世界坐标和图像采集器的姿态信息，通过坐标变换获得目标物最小外接长方体各顶点的像素坐标；

第二计算器24，用于根据目标物最小外接长方体各顶点的像素坐标，确定目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标；

生成器25，用于根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的边长以及目标检测倾斜框的倾斜角度，并基于获取的目标检测倾斜框中心点的像素坐标、所述边长和所述倾斜角度生成目标检测倾斜框；

其中，所述目标检测倾斜框用于对图像中的目标物进行标注。

优选地，第一计算器23可以包括如下部件：

第一世界坐标计算模块231，用于根据目标物中心点的世界坐标、目标物的姿态信息以及目标物的长度、宽度和高度，计算目标物最小外接长方体各顶点的世界坐标；

第一像素坐标计算模块232，用于基于目标物最小外接长方体各顶点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物最小外接长方体各顶点的像素坐标。

优先地，第一世界坐标计算模块231可以包括如下部件：

构建子模块2311，用于以目标物中心作为目标物坐标系的原点构建目标物坐标系，令目标物坐标系的x、y和z轴分别与目标物的长、宽和高所在方向相平行；

第一计算子模块2312，用于根据目标物的长度、宽度和高度计算在目标物坐标系下目标物最小外接长方体各顶点的坐标；

第二计算子模块2313，用于根据在目标物坐标系下目标物最小外接长方体各顶点的坐标、目标物的姿态信息和目标物中心点的世界坐标，通过目标物坐标系到世界坐标系的坐标变换，获得目标物最小外接长方体各顶点的世界坐标。

优选地，第一计算子模块2312，具体用于：

通过下式计算目标物坐标系下目标物最小外接长方体各顶点的坐标：

式中，

优选地，第二计算子模块2313，具体用于：

通过下式计算在世界坐标系下目标物最小外接长方体各顶点的世界坐标：

式中，

优先地，第一像素坐标计算模块232，具体用于：

基于目标物最小外接长方体各顶点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，依次通过世界坐标系到图像采集器坐标系、图像采集器坐标系到图像坐标系、图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物最小外接长方体各顶点的像素坐标。

优选地，第二计算器24可以包括如下部件：

构建模块241，用于根据目标物最小外接长方体各顶点的像素坐标，采用凸包算法构建目标物最小外接长方体各顶点在像素坐标系下的凸包；

第二像素坐标计算模块242，用于根据所述凸包计算目标物最小外接长方体各顶点在像素坐标系下最小矩形包围框各参考顶点的像素坐标。

优选地，构建模块241，具体用于：

选取目标物最小外接长方体各顶点的像素坐标在像素坐标系横轴或者纵轴方向的最小或者最大值作为初始顶点；

将初始顶点与剩余各顶点分别进行连线得到对应线段，选择满足约束条件的一条线段，将该线段上除初始点以外的另一顶点作为初始点并重复此步骤，直至将所选取顶点逐个连接后形成能够包围最小外接长方体所有顶点的多边形时，所述多边形则作为目标物最小外接长方体各顶点在像素坐标系下的凸包；

其中，约束条件可以包括：除被选择线段以外的其他线段均位于被选择线段的同一侧。

优选地，第二像素坐标计算模块242，具体用于：

根据凸包的每条边分别构建相应矩形；

比较所有矩形的面积，选择矩形面积最小的矩形作为目标物最小外接长方体各顶点在像素坐标系下的最小矩形包围框，将面积最小的矩形各顶点的像素坐标作为最小矩形包围框各参考顶点的像素坐标。

优选地，根据凸包的每条边分别构建相应矩形，包括：

作通过凸包的一条边两个顶点的第一条直线；

将除第一条直线上两个顶点外的其余顶点分别向第一条直线投影，沿投影距离最远的两个顶点分别作垂直于第一条直线的第二条直线和第三条直线；

寻找凸包中距离第一条直线最远的顶点，过该顶点作平行于第一条直线的第四条直线；

以第一至第四条直线相交的四点作为矩形的顶点，并得到凸包该条边所对应的矩形。

优选地，生成器25可以包括如下部件：

边长计算模块251，用于根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的边长；

倾斜角计算模块252，用于根据最小矩形包围框各参考顶点的像素坐标计算目标检测倾斜框的倾斜角度；

获取模块253，用于根据最小矩形包围框各参考顶点的像素坐标平均值，获得目标检测倾斜框中心点的像素坐标；和/或用于基于目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标检测倾斜框中心点的像素坐标；

倾斜框生成模块254，用于基于目标检测倾斜框中心点的像素坐标、目标检测倾斜框的边长和倾斜角度，生成目标检测倾斜框。

优选地，边长计算模块251，具体用于：

以所述最小矩形包围框任意一顶点的像素坐标为基准点；

在其余三个参考顶点中选取与基准点的直线距离较短的两个参考顶点，将基准点与两个参考顶点之间的直线距离作为最小矩形包围框中相交于基准点的两条边长；

若最小矩形包围框中相交于基准点的两条边长不等，则将两条中最短边长作为目标检测倾斜框的宽度，将最长边长作为目标检测倾斜框的长度；

若最小矩形包围框中相交于基准点的两条边长相等，则将任一边长作为目标检测倾斜框每条边的边长。

优选地，倾斜角计算模块252，具体用于：

若最小矩形包围框中相交于基准点的两条边长不等，则根据两条中最长边长向像素坐标系纵轴和横轴的投影长度，计算目标检测倾斜框与像素坐标系横轴间的倾斜角度；

若最小矩形包围框中相交于基准点的两条边长相等，则根据两条中任一边长向像素坐标系纵轴和横轴的投影长度，计算目标检测倾斜框与像素坐标系横轴间的倾斜角度。

优选地，获取模块253中用于基于目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标检测倾斜框中心点的像素坐标，具体可以包括：

基于目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，依次通过世界坐标系到图像采集器坐标系、图像采集器坐标系到图像坐标系、图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物中心点的像素坐标；

优选地，所述图像采集器的姿态信息包括图像采集器的偏航角、俯仰角和滚转角。

本发明实施例一的可选方案为，获取模块253中用于基于目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标检测倾斜框中心点的像素坐标，具体还可以包括：

基于目标物中心点的世界坐标、相机的世界坐标和相机的姿态信息，通过世界坐标系到相机坐标系的坐标变换，获得在相机坐标系下目标物中心点的坐标；

根据相机的内部参数，通过相机坐标系到图像坐标系的坐标变换，获得在图像坐标系下目标物中心点的坐标；

其中，相机的内部参数可以包括相机的焦距；

根据在图像坐标系下目标物中心点的坐标，通过图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物中心点的像素坐标。

本发明提供的一种目标检测倾斜框的生成方法及系统，能够在无需人为干预的前提下，真正实现了带有倾斜角度的目标检测倾斜框的自动化生成；还可以简化操作流程，保证标注的准确性；此外，无需配置复杂的激光雷达和毫米波雷达，简化了前期配置工作、节约成本。

本发明提供的一种目标检测倾斜框的生成方法及系统相对于现有矩形框而言，空对地拍摄的图像中旋转角度任意且目标的横纵比较大情况下，倾斜框与目标物贴合更好，定位更准。空对地拍摄的多目标小且密集的情况下，标注的倾斜框互相之间重叠显著减少，有利于利用本发明生成的倾斜框对目标检测算法进行训练。

实施例二

本发明实施例是对实施例一中S1421中基于目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，依次通过世界坐标系到图像采集器坐标系、图像采集器坐标系到图像坐标系、图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物中心点的像素坐标，进行如下详细说明：

S14211’、根据目标物中心点的世界坐标P

其中R为旋转矩阵，T为平移向量；

绕Z轴旋转θ，旋转矩阵

绕Y轴旋转

绕X轴旋转ω，旋转矩阵

R＝R

平移矩阵

综合(16)-(21)可得：

S14212’、从相机坐标系到图像坐标系，属于透视投影关系，从3D转换到2D此时P点已由上面经过世界坐标系转换成相机坐标系下表述P(x

根据相似三角形原理，并通过公式(23)得到在图像坐标系下目标物中心点的坐标：

式中，f为相机的焦距。

本发明实施例中根据相似三角形原理从相机坐标系到图像坐标系的坐标变换可具有如上比例关系：

S14213’、像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样，如图5所示，图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点叫principal point。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下：

式中，u

最终，结合S14211’至S14213’，可得：

由此可得目标物中心像素坐标A＝[u v]

同样的，基于目标物最小外接长方体各顶点的世界坐标、相机的世界坐标和相机的姿态信息，参考上述坐标转换过程，执行S1221-S1223可得目标物最小外接长方体八个顶点的像素坐标A

实施例三

本发明实施例三还提供了一种图像数据目标检测倾斜框自动标注方法，如图6所示，具体包括如下步骤：

S31、生成图像中目标检测倾斜框；

S32、获取图像中目标物类别，并根据目标物类别为图像中目标检测倾斜框添加类别标签，以获得图像中目标物的最终标注数据；

其中，S31中可以采用实施例一或二中任一方法生成图像中目标检测倾斜框。

基于同一发明构思，本发明实施例三还提出一种图像数据目标检测倾斜框自动标注系统，具体包括如下部件：

生成装置41，用于生成图像中目标检测倾斜框；

标注装置42，用于获取图像中目标物类别，并根据目标物类别为目标检测倾斜框添加类别标签，以获得图像中目标物的最终标注数据；

其中，生成装置41可以执行实施例一或二中任一方法生成图像中目标检测倾斜框。

上述S32和标注装置42中，可以根据目标物类别具体为图像中目标物目标检测倾斜框中心点的像素坐标、目标检测倾斜框的边长以及目标检测倾斜框与像素坐标系横轴间的倾斜角度添加类别标签。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。