一种标注准确率确定方法和装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种标注准确率确定方法和一种标注准确率确定装置。

背景技术

随着人工智能的发展，人工智能模型被应用于越来越多的业务场景。如，自动驾驶、轨迹跟踪、人脸识别等业务场景。

人工智能模型可以使用人工标注的图片来进行模型训练，例如，在自动驾驶的业务场景，可以使用人工标注车位线的图片来训练用于识别车位线的人工智能模型。模型识别的准确率很大程度上依赖于图片标注的准确率，但是现有技术中缺乏能检测图片准确率的方法。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种标注准确率确定方法和相应的一种标注准确率确定装置。

本发明实施例公开了一种标注准确率确定方法，包括：

获取针对预设图片的标注数据和质检数据；所述标注数据和所述质检数据包括用于标注被标注对象的标注元素数据；

在所述标注数据和所述质检数据的标注元素数据中，确定两两匹配的数据和不被匹配的数据；

根据所述标注数据和所述质检数据的标注元素数据中所述两两匹配的数据和所述不被匹配的数据，确定标注准确率。

可选地，所述标注元素数据包括点对象数据、线对象数据；所述点对象数据包括一个或多个点；所述线对象数据包括一条或多条线，所述线包括一个或多个点；

所述在所述标注数据和所述质检数据的标注元素数据中，确定两两匹配的数据和不被匹配的数据，包括：

确定所述标注数据和所述质检数据的各条线对应的中心；

根据所述线对应的中心，确定两两匹配的线和不被匹配的线；

对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点；

所述根据所述标注数据和所述质检数据的标注元素数据中所述两两匹配的数据和所述不被匹配的数据，确定标注准确率，包括：

根据所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。

可选地，所述标注元素数据还包括组对象数据，所述组对象数据包括一个或多个组，所述组包括一条或多条线；

所述在所述标注数据和所述质检数据的标注元素数据中，确定两两匹配的数据和不被匹配的数据，还包括：

根据所述标注数据和所述质检数据的各个组包括的线分别确定对应的中心；

根据所述组对应的中心，确定两两匹配的组和不被匹配组；

所述根据所述线对应的中心，确定两两匹配的线和不被匹配的线，包括：

对两两匹配的两个组所包括的线，根据所述线对应的中心，确定两两匹配的线和不被匹配的线；

所述根据所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率，包括：

根据所述两两匹配的组、所述不被匹配的组、所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。

可选地，所述根据所述组对应的中心，确定两两匹配的组和不被匹配组，包括：

确定所述组分别对应的被标注对象的类型；

在对应于同一个被标注对象的类型的组中，确定未被匹配的组；

在所述未被匹配的组中，确定是否有中心最接近且中心之间的距离小于预设第一距离阈值的两个组；

若是，则将中心最接近且中心之间的距离小于预设第一距离阈值的两个组确定为两两匹配的组；

若否，则将所述未被匹配的组确定为不被匹配的组。

可选地，所述根据所述线对应的中心，确定两两匹配的线和不被匹配的线，包括：

确定所述线分别对应的被标注对象的部分的类型；

在对应于同一个被标注对象的部分的类型的线中，确定未被匹配的线；

在所述未被匹配的线中，确定是否有中心最接近且中心之间的距离小于预设第二距离阈值的两条线；

若是，则将中心最接近且几何中心之间的距离小于预设第二距离阈值的两条线，确定为两两匹配的线；

若否，则将所述未被匹配的线确定为不被匹配的线。

可选地，所述点具有坐标；所述对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点，包括：

对两两匹配的两条线所包括的点，确定未被匹配的点；

在所述未被匹配的点中，确定是否有坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点；

若是，则将所述坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点，确定为能够两两匹配的点；

若否，则将所述未被匹配的点确定为不被匹配的点。

可选地，所述根据所述两两匹配的组、所述不被匹配的组、所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率，包括：

根据所述两两匹配的组，确定预设第一统计项的数量；

根据所述不被匹配的组，确定预设第一差异项的数量；

根据所述两两匹配的线，确定预设第二统计项的数量；

根据所述不被匹配的线，确定预设第二差异项的数量；

根据所述两两匹配的点，确定预设第三统计项的数量；

根据所述不被匹配的点，确定预设第三差异项的数量；

根据所述预设第一统计项的数量、所述预设第一差异项的数量、所述预设第二统计项的数量、所述预设第二差异项的数量、所述预设第三统计项的数量、所述预设第三差异项的数量，确定标注准确率。

本发明实施例还公开了一种标注准确率确定装置，包括：

数据获取模块，用于获取针对预设图片的标注数据和质检数据；所述标注数据和所述质检数据包括用于标注被标注对象的标注元素数据；

匹配模块，用于在所述标注数据和所述质检数据的标注元素数据中，确定两两匹配的数据和不被匹配的数据；

标注准确率确定模块，用于根据所述标注数据和所述质检数据的标注元素数据中所述两两匹配的数据和所述不被匹配的数据，确定标注准确率。

可选地，所述标注元素数据包括点对象数据、线对象数据；所述点对象数据包括一个或多个点；所述线对象数据包括一条或多条线，所述线包括一个或多个点；

所述匹配模块包括：

线中心确定子模块，用于确定所述标注数据和所述质检数据的各条线对应的中心；

线匹配子模块，用于根据所述线对应的中心，确定两两匹配的线和不被匹配的线；

点匹配子模块，用于对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点；

所述标注准确率确定模块包括：

标注准确率确定子模块，用于根据所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。

可选地，所述标注元素数据还包括组对象数据，所述组对象数据包括一个或多个组，所述组包括一条或多条线；

所述匹配模块还包括：

组中心确定子模块，用于根据所述标注数据和所述质检数据的各个组包括的线分别确定对应的中心，

组匹配子模块，用于根据所述组对应的中心，确定两两匹配的组和不被匹配组；

所述线匹配子模块包括：

线匹配单元，用于对两两匹配的两个组所包括的线，根据所述线对应的中心，确定两两匹配的线和不被匹配的线；

所述标注准确率确定子模块包括：

标注准确率确定单元，用于根据所述两两匹配的组、所述不被匹配的组、所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。

可选地，所述组匹配子模块包括：

组类型确定单元，用于确定所述组分别对应的被标注对象的类型；

未匹配组确定单元，用于在对应于同一个被标注对象的类型的组中，确定未被匹配的组；

组距离确定单元，用于在所述未被匹配的组中，确定是否有中心最接近且中心之间的距离小于预设第一距离阈值的两个组；

匹配组确定单元，用于若有中心最接近且中心之间的距离小于预设第一距离阈值的两个组，则将中心最接近且中心之间的距离小于预设第一距离阈值的两个组确定为两两匹配的组；

不匹配组确定单元，用于若没有中心最接近且中心之间的距离小于预设第一距离阈值的两个组，则将所述未被匹配的组确定为不被匹配的组。

可选地，所述线匹配子模块包括：

线类型确定单元，用于确定所述线分别对应的被标注对象的部分的类型；

未匹配线确定单元，用于在对应于同一个被标注对象的部分的类型的线中，确定未被匹配的线；

线距离确定单元，用于在所述未被匹配的线中，确定是否有中心最接近且中心之间的距离小于预设第二距离阈值的两条线；

匹配线确定单元，用于若有中心最接近且中心之间的距离小于预设第二距离阈值的两条线，则将中心最接近且几何中心之间的距离小于预设第二距离阈值的两条线，确定为两两匹配的线；

不匹配线确定单元，用于若没有中心最接近且中心之间的距离小于预设第二距离阈值的两条线，则将所述未被匹配的线确定为不被匹配的线。

可选地，所述点具有坐标；所述点匹配子模块包括：

未匹配点确定单元，用于对两两匹配的两条线所包括的点，确定未被匹配的点；

点距离确定单元，用于在所述未被匹配的点中，确定是否有坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点；

匹配点确定单元，用于若有坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点，则将所述坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点，确定为能够两两匹配的点；

不匹配点确定单元，用于若没有坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点，则将所述未被匹配的点确定为不被匹配的点。

可选地，所述标注准确率确定单元包括：

第一数量确定子单元，用于根据所述两两匹配的组，确定预设第一统计项的数量；

第二数量确定子单元，用于根据所述不被匹配的组，确定预设第一差异项的数量；

第三数量确定子单元，用于根据所述两两匹配的线，确定预设第二统计项的数量；

第四数量确定子单元，用于根据所述不被匹配的线，确定预设第二差异项的数量；

第五数量确定子单元，用于根据所述两两匹配的点，确定预设第三统计项的数量；

第六数量确定子单元，用于根据所述不被匹配的点，确定预设第三差异项的数量；

标注准确率确定子单元，用于根据所述预设第一统计项的数量、所述预设第一差异项的数量、所述预设第二统计项的数量、所述预设第二差异项的数量、所述预设第三统计项的数量、所述预设第三差异项的数量，确定标注准确率。

本发明实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的标注准确率确定方法的步骤。

本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的标注准确率确定方法的步骤。

本发明实施例包括以下优点：

在本发明实施例中，可以获取针对预设图片的标注数据和质检数据；在标注数据和质检数据的标注元素数据中，确定两两匹配的数据和不被匹配的数据；根据标注数据和质检数据的标注元素数据中两两匹配的数据和不被匹配的数据，确定标注准确率。

附图说明

图1是本发明实施例中标注员标注的图片；

图2是本发明实施例中质检员修改标注的图片；

图3是本发明实施例的一种标注准确率确定方法的步骤流程图；

图4是本发明实施例的另一种标注准确率确定方法的步骤流程图；

图5是本发明实施例的另一种标注准确率确定方法的步骤流程图；

图6是本发明实施例中标注数据与质检数据对比的示意图；

图7是本发明实施例的一种标注准确率确定装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

在自动驾驶的业务场景下，需要人工在图片上标注车位、车道、可行驶区域等被标注对象。

在本发明实施例中，标注员可以使用标注工具对图片上的被标注对象进行标注，得到标注数据。标注数据可以包括点对象数据、线对象数据、组对象数据。

组对象数据可以包括一个或多个组，组是设置为用于描述用于标注同一被标注对象的线的数据，每个组可以包括用于标注图片中同一被标注对象的一条或多条线。例如，在自动驾驶的业务场景下，组可以包括：针对车位的组、针对可行驶区域的组、针对车道的组等等。

线对象数据可以包括一条或多条线。例如，在针对车位的组中可以包括：用于标注车位线的线、用于标注限位杆的线、用于标注车位号的线、用于标注地锁的线等等。

在标注工具中，可以选择用不同类型的线进行标注，线的类型可以包括：线段、二维框、多边形。

在绘制线时，可以根据线类型的设置改变当前可绘制的图形。如果当前选中的线类型为线段，绘制出来的图形便是线段。在绘制线段时，用户可以绘制若干个点，标注工具可以根据所绘制的点，绘制出包含这些点的线段。

如果当前选中的线类型为二维框，则绘制出来的图形是一个二维框。在绘制二维框时，用户可以绘制两个点，标注工具可以确定所绘制的两个点的连线，以该连线作为二维框的对角线，从而绘制二维框。

如果当前选中的线类型为多边形，绘制出来的图形便是一个多边形。在绘制多边线时，用户可以绘制若干个点，标注工具可以根据所绘制的点，绘制出包含这些点的多边线。每次添加一个点都是给多边形添加一个点。

当线类型为线段和多边形时，如果设置了其点的个数(pointCount)为N，则当绘制出N个点时，标注工具可以自动结束绘制。如果配置中有设置组个数或单个组内某个线类型的个数，则标注工具会根据配置在不满足条件时作出相应的提示，比如提示当前组内某线类型的个数不能多于1。

点对象数据可以包括一个或多个点，标注工具可以根据用户绘制的点，绘制包含这些点的线。

在标注员标注图片后，图片交由质检员进行质检。质检员可以对标注进行修改或者增加新的标注或者不改变标注数据，可以将质检员质检后的标注数据作为质检数据。可以根据标注员标注生成的标注数据和质检员质检之后的质检数据，确定标注数据的准确率。

如图1所示为本发明实施例中标注员标注的图片。质检员可以针对图片中的一辆车，绘制包含车辆轮廓的二维框，并设置标号1。

如图2所示为本发明实施例中质检员修改标注的图片，质检员可以针对图片中的两辆车，分别绘制包含车辆轮廓的二维框，并分别设置标号1和标号2。

参照图3，示出了本发明实施例的一种标注准确率确定方法的步骤流程图，所述方法具体可以包括如下步骤：

步骤301，获取针对预设图片的标注数据和质检数据；所述标注数据和所述质检数据包括用于标注被标注对象的标注元素数据。

预设图片可以包括多个经过标注的图片。图片可以具有对应标注数据和质检数据，标注数据是标注员标注的数据，质检数据是质检员质检后的数据。质检员可以对标注进行修改或者增加新的标注或者不改变标注数据，可以将质检员质检后的标注数据作为质检数据。

标注元素数据可以包括按层级划分的标注元素。例如，点对象数据、线对象数据、组数据对象。

步骤302，在所述标注数据和所述质检数据的标注元素数据中，确定两两匹配的数据和不被匹配的数据。

在标注数据准确的情况下，可以在质检数据中找到与标注数据的标注元素数据对应的标注元素数据。如果标注数据不够准确，质检员可能会增加新的标注，那么质检数据相对标注数据就可能有额外的标注元素数据。质检员也可能会删除一些标注，那么质检数据相对标注数据可能会少一些标注元素数据。质检员也可能修改一些标注，那么标注数据与质检数据的标注元素数据就有可能不匹配。

步骤303，根据所述标注数据和所述质检数据的标注元素数据中所述两两匹配的数据和所述不被匹配的数据，确定标注准确率。

在本发明实施例中，可以获取针对预设图片的标注数据和质检数据；在标注数据和质检数据的标注元素数据中，确定两两匹配的数据和不被匹配的数据；根据标注数据和质检数据的标注元素数据中两两匹配的数据和不被匹配的数据，确定标注准确率。

参照图4，示出了本发明实施例的另一种标注准确率确定方法的步骤流程图，所述方法具体可以包括如下步骤：

步骤401，获取针对预设图片的标注数据和质检数据；所述标注数据和所述质检数据包括用于标注被标注对象的标注元素数据；所述标注元素数据包括点对象数据、线对象数据，所述点对象数据包括一个或多个点；所述线对象数据包括一条或多条线，所述线包括一个或多个点。

步骤402，确定所述标注数据和所述质检数据的各条线对应的中心。

线的类型可以包括线段、二位框、多边形。如果是的类型是线段，可以将线段的中心确定为线对应的中心。如果线的类型是二位框、多边形，可以确定由线的点所形成的多边形；确定多边形的几何中心，将多边形的几何中心确定为线对应的中心。

步骤403，根据所述线对应的中心，确定两两匹配的线和不被匹配的线。

在多条线中，可以将线对应的中心之间的距离最接近的两条线确定为两两匹配的线。

不被匹配的线是不能与其他线匹配的线。如果只剩下一条线未找到匹配的线，则可以将这条线确定为不被匹配的线。

在标注数据准确的情况下，都可以在质检数据中，找到与标注数据的线都对应的线。如果标注数据不够准确，质检员可能会增加新的标注，那么质检数据相对标注数据就可能有额外的线。质检员也可能会删除一些标注，那么质检数据相对标注数据可能会少一些线。质检员也可能修改一些标注，那么标注数据与质检数据的线就有可能不匹配。

在本发明实施例中，根据所述线对应的中心，确定两两匹配的线和不被匹配的线的步骤可以包括如下子步骤：

子步骤S11，确定所述线分别对应的被标注对象的部分的类型。

标注员在标注工具标注时，可以为线对象数据设置一个或多个属性。其中属性可以设置用于表示被标注对象的部分的类型的属性。例如，对一条线设置对应的被标注对象的部位的类型为限位杆。

子步骤S12，在对应于同一个被标注对象的部分的类型的线中，确定未被匹配的线。

未被匹配的线是指还未进行匹配的线。例如，被标注对象的类型是车位，被标注对象的部分的类型为车位线，对应类型为车位线的线一共有3条线，3条线都是未被匹配的线。

子步骤S13，在所述未被匹配的线中，确定是否有中心最接近且中心之间的距离小于预设第二距离阈值的两条线。

子步骤S14，若是，则将中心最接近且几何中心之间的距离小于预设第二距离阈值的两条线，确定为两两匹配的线。

如果未被匹配的线中，具有中心最接近且中心之间的距离小于预设第二距离阈值的两条线，可以认为这两条线是两两匹配的线，一条线是标注数据中的线，另一条线是质检数据中匹配的线。

子步骤S15，若否，则将所述未被匹配的线确定为不被匹配的线。

如果未被匹配的线的数量大于一个，线对应的中心之间的距离不小于预设第二距离阈值，则可以认为未被匹配的线是不被匹配的线。

如果未被匹配的线只剩一个，则可以认为未被匹配的线是不被匹配的组。

对每次找到的两个组进行数据统计，循环所有线类型，找到类型相同且中心最近的两条线，再从剩余的同类型线中不断找出类型相同且中心最近的线，直到某个组内不再有同类型线剩余。

在对应于同一个被标注对象的部分的类型的线中，确定两两匹配的线，可以避免在对应不同被标注对象的部分的线之间，可能会找到对应中心的距离最接近的情况，从而可以提高组匹配的准确性。

步骤404，对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点。

在两两匹配的两条线所包括的多个点中，可以将点之间的距离最接近的两个点确定为两两匹配的点。

不被匹配的点是不能与其他点匹配的点。如果只剩下一个点未找到匹配的点，则可以将这个点确定为不被匹配的点。

在标注数据准确的情况下，都可以在质检数据中，找到与标注数据的点都对应的点。如果标注数据不够准确，质检员可能会增加新的标注，那么质检数据相对标注数据就可能有额外的点。质检员也可能会删除一些标注，那么质检数据相对标注数据可能会少一些点。质检员也可能修改一些标注，那么标注数据与质检数据的点就有可能不匹配。

在本发明实施例中，所述点具有坐标；所述对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点的步骤可以包括如下子步骤：

子步骤S21，对两两匹配的两条线所包括的点，确定未被匹配的点。

未被匹配的点是指还未进行匹配的点。例如，两两匹配的两条线所包括的点一共包括5个点，5个点都为未被匹配的点。

子步骤S22，在所述未被匹配的点中，确定是否有坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点。

子步骤S23，若是，则将所述坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点，确定为能够两两匹配的点。

如果未被匹配的点中，具有中心最接近且中心之间的距离小于预设第三距离阈值的两个点，可以认为这两个点是两两匹配的点，一个点是标注数据中的点，另一个点是质检数据中匹配的点。

子步骤S24，若否，则将所述未被匹配的点确定为不被匹配的点。

如果未被匹配的点的数量大于一个，点对应的中心之间的距离不小于预设第三距离阈值，则可以认为未被匹配的点是不被匹配的线。

如果未被匹配的点只剩一个，则可以认为未被匹配的点是不被匹配的组。

对每次找到的两条线，循环两条线的所有点，找到坐标最近的两个点并进行统计，然后再从剩余的点中找到坐标最近的两个点并进行统计，重复查找坐标最近的点，直到某条线中不再有剩余点。

步骤405，根据所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。

可以两两匹配的线的数量、不被匹配的线的数量、两两匹配的点的数量和不被匹配的点的数量，确定标注准确率。

在本发明实施例中，可以获取针对预设图片的标注数据和质检数据；确定标注数据和质检数据的各条线对应的中心；根据线对应的中心，确定两两匹配的线和不被匹配的线；对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点；根据所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。

参照图5，示出了本发明实施例的另一种标注准确率确定方法的步骤流程图，所述方法具体可以包括如下步骤：

步骤501，获取针对预设图片的标注数据和质检数据；所述标注数据和所述质检数据包括用于标注被标注对象的标注元素数据；所述标注元素数据包括点对象数据、线对象数据、组对象数据；所述点对象数据包括一个或多个点；所述线对象数据包括一条或多条线，所述线包括一个或多个点；所述组对象数据包括一个或多个组，所述组包括一条或多条线。

步骤502，根据所述标注数据和所述质检数据的各个组包括的线分别确定对应的中心。

每个组可以包括用于标注图片中同一被标注对象的一条或多条线。可以确定由组内各条线所包含的点所形成的多边形；确定多边形的几何中心，将多边形的几何中心确定为组内各条线对应的中心。

步骤503，确定所述标注数据和所述质检数据的各条线对应的中心。

步骤504，根据所述组对应的中心，确定两两匹配的组和不被匹配组。

在多个组中，可以将组对应的中心之间的距离最接近的两个组确定为两两匹配的组。

不被匹配的组是不能与其他组匹配的组。如果只剩下一个组未找到匹配的组，则可以将这个组确定为不被匹配的组。

在标注数据准确的情况下，都可以在质检数据中，找到与标注数据的组都对应的组。如果标注数据不够准确，质检员可能会增加新的标注，那么质检数据相对标注数据就可能有额外的组。质检员也可能会删除一些标注，那么质检数据相对标注数据可能会少一些组。质检员也可能修改一些标注，那么标注数据与质检数据的组就有可能不匹配。

在本发明实施例中，所述根据所述组对应的中心，确定两两匹配的组和不被匹配组的步骤可以包括如下子步骤：

子步骤S31，确定所述组分别对应的被标注对象的类型。

在自动驾驶的业务场景下，被标注对象的类型可以包括车位、车道、可行驶区域等。

标注员在标注工具标注时，可以为组对象数据设置一个或多个属性。其中属性可以设置用于表示被标注对象的类型的属性。例如，对一个组设置对应的被标注对象的类型为车位。

子步骤S32，在对应于同一个被标注对象的类型的组中，确定未被匹配的组。

未被匹配的组是指还未进行匹配的组。例如，被标注对象的类型为车位，对应类型为车位的组一共有5个，其中2个组已经被确定为两两匹配的组，剩下3个组为未被匹配的组。

子步骤S33，在所述未被匹配的组中，确定是否有中心最接近且中心之间的距离小于预设第一距离阈值的两个组。

子步骤S34，若是，则将中心最接近且中心之间的距离小于预设第一距离阈值的两个组确定为两两匹配的组。

如果未被匹配的组中，具有中心最接近且中心之间的距离小于预设第一距离阈值的两个组，可以认为这两个组是两两匹配的组，一个组是标注数据中的组，另一个组是质检数据中匹配的组。

子步骤S35，若否，则将所述未被匹配的组确定为不被匹配的组。

如果未被匹配的组的数量大于一个，组对应的中心之间的距离不小于预设第一距离阈值，则可以认为未被匹配的组是不被匹配的组。

如果未被匹配的组只剩一个，则可以认为未被匹配的组是不被匹配的组。

循环每个组类型，找到中心最近的两个组，再从剩余的同类型组中不断找到中心最近的两个组，重复查找剩余组中中心最近的组，直到标注数据或质检数据中没有同类型组剩余。

在对应于同一个被标注对象的类型的组中，确定两两匹配的组，可以避免在对应不同被标注对象的组之间，可能会找到对应中心的距离最接近的情况，从而可以提高组匹配的准确性。

步骤505，对两两匹配的两个组所包括的线，根据所述线对应的中心，确定两两匹配的线和不被匹配的线。

在两两匹配的两个组所包括的多条线中，可以将线对应的中心之间的距离最接近的两条线确定为两两匹配的线。

参照图6所示为本发明实施例中标注数据与质检数据对比的示意图。

其中，标注数据可以包括5个标注框，标注框可以是由多边形的线形成，标号分别为11、12、13、14、15。质检数据可以包括5个标注框，标注框可以是由多边形的线形成，标号分别为21、22、23、24、25。对比可知，质检员在标注数据的基础上对标注框进行了修改。

标注数据中标号11的标注框，与质检数据中标号21的标注框，两者几何中心之间的距离最接近且距离小于相应的阈值，因此这两个标注框两两匹配。

标注数据中标号15的标注框，与质检数据中标号25的标注框，两者几何中心之间的距离大于相应的阈值，因此这两个标注框不能匹配。

步骤506，对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点。

步骤507，根据所述两两匹配的组、所述不被匹配的组、所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。

在本发明实施例中，所述根据所述两两匹配的组、所述不被匹配的组、所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率的步骤可以包括如下子步骤：

子步骤S41，根据所述两两匹配的组，确定预设第一统计项的数量。

预设第一统计项可以是统计两两匹配的组的属性，不同类型的组可以具有不同的属性，组所具有的属性可以由标注员设置。例如，组的类型为车道，对应的属性可以包括主路、支路、逆向、可行驶等。

子步骤S42，根据所述不被匹配的组，确定预设第一差异项的数量。

预设第一差异项可以是统计不被匹配的组的属性。

子步骤S43，根据所述两两匹配的线，确定预设第二统计项的数量。

预设第二统计项可以是统计两两匹配的线的属性，不同类型的线可以具有不同的属性，线所具有的属性可以由标注员设置。

例如，线的类型为车位线，对应的属性可以包括可泊、不可泊。

子步骤S44，根据所述不被匹配的线，确定预设第二差异项的数量。

第二差异项可以是统计不被匹配的线的属性。

子步骤S45，根据所述两两匹配的点，确定预设第三统计项的数量。

预设第三统计项可以是统计两两匹配的点的属性，点所具有的属性可以由标注员设置，点的属性可以包括可见、遮挡、模糊等。

子步骤S46，根据所述不被匹配的点，确定预设第三差异项的数量。

预设第三差异项可以是统计不被匹配的点的属性。

子步骤S47，根据所述预设第一统计项的数量、所述预设第一差异项的数量、所述预设第二统计项的数量、所述预设第二差异项的数量、所述预设第三统计项的数量、所述预设第三差异项的数量，确定标注准确率。

例如，可以按照如下公式计算准确率：

准确率＝1-错误项总数/统计项总数

其中，错误项总数可以为预设第一差异项、预设第二差异项、预设第三差异项的总和；统计项总数可以为预设第一统计项、预设第二统计项、预设第三统计项的总和。

当然本领域技术人员还可以使用其他公式来计算标注准确率，本发明实施例对此不做限定。

在本发明实施例中，可以获取针对预设图片的标注数据和质检数据；根据标注数据和质检数据的各个组包括的线分别确定对应的中心，以及确定标注数据和质检数据的各条线对应的中心；

根据所述组对应的中心，确定两两匹配的组和不被匹配组；对两两匹配的两个组所包括的线，根据所述线对应的中心，确定两两匹配的线和不被匹配的线；对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点；根据所述两两匹配的组、所述不被匹配的组、所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。本发明实施例可以确定图片标注的准确率，进而可以选取标注准确率高的图片来训练人工智能模型，以提高模型识别效果。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图7，示出了本发明实施例的一种标注准确率确定装置的结构框图，具体可以包括如下模块：

数据获取模块701，用于获取针对预设图片的标注数据和质检数据；所述标注数据和所述质检数据包括用于标注被标注对象的标注元素数据；

匹配模块702，用于在所述标注数据和所述质检数据的标注元素数据中，确定两两匹配的数据和不被匹配的数据；

标注准确率确定模块703，用于根据所述标注数据和所述质检数据的标注元素数据中所述两两匹配的数据和所述不被匹配的数据，确定标注准确率。

在本发明实施例中，所述标注元素数据包括点对象数据、线对象数据；所述点对象数据包括一个或多个点；所述线对象数据包括一条或多条线，所述线包括一个或多个点；

所述匹配模块702可以包括：

线中心确定子模块，用于确定所述标注数据和所述质检数据的各条线对应的中心；

线匹配子模块，用于根据所述线对应的中心，确定两两匹配的线和不被匹配的线；

点匹配子模块，用于对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点；

所述标注准确率确定模块703可以包括：

标注准确率确定子模块，用于根据所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。

在本发明实施例中，所述标注元素数据还包括组对象数据，所述组对象数据包括一个或多个组，所述组包括一条或多条线；

所述匹配模块702还可以包括：

组中心确定子模块，用于根据所述标注数据和所述质检数据的各个组包括的线分别确定对应的中心，

组匹配子模块，用于根据所述组对应的中心，确定两两匹配的组和不被匹配组；

所述线匹配子模块包括：

线匹配单元，用于对两两匹配的两个组所包括的线，根据所述线对应的中心，确定两两匹配的线和不被匹配的线；

所述标注准确率确定子模块包括：

标注准确率确定单元，用于根据所述两两匹配的组、所述不被匹配的组、所述两两匹配的线、所述不被匹配的线、所述两两匹配的点和所述不被匹配的点，确定标注准确率。

在本发明实施例中，所述组匹配子模块可以包括：

组类型确定单元，用于确定所述组分别对应的被标注对象的类型；

未匹配组确定单元，用于在对应于同一个被标注对象的类型的组中，确定未被匹配的组；

组距离确定单元，用于在所述未被匹配的组中，确定是否有中心最接近且中心之间的距离小于预设第一距离阈值的两个组；

匹配组确定单元，用于若有中心最接近且中心之间的距离小于预设第一距离阈值的两个组，则将中心最接近且中心之间的距离小于预设第一距离阈值的两个组确定为两两匹配的组；

不匹配组确定单元，用于若没有中心最接近且中心之间的距离小于预设第一距离阈值的两个组，则将所述未被匹配的组确定为不被匹配的组。

在本发明实施例中，所述线匹配子模块可以包括：

线类型确定单元，用于确定所述线分别对应的被标注对象的部分的类型；

未匹配线确定单元，用于在对应于同一个被标注对象的部分的类型的线中，确定未被匹配的线；

线距离确定单元，用于在所述未被匹配的线中，确定是否有中心最接近且中心之间的距离小于预设第二距离阈值的两条线；

匹配线确定单元，用于若有中心最接近且中心之间的距离小于预设第二距离阈值的两条线，则将中心最接近且几何中心之间的距离小于预设第二距离阈值的两条线，确定为两两匹配的线；

不匹配线确定单元，用于若没有中心最接近且中心之间的距离小于预设第二距离阈值的两条线，则将所述未被匹配的线确定为不被匹配的线。

在本发明实施例中，所述点具有坐标；所述点匹配子模块可以包括：

未匹配点确定单元，用于对两两匹配的两条线所包括的点，确定未被匹配的点；

点距离确定单元，用于在所述未被匹配的点中，确定是否有坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点；

匹配点确定单元，用于若有坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点，则将所述坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点，确定为能够两两匹配的点；

不匹配点确定单元，用于若没有坐标最接近且坐标之间的距离小于预设第三距离阈值的两个点，则将所述未被匹配的点确定为不被匹配的点。

在本发明实施例中，所述标注准确率确定单元可以包括：

第一数量确定子单元，用于根据所述两两匹配的组，确定预设第一统计项的数量；

第二数量确定子单元，用于根据所述不被匹配的组，确定预设第一差异项的数量；

第三数量确定子单元，用于根据所述两两匹配的线，确定预设第二统计项的数量；

第四数量确定子单元，用于根据所述不被匹配的线，确定预设第二差异项的数量；

第五数量确定子单元，用于根据所述两两匹配的点，确定预设第三统计项的数量；

第六数量确定子单元，用于根据所述不被匹配的点，确定预设第三差异项的数量；

标注准确率确定子单元，用于根据所述预设第一统计项的数量、所述预设第一差异项的数量、所述预设第二统计项的数量、所述预设第二差异项的数量、所述预设第三统计项的数量、所述预设第三差异项的数量，确定标注准确率。

在本发明实施例中，可以获取针对预设图片的标注数据和质检数据；根据标注数据和质检数据的各个组包括的线分别确定对应的中心，以及确定标注数据和质检数据的各条线对应的中心；根据组对应的中心，确定两两匹配的组和不被匹配组；对两两匹配的两个组所包括的线，根据线对应的中心确定两两匹配的线和不被匹配的线；对两两匹配的两条线所包括的点，确定两两匹配的点和不被匹配的点；根据两两匹配的组、不被匹配的组、两两匹配的线、不被匹配的线、两两匹配的点和不被匹配的点，确定标注准确率。本发明实施例可以从点、线、组三个层级进行匹配，根据匹配结果来确定图片标注的准确率，进而可以选取标注准确率高的图片来训练人工智能模型，以提高模型识别效果。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种电子设备，包括：

包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述标注准确率确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述标注准确率确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种标注准确率确定方法和一种标注准确率确定装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。