一种基于眼球追踪的数据标注质量检测方法、设备及介质

技术领域

本申请涉及数据标注技术领域，具体而言，涉及一种基于眼球追踪的数据标注质量检测方法、设备及介质。

背景技术

在人工智能和机器人学习技术领域中，需要使用经过人类标注数据的图像（以下称为图像标注数据）对机器学习模型进行训练，例如图像识别模型需要使用标注了识别目标的图像进行训练。由于图像标注数据的质量会影响机器学习模型的学习效果，因此为了提高机器人学习模型的学习效果，现有技术需要通过数据标注质量检测方法对图像标注数据的质量进行评估，而现有的数据标注质量检测方法采用人工复核的方式对图像标注数据的质量进行评估，若图像标注数据的质量合格，则利用该图像标注数据对机器学习模型进行训练；若图像标注数据的质量不合格，则通知标注员重新标注该图像。由于人工复核容易受到个人偏好和判断能力等个人因素的影响，即每个人的审核标准不同，因此现有的数据标注质量检测方法没有使用统一的审核标准对图像标注数据进行评估，从而导致数据标注质量检测方法的准确度低，且现有的数据标注质量检测方法还存在由于需要通过人工复核的方式进行评估而导致评估效率低、评估成本（用人成本）高的问题。

针对上述问题，目前尚未有有效的技术解决方案。

发明内容

本申请的目的在于提供一种基于眼球追踪的数据标注质量检测方法、设备及介质，能够有效地提高数据标注质量检测方法的准确度和评估效率以及降低数据标注质量检测方法的评估成本。

第一方面，本申请提供了一种基于眼球追踪的数据标注质量检测方法，其包括以下步骤：

获取眼动信息，眼动信息为在一次图像数据标注过程中眼睛注视位置的变化信息；

根据眼动信息获取条件信息，条件信息包括眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息中的任意一个或多个；

根据条件信息是否满足预设条件判断标注数据是否合格。

本申请提供的一种基于眼球追踪的数据标注质量检测方法，通过判断条件信息是否满足预设条件的方式判断标注数据是否合格，该方法相当于根据条件信息选择一个与该条件信息对应的审核标准对标准数据的质量进行检测，由于该审核标准为预先设定的，其不会受到人为因素的干扰，因此该方法能够有效地提高数据标注质量检测方法的准确度，且由于该方法无需通过人工复核的方式对标注数据的质量进行检测，因此相较于现有技术，该方法能够有效地提高数据标注质量检测方法的评估效率和降低数据标注质量检测方法的评估成本。

可选地，条件信息包括眼动区域信息，预设条件为眼动区域信息与标注数据区域信息的实际交并比大于等于预设的交并比阈值，标注数据区域信息为标注数据所在的区域。

可选地，实际交并比的计算公式为：

；

其中，IoU表示实际交并比，S

可选地，条件信息包括总注视时间信息，预设条件为有效注视率大于等于预设的注视率阈值，有效注视率为有效注视时间信息与总注视时间信息的比值，有效注视时间信息为在一次图像数据标注过程中，眼睛注视位置位于标注数据区域信息内的总时间。

可选地，条件信息包括总眼跳数量信息，预设条件为有效眼跳率大于等于预设的眼跳率阈值，有效眼跳率为有效眼跳数量信息与总眼跳数量信息的比值，有效眼跳数量信息为总眼跳数量信息与回视型眼跳数量信息的差值。

可选地，回视型眼跳数量信息为回视型眼跳的数量，若当前眼跳的方向与上一次眼跳的方向的夹角大于90°，则认为该当前眼跳为回视型眼跳。

可选地，条件信息包括眼动轨迹长度信息，预设条件为有效轨迹率大于等于预设的轨迹率阈值，有效轨迹率为有效轨迹长度信息与眼动轨迹长度信息的比值，有效轨迹长度信息为在一次图像数据标注过程中，位于标注数据区域信息内的眼动轨迹的总长度。

可选地，条件信息包括眼动区域信息和总注视时间信息，预设条件为眼动区域信息与标注数据区域信息的实际交并比大于等于预设的交并比阈值且有效注视率大于等于预设的注视率阈值。

第二方面，本申请提供一种电子设备，包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行如上述第一方面提供的方法中的步骤。

第三方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时运行如上述第一方面提供的方法中的步骤

由上可知，本申请提供的一种基于眼球追踪的数据标注质量检测方法、设备及介质，通过判断条件信息是否满足预设条件的方式判断标注数据是否合格，该方法相当于根据条件信息选择一个与该条件信息对应的审核标准对标准数据的质量进行检测，由于该审核标准为预先设定的，其不会受到人为因素的干扰，因此该方法能够有效地提高数据标注质量检测方法的准确度，且由于该方法无需通过人工复核的方式对标注数据的质量进行检测，因此相较于现有技术，该方法能够有效地提高数据标注质量检测方法的评估效率和降低数据标注质量检测方法的评估成本。

附图说明

图1为本申请实施例提供的一种基于眼球追踪的数据标注质量检测方法的流程图。

图2为本申请实施例提供的注视点、眼动区域信息、标注数据区域信息的示意图。

图3为本申请实施例提供的回视型眼跳的示意图。

图4为本申请实施例提供的一种电子设备的结构示意图。

附图标记：101、处理器；102、存储器；103、通信总线。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

第一方面，如图1-图3所示，本申请提供了一种基于眼球追踪的数据标注质量检测方法，其包括以下步骤：

S1、获取眼动信息，眼动信息为在一次图像数据标注过程中眼睛注视位置的变化信息；

S2、根据眼动信息获取条件信息，条件信息包括眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息中的任意一个或多个；

S3、根据条件信息是否满足预设条件判断标注数据是否合格。

标注员对图像进行图像数据标注的流程为：先寻找并确定待标注数据（需要进行标注的目标物体）在图像中的位置，再对待标注数据进行标注。在定位待标注数据和对待标注数据进行标注时，标记员的眼睛注视位置会发生改变，由于只有在眼球运动时，眼睛注视位置才能发生改变，因此步骤S1获取的眼动信息相当于在一次图像数据标注过程中眼睛注视位置的变化信息，具体地，步骤S1可以先利用视觉传感器或相机采集人眼图像信息，再利用现有的眼球跟踪模型或眼球跟踪算法根据人眼图像信息获取眼动信息。应当理解的是，若在预设时间（80ms以上）内，眼睛注视位置均落在以某一个点为圆心，以参数r为半径的圆范围内，则该圆心为注视点，该区域内的所有眼睛注视位置均用该注视点代替，由于眼动信息为在一次图像数据标注过程中眼睛注视位置的变化信息，而在一次图像数据标注过程中的眼睛注视位置的变化信息可由多个注视点（参考图2中的C）代替，因此眼动信息能反映注视点关于时间变化的位置信息。

由于眼动信息能反映注视点关于时间变化的位置信息，因此步骤S2可以根据眼动信息获取眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息。眼动区域信息可以为基于现有的包围算法根据所有注视点生成的包围所有注视点的图形，眼动区域信息也可以为基于现有的包围算法根据所有眼动轨迹生成的包围所有眼动轨迹的图形，该实施例的眼动区域信息优选为包围所有注视点的最小凸多边形（参考图2中的B）或包围所有眼动轨迹的最小凸多边形，总注视时间信息为在一次图像数据标注过程中标注员的总注视时间（注视图像的总时间），每一个注视点均有对应的注视时间信息，总注视时间信息等于所有注视时间信息的和，总眼跳数量信息为在一次图像标注过程中的总眼跳数量，若注视点由当前位置移动至另一位置，则认为发生了一次眼跳，即一次眼跳对应于两个注视点，因此总眼跳数量信息=眼睛注视位置的数量-1，眼动轨迹长度信息为在一次图像数据标注过程中的眼动轨迹的总长度，具体地，眼动轨迹为一次眼跳对应的两个注视点之间的连线，眼动轨迹长度信息为所有眼动轨迹的长度之和。应当理解的是，眼动信息和条件信息均为针对显示设备的显示画面确定的信息。

步骤S3的工作原理为：在图像标注数据的过程中，只有在眼睛注视位置主要集中在待标注数据上，才能准确地标出图像中的待标注数据，而通过步骤S2获取的条件信息可以判断眼睛注视位置是否主要集中在待标注数据上，因此步骤S3可以通过判断条件信息是否满足预设条件的方式判断标注数据是否合格。具体地，步骤S3的预设条件为预先设定好的条件，该预设条件相当于标注数据的审核标准，若条件信息满足预设条件，则认为标注数据合格；若条件信息不满足预设条件，则认为标注数据不合格。应当理解的是，眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息分别对应于不同的审核标准，即眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息分别对应于不同的预设条件，因此若条件信息包括的信息改变，该条件信息对应的预设条件也会发生改变。

该实施例的工作原理为：该方法通过判断条件信息是否满足预设条件的方式判断标注数据是否合格，该方法相当于根据条件信息选择一个与该条件信息对应的审核标准对标准数据的质量进行检测，由于该审核标准为预先设定的，其不会受到人为因素的干扰，因此该方法能够有效地提高数据标注质量检测方法的准确度，且由于该方法无需通过人工复核的方式对标注数据的质量进行检测，因此相较于现有技术，该方法能够有效地提高数据标注质量检测方法的评估效率和降低数据标注质量检测方法的评估成本。

在一些实施例中，条件信息包括眼动区域信息，预设条件为眼动区域信息与标注数据区域信息（参考图2中的A）的实际交并比大于等于预设的交并比阈值，标注数据区域信息为标注数据所在的区域。该实施例的工作原理为：由于只有在眼睛注视位置主要集中在待标注数据上，才能准确地标出图像中的待标注数据，眼动区域信息与标注数据区域信息的重合度越高，眼睛注视位置越集中在待标注数据上，因此该实施例可以通过计算实际交并比和将实际交并比与交并比阈值比较的方式判断标注数据是否合格，具体地，若实际交并比大于等于交并比阈值，则认为标注数据合格；若实际交并比小于交并比阈值，则认为标注数据不合格。该实施例的交并比阈值为预设值，本领域技术人员可以根据实际需要调节交并比阈值的大小，该实施例的交并比阈值优选为0.8，该实施例相当于根据眼动区域信息与标注数据区域信息的重合度判断标注数据是否合格。

优选地，在一些实施例中，眼动区域信息为由在标记第一个标注点至最后一个标注点之间的眼动信息的区域信息。该实施例相当于在开始标注待标注数据时开始获取眼动信息，并在结束标注待标注数据时停止获取眼动信息，即该实施例分别为开始获取眼动信息和停止获取眼动信息设置对应的时间节点，因此该实施例能够有效地去除标注员在打开图像后寻找待标注数据所产生的无用眼动信息以及去除标注员在完成标注后结束标注所产生的无用眼动信息，由于无效眼动信息会产生无效的注视点和无效的眼动轨迹，而上述实施例的眼动区域信息为包围所有注视点或包围所有眼动轨迹的最小凸多边形，即上述实施例的眼动区域信息会包围无效的注视点或无效的眼动轨迹，因此该实施例通过去除无效眼动信息的方式来解决无效眼动信息影响眼动区域信息的问题，从而有效地解决无用眼动信息。应当理解的是，由于该实施例去除了无用眼动信息，因此该实施例还能够有效地避免出现由于无用眼动信息过多而导致图像标注数据被误判为不合格的情况。

在一些实施例中，实际交并比的计算公式为：

；

其中，IoU表示实际交并比，S

在一些实施例中，条件信息包括总注视时间信息，预设条件为有效注视率大于等于预设的注视率阈值，有效注视率为有效注视时间信息与总注视时间信息的比值，有效注视时间信息为在一次图像数据标注过程中，眼睛注视位置位于标注数据区域信息内的总时间。该实施例的有效注视时间相当于位于标注数据区域信息内的人眼注视位置对应的注视时间信息之和。该实施例的工作原理为：由于只有在眼睛注视位置主要集中在待标注数据上，才能准确地标出图像中的待标注数据，而在眼睛注视位置位于标注数据区域信息内时，该眼睛注视位置对应的注视时间信息为有效注视时间，因此有效注视时间信息在总注视时间信息中的占比越大，则表示眼睛注视位置越集中在待标注数据上，该实施例可以通过计算有效注视率和将有效注视率与注视率阈值比较的方式判断标注数据是否合格，具体地，若有效注视率大于等于注视率阈值，则认为标注数据合格；若有效注视率小于注视率阈值，则认为标注数据不合格。该实施例的注视率阈值为预设值，本领域技术人员可以根据实际需要调节注视率阈值的大小，该实施例的注视率阈值优选为0.9。

在一些实施例中，条件信息包括总眼跳数量信息，预设条件为有效眼跳率大于等于预设的眼跳率阈值，有效眼跳率为有效眼跳数量信息与总眼跳数量信息的比值，有效眼跳数量信息为总眼跳数量信息与回视型眼跳数量信息的差值。该实施例的工作原理为：由于回视型眼跳为了回看之前查看的内容（例如图像中包括多个待标注数据，在完成部分待标注数据的标注后，回看完成标注的待标注数据）而产生的眼跳，回视型眼跳对图像数据标注并没有任意意义，而回视型眼跳数量信息在总眼跳数量信息中的占比越大，则表示标注员越不专注于标注图像中的待标注数据，因此该实施例可以通过计算有效眼跳率和将有效眼跳率与眼跳率阈值比较的方式判断标注数据是否合格，具体地，若有效眼跳率大于等于眼跳率阈值，则认为标注数据合格；若有效眼跳率小于眼跳率阈值，则认为标注数据不合格。该实施例的眼跳率阈值为预设值，本领域技术人员可以根据实际需要调节眼跳率阈值的大小。

在一些实施例中，回视型眼跳数量信息为回视型眼跳的数量，若当前眼跳的方向与上一次眼跳的方向的夹角大于90°，则认为该当前眼跳为回视型眼跳。如图3所示，图3中的箭头为眼跳的方向，图3中的D为当前眼跳，图3中的E为上一次眼跳，由于当前眼跳的方向与上一次眼跳的方向的夹角大于90°，因此认为当前眼跳为回视型眼跳。

在一些实施例中，条件信息包括眼动轨迹长度信息，预设条件为有效轨迹率大于等于预设的轨迹率阈值，有效轨迹率为有效轨迹长度信息与眼动轨迹长度信息的比值，有效轨迹长度信息为在一次图像数据标注过程中，位于标注数据区域信息内的眼动轨迹的总长度。该实施例的工作原理为：由于只有在眼睛注视位置主要集中在待标注数据上，才能准确地标出图像中的待标注数据，而在眼睛注视位置集中在待标注数据上时，眼跳产生的眼动轨迹也会位于标注数据区域信息内，因此若眼睛注视位置主要集中在待标注数据上，则有效轨迹长度信息在眼动轨迹长度信息中的占比大，因此该实施例可以通过计算有效轨迹率和将有效轨迹率与轨迹率阈值比较的方式判断标注数据是否合格，具体地，若有效轨迹率大于等于轨迹率阈值，则认为标注数据合格；若有效轨迹率小于轨迹率阈值，则认为标注数据不合格。该实施例的轨迹率阈值为预设值，本领域技术人员可以根据实际需要调节轨迹率阈值的大小，该实施例的轨迹率阈值优选为0.9。

在一些实施例中，条件信息包括眼动区域信息和总注视时间信息，预设条件为眼动区域信息与标注数据区域信息的实际交并比大于等于预设的交并比阈值且有效注视率大于等于预设的注视率阈值。由于该实施例的条件信息包括眼动区域信息和总注视时间信息，因此该实施例的预设条件需要包括眼动区域信息对应的条件和总注视时间信息对应的条件。

在一些实施例中，条件信息包括眼动区域信息、总注视时间信息和总眼跳数量信息，预设条件为实际交并比大于等于预设的交并比阈值、有效注视率大于等于预设的注视率阈值且有效眼跳率大于等于预设的眼跳率阈值。

在一些实施例中，条件信息包括眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息中的多个，则该条件信息对应的预设条件包括眼动区域信息对应的条件、总注视时间信息对应的条件、总眼跳数量信息对应的条件和眼动轨迹长度信息对应的条件中的多个，且条件信息包括的信息的数量等于预设条件包括的条件的数量。

在一些实施例中，条件信息包括眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息，预设条件为实际交并比大于等于预设的交并比阈值、有效注视率大于等于预设的注视率阈值、有效眼跳率大于等于预设的眼跳率阈值和有效轨迹率大于等于预设的轨迹率阈值中的任意三个。该实施例相当于在条件信息包括四个信息时，仅需要满足预设条件中的任意三个就可以认为标注数据合格。应当理解的是，本申请的条件信息可以为眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息的任意组合，因此本领域技术人员可以根据实际需要调整条件信息包括的信息和调整该条件信息对应的预设条件。

在一些实施例中，条件信息包括眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息中的任意一个或任意两个或任意三个，若根据该条件信息对应的预设条件判断得到标注数据不合格，则利用条件信息中的其他信息对应的条件对标注数据进行复核。由于该实施例利用条件信息中的其他信息对应的条件对标注数据进行复核，因此该实施例能够有效地减少出现对标注数据误判的情况。

由上可知，本申请提供的一种基于眼球追踪的数据标注质量检测方法，通过判断条件信息是否满足预设条件的方式判断标注数据是否合格，该方法相当于根据条件信息选择一个与该条件信息对应的审核标准对标准数据的质量进行检测，由于该审核标准为预先设定的，其不会受到人为因素的干扰，因此该方法能够有效地提高数据标注质量检测方法的准确度，且由于该方法无需通过人工复核的方式对标注数据的质量进行检测，因此相较于现有技术，该方法能够有效地提高数据标注质量检测方法的评估效率和降低数据标注质量检测方法的评估成本。

第二方面，请参照图4，图4为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器101和存储器102，处理器101和存储器102通过通信总线103和/或其他形式的连接机构（未标出）互连并相互通讯，存储器102存储有处理器101可执行的计算机可读取指令，当电子设备运行时，处理器101执行该计算机可读取指令，以执行时执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：S1、获取眼动信息，眼动信息为在一次图像数据标注过程中眼睛注视位置的变化信息；S2、根据眼动信息获取条件信息，条件信息包括眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息中的任意一个或多个；S3、根据条件信息是否满足预设条件判断标注数据是否合格。

第三方面，本申请实施例还提供一种计算机可读存储介质，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：S1、获取眼动信息，眼动信息为在一次图像数据标注过程中眼睛注视位置的变化信息；S2、根据眼动信息获取条件信息，条件信息包括眼动区域信息、总注视时间信息、总眼跳数量信息和眼动轨迹长度信息中的任意一个或多个；S3、根据条件信息是否满足预设条件判断标注数据是否合格。其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

由上可知，本申请提供的一种基于眼球追踪的数据标注质量检测方法、设备及介质，通过判断条件信息是否满足预设条件的方式判断标注数据是否合格，该方法相当于根据条件信息选择一个与该条件信息对应的审核标准对标准数据的质量进行检测，由于该审核标准为预先设定的，其不会受到人为因素的干扰，因此该方法能够有效地提高数据标注质量检测方法的准确度，且由于该方法无需通过人工复核的方式对标注数据的质量进行检测，因此相较于现有技术，该方法能够有效地提高数据标注质量检测方法的评估效率和降低数据标注质量检测方法的评估成本。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个机器人，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以上升至一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。