一种物体追踪延时检测的方法、装置、电子设备及介质

技术领域

本发明实施例涉及物体追踪技术领域，尤其涉及一种物体追踪延时检测的方法、装置、电子设备及介质。

背景技术

随着虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)等技术的迅速发展，物体追踪技术日益受到关注。物体追踪技术主要用于追踪和分析人的视线，其准确度直接影响到应用效果。但传统的通过人为判定的方法评估以及标定物体追踪技术的精度可能存在主观性，而且精确度较低。

发明内容

本发明实施例提供一种物体追踪延时检测的方法、装置、电子设备及介质，以解决现有的通过人为判定的方法评估以及标定物体追踪技术存在主观性且精确度较低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种物体追踪延时检测的方法，包括：

获取第一视频和第二视频，所述第一视频为待追踪目标运动的视频，所述第二视频为追踪系统播放的目标画面的视频，所述追踪系统包括第一摄像头和显示装置，所述第一摄像头用于实时采集所述待追踪目标的视频；所述显示装置用于根据所述待追踪目标的视频实时生成目标画面并显示，所述目标画面能够指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述目标画面停止；

根据所述第一视频确定第一差分图像，所述第一差分图像为所述第一视频的相邻帧图像相减所构成的图像，以及，根据所述第二视频确定第二差分图像，所述第二差分图像为所述第二视频的相邻帧相减所构成的图像；

根据所述第一差分图像，确定所述待追踪物体运动停止时的第一时间；根据所述第二差分图像，确定所述目标画面停止时的第二时间；

根据所述第一时间和所述第二时间，确定所述待追踪物体运动停止和所述目标画面停止的延时误差。

可选的，所述获取第一视频和第二视频，包括：

获取第三视频数据，所述第三视频数据为第二摄像头实时采集到的包含所述待追踪目标和所述目标画面的视频；

对所述第三视频数据进行抽帧处理，得到目标帧图像；

将所述目标帧图像转化为灰度图；

识别所述灰度图的所述待追踪目标和所述目标画面，并提取所述待追踪目标所在区域的第一图像构成所述第一视频，提取所述目标画面所在区域的第二图像构成所述第二视频。

可选的，所述目标画面为黑白纹的波动，通过所述黑白纹的波动情况指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述黑白纹的波动停止。

可选的，所述根据所述第一视频确定第一差分图像，包括：

针对所述第一视频中的每帧图像，将当前帧图像和所述当前帧图像的上一帧图像相减，得到所述第一差分图像。

可选的，所述根据所述第二视频确定第二差分图像，包括：

针对所述第二视频中的每帧图像，将当前帧图像和所述当前帧图像的上一帧图像相减，得到所述第二差分图像。

可选的，根据所述第一差分图像，确定所述待追踪物体运动停止时的第一时间之前还包括：

对所述第一差分图像进行去噪处理，得到去噪后的第一差分图像；

根据所述第二差分图像，确定所述目标画面停止时的第二时间之前，还包括：

对所述第二差分图像进行去噪处理，得到去噪后的第二差分图像。

第二方面，本发明实施例提供了一种物体追踪延时检测的装置，包括：

获取模块，用于获取第一视频和第二视频，所述第一视频为待追踪目标运动的视频，所述第二视频为追踪系统播放的目标画面的视频，所述追踪系统包括第一摄像头和显示装置，所述第一摄像头用于实时采集所述待追踪目标的视频；所述显示装置用于根据所述待追踪目标的视频实时生成目标画面并显示，所述目标画面能够指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述目标画面停止；

第一处理模块，用于根据所述第一视频确定第一差分图像，所述第一差分图像为所述第一视频的相邻帧图像相减所构成的图像，以及，根据所述第二视频确定第二差分图像，所述第二差分图像为所述第二视频的相邻帧相减所构成的图像；

第二处理模块，用于根据所述第一差分图像，确定所述待追踪物体运动停止时的第一时间；根据所述第二差分图像，确定所述目标画面停止时的第二时间；

误差处理模块，用于根据所述第一时间和所述第二时间，确定所述待追踪物体运动停止和所述目标画面停止的延时误差。

可选的，所述第一获取模块，包括：

获取子模块，用于获取第三视频数据，所述第三视频数据为第二摄像头实时采集到的包含所述待追踪目标和所述目标画面的视频；

第一处理子模块，用于对所述第三视频数据进行抽帧处理，得到目标帧图像；

第二处理子模块，用于将所述目标帧图像转化为灰度图；

第三处理子模块，用于识别所述灰度图的所述待追踪目标和所述目标画面，并提取所述待追踪目标所在区域的第一图像构成所述第一视频，提取所述目标画面所在区域的第二图像构成所述第二视频。

可选的，所述目标画面为黑白纹的波动，通过所述黑白纹的波动情况指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述黑白纹的波动停止。

可选的，所述第一处理模块，包括：

第一差分图像处理子模块，用于针对所述第一视频中的每帧图像，将当前帧图像和所述当前帧图像的上一帧图像相减，得到所述第一差分图像。

可选的，所述第一处理模块，包括：

第二差分图像处理子模块，用于针对所述第二视频中的每帧图像，将当前帧图像和所述当前帧图像的上一帧图像相减，得到所述第二差分图像。

可选的，根据所述第一差分图像，确定所述待追踪物体运动停止时的第一时间之前还包括：

第一去噪模块，用于对所述第一差分图像进行去噪处理，得到去噪后的第一差分图像；

根据所述第二差分图像，确定所述目标画面停止时的第二时间之前，还包括：

第二去噪模块，用于对所述第二差分图像进行去噪处理，得到去噪后的第二差分图像。

第三方面，本发明实施例提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中任一项所述的物体追踪延时检测的方法中的步骤。

第四方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面中任一项所述的物体追踪延时检测的方法中的步骤。

在本发明中，获取待追踪目标运动的视频和追踪系统播放的目标画面的视频，所述目标画面能够指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述目标画面停止；通过根据所述第一视频的所述第一差分图像，确定所述待追踪物体运动停止时的第一时间；根据所述第二视频的所述第二差分图像，确定所述目标画面停止时的第二时间；通过计算所述第一时间和所述第二时间之间的差值，确定所述待追踪物体运动停止和所述目标画面停止的延时误差。结合了传统图像处理技术和现代机器学习方法，利用多种算法进行自动化检测，并分析出误差结果，确保误差测量的准确性，并提高效率，解决了现有的通过人为判定的方法评估以及标定物体追踪技术存在主观性且精确度较低的问题。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种物体追踪延时检测的方法的流程图；

图2是本发明实施例提供的一种物体追踪延时检测的方法的第一差分图像示意图；

图3是本发明实施例提供的一种物体追踪延时检测的方法的第二差分图像示意图；

图4是本发明实施例提供的一种物体追踪延时检测的方法的第三视频示意图；

图5是本发明实施例提供的一种物体追踪延时检测的方法的设备摆放位置示意图；

图6是本发明实施例提供的一种物体追踪延时检测的方法的数据处理流程图；

图7是本发明实施例提供的一种物体追踪延时检测的装置的结构示意图；

图8是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明实施例提供了一种物体追踪延时检测的方法，包括：

步骤11：获取第一视频和第二视频，所述第一视频为待追踪目标运动的视频，所述第二视频为追踪系统播放的目标画面的视频，所述追踪系统包括第一摄像头和显示装置，所述第一摄像头用于实时采集所述待追踪目标的视频；所述显示装置用于根据所述待追踪目标的视频实时生成目标画面并显示，所述目标画面能够指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述目标画面停止；

本发明实施例中，对所述追踪系统设置参数，具体包括：

眼神追踪算法参数，其中，追踪速度是眼神追踪算法中一个关键参数，所述追踪速度决定了追踪算法处理图像的速度；在高帧率拍摄的场景下，需要提高算法的计算资源以提高算法的处理速度，即可以通过使用多核处理器或者图形处理器(Graphics ProcessingUnit，GPU)进行并行计算来实现，同时，也可以通过优化算法的时间复杂度和空间复杂度来提高处理速度；例如，使用更高效的数据结构，如哈希表来存储和查找特征点，从而减少计算时间。

灵敏度，所述灵敏度决定了追踪系统对苏搜狐待追踪目标的敏感程度，可以通过调整算法中的距离计算方法、角度计算方法和速度计算方法实现。例如，使用加权平均法来计算距离，根据目标的大小和速度动态调整权重即可以根据目标的实际大小和速度，调整算法的灵敏度，使其能够更准确地追踪目标。

识别范围，所述识别范围可以根据实际应用场景来确定的，例如，在虚拟现实中，识别范围可以设置的更大；而在增强现实中，识别范围可以设置的较小。

3D显示现场可编程门阵列(Field Programmable Gate Array，FPGA)参数，其中，图像处理速度是3D显示效果的关键参数，它决定了图像的刷新速度，可以通过优化FPGA的硬件设计、提高时钟频率和使用更高效的算法来实现；例如，可以使用更高速的存储器，如DDR4，来提高数据处理速度。同时，也可以使用更高效的算法，如超分辨率技术，来提高图像的清晰度。

第一摄像头拍摄参数，其中，所述第一摄像头可以采用高速相机，像素大小和快门速度是影响所述第一摄像头拍摄的图像清晰度的重要因素；可以根据相机的分辨率和感光元件来选择合适的像素大小，例如：对于低光照环境，我们可以选择更大的像素大小，以提高图像的亮度和清晰度；可以根据移动速度调整快门速度，以避免图像模糊，例如：可以使用固定曝光时间或者可变曝光时间的方法，根据移动速度调整曝光时间。

所述待追踪目标运动时，使用精确的电机驱动系统来模拟移动的运动轨迹，同时可以使用步进电机等高精度驱动设备，然后通过编写远程控制程序来实现对待追踪目标的精确移动，在完成安装后还需要通过多次实验来确保驱动系统的精度和稳定性，其中，所述待追踪目标可以为设置有眼球的人头模型，用以模拟对真实人头移动的眼球追踪情况。

本发明实施例中，通过对所述追踪系统设置参数，提高所述追踪系统的追踪准确度，并增强环境适应性，有利于后续多种算法进行自动化记录追踪状况，并进行检测与分析，得到误差结果，确保误差测量的准确性。

步骤12：根据所述第一视频确定第一差分图像，所述第一差分图像为所述第一视频的相邻帧图像相减所构成的图像，以及，根据所述第二视频确定第二差分图像，所述第二差分图像为所述第二视频的相邻帧相减所构成的图像；

本发明实施例中，所述第一差分图像如图2所示，针对所述第一视频中的每帧图像，将当前帧图像和所述当前帧图像的上一帧图像相减，得到所述第一差分图像；所述第二差分图像如图3所示，针对所述第二视频中的每帧图像，将当前帧图像和所述当前帧图像的上一帧图像相减，得到所述第二差分图像；

即：diff＝abs(Image

其中，Image

将前后两帧的差分结果进行汇总，得到diff

本发明实施例中，通过获取视频并计算差分图像，通过算法自动化地获得待追踪目标的运动情况和追踪设备追踪所述待追踪目标获得的目标画面的播放情况，通过摄像头录制视频代替人眼人为判断追踪效果，有利于后续更精准的进行误差分析，提高误差测量的精准度和效率。

步骤13：根据所述第一差分图像，确定所述待追踪物体运动停止时的第一时间；根据所述第二差分图像，确定所述目标画面停止时的第二时间；

本发明实施例中，如图2和图3所示，所述第一差分图像和所述第二差分图像中，波动较为平缓的部分将被判定为所述待追踪物体运动停止时的第一时间和所述目标画面停止时的第二时间，通过算法自动化地获得待追踪目标的运动情况和追踪设备追踪所述待追踪目标获得的目标画面的停止情况，代替人眼人为判断追踪启停时间，有利于后续更精准的进行误差分析，提高误差测量的精准度和效率。

由于波动较为平缓部分仍有一些微小的抖动会被误判为运动，因此会对所述第一差分图像和所述第二差分图像进行去噪处理；

本发明实施例中，可选的，根据所述第一差分图像，确定所述待追踪物体运动停止时的第一时间之前还包括：

对所述第一差分图像进行去噪处理，得到去噪后的第一差分图像；

根据所述第二差分图像，确定所述目标画面停止时的第二时间之前，还包括：

对所述第二差分图像进行去噪处理，得到去噪后的第二差分图像

本发明实施例中，即对所述第一差分图像和所述第二差分图像设置差分图像阈值th；将前后两帧的差分结果进行汇总，得到diff

步骤14：根据所述第一时间和所述第二时间，确定所述待追踪物体运动停止和所述目标画面停止的延时误差。

本发明实施例中，所述第一时间为所述待追踪物体运动停止的时间，第二时间为所述追踪系统停止的时间，通常所述目标画面停止的时间会略晚于所述待追踪物体运动停止的时间，形成延时误差，因此通过计算所述第二时间和所述第一时间的差值，即可得到所述待追踪物体运动停止和所述目标画面停止的延时误差，对于后续的应用中可以通过调试设备减少所述延时误差，提高设备追踪的准确度。

本发明实施例中，获取待追踪目标运动的视频和追踪系统播放的目标画面的视频，所述目标画面能够指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述目标画面停止；通过根据所述第一视频的所述第一差分图像，确定所述待追踪物体运动停止时的第一时间；根据所述第二视频的所述第二差分图像，确定所述目标画面停止时的第二时间；通过计算所述第一时间和所述第二时间之间的差值，确定所述待追踪物体运动停止和所述目标画面停止的延时误差。结合了传统图像处理技术和现代机器学习方法，利用多种算法进行自动化检测，并分析出误差结果，确保误差测量的准确性，并提高效率，解决了现有的通过人为判定的方法评估以及标定物体追踪技术存在主观性且精确度较低的问题。

本发明实施例中，可选的，所述获取第一视频和第二视频，包括：

获取第三视频数据，所述第三视频数据为第二摄像头实时采集到的包含所述待追踪目标和所述目标画面的视频；

对所述第三视频数据进行抽帧处理，得到目标帧图像；

将所述目标帧图像转化为灰度图；

识别所述灰度图的所述待追踪目标和所述目标画面，并提取所述待追踪目标所在区域的第一图像构成所述第一视频，提取所述目标画面所在区域的第二图像构成所述第二视频。

本发明实施例中，所述第三视频数据如图4所示，所述第三视频数据为第二摄像头3实时采集到的包含所述待追踪目标1和所述追踪系统2追踪所述待追踪目标的目标画面，所述追踪系统包括第一摄像头21和显示装置22，所述第一摄像头21用于实时采集所述待追踪目标的视频；所述显示装置22用于根据所述待追踪目标的视频实时生成目标画面并显示，所述目标画面能够指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述目标画面停止；

其中，设备的布置如图5所示，其中，所述第一摄像头21和第二摄像头3采用具有高分辨率和高动态范围的摄像头，以便捕捉到清晰的图像并通过稳定的平台，如三脚架或云台，以保持摄像头的稳定；将所述第一摄像头和所述第二摄像头对准目标区域，然后调整摄像头的角度和焦距，以便捕捉到目标区域的完整信息，即同时包含所述待追踪目标1和所述追踪系统2追踪所述待追踪目标的目标画面；由于待追踪目标1需要移动，因此应保证所述第一摄像头21和第二摄像头3可以覆盖拍摄到待追踪目标1的全部移动范围；并控制所述待追踪目标1在不同方向上进行移动，保证所述追踪系统2的位置不变并且保存视频，这个过程可以重复多次，以确保数据的可靠性。

请参考图6，获取第三视频数据后，利用边缘检测算法，自动识别目标区域，即可以使用OpenCV库中的Canny函数或其他边缘检测算法来实现，具体包括：

对所述第三视频数据进行抽帧处理，得到目标帧图像；

将所述目标帧图像转化为灰度图；

对所述灰度图进行误差处理，即计算帧间绝对误差，并进行帧间误差二值化；

对所述误差处理后的图像去除图像噪声并膨胀去噪后的图像；

计算图像的误差值和，并进行自动化数据处理，得到所述待追踪目标1和所述追踪系统2追踪所述待追踪目标的目标画面的运动误差标识值和静止误差标识值；

根据所述运动误差标识值和所述静止误差标识值，计算得到粗略初始运动时间和结束运动时间点，自动化截取视频，应用边缘检测算法找到目标区域的轮廓；

输出精细判断所需的第一视频和第二视频；

其中，所述第一视频为待追踪目标运动的视频，请参考图2，所述待追踪目标可以设置为有眼球的人头模型，用以模拟对真实人头移动的眼球追踪情况；所述第二视频为追踪系统播放的目标画面的视频，所述目标画面能够指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述目标画面停止；所述目标画面可以设置为黑白纹的波动，通过所述黑白纹的波动情况指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述黑白纹的波动停止；所述第一时间为所述待追踪物体运动停止的时间，第二时间为所述追踪系统停止的时间，通常所述目标画面停止的时间会略晚于所述待追踪物体运动停止的时间，形成延时误差，因此通过计算所述第二时间和所述第一时间的差值，即可得到所述待追踪物体运动停止和所述目标画面停止的延时误差，对于后续的应用中可以通过调试设备减少所述延时误差，提高设备追踪的准确度。

请参考图7，本发明实施例提供了一种物体追踪延时检测的装置，包括：

获取模块71，用于获取第一视频和第二视频，所述第一视频为待追踪目标运动的视频，所述第二视频为追踪系统播放的目标画面的视频，所述追踪系统包括第一摄像头和显示装置，所述第一摄像头用于实时采集所述待追踪目标的视频；所述显示装置用于根据所述待追踪目标的视频实时生成目标画面并显示，所述目标画面能够指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述目标画面停止；

第一处理模块72，用于根据所述第一视频确定第一差分图像，所述第一差分图像为所述第一视频的相邻帧图像相减所构成的图像，以及，根据所述第二视频确定第二差分图像，所述第二差分图像为所述第二视频的相邻帧相减所构成的图像；

第二处理模块73，用于根据所述第一差分图像，确定所述待追踪物体运动停止时的第一时间；根据所述第二差分图像，确定所述目标画面停止时的第二时间；

误差处理模块74，用于根据所述第一时间和所述第二时间，确定所述待追踪物体运动停止和所述目标画面停止的延时误差。

本发明实施例中，可选的，所述第一获取模块，包括：

获取子模块，用于获取第三视频数据，所述第三视频数据为第二摄像头实时采集到的包含所述待追踪目标和所述目标画面的视频；

第一处理子模块，用于对所述第三视频数据进行抽帧处理，得到目标帧图像；

第二处理子模块，用于将所述目标帧图像转化为灰度图；

第三处理子模块，用于识别所述灰度图的所述待追踪目标和所述目标画面，并提取所述待追踪目标所在区域的第一图像构成所述第一视频，提取所述目标画面所在区域的第二图像构成所述第二视频。

本发明实施例中，可选的，所述目标画面为黑白纹的波动，通过所述黑白纹的波动情况指示所述待追踪目标的运动情况，当所述运动情况为所述待追踪目标停止运动时，所述黑白纹的波动停止。

本发明实施例中，可选的，所述第一处理模块，包括：

第一差分图像处理子模块，用于针对所述第一视频中的每帧图像，将当前帧图像和所述当前帧图像的上一帧图像相减，得到所述第一差分图像。

本发明实施例中，可选的，所述第一处理模块，包括：

第二差分图像处理子模块，用于针对所述第二视频中的每帧图像，将当前帧图像和所述当前帧图像的上一帧图像相减，得到所述第二差分图像。

本发明实施例中，可选的，根据所述第一差分图像，确定所述待追踪物体运动停止时的第一时间之前还包括：

第一去噪模块，用于对所述第一差分图像进行去噪处理，得到去噪后的第一差分图像；

根据所述第二差分图像，确定所述目标画面停止时的第二时间之前，还包括：

第二去噪模块，用于对所述第二差分图像进行去噪处理，得到去噪后的第二差分图像。

本发明实施例提供的物体追踪延时检测的装置能够实现图1的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例提供了一种电子设备80，参见图8所示，图8为本发明实施例电子设备80的原理框图，包括处理器81，存储器82及存储在存储器82上并可在处理器81上运行的程序或指令，程序或指令被处理器执行时实现本发明的任一项物体追踪延时检测的方法中的步骤。

本发明实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如上述任一项的物体追踪延时检测的方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可运动和非可运动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台服务分类设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。