基于深度学习的运动计时方法、系统、存储介质及终端

技术领域

本发明涉及运动监测技术领域，尤其涉及一种基于深度学习的运动计时方法、系统、存储介质及终端。

背景技术

随着时代的发展和进步，人们对于健康和身体状况的关注越来越多，而运动成为了一种非常普遍的方式来保持健康。为了更好的监测运动效果，很多人选择了运动计时器来辅助运动。以跑步的计时方式为例，传统的运动计时器采用手动秒表，当发令枪响起时，工作人员开始计时。但这种方法不可避免地存在误差，因为手动计时很容易受到视觉判断和操作差错的影响，且需要多名计时员，劳动强度大。因此，这种传统的计时方法无法满足现代比赛的高精度要求。

现有技术中还采用红外线和采用红外线和光电等传感器设备进行计时，但这些设备存在一些问题，例如复杂的设备结构，难以进行布置和安装，昂贵的成本，以及无法回放测试结果的限制。

发明内容

基于此，有必要针对上述问题，提出了一种基于深度学习的运动计时方法、系统、存储介质及终端。

一种基于深度学习的运动计时方法，所述方法包括：

获取运动区域图像并标记运动区域。

根据所述运动区域图像确定最优人体骨骼坐标点，所述最优人体骨骼坐标点包括小腿骨骼坐标点。

根据所述小腿骨骼坐标点确定在所述运动区域内是否存在抢先运动。

确定不存在抢先运动，则根据所述小腿骨骼坐标点确定在所述运动区域内的最终运动时间和最终位置。

其中，所述根据所述运动区域图像确定最优人体骨骼坐标点，所述最优人体骨骼坐标点包括小腿骨骼坐标点，具体包括：

通过目标检测算法将所述运动区域图像划分为若干个网格单元。

每个所述网格单元输出a+b+3c个数值，其中，a为人体运动区域坐标点，b为网格置信度，3c为人体骨骼坐标点。

遍历若干个所述网格单元对应的所述网格置信度，确定所述网格置信度大于阈值时的最优网格置信度。

获取所述最优网格置信度对应的最优人体骨骼坐标点。

其中，所述根据所述小腿骨骼坐标点和所述矩形区域框坐标点确定在所述运动区域内是否存在抢先运动，具体包括：

根据所述小腿骨骼坐标点和所述运动区域内的起始基准线的接触情况，确定抢先运动时间。

确定所述抢先运动时间与预设运动时间的比较关系。

当所述抢先运动时间小于所述预设运动时间时，确定存在抢先运动。

当所述抢先运动时间大于所述预设运动时间时，确定不存在抢先运动。

其中，所述当所述抢先运动时间小于所述预设运动时间时，确定存在抢先运动，具体包括：

所述小腿骨骼坐标点由膝盖坐标点和脚踝坐标点连接构成。

确定存在抢先运动时，根据点多边形测试函数确定所述脚踝坐标点位于所述运动区域内的抢先运动位置并返回所述抢先运动时间和所述抢先运动位置。

其中，所述确定不存在抢先运动，则根据所述最优图像矩形区域框坐标点和小腿骨骼坐标点确定在所述运动区域内的最终运动时间和最终位置，具体包括：

确定所述运动区域内的起始基准线和所述小腿骨骼坐标点接触，获取此时的起始运动时间。

确定所述运动区域内的终止基准线和所述小腿骨骼坐标点接触，获取此时的终止运动时间。

根据所述终止运动时间与所述起始运动时间的差值确定所述最终运动时间。

根据点多边形测试函数确定所述脚踝坐标点位于所述运动区域内的最终运动位置并返回所述最终运动时间和最终运动位置。

其中，所述确定所述运动区域内的起始基准线和所述小腿骨骼坐标点接触需要同时满足

其中，所述确定所述运动区域内的终止基准线和所述小腿骨骼坐标点接触需要同时满足

一种基于深度学习的运动计时系统，所述系统包括：

运动区域图像获取模块，用于获取运动区域图像并标记运动区域。

坐标点确定模块，用于根据所述运动区域图像确定最优人体骨骼坐标点，所述最优人体骨骼坐标点包括小腿骨骼坐标点。

抢先运动确定模块，用于根据所述小腿骨骼坐标点确定在所述运动区域内是否存在抢先运动。

最终运动时间和最终位置确定模块，用于确定不存在抢先运动，则根据所述小腿骨骼坐标点确定在所述运动区域内的最终运动时间和最终位置。

一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述方法的步骤。

一种终端，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述方法的步骤。

采用本发明实施例，具有如下有益效果：

本发明提供的基于深度学习的运动计时方法通过获取最优人体骨骼坐标点，根据最优人体骨骼坐标点与运动区域的接触确定在运动区域内的最终运动时间和最终位置，实现自动计时，确保计时的有效性和公平性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1是本发明提供的基于深度学习的运动计时方法一实施例的流程示意图；

图2是本发明提供的运动区域图像一实施例的结构示意图；

图3是左小腿骨骼坐标点与起始基准线的向量表示示意图；

图4是左小腿骨骼坐标点与起始基准线的向量表示示意图；

图5是本发明提供的基于深度学习的运动计时方法另一实施例的流程示意图；

图6是本发明提供的基于深度学习的运动计时系统一实施例的结构示意图；

图7是本发明提供的终端的一实施例的结构示意图；

图8是本发明提供的存储介质的一实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1是本发明提供的基于深度学习的运动计时方法一实施例的流程示意图。一种基于深度学习的运动计时方法，方法包括：

S101：获取运动区域图像并标记运动区域。

在一个实施场景中，将两个摄像装置分别架设在运动区域内部的起始基准线和终止基准线的侧面，采集运动区域图像，对运动区域图像进行标记。具体地，如图2所示，图2是本发明提供的运动区域图像一实施例的结构示意图。获取跑道的运动区域图像，标记图像中跑道的起始基准线和终止基准线，对图像中的跑道标定12个点，其中，点1、2、3和4连成的区域和点7，8，9和10连成的区域代表第一跑道，点3、4、5和6连成的区域和点9、10、11、12连成的区域代表第二跑道，图2提供一种具有两条跑道的运动区域图像。

S102：根据运动区域图像确定最优人体骨骼坐标点，最优人体骨骼坐标点包括小腿骨骼坐标点。

在一个具体的实施场景中，通过yolov8s_pose关键点检测算法将运动图像区域划分为若干个网格单元，每个网格单元输出4+1+17×3个数值，其中，4代表运动员位于的坐标，1代表该网格有运动员的网格置信度，17×3代表人体骨骼坐标点。具体地，17代表人体骨骼关键点，3代表坐标(x，y，p)。其中，x为横坐标，y为纵坐标，p为属于该关键点的概率值。遍历若干个网格单元对应的网格置信度，当网格置信度大于阈值时，获取最优网格置信度，进而获取该最优网格置信度对应的人体骨骼坐标点。

需要说明的是，人体骨骼坐标点包括小腿骨骼坐标点、眉骨关键点、耳骨关键点、鼻骨关键点、肩膀骨骼关键点、手肘骨骼关键点、手腕骨骼关键点、臀部骨骼关键点。其中，小腿骨骼坐标点由膝盖坐标点和脚踝坐标点连接构成。

S103：根据小腿骨骼坐标点确定在运动区域内是否存在抢先运动。

在一个实施场景中，根据小腿骨骼坐标点与运动区域内起始基准线的接触情况，确定抢先运动的时间。具体地，小腿骨骼坐标点包括左小腿骨骼坐标点和右小腿骨骼坐标点，以左小腿骨骼坐标点为例，确定小腿骨骼坐标点是否与起始基准线接触。

起始基准线的起点坐标为A(L_X1，L_Y1)，起始基准线的终点坐标为B(L_X2，L_Y2)，左小腿骨骼坐标点的起点坐标为C(X1,Y1)，左小腿骨骼坐标点的起点坐标为D(X2，Y2)，以A点为参考点，同时连接点A和点C以及点A和点D，

即点C和点D分布在起点基准线AB两侧。

进一步地，以C为基准点，构造向量组：

即点A和点B分布在左小腿骨骼坐标点的向量表示两侧。

结合公式(1)和(2)可知，左小腿骨骼坐标点与起始基准线接触，获取此时的接触时间，记为抢先运动时间。当抢先运动时间小于预设运动时间时，确定存在抢先运动。

进一步地，小腿骨骼坐标点由膝盖坐标点和脚踝坐标点连接构成，当确定存在抢先运动时，根据点多边形测试函数确定脚踝坐标点位于运动区域内的抢先运动位置并返回抢先运动时间和抢先运动位置。

S104：确定不存在抢先运动，则根据最优小腿骨骼坐标点确定在运动区域内的最终运动时间和最终位置。

在一个具体的实施场景中，当抢先运动时间大于预设运动时间时，确定不存在抢先运动。通过公式(1)和(2)确定运动区域内的起始基准线和小腿骨骼坐标点接触，获取此时的接触时间，记为起始运动时间。进一步地，确定运动区域内的终止基准线和小腿骨骼坐标点接触。

具体地，终止基准线的起点坐标E(L_X3，L_Y3)，终止基准线的终点坐标F(L_X4，L_Y4)，以C为参考点，同时连接点C和点E以及点C和点F，构成一组向量表示：

即点E和点F分布在左小腿骨骼坐标点的向量表示两侧。

进一步地，以E为基准点，构造向量组：

即点C和点D分布在终止基准线的向量表示两侧。

同时满足公式(3)和(4)时，左小腿骨骼坐标点与终止基准线接触，获取此时的接触时间，记为终止运动时间，根据终止运动时间与起始运动时间的差值确定最终运动时间。

进一步地，根据点多边形测试函数确定脚踝坐标点位于运动区域内的最终运动位置并返回最终运动时间和最终运动位置。

通过上述描述可知，本发明提供的基于深度学习的运动计时方法通过获取最优人体骨骼坐标点，根据最优人体骨骼坐标点与运动区域的接触确定在运动区域内的最终运动时间和最终位置，实现自动计时，确保计时的有效性和公平性。

如图5所示，图5是本发明提供的基于深度学习的运动计时方法另一实施例的流程示意图。一种基于深度学习的运动计时方法，方法包括：

S201：获取运动区域图像并标记运动区域。

S202：根据运动区域图像确定最优人体骨骼坐标点，最优人体骨骼坐标点包括小腿骨骼坐标点。

S203：根据小腿骨骼坐标点和运动区域内的起始基准线的接触情况，确定抢先运动时间。

S204：确定抢先运动时间与预设运动时间的比较关系。

S2041：当抢先运动时间小于预设运动时间时，确定存在抢先运动。

S205：根据点多边形测试函数确定脚踝坐标点位于运动区域内的抢先运动位置并返回抢先运动时间和抢先运动位置。

需要说明的是，小腿骨骼坐标点由膝盖坐标点和脚踝坐标点连接构成。

S2042：当抢先运动时间大于预设运动时间时，确定不存在抢先运动。

S206：确定运动区域内的起始基准线和小腿骨骼坐标点接触，获取此时的起始运动时间。

S207：确定运动区域内的终止基准线和小腿骨骼坐标点接触，获取此时的终止运动时间。

S208：根据终止运动时间与起始运动时间的差值确定最终运动时间。

在一个实施场景中，本发明提供的基于深度学习的运动计时方法可以用于篮球往返计时，将两个摄像装置分别架设在运动区域内部的起点和往返点的侧面，采集篮球场的运动区域图像，对运动区域图像进行标记，并在该运动区域图像中进行运动区域的标定。具体地，测试人员从起点(起始基准线)出发，运球至指定地点后投篮，投中之后运球至往返点，再运球返回至指定点投篮，球投进后带球至终止基准线，结束计时计算总用时，计算成绩。将小腿骨骼坐标点与起点的接触时间作为起始运动时间，此时开始计时，将小腿骨骼坐标点与终止基准线的接触时间作为终止运动时间，此时结束计时。其中，还需要对与往返点接触的时间进行记录，并记录小腿骨骼坐标点与往返点的接触次数，一般设定接触次数为3次，到达3次时再进行小腿骨骼坐标点与终止基准线的接触判定，之后返回最后的终止运动时间，最终成绩由终止运动时间与起始运动时间的差值确定。确定最终成绩确定的步骤如S201-S207所示，需要说明的是，步骤S201-S207在图1所示的实施场景中已做具体论述，在此不再赘述。

在另一个实施场景中，本发明提供的基于深度学习的运动计时方法可以用于往返跑的计时，要求测试人员多次进行折返，将两个摄像装置分别架设在运动区域内部的起点和往返点的侧面，采集跑道的运动区域图像，在该运动区域图像中进行运动区域的标定。具体地，测试人员从运动区域内的起始基准线(起点)出发，记录起始运动时间t1，到达运动区域内的往返线后记录第一次往返时间t2，然后跑向起点完成第一次往返跑，记录此时接触起点的时间，记为起始运动时间，然后开始第二次往返跑，当其小腿骨骼坐标点与往返线再次接触时，取系统当前时间t4，然后再次向起点方向跑，与起点又接触时，取系统当前时间t5，此时完成第二次往返跑，以此类推可以得出后面三次往返跑的触线时间分别为t6，t7，t8，t9，t10，t11；当(触线次数-1)/2＝折返次数时，停止计时，最后一次与起点(终止基准线)接触时间为终止运动时间，即为t11，并提醒测试人员已完成测试，最终的往返总计时为t＝t11-t1，即终止运动时间-起始运动时间。确定最终成绩确定的步骤如S201-S207所示，需要说明的是，步骤S201-S207在图1所示的实施场景中已做具体论述，在此不再赘述。

S209：根据点多边形测试函数确定脚踝坐标点位于运动区域内的最终运动位置并返回最终运动时间和最终运动位置。

在一个实施场景中，小腿骨骼坐标点由膝盖坐标点和脚踝坐标点连接构成，通过点多边形测试函数判断脚踝坐标所在的跑道区域。

具体地，结合图2，在运动区域有两条跑道区域的情况下，在点多边形测试函数中输入第一跑道区域和需要测试的脚踝坐标点，当函数返回值为-1时，该脚踝坐标点不在第一跑道区域内，则继续输入第一跑道区域和需要测试的脚踝坐标点进行判断；当函数返回值为1时，该脚踝坐标点在第一跑道区域内；当函数返回值为0时，该脚踝坐标点在第一跑道区域上。

通过上述描述可知，本发明提供的基于深度学习的运动计时方法采用基于深度学习的yolov8s_pose关键点检测算法一次性检测出测试人员的最优人体骨骼关键点，通过小腿骨骼关键点与起始基准线和终止基准线的接触实现自动计时，满足了现代比赛的高精度要求，并且只需要将两个人工智能摄像头放在一个合适的位置，来获取运动区域图像，简化了设备结构和部署。

如图6所示，图6是本发明提供的基于深度学习的运动计时系统一实施例的结构示意图。一种基于深度学习的运动计时系统10，系统10包括：

运动区域图像获取模块11，用于获取运动区域图像并标记运动区域。

坐标点确定模块12，用于根据运动区域图像确定最优人体骨骼坐标点，最优人体骨骼坐标点包括小腿骨骼坐标点。

抢先运动确定模块13，用于根据小腿骨骼坐标点确定在运动区域内是否存在抢先运动。

最终运动时间和最终位置确定模块14，用于确定不存在抢先运动，则根据小腿骨骼坐标点确定在运动区域内的最终运动时间和最终位置。

在一个具体的实施场景中，在运动区域图像获取模块11中，通过将两个摄像装置分别架设在运动区域内部的起始基准线和终止基准线的侧面，采集运动区域图像，对运动区域图像进行标记。在坐标点确定模块12中，通过目标检测算法将运动区域图像划分为若干个网格单元，遍历若干个网格单元对应的网格置信度，确定网格置信度大于阈值时的最优网格置信度，进而获取最优网格置信度对应的最优人体骨骼坐标点。在抢先运动确定模块13中，根据小腿骨骼坐标点和运动区域内的起始基准线的接触情况，确定抢先运动时间，确定抢先运动时间与预设运动时间的比较关系，当抢先运动时间小于预设运动时间时，确定存在抢先运动，当抢先运动时间大于预设运动时间时，确定不存在抢先运动。在最终运动时间和最终位置确定模块14中，确定运动区域内的起始基准线和小腿骨骼坐标点接触，获取此时的起始运动时间，确定运动区域内的终止基准线和小腿骨骼坐标点接触，获取此时的终止运动时间，根据终止运动时间与起始运动时间的差值确定最终运动时间，根据点多边形测试函数确定脚踝坐标点位于运动区域内的最终运动位置并返回最终运动时间和最终运动位置。

请参阅图7，图7是本发明提供的终端的一实施例的结构示意图。终端20包括存储器21和处理器22。存储器21存储有计算机程序，处理器22在工作时执行该计算机程序以实现如图1和图5所示的方法。

关于上述终端20执行计算机程序时实现的一种基于深度学习的运动计时方法的具体技术细节已在上述方法步骤中详细论述，故此不做赘述。

请参阅图8，图8是本发明提供的存储介质的一实施例的结构示意图。存储介质30中存储至少由一个计算机程序31，计算机程序31被处理器22执行以实现如图1和图5所示的方法，详细的方法可参见上述，在此不再赘述。在一个实施例中，存储介质30可以是存储芯片、硬盘或者移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。

上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例提供的装置、设备、非易失性计算机可读存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。