掌桥专利:专业的专利平台
掌桥专利
首页

基于双端视频流的运动轨迹检测方法、装置及存储介质

文献发布时间:2023-06-19 19:30:30


基于双端视频流的运动轨迹检测方法、装置及存储介质

技术领域

本发明涉及视频检测技术领域,尤其涉及一种基于双端视频流的运动轨迹检测的方法、装置、电子设备及计算机可读存储介质。

背景技术

目前,线上运动的热度逐年升高,除了传统的预制视频课程外,各个厂家还推出了线上直播课程以及相应的AIOT设备,例如健身镜等,在录播课程和直播课程的基础上,通过相关设备增加对用户动作的基础判断和点评,从而帮助用户完成运动的训练、学习及复习等。

但是,现有业内运动产品仍存在的明显的缺点和不足,例如,设备限制,用户必须使用固定厂商的设备才可进行相关运动课程学习,如健身镜等,设备的适用范围受限;此外,场景限制,用户必须依靠安装设备下的固定场景才可进行后续操作,导致灵活性差;以及平台限制,用户仅可使用当前厂商下的平台,无法兼顾功能及其他平台功能及课程,上述缺陷均会使得用户的运动体验效果较差。

发明内容

本发明提供一种基于双端视频流的运动轨迹检测方法、装置、电子设备及计算机可读存储介质,其主要目的在于提高基于双端视频流的运动轨迹检测的灵活性及便捷性。

为实现上述目的,本发明提供的一种基于双端视频流的运动轨迹检测方法,包括:

基于移动终端的第一摄像装置捕捉用户运动画面信息,以及基于所述移动终端的第二摄像装置捕捉运动教学视频;所述第一摄像装置和所述第二摄像装置分别采集所述移动终端的前后对称两侧的画面;

基于所述用户运动画面信息,确定用户运动轨迹,以及基于所述运动教学视频,确定运动教学轨迹;

按照预设采样频率,获取所述用户运动轨迹的第一动作序列,以及获取所述运动教学轨迹的第二动作序列;

对所述第一动作序列及所述第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度;

基于所述重合度确定所述用户运动轨迹的动作标准程度。

此外,可选的技术方案是,获取所述用户运动轨迹的第一动作序列,包括:按照所述预设频率,获取所述用户运动轨迹的第一帧图片;

获取预设时间内的所有第一帧图片的第一人体姿态关键点;

基于所述第一人体姿态关键点,获取位于同一张所述第一帧图片内中的预设第一人体姿态关键点之间的第一角度信息;

基于所述第一角度信息确定所述第一动作序列。

此外,可选的技术方案是,获取所述运动教学轨迹的第二动作序列,包括:按照所述预设频率,获取所述运动教学轨迹的第二帧图片;

获取所述预设时间内的所有第二帧图片的第二人体姿态关键点;

基于所述第二人体姿态关键点,获取位于同一张所述第二帧图片中的预设第二人体姿态关键点之间的第二角度信息;

基于所述第二角度信息确定所述第二动作序列。

此外,可选的技术方案是,对所述第一动作序列及所述第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度,包括:

在所述第一帧图片和所述第二帧图片上设置位置对应的预设区域;

获取所述预设区域内所述第一动作序列与所述第二动作序列中相同位置处的第一角度信息和第二角度信息之间的相似度;

基于所述相似度确定所述重合度。

此外,可选的技术方案是,所述相似度的获取公式为:

其中,S表示所述相似度,W表示每个角度对应的权重阈值,W=[w

此外,可选的技术方案是,所述第一角度信息为所述预设时间内的所有预设第一人体姿态关键点之间的角度信息的平均值;

所述第二角度信息为所述预设时间内的所有预设第二人体姿态关键点之间的角度信息的平均值。

此外,可选的技术方案是,所述预设时间的范围为1s-3s。

为了解决上述问题,本发明还提供一种基于双端视频流的运动轨迹检测装置,所述装置包括:

双视频捕捉单元,用于基于移动终端的第一摄像装置捕捉用户运动画面信息,以及基于所述移动终端的第二摄像装置捕捉运动教学视频;所述第一摄像装置和所述第二摄像装置分别采集所述移动终端的前后对称两侧的画面;

轨迹确定单元,用于基于所述用户运动画面信息,确定用户运动轨迹,以及基于所述运动教学视频,确定运动教学轨迹;

动作序列获取单元,用于获取所述用户运动轨迹的第一动作序列,以及获取所述运动教学轨迹的第二动作序列;

重合度获取单元,用于对所述第一动作序列及所述第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度;

判定单元,用于基于所述重合度确定所述用户运动轨迹的动作标准程度。

为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:

存储器,存储至少一个指令;及

处理器,执行所述存储器中存储的指令以实现上述所述的基于双端视频流的运动轨迹检测方法。

为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于双端视频流的运动轨迹检测方法。

本发明实施例通过移动终端的第一摄像装置和第二摄像装置分别捕捉用户运动画面信息以及运动教学视频,然后据此来确定用户运动轨迹和远动教学轨迹,然后获得用户运动轨迹的第一动作序列,以及运动教学轨迹的第二动作序列,通过对预设时间内的第一动作序列及第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度,完成用户运动画面与标准运动教学视频之间的实时动作对比,可帮助用户完成训练、学习及复习。

附图说明

图1为本发明一实施例提供的基于双端视频流的运动轨迹检测方法的流程示意图;

图2为本发明一实施例提供的人体姿态关键点分布示意图;

图3为本发明一实施例提供的帧图片的角度示意图;

图4为本发明一实施例提供的基于双端视频流的运动轨迹检测装置的模块示意图;

图5为本发明一实施例提供的实现基于双端视频流的运动轨迹检测方法的电子设备的内部结构示意图;

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明提供一种基于双端视频流的运动轨迹检测方法。参照图1所示,为本发明一实施例提供的基于双端视频流的运动轨迹检测方法的流程示意图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。

在本实施例中,基于双端视频流的运动轨迹检测方法包括:

S100:基于移动终端的第一摄像装置捕捉用户运动画面信息,以及基于所述移动终端的第二摄像装置捕捉运动教学视频;所述第一摄像装置和所述第二摄像装置分别采集所述移动终端的前后对称两侧的画面。

S200:基于所述用户运动画面信息,确定用户运动轨迹,以及基于所述运动教学视频,确定运动教学轨迹。

S300:获取所述用户运动轨迹的第一动作序列,以及获取所述运动教学轨迹的第二动作序列。

S400:对所述第一动作序列及所述第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度。

S500:基于所述重合度确定所述用户运动轨迹的动作标准程度。

具体地,上述移动终端可以是用户的手机、平板等具有前置和后置摄像功能的电子设备,且第一摄像装置和第二摄像装置能够分别采集移动终端的前后对称两侧的画面,用户在自主选择运动教学视频内容之后,可通过移动终端的第二摄像装置拍摄运动教学视频中老师的动作姿态,同时通过移动终端的第一摄像装置获取用户跟随老师工作展现的用户运动画面信息,即用户的动作姿态,然后以第二摄像装置拍摄的信息为标准,可以对用户的运动标准程度进行判断、打分、评价等,以便提出优化建议,辅助用户及时了解自身运动情况,从而进行标准有效的运动训练。

其中,步骤S200:基于所述用户运动画面信息(或用于运动视频,下同),确定用户运动轨迹,以及基于所述运动教学视频,确定运动教学轨迹,主要是通过移动终端采集到的视频信息进行轨迹识别;此外,当教练或者用户去喝水或者暂时未出现在视频中时,即当未检测到视频中有人体存在的情况下,可删除相应的视频段,仅保留具有人体运动轨迹的内容,以减少视频数据的处理量。

在本发明的一个具体实施方式中,获取用户运动轨迹的第一动作序列,可进一步包括:

S310:按照预设频率,获取所述用户运动轨迹的第一帧图片;

S320:获取预设时间内的所有第一帧图片的第一人体姿态关键点;

S330:基于所述第一人体姿态关键点,获取位于同一张所述第一帧图片内中的预设第一人体姿态关键点之间的第一角度信息;

S340:基于第一角度信息确定第一运动序列。

对应地,获取运动教学轨迹的第二动作序列,可进一步包括:

S350:按照所述预设频率,获取所述运动教学轨迹的第二帧图片;

S360:获取预设时间内的所有第二帧图片的第二人体姿态关键点;

S370:基于所述第二人体姿态关键点,获取位于同一张所述第二帧图片中的预设第二人体姿态关键点之间的第二角度信息;

S380:基于第二角度信息确定所述第二运动序列。

具体地,假设一秒内具有24帧的帧图片,一秒可以作为一个动作序列,然后计算两个视频(用户运动视频和运动教学视频)中的动序列的分数,最终在运动结束时刻,可平均双方所有动作序列的分数,然后进行对比,如果差距较小则表明二者之间的重合度标较高,也可通过具体的数值对差距进行打分,便于用户更加直观的了解自己的运动情况。

其中,可根据两个视频获取对应的帧图片(即第一帧图片和第二帧图片),然后对预设时间内的帧图片进行融合获取对应的动作序列,然后对动作序列进行实时传输,即可完成对预设时间内的动作序列的对比。

作为具体示例,对第一动作序列及第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度,可进一步包括:

S410:在所述第一帧图片和所述第二帧图片上设置位置对应的预设区域;

S420:获取所述预设区域内所述第一动作序列与所述第二动作序列中相同位置处的第一角度信息和第二角度信息之间的相似度;

S430:基于所述相似度确定所述重合度。

具体地,在上述步骤S420中,第一角度信息可采用预设时间内的所有预设第一人体姿态关键点之间的角度信息的平均值,第二角度信息可采用预设时间内的所有预设第二人体姿态关键点之间的角度信息的平均值,据此可克服两个视频之间存在时间差的情况,然后整个运动过程可包括多个预设时间,进入可根据各预设时间内的重合度获取最终的用户运动的得分情况。

此外,在获取运动序列时,还可基于预设频率获取用户运动轨迹的一组第一帧图片,然后对预设时间内的所有第一帧图片进行融合,获融合后的融合图片,然后获取融合图片的第一人体姿态关键点及第一角度信息,基于第一角度信息确定具有特定角度的运动序列。

可知,本申请并不对获取运动序列的方式进行具体限制,能够最终获得该信息,以使用户运动轨迹与运动教学轨迹进行阐述比对皆可,作为示例,预设时间的范围可设置为1s-3s等,然后整个运动如果为40min,则运动序列为每隔1s-3s获取的一组运动序列。

此外,人体姿态关键点可以包括:鼻子,左眼,右眼,左耳,右耳,左肩,右肩,左手肘,右手肘,左手腕,右手腕,左胯关节,右胯关节,左膝盖,右膝盖,左脚踝,右脚踝等多种关键点,具体可根据运动的动作幅度或者锻炼部位进行灵活设置。

进而,上述中的角度可包括左手腕、左手肘及左肩之间连线的角度,左胯关节、左膝盖及左脚踝之间连线的角度,左耳、左眼及鼻子之间连线的角度,右手腕、右手肘及右肩之间连线的角度,右胯关节、右膝盖及右脚踝之间连线的角度,右耳、右眼及鼻子之间连线的角度等等。

具体地,图2示出了根据本发明实施例的人体姿态关键点分布图,图3示出了两个角度示例。

如图2和图3共同所示,在该实施例中,0-鼻子,1-左眼,2-右眼,3-左耳,4-右耳,5-左肩,6-右肩,7-左手肘,8-右手肘,9-左手腕,10-右手腕,11-左胯关节,12-右胯关节,13-左膝盖,14-右膝盖,15-左脚踝,16-右脚踝。

以左手腕、左手肘及左肩之间连线(9-7-5)的角度为例,给定9,7,5在对应帧图片中的像素位置,首先计算7至9的单位向量

其中,假设向量u和x轴正方向之间的夹角为α,向量v和x轴正方向之间的夹角为β,则有c

cosθ=cos(β-α)

=cosβcosα+sinβsinα

=c

以及,

sinθ=sin(β-α)

=sinβcosα-cosβsinα

=c

其中,坐标轴以7为原点,y轴为平行于帧图片高的方向,假设向量u平行于y轴,则针对图3中的示例1,假设

可知,如果sinθ<0,则

进而,相似度的获取公式为:

其中,S表示所述相似度,W表示每个角度对应的权重阈值,W=[w

上述相似度的取值范围为[-1,1],基于所述相似度确定所述重合度包括:当所述相似度小于0时,所述重合度为0;当所述相似度大于0时,所述重合度为100*S,上述S为整体相似度。

在本发明的另一具体实施方式中,除了考虑整体相似度的情况外,还可针对性的仅考虑帧图像的局部相似度,通过设定区间,当阈值不在设定区间内时,则可确定对应的点进行输出提醒,此时可以不输出得分,仅对设定区间内的第一角度信息和第二角度信息进行相似度计算并输出。

根据上述本发明的基于双端视频流的运动轨迹检测方法,能够对用户运动视频和运动教学视频进行完整或者局部的帧图片对比,进而获取用户运动轨迹与运动教学轨迹之间的重合度,最终根据重合度确定用户运动轨迹的动作标准程度,也可设定标准程度的阈值,当标准程度不符合对应的阈值时,可给予用户颜色或者声音的提醒,能够有效的兼顾个平台功能及课程,通过视频双采的方式,保证标准动作和用户动作实时同步,并实时数字化评价,对用户动作进行判断、打分、评价并提出优化建议。

如图4所示,是本发明基于双端视频流的运动轨迹检测装置的功能模块的示意图。

本发明所述基于双端视频流的运动轨迹检测装置100可以安装于电子设备中。根据实现的功能,所述基于双端视频流的运动轨迹检测装置可以包括双视频捕捉单元101、轨迹确定单元102、动作序列获取单元103、重合度获取单元104、判定单元105。本发所述单元也可以称之为模块,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。

在本实施例中,关于各模块/单元的功能如下:

双视频捕捉单元101,用于基于移动终端的第一摄像装置捕捉用户运动画面信息,以及基于所述移动终端的第二摄像装置捕捉运动教学视频;第一摄像装置和所述第二摄像装置分别采集所述移动终端的前后对称两侧的画面。

轨迹确定单元102,用于基于所述用户运动画面信息,确定用户运动轨迹,以及基于所述运动教学视频,确定运动教学轨迹;

动作序列获取单元103,用于获取所述用户运动轨迹的第一动作序列,以及获取所述运动教学轨迹的第二动作序列;

重合度获取单元104,用于对所述第一动作序列及所述第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度;

判定单元105,用于基于重合度确定所述用户运动轨迹的动作标准程度。

具体地,上述移动终端可以是用户的手机、平板等具有前置和后置摄像功能的电子设备,且第一摄像装置和第二摄像装置能够分别采集移动终端的前后对称两侧的画面,用户在自主选择运动教学视频内容之后,可通过移动终端的第二摄像装置拍摄运动教学视频中老师的动作姿态,同时通过移动终端的第一摄像装置获取用户跟随老师工作展现的用户运动画面信息,即用户的动作姿态,然后以第二摄像装置拍摄的信息为标准,可以对用户的运动标准程度进行判断、打分、评价等,以便提出优化建议,辅助用户及时了解自身运动情况,从而进行标准有效的运动训练。

其中,轨迹确定单元102:基于所述用户运动画面信息(或用于运动视频,下同),确定用户运动轨迹,以及基于所述运动教学视频,确定运动教学轨迹,主要是通过移动终端采集到的视频信息进行轨迹识别;此外,当教练或者用户去喝水或者暂时未出现在视频中时,即当未检测到视频中有人体存在的情况下,可删除相应的视频段,仅保留具有人体运动轨迹的内容,以减少视频数据的处理量。

在本发明的一个具体实施方式中,获取用户运动轨迹的第一动作序列,可进一步包括:

1、按照预设频率,获取所述用户运动轨迹的第一帧图片;

2、获取预设时间内的所有第一帧图片的第一人体姿态关键点;

3、基于所述第一人体姿态关键点,获取位于同一张所述第一帧图片内中的预设第一人体姿态关键点之间的第一角度信息;

4、基于第一角度信息确定第一运动序列。

对应地,获取运动教学轨迹的第二动作序列,可进一步包括:

5、按照所述预设频率,获取所述运动教学轨迹的第二帧图片;

6、获取预设时间内的所有第二帧图片的第二人体姿态关键点;

7、基于所述第二人体姿态关键点,获取位于同一张所述第二帧图片中的预设第二人体姿态关键点之间的第二角度信息;

8、基于第二角度信息确定所述第二运动序列。

具体地,假设一秒内具有24帧的帧图片,一秒可以作为一个动作序列,然后计算两个视频(用户运动视频和运动教学视频)中的动序列的分数,最终在运动结束时刻,可平均双方所有动作序列的分数,然后进行对比,如果差距较小则表明二者之间的重合度标较高,也可通过具体的数值对差距进行打分,便于用户更加直观的了解自己的运动情况。

其中,可根据两个视频获取对应的帧图片(即第一帧图片和第二帧图片),然后对预设时间内的帧图片进行融合获取对应的动作序列,然后对动作序列进行实时传输,即可完成对预设时间内的动作序列的对比。

作为具体示例,对第一动作序列及第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度,可进一步包括:

一、在所述第一帧图片和所述第二帧图片上设置位置对应的预设区域;

二、获取所述预设区域内所述第一动作序列与所述第二动作序列中相同位置处的第一角度信息和第二角度信息之间的相似度;

三、基于所述相似度确定所述重合度。

具体地,在上述步骤S420中,第一角度信息可采用预设时间内的所有预设第一人体姿态关键点之间的角度信息的平均值,第二角度信息可采用预设时间内的所有预设第二人体姿态关键点之间的角度信息的平均值,据此可克服两个视频之间存在时间差的情况,然后整个运动过程可包括多个预设时间,进入可根据各预设时间内的重合度获取最终的用户运动的得分情况。

此外,在获取运动序列时,还可基于预设频率获取用户运动轨迹的一组第一帧图片,然后对预设时间内的所有第一帧图片进行融合,获融合后的融合图片,然后获取融合图片的第一人体姿态关键点及第一角度信息,基于第一角度信息确定具有特定角度的运动序列。

可知,本申请并不对获取运动序列的方式进行具体限制,能够最终获得该信息,以使用户运动轨迹与运动教学轨迹进行阐述比对皆可,作为示例,预设时间的范围可设置为1s-3s等,然后整个运动如果为40min,则运动序列为每隔1s-3s获取的一组运动序列。

此外,人体姿态关键点可以包括:鼻子,左眼,右眼,左耳,右耳,左肩,右肩,左手肘,右手肘,左手腕,右手腕,左胯关节,右胯关节,左膝盖,右膝盖,左脚踝,右脚踝等多种关键点,具体可根据运动的动作幅度或者锻炼部位进行灵活设置。

进而,上述中的角度可包括左手腕、左手肘及左肩之间连线的角度,左胯关节、左膝盖及左脚踝之间连线的角度,左耳、左眼及鼻子之间连线的角度,右手腕、右手肘及右肩之间连线的角度,右胯关节、右膝盖及右脚踝之间连线的角度,右耳、右眼及鼻子之间连线的角度等等。

具体地,图2示出了根据本发明实施例的人体姿态关键点分布图,图3示出了两个角度示例。

如图2和图3共同所示,在该实施例中,0-鼻子,1-左眼,2-右眼,3-左耳,4-右耳,5-左肩,6-右肩,7-左手肘,8-右手肘,9-左手腕,10-右手腕,11-左胯关节,12-右胯关节,13-左膝盖,14-右膝盖,15-左脚踝,16-右脚踝。

以左手腕、左手肘及左肩之间连线(9-7-5)的角度为例,给定9,7,5在对应帧图片中的像素位置,首先计算7至9的单位向量

其中,假设向量u和x轴正方向之间的夹角为α,向量v和x轴正方向之间的夹角为β,则有c

cosθ=cos(β-α)

=cosβcosα+sinβsinα

=c

以及,

sinθ=sin(β-α)

=sinβcosα-cosβsinα

=c

其中,坐标轴以7为原点,y轴为平行于帧图片高的方向,假设向量u平行于y轴,则针对图3中的示例1,假设

可知,如果sinθ<0,则

进而,相似度的获取公式为:

其中,S表示所述相似度,W表示每个角度对应的权重阈值,W=[w

上述相似度的取值范围为[-1,1],基于所述相似度确定所述重合度包括:当所述相似度小于0时,所述重合度为0;当所述相似度大于0时,所述重合度为100*S,上述S为整体相似度。

在本发明的另一具体实施方式中,除了考虑整体相似度的情况外,还可针对性的仅考虑帧图像的局部相似度,通过设定区间,当阈值不在设定区间内时,则可确定对应的点进行输出提醒,此时可以不输出得分,仅对设定区间内的第一角度信息和第二角度信息进行相似度计算并输出。

根据上述本发明的基于双端视频流的运动轨迹检测方法,能够对用户运动视频和运动教学视频进行完整或者局部的帧图片对比,进而获取用户运动轨迹与运动教学轨迹之间的重合度,最终根据重合度确定用户运动轨迹的动作标准程度,也可设定标准程度的阈值,当标准程度不符合对应的阈值时,可给予用户颜色或者声音的提醒,能够有效的兼顾个平台功能及课程,通过视频双采的方式,保证标准动作和用户动作实时同步,并实时数字化评价,对用户动作进行判断、打分、评价并提出优化建议。

如图5所示,是本发明实现基于双端视频流的运动轨迹检测方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如基于双端视频流的运动轨迹检测程序12。

其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如基于双端视频流的运动轨迹检测程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如基于双端视频流的运动轨迹检测程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现存储器11以及至少一个处理器10等之间的连接通信。

图5仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图5示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。

例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。

进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的基于双端视频流的运动轨迹检测程序12是多个指令的组合,在所述处理器10中运行时,可以实现:

基于移动终端的第一摄像装置捕捉用户运动画面信息,以及基于所述移动终端的第二摄像装置捕捉运动教学视频;所述第一摄像装置和所述第二摄像装置分别采集所述移动终端的前后对称两侧的画面;

基于所述用户运动画面信息,确定用户运动轨迹,以及基于所述运动教学视频,确定运动教学轨迹;

按照预设采样频率,获取所述用户运动轨迹的第一动作序列,以及获取所述运动教学轨迹的第二动作序列;

对所述第一动作序列及所述第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度;

基于所述重合度确定所述用户运动轨迹的动作标准程度。

此外,可选的技术方案是,获取所述用户运动轨迹的第一动作序列,包括:按照所述预设频率,获取所述用户运动轨迹的第一帧图片;

获取预设时间内的所有第一帧图片的第一人体姿态关键点;

基于所述第一人体姿态关键点,获取位于同一张所述第一帧图片内中的预设第一人体姿态关键点之间的第一角度信息;

基于所述第一角度信息确定所述第一动作序列。

此外,可选的技术方案是,获取所述运动教学轨迹的第二动作序列,包括:按照所述预设频率,获取所述运动教学轨迹的第二帧图片;

获取所述预设时间内的所有第二帧图片的第二人体姿态关键点;

基于所述第二人体姿态关键点,获取位于同一张所述第二帧图片中的预设第二人体姿态关键点之间的第二角度信息;

基于所述第二角度信息确定所述第二动作序列。

此外,可选的技术方案是,对所述第一动作序列及所述第二动作序列进行比对,获取所述用户运动轨迹与所述运动教学轨迹之间的重合度,包括:

在所述第一帧图片和所述第二帧图片上设置位置对应的预设区域;

获取所述预设区域内所述第一动作序列与所述第二动作序列中相同位置处的第一角度信息和第二角度信息之间的相似度;

基于所述相似度确定所述重合度。

此外,可选的技术方案是,所述相似度的获取公式为:

其中,S表示所述相似度,W表示每个角度对应的权重阈值,W=[w

此外,可选的技术方案是,所述第一角度信息为所述预设时间内的所有预设第一人体姿态关键点之间的角度信息的平均值;

所述第二角度信息为所述预设时间内的所有预设第二人体姿态关键点之间的角度信息的平均值。

此外,可选的技术方案是,所述预设时间的范围为1s-3s。

具体地,所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。

进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。

在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。

因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

相关技术
  • 物体运动轨迹识别方法、装置、设备和存储介质
  • 运动轨迹规划方法及其装置、贴袋机和存储介质
  • 一种运动轨迹的生成方法、装置及存储介质
  • 运动能力检测的方法及装置、存储介质、处理器
  • 端对端语音识别方法、电子装置及计算机可读存储介质
  • 引体向上运动轨迹检测方法、装置、电子设备和存储介质
  • 一种运动轨迹检测方法、装置及其存储介质
技术分类

06120115936878