投掷动作测评方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种投掷动作测评方法、装置、电子设备及存储介质。

背景技术

投掷类的运动项目包括铅球、实心球、铁饼和标枪等。在测评投掷类运动时，通常采用人工的方式判定运动人员在投掷过程中是否存在动作违规。随着计算机视觉技术的快速发展，越来越多的视觉算法应用在投掷运动的动作检测中。

现有的基于计算机视觉的投掷动作测评，通常是基于目标检测结合规则算法的方案进行测评。这类解决方案首先通过人体姿态关键点检测算法获取人体的关键点信息，再通过目标检测算法获取投掷物位置以及投掷运动的边界框等信息，再确定人体关键点和投掷物间的位置关系，并基于预设阈值、获取的关键点信息、边界框信息和位置关系等，通过规则算法来判定投掷动作是否存在肩下投掷或向后投掷等违规动作。

然而采用现有的方案进行投掷动作测评时，会受人体关键点、投掷物或边界框等目标的检测结果不准确的影响，而导致投掷动作测评的准确度较低。

发明内容

本发明提供一种投掷动作测评方法、装置、电子设备及存储介质，用以解决现有技术中投掷动作测评的准确度较低的缺陷，实现提高投掷动作测评准确度的目的。

本发明提供一种投掷动作测评方法，包括：

获取图像序列，图像序列的各图像中包括待检测目标；

将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，出手图像为投掷物脱离待检测目标的初始时刻对应的图像；

将目标图像分别输入投掷识别模型中的手部识别模块和脚部识别模块，得到手部识别模块输出的手部动作分类得分，以及脚部识别模块输出的脚部动作分类得分；目标图像包括出手图像、图像序列中出手图像前第一预设数量的第一图像和图像序列中出手图像后第二预设数量的第二图像；

基于手部动作分类得分和脚部动作分类得分，对待检测目标的投掷动作进行测评。

根据本发明提供的一种投掷动作测评方法，将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，包括：

将图像序列中的至少一帧图像输入出手识别模块，通过出手识别模块，从第一帧图像开始，提取当前图像的图像特征，得到当前图像的第一特征向量；

基于当前图像的第一特征向量，确定当前图像对应的第一融合特征；

基于第一融合特征，确定当前图像的出手分类得分，直至确定出大于第一预设值的出手分类得分对应的图像，并将出手分类得分大于第一预设值的图像确定为出手图像。

根据本发明提供的一种投掷动作测评方法，基于当前图像的第一特征向量，确定当前图像对应的第一融合特征，包括：

将第一特征向量拆分为第一子特征向量和第二子特征向量；

在当前图像为非第一帧图像的情况下，将前一帧图像的第二子特征向量与当前图像的第一子特征向量进行拼接，得到当前图像对应的第一融合特征；

在当前图像为第一帧图像的情况下，将当前图像的第一子特征向量和零向量进行拼接，得到当前图像对应的第一融合特征。

根据本发明提供的一种投掷动作测评方法，将图像序列中的至少一帧图像输入出手识别模块，通过出手识别模块，从第一帧图像开始，提取当前图像的图像特征，得到当前图像的第一特征向量，包括：

将图像序列中的至少一帧图像输入投掷识别模型中的目标跟踪模块，得到目标跟踪模块输出的待检测目标的位置信息；

将图像序列中的至少一帧图像和各图像中的位置信息输入出手识别模块，通过出手识别模块对各图像进行裁剪，得到包括待检测目标的各第一子图像；

从第一帧第一子图像开始，提取当前第一子图像的图像特征，得到当前第一子图像的第一子图像特征向量，并将第一子图像特征向量确定为当前图像的第一特征向量。

根据本发明提供的一种投掷动作测评方法，将目标图像输入投掷识别模型中的手部识别模块，得到手部识别模块输出的手部动作分类得分，包括：

将目标图像输入手部识别模块，通过手部识别模块对目标图像中的待检测目标所在的图像区域进行裁剪，得到包括待检测目标的手部区域的第二子图像；

针对各第二子图像，提取第二子图像的图像特征，得到第二子图像的第二特征向量；

基于各第二特征向量，确定各第二子图像对应的第二融合特征；

基于各第二融合特征，确定图像序列对应的手部动作分类得分。

根据本发明提供的一种投掷动作测评方法，基于各第二特征向量，确定各第二子图像对应的第二融合特征，包括：

针对各第二特征向量，将第二特征向量拆分为第三子特征向量和第四子特征向量；

将第四子特征向量拆分为第五子特征向量和第六子特征向量；

针对各第二子图像，将第二子图像的第三子特征向量、前一帧第二子图像的第五子特征向量和后一帧第二子图像的第六子特征向量进行拼接，得到第二子图像对应的第二融合特征。

根据本发明提供的一种投掷动作测评方法，将目标图像输入投掷识别模型中的脚部识别模块，得到脚部识别模块输出的脚部动作分类得分，包括：

将目标图像输入脚部识别模块，通过脚部识别模块对目标图像中的待检测目标所在的图像区域进行裁剪，得到包括待检测目标的脚部区域的第三子图像；

针对各第三子图像，提取第三子图像的图像特征，得到第三子图像的第三特征向量；

基于各第三特征向量，确定各第三子图像对应的第三融合特征；

基于各第三融合特征，确定图像序列对应的脚部动作分类得分。

根据本发明提供的一种投掷动作测评方法，基于各第三特征向量，确定各第三子图像对应的第三融合特征，包括：

针对各第三特征向量，将第三特征向量拆分为第七子特征向量和第八子特征向量；

将第八子特征向量拆分为第九子特征向量和第十子特征向量；

针对各第三子图像，将第三子图像的第七子特征向量、前一帧第三子图像的第九子特征向量和后一帧第三子图像的第十子特征向量进行拼接，得到第三子图像对应的第三融合特征。

本发明还提供一种投掷动作测评装置，包括：

获取单元，用于获取图像序列，图像序列的各图像中包括待检测目标；

处理单元，用于将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，出手图像为投掷物脱离待检测目标的初始时刻对应的图像；

处理单元，还用于将目标图像分别输入投掷识别模型中的手部识别模块和脚部识别模块，得到手部识别模块输出的手部动作分类得分，以及脚部识别模块输出的脚部动作分类得分；目标图像包括出手图像、图像序列中出手图像前第一预设数量的第一图像和图像序列中出手图像后第二预设数量的第二图像；

测评单元，用于基于手部动作分类得分和脚部动作分类得分，对待检测目标的投掷动作进行测评。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种投掷动作测评方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一种投掷动作测评方法。

本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种投掷动作测评方法。

本发明提供一种投掷动作测评方法、装置、电子设备及存储介质，该方法基于图像序列和投掷识别模型，可以对图像中的待检测目标在投掷过程中的手部动作和脚步动作分别进行检测识别，能直接从图像得到手部动作分类得分和脚部动作分类得分，即直接得到手部动作是否违规和脚步动作是否违规的测评结果，没有过多的中间环节，无需先进行多目标检测，再基于多个目标检测的结果通过规则算法分析得出测评结果的多个步骤，实现了端到端的投掷动作测评，能避免目标检测结果的误差叠加规则算法的误差而产生的误差放大效应，降低测评结果错误的风险，提高测评准确度；同时，通过该方法能对手部动作和脚步动作实施更高精度的判断，可以得到是否单手投掷或双脚起跳等复杂违规动作的测评结果，进一步提高了测评的准确度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的投掷动作测评方法的流程示意图；

图2是本发明实施例提供的得到出手分类得分的示意图；

图3是本发明实施例提供的得到手部动作分类得分的示意图；

图4是本发明实施例提供的得到脚部动作分类得分的示意图；

图5是本发明实施例提供的投掷动作测评过程的示意框图；

图6是本发明实施例提供的投掷动作测评装置的结构示意图；

图7是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明中为描述的对象所编序号本身，例如“第一”，“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

随着体育运动的发展，投掷类的运动项目受到越来越多的关注。投掷运动过程中，投掷测评除了要对运动人员的投掷距离进行测评，还需要结合运动人员的投掷动作进行分析，例如，判定运动人员投掷时是否存在单手投掷或双脚起跳等违规行为。目前，大多数投掷动作测评都是通过人工主观判断是否发生违规行为，人工测评的方式效率较低，且受到光照、地面和测评人员业务水平等影响，容易产生误判。因此，迫切需要提出一种投掷动作测评方法，有效提升测评的准确度。

现有的基于人体关键点检测结合规则算法的投掷动作测评方法，通常是基于目标检测结合规则算法的方案进行测评。一方面，这类方法需要对多个目标分别进行目标检测，并基于多目标检测结果进行规则算法的分析和判断，才能得出测评结果。多个步骤中，每个步骤都会存在出现误差的风险，例如目标检测可能产生检测误差，规则算法设计的不合理也会导致规则算法误差产生，因此，该方式的误差放大效应风险较高，会导致测评的准确度较低。另一方面，该方法主要是通过确定人体关键点和投掷运动之间的距离，判断距离是否超过指定阈值，从而判断是否存在违规行为，这种方式通常仅可以识别一部分简单的违规动作，例如肩下投掷、向后投掷或脚出界等，无法测评单手投掷或双脚起跳等更复杂多样的违规行为，因此也会导致测评的准确度较低。

针对上述存在的问题，本发明实施例提供一种投掷动作测评方法，该方法是获取图像序列，图像序列的各图像中包括待检测目标；将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，出手图像为投掷物脱离待检测目标的初始时刻对应的图像；将目标图像分别输入投掷识别模型中的手部识别模块和脚部识别模块，得到手部识别模块输出的手部动作分类得分，以及脚部识别模块输出的脚部动作分类得分；目标图像包括出手图像、图像序列中出手图像前第一预设数量的第一图像和图像序列中出手图像后第二预设数量的第二图像；基于手部动作分类得分和脚部动作分类得分，对待检测目标的投掷动作进行测评。

这样，基于图像序列和投掷识别模型，可以对图像中的待检测目标在投掷过程中的手部动作和脚步动作分别进行检测，能直接从图像得到手部动作分类得分和脚部动作分类得分，即直接得到手部动作是否违规和脚步动作是否违规的测评结果，没有过多的中间环节，无需先进行多目标检测，再基于多个目标检测的结果通过规则算法分析得出测评结果的多个步骤，实现了端到端的投掷动作测评，能避免目标检测结果的误差叠加规则算法的误差而产生的误差放大效应，降低测评结果错误的风险，提高测评的准确度；同时，通过该方法能对手部动作和脚步动作实施更高精度的判断，可以得到是否单手投掷或双脚起跳等复杂违规动作的测评结果，能进一步提高测评的准确度。

下面结合图1至图5对本发明实施例提供的投掷动作测评方法进行描述。图1是本发明实施例提供的投掷动作测评方法的流程示意图，本发明实施例提供的投掷动作测评方法可适用于多种类型的投掷运动测评，如铅球和实心球等投掷运动。本方法的执行主体可以是摄像头、计算机、服务器、服务器集群或专门设计的投掷动作测评设备等电子设备，也可以是设置在该电子设备中的投掷动作测评装置，该投掷动作测评装置可以通过软件、硬件或两者的结合来实现。如图1所示，该投掷动作测评方法包括步骤110至步骤140。

步骤110，获取图像序列，图像序列的各图像中包括待检测目标。

具体地，可以通过摄像机或手机等图像采集装置获取图像序列，也可以通过接收输入的数据信息获取图像序列。例如，输入视频流信息，可以基于视频流信息得到至少两帧图像，各图像按照视频流中的时序排列，即可获取到图像序列。在获取图像序列时，可以是基于视频流信息进行抽帧得到图像序列。

图像序列中的图像例如可以是红绿蓝(Red Green Blue，RGB)三通道的图像。图像中包括的待检测目标可以是投掷投掷物的运动人员，也可以是其他的投掷投掷物的对象，待检测目标的数量可以为至少一个。

步骤120，将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，出手图像为投掷物脱离待检测目标的初始时刻对应的图像。

具体地，投掷识别模型可以是包括出手识别模块等模块的网络模型，其中，出手识别模块可以是包括网络结构层的神经网络。

示例性的，出手识别模块可以是基于初始出手识别模块进行训练得到的模块。初始出手识别模块可以包括卷积神经网络(Convolutional Neural Network，CNN)、时间移位模块(Temporal Shift Module，TSM)、循环神经网络(Recurrent Neural Networks，RNN)、长短期记忆(Long short-term memory，LSTM)神经网络和深度神经网络(Deep NeuralNetworks，DNN)等其中的至少一种神经网络。基于初始出手识别模块、样本图像序列以及样本图像序列对应的样本标签，可以训练得到出手识别模块。

出手图像可以理解为，在图像序列中投掷物脱离开待检测目标的瞬间所对应的图像帧。在投掷类运动的运动规则中，需要对运动人员投掷出手时刻的手部动作以及脚步动作进行违规判定，因此投掷物脱离开待检测目标的瞬间是判断动作是否违规的关键时刻。本步骤通过投掷识别模型中的出手识别模块，对图像序列中的至少一帧图像进行识别，可以确定出手图像。

示例性的，将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像。例如，可以将图像序列中包括的各图像按照时序逐帧输入投掷识别模型中的出手识别模块，逐帧确定当前输入的图像是否为出手图像；也可以将图像序列中包括的各图像均输入投掷识别模型中的出手识别模块，出手识别模块在各图像中确定出手图像。基于此，可以对图像序列中的至少一帧图像进行单帧(clip)级的出手动作检测。在确定出出手图像后，可以基于出手图像回溯待检测目标在投掷物出手瞬间的投掷动作，利于后续的图像识别和分类，能提高测评的准确度。

步骤130，将目标图像分别输入投掷识别模型中的手部识别模块和脚部识别模块，得到手部识别模块输出的手部动作分类得分，以及脚部识别模块输出的脚部动作分类得分；目标图像包括出手图像、图像序列中出手图像前第一预设数量的第一图像和图像序列中出手图像后第二预设数量的第二图像。

具体地，投掷识别模型还包括手部识别模块和脚部识别模块。手部识别模块和脚部识别模块均可以是包括网络结构层的神经网络，其中，手部识别模块可以是对待检测目标手部动作进行分类的模块，脚部识别模块可以是对待检测目标脚部动作进行分类的模块。

示例性的，手部识别模块和脚部识别模块均可以是基于初始识别模块进行训练得到的模块。初始识别模块可以包括卷积神经网络(Convolutional Neural Network，CNN)、时间移位模块(Temporal Shift Module，TSM)、循环神经网络(Recurrent NeuralNetworks，RNN)、长短期记忆(Long short-term memory，LSTM)神经网络和深度神经网络(Deep Neural Networks，DNN)等其中的至少一种神经网络。基于初始识别模块、手部样本图像以及手部样本图像对应的样本标签，可以训练得到手部识别模块；基于初始识别模块、脚部样本图像以及脚部样本图像对应的样本标签，可以训练得到脚部识别模块。

通过步骤120确定出手图像后，可以将出手图像、图像序列中出手图像前第一预设数量的第一图像和图像序列中出手图像后第二预设数量的第二图像确定为目标图像，其中第一预设数量和第二预设数量可以为任意正整数，且目标图像的总数量小于或等于图像序列中各图像的总数量。

将目标图像分别输入投掷识别模型中的手部识别模块和脚部识别模块，手部识别模块可以对输入的目标图像进行图像识别，并输出手部动作分类得分，该手部动作分类得分可以表征图像序列中待检测目标在投掷时的手部动作所属的分类，例如手部动作分类得分可以表征该投掷动作属于单手投掷的分类或非单手投掷的分类；脚部识别模块可以对输入的目标图像进行图像识别，并输出脚部动作分类得分，该脚部动作分类得分可以表征图像序列中待检测目标在投掷时的脚部动作所属的分类，例如脚部动作分类得分可以表征该投掷动作属于双脚起跳的分类或非双脚起跳的分类。

步骤140，基于手部动作分类得分和脚部动作分类得分，对待检测目标的投掷动作进行测评。

具体地，基于手部动作分类得分和脚部动作分类得分，对待检测目标的投掷动作进行测评时，可以是结合投掷运动项目的运动规则进行测评。

例如，铅球运动的运动规则中若规定双手投掷为违规，单手投掷为不违规，双脚起跳为违规，单脚起跳为不违规，则可以基于手部动作分类得分所表征的手部动作所属的分类、脚部动作分类得分所表征的脚部动作所属的分类并结合该运动规则，可以确定待检测目标的投掷动作是否存在违规。

本发明实施例提供的投掷动作测评方法，该方法基于图像序列和投掷识别模型，可以对图像中的待检测目标在投掷过程中的手部动作和脚步动作分别进行检测识别，能直接从图像得到手部动作分类得分和脚部动作分类得分，即直接得到手部动作是否违规和脚步动作是否违规的测评结果，没有过多的中间环节，无需先进行多目标检测，再基于多个目标检测的结果通过规则算法分析得出测评结果的多个步骤，实现了端到端的投掷动作测评，能避免目标检测结果的误差叠加规则算法的误差而产生的误差放大效应，降低测评结果错误的风险，提高测评准确度；同时，通过该方法能对手部动作和脚步动作实施更高精度的判断，可以得到是否单手投掷或双脚起跳等复杂违规动作的测评结果，进一步提高了测评的准确度。

示例性的，单帧的图像可以显示待检测目标在该图像中的投掷动作，从单帧图像中提取的图像特征仅可以表征该图像的空间特征，该空间特征不具有时序性，可以理解为，图像序列中各图像对应的图像特征之间不具有时间维度上的关联性。而待检测目标的投掷运动轨迹是由多个连贯的投掷动作组成，各投掷动作之间具有时序性。若基于具有时序关联性的多帧图像进行图像特征融合，则可以使各帧独立的空间特征之间产生时间维度上的关联，则基于融合后得到的融合特征进行预测和识别时，可以更准确地从投掷运动轨迹中确定出关注的单帧图像，可以理解为，基于融合特征通过出手识别模块的预测和识别，可以更准确地得到出手图像。

在一实施例中，将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，具体可以通过如下方式实现：

将图像序列中的至少一帧图像输入出手识别模块，通过出手识别模块，从第一帧图像开始，提取当前图像的图像特征，得到当前图像的第一特征向量；基于当前图像的第一特征向量，确定当前图像对应的第一融合特征；基于第一融合特征，确定当前图像的出手分类得分，直至确定出大于第一预设值的出手分类得分对应的图像，并将出手分类得分大于第一预设值的图像确定为出手图像。

具体地，第一帧图像即图像序列中在时序上为第一的图像。从第一帧图像开始，提取当前图像的图像特征，得到当前图像的第一特征向量，该第一特征向量即为表征当前图像的图像特征的特征向量。

例如，出手识别模块中包括二维卷积神经网络(2D Convolutional NeuralNetwork，2DCNN)，通过2DCNN可以提取输入的图像对应的图像特征，即得到当前图像的第一特征向量。在得到当前图像的第一特征向量后，可以基于该第一特征向量进行调整融合，得到第一融合特征。第一融合特征可以是当前图像和当前图像的前一帧图像在时序上和空间上进行关联后得到的联合特征，通过第一融合特征可以表征当前图像的时间特征和空间特征。

基于第一融合特征，确定当前图像的出手分类得分，直至确定出大于第一预设值的出手分类得分对应的图像，并将出手分类得分大于第一预设值的图像确定为出手图像。其中，第一预设值可以是用于对出手动作进行分类的阈值，具体是，可以判别当前图像中待检测目标的投掷动作是否为投掷物脱离开待检测目标的瞬间所对应投掷动作的判断阈值，第一预设值例如可以是0.5、0.6或0.9等任意数值，以第一预设值是0.5为例，若确定的当前图像的出手分类得分小于0.5则该当前图像不是出手图像，若确定的当前图像的出手分类得分大于或等于0.5则该当前图像是出手图像。

可选地，基于第一融合特征，确定当前图像的出手分类得分时，可以是通过出手识别模块中的分类层对第一融合特征进行计算，得到该当前图像的出手分类得分。

示例性的，可以是将图像序列中的图像逐帧输入出手识别模块，即输入一帧图像确定该图像是否为出手图像，若是出手图像则不再输入后续的图像进行确定，若不是出手图像则继续输入该图像的下一帧图像确定该图像是否为出手图像，直至确定出出手图像或输入所有的图像为止。若所有的图像中均没有确定出出手图像则可以确定该图像序列中不包括出手图像，可以输出该图像序列中不包括出手图像的结果。

示例性的，输入的当前图像为第一帧图像时，由于第一帧图像之前没有图像，则可以将从该第一帧图像提取的第一特征向量确定为该第一帧图像对应的第一融合特征。

在本实施例中，将图像序列中的至少一帧图像输入出手识别模块，通过出手识别模块，从第一帧图像开始，提取当前图像的图像特征，得到当前图像的第一特征向量；基于当前图像的第一特征向量，确定当前图像对应的第一融合特征；基于第一融合特征，确定当前图像的出手分类得分，直至确定出大于第一预设值的出手分类得分对应的图像，并将出手分类得分大于第一预设值的图像确定为出手图像。基于此，可以对各图像的图像特征进行适度融合，使得到的融合特征可以表征时间和空间的联合特征，基于该第一融合特征可以逐帧确定各图像是否为出手图像，在提高了确定出手图像的准确度的同时，还可以减少运算量和运算时间，提高了确定的效率。

示例性的，可以采用图像特征拆分以及特征拼接的方式确定当前图像对应的第一融合特征，以使得第一融合特征可以在时间和空间的维度表征当前图像的特征。

在一实施例中，基于当前图像的第一特征向量，确定当前图像对应的第一融合特征，具体可以通过如下方式实现：

将第一特征向量拆分为第一子特征向量和第二子特征向量；在当前图像为非第一帧图像的情况下，将前一帧图像的第二子特征向量与当前图像的第一子特征向量进行拼接，得到当前图像对应的第一融合特征；在当前图像为第一帧图像的情况下，将当前图像的第一子特征向量和零向量进行拼接，得到当前图像对应的第一融合特征。

具体地，将第一特征向量拆分为第一子特征向量和第二子特征向量，可以是通过算子对第一特征向量进行拆分，得到第一子特征向量和第二子特征向量。例如，通过split算子可以将128维的第一特征向量拆分为两个特征向量，分别为64维的第一子特征向量和64维的第二子特征向量。

示例性的，在当前图像为非第一帧图像的情况下，可以将前一帧图像的第二子特征向量与当前图像的第一子特征向量进行拼接操作(concat)，得到当前图像对应的第一融合特征，该第一融合特征的特征通道数为第二子特征向量和第一子特征向量的特征通道数之和。在当前图像为第一帧图像的情况下，可以将当前图像的第一子特征向量和零向量进行concat，得到当前图像对应的第一融合特征，可以理解为，对第一帧图像的第一子特征向量进行填零操作，得到的第一融合特征的特征通道数等于第一特征向量的特征通道数。对各图像进行上述的操作，可以理解为将第一特征向量进行拆分后，将得到的两部分特征向量中的一部分特征向量向前平移操作，与前一帧图像的一部分特征向量进行concat，得到时间和空间联合的第一融合特征。

示例性的，出手识别模块可以包括2DCNN网络层和单向TSM网络层，通过该出手识别模块可以确定当前图像的出手分类得分，即可以确定当前图像是否为出手图像。

图2是本发明实施例提供的得到出手分类得分的示意图，如图2所示，针对图像序列中的各图像，将当前图像输入2DCNN网络层可以对当前图像进行图像特征提取，得到当前图像的第一特征向量，将第一特征向量拆分为第一子特征向量和第二子特征向量，通过单向TSM可以将前一帧图像的第二子特征向量沿时序向前传递(channels that shiftforward in TSM)，与当前图像的第一子特征向量进行拼接得到当前图像对应的第一融合特征，将该第一融合特征输入2DCNN网络层进行卷积运算，并将运算后得到的特征输入分类层，即可得到该当前图像的分类得分(Class score)，即得到出手分类得分，基于各图像对应的出手分类得分可以确定出手图像。

值得注意的是，对图像进行图像特征提取并进行特征传递拼接可以是出手识别模块中的一个块(block)的2DCNN网络层和单向TSM网络层进行的操作。出手识别模块中可以包括至少一个block，各block均可以包括2DCNN网络层和单向TSM网络层，前一个block得到的第一融合特征可以输入下一个block，通过多次重复的特征提取和特征拼接，可以得到准确度更高的第一融合特征。

示例性的，如图2所示，基于初始出手识别模块进行训练得到出手识别模块时，初始出手识别模块的输入为样本图像序列，假设样本图像序列的大小为T*3*H*W，其中，T表示样本图像序列中样本图像的数量，3表示样本图像的RGB通道为三通道，H表示样本图像的图高，W表示样本图像的图宽。以图2中的第N帧图像为例，将第N帧样本图像输入2DCNN网络提取图像特征，得到表征该样本图像的特征图，特征图即该样本图像对应的特征向量(feature)，假设特征图大小为T*C*h1*w1，其中，C表示特征通道数，h1表示特征图的图高，w1表示特征图的图宽。将该特征向量平均拆分为两份特征向量，一份保持不变，另一份用来在时序上进行前向平移操作得到具备时序信息的特征向量，两份特征向量的大小均为T*C/2*h1*w1，将第N帧图像的一份特征向量与第N-1帧图像的一份特征向量进行concat，得到时间和空间联合的融合特征向量，即第N帧图像的第一融合特征，则所有的第一融合特征的大小可以表示为T*C*h1*w1。对每帧样本图像进行与上述操作相同的处理，最终将各第一融合特征通过分类层得到各样本图像对应的出手分类得分，将出手分类得分大于第一预设值的样本图像确定为样本出手图像。基于样本出手图像和样本图像序列对应的样本标签，对初始出手识别模块进行调参。基于上述方式迭代训练可以使初始出手识别模块学习样本中投掷动作的变化规律，使训练得到的出手识别模块的预测准确度更高。

在推理阶段，可以采用逐帧输入的方式，将图像序列中的图像逐帧输入出手识别模块。设图像的大小为3*H*W，其中，3表示图像的RGB通道为三通道，H表示图像的图高，W表示图像的图宽。通过2DCNN可以得到每一层的特征，即得到当前图像的第一特征向量，第一特征向量的大小表示为C*h1*w1，其中，C表示特征通道数，h1表示特征图的图高，w1表示特征图的图宽。将上一帧的后半部分特征保存，并传递给当前帧，当前帧的后半部分特征保存，并传递给下一帧，从而形成了时序上的特征传递。通过该方式，出手识别模块在推理阶段每次只需要处理当前图像对应的特征向量，无须处理多帧图像的特征向量，能提升运算效率，使投掷动作测评实现轻量化。

在本实施例中，通过对第一特征向量的拆分，可以得到表征图像的两部分特征向量，将前一帧图像的一部分特征向量与当前图像的一部分特征向量进行拼接，可以实现相邻两帧图像的图像特征交互融合，使相邻两帧图像在时序上产生关联，基于特征向量的传递，可以使出手识别模块更容易基于时序连续变化的各第一融合特征中，确定出大于第一预设值的出手分类得分，基于此，可以更准确地从投掷运动轨迹的各图像中确定出出手图像，提高确定的出手图像的准确度，进而可以提高投掷动作测评的准确度。

示例性的，为了使出手识别模块能从图像中提取到更有力表征待检测目标的第一特征向量，可以通过对图像中的待检测目标进行定位以及有针对性的图像裁剪等操作对图像进行预处理，对预处理后的图像进行特征提取，则可以得到表征力度更强的第一特征向量。

在一实施例中，将图像序列中的至少一帧图像输入出手识别模块，通过出手识别模块，从第一帧图像开始，提取当前图像的图像特征，得到当前图像的第一特征向量，具体可以通过如下方式实现：

将图像序列中的至少一帧图像输入投掷识别模型中的目标跟踪模块，得到目标跟踪模块输出的待检测目标的位置信息；将图像序列中的至少一帧图像和各图像中的位置信息输入出手识别模块，通过出手识别模块对各图像进行裁剪，得到包括待检测目标的各第一子图像；从第一帧第一子图像开始，提取当前第一子图像的图像特征，得到当前第一子图像的第一子图像特征向量，并将第一子图像特征向量确定为当前图像的第一特征向量。

具体地，投掷识别模型还包括目标跟踪模块，目标跟踪模块可以是能对图像中的预设目标进行位置检测的神经网络。例如，目标跟踪模块可以采用基于YOLOX的目标检测算法，以准确识别并得到待检测目标在图像中的位置信息。

示例性的，将图像序列中的至少一帧图像和各图像中的位置信息输入出手识别模块，通过出手识别模块对各图像进行裁剪，得到包括待检测目标的各第一子图像。例如，将图像以及该图像中待检测目标的位置信息输入出手识别模块，其中，位置信息可以包括待检测目标在图像中的位置坐标，出手识别模块基于待检测目标在图像中的位置坐标可以确定待检测目标的位置区域，基于该位置区域对目标所处的图像区域进行裁剪，以得到包括待检测目标的第一子图像。

可选地，在裁剪时，可以基于该待检测目标的位置区域进行适当外扩，以得到包括待检测目标及其周围的部分背景信息的第一子图像。例如，通过Opencv将图像调整(resize)为预设尺寸的第一子图像，例如resize为224*224像素的第一子图像，基于该第一子图像进行特征提取，得到第一子图像的第一子图像特征向量。相应地，可以从图像序列中的第一帧图像对应的第一子图像开始，提取当前第一子图像的图像特征，得到当前第一子图像的第一子图像特征向量，并将第一子图像特征向量确定为当前图像的第一特征向量。

在本实施例中，基于目标跟踪模块和出手识别模块可以对图像进行目标定位以及有针对性的图像裁剪等图像预处理操作，基于预处理得到的第一子图像进行特征提取，并将提取的第一子图像特征向量确定为当前图像的第一特征向量，可以提高第一特征向量的特征表征力度，基于该第一特征向量可以提高确定出手图像的准确度。

示例性的，与确定出手图像类似，从单帧图像提取的图像特征仅可以表征该图像的空间特征，不能表征该图像在时间维度上的特征信息，因此，通过手部识别模块得到手部动作分类得分时，使用融合了空间和时间两个维度特征信息的融合特征，可以更加准确地对当前图像中的投掷动作进行分类，即基于融合特征可以提高得到的手部动作分类得分的准确度。

在一实施例中，将目标图像输入投掷识别模型中的手部识别模块，得到手部识别模块输出的手部动作分类得分，具体可以通过如下方式实现：

将目标图像输入手部识别模块，通过手部识别模块对目标图像中的待检测目标所在的图像区域进行裁剪，得到包括待检测目标的手部区域的第二子图像；针对各第二子图像，提取第二子图像的图像特征，得到第二子图像的第二特征向量；基于各第二特征向量，确定各第二子图像对应的第二融合特征；基于各第二融合特征，确定图像序列对应的手部动作分类得分。

具体地，在得到出手图像后即可确定至少一帧目标图像。将各目标图像均输入手部识别模块，手部识别模块可以对各目标图像进行裁剪，以得到包括待检测目标的手部区域的第二子图像。例如，对目标图像进行图像裁剪，将裁剪得到的包括待检测目标上半身的图像确定为该目标图像的第二子图像，第二子图像的尺寸可以是预设的图像尺寸，可根据手部识别模块的图像尺寸需求而确定。

手部识别模块中可以包括2DCNN网络层，将第二子图像输入2DCNN网络层可以提取各第二子图像对应的图像特征，即得到第二子图像的第二特征向量。手部识别模块中还可以包括TSM网络层，通过TSM网络层可以对各第二子图像的第二特征向量进行特征融合，得到各第二子图像对应的第二融合特征，该第二融合特征可以是当前图像以及与当前图像时序相邻的图像在时序上和空间上进行关联后得到的联合特征，通过第二融合特征可以表征第二子图像的时间特征和空间特征。

其中，TSM网络层可以是双向TSM网络层，双向TSM网络层可以对当前图像的特征以及与当前图像相邻的前后两帧图像的特征进行特征融合，得到当前图像的融合特征；TSM网络层可以是单向TSM网络层，单向TSM网络层可以对当前图像的特征以及与当前图像相邻的前一帧图像或后一帧图像的特征进行特征融合，得到当前图像的融合特征。基于双向TSM网络层得到的融合特征表征的时间特征信息更丰富，适于对连贯性的投掷动作进行表征。

基于各第二融合特征，确定图像序列对应的手部动作分类得分时，可以是将各第二融合特征进行特征拼接，以得到拼接后特征，将该拼接后特征输入手部动作分类层可以得到该图像序列对应的手部动作分类得分。

在本实施例中，将目标图像输入手部识别模块，通过手部识别模块对目标图像中的待检测目标所在的图像区域进行裁剪，得到包括待检测目标的手部区域的第二子图像；针对各第二子图像，提取第二子图像的图像特征，得到第二子图像的第二特征向量。这样，经过裁剪得到的第二子图像可以更有力度地表征待检测目标的手部区域的图像特征，提高第二特征向量的表征力。进一步地，基于各第二特征向量，得到各第二子图像对应的第二融合特征，可以使第二融合特征在空间和时间的维度上表征第二子图像的图像特征，基于各第二融合特征，确定图像序列对应的手部动作分类得分，则可以对图像序列中待检测目标的连贯性投掷轨迹进行综合的分析和识别，使得到的手部动作分类得分准确度更高。

示例性的，类似于上述实施例中得到第一融合特征的方式，可以采用图像特征拆分以及特征拼接的方式确定各第二子图像对应的第二融合特征，以使得第二融合特征可以在时间和空间的维度上表征第二子图像的图像特征。

在一实施例中，基于各第二特征向量，确定各第二子图像对应的第二融合特征，具体可以通过如下方式实现：

针对各第二特征向量，将第二特征向量拆分为第三子特征向量和第四子特征向量；将第四子特征向量拆分为第五子特征向量和第六子特征向量；针对各第二子图像，将第二子图像的第三子特征向量、前一帧第二子图像的第五子特征向量和后一帧第二子图像的第六子特征向量进行拼接，得到第二子图像对应的第二融合特征。

具体地，将第二特征向量拆分为第三子特征向量和第四子特征向量，可以是通过算子对第二特征向量进行拆分，得到第三子特征向量和第四子特征向量。例如，通过split算子可以将512维的第二特征向量拆分为两个特征向量，分别为256维的第三子特征向量和256维的第四子特征向量。将第四子特征向量拆分为第五子特征向量和第六子特征向量，可以是通过算子进行拆分，例如将256维的第四子特征向量拆分为128维的第五子特征向量和128维的第六子特征向量。

示例性的，针对各第二子图像，将第二子图像的第三子特征向量、前一帧第二子图像的第五子特征向量和后一帧第二子图像的第六子特征向量进行拼接，可以得到第二子图像对应的第二融合特征。

示例性的，手部识别模块可以包括2DCNN网络层和双向TSM网络层，通过2DCNN网络层可以提取第二子图像的第二特征向量，通过双向TSM网络层可以对各第二特征向量进行特征融合，得到各第二子图像对应的第二融合特征。

图3是本发明实施例提供的得到手部动作分类得分的示意图，如图3所述，针对各目标图像进行裁剪，将裁剪后得到的各第二子图像分别输入手部识别模块的2DCNN网络层进行图像特征提取，可以得到各第二特征向量。针对各第二子图像，将第二特征向量输入双向TSM网络层，可以对第二特征向量进行拆分，得到第三子特征向量、第五子特征向量和第六子特征向量。针对各第二子图像，将第二子图像的第三子特征向量、前一帧第二子图像的第五子特征向量和后一帧第二子图像的第六子特征向量进行拼接，得到第二子图像对应的第二融合特征。

需要说明的是，基于该方式进行特征拼接时，得到目标图像中第一帧目标图像的第二子图像对应的第二融合特征，可以是将该第一帧目标图像的第二子图像的第三子特征向量、零向量以及第二帧目标图像的第二子图像的第六子特征向量进行拼接；得到目标图像中最后一帧目标图像的第二子图像对应的第二融合特征，可以是将该最后一帧目标图像的第二子图像的第三子特征向量、倒数第二帧目标图像的第二子图像的第五子特征向量和零向量进行拼接。可以理解为，为避免在得到目标图像中的第一帧和最后一帧对应的第二子图像的第二融合特征时缺少第五子特征向量或第六子特征向量，可以采用填零的方式进行补充处理，以得到第一帧和最后一帧的第二子图像对应的第二融合特征。

示例性的，如图3所示，目标图像中包括出手图像在内共计有16帧图像，将各目标图片裁剪得到16帧第二子图像，图3中的第N+1帧即为出手图像对应的第二子图像。与图2类似，将各第二子图像先经过2DCNN网络层提取各帧的空间图像特征，即得到各第二特征向量。然后经过双向TSM模块对各第二特征向量进行拆分和特征平移交互。假设当前block中的第二特征向量大小为K*h2*w2，其中，K表示特征通道数，h2表示特征图的图高，w2表示特征图的图宽，特征图即特征向量。具体地，将当前帧第二子图像的大小为K/4*h2*w2的第五子特征向量传递给下一帧第二子图像，将当前帧第二子图像的大小为K/4*h2*w2的第六子特征向量传递给上一帧第二子图像，得到各第二子图像对应的第二融合特征。手部识别模块可以包括至少一个block，每个block均包括2DCNN网络层和双向TSM网络层，前一个block得到的第二融合特征可以输入下一个block进行卷积和通道传递操作，从而达到了在时间维度上进行卷积的效果，通过多次重复的特征提取和特征拼接，可以得到准确度更高的第二融合特征。

得到各第二融合特征后，将各第二融合特征进行Concat操作拼接整合，并通过全连接层(Fully Connected layer，FC)得到该图像序列对应的手部动作分类得分。例如，若手部动作分类得分为1，则判断为单手投掷违规。基于此，不仅有效地提取到图像序列的时空特征，并且无需增加时空卷积的复杂度，能提升算法运行的效率。

在本实施例中，针对各第二特征向量进行特征向量拆分以及特征向量的拼接，可以得到能在时间维度和空间维度上表征第二子图像的第二融合特征，基于表征力度更高的第二融合特征，在确定手部动作分类得分时可以提高确定的准确度。

示例性的，与确定手部动作分类得分类似，通过脚部识别模块得到脚部动作分类得分时，可以使用融合了空间和时间两个维度特征信息的第三融合特征，以提高得到的脚部动作分类得分的准确度。

在一实施例中，将目标图像输入投掷识别模型中的脚部识别模块，得到脚部识别模块输出的脚部动作分类得分，具体可以通过如下方式实现：

将目标图像输入脚部识别模块，通过脚部识别模块对目标图像中的待检测目标所在的图像区域进行裁剪，得到包括待检测目标的脚部区域的第三子图像；针对各第三子图像，提取第三子图像的图像特征，得到第三子图像的第三特征向量；基于各第三特征向量，确定各第三子图像对应的第三融合特征；基于各第三融合特征，确定图像序列对应的脚部动作分类得分。

具体地，在得到出手图像后即可确定至少一帧目标图像。将各目标图像均输入脚部识别模块，脚部识别模块可以对各目标图像进行裁剪，以得到包括待检测目标的脚部区域的第三子图像。例如，对目标图像进行图像裁剪，将裁剪得到的包括待检测目标下半身的图像确定为该目标图像的第三子图像，第三子图像的尺寸可以是预设的图像尺寸，可根据脚部识别模块的图像尺寸需求而确定。

脚部识别模块中可以包括2DCNN网络层，将第三子图像输入2DCNN网络层可以提取各第三子图像对应的图像特征，即得到第三子图像的第三特征向量。脚部识别模块中还可以包括TSM网络层，通过TSM网络层可以对各第三子图像的第三特征向量进行特征融合，得到各第三子图像对应的第三融合特征，该第三融合特征可以是当前图像以及与当前图像时序相邻的图像在时序上和空间上进行关联后得到的联合特征，通过第三融合特征可以表征第三子图像的时间特征和空间特征。

其中，TSM网络层可以是双向TSM网络层，双向TSM网络层可以对当前图像的特征以及与当前图像相邻的前后两帧图像的特征进行特征融合，得到当前图像的融合特征；TSM网络层可以是单向TSM网络层，单向TSM网络层可以对当前图像的特征以及与当前图像相邻的前一帧图像或后一帧图像的特征进行特征融合，得到当前图像的融合特征。基于双向TSM网络层得到的融合特征表征的时间特征信息更丰富，适于对连贯性的投掷动作进行表征。

基于各第三融合特征，确定图像序列对应的脚部动作分类得分时，可以是将各第三融合特征进行特征拼接，以得到拼接后特征，将该拼接后特征输入脚部动作分类层可以得到该图像序列对应的脚部动作分类得分。

在本实施例中，将目标图像输入脚部识别模块，通过脚部识别模块对目标图像中的待检测目标所在的图像区域进行裁剪，得到包括待检测目标的脚部区域的第三子图像；针对各第三子图像，提取第三子图像的图像特征，得到第三子图像的第三特征向量。这样，经过裁剪得到的第三子图像可以更有力度地表征待检测目标的脚部区域的图像特征，提高第三特征向量的表征力。进一步地，基于各第三特征向量，得到各第三子图像对应的第三融合特征，可以使第三融合特征在空间和时间的维度上表征第三子图像的图像特征，基于各第三融合特征，确定图像序列对应的脚部动作分类得分，则可以对图像序列中待检测目标的连贯性投掷轨迹进行综合的分析和识别，使得到的脚部动作分类得分准确度更高。

示例性的，类似于上述实施例中得到第二融合特征的方式，可以采用图像特征拆分以及特征拼接的方式确定各第三子图像对应的第三融合特征，以使得第三融合特征可以在时间和空间的维度上表征第三子图像的图像特征。

在一实施例中，基于各第三特征向量，确定各第三子图像对应的第三融合特征，具体可以通过如下方式实现：

针对各第三特征向量，将第三特征向量拆分为第七子特征向量和第八子特征向量；将第八子特征向量拆分为第九子特征向量和第十子特征向量；针对各第三子图像，将第三子图像的第七子特征向量、前一帧第三子图像的第九子特征向量和后一帧第三子图像的第十子特征向量进行拼接，得到第三子图像对应的第三融合特征。

具体地，将第三特征向量拆分为第七子特征向量和第八子特征向量，可以是通过算子对第三特征向量进行拆分，得到第七子特征向量和第八子特征向量。例如，通过split算子可以将512维的第三特征向量拆分为两个特征向量，分别为256维的第七子特征向量和256维的第八子特征向量。将第八子特征向量拆分为第九子特征向量和第十子特征向量，可以是通过算子进行拆分，例如将256维的第八子特征向量拆分为128维的第九子特征向量和128维的第十子特征向量。

示例性的，针对各第三子图像，将第三子图像的第七子特征向量、前一帧第三子图像的第九子特征向量和后一帧第三子图像的第十子特征向量进行拼接，可以得到第三子图像对应的第三融合特征。

示例性的，脚部识别模块可以包括2DCNN网络层和双向TSM网络层，通过2DCNN网络层可以提取第三子图像的第三特征向量，通过双向TSM网络层可以对各第三特征向量进行特征融合，得到各第三子图像对应的第三融合特征。

图4是本发明实施例提供的得到脚部动作分类得分的示意图，如图4所述，针对各目标图像进行裁剪，将裁剪后得到的各第三子图像分别输入脚部识别模块的2DCNN网络层进行图像特征提取，可以得到各第三特征向量。针对各第三子图像，将第三特征向量输入双向TSM网络层，可以对第三特征向量进行拆分，得到第七子特征向量、第九子特征向量和第十子特征向量。针对各第三子图像，将第三子图像的第七子特征向量、前一帧第三子图像的第九子特征向量和后一帧第三子图像的第十子特征向量进行拼接，得到第三子图像对应的第三融合特征。

需要说明的是，基于该方式进行特征拼接时，得到目标图像中第一帧目标图像的第三子图像对应的第三融合特征，可以是将该第一帧目标图像的第三子图像的第七子特征向量、零向量以及第二帧目标图像的第三子图像的第十子特征向量进行拼接；得到目标图像中最后一帧目标图像的第三子图像对应的第三融合特征，可以是将该最后一帧目标图像的第三子图像的第七子特征向量、倒数第二帧目标图像的第三子图像的第九子特征向量和零向量进行拼接。可以理解为，为避免在得到目标图像中的第一帧和最后一帧对应的第三子图像的第三融合特征时缺少第九子特征向量或第十子特征向量，可以采用填零的方式进行补充处理，以得到第一帧和最后一帧的第三子图像对应的第三融合特征。

示例性的，如图4所示，目标图像中包括出手图像在内共计有16帧图像，将各目标图片裁剪得到16帧第三子图像。与图3类似，将各第三子图像先经过2DCNN网络层提取各帧的空间图像特征，即得到各第三特征向量。然后经过双向TSM模块对各第三特征向量进行拆分和特征平移交互。假设当前block中的第三特征向量大小为L*h3*w3，其中，L表示特征通道数，h3表示特征图的图高，w3表示特征图的图宽，特征图即特征向量。具体地，将当前帧第三子图像的大小为L/4*h3*w3的第九子特征向量传递给下一帧第三子图像，将当前帧第三子图像的大小为L/4*h3*w3的第十子特征向量传递给上一帧第三子图像，得到各第三子图像对应的第三融合特征。脚部识别模块可以包括至少一个block，每个block均包括2DCNN网络层和双向TSM网络层，前一个block得到的第三融合特征可以输入下一个block进行卷积和通道传递操作，从而达到了在时间维度上进行卷积的效果，通过多次重复的特征提取和特征拼接，可以得到准确度更高的第三融合特征。

得到各第三融合特征后，将各第三融合特征进行Concat操作拼接整合，并通过FC层得到该图像序列对应的脚部动作分类得分。例如，若脚部动作分类得分为1，则判断为双脚起跳违规。基于此，不仅有效地提取到图像序列的时空特征，并且无需增加时空卷积的复杂度，能提升算法运行的效率。

在本实施例中，通过对各第三特征向量进行拆分以及对拆分后得到的特征向量进行拼接，可以得到能在时间维度和空间维度上表征第三子图像的第三融合特征，基于表征力度更高的第三融合特征，在确定脚部动作分类得分时可以提高确定的准确度。

本发明方法可应用于机器视觉及体育测评领域，是基于纯机器视觉进行投掷动作违规识别的方法，可应用于基于纯视觉实现投掷运动违规识别的场景，该方法可以不依赖人工，只需普通的RGB摄像头，即可完成投掷运动的违规识别。

为了更详细描述本发明实施例提供的投掷动作测评方法，下面通过图5对一种具体的实现过程进行描述。图5是本发明实施例提供的投掷动作测评过程的示意框图，如图5所示，执行该方法的执行主体可以是加载有人体跟踪模块、出手识别模块、单手投掷违规识别模块和双脚起跳违规识别模块的违规识别评测系统，其中，人体跟踪模块可以执行上述目标跟踪模块的相关步骤；出手识别模块可以执行上述出手识别模块的相关步骤；单手投掷违规识别模块可以执行上述手部识别模块的相关步骤；双脚起跳违规识别模块可以执行上述脚部识别模块的相关步骤。

具体地，对于RGB摄像头采集到的视频图像序列，执行以下过程：首先通过人体跟踪模块对测试区域附近的人员执行跟踪，将人体框坐标和当前帧图像输入出手识别模块，该模块首先根据外扩的人体框坐标对图像进行裁剪，得到每帧人体局部区域图像，调用基于2DCNN+单向TSM的动作检测算法对运动人员进行端到端实时的出手识别。然后，对出手帧前后32帧进行人体局部区域裁剪，得到32帧连续的人体上半身和下半身图像。将人体上半身和下半身图像分别送入单手投掷违规识别模块和双脚起跳违规识别模块，调用基于2DCNN+双向TSM的动作检测算法，判断是否发生单手投掷违规或者起跳投掷违规行为。

在本实施例中，通过上述投掷动作测评过程，可以实现对运动人员投掷过程的高效率、轻量化和高准确度的动作检测，整个系统的成绩测评和违规检测可以实时进行。应用于投掷类运动项目的比赛或考试考核中时，通过图像到结果的端到端实时检测，可以更精准地判断违规行为，能大幅度提升比赛、考试和教学时的效率。

下面对本发明实施例提供的投掷动作测评装置进行描述，下文描述的投掷动作测评装置与上文描述的投掷动作测评方法可相互对应参照。

图6是本发明实施例提供的投掷动作测评装置的结构示意图，参照图6所示，投掷动作测评装置600包括：

获取单元610，用于获取图像序列，图像序列的各图像中包括待检测目标；处理单元620，用于将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，出手图像为投掷物脱离待检测目标的初始时刻对应的图像；处理单元620，还用于将目标图像分别输入投掷识别模型中的手部识别模块和脚部识别模块，得到手部识别模块输出的手部动作分类得分，以及脚部识别模块输出的脚部动作分类得分；目标图像包括出手图像、图像序列中出手图像前第一预设数量的第一图像和图像序列中出手图像后第二预设数量的第二图像；测评单元630，用于基于手部动作分类得分和脚部动作分类得分，对待检测目标的投掷动作进行测评。

在一种示例实施例中，处理单元620具体用于：将图像序列中的至少一帧图像输入出手识别模块，通过出手识别模块，从第一帧图像开始，提取当前图像的图像特征，得到当前图像的第一特征向量；基于当前图像的第一特征向量，确定当前图像对应的第一融合特征；基于第一融合特征，确定当前图像的出手分类得分，直至确定出大于第一预设值的出手分类得分对应的图像，并将出手分类得分大于第一预设值的图像确定为出手图像。

在一种示例实施例中，处理单元620具体用于：将第一特征向量拆分为第一子特征向量和第二子特征向量；在当前图像为非第一帧图像的情况下，将前一帧图像的第二子特征向量与当前图像的第一子特征向量进行拼接，得到当前图像对应的第一融合特征；在当前图像为第一帧图像的情况下，将当前图像的第一子特征向量和零向量进行拼接，得到当前图像对应的第一融合特征。

在一种示例实施例中，处理单元620具体用于：将图像序列中的至少一帧图像输入投掷识别模型中的目标跟踪模块，得到目标跟踪模块输出的待检测目标的位置信息；将图像序列中的至少一帧图像和各图像中的位置信息输入出手识别模块，通过出手识别模块对各图像进行裁剪，得到包括待检测目标的各第一子图像；从第一帧第一子图像开始，提取当前第一子图像的图像特征，得到当前第一子图像的第一子图像特征向量，并将第一子图像特征向量确定为当前图像的第一特征向量。

在一种示例实施例中，处理单元620具体用于：将目标图像输入手部识别模块，通过手部识别模块对目标图像中的待检测目标所在的图像区域进行裁剪，得到包括待检测目标的手部区域的第二子图像；针对各第二子图像，提取第二子图像的图像特征，得到第二子图像的第二特征向量；基于各第二特征向量，确定各第二子图像对应的第二融合特征；基于各第二融合特征，确定图像序列对应的手部动作分类得分。

在一种示例实施例中，处理单元620具体用于：针对各第二特征向量，将第二特征向量拆分为第三子特征向量和第四子特征向量；将第四子特征向量拆分为第五子特征向量和第六子特征向量；针对各第二子图像，将第二子图像的第三子特征向量、前一帧第二子图像的第五子特征向量和后一帧第二子图像的第六子特征向量进行拼接，得到第二子图像对应的第二融合特征。

在一种示例实施例中，处理单元620具体用于：将目标图像输入脚部识别模块，通过脚部识别模块对目标图像中的待检测目标所在的图像区域进行裁剪，得到包括待检测目标的脚部区域的第三子图像；针对各第三子图像，提取第三子图像的图像特征，得到第三子图像的第三特征向量；基于各第三特征向量，确定各第三子图像对应的第三融合特征；基于各第三融合特征，确定图像序列对应的脚部动作分类得分。

在一种示例实施例中，处理单元620具体用于：针对各第三特征向量，将第三特征向量拆分为第七子特征向量和第八子特征向量；将第八子特征向量拆分为第九子特征向量和第十子特征向量；针对各第三子图像，将第三子图像的第七子特征向量、前一帧第三子图像的第九子特征向量和后一帧第三子图像的第十子特征向量进行拼接，得到第三子图像对应的第三融合特征。

本实施例的装置，可以用于执行投掷动作测评方法侧实施例中任一实施例的方法，其具体实现过程和技术效果与投掷动作测评方法侧实施例中类似，具体可以参见投掷动作测评方法侧实施例中的详细介绍，此处不再赘述。

图7是本发明实施例提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行投掷动作测评方法，该方法包括：获取图像序列，图像序列的各图像中包括待检测目标；将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，出手图像为投掷物脱离待检测目标的初始时刻对应的图像；将目标图像分别输入投掷识别模型中的手部识别模块和脚部识别模块，得到手部识别模块输出的手部动作分类得分，以及脚部识别模块输出的脚部动作分类得分；目标图像包括出手图像、图像序列中出手图像前第一预设数量的第一图像和图像序列中出手图像后第二预设数量的第二图像；基于手部动作分类得分和脚部动作分类得分，对待检测目标的投掷动作进行测评。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的投掷动作测评方法，该方法包括：获取图像序列，图像序列的各图像中包括待检测目标；将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，出手图像为投掷物脱离待检测目标的初始时刻对应的图像；将目标图像分别输入投掷识别模型中的手部识别模块和脚部识别模块，得到手部识别模块输出的手部动作分类得分，以及脚部识别模块输出的脚部动作分类得分；目标图像包括出手图像、图像序列中出手图像前第一预设数量的第一图像和图像序列中出手图像后第二预设数量的第二图像；基于手部动作分类得分和脚部动作分类得分，对待检测目标的投掷动作进行测评。

又一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的投掷动作测评方法，该方法包括：获取图像序列，图像序列的各图像中包括待检测目标；将图像序列中的至少一帧图像输入投掷识别模型中的出手识别模块，得到出手识别模块输出的出手图像，出手图像为投掷物脱离待检测目标的初始时刻对应的图像；将目标图像分别输入投掷识别模型中的手部识别模块和脚部识别模块，得到手部识别模块输出的手部动作分类得分，以及脚部识别模块输出的脚部动作分类得分；目标图像包括出手图像、图像序列中出手图像前第一预设数量的第一图像和图像序列中出手图像后第二预设数量的第二图像；基于手部动作分类得分和脚部动作分类得分，对待检测目标的投掷动作进行测评。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。