一种基于视觉的人体工作矫正系统

技术领域

本发明属于计算机视觉技术在智能医疗急救过程中进行动作分析应用技术领域，具体涉及一种基于视觉的人体工作矫正系统。

背景技术

随着互联网技术的发展，计算机视觉的作用日益凸显；其中，基于视频的人体动作比对分析已得到智能化监控等领域的关注，同样也可将其应用在医疗急救中；目前学习医疗急救知识主要采用讲解式，教学效果有限，并且学习到的急救知识，不容易得到规范性的验证，甚至有些说法为“救死扶伤做错，不如不救”，很多施以急救措施的人，也被质疑某些急救动作不规范，而险些对伤病者造成更大的威胁；有专家建议，不鼓励非专业人员和没有专业救护知识的人亲自上阵对伤病者进行抢救，最好是拨打急救电话，让专业人员抢救；但事实上，某些急救动作是现代文明社会所倡导的全民都要学习的基础急救技能。这些急救动作的推广，也是创建文明健康安全社会的一部分；为了普及医疗急救知识，学习医疗急救动作，完善医疗卫生系统，结合信息化社会发展方向，采用基于计算机视觉的方法，便能够为学习医疗急救知识的人提供实时动作检测，得到急救动作正确性与否的判断及动作矫正；对此，学习者只需要在摄像头前学习急救动作，就可以得到反馈的医疗急救动作矫正信息；计算机视觉作为获取信息的一种特殊方式，它的蓬勃发展为人体矫正分析提供了新的思路，成为解决上面问题的一种方式；例如在人机交互领域，计算机逐渐达到理解人类的行为动作、明白人类表达的思想，从而可以用更智能和便捷的方式与人类进行交流；在动作分析领域中，由老年人身体健康以及病人康复训练方面入手，逐渐可以分析老年人行动步态感知病症和对进行康复训练的病人进行动作标准评价与否的判断等；

目前所采用的人体实时动作矫正需要借助摄像头对训练者的动作进行分析，提取训练者的各项技术参数，例如各个主要肢体关节点位置，及其在运动过程中的速度，角速度等。或采用深度学习中的卷积神经网络模型来检测摄像头所捕获的人体关键点在图像中的位置，然后结合骨骼关节角度信息进行矫正；

由于医疗急救动作专业性更强，需要的矫正精度更高，因此难度更大，目前这类研究还存在一些空白，现有相似研究中一般采用特殊的摄像机Kinect或者红外摄像头，获取人体骨骼关键点，此类外部设备价格昂贵，而且对室内光照等方面的要求非常高，要想达到普及使用的地步还有很大研究空间，针对采用神经网络获取人体骨骼关键点，问题是骨骼数据获取方法、动作矫正过程以及动作细节的比对，在计算机视觉中，有一项极具困难的任务是获取人体骨骼数据，主要涉及问题有，图片中的人会存在遮挡、相互接触、服装或者体型差异等问题，再加上相机的试点和距离会对关节点的预测带来困难。因此在进行骨骼数据获取这项任务时，从本质上来说，应考虑的问题如下：首先，在每一个图片中都可能包含数量不确定的人，而且这些人会以各种尺寸出现在图片中的任意一个位置。其次，人与人之间的交互会产生复杂的空间推理，人与人之间的联系会非常繁琐。并且，针对人体姿态估计任务还应具有实时性。在动作矫正系统中，如何进行实时动作矫正、如何设定评价标准都是需要考虑的问题。而目前这类问题还没有得到良好的解决。

为解决上述问题，本申请中提出一种基于视觉的人体工作矫正系统。

发明内容

为解决上述背景技术中提出的问题。本发明提供了一种基于视觉的人体工作矫正系统，主要解决传统进行医疗急救存在的时效性问题，以及动作的规范性问题。该系统通过计算机视觉进行人体姿态估计进而得到人体骨骼关节点的信息，在对标准动作和待检测动作按照臂展进行预处理，然后进行实时动作矫正，即根据标准动作对应节肢对待检测动作关节点坐标进行预估，按照预估判断待检测动作标准与否并如何矫正的结果；在动作分析阶段，在标准视频动作和待检测视频动作对齐之后，通过相邻关节点之间形成的肢体，得到特征向量，再通过关节角度相似度和角度轨迹图获得动作比对分析结果。

为实现上述目的，本发明提供如下技术方案：一种基于视觉的人体工作矫正系统，该系统通过计算机视觉方法进行人体姿态估计，得到人体关节点信息，并根据待检测动作和标准动作人体对应关节点形成节肢轨迹的变化，进行实时动作矫正，为了有总体性动作分析结果，使用基于特征向量方法辅之以关节点角度相似度进行误差分析，以及用关节角度轨迹变化图直观表示运动过程，得到总体性评价，包括如下步骤：

S1-基于计算机视觉的智能医疗急救动作矫正方法，在人体姿态估计获得人体骨骼关节点的基础上进行动作矫正；

S2-构建医疗急救动作矫正的判断依据；

S3-人体动作矫正；

S4-动作比对分析。

作为本发明一种基于视觉的人体工作矫正系统优选的，还包括如下步骤：

S11-打开摄像头；

S12-标准动作采集；

S13-获得标准动作骨骼数据；

S121-待检测动作采集；

S131-获得待检测动作骨骼数据。

作为本发明一种基于视觉的人体工作矫正系统优选的，还包括如下步骤：

S21-对照标准动作肢体方向进行实时矫正；

S31-待检测动作实时动作矫正；

S211-待检测动作DTW对齐；

S311-基于特征向量的动作评价；

S41-动作评价。

与现有技术相比，本发明的有益效果是：通过计算机视觉方法进行人体姿态估计，得到人体关节点信息，然后，根据待检测动作和标准动作人体对应关节点形成节肢轨迹的变化，进行实时动作矫正；为了有总体性动作分析结果，使用基于特征向量方法辅之以关节点角度相似度进行误差分析，以及用关节角度轨迹变化图直观表示运动过程，得到总体性评价。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明的流程图；

图2为本发明的人体骨骼关节点示意图；

图3为本发明所采用的神经网络结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1、图2和图3所示；

一种基于视觉的人体工作矫正系统，该系统通过计算机视觉方法进行人体姿态估计，得到人体关节点信息，并根据待检测动作和标准动作人体对应关节点形成节肢轨迹的变化，进行实时动作矫正，为了有总体性动作分析结果，使用基于特征向量方法辅之以关节点角度相似度进行误差分析，以及用关节角度轨迹变化图直观表示运动过程，得到总体性评价，包括如下步骤：

S1-基于计算机视觉的智能医疗急救动作矫正方法，在人体姿态估计获得人体骨骼关节点的基础上进行动作矫正；

S2-构建医疗急救动作矫正的判断依据；

S3-人体动作矫正；

S4-动作比对分析。

其中：

(一)基于计算机视觉的智能医疗急救动作矫正方法，本发明在人体姿态估计获得人体骨骼关节点的基础上进行动作矫正。

对于采集到的视频序列经过神经网络，得到图像特征；

进一步地，这个特征作为第一个阶段第一个分支的输入，在第一个阶段中，网络会产生部位置信度图S

其中ρ

在之后的每一个阶段中，输入都是前一个阶段的每一个分支的预测结果和图像特征的联合，被一起用来产生最准确的预测，其可以表示为：

其中ρ

为了对网络敛散性进行判断，在预测评估和真实的图和域之间使用L2范式，例如在第t阶段，每一个阶段的两个分支的损失函数为：

其中

进一步地，本网络的整体目标为：

针对上述部位置信图，主要是通过图像中标注的二维关键点x

其中

进一步地，网络预测的精确结果是通过最大化将各个置信图都聚合在一起：

针对上述部分亲和域，对于图像中的p点，部分亲和域

其中，用x

对于肢体上的所有点集合满足：

0≤v·(P-x

其中，σ

进一步地，点p的部分亲和域的真实值是所有人在此点上的部分亲和域的平均值：

其中n

作为判断两个肢体是否相连的部分亲和域，判断的方式为：

P(u)＝(1-u)d

其中，d

接下来进行关节连接，根据置信图得到候选部位连线集合：

其中，

进一步地，用匈牙利算法得到最佳匹配：

其中，其中Ec是肢体类型c中进行匹配的权重，Zc是肢体类型c中的子集Z，Emn是得到的身体部位

最终优化问题可以表示为：

(二)构建医疗急救动作矫正的判断依据，具体的方法为：针对某一套医疗急救动作，包括标准动作和待检测动作，采集待检测者和示范者的身体骨骼关节点信息，且用坐标表示，连接相应关节点得到对应节肢，对标准动作和待检测动作按照臂展进行预处理，使两套动作各个关节点的位置大致对齐之后，根据标准动作对应节肢方向以及位置对待检测动作关节点形成的节肢方向以及位置进行预估，按照预估结果判断待检测动作标准与否。

(三)人体动作矫正，具体步骤为：

1、通过摄像头获取人体实时动作视频，利用计算机视觉的方法进行人体姿态估计，获取人体骨骼关键点信息；

2、基于获取的人体关节点信息，按照第(二)阶段所构建的动作矫正判断依据，可以概括为：

其中，

例如：

3、按照上面所述判断标准，当待检测动作的关节点与预估值的误差在容许范围内，则判定为符合标准动作。反之，当待检测动作不标准时，可根据关节点与预估值之间误差的符号(正/负)，判定待检测动作所偏离的方向，从而对待检测动作进行矫正提示。

4、针对上述所说矫正提示，因为肢体动作的复杂性，在人体主要肢体位置给予实时提示，其提示的内容贯穿整个矫正过程，通过采取实时矫正的策略，达到帧对帧的实时对比矫正。

(四)动作比对分析，具体步骤为：

1、按照第(三)阶段的矫正过程，在实时矫正的基础上，考虑到矫正系统的实用性，需要有综合性的评价，所述综合性评价如果单单针对关节骨骼坐标数据，则会仅仅因为待检测者和标准动作者由于体型不一，随着动作的变化而关节骨骼坐标变化，达不到有效比对分析。而特征向量中包含类别信息，据此采用基于特征向量的动作比对分析；

2、针对上述所采用的动作比对分析方法，首先针对不同的人做同一动作时，出现的动作快慢等问题，运用动态时间规整的方法将标准视频和待检测视频进行时序上的对齐；

3、按照第(三)阶段所得到的人体骨骼关节点信息，通过相邻关节点之间形成的肢体，得到特征向量，特征向量包含位置和方向信息，再通过关节角度相似度以及关节角度轨迹图获得动作比对分析结果。其中特征向量包含相邻关节形成肢体的方向信息以及位置信息，关节角度轨迹图和关节角度相似度主要是为了达到方便用户使用而采用的两种不同的直观表示运动过程中人体关节角度随时间变化的方式。具体内容为：对动作比对分析，因为骨骼坐标数据会因为人体形态和距离相机的位置出现变化，因此不能直接使用骨骼数据构建人体模型，考虑使用合适的特征向量进行建模。由于人体运动过程具有高自由度，而关节角度包含了丰富的运动信息，因此可以选择人体关节的向量夹角作为描述动作比对分析的主要依据。其判断依据可以表示为：

其中，v

通过误差分析得到量化结果，画出相应角度变化轨迹作为总体性评价的直观表现。

综上所述：通过上述两种不同评价方式，得到人体动作矫正的综合分析结果。

在一个可选的实施例中：一种基于视觉的人体工作矫正系统，还包括如下步骤：

S11-打开摄像头；

S12-标准动作采集；

S13-获得标准动作骨骼数据；

S121-待检测动作采集；

S131-获得待检测动作骨骼数据。

在一个可选的实施例中：一种基于视觉的人体工作矫正系统，还包括如下步骤：

S21-对照标准动作肢体方向进行实时矫正；

S31-待检测动作实时动作矫正；

S211-待检测动作DTW对齐；

S311-基于特征向量的动作评价；

S41-动作评价。

本发明借助多层迭代神经网络，采用部位置信图和部分亲和域预测人体骨骼关节以及肢体位置和方向，利用贪心算法推理得到人体姿态估计的结果，进而获得人体骨骼关节点的位置信息。关于动作序列可以看作是骨骼数据的集合，将比较两个动作序列的差异，看成比较动作序列中特征的不同；通过相邻关节形成肢体的方向，进行动作矫正。然后，利用动态时间规整方法进行动作时间序列对齐的基础上，基于特征向量，并结合余弦相似度判断动作相似性。最后，借助角度特征表示动作运动轨迹，得到整体性动作比对分析结果；在基于CNN获得人体骨骼数据的基础上，实现人体动作矫正。系统主要有以下功能，录取标准视频，其次按照标准动作进行人体动作矫正，最后进行人体动作分析比对。利用获取的骨骼数据，根据标准动作对应节肢对待检测动作关节点坐标进行预估，当待检测动作的肢体骨骼数据和节肢方向在容许范围内，则判断为符合标准动作，反之，则根据关节点与预估值之间的误差的符号(正/负)，根据待检测动作偏离的方向，实现动作矫正；在动作比对分析阶段，首先利用动态时间规整的方法将不同长度的时间序列进行对齐，然后按照基于特征向量的方式计算八个关节连接成的四肢关节角度，根据角度值得变化进行相似性评价。

本发明还提供了动作矫正判断依据。其内容为根据关节点的方向设置一定的容许误差，进行矫正。具体方法是根据标准动作对应节肢，对待检测动作关节点坐标进行预测。其中判断公式可以表示为：

其中，

例如：

进一步地，按照上面所述判断标准，当待检测动作的关节点与预估值的误差在容许范围内，则判定为符合标准动作。反之，当待检测动作不标准时，可根据关节点与预估值之间误差的符号(正/负)，判定待检测动作所偏离的方向，从而对待检测动作进行矫正提示。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。