一种手部跟踪方法、数据处理设备及头戴式设备

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种手部跟踪方法、数据处理设备及头戴式设备。

背景技术

手势识别技术能够通过识别用户手部的姿态以及动作实现基于手势的人机交互，而手跟踪技术是此类技术方案中不可或缺的一部分，随着计算机视觉的发展以及端侧算力的提升，视觉算法逐步拓展到各种端侧场景。VR作为一种新型的端侧计算设备，通过视觉算法可达到让人沉浸式的体验，同时VR设备对身体的交互提出了较高的需求，传统的VR设备通过手柄来完成人与机器的交互，随着深度学习的技术逐步成熟，3D裸手交互逐步拓展到该场景，并且会拓展到越来越多的交互设备端。

目前相关技术中实现目标跟踪主要有两方面的实现技术：一方面，可以是基于上一帧目标在图像中所占据的区域，通过算法给出当前帧目标可能的候选区域；然后，计算候选区域与上一帧目标所在区域的匹配程度(或其他评判标准，如颜色直方图分布等)，选取匹配程度最好的区域为当前帧目标的位置预测。另一方面，可以是对目标物体进行建模，然后寻找当前图像中与目标模型最接近的区域，之后再更新目标模型。

故目前的手部跟踪技术都是对目标所占据的区域进行跟踪，但是人的手因其复杂的形变和姿态变化、特征多样，前后帧之间的相关性较弱，区域跟踪难度大，并且其跟踪算法通常计算量大且算法逻辑复杂而导致手部跟踪响应滞后严重，降低了手势识别的精确度。

发明内容

本发明提供一种手部跟踪方法、数据处理设备及头戴式设备，用以解决现有的手部跟踪技术稳定性差，手部跟踪类别容易发生错误以及手部跟踪框质量不达标的问题。

为了解决上述技术问题，本发明公开了如下技术方案：

本发明提供了一种手部跟踪方法，包括检测框获取步骤，坐标获取步骤，误差优化步骤，跟踪框获取步骤，跟踪框检测步骤以及分类对比步骤。

所述检测框获取步骤是基于深度学习的全局检测模型轮询检测四目相机获取的手部检测框位置信息；所述坐标获取步骤是通过所述检测框获取手部图像，基于深度学习的骨骼模型预测所述手部图像中骨骼点信息，获取的包含所述手部图像坐标系下至少一个骨骼点的坐标；所述误差优化步骤是基于逆向运动学优化计算在头显IMU系下的pose

进一步地，所述检测框获取步骤的公式为：

handdet

其中，handdet

进一步地，所述坐标获取步骤的公式为：

handske

其中，handske

进一步地，所述误差优化步骤的公式为：

E＝∑|Ins

其中，E表示误差大小，pose

进一步地，所述跟踪框获取步骤的公式为：

handpro

TrackBox

TrackBox

其中，handpro

进一步地，所述跟踪框检测步骤的公式为：

localhanddet

其中，localhanddet

进一步地，所述分类对比步骤的公式为：

flag＝compare(handinfo

其中，flag表示对比结果，compare表示分类结果比对函数，handinfo

进一步地，所述跟踪框获取步骤还包括速度计算步骤，插值权重计算步骤以及位姿计算步骤。

所述速度计算步骤是根据手腕根节点沿着x轴，y轴，z轴三个方向运动的加速度，计算在t时刻手腕根节点速度，其公式为

Wrist

其中，Wrist

所述插值权重计算步骤是根据手腕根节点在t时刻的速度，计算pose

weight1＝(Ti

weight2＝(1+Wrist

weight＝weight1*weight2

其中，weight1表示前三个时刻的时间间隔比例权重，Ti

所述位姿计算步骤是计算t时刻的手部21个骨骼点在头显IMU系下的3D位姿，其公式为

pose

其中，pose

进一步地，所述跟踪框筛选函数具体包括占比计算步骤，比例计算步骤以及距离计算步骤。

所述占比计算步骤是计算不在所述图像范围内的骨骼点的占比；所述比例计算步骤是计算每节骨骼的长度比例；所述距离计算步骤是计算骨骼点的中心与所述跟踪框中心的距离。

进一步地，所述跟踪框检测步骤之后还包括融合步骤以及滤波步骤。

所述融合步骤是基于所述局部检测模型得到手部的局部坐标与所述跟踪框融合，其公式为

TrackBox

其中，TrackBox

所述滤波步骤是对所述融合框做滤波处理，其公式为

TrackBox

其中，TrackBox

本发明还提供一种数据处理设备，包括存储器以及处理器。所述存储器用以存储可执行程序代码；所述处理器用以读取所述可执行程序代码，以运行与所述可执行程序代码对应的计算机程序，以执行所述的手部跟踪方法中的至少一步骤。

本发明还提供一种头戴式设备，包括一多目相机，所述多目相机电连接至

所述数据处理设备。

与现有技术相比，本发明至少具备以下技术效果：

本发明提供了一种手部跟踪方法、数据处理设备及头戴式设备，本方法可以同时应用于其他的同类质的视觉算法，例如人脸、人眼等，通过四目鱼眼相机获取实时的3D手势pose

附图说明

下面结合附图和具体实施例，对本发明的技术方案进行详细的说明。

图1为本发明实施例所述的头戴式设备的电路结构图；

图2为本发明实施例所述的手部跟踪方法的流程图；

图3为本发明实施例所述的跟踪框获取步骤的流程图；

图4为本发明实施例所述的跟踪框筛选函数的流程图；

图5为本发明实施例所述的存储介质的结构示意图；

图6为本发明实施例所述的其他手部跟踪方法的跟踪低速MPJPA效果图；

图7为本发明实施例所述的手部跟踪方法的跟踪低速MPJPA效果图；

图8为本发明实施例所述的其他手部跟踪方法的跟踪高速MPJPA效果图；

图9为本发明实施例所述的手部跟踪方法的跟踪高速MPJPA效果图。

图中标识如下：

10数据处理设备，11存储器，12处理器，20头戴式设备，30四目相机。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种头戴式设备20，包括彼此电连接的四目相机30以及数据处理设备10，四目相机30用以实时获取用户手部的三维位姿，也就是3D手势pose

如图2所示，本发明还提供一种手部跟踪方法，包括步骤S1)检测框获取步骤，步骤S2)坐标获取步骤，步骤S3)误差优化步骤，步骤S4)跟踪框获取步骤，步骤S5)跟踪框检测步骤，步骤S6)融合步骤，步骤S7)滤波步骤以及步骤S8)分类对比步骤。

步骤S1)检测框获取步骤，基于深度学习的全局检测模型Det轮询检测四目相机获取的手部检测框位置信息，其公式为

handdet

其中，handdet

步骤S2)坐标获取步骤，通过所述检测框获取手部图像，基于深度学习的骨骼模型预测所述手部图像中骨骼点信息，获取的包含所述手部图像坐标系下至少一个骨骼点的坐标，优选的，本实施例中包含21骨骼点的坐标，其公式为

handske

其中，handske

步骤S3)误差优化步骤，基于逆向运动学优化计算在头显IMU系下pose

E＝∑|Ins

其中，E表示误差大小，pose

步骤S4)跟踪框获取步骤，将优化后的pose

handpro

TrackBox

TrackBox

其中，handpro

在本实施例中，所述计算框体函数cal用以获取骨骼点模型推理得到的21个骨骼点图像坐标，选取21个骨骼点图像坐标中坐标最大最小值作为矩形框体对角线的两个顶点，跟踪框筛选函数Select用以排除低质量的跟踪框，避免低质量的跟踪框影响21骨骼点的呈现效果导致最终手部交互的失败。

如图3所示，步骤S4)跟踪框获取步骤包括步骤S41)速度计算步骤，步骤S42)插值权重计算步骤以及步骤S43)位姿计算步骤。

步骤S41)速度计算步骤，根据手腕根节点沿着x轴，y轴，z轴三个方向运动的加速度，计算在t时刻手腕根节点速度，其公式为

Wrist

为了归一化加速度，使用分段函数来表示加速度，该分段函数可以较快的衰减加速度对整体跟踪的影响，避免加速度过大导致插值结果无效，使得加速度对整体跟踪的影响在一定范围内，并且分段函数保证在加速度在边界处连续，避免出现计算值阶跃的现象。

其中，Wrist

步骤S42)插值权重计算步骤，根据手腕根节点在t时刻的速度，计算pose

weight1＝(Ti

weight2＝(1+Wrist

weight＝weight1*weight2

插值权重weight根据手腕根节点速度计算的优点在于，根据手腕根节点速度计算得到不同的插值权重weight则能避免pose的插值出现延迟导致跟踪框偏移，不会影响后续的跟踪准确度和稳定性，还避免了因四目鱼眼相机的帧率的稳定性而影响pose的插值。

其中，weight1为前三个时刻的时间间隔比例权重，用来表示当前加速对插值的影响，weight1可平滑摄像头帧率的稳定性；Ti

步骤S43)位姿计算步骤，计算t时刻的手部21个骨骼点在头显IMU系下的3D位姿，其公式为

pose

其中，pose

如图4所示，所述跟踪框筛选函数具体包括步骤S91)占比计算步骤，步骤S92)比例计算步骤以及步骤S93)距离计算步骤。

步骤S91)占比计算步骤，计算不在所述手部图像范围内的骨骼点的占比，这类骨骼点位越多，则所述跟踪框对应的分值越低，所述跟踪框质量越差。

步骤S92)比例计算步骤，计算每节骨骼的长度比例，排除离群骨骼点，若某一个跟踪框出现离群的骨骼点，则排除该跟踪框。

步骤S93)距离计算步骤计算骨骼点的中心与所述跟踪框中心的距离，骨骼点的中心离所述跟踪框中心越近分值越高，跟踪框质量越好。

步骤S5)跟踪框检测步骤，基于局部检测模型Local

localhanddet

其中，localhanddet

步骤S6)融合步骤，基于所述局部检测模型得到手部的局部坐标与所述跟踪框融合，其公式为

TrackBox

其中，TrackBox

步骤S7)滤波步骤，对所述融合框做滤波处理，其公式为

TrackBox

其中，TrackBox

S8)分类对比步骤，基于分类结果比对函数将所述局部检测模型给出相应的手部分类信息与所述全局检测模型给出相应的手部分类信息做比对，判断手部类别，所述分类结果比对函数能够排除左右手分类错误的问题，同时所述局部检测模型给出无手分类可以缓解全局检测模型的误检问题，其公式为

flag＝compare(handinfo

其中，flag表示对比结果，compare表示分类结果比对函数，handinfo

如图5所示，本发明还提供一种数据处理设备10，包括存储器11与处理器12，存储器11用以存储可执行程序代码，处理器12读取所述可执行程序代码，以运行与所述可执行程序代码对应的计算机程序，以执行所述的手部跟踪方法中的至少一步骤。

如图6-7所示，本发明所述的手部跟踪方法的跟踪稳定性评价指标MPJPA远优于其他现有的手部跟踪方法的跟踪稳定性评价指标MPJPA，以跟踪低速MPJPA做对比，低速运动情况下，本发明所述的手部跟踪方法的MPJPA较少有突变的情况，且MPJPA比较稳定，反映出骨骼点预测比较稳定，跟踪较为稳定。

如图8-9所示，以跟踪高速MPJPA做对比，高速运动情况下，随着运动速度的增加跟踪系统稳定性会下降，速度加快导致跟踪框不稳定，但本发明所述的手部跟踪方法的权重插值能够让系统在较高速的情况下也能相对比较稳定地给出插值和正确的投影框，且局部检测在不断的矫正跟踪框使得在高速情况下MPJPA也不会陡升，反映了优化方法的有效性。

本发明的优点在于，通过四目鱼眼相机获取实时的3D手势pose

以上对本发明实施例所提供的一种手部跟踪方法、数据处理设备及头戴式设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的范围。