移动环境下AR头盔运动捕捉方法和系统

技术领域

本发明涉及虚拟现实技术领域，尤其是涉及移动环境下AR头盔运动捕捉方法和系统。

背景技术

虚拟现实或增强现实技术给汽车驾驶应用带来更多安全性、娱乐性以及多元性体验，现已得到广泛的应用。

但由于汽车属于移动物体，它不同于普通固定场所中AR技术的使用条件，当用户在汽车上使用传统的AR头盔时，通过AR头盔上的IMU（惯性测量单元）所获取的运动信息为在全局坐标系下的运动信息（即包括用户头部以及车体两者的合并运动），因此现有技术使用此IMU的数据进行虚拟现实，实际上不能识别出该运动量是属于用户头部的运动，还是车体的运动，还是两者运动的结合，存在一定的偏差，用户体验感较差。

发明内容

为了提高AR头盔的增强现实的效果，本发明提供移动环境下AR头盔运动捕捉方法和系统。

第一方面，本发明提供的移动环境下AR头盔运动捕捉方法采用如下的技术方案：

移动环境下AR头盔运动捕捉方法，其特征在于：包括如下步骤：

S1：获取AR头盔上的惯性测量单元测量的基于AR头盔坐标系的第一角速度值，

S2：获取运动载体的惯性测量单元测量的基于运动载体坐标系的第二角速度值，

S3：将所述基于运动载体坐标系的第二角速度值转换为基于AR头盔坐标系的第三角速度值，

S4：将所述第一角速度值和所述第三角速度值进行差分运算，得到AR头盔相对于运动载体坐标系的第四角速度值。

通过以上的技术方案，在运动载体（比如车体）上安装另外一个IMU去捕捉运动载体的运动信息，然后再将此运动载体的IMU的数据跟AR头盔IMU的数据进行对比，最终抽取出AR头盔相对于运动载体的真正运动量，实现在运动载体上使用的AR头盔的真实运动情况的捕捉，进而提高移动环境下AR头盔的增强现实的效果。

作为较佳的实施方案，所述步骤S2和步骤S3之间执行步骤S23，

步骤S23：对步骤S2的第二角速度值通过SGG滤波器进行滤波得到滤波后的第二角速度值，

所述步骤S4具体是：假设所述第一角速度值为Whmdimu，所述第二角速度值为Wcarimu，滤波后的第二角速度值为Wcarimu-SGG，所述第三角速度值为W’carimu-SGG，所述第四角速度值为Whmd-pure，则：

Whmd-pure = hmdweight * Whmdimu – refweight * W’carimu-SGG，其中，所述hmdweight代表第一角速度值Whmdimu的信赖度权重，所述refweight代表第三角速度值W’carimu-SGG的信赖度权重。

通过以上的技术方案，信赖度权重的权重系数会根据两者之间的噪音程度取值，通过这样设定对不同数据源进行不同权重设置，可以有效避免单一数据源噪音问题以及数据稳定度，比单纯的差分计算会更稳定可靠。

作为较优的实施方案，所述步骤S4之后执行步骤S5，

步骤S5：将所述第四角速度通过运动预测模型进行数据融合，得到第一姿态角，所述运动预测模型包含积分算法。

通过以上的技术方案，AR头盔所需的有效数据是姿态角（包括翻滚角(Roll)、俯仰角(Pitch)和航向角(Yaw)），因此，需要将第四角速度值转换为第一姿态角，再输出给AR头盔的三维内容引擎。

作为较优的实施方案，在所述步骤S5之后执行步骤S6：对所述第一姿态角进行补偿得到纠正后的第二姿态角，具体如下：

获取AR头盔上的双目摄像头输出的AR头盔相对于运动载体运动的摄像头姿态角，将所述第一姿态角和所述摄像头姿态角一起输入运动纠正模型进行数据融合，得到所述第二姿态角。

惯性测量单元（IMU）虽然能实现高动态性高频率的运动捕捉功能，但因为陀螺仪存在着固有的漂移问题，在精度上有一定的局限，因此如果只有AR头盔上IMU的数据，长时间使用下陀螺仪的漂移问题所产生的误差就会越来越大，影响实际使用。因此，通过在AR头盔上安装双目摄像头，双目摄像头不会有漂移的问题，借助双目摄像头获取的图像可计算出AR头盔自身在运动载体中的位移以及旋转信息，可使用该旋转信息对AR头盔的IMU的漂移问题进行补偿，从而实现长时间IMU零漂移的目的。

作为较优的实施方案，所述运动纠正模型如下：

假设所述第一姿态角为Rimu，所述摄像头姿态角为Roptical，所述第二姿态角为Rnew，则Rnew的计算公式如下：

Rnew=SLERP（Rimu，Roptical，optical weight），其中，optical weight为阈值。

通过以上技术方案，利用SLERP算法不需要担心同步问题，因为系统中包括多种数据源，图像和IMU数据，一般来说需要实现好的运动捕捉及补偿，需要进行数据同步，但使用SLERP算法，就不需要实现硬件同步，此算法可进行数据插值，达到不同系统中不同频率数据间的同步。

作为较优的实施方案，所述步骤6中，所述获取AR头盔上的双目摄像头输出的AR头盔相对于运动载体运动的摄像头姿态角具体如下：

获取双目摄像头的图像，对所述图像进行特征提取得到特征向量，选取运动载体一定范围内的特征点的三维坐标值输入OpenVSLAM模块，得到所述摄像头姿态角和摄像头三轴坐标值。

利用双目摄像头获取AR头盔周围的图像，根据图像中特征点的位置变化，可以计算出双目摄像头相对于摄像头坐标系的位置变化，由于双目摄像头是设置在AR头盔上，双目摄像头的位置变化相当于AR头盔的位置变化，由于运动载体外部的特征点距离双目摄像头较远，且变化较大，仅选取运动载体一定范围内的特征点的三维坐标值可以减少计算量，而且剔除掉干扰参数，可使得AR头盔增强现实的性能更好、更稳定。

作为较优的实施方案，所述选取运动载体一定范围内的特征点的三维坐标值具体是：基于所述特征向量计算各特征距离值，选取与摄像头坐标的距离小于预设值的特征点的坐标值。

通过以上的技术方案，可根据具体的运动载体来设定该预设值，比如运动载体为汽车，则该预设值可定为双目摄像头可拍到的车内的空间的特征点，即剔除掉车外的特征点，以减少无效数据参与计算。

作为较优的实施方案，所述特征向量仅为运动载体一定范围内的图像特征量。

传统的做法会采取全部特征向量，因为一般使用环境是不会不断变化的，因此获取越多特征，理论上精度越好。但在本申请中，运动载体是移动的，移动环境下，运动载体外面的特征不断变化，因此作为参考用的这些图像特征就不再稳定了，如果采用全部特征，反而造成算法的不稳定性，因此只选用运动载体一定范围内的图像特征量作为所述特征向量，能保证位移计算的稳定性跟精度。

作为较优的实施方案，在所述步骤S6后执行步骤S7：获取AR头盔上的双目摄像头输出的AR头盔相对于运动载体运动的摄像头三轴坐标值，与所述第二姿态角一起传输至AR头盔的三维内容引擎。

摄像头三轴坐标值与所述第二姿态角可体现AR头盔相对于运动载体的真实运动状态，将摄像头三轴坐标值与所述第二姿态角一起传输至AR头盔的三维内容引擎，则可使得AR头盔显示出的画面与实际画面更加贴合，用户体验较好。

第二方面，本发明提供的移动环境下AR头盔运动捕捉系统采用如下的技术方案：

移动环境下AR头盔运动捕捉系统，包括AR头盔、位于所述AR头盔上的惯性测量单元，还包括运动载体、位于所述运动载体上的惯性测量单元、存储器和处理器，所述位于AR头盔上的惯性测量单元和所述位于所述运动载体上的惯性测量单元均与所述处理器连接，所述存储器存储有计算机程序，所述计算机程序被所述处理器调用时执行步骤S1至S4所述的移动环境下AR头盔运动捕捉方法。

通过以上的技术方案，在AR头盔上安装一个惯性测量单元（IMU），在运动载体（比如车体）上安装另外一个IMU去捕捉运动载体的运动信息，然后再将此运动载体的IMU的数据跟AR头盔IMU的数据进行对比，最终抽取出AR头盔相对于运动载体的真正运动量，实现在运动载体上使用的AR头盔的真实运动情况的捕捉，进而提高移动环境下AR头盔的增强现实的效果。

作为优选的实施方案，所述的移动环境下AR头盔运动捕捉系统，还包括设于所述AR头盔的双目摄像头，所述双目摄像头与所述处理器连接，所述计算机程序被所述处理器调用时执行步骤S1至S7所述的移动环境下AR头盔运动捕捉方法。

惯性测量单元（IMU）虽然能实现高动态性高频率的运动捕捉功能，但因为陀螺仪存在着固有的漂移问题，在精度上有一定的局限，因此如果只有AR头盔上IMU的数据，长时间使用下陀螺仪的漂移问题所产生的误差就会越来越大，影响实际使用。因此，通过在AR头盔上安装双目摄像头，双目摄像头不会有漂移的问题，借助双目摄像头获取的图像可计算出AR头盔自身在运动载体中的位移以及旋转信息，可使用该旋转信息对AR头盔的IMU的漂移问题进行补偿，从而实现长时间IMU零漂移的目的。

综上所述，本发明包括以下至少一种有益技术效果：

（1）通过在AR头盔上安装一个惯性测量单元（IMU），在运动载体（比如车体）上安装另外一个IMU去捕捉运动载体的运动信息，然后再将此运动载体的IMU的数据跟AR头盔IMU的数据进行对比，最终抽取出AR头盔相对于运动载体的真正运动量，实现在运动载体上使用的AR头盔的真实运动情况的捕捉，进而提高移动环境下AR头盔的增强现实的效果。

（2）通过在AR头盔上安装双目摄像头，双目摄像头不会有漂移的问题，借助双目摄像头获取的图像可计算出AR头盔自身在运动载体中的位移以及旋转信息，可使用该旋转信息对AR头盔的IMU的漂移问题进行补偿，从而实现长时间IMU零漂移的目的。

（3）传统的做法会采取全部特征向量，因为一般使用环境是不会不断变化的，因此获取越多特征，理论上精度越好。但在本申请中，运动载体是移动的，移动环境下，运动载体外面的特征不断变化，因此作为参考用的这些图像特征就不再稳定了，如果采用全部特征，反而造成算法的不稳定，因此只选用运动载体一定范围内的图像特征量作为所述特征向量，能保证位移计算的稳定性跟精度。

（4）将双目摄像头设在AR头盔，而不是设在运动载体的AR头盔以外的其他位置的好处是：摄像头装在车上的方案，还需要在头盔上安装光球才能实现目标捕捉。因此实际上会给头盔带来额外的光球机械安装需要。另外便携性也较差，因为每台车都需要安装摄像头，没有摄像头就用不了。而如果摄像头是跟随头盔的，那整体系统跟车辆就能独立，头盔移动到任何的车上，都能方便使用，不需要额外安装硬件。

附图说明

图1是本发明移动环境下AR头盔运动捕捉方法的实施例1的流程图。

图2是是本发明移动环境下AR头盔运动捕捉方法的实施例2的流程图。

图3是是本发明移动环境下AR头盔运动捕捉方法的实施例3的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图1至3及实施例，对本发明作进一步详细说明。

实施例1。

本实施例的移动载体以汽车为例，由于汽车属于移动物体，它不同于普通固定场所中AR技术的使用条件，头盔系统需要识别用户头部或手柄的运动是属于用户本身的运动，还是汽车的运动。

本实施例的AR头盔本身设置有一个头盔IMU，通过在汽车上安装另外一个车载IMU，如图1所示，进而实施以下步骤：

S1：获取AR头盔上的惯性测量单元测量的基于AR头盔坐标系的第一角速度值，

S2：获取运动载体的惯性测量单元测量的基于运动载体坐标系的第二角速度值，

步骤S23：对步骤S2的第二角速度值通过SGG滤波器进行滤波得到滤波后的第二角速度值，

S3：将所述步骤S23滤波后的第二角速度值转换为基于AR头盔坐标系的第三角速度值，

S4：将所述第一角速度值和所述第三角速度值进行差分运算，得到AR头盔相对于运动载体坐标系的第四角速度值。

步骤S5：将所述第四角速度通过运动预测模型进行数据融合，得到第一姿态角，所述运动预测模型包含积分算法。

步骤S5的目的是：AR头盔所需的有效数据是姿态角（包括翻滚角(Roll)、俯仰角(Pitch)和航向角(Yaw)），因此，需要通过运动预测模型将第四角速度转换为第一姿态角，再输出给AR头盔的三维内容引擎。

本实施例利用头盔IMU获取第一角速度值（相对于头盔坐标系，含有人体头部和汽车运动信息），通过车载IMU获取汽车的第二角速度值，对第二角速度值通过SGG滤波器进行滤波得到滤波后的第二角速度值，由于该第二角速度值是相对于运动载体坐标系的角速度值，将其进行坐标转换后，转换为相对于头盔坐标系的第三角速度值，将所述第一角速度值和所述第三角速度值进行差分运算，得到AR头盔相对于运动载体坐标系的第四角速度值，第四角速度值是纯头部（头盔）运动的角速度值（即头盔相对于车体坐标系的角速度值）。

对于步骤S3，具体的，是在车载IMU上贴有一个QR code的标签，这个标签跟车载IMU的坐标表是重合的。然后AR头盔上的双目摄像头去看着这个QR code标签进行标定，即可知道车载IMU坐标系和头盔坐标系的转换关系。

通过在运动载体上安装另外一个IMU去捕捉运动载体的运动信息，然后再将此运动载体的IMU的数据跟AR头盔IMU的数据进行对比，最终抽取出AR头盔相对于运动载体的真正运动量，实现在运动载体上使用的AR头盔的真实运动情况的捕捉，进而提高移动环境下AR头盔的增强现实的效果。

本实施例能对车体及AR头盔运动进行预测，从而带来更快更好的图像内容展示性，实现0延时内容投射。

具体的，所述步骤S4具体是：假设所述第一角速度值为Whmdimu，所述第二角速度值为Wcarimu，滤波后的第二角速度值为Wcarimu-SGG，所述第三角速度值为W’carimu-SGG，所述第四角速度值为Whmd-pure，则：

Whmd-pure = hmdweight * Whmdimu – refweight * W’carimu-SGG，其中，所述hmdweight代表第一角速度值Whmdimu的信赖度权重，所述refweight代表第三角速度值W’carimu-SGG的信赖度权重。

信赖度权重的权重系数会根据两者之间的噪音程度取值，通过这样设定对不同数据源进行不同权重设置，可以有效避免单一数据源噪音问题以及数据稳定度，比单纯的差分计算会更稳定可靠。

实施例2。

本实施例的其他步骤和实施例1相同，不同之处在于：在AR头盔上安装双目摄像头，双目摄像头获取AR头盔周边环境的图像，如图2所示，在所述步骤S5之后执行步骤S6：对所述第一姿态角进行补偿得到纠正后的第二姿态角，具体如下：

步骤A：获取双目摄像头的图像，对所述图像进行特征提取得到特征向量，所述特征向量仅为运动载体一定范围内的图像特征量。

传统的做法会采取全部特征向量，因为一般使用环境是不会不断变化的，因此获取越多特征，理论上精度越好。但在本申请中，运动载体是移动的，移动环境下，运动载体外面的特征不断变化，因此作为参考用的这些图像特征就不再稳定了，如果采用全部特征，反而造成算法的不稳定性，因此只选用运动载体一定范围内的图像特征量作为所述特征向量，能保证位移计算的稳定性跟精度。

本实施例的运动载体一定范围内的特征点是指：双目摄像头拍摄到的特征点中，位于车内部分的特征点。

因为双目摄像头是安装在人头部的头盔上，而人头部与车辆内部的仪表盘，车前挡风玻璃，车身前部框架的距离一般为1到2米，因此在抽取的特征向量，得到是少于2米的，被认为是车内特征，使用这些特征进行后面的计算，其他都会舍去。

将双目摄像头获取的图像输入OpenVslam模块（即图2的Visual SLAM（VSLAM））中，其中matching with local map子模块可以得到各特征在双目视觉坐标系中的三维位置信息，根据此信息，本实施例选取距离在2米内的特征点，去掉2米外的，这样剩下的数据量就会变少，计算变得快捷，同时避免车外（2米外）移动变化的特征造成的干扰。再将这些提取后的近距离特征点带入到OpenVslam模块的子模块pose optimization里面去更新优化地图轨迹。

图2的Visual SLAM（VSLAM）得到的摄像头补偿姿态即摄像头姿态角，位置信息即三轴坐标值。

车用AR应用中，虚拟内容展示时涉及到三个层次的坐标系系统：

固定于AR头盔的坐标参照系：虚拟内容随着头部运动而运动，内容固定显示于AR头盔显示屏的某一位置。

固定于车体的坐标参照系： 虚拟内容随着车体运动而运动，内容固定显示于车体内部的某一位置。

固定于全局的坐标参照系（全球地理参照系）：虚拟内容固定于全球地理某一位置，不随车体或头显运动而移动。

对于车载AR头盔的应用，本实施例只对头盔坐标系与车体坐标系的相对关系感兴趣（或者说头盔坐标系在车体坐标系上的相对运动信息才是唯一有用的数据）。

利用双目摄像头获取AR头盔周围的图像，根据图像中特征点的位置变化，可以计算出双目摄像头相对于摄像头坐标系的位置变化，由于双目摄像头是设置在AR头盔上，双目摄像头的位置变化相当于AR头盔的位置变化，由于运动载体外部的特征点距离双目摄像头较远，且变化较大，仅选取运动载体一定范围内的特征点的三维坐标值可以减少计算量，而且剔除掉干扰参数，可使得AR头盔增强现实的性能更好、更稳定。

步骤B：选取运动载体一定范围内的特征点的三维坐标值输入OpenVSLAM模块，得到AR头盔相对于运动载体运动的摄像头姿态角和摄像头三轴坐标值。

选取运动载体一定范围内的特征点的三维坐标值具体是：基于所述特征向量计算各特征距离值，选取与摄像头坐标的距离小于预设值的特征点的坐标值。

通过根据具体的运动载体来设定该预设值，比如运动载体为汽车，则该预设值可定为车内特征点，即距离摄像头2米以内的特征点，通过剔除掉车外的特征点，以减少无效数据参与计算。

如图3所示，步骤C：将所述第一姿态角和所述摄像头姿态角一起输入运动纠正模型进行数据融合，得到所述第二姿态角。

所述运动纠正模型如下：

假设所述第一姿态角为Rimu，所述摄像头姿态角为Roptical，所述第二姿态角为Rnew，则Rnew的计算公式如下：

Rnew=SLERP（Rimu，Roptical，optical weight），其中，optical weight为阈值。

利用SLERP算法不需要担心同步问题，因为系统中包括多种数据源，图像和IMU数据，一般来说需要实现好的运动捕捉及补偿，需要进行数据同步，但使用SLERP算法，就不需要实现硬件同步，此算法可进行数据插值，达到不同系统中不同频率数据间的同步。

本实施例中，惯性测量单元（IMU）虽然能实现高动态性高频率的运动捕捉功能，但因为陀螺仪存在着固有的漂移问题，在精度上有一定的局限，因此如果只有AR头盔上IMU的数据，长时间使用下陀螺仪的漂移问题所产生的误差就会越来越大，影响实际使用。因此，通过在AR头盔上安装双目摄像头，双目摄像头不会有漂移的问题，借助双目摄像头获取的图像可计算出AR头盔自身在运动载体中的位移以及旋转信息，可使用该旋转信息对AR头盔的IMU的漂移问题进行补偿，从而实现长时间IMU零漂移的目的。

步骤D：获取AR头盔上的双目摄像头输出的AR头盔相对于运动载体运动的摄像头三轴坐标值，与所述第二姿态角一起传输至AR头盔的三维内容引擎。

摄像头三轴坐标值与所述第二姿态角可体现AR头盔相对于运动载体的真实运动状态，将摄像头三轴坐标值与所述第二姿态角一起传输至AR头盔的三维内容引擎，则可使得AR头盔显示出的画面与实际画面更加贴合，用户体验较好。

实施例3。

本实施例的其他步骤和实施例2相同，不同之处在于：将第四角速度值经过SGG滤波器后传输至三维内容引擎，经过差分后再滤波输出的角速度，可供AR头盔的客户端软件进行动作预测判断，经过SGG滤波器后的角速度值较为稳定，噪音少。

实施例4。

本实施例提供的移动环境下AR头盔运动捕捉系统，用于实现实施例1的方法，具体如下：

移动环境下AR头盔运动捕捉系统，包括AR头盔、位于所述AR头盔上的惯性测量单元，还包括运动载体（本实施例为汽车）、位于所述运动载体上的惯性测量单元、存储器和处理器，所述位于AR头盔上的惯性测量单元和所述位于所述运动载体上的惯性测量单元均与所述处理器连接，所述存储器存储有计算机程序，所述计算机程序被所述处理器调用时执行步骤S1至S4所述的移动环境下AR头盔运动捕捉方法。

通过在AR头盔上安装一个惯性测量单元（IMU），在汽车上安装另外一个IMU去捕捉运动载体的运动信息，然后再将此运动载体的IMU的数据跟AR头盔IMU的数据进行对比，最终抽取出AR头盔相对于运动载体的真正运动量，实现在运动载体上使用的AR头盔的真实运动情况的捕捉，进而提高移动环境下AR头盔的增强现实的效果。

实施例5。

本实施例提供的移动环境下AR头盔运动捕捉系统，是在实施例4的基础上，在AR头盔上设有双目摄像头，用于实现实施例2或3的方法，具体如下：

所述双目摄像头与所述处理器连接，所述计算机程序被所述处理器调用时执行步骤S1至S7所述的移动环境下AR头盔运动捕捉方法。

惯性测量单元（IMU）虽然能实现高动态性高频率的运动捕捉功能，但因为陀螺仪存在着固有的漂移问题，在精度上有一定的局限，因此如果只有AR头盔上IMU的数据，长时间使用下陀螺仪的漂移问题所产生的误差就会越来越大，影响实际使用。因此，通过在AR头盔上安装双目摄像头，双目摄像头不会有漂移的问题，借助双目摄像头获取的图像可计算出AR头盔自身在运动载体中的位移以及旋转信息，可使用该旋转信息对AR头盔的IMU的漂移问题进行补偿，从而实现长时间IMU零漂移的目的。

以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。