一种基于增强现实的信息显示方法及系统

技术领域

本发明涉及增强现实显示领域，具体涉及一种基于增强现实的信息显示方法及系统。

背景技术

目前，大多大型设备的显示控制软件采用电子版或纸质版的操作使用手册来说明软件界面的详细使用方法，使用手册的内容一般包括软件界面的操作元素及相关文字说明，设备的使用人员需要根据使用手册学习设备的操作使用方法。

传统的软件操作使用手册不够直观，设备操作学习人员需要在操作手册和软件界面来回切换进行对比学习，导致软件操作人员学习效率比较低；纸质版或者电子版使用手册受限于显示方式，只能显示二维信息，不能直观显示三维信息；不利于多人协同学习，从而难以满足设备快速培训交付的需求。

发明内容

本发明所要解决的技术问题是提供一种基于增强现实的信息显示方法及系统，方便直观的对比学习，利于多人协同学习。

本发明解决上述技术问题的技术方案如下：一种基于增强现实的信息显示方法，包括如下步骤：

S1，基于相机和加速度传感器获取显示设备的位姿信息；

S2，通过图像匹配方法识别出相机视野中的特征区域，并根据所述位姿信息计算出所述特征区域在相机视野中的三维坐标；

S3，在所述特征区域的三维坐标所指示的位置显示所述显示设备中的操作信息。

基于上述一种基于增强现实的信息显示方法，本发明还提供一种基于增强现实的信息显示系统。

一种基于增强现实的信息显示系统，包括以下模块：

位姿信息获取模块，其用于基于相机和加速度传感器获取显示设备的位姿信息；

特征区域识别及坐标计算模块，其用于通过图像匹配方法识别出相机视野中的特征区域，并根据所述位姿信息计算出所述特征区域在相机视野中的三维坐标；

操作信息显示模块，其用于在所述特征区域的三维坐标所指示的位置显示所述显示设备中的操作信息。

本发明的有益效果是：本发明一种基于增强现实的信息显示方法及系统能够实时定位显示设备的位姿，识别特征区域在世界坐标系下的位置，根据特征区域的位置坐标显示详细操作内容；当操作人员戴上便携式的显示设备时，显示设备显示软件界面，而软件详细的操作信息在特征区域的位置坐标显示，因而在视野中可以同时看到显控软件界面及详细的操作信息，无需操作手册和软件界面来回切换进行对比学习，操作信息不会随着操作人员的走动而移动，表现为固定在对应的界面特征区域附近，并且方便多人协同交流学习，能很好的符合快速培训的需求。

附图说明

图1为本发明一种基于增强现实的信息显示方法的流程图；

图2为本发明一种基于增强现实的信息显示系统的结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于增强现实的信息显示方法，包括如下步骤S1-S3：

S1，基于相机和加速度传感器获取显示设备的位姿信息。

所述S1具体为：

S11，利用装载在所述显示设备上的加速度传感器获取所述显示设备的加速度数据信息，同时利用装载在所述显示设备上的相机对所述显示设备周围的场景进行拍摄，得到一系列的二维图像；

S12，提取所述二维图像中的特征点，从所述场景中找出与所述特征点对应的三维点，并计算出所述场景中的同一个三维点在所述二维图像上的对应关系；

S13，基于即时定位与地图构建方法(又称SLAM方法，即SimultaneousLocalization and Mapping方法)，根据所述加速度数据信息以及所述场景中的同一个三维点在所述二维图像上的对应关系，获得所述三维点在世界坐标系中的位置信息和姿态信息；其中，所述世界坐标系的原点为所述显示设备，所述三维点在所述世界坐标系中的位置信息和姿态信息组合为所述显示设备的位姿信息。

S2，通过图像匹配方法识别出相机视野中的特征区域，并根据所述位姿信息计算出所述特征区域在相机视野中的三维坐标。

所述S2具体为：

S21，建立标准特征区域与待识别区域的相互关系，并基于所述相互关系计算出所述待识别区域与所述标准特征区域之间的相互关系值；

S22，判断所述相互关系值是否满足预设条件；若是，则判定所述待识别区域为特征区域；若否，则判定所述待识别区域为非特征区域；

S23，计算出所述特征区域在所述二维图像中的坐标；

S24，基于三维立体视觉方法，根据所述特征区域在所述二维图像中的坐标，计算得到所述特征区域在世界坐标系中的三维坐标。具体的，所述相互关系具体是基于最小二乘法建立的误差平方和最小的相关函数，且所述相互关系的具体表达为：

其中，C

本发明为了为能够准确的将信息显示到对应的空间位置，所以设置了S2，即通过图像匹配方法识别视野中的特征区域，根据显示设备的位姿信息计算特征区域在世界坐标系中的三维坐标。

S3，在所述特征区域的三维坐标所指示的位置显示所述显示设备中的操作信息。

所述S3具体为，

S31，建立所述特征区域与操作信息对应的键值表；其中，在所述键值表中，所述特征区域作为“键”，所述操作信息作为“值”；

S32，通过在所述显示设备上操作时触发的“键”在所述键值表中筛选出对应的特征区域，并根据所述键值表将所述特征区域对应的操作信息显示在所述特征区域的三维坐标所指示的位置。

例如：假设对于软件界面上的按钮A，其图像特征为B，其对应的操作信息为C，将(B，C)存入键值表中，当触发按钮A从而在键值表中筛选得到特征B时，显示内容C。

基于上述一种基于增强现实的信息显示方法，本发明还提供一种基于增强现实的信息显示系统。

如图2所示，一种基于增强现实的信息显示系统，包括位姿信息获取模块、特征区域识别及坐标计算模块和操作信息显示模块；

所述位姿信息获取模块，其用于基于相机和加速度传感器获取显示设备的位姿信息。

所述相机和所述加速度传感器均装载在所述显示设备上，其中相机具体为双目相机；

所述加速度传感器用于获取所述显示设备的加速度数据信息；

所述相机用于对所述显示设备周围的场景进行拍摄，得到一系列的二维图像；

所述位姿信息获取模块具体用于提取所述二维图像中的特征点，从所述场景中找出与所述特征点对应的三维点，并计算出所述场景中的同一个三维点在所述二维图像上的对应关系；

基于即时定位与地图构建方法，根据所述加速度数据信息以及所述场景中的同一个三维点在所述二维图像上的对应关系，获得所述三维点在世界坐标系中的位置信息和姿态信息；其中，所述世界坐标系的原点为所述显示设备，所述三维点在所述世界坐标系中的位置信息和姿态信息组合为所述显示设备的位姿信息。

所述特征区域识别及坐标计算模块，其用于通过图像匹配方法识别出相机视野中的特征区域，并根据所述位姿信息计算出所述特征区域在相机视野中的三维坐标。所述特征区域识别及坐标计算模块具体用于：

建立标准特征区域与待识别区域的相互关系，并基于所述相互关系计算出所述待识别区域与所述标准特征区域之间的相互关系值；

判断所述相互关系值是否满足预设条件；若是，则判定所述待识别区域为特征区域；若否，则判定所述待识别区域为非特征区域；

计算出所述特征区域在所述二维图像中的坐标；

基于三维立体视觉方法，根据所述特征区域在所述二维图像中的坐标，计算得到所述特征区域在世界坐标系中的三维坐标。

具体的，所述相互关系具体是基于最小二乘法建立的误差平方和最小的相关函数，且所述相互关系的具体表达为：

其中，C

所述操作信息显示模块，其用于在所述特征区域的三维坐标所指示的位置显示所述显示设备中的操作信息。所述操作信息显示模块具体用于：

建立所述特征区域与操作信息对应的键值表；其中，在所述键值表中，所述特征区域作为“键”，所述操作信息作为“值”；

通过在所述显示设备上操作时触发的“键”在所述键值表中筛选出对应的特征区域，并根据所述键值表将所述特征区域对应的操作信息显示在所述特征区域的三维坐标所指示的位置。

本发明一种基于增强现实的信息显示方法及系统能够实时定位显示设备的位姿，识别特征区域在世界坐标系下的位置，根据特征区域的位置坐标显示详细操作内容；当操作人员戴上便携式的显示设备时，显示设备显示软件界面，而软件详细的操作信息在特征区域的位置坐标显示，因而在视野中可以同时看到显控软件界面及详细的操作信息，无需操作手册和软件界面来回切换进行对比学习，操作信息不会随着操作人员的走动而移动，表现为固定在对应的界面特征区域附近，并且方便多人协同交流学习，能很好的符合快速培训的需求。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。