基于混合现实的调头轮设备拆装指导方法及装置

技术领域

本发明属于机械设备维护保养技术领域，具体涉及一种基于混合现实的调头轮设备拆装指导方法及装置。

背景技术

机械设备使用的前提和基础是设备日常的维护和保养。设备在长期的、不同环境(包括恶劣环境)中的使用过程中，设备的稳定性、可靠性、使用效益均会相当程度的降低，甚至会导致机械设备丧失其固有的基本性能，无法正常运行。随着行业的发展，越来越多的先进机械设备应用于日常生产，同时行业对机械设备的拆装维护提出更高要求，在培训指导流程上采用“培训教学、操作实践、周期考核”三段式方法，固化设备维护相关标准，规范作业人员作业流程。

虚拟现实、增强现实、混合现实是近年来的热门的可视化交互技术。虚拟现实技术通过复刻三维场景，经过头戴显示器让用户沉浸在虚拟的三维场景中，能够模拟现实中无法轻易模拟的环境。增强现实技术通过机器视觉对标识物体的识别，生成业务逻辑，再利用设备屏幕进行交互。混合现实是二者的升级，将虚拟交互内容与现实空间进一步融，利用传感设备对现实三维空间进行扫描重构，再结合机器视觉对现实物体进行识别，将交互内容置于现实空间中，用户直接与真实空间进行互动。混合现实所生成的虚拟交互内容，真实的存在于现实空间位置中，可由用户进行控制。

利用虚拟现实对机械拆装维修进行模拟的案例为数较多，通过三维建模场景化还原维修作业环境，用户佩戴头盔后利用交互手柄，可以沉浸式进行体验操作，由于通过手柄进行交互操作，对工具的使用手感无法做到精准模拟，体验还原度有限，只能做到操作步骤与设备结构的精准模拟。

传统的拆装维修指导方式，总结为三个阶段。第一阶段通过课堂宣讲进行体系化标准培训，目标是形成规范化的思维方式，熟悉设备结构，了解拆装中的要点难点。第二阶段进行实际操作演练，将课堂中的知识用于实践，帮助学员从实践中理解知识要点。第三阶段周期性考核，巩固相关设备拆装知识，形成记忆习惯，培养标准化行为方式。传统方式具有以下几点局限性：

1.规范标准落地难

传统培训方式通过集中授课进行前期准备，知识密度较高，对受众的基础知识水平有一定要求，相应学员知识吸收能力因人而异，通过不断实践形成肌肉记忆来进行规范习惯的培养，生效慢且规范标准较难落地。

2.时间成本高

传统培训方式由于技术条件限制，采取三段式培训方法，其本质是不停地进行重复，要求受众学员往复进行拆装模拟和实操，来达到培训效果，期间消耗大量的时间成本。

3.培训效果不稳定

由于时间成本较高，学员的接受能力各有不同，虽然过程与方法都是标准化流程，但最终效果对实践时间依赖性较强，重复次数越多效果越好，时间越长效果越好。

发明内容

本发明的目的在于针对现有技术的不足之处，提供一种基于混合现实的调头轮设备拆装指导方法及装置，通过机器视觉和空间算法，实现混合现实指导，使用者通过本系统提示能够独立完成调头轮设备的拆装，把规范化知识融入到拆装操作过程中，提高拆装培训指导效率。

为解决上述技术问题，本发明采用如下技术方案：

一种基于混合现实的调头轮设备拆装指导方法，该拆装指导方法包括以下步骤：

获取目标设备的当前状态信息；

根据获取得到的所述当前状态信息识别出所述目标设备及其当前操作状态信息；

根据所述当前操作状态信息并通过混合现实技术进行拆装指导。

较佳地，在进行当前状态信息获取的步骤之前还包括：确定对所述目标设备进行拆卸或安装的步骤。

较佳地，在确认对目标设备进行拆卸或安装的步骤之前还包括：确认操作人员的身份合法性的步骤。

较佳地，对所述目标设备进行识别包括：

根据所述当前状态信息中的设备外观信息与预先存储的外观参考信息进行比较从而识别出所述目标设备的机型信息，其中，所述外观参考信息通过激光扫描方式进行高精度工业建模得到。

较佳地，对所述目标设备的所述当前操作状态信息进行识别包括：

将所述当前状态信息与预先存储的复数个操作状态参考信息进行比较从而判断出所述当前状态信息的有效性；

进一步在判断结果为有效时，获得匹配的所述当前操作状态信息，所述当前操作状态信息用于表征所述目标设备的拆卸或安装进度。

较佳地，所述拆装指导包括以下指导内容中的至少一种：播放语音提示信息、播放拆装视频以及播放具有位置提示的拆装图片信息。

较佳地，该拆装指导方法在进行拆装指导过程中还包括以下步骤：

实时采集当前的拆装过程数据；

将所述拆装过程数据实时发送至云服务器中存储。

一种基于混合现实的调头轮设备拆装指导装置，该拆装指导装置包括：

视觉采集模块，用于对目标设备的当前状态信息进行获取；

识别处理模块，根据所述当前状态信息识别出所述目标设备及其当前操作状态信息；

指导显示模块，根据所述当前操作状态信息并采用混合现实技术进行拆装指导。

较佳地，所述拆装指导装置被设置为可穿戴的眼镜设备以便于操作者进行拆装操作。

较佳地，所述拆装指导装置还包括通信模块，该通信模块通过通信网络与云服务器相通信连接，从而与所述云服务器之间进行数据传输以便于所述云服务器进行数据处理与存储操作。

与现有技术相比，本发明的有益效果为：本发明的基于混合现实的调头轮设备拆装指导方法及装置，通过获取目标设备的当前状态信息能够判断出目标设备的机型以及设备当前的操作状态信息，并进一步根据当前的操作状态信息进行对应的拆装指导，也就是说，即便是当前的操作状态信息是历史未完成的操作状态，也能够快速有效地进行后续的拆装指导，使操作人员能够独立完成调头轮的拆卸或安装，无需操作人员从头进行拆装操作；相比于现有的拆装指导仅提供完整的拆装视频指导让操作人员观看、学习或模拟等，本发明能够有效提高指导效率，保证操作人员能够高效地完成拆装操作。

附图说明

图1是本发明的实施例中基于混合现实的调头轮设备拆装指导方法的流程图。

图2是本发明的实施例中基于混合现实的调头轮设备拆装指导方法的即时定位与空间重建过程图。

图3是本发明的另一实施例中基于混合现实的调头轮设备拆装指导方法的流程图。

图4是本发明的实施例中基于混合现实的调头轮设备拆装指导装置的结构框图。

图5是本发明的实施例中基于混合现实的调头轮设备拆装指导装置的立体视觉建立过程图。

具体实施方式

下面结合附图所示的实施例对本发明作进一步说明。

如附图1所示，本实施例提供了一种基于混合现实的调头轮设备拆装指导方法，采用混合现实技术进行调头轮的拆卸或安装指导，在本实施例中，调头轮是安装在烟机设备中的部件。该拆装指导方法具体包括以下步骤：

步骤S1、获取目标设备的当前状态信息。在本实施例中，目标设备即为用于安装调头轮的烟机设备。在该步骤中，作为一种具体的实施方式，可以通过图像采集的方式(如拍照等)获取目标设备的当前状态信息。

步骤S2、根据获取得到的当前状态信息识别出目标设备及其当前操作状态信息。

具体地，在步骤S2中，根据获取得到的目标设备的当前状态信息对目标设备进行识别的过程包括：

根据当前状态信息中的设备外观信息与预先存储的外观参考信息进行比较从而识别出目标设备的机型信息。具体为：首先拍摄画面，检测图像的自然特征，将当前视频图像与指定外观的参考图像匹配，根据匹配结果判断当前场景图像与模型图像是否相同。如果不相同，则继续识别过程。

其中，外观参考信息通过激光扫描方式进行高精度工业建模得到并预先存储在指定设备中。由于烟机设备具有高精度、高密度的特点，因此，在建模阶段采用0.1MM级别的激光扫描方式进行高精度工业建模，并在此基础上拓扑出零件级等尺寸全还原的孪生设备。

另外，根据获取得到的目标设备的当前状态信息对目标设备的当前操作状态信息进行识别的过程包括：

将当前状态信息与预先存储的复数个操作状态参考信息进行比较从而判断出当前状态信息的有效性。这里的有效性是指，当前目标设备对应的当前操作状态是否为有效的拆卸或安装过程中的任意一个状态信息。具体为：根据映射表找到当前图像对应的物体模型的3D点坐标，根据投影矩阵和已知的内参矩阵恢复出当前图像帧的位姿矩阵，之后进行几何校验和反投影误差分析，判断其是否为有效流程状态。

进一步在判断结果为有效时，获得匹配的当前操作状态信息。也就是说，将匹配得到的操作状态参考信息所对应的拆卸或安装所对应的过程状态作为目标设备的当前操作状态信息，通过当前操作状态信息用来表征目标设备的拆卸或安装进度。即本实施例的指导方法深度结合SOP(标准操作程序)流程，进行操作步骤的动态管理和加载，通过数据分析进行步骤寻优和管理评分。另外，在判断为有效流程状态之后，就可以定义虚拟物体的坐标系，叠加三维虚拟物体进行渲染。此后开始进入到跟踪阶段进行跟踪计算新的位姿矩阵，当跟踪到的点数影响到了计算位姿矩阵的精度时，则重新进行设备外观识别和有效流程状态识别。

在另一种实施方式，为了提高当前操作状态信息识别的精确度，对当前状态信息识别的过程可以包括：将目标设备的当前状态信息和预存的设备模型进行深度方向的识别比对，并且，将当前状态信息和预存的操作状态参考信息进行识别对比，通过两个层次的识别比对，提高当前操作状态信息的识别准确性，这里，主要是解决在当前状态信息所获取的角度可能与操作状态参考信息的获取交度不一致的情形下实现准确识别。

步骤S3、根据当前操作状态信息并通过混合现实技术进行拆装指导。

具体地，在步骤S3中，进行拆装指导的具体方式包括以下指导内容中的至少一种：播放语音提示信息、播放拆装视频以及播放具有位置提示的拆装图片信息。通过混合现实技术进行匹配的拆装指导，能够高效地指导操作人员进行拆卸或安装操作，实现操作的同时进行指导，通过视频或是图片形式的位置提示能够让操作人员快速且准确地进行拆卸或安装操作。

在该步骤S3中，基于步骤S2所定位的SOP的具体步骤进一步执行后续步骤的指导，在指导过程中，该指导方法具有工具识别的功能，根据SOP流程建立了完整的工具摆放规范，通过MR(混合现实技术)可识别工具型号和对工具的选用进行详细指导。在指导过程中，对于工具的位置指导通过即时定位与空间重建技术实现，具体如下：

如图2所示，通过对应的摄像头、其他传感器以及激光雷达进行空间关系建立，具体是采用环境感知摄像头捕获真实环境图像并从中提取特征点，之后匹配相邻图像的特征点，通过差值计算得出运动矢量，从而明确操作人员待执行的运动；再通过立体视觉中的深度算法获得空间深度信息，在计算机中对三维空间进行重刻。

通过上述步骤S1至S3的指导方法，通过获取目标设备的当前状态信息能够判断出目标设备的机型以及设备当前的操作状态信息，并进一步根据当前的操作状态信息进行对应的拆装指导，也就是说，即便是当前的操作状态信息是历史未完成的操作状态，也能够快速有效地进行后续的拆装指导，使操作人员能够独立完成调头轮的拆卸或安装，无需操作人员从头进行拆装操作。即、通过对设备外观机型识别，重建虚拟维修场景，将拆装作业操作提示内容定位到相应空间位置中，在使用者进行拆装操作时，能够同时查看拆装提示，包括零件定位、设备结构、拆装步骤等内容。提高了设备拆装培训环节中的时间利用效率，在实践中融入了指导内容，初学者通过工具能够独立完成设备拆装。相比于现有的拆装指导仅提供完整的拆装视频指导让操作人员观看、学习或模拟等，本发明能够有效提高指导效率，保证操作人员能够高效地完成拆装操作。

而且，本实施例的拆装指导方法通过一种性能优化的异步加载方案，深度结合SOP流程，进行操作步骤的动态管理和加载，通过数据分析比对进行步骤寻优和管理评分。

另外，本实施例的拆装指导方法还结合离线渲染技术，用离线渲染的视频图片等高质量的视觉信息进行步骤指导，用基于空间定位高精度的低质量位置进行信息的虚实结合，两者互为补充。解决了传统MR采用的设备在展示的内容上均采用实时渲染，主要受限于设备性能，往往在三维模型的细腻表现上存在效果不佳、帧率过低等问题。

在另一实施方式中，如图3所示，为了确保对目标设备执行的拆卸或安装操作的合法性，该基于混合现实的调头轮设备拆装指导方法，在上述步骤S1之前还可以进行如下步骤：确认操作人员的身份合法性的步骤。也就是说，只有通过身份验证的操作人员才能够对目标设备进行调头轮拆卸或安装操作，确保非法人员的误操作等，提高设备安全性。具体地，对操作人员进行身份验证的方式包括并不限于以下几种方式：用户信息登录与验证的方式、指纹识别方式以及虹膜识别方式等。

进一步，如图3所示，在确认操作人员的身份合法性之后，该基于混合现实的调头轮设备拆装指导方法还可以包括如下步骤：确定对目标设备进行拆卸或安装的步骤。这样，针对目标设备待进行的拆卸或安装操作进行有效区分，提高了整体的指导效率。

在另一实施方式中，为了实现对操作人员执行的拆卸或安装操作的追溯查询以及对目标设备的拆卸或安装信息的记录，该基于混合现实的调头轮设备拆装指导方法，在进行拆装指导过程中还包括以下步骤：实时采集当前的拆装过程数据；并且，将拆装过程数据实时发送至云服务器中存储。这里，通过实时采集拆装过程数据实现对操作人员的拆卸或安装过程的全程记录，具体可以采用拍摄视频或者以预定频率拍摄图片的方式进行拆装过程数据采集。另外，需要对于采集得到的拆装过程数据进行保存，具体可以是直接存储在指导装置本体内，还可以是将采集到的拆装过程数据发送至云服务器中进行存储，节约指导装置本体的存储空间的同时，便于管理人员随时随地访问云服务器从而对目标设备进行拆装记录的查询。从而实现深度结合设备运维系统和MES系统，对维修结果和诊断结果进行工单确认，进行业务的深度整合。

基于上述过程的基于混合现实的调头轮设备拆装指导方法，本实施例还提供一种可以实现该拆装指导方法的基于混合现实的调头轮设备拆装指导装置100，具体地，如图4所示，该拆装指导装置100包括：视觉采集模块10、识别处理模块20、指导显示模块30以及控制模块40。

视觉采集模块10用于对目标设备的当前状态信息进行获取。

识别处理模块20根据当前状态信息识别出目标设备及其当前操作状态信息，具体的识别过程参见上述实施例中步骤S2的详细过程，在此不再赘述。

指导显示模块30根据当前操作状态信息并采用混合现实技术进行拆装指导，具体的指导方式参见上述实施例中步骤S3的详细内容，在此不再赘述。

控制模块40中存储有用于控制视觉采集模块10、识别处理模块20以及指导显示模块30执行具体步骤的控制程序。

根据该基于混合现实的调头轮设备拆装指导装置100的具体结构，通过视觉采集模块10获取目标设备的当前状态信息，并通过识别处理模块20能够判断出目标设备的机型以及设备当前的操作状态信息，进一步由指导显示模块30根据当前的操作状态信息进行对应的拆装指导，也就是说，即便是当前的操作状态信息是历史未完成的操作状态，也能够快速有效地进行后续的拆装指导，无需操作人员从头进行拆装操作；相比于现有的拆装指导仅提供完整的拆装视频指导让操作人员观看、学习或模拟等，本发明能够有效提高指导效率，保证操作人员能够高效地完成拆装操作。

在另一实施方式中，为了便于操作人员被指导进行拆卸或安装操作，该拆装指导装置100可以被设置为可穿戴的眼镜设备，这样，只需将拆装指导装置100戴在眼部位置即可，在拆卸或安装操作的同时便于观看指导信息。

基于被设置为可穿戴眼镜设备的拆装指导装置100，在实际使用中，可以根据当时场景需求对眼镜设备上的摄像头进行矫正，以便于后续能够投射出准确的虚拟画面从而进行准确地拆卸或安装指导，具体如下：

如图5所示，眼镜设备上设置多个摄像头以便于建立立体视觉，通过对所有摄像头进行摄像头矫正、图像对齐、左右匹配、视察图、深度图以及同步定位建立空间地步骤实现对整体立体视觉的处理，保证眼镜端所投射的画面可以按照真实的透视关系合成到空间中去，并保留真实空间的物理遮挡关系。

基于被设置为可穿戴眼镜设备的拆装指导装置100，为了确保对目标设备执行的拆卸或安装操作的合法性，在操作人员佩戴该眼镜设备后，可以首先确认操作人员的身份合法性。也就是说，只有通过身份验证的操作人员才能够对目标设备进行调头轮拆卸或安装操作，确保非法人员的误操作等，提高设备安全性。具体地，对操作人员进行身份验证的方式可以采用虹膜识别方式，佩戴后即可快速确认身份。当然，还可以采用其它的身份验证方式，比如在佩戴眼镜设备之前可以进行用户信息登录与验证的方式或者采用指纹识别方式等等。

进一步，在确认操作人员的身份合法性之后，还可以让操作人员确定对目标设备进行拆卸或安装的需求。这样，针对目标设备待进行的拆卸或安装操作进行有效区分，提高了整体的指导效率。

在另一实施方式中，为了实现对操作人员执行的拆卸或安装操作的追溯查询以及对目标设备的拆卸或安装信息的记录，该拆装指导装置100还能够实时采集当前的拆装过程数据，并且对拆装过程数据进行存储。具体地，该拆装指导装置100还包括通信模块50，该通信模块50通过通信网络与云服务器相通信连接，从而与云服务器之间进行数据传输以便于云服务器进行数据处理与存储操作。作为具体的实施方式，通信模块50可以采用现有的任意通信手段，如2G/3G/4G/5G/6G等移动通信技术、WIFI、ZIGBEE等无线通信技术、蓝牙通信技术等等。

首先，通过视觉采集模块10实时采集拆装过程数据从而实现对操作人员的拆卸或安装过程的全程记录，具体可以采用拍摄视频或者以预定频率拍摄图片的方式进行拆装过程数据采集。另外，将采集到的拆装过程数据发送至云服务器中进行存储，节约指导装置本体的存储空间的同时，便于管理人员随时随地访问云服务器从而对目标设备进行拆装记录的查询。这里，不排除可以将采集到的拆装过程数据保存在眼镜设备本体内，只要满足实际需求即可。

基于该可穿戴的眼镜设备形式的拆装指导装置，操作人员进行的具体的指导过程如下：

1.操作人员戴上用于拆装指导的眼镜设备，并启动电源。在本实施例中，眼镜设备具体可以为hololens2眼镜。HoloLens是微软生产的一款混合现实头戴设备，为使用者提供与现实空间进行交互的基础功能。

2.设备启动虹膜识别从而认证操作人员的身份，并在认证成功后启动拆装指导的应用程序。

3.设备进行识别，在识别到掉头轮时启动模型匹配，将虚拟模型和物理模型进行重合以进行识别。

4.由操作人员确认待执行的是拆卸流程还是安装流程。

5.判断出当前设备状态，从而定位到对应SOP流程的步骤，即判断出设备当前状态所处的拆卸或安装的具体步骤，也就是说有可能是处于中间的步骤，即说明设备的前次的拆卸或安装过程中断未完成，以便于根据当前设备状态执行后续的拆卸或安装步骤的指导。在该步骤中，可以通过hololens的深度摄像机和建立的模型进行比对，并且视觉摄像机和之前预存的状态参考照片进行比对，通过两个层面的对比确保能够准确判断出当前设备状态，主要是解决当前拍摄的照片与状态参考照片的视觉角度不一致而导致单纯的视觉摄像机判断不准确的问题。

6.对现实空间进行三维重建，精准定位设备三维模型，进行虚拟场景与现实场景的融合，保障提示UI拥有正确的空间位置关系，提供良好的交互体验。

7.开始拆卸或安装指导，具体包括：提示需采用的工具，提示下一步操作的步骤，直到完成所有的拆卸或安装步骤。

8.在拆卸或安装的同时记录本次拆卸或安装操作过程，最后上传本次的工单信息和拆装记录数据。

本发明的保护范围不限于上述的实施例，显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及其等同技术的范围，则本发明的意图也包含这些改动和变形在内。