一种基于故障现场的实时远程培训方法及系统

技术领域

本发明涉及电力系统培训技术领域，特别是涉及一种基于故障现场的实时远程培训方法及系统。

背景技术

在电力行业，电力设备不仅数量众多且分布广泛，往往易出现多个地点同时出现设备故障的问题，因此企业通常需要安排多个运维人员在岗，以维持电力系统的良好运转，这也要求企业需做好大量运维人员的应急抢修技术培训工作，确保每个运维人员都能够及时高效地处理设备故障。

目前，企业大多采取传统培训方式对运维人员进行技术培训，包括面授实操培训、课本理论培训以及视频理论培训等。但应急抢修培训涉及技术性较强的培训内容，传统培训方式仅侧重于理论指导，内容不够直观，且无法提供实操训练，培训效果往往有限。

发明内容

针对上述技术问题，本发明提出一种基于故障现场的实时远程培训方法及系统，所述方法利用AR技术，使讲师在故障现场可进行与远程培训人员的实时交互培训，实现了实操性更强、培训内容更直观的培训效果。

本发明实施例提供一种基于故障现场的实时远程培训方法，包括：

利用故障现场端的AR设备实时采集故障现场信息和AR知识信息；

根据所述故障现场信息生成3D数字孪生影像；将所述AR知识信息与所述故障现场信息进行实时结合，得到自然交互信息；

运用VSLAM算法构建故障现场地图；

将所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图传输至远程培训端的AR设备；

远程培训端的AR设备根据所述稀疏点云地图，在所述远程培训端的现场实时显示所述3D数字孪生影像和所述自然交互信息。

在某一个实施例中，利用所述AR设备的深度感知相机传感器和RBG相机传感器实时扫描故障现场，得到故障现场信息，所述信息包括故障现场环境的深度信息和颜色信息；利用所述AR设备实时识别手部姿势和语音内容，得到AR知识信息。

在某一个实施例中，所述AR知识信息还包括基于故障现场环境的AR空间标注、基于故障现场环境的空间锚点标注以及loT设备参数。

在某一个实施例中，利用5G网络技术，将所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图传输至远程培训端的AR设备。

在某一个实施例中，远程培训端可利用AR设备与故障现场端进行实时语音交互和AR知识信息交互。

在某一个实施例中，所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图可同时传输至远程培训端的多个AR设备。

本发明实施例还提供一种基于故障现场的实时远程培训系统，包括：

采集单元，用于利用故障现场端的AR设备实时采集故障现场信息和AR知识信息；

构建单元，用于根据所述故障现场信息生成3D数字孪生影像；将所述AR知识信息与所述故障现场信息进行实时结合，得到自然交互信息；运用VSLAM算法构建故障现场地图；

传输单元，用于将所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图传输至远程培训端的AR设备；

培训单元，用于远程培训端的AR设备根据所述稀疏点云地图，在所述远程培训端的现场实时显示所述3D数字孪生影像和所述自然交互信息。

在某一个实施例中，远程培训端可利用AR设备与故障现场端进行实时语音交互和AR知识信息交互。

在某一个实施例中，所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图可同时传输至远程培训端的多个AR设备。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上述任一个实施例所述的方法。

相比现有技术，本发明实施例的有益效果在于：

本发明提供的一种基于故障现场的实时远程培训方法及系统将故障现场作为培训基地，将利用AR技术构建的故障现场3D影像和培训讲师的自然交互信息实时传输至远程的培训人员处，为培训人员提供实操性强且内容更加真实直观的培训内容，有效提高培训效果。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于故障现场的实时远程培训方法流程示意图；

图2是本发明实施例提供的基于故障现场的实时远程培训系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如图1所示，本发明一个实施例提供一种基于故障现场的实时远程培训方法，包括下述步骤。

S11：利用故障现场端的AR设备实时采集故障现场信息和AR知识信息。

在该实施例中，利用故障现场端的AR设备实时采集故障现场信息和AR知识信息具体为：利用所述AR设备的深度感知相机传感器和RBG相机传感器实时扫描故障现场，得到故障现场信息，所述信息包括故障现场环境的深度信息和颜色信息；利用所述AR设备实时识别手部姿势和语音内容，得到AR知识信息。

在该实施例中，AR知识信息还包括基于故障现场环境的AR空间标注、基于故障现场环境的空间锚点标注以及loT设备参数。

在一个具体实施例中，AR设备包括AR智能眼镜。

S12：根据所述故障现场信息生成3D数字孪生影像；将所述AR知识信息与所述故障现场信息进行实时结合，得到自然交互信息；运用VSLAM算法构建故障现场地图。

S13：将所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图传输至远程培训端的AR设备。

在一个实施例中，可利用5G网络技术将所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图传输至远程培训端的AR设备。

在一个实施例中，所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图可同时传输至远程培训端的多个AR设备。

S14：远程培训端的AR设备根据所述稀疏点云地图，在所述远程培训端的现场实时显示所述3D数字孪生影像和所述自然交互信息。

在一个实施例中，远程培训端可利用AR设备与故障现场端进行实时语音交互和AR知识信息交互。

以下提供一个具体实施例，说明本发明提出的基于故障现场的实时远程培训方法在电力行业人员培训中的应用。

现场故障的维修人员担任培训讲师，在故障现场端佩戴AR眼镜，利用AR眼镜的深度感知相机传感器(TOF)及RGB相机传感器实时扫描故障现场，构建故障现场的高精度稠密点云3D数字孪生影像。

其中，深度感知相机传感器(TOF)用于获取故障现场的深度信息，重建故障现场的3D可视化点云数据，并通过实时解算将点云数据网格化，进而处理成三维面信息；RGB相机传感器则用于获取故障现场的颜色信息，通过图片拼合和UV矫正处理后，将实际故障现场的纹理、色彩以贴图形式贴在3D网格面信息上。

将深度感知相机传感器(TOF)及RGB相机传感器输出的信息进行组合，可得到一个有纹理、有几何形状的真实故障现场的3D全息数字孪生影像，使培训效果更真实。

同时，培训讲师还通过AR眼镜的双目鱼眼RGB镜头传感器和惯性传感器获取空间环境感知能力(VSLAM)，实时构建稀疏点云地图。

在故障现场，培训讲师佩戴的AR眼镜通过自然语音交互和自然手势交互形式进行故障讲解，并实时获取手势、语音讲解、基于现场环境的AR空间标注、基于现场环境的空间锚点标注和设备IOT参数等AR知识信息。

其中，基于现场环境的AR空间标注为培训讲师在故障现场圈注的AR空间标注；基于现场环境的空间锚点标注为培训讲师在故障现场空间中打的锚点，IOT参数为培训讲师通过云端拉取的物联网设备数据。

再根据故障现场这一真实空间的位置关系和时间顺序关系计算AR知识信息的三维信息，将AR知识信息放置在空间的三维坐标系中，两种信息共同组合，形成一个故障现场全息多维信息合集。

该信合合集包含了故障现场信息和现场故障维修人员的知识信息，通过信息的深度结合提升培训效果，

具体地，可结合AR眼镜的TOF相机及Fisheye RGB相机获取真实空间信息。

故障现场端生成的稀疏点云地图、3D数字孪生影像和AR知识信息可通过5G网络技术实时传输到远端的学员端。

5G网络技术具备高带宽和低延时的特点，可提供实时性更高的传输效率。

对于远程培训端的多名学员，各学员可以在不同场地同时佩戴AR眼镜，接收到来自故障现场端的培训讲师发出的3D数字孪生影像和AR知识信息，并结合稀疏点云地图，通过AR眼镜的环境感知定位能力(VSLAM)将该信息呈现在自己所在的真实世界中，实现1：1复现故障现场。同时，学员可通过挪动自身位置，从不同角度和距离查看故障现场端的数字化3D世界内容信息。

VSLAM(Visual Simultaneous Localization and Mapping)环境感知定位能力可用于建立目标物体周围的场景的三维模型，同时通过定位自身的空间位置还原出相机的运动轨迹。

由于学员所在的真实世界和故障现场端的虚拟世界空间一一对应，学员还可通过AR眼镜与现场故障维修人员进行实时语音交互和AR知识信息编辑交互，实现实时远程的互动式培训，达到直观高效的培训效果。

如图2所示，本发明另一个实施例提供一种基于故障现场的实时远程培训系统，包括采集单元101、构建单元102、传输单元103和培训单元104。

采集单元101用于利用故障现场端的AR设备实时采集故障现场信息和AR知识信息。

构建单元102用于根据所述故障现场信息生成3D数字孪生影像；将所述AR知识信息与所述故障现场信息进行实时结合，得到自然交互信息；运用VSLAM算法构建故障现场地图。

传输单元103用于将所述3D数字孪生影像、所述自然交互信息和所述稀疏点云地图传输至远程培训端的AR设备。

培训单元104用于远程培训端的AR设备根据所述稀疏点云地图，在所述远程培训端的现场实时显示所述3D数字孪生影像和所述自然交互信息。

上述系统内的各单元之间信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上述任一个实施例所述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可监听存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。