面向配电网作业的现实可视化方法、系统、设备及介质

技术领域

本发明涉及自动化及机器人技术领域，尤其涉及一种面向配电网作业的现实可视化方法、系统、设备及介质。

背景技术

随着人工智能飞速发展，越来越多的工作可以交由智能机器人完成，特别是传统行业中工作条件恶劣、操作难度大和安全风险高的工作，若能够交由智能机器人完成，可以极大减少人工成本投入，并提高工作效率。

在配电线路维护中，传统方法为相关人员沿线路巡检，并在故障位置进行高空带电作业，这种方式人工成本高且工作危险性很高。目前存在一些基于带电作业机器人进行配电网线路组装和维护的方式，以替代电网运维技术人员到高空危险环境开展带电作业。此方法实现工作目的的前提是需要准确获知配电网线路的结构信息、位姿信息，需要将实际的场景信息转换为计算机可读信息。此外，基于带电作业机器人进行配电网线路组装和维护的方式还可以分为自主式、半自主式和手动式。机器人自主式作业主要面向于环境简单固定、操作容易单一的应用场景，而半自主式与手动式加入了人工参与机器人作业，使其可以适应于复杂多样化作业场景。

针对配电网带电作业面临的复杂非结构化场景与多样化作业任务的适应性难题，需要构件配电网带电作业场景混合现实显示可视化方法，以帮助实现地面人员对高空作业机器人的远程多模态感知，进一步帮助地面人员对高空作业机器人的精准化操控。

公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明提供了一种面向配电网作业的现实可视化方法、系统、设备及介质，从而有效解决背景技术中的问题。

为了达到上述目的，本发明所采用的技术方案是：一种面向配电网作业的现实可视化方法，包括如下步骤：

基于配电网线路实际场景，预先建立各设备的数字孪生模型；

制作投影标记，作为标记分别对应各所述数字孪生模型；

将所述投影标记分别对应固定于配电网线路中设备表面，所述数字孪生模型中所述投影标记和配电网线路中设备表面的所述投影标记位置和方向一致；

作业机器人识别到设备表面的所述投影标记时，读取所述投影标记所对应的数字孪生模型，及数字孪生模型的位置与方向，并发送至终端；

终端在虚拟引擎中生成场景，操作人员佩戴混合现实显示设备，对所述场景进行观看。

进一步地，所述数字孪生模型包括：机械臂及其平台的三维模型、电力线、避雷器、熔断器、绝缘子、杆塔中的任意一种或多种。

进一步地，所述投影标记为：QR码、二维条码、物理反射标记、图像目标、2D标签中的任意一种。

进一步地，所述制作投影标记，作为标记分别对应各所述数字孪生模型中，在所述数字孪生模型中投影坐标系以所述投影标记作为原点。

进一步地，所述操作人员佩戴混合现实显示设备，对所述场景进行观看中，操作人员观看内容为构建出的场景与现实环境叠加的混合现实场景。

本发明还包括一种面向配电网作业的现实可视化系统，包括：

数字孪生模型库，所述数字孪生模型库包括若干设备的数字孪生模型；

投影标记，所述投影标记设置于设备表面，用于对数字孪生模型进行对应及定位；

作业机器人，所述作业机器人包括识别模块，所述作业机器人识别到所述投影标记时，读取所述投影标记对应的所述数字孪生模型，及数字孪生模型的位置与方向；

终端，所述终端与所述作业机器人通信连接，对所述作业机器人识别到的所述投影标记信息进行接收，并在虚拟引擎中生成场景；

混合现实显示设备，所述混合现实现实设备与所述终端通信连接，对所述场景进行接收，并供操作人员观看。

进一步地，所述数字孪生模型包括：机械臂及其平台的三维模型、电力线、避雷器、熔断器、绝缘子、杆塔中的任意一种或多种。

进一步地，所述投影标记为：QR码、二维条码、物理反射标记、图像目标、2D标签中的任意一种。

进一步地，所述数字孪生模型中投影坐标系以所述投影标记作为原点。

进一步地，所述混合现实显示设备将所述场景与现实环境叠加显示。

本发明还包括一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的方法。

本发明还包括一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的方法。

本发明的有益效果为：本发明可以获知配网线路的结构信息、位姿信息，将实际的作业场景转换为虚拟三维模型，增强了机器人对配网线路的三维感知能力。虚拟三维模型通过混合现实显示设备全息投影到地面操作者眼前，实现地面人员对高空作业机器人的远程多模态感知。实现实时交互式、沉浸式遥操作远程机器人作业。一方面机器人代替人工，安全可靠地完成配网线路上的带电作业任务；另一方面，解决了机器人配网带电作业面临的复杂非结构化场景与多样化作业任务的适应性难题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法的流程图；

图2为构建的场景的示意图；

图3为本发明系统的示意图；

图4为计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

如图1所示：一种面向配电网作业的现实可视化方法，包括如下步骤：

基于配电网线路实际场景，预先建立各设备的数字孪生模型；

制作投影标记，作为标记分别对应各数字孪生模型；

将投影标记分别对应固定于配电网线路中设备表面，数字孪生模型中投影标记和配电网线路中设备表面的投影标记位置和方向一致；

作业机器人识别到设备表面的投影标记时，读取投影标记所对应的数字孪生模型，及数字孪生模型的位置与方向，并发送至终端；

终端在虚拟引擎中生成场景，操作人员佩戴混合现实显示设备，对场景进行观看。

本实施例中，可以实现在作业机器人遥控操作时，机器人遥控操作的操作人员可以佩戴头戴式混合现实显示设备，在对高空作业机器人具有远程多模态感知的情况下作业，以提高安全性与准确度；或者在机器人自主操作前，可以通过虚拟引擎中数字孪生模型进行仿真或训练（同时或可操作员通过头戴式混合现实显示设备全息投影观察），以提高安全性与准确度；还可以实现遥控操作的操作人员可以借助虚拟引擎中数字孪生模型与混合现实全息现实来训练操作技能。

其中，数字孪生模型包括：机械臂及其平台的三维模型、电力线、避雷器、熔断器、绝缘子、杆塔中的任意一种或多种。

这些数字孪生模型在后续中用于混合现实全息显示，并与真实世界环境叠加。

作为上述实施例的优选，投影标记为：QR（Quick Response，快速响应）码、二维条码、物理反射标记、图像目标、2D标签中的任意一种，并在其中编入模型类别信息，使其一一对应（一）中预先建立的数字孪生模型。本实施例中优选QR码，QR码是一种可以快速读取、能存储丰富信息的开放式标准的二维码，其不需要对准，不会受角度的影响。除此之外还可以使用其他二维条码、物理反射标记、图像目标和2D标签等标记。在AR（AugmentedReality，增强现实）或MR（Mixed Reality，混合现实）中，标记是在应用程序中注册的图像或对象，它们在应用程序中充当信息触发器。当混合现实设备在真实世界中识别到这些标记时（在运行AR或MR应用程序时），这会触发应用程序在混合现实设备的摄像头视图中标记的位置上显示标记包含信息所对应的虚拟内容（数字孪生模型）。

其中，制作投影标记，作为标记分别对应各数字孪生模型中，在数字孪生模型中投影坐标系以投影标记作为原点。

作为上述实施例的优选，操作人员佩戴混合现实显示设备，对场景进行观看中，操作人员观看内容为构建出的场景与现实环境叠加的混合现实场景。

操作人员头戴混合现实显示设备，通过头戴式混合现实显示设备上自带的摄像头识别投影标记，读取投影标记所包含的数字孪生模型类别信息，并确定投影标记坐标系的位置与方向。本实施例采用的头戴式混合现实显示设备为HoloLens 2。HoloLens2是微软发布的一款可穿戴式混合显示设备，允许操作者头部自由移动且不会损失空间定位的准确性；其拥有独立计算和处理数据的能力，不受空间限制和线材束缚，佩戴者能透过屏幕可同时看到真实世界和全息三维模型。

如图2所示，将头戴式混合现实显示设备与电脑上虚拟引擎通过局域网相连，头戴式混合现实显示设备读取到投影标记所包含的数字孪生类别信息与投影标记的位置方向信息后，在虚拟引擎中在对应位置方向上导入预先建立的数字孪生模型，最后将虚拟引擎中的场景及模型通过头戴式混合现实显示设备全息显示。本实施例中数字孪生混合现实显示方法采用的虚拟引擎为Unity3D开发平台。Unity3D开发平台是一款跨平台的虚拟开发引擎，为游戏、汽车、建筑工程、影视动画等广泛领域的开发者提供强大且易于上手的工具来创作、运营和变现3D、2D、VR和AR可视化体验。Unity3D为虚拟项目的开发提供了通用框架以及灯光渲染、场景编辑、物理仿真等强大功能，通过其开发的场景交互十分便捷。

本实施例面向机器人配电网带电作业场景，实时构建出配网带电作业机器人的配网线路场景三维模型，并与配网带电作业机器人三维模型整合，共同投射到可穿戴式混合现实设备上，使得操控人员通过佩戴可穿戴式混合现实设备，实现实时交互式、沉浸式遥操作远程机器人作业。具体优点表现在以下几个方面：

第一、获知配网线路的结构信息、位姿信息，将实际的作业场景转换为虚拟三维模型，增强了机器人对配网线路的三维感知能力。

第二、虚拟三维模型通过头戴式混合现实显示设备全息投影到地面操作者眼前，实现地面人员对高空作业机器人的远程多模态感知，并且不会失去真实环境的感知（可透过显示设备看到操作者周围环境）。

第三、实现实时交互式、沉浸式遥操作远程机器人作业。一方面机器人代替人工，安全可靠地完成配网线路上的带电作业任务；另一方面，解决了机器人配网带电作业面临的复杂非结构化场景与多样化作业任务的适应性难题。

如图3所示，本实施例中还包括一种面向配电网作业的现实可视化系统，包括：

数字孪生模型库，数字孪生模型库包括若干设备的数字孪生模型；

投影标记，投影标记设置于设备表面，用于对数字孪生模型进行对应及定位；

作业机器人，作业机器人包括识别模块，作业机器人识别到投影标记时，读取投影标记对应的数字孪生模型，及数字孪生模型的位置与方向；

终端，终端与作业机器人通信连接，对作业机器人识别到的投影标记信息进行接收，并在虚拟引擎中生成场景；

混合现实显示设备，混合现实现实设备与终端通信连接，对场景进行接收，并供操作人员观看。

数字孪生模型包括：机械臂及其平台的三维模型、电力线、避雷器、熔断器、绝缘子、杆塔中的任意一种或多种。

投影标记为：QR码、二维条码、物理反射标记、图像目标、2D标签中的任意一种。

数字孪生模型中投影坐标系以投影标记作为原点。

混合现实显示设备将场景与现实环境叠加显示。

可以实现在作业机器人遥控操作时，机器人遥控操作的操作人员可以佩戴头戴式混合现实显示设备，在对高空作业机器人具有远程多模态感知的情况下作业，以提高安全性与准确度；或者在机器人自主操作前，可以通过虚拟引擎中数字孪生模型进行仿真或训练（同时或可操作员通过头戴式混合现实显示设备全息投影观察），以提高安全性与准确度；还可以实现遥控操作的操作人员可以借助虚拟引擎中数字孪生模型与混合现实全息现实来训练操作技能。

请参见图4示出的本申请实施例提供的计算机设备的结构示意图。本申请实施例提供的一种计算机设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的计算机程序，计算机程序被处理器410执行时执行如上的方法。

本申请实施例还提供了一种存储介质430，该存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的方法。

其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-OnlyMemory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。