一种基于数字分身的人机远程协同控制系统及构建方法

技术领域

本发明涉及VR/AR虚拟现实技术领域，具体而言，涉及一种基于数字分身的人机远程协同控制系统及构建方法。

背景技术

在智能控制领域中，远程设备操作具有重要意义，特别是当设备工作在危险环境中时，允许操作人员能够远程遥控操作设备，避免人员亲自进入危险区域，从而提高操作的安全性，成为突出的重要需求。

此外，在需要多人协同工作的任务中，涉及到多个用户之间的协同互动，以及多个智能设备之间的协同交互。因此，如何将多个用户和多个智能设备有效地结合起来，使它们能够协同控制一个或多个设备，变得尤为重要。

目前，虚拟现实(VR)和增强现实(AR)技术已经在多个领域得到了广泛应用，包括游戏、教育、医疗保健、军事和企业等。在这些VR/AR技术中，有的提供了引人入胜的沉浸式体验，有的能够使用户与虚拟世界进行互动。

如果将VR/AR技术引入智能控制远程设备和多用户协同互动工作领域，对于提升上述领域的工作效能提供了新的技术可能。

但是，现阶段的VR/AR技术的应用研发仍处于初级阶段，主要涉及简单的游戏应用，目前的应用面较狭窄，尚未形成完善的处理流程和技术规模，无法适应于日益产生的新领域应用需求。

发明内容

鉴于此，本发明的目的在于将沉浸式的VR体验与设备的远程协同控制相结合，提出一种基于VR/AR数字分身的人机远程协同控制系统及构建方法，将用户置身于虚拟或增强现实环境中，通过数字分身代表他们在虚拟世界中进行操作和互动，同时实现多用户和多设备之间协同控制，使得多个用户可同时远程操控一个或多个智能设备，共同完成任务，而无需亲自前往现场，提高了设备操作的安全性、便捷性，从而提升工作效率；将VR/AR和数字分身技术融合到智能控制中，为人机协同控制提供支持。

本发明提供一种基于数字分身的人机远程协同控制系统，包括：人机交互层、数据计算层、信息传输层、设备执行层；

其中，所述人机交互层包括：操纵者、VR穿戴设备和虚拟场景；所述数据计算层包括：数据计算设备；所述VR穿戴设备与所述数据计算设备通过有线或无线连接的方式信号连接；所述信息传输层包括：数据分发设备以及各种设备之间的通讯；所述设备执行层包括：各种智能设备和全景相机；数据分发设备通过将不同的智能设备、全景相机、数据计算中心连接，实现设备之间的信息交互。

本发明还提供一种基于数字分身的人机远程协同控制系统的构建方法，执行于如上述所述的基于数字分身的人机远程协同控制系统，包括以下步骤：

S1、基于需求规划智能设备在现实场景中的实际位置；结合所述智能设备的分布情况，规划智能设备的连接方式和信息传输路径；搭建基于VR/AR数字分身的人机远程协同控制系统的架构；

S2、根据所述智能设备实现的行为动作功能和信息传输方式，编写智能设备的控制器程序；

不同的现实场景中需求的智能设备是不同的，根据所选的智能设备能够实现的功能，重新编写控制器程序；

S3、根据现实场景构建3D的虚拟场景，同时根据智能设备的行为动作功能和控制器程序，基于行为动作映射的数字分身方法，构建具有虚实交互功能的智能设备数字分身，通过所述智能设备数字分身将所述现实场景进行现实虚拟化，实现现实场景在所述虚拟场景的重构映射；

S4、编写人机交互程序，采用VR穿戴设备实现基于数字分身的人机协同交互，完成基于VR/AR数字分身的人机远程协同控制系统的构建，通过构建的人机远程协同控制系统实现人机远程沉浸式交互和多人协同控制；通过使用VR穿戴设备与虚拟场景中的数字分身进行虚实交互。

交互的模式包括：单人或多人模式。

进一步地，所述S1步骤的规划智能设备的连接方式和信息传输路径的方法包括：

通过现实场景中智能设备和全景相机的实际位置，将不同的智能设备和全景相机与数据分发设备采用星型连接的方式进行连接，将数据计算设备和数据分发设备相连；

当现实场景中智能设备和全景相机是移动设备时，则将智能设备和全景相机与数据分发设备进行无线连接；当智能设备和全景相机是固定设备时，则将智能设备和全景相机与数据分发设备进行无线或有线连接。

进一步地，所述S2步骤的控制器程序实现的功能包括：信息通讯功能、控制指令接收功能以及动作执行功能；

其中，所述信息通讯功能提供设备的数据传输和信息交互；

所述控制指令接受功能用于接收来自数据计算中心和其他智能设备的控制指令；

所述动作执行功能将智能设备所需的行为动作分解为能够执行的基本功能单元，通过组合所述基本功能单元构建完整的行为动作，从而实现智能设备的行为动作。

进一步地，所述S3步骤的根据现实场景构建3D虚拟场景的方法包括：

通过全景相机感知现实场景的实时画面，将实时全景视频采用RTSP、RTMP、RTMPSERVER、GB28181、STR、HDMI协议的形式传输给数据计算设备，所述数据计算设备通过Unity引擎构建虚拟世界，采用三维球面画面成像的方式，将现实场景转变为3D虚拟场景。

进一步地，所述S3步骤的基于行为动作映射的数字分身方法包括：

S31、分析总结智能设备能够执行的行为动作，将所述行为动作分解为基本功能单元；

S32、通过所述基本功能单元将行为动作转化为在虚拟场景可执行的数字分身行为动作；

S33、建立数字分身与智能设备之间的交互通道，将所述数字分身行为动作实时同步为智能设备行为动作；

S34、通过目标检测和智能设备状态感知，获取现实场景中的智能设备参数；

S35、利用感知获取到的参数信息，对虚拟场景内的数字分身行为动作进行状态矫正，保证虚拟场景与现实场景的同步性和一致性。

进一步地，所述S4步骤的采用VR穿戴设备实现基于数字分身的人机协同交互的方法包括：

通过VR头盔实时感知虚拟场景内的各种信息，随着眼睛对四周的观察实时感知虚拟场景内所有智能设备的数字分身；

通过VR左右手柄实时控制虚拟场景内所有智能设备的数字分身，通过手柄的按钮点击、按钮触摸、按钮旋转、手柄移动和手柄旋转生成不同的控制命令；

通过接收VR手柄发送的控制指令实现数字分身的不同行为动作，通过基于行为动作映射的数字分身方法，控制远端的智能设备的行为动作。

进一步地，所述S4步骤的人机交互程序实现的功能包括：虚拟场景显示功能、数字分身控制功能。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述所述的基于数字分身的人机远程协同控制系统的构建方法的步骤。

本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于数字分身的人机远程协同控制系统的构建方法的步骤。

与现有技术相比，本发明的有益效果在于：

本发明基于数字分身的人机远程协同控制系统及构建方法通过将用户置身于虚拟或增强现实环境中，基于数字分身在虚拟场景中进行操作和互动，可实现多用户和多设备之间协同控制，使得多个用户可同时远程操控一个或多个智能设备，共同完成任务，而无需亲自前往现场，不仅提高了工作效率，还提供了更安全、更便捷的工作方式，适用于紧急救援、危险品处理、远程维护、虚拟会议和培训等领域；将VR/AR和数字分身技术融合到智能控制中，为人机协同控制提供了有力支持，为协同工作和跨地域团队合作带来了新的技术可能性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

在附图中：

图1为本发明一种基于数字分身的人机远程协同控制系统的构建方法的流程图；

图2为本发明实施例基于行为动作映射的数字分身方法的流程图；

图3为本发明实施例基于数字分身的人机远程协同控制系统的系统架构图；

图4为本发明实施例计算机设备的构成示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的系统和产品的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面对本发明实施例作进一步详细说明。

本发明实施例提供一种基于数字分身的人机远程协同控制系统，包括：人机交互层、数据计算层、信息传输层、设备执行层；

其中，所述人机交互层包括：操纵者、VR穿戴设备和虚拟场景；所述数据计算层包括：数据计算设备；所述VR穿戴设备与所述数据计算设备通过有线或无线连接的方式信号连接；所述信息传输层包括：数据分发设备以及各种设备之间的通讯；所述设备执行层包括：各种智能设备和全景相机；数据分发设备通过将不同的智能设备、全景相机、数据计算中心连接，实现设备之间的信息交互。

本发明实施例还提供一种基于数字分身的人机远程协同控制系统的构建方法，执行于如上述所述的基于数字分身的人机远程协同控制系统，参见图1所示，包括以下步骤：

S1、基于需求规划智能设备在现实场景中的实际位置；结合所述智能设备的分布情况，规划智能设备的连接方式和信息传输路径；搭建基于VR/AR数字分身的人机远程协同控制系统的架构；

所述规划智能设备的连接方式和信息传输路径的方法包括：

通过现实场景中智能设备和全景相机的实际位置，将不同的智能设备和全景相机与数据分发设备采用星型连接的方式进行连接，将数据计算设备和数据分发设备相连；

当现实场景中智能设备和全景相机是移动设备时，则将智能设备和全景相机与数据分发设备进行无线连接；当智能设备和全景相机是固定设备时，则将智能设备和全景相机与数据分发设备进行无线或有线连接。

S2、根据所述智能设备实现的行为动作功能和信息传输方式，编写智能设备的控制器程序；

不同的现实场景中需求的智能设备是不同的，根据所选的智能设备能够实现的功能，重新编写控制器程序；

所述控制器程序实现的功能包括：信息通讯功能、控制指令接收功能以及动作执行功能；

其中，所述信息通讯功能提供设备的数据传输和信息交互；

所述控制指令接受功能用于接收来自数据计算中心和其他智能设备的控制指令；

所述动作执行功能将智能设备所需的行为动作分解为能够执行的基本功能单元，通过组合所述基本功能单元构建完整的行为动作，从而实现智能设备的行为动作。

S3、根据现实场景构建3D的虚拟场景，同时根据智能设备的行为动作功能和控制器程序，基于行为动作映射的数字分身方法，构建具有虚实交互功能的智能设备数字分身，通过所述智能设备数字分身将所述现实场景进行现实虚拟化，实现现实场景在所述虚拟场景的重构映射；

所述根据现实场景构建3D虚拟场景的方法包括：

通过全景相机感知现实场景的实时画面，将实时全景视频采用RTSP、RTMP、RTMPSERVER、GB28181、STR、HDMI协议的形式传输给数据计算设备，所述数据计算设备通过Unity引擎构建虚拟世界，采用三维球面画面成像的方式，将现实场景转变为3D虚拟场景。

所述基于行为动作映射的数字分身方法，参见图2所示，包括以下步骤：

S31、分析总结智能设备能够执行的行为动作，将所述行为动作分解为基本功能单元；

S32、通过所述基本功能单元将行为动作转化为在虚拟场景可执行的数字分身行为动作；

S33、建立数字分身与智能设备之间的交互通道，将所述数字分身行为动作实时同步为智能设备行为动作；

S34、通过目标检测和智能设备状态感知，获取现实场景中的智能设备参数；

S35、利用感知获取到的参数信息，对虚拟场景内的数字分身行为动作进行状态矫正，保证虚拟场景与现实场景的同步性和一致性。

S4、编写人机交互程序，采用VR穿戴设备实现基于数字分身的人机协同交互，完成基于VR/AR数字分身的人机远程协同控制系统的构建，通过构建的人机远程协同控制系统实现人机远程沉浸式交互和多人协同控制；通过使用VR穿戴设备与虚拟场景中的数字分身进行虚实交互。

本实施例的基于VR/AR数字分身的人机远程协同控制系统的系统架构参见图3所示。本实施例中，交互的模式为多人模式。

所述人机交互程序实现的功能包括：虚拟场景显示功能、数字分身控制功能。

所述采用VR穿戴设备实现基于数字分身的人机协同交互的方法包括：

通过VR头盔实时感知虚拟场景内的各种信息，随着眼睛对四周的观察实时感知虚拟场景内所有智能设备的数字分身；

通过VR左右手柄实时控制虚拟场景内所有智能设备的数字分身，通过手柄的按钮点击、按钮触摸、按钮旋转、手柄移动和手柄旋转生成不同的控制命令；

通过接收VR手柄发送的控制指令实现数字分身的不同行为动作，通过基于行为动作映射的数字分身方法，控制远端的智能设备的行为动作。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述所述的基于数字分身的人机远程协同控制系统的构建方法的步骤。

本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于数字分身的人机远程协同控制系统的构建方法的步骤。

本发明实施例基于数字分身的人机远程协同控制系统及构建方法通过将用户置身于虚拟或增强现实环境中，基于数字分身在虚拟场景中进行操作和互动，可实现多用户和多设备之间协同控制，使得多个用户可同时远程操控一个或多个智能设备，共同完成任务，而无需亲自前往现场，不仅提高了工作效率，还提供了更安全、更便捷的工作方式，适用于紧急救援、危险品处理、远程维护、虚拟会议和培训等领域；将VR/AR和数字分身技术融合到智能控制中，为人机协同控制提供了有力支持，为协同工作和跨地域团队合作带来了新的技术可能性。

本发明实施例还提供一种计算机设备，图4是本发明实施例提供的一种计算机设备的结构示意图；参见附图4所示，该计算机设备包括：输入系统23、输出系统24、存储器22和处理器21；所述存储器22，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例提供的基于数字分身的人机远程协同控制系统的构建方法；其中输入系统23、输出系统24、存储器22和处理器21可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器22作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例所述的基于数字分身的人机远程协同控制系统的构建方法对应的程序指令；存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；在一些实例中，存储器22可进一步包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入系统23可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出系统24可包括显示屏等显示设备。

处理器21通过运行存储在存储器22中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于数字分身的人机远程协同控制系统的构建方法。

上述提供的计算机设备可用于执行上述实施例提供的基于数字分身的人机远程协同控制系统的构建方法，具备相应的功能和有益效果。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的基于数字分身的人机远程协同控制系统的构建方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如CD-ROM、软盘或磁带系统；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的基于数字分身的人机远程协同控制系统的构建方法，还可以执行本发明任意实施例所提供的基于数字分身的人机远程协同控制系统构建方法中的相关操作。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。