一种基于AR的远程指挥方法及系统

技术领域

本发明涉及通信技术领域，尤其涉及一种基于AR的远程指挥方法及系统。

背景技术

传统工地在远地的指挥部或指挥中心，无法远程实时查看工地运作情况，也不能及时对远程出现的问题及时远程指挥和指导。现有技术一般只有监控视频，并且视频也只能在工地指挥部使用，远程的上级领导部门不能远程实时查看和指挥现场工地人员进行巡检。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种可在视频上做标注反馈的基于AR的远程指挥方法及系统。

本发明公开了一种基于AR的远程指挥方法，包括：获取实施地的作业视频，对所述作业视频采取AR技术获取增强视频，并传输至远程指挥中心；所述远程指挥中心对所述增强视频进行标注，并对所述增强视频生成操作指令；标注后的增强视频和所述操作指令传输回至所述实施地。

优选地，所述增强视频包括视频画面数据和语音数据，所述操作指令包括语音数据；所述远程指挥中心对所述增强视频进行标注，并对所述增强视频生成操作指令包括，所述远程指挥中心获取所述视频画面数据的目的帧，对每个所述目的帧进行进行图形标注和文字标注，并对增强视频生成语音数据。

优选地，所述操作指令还包括画面数据；所述远程指挥中心对所述增强视频进行标注，并对所述增强视频生成操作指令还包括，所述远程指挥中心对所述操作指令的画面数据进行标注。

优选地，所述获取实施地的作业视频，对所述作业视频采取AR技术获取增强视频，并传输至远程指挥中心这一步骤前或这一步骤后还包括：所述实施地通过呼叫与所述指挥中心建立实时通讯。

优选地，所述获取实施地的作业视频，对所述作业视频采取AR技术获取增强视频，并传输至远程指挥中心后还包括：对所述增强视频进行储存，并生成一个与所述增强视频关联的提示信号；所述远程指挥中心通过所述提示信号获取储存的所述增强视频。

优选地，所述获取实施地的作业视频，对所述作业视频采取AR技术获取增强视频，并传输至远程指挥中心后还包括：所述远程指挥中心获取所述增强视频的目的帧；所述远程指挥中心预设有若干个与所述目的帧相对应的参考数据；所述远程指挥中心将所述目的帧与所述参考数据进行对比获取分析结果。

本发明还公开了一种基于AR的远程指挥系统，包括监控设备、AR设备、通讯设备和远程指挥中心，所述远程指挥中心包括数据处理模块、远程显示模块、信令传达模块和数据标注模块；所述AR设备包括AR处理模块和AR显示模块；通过所述监控设备获取实施地的作业视频，通过所述AR处理模块对所述作业视频采取AR技术以获取增强视频，并通过所述通讯设备传输至所述远程指挥中心的远程显示模块进行显示；所述数据标注模块通过所述数据处理模块获取所述增强视频，并对所述增强视频进行标注；所述信令传达模块通过所述数据处理模块获取所述增强视频，并对所述增强视频生成操作指令；所述数据处理模块获取所述标注后的增强视频和所述操作指令，并通过所述通讯设备传输回至所述AR显示模块进行显示。

优选地，所述增强视频包括视频画面数据和语音数据，所述操作指令包括画面数据和语音数据；所述数据处理模块获取所述视频画面数据的目的帧；所述数据标注模块获取所述目的帧，并对每个所述目的帧进行进行图形标注和文字标注；所述数据标注模块通过所述数据处理模块获取所述操作指令的画面数据，并对所述画面数据进行图形标注和文字标注；所述信令传达模块获取所述增强视频的语音数据，并生成语音数据形式的操作指令；所述数据处理模块获取标注后的所述视频画面数据、所述操作指令的画面数据和所述操作指令的语音数据，并通过所述通讯设备传输至所述AR显示模块。

优选地，所述AR设备为AR眼镜，所述AR眼镜还包括AR通讯模块，所述远程指挥中心还包括指挥中心通讯模块，所述AR通讯模块与所述指挥中心通讯模块通过所述通讯设备连接；通过所述监控设备获取实施地的作业视频，通过所述AR处理模块对所述作业视频采取AR技术以获取增强视频，并通过所述通讯设备传输至所述远程指挥中心的远程显示模块进行显示这一步骤前或这一步骤后还包括：所述AR通讯模块通过所述通讯设备向所述指挥中心通讯模块发送实时通讯信号，所述指挥中心通讯模块接收所述实时通讯信号，使得所述远程指挥中心与所述AR设备建立实时通讯。

优选地，所述远程指挥中心还包括存储模块；通过所述存储模块对所述增强视频进行储存，所述数据处理模块生成一个与所述增强视频关联的提示信号；所述提示信号被激活时，所述远程显示模块从所述存储模块提取与所述提示信号关联的所述增强视频；所述数据处理模块获取所述增强视频的目的帧；所述存储模块内预设有若干个与所述目的帧相对应的参考数据；所述数据处理模块将所述目的帧与所述参考数据进行对比获取分析结果，所述分析结果通过所述通讯设备发送至所述AR设备。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.本发明利用数据标注和远程实时通讯方法，现场工作人员佩戴AR眼镜，可以实时看到远程技术专家或领导在监控视频上标注的问题点；现场工作人员通过在视频上的标注点能更准确的理解指示内容和沟通内容，相比于现有技术的与视频脱节的纯语音沟通，更加高效和准确，达到远程巡检的目的；

2.通过所述AR通讯模块与所述指挥中心通讯模块的连接，现场工作人员佩戴AR眼镜可主动呼叫远程专家，远程专家也可在看到监控组视频后远程呼叫现场工作人员佩戴AR眼镜以进行下一步的问题沟通，由此使得双方的沟通十分迅速和有效；

3.通过所述信令传达模可接收所述AR眼镜传送的视频数据以外的语音数据，也可向所述AR眼镜传送语音指导数据，以向现场工作人员进行语音的讲解；

4.由于现场工作人员和远程专家的呼叫连通无法保证任何时候都可接通，故设置所述存储模块，将需要沟通的所述增强视频在储存模块内进行储存，并提示，等远程专家上线后即可获取储存的所述增强视频，以进行下一步处理和沟通；即通过所述存储模块可避免现场工作人员与远程专家的沟通仅仅依赖及时沟通，而是允许及时沟通和保存延时沟通两种情况，沟通形式更加多样且人性化。

附图说明

图1为本发明提供的基于AR的远程指挥方法的流程图；

图2为本发明提供的基于AR的远程指挥系统的结构示意图。

附图标记：1-监控设备，2-AR设备，3-通讯设备，4-数据处理模块，5-远程显示模块，6-信令传达模块，7-数据标注模块。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

AR(Augmented Reality)技术即增强现实技术，由虚拟现实技术发展而来。虚拟现实技术旨在创造一个完全虚拟的世界，增强现实技术是在现实世界中叠加虚拟物体，并出现在指定位置，利用感知和显示设备输出，进行虚实融合，从而达到对真实现实进行补充的目的。

参见附图2，本发明公开了一种基于AR的远程指挥系统，包括：

-监控设备1，用于获取施工现场的实时视频画面，监控设备1为多个，设置于施工现场的多个监控点，监控中心可同时查看多个或单独查看一个监控点的监控画面。

-AR设备，包括AR处理模块和AR显示模块，AR处理模块用于将监控设备1获取的视频画面进行现实增强，以获取一个可对视频内容进行标注处理的增强视频，AR显示模块用于显示增强视频和被远程指挥中心标注后的增强视频。

-通讯设备3，用于连接AR设备和远程指挥中心，将增强视频传输至远程指挥中心，并可通过通讯设备3使得AR设备和远程指挥中心实现线上的及时通讯，现场操作人员可通过AR设备向远程指挥中心的远程专家发送问题，远程专家可通过远程指挥中心向AR设备发送指导信息。

-远程指挥中心，包括数据处理模块4、远程显示模块5、信令传达模块6和数据标注模块7，数据处理模块4获取从AR设备传输的增强视频，并显示在显示模块上，通过数据标注模块7对增强视频进行标注处理，生成附有标注内容的视频数据，通过信令传达模生成指导意见。远程显示模块5通常为PC端，或其他移动设备远程专家可直接在PC端上获取视频数据和音频数据。

参见附图1，本发明提供的基于AR的远程指挥方法包括：

S1、通过监控设备1获取实施地的作业视频，通过AR处理模块对作业视频采取AR技术以获取增强视频，并通过通讯设备3传输至远程指挥中心的远程显示模块5进行显示；

S2、数据标注模块7通过数据处理模块4获取增强视频，并对增强视频进行标注，信令传达模块6通过数据处理模块4获取增强视频，并对增强视频生成操作指令；

S3、数据处理模块4获取标注后的增强视频和操作指令，并通过通讯设备3传输回至AR显示模块进行显示。

较佳地，增强视频包括视频画面数据和语音数据，现场工作人员通过佩戴AR眼镜2可对视频画面进行讲解，生成一个附有语音数据的视频画面。操作指令包括语音数据，该语音数据是远程指挥中心生成的，即远程专家提供的语音指导数据。远程专家包括技术专家或者上级领导。；

通过数据处理模块4获取视频画面数据的目的帧，数据标注模块7获取目的帧，并对每个目的帧进行进行图形标注和文字标注。远程专家在观看视频画面的时候，当有问题需要标注和探讨的时候，即可选取相关画面，对该画面进行标注，标注的方式包括文字标注和图形标注方式多样，帮助现场工作人员理解。

远程专家通过信令传达模块6获取增强视频的语音数据，该语音数据即现场工作人员的讲解，远程专家结合视频画面和讲解内容，更容易获取施工现场的所有情况，以作出最有效的指导意见，该指导意见分为标注指导意见和语音指导意见，语音指导意见即通过信令传达模块6生成。

较佳地，操作指令还包括画面数据，数据标注模块7通过数据处理模块4获取操作指令的画面数据，并对画面数据进行图形标注和文字标注，即，远程专家的指导意见还可包含脱离视频数据的画面指导意见，该画面指导意见可为文字形式或是图形形式，表现形式为单独的指导画面，而不与该标注的视频数据结合。

信令传达模块6获取增强视频的语音数据，并生成语音数据形式的操作指令，数据处理模块4获取标注后的操作指令的画面数据和操作指令的语音数据，通过通讯设备3传输至AR显示模块。此种指导意见的传达更加明确清晰，使得现场工作人员对信息的获取更加迅速，对内容的理解也更加高效。

较佳地，AR眼镜2还包括AR通讯模块，远程指挥中心还包括指挥中心通讯模块，AR通讯模块与指挥中心通讯模块通过通讯设备3连接，AR通讯模块通过通讯设备3向指挥中心通讯模块发送实时通讯信号，指挥中心通讯模块接收实时通讯信号，使得远程指挥中心与AR眼镜2建立实时通讯。

使得现场工作人员与远程专家可通过各自的通讯模块建立及时线上沟通，表现形式为通过呼叫信号提示对方及时建立联系，当对方处理该呼叫信号后即可实现双方的线上沟通。通讯设备3一般为无线通讯网络，距离较近的沟通亦可采用蓝牙的沟通方式。

具体的，当现场工作人员发现问题时，可通过该呼叫功能呼叫远程专家，远程专家上线后，将视频数据传输给远程指挥中心，远程专家获取该视频数据后，可开始进行具体内容的沟通。

或是，远程专家通过监控中心获取监控画面，对监控画面中的某些场景有疑义时，可通过该呼叫功能呼叫现场工作人员，工作人员上线后，将视频数据传输给远程指挥中心，远程专家获取该视频数据后，可开始进行具体内容的沟通。

较佳地，远程指挥中心还包括存储模块，通过存储模块可对增强视频进行储存，并且数据处理模块4生成一个与增强视频关联的提示信号，当提示信号被激活时，远程显示模块5从存储模块提取与提示信号关联的增强视频。由于现场工作人员和远程专家的呼叫连通无法保证任何时候都可接通，故设置存储模块，在无法及时联系到远程专家的情况下，将需要沟通的增强视频传输至远程指挥中心，在储存模块内进行储存，并生成一个相关联的提示信号，等远程专家上线后通过激活该提示信号或直接从储存模块内提取，即可获取储存的增强视频，以进行视频标注或语音沟通。通过该储存手段，可避免现场工作人员与远程专家的沟通仅仅依赖及时沟通，而是允许及时沟通和保存延时沟通两种情况，沟通形式更加多样且人性化。

较佳地，为了提高指导效率，节省人力资源，对于较为格式化的施工现场，可提供一种自动对比分析纠错的指导方案。具体的，数据处理模块4获取增强视频的目的帧，存储模块内预设有若干个与目的帧相对应的参考数据，数据处理模块4将目的帧与参考数据进行对比获取分析结果，分析结果通过通讯设备3直接发送至AR眼镜2。即对于较为格式化的施工现场，远程指挥中心可预存一套该格式化施工现场的标准数据，数据处理模块4获取到该格式化施工现场的帧后，与该帧相对应的标准数据进行比对，以获取该现场的施工内容的完成率，且自动生成不符合的地方，数据处理模块4将该结果直接反馈至AR眼镜2以供现场施工人员获取。

下面通过两个应用场景来具体说明本发明的实施过程。

一、远程巡检指导：

远程专家或上级领导通过PC端或移动端查看某个工作点的监控视频；

当在监控界面上发现问题时，通过远程通信模块呼叫该工作点的工作人员；

工作人员接收呼叫，并佩戴AR眼镜2到达监控中心指定的问题点；

监控设备1采集现场的视频数据，并与AR模块所采集的数据进行整合得到增强视频；

该增强视频通过通信设备传输给数据处理模块4，并在PC端或移动设备上显示，供远程专家实时查看；

远程专家对该增强视频进行标注和讲解，现场工作人员从AR眼镜2上看到远程专家的标注信息，并获取到语音讲解内容，根据远程指挥中心的信令传达模块6的操作指令去解决问题；

在解决问题的过程中，远程专家通过监控视频和工作人员AR眼镜2回传的增强视频可实时看到处理过程，以便实时给予现场工作人员指导；

解决完成后断开AR眼镜2和远程指挥中心的连接，此次远程巡检指导工作完成。

二、远程求助：

现场工作人员佩戴AR眼镜2，巡检施工现场，在巡检过程发现问题，且该问题自己无法解决，则使用AR眼镜2通过AR通讯模块呼叫远程指挥中心的远程专家；

远程专家接收到呼叫信息后，立即通过PC端或移动端查看现场工作人员通过AR眼镜2传来的现场实时增强视频；

远程专家对该增强视频进行标注和讲解，现场工作人员从AR眼镜2上看到远程专家的标注信息，并获取到语音讲解内容，根据远程指挥中心的信令传达模块6的操作指令去解决问题；

在解决问题的过程中，远程专家通过监控视频和工作人员AR眼镜2回传的增强视频可实时看到处理过程，以便实时给予现场工作人员指导；

解决完成后断开AR眼镜2和远程指挥中心的连接，此次远程求助工作完成。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。