一种基于AR的远程会议方法及系统

技术领域

本发明涉及通信技术领域，尤其涉及一种基于AR的远程会议方法及系统。

背景技术

修建高速路、高铁等工程，工地特别多，要组织开会或者某个工地遇到技术问题要与远程技术专家开会，传统工地与远程指挥部开会，需要工地人员要亲自到会议现场，但这样耽误工期，增加开会成本，且由于开会内容全部依据工地人员的讲解，当工地人员的讲解存在问题时，可能使得远程技术专家对现场情况了解并不充分和部准确；另外，工地施工现场遇到不可解决的技术问题，需要远程专家协助，通常只能采用手机拍照或手机视频的方式等，沟通效率十分低下。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种多人多地远程视频且可进行视频标注以实现远程指导的基于AR的远程会议方法及系统。

本发明公开了一种基于AR的远程会议方法，所述远程会议包括现场参会人员、和操作AR终端的远程参会人员，所述方法包括：会议控制中心生成一个新的会议任务；参会人员通过会议统一资源标识符获取入会资格，并通过无线通讯网络加入会议；所述AR终端获取远程参会人员所处环境的第一视频，并将所述第一视频进行AR增强获取第二视频，所述第二视频传输至会议控制中心进行显示；通过所述会议控制中心对所述第二视频进行标注，得到带有标注内容的第三视频；参会人员实时获取所述第三视频和会议内容；参会人员在会议期间通过会议控制中心获取会议事件及会议状态；所述会议控制中心检测到预设时间内没有参会人员与所述会议控制中心保持连接，则会议结束。

优选地，所述在会议控制中心生成一条新的会议任务包括如下其中一种：通过会议控制中心生成一条新的会议请求信息，并储存在数据库中，会议控制中心对数据库进行周期性扫描获取到所述会议请求信息，则会议中心生成一条新的预定会议记录；会议控制中心向多媒体会议系统发送创建请求，所述多媒体会议系统生成一个新的及时及时会议任务，并将所述会议任务传输至会议控制中心。

优选地，所述会议控制中心检测到预设时间内没有参会人员与所述会议控制中心保持连接，则会议结束包括：当会议任务为预定会议时，预定会议的预设时间到，则所述会议控制中心向所述AR终端发送结束信息，并主动断开与所述AR终端的连接，直到断开最后一个所述AR终端与所述会议控制中心的连接，所述会议控制中心检测到预设时间内没有所述AR终端与所述会议控制中心保持连接，则会议结束；当会议任务为及时会议时，当所述会议控制中心检测到没有所述AR终端与所述会议控制中心保持连接，则会议结束。

优选地，参会人员通过会议统一资源标识符获取入会资格，并通过无线通讯模块加入会议包括如下其中一种：参会人员通过会议通知获取会议统一资源标识符，通过会议统一资源标识符获取入会通道，并向会议控制中心发送INVITE消息；所述会议控制中心获取参会人员的会议统一资源标识符，向与所述会议统一资源标识符相对应的参会人员发送INVITE消息，邀请其加入会议；所述会议控制中心与参会人员以外的第三方，通过向会议控制中心发送REFER请求，触发会议控制中心邀请参会人员加入会议；所述会议控制中心与参会人员以外的第三方，通过向参会人员发送REFER请求，触发参会人员主动加入会议；参会人员获取会议中的某一与会者的会议ID，通过发送头域为Join的INVITE消息加入会议。

优选地，所述通过所述会议控制中心对所述第二视频进行标注，得到带有标注内容的第三视频包括：所述会议控制中心获取所述第二视频的目的帧，对每个所述目的帧进行进行图形标注和文字标注，得到带有标注内容的第三视频。

优选地，参会人员在会议期间通过会议控制中心获取会议事件及会议状态包括：参会人员在会议期间向会议控制中心发送SUBSCRIBE请求，获取订阅权限；当发生会议事件或会议的状态发生变化时，会议控制中心将生成事件报告或状态报告的事件包，并通过NOTIFY请求发送给拥有订阅权限的参会人员。

优选地，参会人员在会议期间通过会议控制中心获取会议事件及会议状态还包括：经授权的参会人员在会议期间向会议控制中心发送会议资源更改指令，所述会议资源更改指令包括添加会场资源、请求使用会场资源、批准请求、拒绝请求、改变会议策略；会议控制中心将生成会议资源状态报告的事件包，并发送给所有参会人员，所述会议资源状态报告包括会议资源占用情况的变化、会议策略的变更、媒体配置变更。

本发明还公开了一种基于AR的远程会议系统，包括通过无线通讯网络连接的AR终端和会议控制中心；所述AR终端为AR眼镜，包括摄像模块、显示模块、AR眼镜处理模块、通讯模块；所述AR眼镜通过所述通讯模块接收来自所述会议控制中心的会议内容，并通过所述显示模块进行显示；所述AR眼镜还通过所述摄像模块获取远程参会人员所处环境的第一视频，并通过所述AR眼镜处理模块将所述第一视频进行AR增强获取第二视频，通过通讯模块将所述第二视频传输至会议控制中心的所述会议显示模块进行显示；

所述会议控制中心包括会议管理模块、会议控制模块、媒体服务模块、数据标注模块和会议显示模块和数据库；所述会议管理模块包括Web服务单元，所述Web服务单元用于预定、修改和取消会议，制定、修改会议策略，修改所述会议控制模块的系统参数并保存在所述数据库内；所述会议控制模块，用于创建、启动、删除会议，还用于控制会议状态、发布会议信息、管理参会人员，所述管理参会人员包括检测预设时间内是否有参会人员与所述会议控制中心保持连接；所述媒体服务模块用于接收参会人员发来的媒体流，采用纯软件方式实现媒体混合后，再分发给参会人员，从而实现会议媒体流的交互；所述会议控制模块控制所述媒体服务模块创建关联域、增加终端、删除终端、修改终端属性、删除关联域；所述标注模块用于在会议显示模块上对所述第二视频进行标注，得到带有标注内容的第三视频；所述会议显示模块为显示屏，用于显示一个或同时显示多个所述AR终端采集的第二视频。

优选地，所述AR眼镜还包括麦克风和听筒；通过所述听筒播放来自所述会议控制中心的语音内容；通过所述麦克风采集远程参会人员的语音内容，并传输至所述会议控制中心；

会议控制模块包括总控单元、Web管理单元、启动和注册单元、即时会议单元、会议状态通告单元、会议控制单元和会议列表单元；总控模块用于初始化所述会议控制中心的工作内容，还用于调度所述会议控制模块的各个单元之间的通信功能；Web管理单元用于对所述数据库的会议数据进行周期扫描，若发现新的会议预定记录，则按照预定要求生成新的会议任务，并添加到所述会议列表单元中；启动和注册模块用于启动和结束会议；即时会议单元用于向多媒体会议系统发送创建请求，所述多媒体会议系统生成一个新的及时及时会议任务，并将所述会议任务传输至所述会议控制中心；会议状态通告模块用于生成事件报告或状态报告的事件包，并通过NOTIFY请求发送给拥有订阅权限的参会人员；会议控制模块采用事件触发机制；会议列表内储存有会议相关的各项状态数据，包括会议属性、成员列表、请求队列和消息队列，并设置有用于操作所述各项状态数据的接口函数。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.通过将所述AR眼镜与所述会议控制中心通过网络连接，可以实现多人多地远程视频会议，工地工作人员只需要佩戴AR眼镜，不需要亲自到会议现场，降低了开会成本；

2.通过所述AR眼镜可以拍摄工地现场的实时状况，传给所述会议控制中心，以供所述会议控制中心的专家、领导、同事查看，使其准确了解工地现场的实时状况，相对比现有技术的工地工作人员的口述，本发明可以获取问题的更准确的解决方案；且所述AR眼镜仅需戴在头上，从而可以解放双手，相对对比与现有技术的手机拍摄或其他拍摄设备，更加便捷和人性化，方便工地人员现场演示施工情况，使得会议效率更高；

3.专家人员还可通过所述数据标注模块远程实时对工地现场的拍摄的视频上的问题进行标注和沟通解决，提高开会效率，达到远程专家或上级领导远程指导或指挥的目的。

附图说明

图1为本发明提供的基于AR的远程会议方法流程图；

图2为本发明提供的基于AR的远程会议系统结构示意图。

附图标记：1-AR眼镜，2-会议控制中心，201-会议管理模块，202-会议控制模块，203-媒体服务模块，204-数据标注模块，205-会议显示模块，206-数据库，3-无线通讯网络。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

AR(Augmented Reality)技术即增强现实技术，由虚拟现实技术发展而来。虚拟现实技术旨在创造一个完全虚拟的世界，增强现实技术是在现实世界中叠加虚拟物体，并出现在指定位置，利用感知和显示设备输出，进行虚实融合，从而达到对真实现实进行补充的目的。

参见附图2，本发明提供了一种基于AR的远程会议系统，包括通过无线通讯网络3连接的AR终端和会议控制中心2。无线通讯网络3通常使用5G网络通信。远程参会人员使用AR终端，与会议现场的操作会议控制中心2的专家、领导、同事进行通讯沟通，工地工作人员只需要佩戴AR眼镜1，不需要亲自到会议现场，降低了开会成本。

AR终端为AR眼镜1，远程参会人员佩戴上AR眼镜1即可开始使用，解放双手，可以演示施工情况，使得会议效率更高。AR眼镜1包括：

-摄像模块，远程参会人员通过摄像模块获取远程参会人员所处环境的第一视频，即拍摄工地现场的施工情况，传给所述会议控制中心2，以供所述会议控制中心2的专家、领导、同事查看，使其准确了解工地现场的实时状况，相对比现有技术的工地工作人员的口述，本发明可以获取问题的更准确的解决方案；

-显示模块，显示现场拍摄视频或是来自会议控制中心2的会议内容；

-AR眼镜1处理模块，将拍摄获取的工地现场的施工情况的第一视频进行AR增强获取第二视频；

-通讯模块，用于接收来自会议控制中心2的会议内容，和将增强后的第二视频传输至会议控制中心2。

当远程参会人员戴上AR眼镜1后，启动眼镜，启动时AR眼镜1会向会议控制中心2发送REGISTER消息向注册服务器注册，注册成功后便保持在线状态，可以随时通过通讯模块发起呼叫或接收呼叫请求。在成功加入会议后，可以向会议控制中心2发送SUBSCRIBE请求，预定会议状态信息报告，以便获得最新的会议状态的情况。

具体的，远程参会人员戴上AR眼镜1通过通讯模块接收来自会议控制中心2的会议内容，并通过显示模块进行显示，以获取和会议现场同样的会议内容，真实的加入会议。当需要对工地现场的，有些问题进行沟通时，可通过AR眼镜1的摄像模块拍摄公司现场的第一视频，并通过AR眼镜1处理模块将第一视频进行AR增强获取第二视频，再通过通讯模块将第二视频传输至会议控制中心2的会议显示模块205进行显示，以供会议现场的专家、领导、同事查看。

会议控制中心2包括：

-会议管理模块201，会议管理模块201主要由Web服务单元来进行工作，Web服务单元用于发起会议预定、修改预定会议的参数、取消预定预定，并可执行制定、修改会议策略的任务，还可修改会议控制模块202的系统参数并保存在数据库206内；

-会议控制模块202，会议控制模块202在启动时可以从数据库206中下载被重新配置的系统参数，进行系统的初始化；会议控制模块202用于创建、启动、删除会议，还用于控制会议状态、发布会议信息、管理参会人员，其中管理参会人员包括检测预设时间内是否有参会人员与会议控制中心2保持连接，在会议结束时，需要对还在连接状态的参会人员进行删除，管理参会人员还包括处理会议成员请求，如加入会议的请求、获取资源请求、获取状态报告请求等；

-媒体服务模块203，用于接收参会人员发来的媒体流，采用纯软件方式实现媒体混合后，再分发给参会人员，从而实现会议媒体流的交互，纯软件的媒体混合方式与传统的采用硬件板卡的方式相比，具有巨大的成本优势；媒体服务模块203在会议控制模块202的控制下创建关联域、增加终端、删除终端、修改终端属性、删除关联域；

-数据标注模块204，专家、领导、同事在会议显示模块205上获取了从AR眼镜1传输来的第二视频后，通过数据标注模块204对第二视频上的问题点和需要注意点进行标注，标注内容包括图形和文字，以方便远程参会人员理解标注内容，第二视频通过标注获取带有标注内容的第三视频，将第三视频传回AR眼镜1供远程参会人员观看，即可实现远程专家或上级领导远程指导或指挥的目的；

-会议显示模块205，为会议现场的显示屏，用于显示一个或同时显示多个AR终端采集的第二视频；当需要针对性的观看来意同一个AR终端采集的第二视频，则选择仅在显示屏上播放该AR终端采集的第二视频，当需要全面观看各个AR终端采集的第二视频时，则选择在显示屏上同时播放各个AR终端采集的第二视频；

-数据库206，用于储存会议控制终端的各项数据和参数。

较佳地，AR眼镜1还包括麦克风和听筒，远程参会人员可通过听筒播放来自会议控制中心2的语音内容，并通过麦克风采集远程参会人员的语音内容，并传输至会议控制中心2，由此实现远程参会人员与会议现场的实时沟通。

由于会议控制模块202属于会议控制中心2的最关键模块，承担着最为关键的任务，下面将进一步进行说明会议控制模块202的各项组成单元和各自功能。会议控制模块202包括：

-总控单元，用于初始化会议控制中心2的工作内容，还用于调度会议控制模块202的各个单元之间的通信功能

-Web管理单元，用于对数据库206的会议数据进行周期扫描，若发现新的会议预定记录，则按照预定要求生成新的会议任务，并添加到会议列表单元中；

-启动和注册单元，用于控制会议的启动和结束；

-即时会议单元，即时会议单元用于向多媒体会议系统发送创建请求，多媒体会议系统生成一个新的及时及时会议任务，并将会议任务传输至会议控制中心2；

-会议状态通告单元，遵从RFC3265标准，用于生成事件报告或状态报告的事件包，并通过NOTIFY请求发送给拥有订阅权限的参会人员；

-会议控制单元，采用事件触发机制执行相关任务；

-会议列表单元，会议列表内储存有会议相关的各项状态数据，包括会议属性、成员列表、请求队列和消息队列，并设置有用于操作各项状态数据的接口函数。

参见附图1，本发明还提供了一种基于AR的远程会议方法，包括：

S1、会议控制中心2生成一个新的会议任务；

S2、参会人员通过会议统一资源标识符获取入会资格，并通过无线通讯网络3加入会议；

S3、AR眼镜1获取远程参会人员所处环境的第一视频，并将第一视频进行AR增强获取第二视频，第二视频传输至会议控制中心2进行显示；

S4、通过会议控制中心2对第二视频进行标注，得到带有标注内容的第三视频；参会人员实时获取第三视频和会议内容；

S5、参会人员在会议期间通过会议控制中心2获取会议事件及会议状态；

S6、会议控制中心2检测到预设时间内没有参会人员与会议控制中心2保持连接，则会议结束。

对于步骤S1，包含两种会议创建途径：

Web服务单元进行会议预约，会议预定成功后，Web服务单元将向数据库206的会议数据表插入一条会议记录。会议控制模块202的Web管理单元对系统数据库206的会议数据表进行周期扫描，若发现新的会议记录，则按照预定要求生成新的会议任务，添加到会议列表单元中；

会议控制中心2向多媒体会议系统的会议工厂URI发送INVITE请求，多媒体会议系统生成一个新的及时会议任务，并将会议任务由302响应的Contact头域传输至会议控制中心2。

对于步骤S6，包含两种会议结束途径：

当会议任务为预定会议时，预定会议的预设时间到，但会议中仍有参会人员时，则会议控制中心2向AR眼镜1发送BYE消息并将其删除，然后执行该AR眼镜1的去注册过程，直到将所有AR眼镜1执行完去注册过程，会议控制中心2检测到预设时间内没有AR眼镜1与会议控制中心2保持连接，则会议结束，会议控制服务器将此会议任务删除；

当会议任务为及时会议时，由于即时会议在创建时没有确定结束时间，故不能依据会议的结束时间来结束会议。则判断当会议控制中心2检测到没有AR眼镜1与会议控制中心2保持连接，则会议结束，会议控制服务器将此会议任务删除。

对于步骤S2，包含以下五种参会人员加入会议的途径：

1、Call-In方式，参会人员通过会议通知获取URI(Uniform ResourceIdentifier，统一资源标识符)，通过会议统一资源标识符获取入会通道，并向会议控制中心2发送INVITE消息，会议通知包括E-mail、Web公告、即时消息等方式；

2、Call-Out方式，会议控制中心2获取所有参会人员的URI列表，向与URI相对应的参会人员发送INVITE消息，邀请其加入会议；

3、会议控制中心2与参会人员以外的第三方，通过向会议控制中心2发送REFER请求，触发会议控制中心2邀请参会人员加入会议；

4、会议控制中心2与参会人员以外的第三方，通过向参会人员发送REFER请求，触发参会人员主动加入会议；

5、当参会而人员不知道URI时，则参会人员可以获取会议中的某一与会者的会议ID，通过发送头域为Join的INVITE消息加入会议。

对于步骤S4，会议控制中心2的数据标注模块204通过获取第二视频的目的帧，对每个目的帧进行进行图形标注和文字标注，得到带有标注内容的第三视频。

对于步骤S5，参会人员在会议进行期间可以获得会议的事件及状态信息，这通过会议状态通告单元来执行。参会人员在加入会议后可向会议控制中心2发送SUBSCRIBE请求，获取订阅权限，以订阅感兴趣的会议事件和状态通知的服务，当某类事件发生或会议的状态发生变化时，会议状态通告单元将生成状态报告的事件包，通过NOTIFY请求发送给订阅者，通告发生的事件或状态的变化情况。

会议控制中心2还包括会场控制(Floor Control)，是指对会场共享资源的访问控制，如对发言权、视频显示等公共资源的控制。会场控制消息在会议主持人员、会议服务器和会议成员之间传递，具体包含会议控制命令和会议控制事件。

会议控制命令是指经授权的参会人员在会议期间向会议控制中心2发送的会议资源更改指令，会议资源更改指令包括添加会场资源、请求使用会场资源、批准请求、拒绝请求、改变会议策略等。经授权的参会人员包括会议主持人员和经授权的参会人员。会场控制命令采用SOAP格式封装，由SIP协议的INFO消息作为承载消息。

会议控制事件是一种关于会议资源状态信息的报告，会议控制中心2生成会议资源状态报告的事件包，并发送给所有参会人员。会议资源状态报告包括会议资源占用情况的变化、会议策略的变更、媒体配置变更等。会场控制事件的传送通过会议状态通告单元来执行。

本发明的基于AR的远程会议系统的具体使用过程为：远程会议人员通过佩戴AR眼镜1实现与会议现场的通讯连通，实时接收并通过显示模块显示会议现场的会议内容，实现远程参会人员与会议现场参会人员的同步会议。在会议过程中，当需要展示远程工地的具体情况时，可通过摄像模块进行视频拍摄，并将该视频进行现实增强，增强后的视频传输至会议现场，供会议现场的专家、领导、同事查看，并由会议现场的专家、领导、同事对该视频进行图形标注和文字标注，以给与指示和解释，该标注后的视频传输回AR眼镜1并通过显示模块进行显示，由此实现远程指导。当会议现场的专家、领导、同事认为需要获取其他地点的视频时，则可针对性要求远程参会人员调整摄像角度或摄像方位，来获取视频，由此实现远程指导。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。