一种远程会议控制方法、装置、电子设备及存储介质

技术领域

本申请涉及互联网技术领域，特别涉及一种远程会议控制方法、远程会议控制系统、远程会议控制装置、电子设备及计算机可读存储介质。

背景技术

线上会议，简而言之，跟线下相对而言。在线会议的一个类型，被称为桌面共享，它可以让参会者看到了一个特定的用户屏幕。这可以包括展示，如视频，多媒体文件和演示文稿。从线下到线上，会议的组织方式、参与方式、互动方式发生了变化，然而会议的核心要素始终不变：高质量的内容+建立连接的社交互动+会议的仪式感。要持续地吸引观众注意力，在线上营造仪式感，是线上会议平台需要做到的点。

现在市面上有很多远程会议系统，包括网易云会议、企业微信、腾讯会议、钉钉、飞书、华为云WeLink、zoom等等，这些系统致力于用户能够方便的接入会议，提供实时的语音和视频通信功能，如一对一音视频通话、多人音视频会议、多人连麦、高质量音视频录制存储等。

但是，这些远程会议系统由各个公司独立开发，只有采用同一会议系统进入同一会议的用户才能接收到会议内容。不同会议系统之间相互独立的，互不相通。

发明内容

本申请实施例提供了一种远程会议控制方法，用以实现远程会议内容的共享。

本申请实施例提供了一种远程会议控制方法，包括：

响应远程操控指令，运行远程会议服务；

捕获所述远程会议服务的用户界面图像以及会议音频信号；

将捕获的所述用户界面图像以及会议音频信号串流至运行沉浸式会议服务的参会端，以使所述参会端播放所述会议音频信号以及在所述参会端显示的三维虚拟会议场景画面中嵌入式显示所述用户界面图像。

在一实施例中，所述响应远程操控指令，运行远程会议服务，包括：

通过中转服务器建立与远程控制终端的远程连接；

通过所述中转服务器接收所述远程控制终端的远程操控指令，发出远程会议创建请求或者发出远程会议加入请求。

在一实施例中，所述方法还包括：

所述远程会议服务的用户界面显示会议演示文件。

在一实施例中，所述捕获所述远程会议服务的用户界面图像以及会议音频信号，包括：

通过所述中转服务器运行音视频抓帧程序，捕获会议音频信号和所述远程会议服务的用户界面图像。

在一实施例中，在将捕获的所述用户界面图像以及会议音频信号串流至运行沉浸式会议服务的参会端之前，所述方法还包括：

接收所述参会端发送的指定会议的参会请求，获取所述指定会议对应的三维虚拟会议场景画面；

将所述三维虚拟会议场景画面发送至所述参会端进行显示。

在一实施例中，所述方法还包括：

接收所述参会端发送的包含参会者个人照片以及所选虚拟角色的用户注册信息；

根据所述参会者个人照片和所选虚拟角色，通过智能捏脸技术生成参会者在所述三维虚拟会议场景画面中对应的虚拟人物。

在一实施例中，所述将捕获的所述用户界面图像以及会议音频信号串流至运行沉浸式会议服务的参会端，包括：

通过中转服务器将捕获的会议音频信号和用户界面图像推流至直播服务器；

将所述会议音频信号和用户界面图像在所述直播服务器的存储地址，通过直播发布程序转发到运行沉浸式会议服务的参会端。

本申请实施例还提供了一种远程会议控制系统，包括：

远程控制终端，用于向服务端发送远程操控指令；

服务端，用于响应远程操控指令，运行远程会议服务；捕获所述远程会议服务的用户界面图像以及会议音频信号；将捕获的所述用户界面图像以及会议音频信号串流至运行沉浸式会议服务的参会端；

参会端，用于播放所述会议音频信号以及在显示的三维虚拟会议场景画面中嵌入式显示所述用户界面图像。

在一实施例中，所述服务端包括：

中转服务器，用于建立与远程控制终端的远程连接，接收所述远程控制终端的远程操控指令，发出远程会议创建请求或者发出远程会议加入请求；在所述远程会议服务的用户界面显示会议演示文件，运行音视频抓帧程序，捕获会议音频信号和所述远程会议服务的用户界面图像，将捕获的会议音频信号和用户界面图像推流至直播服务器；

直播服务器，用于存储所述会议音频信号和用户界面图像，并将所述会议音频信号和用户界面图像的存储地址通过直播发布程序转发到所述参会端。

在一实施例中，所述服务端还包括：

沉浸式会议服务器，用于接收所述参会端发送的包含参会者个人照片以及所选虚拟角色的用户注册信息；根据所述参会者个人照片和所选虚拟角色，通过智能捏脸技术生成参会者在所述三维虚拟会议场景画面中对应的虚拟人物；

接收所述参会端发送的指定会议的参会请求，获取所述指定会议对应的三维虚拟会议场景画面；将所述三维虚拟会议场景画面发送至所述参会端。

在一实施例中，所述参会端用于显示三维虚拟会议场景画面，并通过内嵌浏览器，播放所述会议音频信号，在所述三维虚拟会议场景画面的虚拟幕布中显示所述用户界面图像。

本申请实施例提供了一种远程会议控制装置，包括：

会议进入模块，用于响应远程操控指令，运行远程会议服务；

会议抓帧模块，用于捕获所述远程会议服务的用户界面图像以及会议音频信号；

视频推送模块，用于将捕获的所述用户界面图像以及会议音频信号串流至运行沉浸式会议服务的参会端，以使所述参会端播放所述会议音频信号以及在所述参会端显示的三维虚拟会议场景画面中嵌入式显示所述用户界面图像。

本申请实施例提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述远程会议控制方法。

本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成远程会议控制方法。

本申请上述实施例提供的技术方案，可以通过接收远程操控指令，运行远程会议服务，并捕获远程会议服务的用户界面图像以及会议音频信号，将捕获的用户界面图像和会议音频信号串流至沉浸式会议的参会端，从而沉浸式会议的参会端可以播放会议音频信号，并在三维虚拟会议场景画面中嵌入式显示用户界面图像，使沉浸式会议的用户可以在运行沉浸式会议服务的参会端观看远程会议服务的用户界面图像，实现远程会议内容的共享。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的远程会议控制系统的架构示意图；

图2是本申请实施例提供的一种电子设备的结构示意图；

图3是本申请实施例提供的一种远程会议控制方法的流程示意图；

图4是本申请实施例提供的三维虚拟会议场景画面中嵌入式显示远程会议用户界面的示意图；

图5是图3对应实施例的基础上远程会议控制方法的步骤流程示意图；

图6是本申请实施例提供的一种远程会议控制装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1为本申请实施例提供的远程会议控制系统的架构示意图。如图1所示，该远程会议系统100包括：多个远程会议的参会端101、远程会议服务器102、远程控制终端103、服务端110以及多个沉浸式会议的参会端104。其中，远程控制终端103可以是台式电脑或笔记本电脑，远程会议服务器102可以是一台或多台服务器，远程会议的参会端101可以是运行远程会议服务(例如，运行远程会议软件应用APP、通过浏览器打开远程会议网页)的智能手机、笔记本电脑或台式电脑。沉浸式会议的参会端104可以是运行沉浸式会议服务(例如，运行沉浸式会议软件应用APP、通过浏览器打开沉浸式会议网页)的智能手机、笔记本电脑或台式电脑。服务端110可以是服务器集群。

远程控制终端103与服务端110之间通过无线网络连接，服务端110与沉浸式会议的参会端104之间通过无线网络连接。远程会议的参会端101与远程会议服务器102之间通过无线网络连接。

服务端110可以包括中转服务器111，中转服务器111可以是虚拟机，远程控制终端103可以与中转服务器111建立远程通信。远程控制终端103可以向中转服务器111发送远程操控指令，从而中转服务器111受远程控制终端103的远程控制。远程控制终端103可以控制中转服务器111运行远程会议服务，远程会议服务可以是钉钉视频会议、网易云会议等现有的远程会议服务。中转服务器111通过运行远程会议服务，可以采用远程会议用户账号进行登录，并向远程会议服务器102发送远程会议创建请求或发送远程会议加入请求。从而中转服务器111以及多个远程会议的参会端101可以通过远程会议服务器102进行远程音视频会议。中转服务器111登录的远程会议用户可以是讲师也可以是听众。此时，中转服务器111相当于参与远程会议的其中一个参会端。中转服务器111可以在用户界面显示会议演示文件。

之后，中转服务器111可以运行音视频抓帧程序，捕获远程会议服务的会议音频信号和用户界面图像。会议音频信号可以是远程控制终端103或远程会议的参会端101传输至中转服务器111的。用户界面图像可以按照预设时间间隔捕获，从而形成连续的视频帧。

中转服务器111可以将捕获的用户界面图像和会议音频信号串流至运行沉浸式会议服务的参会端104，沉浸式会议的参会端104可以播放会议音频信号，并在显示的三维虚拟会议场景画面中嵌入式显示用户界面图像。

其中，服务端110可以包括直播服务器112，中转服务器111可以将用户界面图像和会议音频信号推流到直播服务器112，直播服务器112存储会议音频信号和用户界面图像，并将所述会议音频信号和用户界面图像的存储地址通过直播发布程序转发到沉浸式会议的参会端104。从而沉浸式会议的参会端104根据存储地址获取用户界面图像和会议音频信号进行播放。具体的，参会端可以在三维虚拟会议场景画面的显示过程中，通过内嵌浏览器，播放会议音频信号以及在三维虚拟会议场景画面的虚拟幕布中显示用户界面图像。

在一实施例中，服务端110可以包括沉浸式会议服务器113，沉浸式会议服务器113可以接收沉浸式会议的参会端104发送的包含参会者个人照片以及所选虚拟角色的用户注册信息；根据参会者个人照片和所选虚拟角色，通过智能捏脸技术生成参会者在所述三维虚拟会议场景画面中对应的虚拟人物。由此，三维虚拟会议场景画面中的虚拟人物可以与参会者的外貌相似，提高参会者的会议代入感。

当接收沉浸式会议的参会端104发送的指定会议的参会请求时，获取所述指定会议对应的三维虚拟会议场景画面；将三维虚拟会议场景画面发送至沉浸式会议的参会端104进行显示。

上述方案中，中转服务器111受远程控制可以运行远程会议服务，成为远程会议的参会端101之一，将远程会议的用户界面图像和会议音频信号通过直播服务器112发送到沉浸式会议的参会端104。从而，沉浸式会议的参会端104在显示三维虚拟会议场景画面时可以在画面中嵌入远程会议的用户界面图像，并播放会议音频信号，从而使沉浸式会议的用户可以身临其境地观看远程会议的用户界面。

图2是本申请实施例提供的一种电子设备的结构示意图，该电子设备200可以包括处理器210以及用于存储处理器210可执行指令的存储器220；其中，所述处理器210被配置为执行本申请下述实施例提供的远程会议控制方法。在一实施例中，该电子设备200可以是上述服务端110，中转服务器、直播服务器、沉浸式会议服务器可以是电子设备200中的虚拟机。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器210执行以完成下述远程会议控制方法。

图3是本申请实施例提供的一种远程会议控制方法的流程示意图。如图3所示，该方法可以由服务端110执行，服务端110可以包括中转服务器111、直播服务器112、沉浸式会议服务器113，该方法包括以下步骤S310-步骤S330。

步骤S310：中转服务器响应远程操控指令，运行远程会议服务。

其中，远程会议服务可以是进行远程会议的软件应用或者进行远程会议的网页。以网易云会议为例，服务端可以通过运行中转服务器，接收外部计算机(即远程控制终端)发送的远程操控指令，打开“网易云会议”软件应用，并通过“网易云会议”的会议账号进行登录，之后可以发起一个远程会议，让其他远程会议的参与者加入进来，或者加入一个已有的远程会议。服务端的中转服务器也可以通过浏览器打开远程会议登录页面，通过会议账号进行登录，之后可以发起一个远程会议，让其他远程会议的参与者加入进来，或者加入一个已有的远程会议。

在一实施例中，服务端的中转服务器要发起一个远程会议或加入已有的远程会议，服务端可以先建立中转服务器与远程控制终端的远程连接，中转服务器接收远程控制终端的远程操控指令，例如点击会议创建按钮或会议加入按钮，从而向远程会议服务器发送远程会议创建请求或者向远程会议服务器发送远程会议加入请求，创建一个新的远程会议或者加入一个已有的远程会议。

在进入远程会议之后，中转服务器所在用户如果是讲师，中转服务器可以接收远程控制终端的远程操控指令，例如点击窗口共享按钮，在远程会议的用户界面显示会议演示文件。中转服务器所在用户如果是听众，中转服务器也可以接收远程会议的参会端通过远程会议服务器共享的会议演示文件，在远程会议服务的用户界面显示共享的会议演示文件。会议演示文件可以是演示文稿、文本文档、视频、图像等。

步骤S320：中转服务器捕获所述远程会议服务的用户界面图像以及会议音频信号。

其中，用户界面图像可以是截取远程会议软件应用的窗口获得的图像，也可以是通过浏览器打开远程会议网页后截取的页面图像。在一实施例中，中转服务器受远程控制，在通过会议账号登录远程会议后，可以发起会议或加入会议，在成功进入会议后，进行用户界面图像和会议音频信号的捕获。

例如，中转服务器受远程控制，打开“网易云会议”软件应用，并输入会议账号进行登录，在进入指定远程会议之后，截取软件应用的窗口，将获得的图像作为用户界面图像。

例如，中转服务器受远程控制，打开浏览器，并输入“网易云会议”网址，打开“网易云会议”网页，之后输入会议账号进行登录，在进入指定远程会议之后，截取页面图像。

在一实施例中，用户界面图像中可以包括远程会议中共享的会议演示文件的页面，可选的，还可以包括参与远程会议的人员头像。可选的，特定的会议显示模式下，比如，在全屏模式下，用户界面图像可以仅包含会议演示文件的页面。

在一实施例中，服务端可以通过运行中转服务器的音视频抓帧程序，捕获接收到的会议音频信号和远程会议服务的用户界面图像。可选的，中转服务器可以按照预设时间间隔捕获用户界面图像。例如，每秒截取60次“网易云会议”会议软件应用的用户界面图像，得到60张用户界面图像。

其中，会议音频信号可以由远程会议的参会端通过远程会议服务器发送到中转服务器，也可以由远程控制终端发送到中转服务器。会议音频信号可以认为是远程会议过程中的语音发言内容。

步骤S330：中转服务器将捕获的所述用户界面图像以及会议音频信号通过直播服务器串流至运行沉浸式会议服务的参会端，以使所述参会端播放所述会议音频信号以及在所述参会端显示的三维虚拟会议场景画面中嵌入式显示所述用户界面图像。

其中，沉浸式会议服务是不同于上文列举的远程会议服务的另一会议服务。运行沉浸式会议服务的参会端可以显示三维虚拟会议场景画面，从而营造一种虚拟的会议环境，给用户一种沉浸式感受，增加用户的会议代入感。其中，三维虚拟会议场景画面可以由服务端的沉浸式会议服务器发送到沉浸式会议的参会端。沉浸式会议的参会端可以是通过账号登录沉浸式会议软件应用并进入指定会议的计算机或智能手机，也可以是通过浏览器打开沉浸式会议网页，并通过账号进行登录，进入指定会议的计算机或智能手机。

在一实施例中，服务端的沉浸式会议服务器可以接收沉浸式会议的参会端发送的指定会议的参会请求。例如，参与xx国际会议的参会请求，获取所述指定会议对应的三维虚拟会议场景画面。其中，不同会议可以提前配置不同的三维虚拟会议场景画面，从而使三维虚拟会议场景画面与真实会议场景更接近，营造更加真实的虚拟会议场景。服务端的沉浸式会议服务器接收到指定会议的参会请求，可以从数据库中获取提前配置的该指定会议相应的三维虚拟会议场景画面。例如提前配置的xx国际会议的三维虚拟场景画面。服务端的沉浸式会议服务器可以将三维虚拟会议场景画面发送至沉浸式会议的参会端进行显示。

沉浸式会议的参会端接收到会议音频信号后可以进行会议音频信号的播放。嵌入式显示是指在三维虚拟会议场景画面的指定区域显示用户界面图像。在一实施例中，如图4所示，三维虚拟会议场景画面中包含一虚拟幕布，为提高会议沉浸式体验，可以在虚拟幕布中显示用户界面图像。

串流是指每捕获到一帧用户界面图像，即发送一帧到沉浸式会议的参会端。会议音频信号每次采集到即发送到沉浸式会议的参会端。

在一实施例中，服务端可以通过中转服务器先将捕获的会议音频信号和用户界面图像推流到服务端的直播服务器，服务端将会议音频信号和用户界面图像在直播服务器的存储地址，通过直播发布程序转发到运行沉浸式会议服务的参会端。

由此，沉浸式会议的参会端可以通过存储地址，从直播服务器获取会议音频信号和用户界面图像进行播放。其中，用户界面图像可以嵌入式显示在三维虚拟场景画面中。

通过本公开的实施例中提供的技术方案，远程会议服务和沉浸式会议服务无需二次开发，服务端可以作为二者的中介，将远程会议和沉浸式会议连接起来，将远程会议中的音视频画面、PPT演示、参会者的交互，同步进入沉浸会议中进行播放。

本申请上述实施例提供的技术方案，可以通过接收远程操控指令，运行远程会议服务，并捕获远程会议服务的用户界面图像以及会议音频信号，将捕获的用户界面图像和会议音频信号串流至沉浸式会议的参会端，从而沉浸式会议的参会端可以播放会议音频信号，并在三维虚拟会议场景画面中嵌入式显示用户界面图像，使沉浸式会议的用户可以在运行沉浸式会议服务的参会端观看远程会议服务的用户界面图像，实现远程会议内容的共享。

在一实施例中，如图5所示，本申请实施例提供的远程会议控制方法还包括：

步骤S510：接收所述参会端发送的包含参会者个人照片以及所选虚拟角色的用户注册信息。

其中，用户注册信息包括参会者个人照片以及所选虚拟角色，还可以包括用户联系方式等。服务端的沉浸式会议服务器可以接收运行沉浸式会议服务的参会端发送的用户注册信息。

步骤S520：根据所述参会者个人照片和所选虚拟角色，通过智能捏脸技术生成参会者在所述三维虚拟会议场景画面中对应的虚拟人物。

其中，智能捏脸技术是指根据参会者个人照片的面部特征以及所选虚拟角色的原始面部特征，通过模型生成虚拟角色新的面部特征参数。模型可以通过大量样本数据训练得到。

基于参会者个人照片生成的虚拟人物与参会者的面部相似，从而可以提高参会者在沉浸式会议中的代入感。

在一实施例中，沉浸式会议的参会端可以接收用户触发的动作指令，控制虚拟人物执行相应的动作，例如前进，后退、坐下等。沉浸式会议的参会端可以接收用户触发的视角切换指令，以相应视角显示三维虚拟会议场景的指定画面。

由此，沉浸式会议的参会端不但可以显示远程会议的会议内容，还可以营造一个逼真的虚拟会议场景，使沉浸式会议的参会者有一种身临其境的会议感受。

下述为本申请装置实施例，可以用于执行本申请上述远程会议控制方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请远程会议控制方法实施例。

图6为本申请一实施例示出的远程会议控制装置的框图。如图6所示，该装置包括：会议进入模块610、会议抓帧模块620以及视频推送模块630。

会议进入模块610，用于响应远程操控指令，运行远程会议服务；

会议抓帧模块620，用于捕获所述远程会议服务的用户界面图像以及会议音频信号；

视频推送模块630，用于将捕获的所述用户界面图像以及会议音频信号串流至运行沉浸式会议服务的参会端，以使所述参会端播放所述会议音频信号以及在所述参会端显示的三维虚拟会议场景画面中嵌入式显示所述用户界面图像。

上述装置中各个模块的功能和作用的实现过程具体详见上述远程会议控制方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。