一种多屏网真终端的数据传输方法和装置

技术领域

本发明涉及网真技术领域，特别是涉及一种针对多屏网真终端数据传输方法、装置、计算机终端设备和计算机可读存储介质。

背景技术

网真(Telepresence)是一种创建沉浸式(Immersive)虚拟会议环境的技术。与传统的视讯会议系统相比，Telepresence系统具有很多优点，包括：能够提供真人大小的图像，眼神交流效果，更加流畅的运动以及远端参会者精确的肢体行为；高清的、演播室级的视频、光照和音频效果；统一的会议环境，使参与者感觉处于相同的会议地点，确保了不同会议地点体验的一致性；隐藏了摄像机等会议设备，减少对用户的影响等。

目前，一般将网真技术应用于多屏网真终端之上，在现有技术中，多屏网真终端的多个屏幕之间的视频传输会出现延时，导致视频传输不能同步。

发明内容

本发明的目的是：提供一种多屏网真终端的数据传输方法、装置计算机终端设备和计算机可读存储介质，能够解决现有多屏网真终端在视频传输中，多个屏幕之间出现视频传输延时，不能同步的问题。

为了实现上述目的，本发明提供了一种多屏网真终端的数据传输方法，所述多屏网真终端包括主屏幕设备和至少一个从屏幕设备，所述方法包括：

所述主屏幕设备将来自所述从屏幕设备的第一数据加上预设的第一数据包头，获得第二数据；并向多点控制单元发送所述第二数据；其中，所述第二数据包括所述第一数据和预设的所述第一数据包头；

所述主屏幕设备接收所述多点控制单元发送的第三数据，对所述第三数据预设的第二数据包头进行解析，得到第四数据；并将所述第四数据发送至所述从屏幕设备；其中，所述第三数据为其他终端发送至所述多点控制单元的数据。

进一步地，在所述主屏幕设备向多点控制单元发送所述第二数据之后，还包括：所述多点控制单元对所述第二数据预设的所述第一数据包头进行解析；并将解析后的数据发送给其他终端。

进一步地，所述多点控制单元包括管理控制层和媒体处理层，所述媒体处理层包括视真转发服务和媒体处理服务；其中，所述视真转发服务，用于对所述第二数据的预设的所述第一数据包头进行解析；并将解析后的数据发送给其他终端；所述媒体处理服务，用于对来自单屏终端发送的数据进行编码处理后，并将编码处理后的数据发送给视真转发服务；所述视真转发服务，还用于接收来自所述媒体处理服务的数据进行封包处理，并将封包处理后的数据发送给主设备。

进一步地，所述其他终端包括：多屏终端和单屏终端。

本发明实施例还提供一种多屏网真终端的数据传输装置，所述多屏网真终端包括主屏幕设备和至少一个从屏幕设备，所述装置包括：发送模块和接收模块；其中，

所述发送模块，用于所述主屏幕设备将来自所述从屏幕设备的第一数据加上预设的第一数据包头，获得第二数据；并向多点控制单元发送所述第二数据；其中，所述第二数据包括所述第一数据和预设的所述第一数据包头；

所述接收模块，用于接收所述多点控制单元发送的第三数据，对所述第三数据预设的第二数据包头进行解析，得到第四数据；并将所述第四数据发送至所述从屏幕设备；其中，所述第三数据为其他终端发送至所述多点控制单元的数据。

进一步地，在发送模块执行完成后，所述多点控制单元对所述第二数据预设的所述第一数据包头进行解析；并将解析后的数据发送给其他终端。

进一步地，所述多点控制单元包括管理控制层和媒体处理层，所述媒体处理层包括视真转发服务和媒体处理服务；其中，所述视真转发服务，用于对所述第二数据的预设的所述第一数据包头进行解析；并将解析后的数据发送给其他终端；所述媒体处理服务，用于对来自单屏终端发送的数据进行编码处理后，并将编码处理后的数据发送给视真转发服务；所述视真转发服务，还用于接收来自所述媒体处理服务的数据进行封包处理，并将封包处理后的数据发送给主设备。

进一步地，所述其他终端包括：多屏终端和单屏终端。

本发明实施例还提供一种计算机终端设备，包括：一个或多个处理器；存储器，与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一项所述的数据传输方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的数据传输方法。

本发明实施例一种多屏网真终端的数据传输方法和装置与现有技术相比，其有益效果在于：

1、视真转发服务实现了终端跟终端之间的转发，降低了延时和服务器性能。

2、媒体处理服务和视真转发服务融合，实现了智能服务和一些会议控制不会影响终端与终端之间的延时和服务器性能。

3、多屏网真终端对接服务器只通过主屏幕设备进行对接，所以数据都经过主屏幕设备进行发送，保证了多屏的延时同步问题。

附图说明

图1为本发明某一实施例提供的一种多屏网真终端的数据传输方法的流程示意图；

图2为本发明某一实施例提供的一种三屏网真终端架构示意图。

图3为本发明某一实施例提供的一种多屏网真终端的数据传输方法中的MCU总架构示意图；

图4为本发明某一实施例提供的在网真会议中三屏网真终端与视真转发服务数据传输示意图；

图5为本发明某一实施例提供的在网真会议中存在两个三屏网真终端时数据传输示意图；

图6为本发明某一实施例提供的在网真会议中存在两个三屏网真终端以及智能开关时数据传输示意图；

图7为本发明某一实施例提供的在网真会议中存在三屏网真终端和单屏网真终端时数据传输示意图；

图8为本发明某一实施例提供的在网真会议中三屏网真终端进入会议时数据传输示意图；

图9为本发明某一实施例提供的一种多屏网真终端的数据传输装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

术语解释：

MCU：多点控制单元；

MPS：媒体处理服务(MCU内部服务)；

TPS：视真转发服务(MCU内部服务)；

FreeSwitch：电话的软交换解决方案；

TELE：全拼telepersence意指多屏网真终端。

本发明第一实施例：

请参阅图1－图8，本发明实施例提供的一种多屏网真终端的数据传输方法，所述多屏网真终端包括主屏幕设备和至少一个从屏幕设备，所述方法至少包括如下步骤：

S101、所述主屏幕设备将来自所述从屏幕设备的第一数据加上预设的第一数据包头，获得第二数据；并向多点控制单元发送所述第二数据；其中，所述第二数据包括所述第一数据和预设的所述第一数据包头；

需要说明的是，所述多点控制单元包括：接入层(SGW)、管理控制层(RMC)和媒体处理层(MPS、TPS)；媒体处理层的所有资源均受管理控制层服务控制。MPS负责普通终端接入，TPS负责多屏网真终端接入。MPS和TPS以多主形式进行部署，由RMC统一进行资源管理。

需要说明的是，在MCU集群内，服务器包括：

Signle GateWay(SGW)：媒体接口网关，MCU对外接口，采用RESTfulApi形式，负责外部服务注册、认证、回调等处理，并将外部接口协议转成内部协议，并将请求分发到MCU后端不同服务上，做成无状态，横向扩容。

Reliable Media Controller(RMC)：媒体会议控制服务，负责媒体资源分配和调度，堆叠关系建立，TPS和MPS之间建立通话等功能。采用单主方式部署(通过数据库容灾)，所有会议都是建立在RMC上，有通话呼入时，根据呼入类型去决定具体选用哪个媒体处理服务。

Media Process Service(MPS)：媒体处理服务，负责普通终端的音视频编解码功能。

Telepresence Process Service(TPS)：多屏网真处理服务，负责多屏网真终端对的接入，并在需要的时候跟MPS对接。

需要说明的是，所述多屏网真终端的主屏幕设备和从屏幕设备的选定为用户根据实际需求进行选择，例如：对于三屏网真终端，一般将中间的屏幕作为主屏幕设备，两边的屏幕作为从屏幕设备。

需要说明的是，预设的第一和第二数据包头是通过在RTP格式上替换原有的RTP头，将数据原有的RTP包头进行重组，将关键信息和自定义信息重组。

关键信息包括SSRC，SeqNumber，时间戳，等媒体需要的信息。自定义信息是指媒体处理需要的一些参数，包括代表自己的是什么设备，以及sequenceNumber。

传输的数据包括视频和音频。

S102、所述主屏幕设备接收所述多点控制单元发送的第三数据，对所述第三数据预设的第二数据包头进行解析，得到第四数据；并将所述第四数据发送至所述从屏幕设备；其中，所述第三数据为其他终端发送至所述多点控制单元的数据。

需要说明的是，对于来自多点控制单元的数据，主屏幕设备可以选择对数据解码后，然后在发送给从屏幕设备；或者直接将数据发送给从屏幕设备，由从屏幕设备自己做解码处理。

在本发明的某一个实施例中，在所述主屏幕设备向多点控制单元发送所述第二数据之后，还包括：所述多点控制单元对所述第二数据的传输协议报头进行解析；并将解析后的数据发送给其他终端。

需要说明的是，由于第二数据时主屏幕设备经过传输协议发送给多点控制单元，因此，多点控制单元需要对产生的传输协议的报头部分进行解析，然后直接将数据发送给其他终端。

在本发明的某一个实施例中，所述多点控制单元包括管理控制层和媒体处理层，所述媒体处理层包括视真转发服务和媒体处理服务；其中，所述视真转发服务对所述第二数据的传输协议报头进行解析；并将解析后的数据发送给其他终端；所述媒体处理服务对来自单屏终端发送的数据进行编码处理后，并将编码处理后的数据发送给视真转发服务。

需要说明的是，在数据传输的过程中，多屏终端的数据传递由视真转发服务完成，而单屏终端数据则由媒体处理服务进行完成；单屏终端将数据传输给多屏终端时，需要由媒体处理服务对数据进行处理后，将处理后的数据发送给视真转发服务，视真转发服务再将数据发送给多屏终端。

在本发明的某一个实施例中，所述其他终端包括：多屏终端和单屏终端。

需要说明的是，本发明适用于多屏网真终端的数据传输，为了更好的理解本发明，以下具体示例将采用三屏网真终端在会议中的使用进行说明，但本发明不限于在三屏网真终端使用。

三屏网真终端由3台单屏终端组成，三台单屏终端定义为左中右，呼入MCU时由主设备进行跟MCU交互，RTP数据左右终端分别发往主设备，然后由主设备加上预设的第一数据包头，发送给MCU，MCU发送数据给终端时也是只发送给主设备，然后由主设备去解析预设的第二数据包头，然后转发给左右设备或者自己解码，以下对会议中可能出现的情况进行说明：

1、当在网真会议中，当一个视真会议中有且只有2个三屏网真终端的情况下，三屏网真终端的数据只经过TPS，当TPS收到终端1的数据之后，解析RTP报头，然后直接转发给另外一个三屏网真终端，中间不参与编解码节省性能和延时。

2、当会议中有且只有2个三屏网真终端且有开一些智能服务类的开关(录制，语音识别，智能签到)的情况下在原有转发的逻辑上会在TPS上和MPS上分别为终端1打开3个通道，为终端2打开3个通道，在TPS上是sendOnly，在MPS上是recvOnly，当TPS收到终端的数据后先解析预设的第一数据包头，然后转发给另外一个终端，同时会往MPS也发送一份数据。在MPS侧打开的所有通道都认为是普通终端，然后将内容解码出来再做不同的处理。这样既不增加2个视真终端的延时，也不增加不必要的编码消耗。

3、当只有一个三屏网真终端入会时，数据会从终端发往TPS，然后由TPS转发给MPS，由MPS编解码完之后发送数据给TPS，然后再转发给三屏网真终端。

4、当有一个三屏网真入会和一个单屏终端入会时，单屏终端是直接接入到MPS的，三屏网真终端接入到TPS。单屏终端收到数据后由MPS编解码后发给TPS。由于三屏网真终端有3路，而单屏终端只有1路，所以会把单屏终端的数据发给主的那个通道，而左右2个通道则发送静态图片数据；终端看到的画面可以是三屏网真拼接起来的画面，也可以是主的画面，这个依赖用户设置的布局。

上述终端进入网真会议的过程可以具体概括为：终端入会向FreeSwitch(以下简称FS)发送Sip Invite信令，然后由FreeSwitch转成信令申请资源发给MCU里的SGW，然后由SGW解析完成之后发送给RMC，RMC去MPS和TPS分别申请媒体资源，申请到媒体资源之后返回给FS，然后FS发送打开通道的信令给SGW，SGW解析完成之后转发给RMC，RMC根据当前会议里终端的情况，去打开具体的通道。

本发明实施例一种多屏网真终端的数据传输方法与现有技术相比，其有益效果在于：

1、视真转发服务实现了终端跟终端之间的转发，降低了延时和服务器性能。

2、媒体处理服务和视真转发服务融合，实现了智能服务和一些会议控制不会影响终端与终端之间的延时和服务器性能。

3、多屏网真终端对接服务器只通过主屏幕设备进行对接，所以数据都经过主屏幕设备进行发送，保证了多屏的延时同步问题。

本发明第二实施例：

请参阅图9，本发明实施例提供的一种多屏网真终端的数据传输装置200，所述多屏网真终端包括主屏幕设备和至少一个从屏幕设备，所述装置包括：发送模块201和接收模块202；其中，

所述发送模块201，用于所述主屏幕设备将来自所述从屏幕设备的第一数据加上预设的第一数据包头，获得第二数据；并向多点控制单元发送所述第二数据；其中，所述第二数据包括所述第一数据和预设的所述第一数据包头；

所述接收模块202，用于接收所述多点控制单元发送的第三数据，对所述第三数据预设的第二数据包头进行解析，得到第四数据；并将所述第四数据发送至所述从屏幕设备；其中，所述第三数据为其他终端发送至所述多点控制单元的数据。

在本发明的某一个实施例中，在发送模块执行完成后，所述多点控制单元对所述第二数据预设的所述第一数据包头进行解析；并将解析后的数据发送给其他终端。

在本发明的某一个实施例中，所述多点控制单元包括管理控制层和媒体处理层，所述媒体处理层包括视真转发服务和媒体处理服务；其中，所述视真转发服务，用于对所述第二数据的预设的所述第一数据包头进行解析；并将解析后的数据发送给其他终端；所述媒体处理服务，用于对来自单屏终端发送的数据进行编码处理后，并将编码处理后的数据发送给视真转发服务；所述视真转发服务，还用于接收来自所述媒体处理服务的数据进行封包处理，并将封包处理后的数据发送给主设备。

在本发明的某一个实施例中，所述其他终端包括：多屏终端和单屏终端。

本发明实施例一种多屏网真终端的数据传输装置与现有技术相比，其有益效果在于：

1、视真转发服务实现了终端跟终端之间的转发，降低了延时和服务器性能

2、媒体处理服务和视真转发服务融合，实现了智能服务和一些会议控制不会影响终端与终端之间的延时和服务器性能。

3、多屏网真终端对接服务器只通过主屏幕设备进行对接，所以数据都经过主屏幕设备进行发送，保证了多屏的延时同步问题。

本发明第三实施例：

本发明实施例还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现如上述任一项实施例所述的多屏网真终端的数据传输方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由计算机终端设备的处理器执行以完成如上述任一项实施例所述的多屏网真终端的数据传输方法，并达到如上述方法一致的技术效果。

本发明第四实施例：

本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的多屏网真终端的数据传输方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。