直播数据的发送方法、装置及系统

技术领域

本申请涉及数据通信技术领域，具体而言，涉及一种直播数据的发送方法、装置及系统。

背景技术

随着虚拟角色直播技术的不断发展，越来越多的人们开始关注和追求虚拟角色直播的娱乐和社交体验。虚拟角色直播平台提供了一个互动交流的空间，人们可以在这里结交朋友、分享兴趣、展示才华，甚至可以通过虚拟角色直播获得收入。虚拟角色直播已经成为了一个新兴的行业，吸引了越来越多的用户和投资。

然而，在虚拟角色直播中，音视频传输的稳定性和流畅度非常重要。由于网络环境的不稳定性，虚拟角色直播在传输音视频数据时常常会受到限制。在弱网环境下，虚拟角色直播画面可能会出现卡顿、花屏，甚至直接中断，这种情况会对用户的观看体验产生严重的影响。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种直播数据的发送方法、装置及系统，以至少解决由于弱网环境造成的虚拟角色直播时的直播数据卡顿的技术问题。

根据本申请实施例的一个方面，提供了一种直播数据的发送方法，包括：将用于直播的渲染数据划分为前景渲染数据和背景渲染数据，其中，所述前景渲染数据是用于渲染虚拟形象的渲染数据，所述背景渲染数据是用于渲染所述虚拟形象的背景的渲染数据；检测至终端设备的网络质量，并基于所述网络质量的检测结果，来向所述终端设备发送与所述前景渲染数据和所述背景渲染数据对应的直播数据。

根据本申请实施例的另一方面，还提供了一种直播数据的发送装置，包括：分类模块，被配置为将用于直播的渲染数据划分为前景渲染数据和背景渲染数据，其中，所述前景渲染数据是用于渲染虚拟形象的渲染数据，所述背景渲染数据是用于渲染所述虚拟形象的背景的渲染数据；发送模块，被配置为检测至终端设备的网络质量，并基于所述网络质量的检测结果，来向所述终端设备发送与所述前景渲染数据和所述背景渲染数据对应的直播数据。

根据本申请实施例的另一方面，还提供了一种直播数据的发送系统，包括：如上所述的直播数据的发送装置；终端设备，用于接收并呈现所述直播数据的发送装置发送的直播数据。

在本申请实施例中，将用于直播的渲染数据划分为前景渲染数据和背景渲染数据，其中，所述前景渲染数据是用于渲染虚拟形象的渲染数据，所述背景渲染数据是用于渲染所述虚拟形象的背景的渲染数据；检测至终端设备的网络质量，并基于所述网络质量的检测结果，来向所述终端设备发送与所述前景渲染数据和所述背景渲染数据对应的直播数据。通过上述方案，解决了由于弱网环境造成的虚拟形象直播时直播数据卡顿的技术问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种直播数据的发送方法的流程图；

图2是根据本申请实施例的另一种直播数据的发送方法的流程图；

图3是根据本申请实施例的一种虚拟角色的渲染方法的流程图；

图4是根据本申请实施例的一种表面细节采集的方法的流程图；

图5是根据本申请实施例的一种皮肤材质建模的方法的流程图；

图6是根据本申请实施例的一种子表面散射的方法的流程图；

图7是根据本申请实施例的一种表面反射的方法的流程图；

图8是根据本申请实施例的一种直播数据的发送装置的结构示意图；

图9是根据本申请实施例的一种直播数据的发送系统的架构示意图；

图10示出了适于用来实现本公开实施例的电子设备的结构示意图。

其中，上述附图包括以下附图标记：

1001、CPU；1002、ROM；1003、RAM；1004、总线；1005、I/O接口；1006、输入部分；1007、输出部分；1008、存储部分；1009、通信部分；1010、驱动器；1011、可拆卸介质；100、虚拟角色的渲染系统；101、第一终端设备；102、第二终端设备；103、第三终端设备；104、网络；105、服务器；106、动捕装置；1062、动捕头盔；1064、动捕服；1066、动捕手套；82、分类模块；84、发送模块。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到 ：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

本申请实施例提供了一种直播数据的发送方法，如图1所示，该方法包括以下步骤：

步骤S102，将用于直播的渲染数据划分为前景渲染数据和背景渲染数据，其中，所述前景渲染数据是用于渲染虚拟形象的渲染数据，所述背景渲染数据是用于渲染所述虚拟形象的背景的渲染数据。

本实施例将渲染数据划分为前景渲染数据和背景渲染数据，可以更加精细地控制所发送的直播数据的大小，从而减少直播流的传输时间和带宽占用。

步骤S104，检测至终端设备的网络质量，并基于所述网络质量的检测结果，来向所述终端设备发送与所述前景渲染数据和所述背景渲染数据对应的直播数据。

首先，检测网络质量。

具体地，可以向所述终端设备发送网络质量检测请求，所述网络质量检测请求用于请求测量以下至少之一：延迟、丢包率、和带宽；响应于所述网络质量检测请求的反馈，确定所述网络质量的检测结果，以判断至所述终端设备的所述网络质量。本实施例通过检测终端设备的网络质量并根据其结果来发送直播数据，可以优化直播数据的传输，减少网络延迟，提高用户体验。

接着，基于网络质量来发送直播数据。

在检测到所述网络质量小于第二预设阈值的情况下，将所述前景渲染数据和所述背景渲染数据作为所述直播数据发送给所述终端设备，或者将所述前景渲染数据作为所述直播数据发送给所述终端设备。具体地，在检测到所述网络质量小于所述第二预设阈值但大于第一预设阈值的情况下，将所述前景渲染数据和所述背景渲染数据作为所述直播数据发送给所述终端设备；在检测到所述网络质量小于等于所述第一预设阈值的情况下，仅将所述前景渲染数据作为所述直播数据发送给所述终端设备。

本实施例中，当网络质量较好时，前景渲染数据和背景渲染数据都会被发送给终端设备，这将提供更高质量的直播图像。当网络质量降低到第二预设阈值时，系统将发送前景渲染数据和背景渲染数据，这可以确保直播数据仍然可以被传输，同时减少带宽使用。当网络质量降低到第一预设阈值时，背景渲染数据将被完全丢弃，这可以更进一步降低带宽使用，同时确保直播数据仍然可以被传输。

在检测到所述网络质量大于等于所述第二预设阈值的情况下，基于所述前景渲染数据和所述背景渲染数据、或者仅基于所述前景渲染数据生成所述直播数据，并将所述直播数据发送给所述终端设备。

具体地，在检测到所述网络质量大于等于所述第二预设阈值但小于第三预设阈值的情况下，仅基于所述前景渲染数据进行渲染，得到与所述虚拟形象对应的前景数据，并将所述前景数据作为所述直播数据发送给所述终端设备。

在检测到所述网络质量大于等于所述第三预设阈值但小于第四预设阈值的情况下，基于所述前景渲染数据对所述虚拟形象进行渲染，得到与所述虚拟形象对应的前景数据，同时基于所述背景渲染数据对所述虚拟形象的背景进行渲染，得到与所述虚拟形象的背景对应的背景数据，并基于不同的编码方式，来分别编码所述前景数据和与所述背景数据，得到所述直播数据。例如，基于第一编码方式指示的编解码格式对应的编码参数，对所述前景数据进行编码，得到编码后的所述前景数据；基于所述第二编码方式指示的编解码格式对应的编码参数，对所述背景数据进行编码，得到编码后的所述背景数据；其中，所述第一编码方式指示的编解码格式的压缩比小于所述第二编码方式的编解码格式的压缩比。

在检测到所述网络质量大于等于所述第四预设阈值的情况下，将所述前景渲染数据和所述背景渲染数据结合在一起进行渲染，得到前景和背景结合在一起的视音频数据，并以预设的编码方式对所述视音频数据进行编码，得到所述直播数据。

本实施例，在网络质量非常好的情况下，使用前景渲染数据和背景渲染数据生成直播数据可以获得更高的图像质量和更真实的虚拟场景效果。而在网络质量良好的情况下，只使用前景渲染数据进行渲染可以减少网络传输的数据量，从而减少网络延迟和卡顿等问题，提高直播的稳定性。此外，本实施例还可以根据网络质量的不同级别，采用不同的编码方式和参数，进一步优化直播数据的传输效率和质量。

综上，本实施例可以根据网络质量的不同，采取不同的渲染方式和编码方式，以提高直播质量、减少带宽占用、提高编码效率和节约成本等方面带来有益效果，以避免直播时由于网络质量不好导致的卡顿、用户体验不好的技术问题。

实施例2

本申请实施例提供了另一种直播数据的发送方法，如图2所示，该方法包括以下步骤：

步骤S202，检测网络质量。

启动网络质量监测软件或服务，使其自动检测至终端设备的网络质量，并记录和报告检测结果。在一些实施例中，可以根据需要设置检测频率和报告方式，比如每分钟检测一次。

步骤S204，将网络质量划分为四个等级。

可以基于网络质量的检测结果，将网络质量划分为以下五个等级：1）非常差：延迟极高，丢包率极高，带宽极低，网络速度非常慢，几乎不能使用网络应用；2）差：延迟很高，丢包率很高，带宽很低，网络速度很慢，适合一些简单的网络应用，如邮件、网页浏览等；3）一般：延迟较高，丢包率较高，带宽较低，网络速度较慢，适合一些简单的网络应用，如文本聊天等；4）良好：延迟较低，丢包率低，带宽较高，网络速度较快，适合大部分网络应用，如文件传输、电子邮件、网页浏览等；5）优秀：延迟低，丢包率极低，带宽高，网络速度非常快，非常适合高质量的网络应用，如视频会议、实时流媒体等。

步骤S206，基于网络质量的等级确定不同的发送策略，并基于所确定的发送策略进行发送。

在网络质量非常差即网络质量小于第一预设阈值的情况下，仅将所述前景渲染数据作为所述直播数据发送给所述终端设备，由终端设备在本地基于前景渲染数据来渲染虚拟角色。

在网络质量非常差的情况下，网络的带宽和稳定性可能会受到很大的影响，会导致视频的卡顿、断流和延迟等问题，影响用户的观看体验。这时候，仅将前景渲染数据作为直播数据发送给终端设备，由终端设备在本地基于前景渲染数据来渲染虚拟角色，可以获得以下有益效果：1）减少数据传输量：只发送前景渲染数据可以减少需要传输的数据量，从而减少视频传输的时间和成本。2）提高视频的流畅性：由于只发送前景渲染数据，可以有效减少视频卡顿和延迟等现象，提高视频的流畅性，从而提高用户的观看体验。3）减少传输中的数据丢失：在网络质量差的情况下，如果发送整个虚拟场景的渲染数据，由于数据量大、传输时间长，会导致数据丢失的概率增加，进一步影响视频质量。而仅发送前景渲染数据可以减少数据的传输量，降低数据丢失的概率。综上，仅将前景渲染数据作为直播数据发送给终端设备，可以在网络质量差的情况下提高视频的流畅性、减少数据传输量和数据丢失的概率，从而提高用户的观看体验。

在网络质量差即网络质量大于等于第一预设阈值但小于第二预设阈值的情况下，将所述前景渲染数据和所述背景渲染数据作为所述直播数据发送给所述终端设备，由终端设备在本地基于前景渲染数据和背景渲染数据来渲染虚拟角色和背景。

本实施例中，在网络质量差的情况下，由于网络传输的带宽和速度有限，发送渲染后的完整视频数据可能会导致卡顿和延迟。但是，如果只发送前景渲染数据，观众可能会看到虚拟角色在空白的背景中移动，这会影响观看体验。通过同时发送前景渲染数据和背景渲染数据，可以避免这种情况，同时观众可以在本地快速渲染虚拟角色和背景，减少了卡顿和延迟的情况，提高了观看体验。

在网络质量一般即网络质量大于等于第二预设阈值但小于第三预设阈值的情况下，仅基于所述前景渲染数据进行渲染，得到与所述虚拟形象对应的前景数据，并将所述前景数据作为所述直播数据发送给所述终端设备。

本实施例中，在网络质量一般的情况下，仅基于前景渲染数据进行渲染，可以减少所需的网络带宽和传输延迟，从而提高直播的实时性和流畅性。由于不需要传输基于背景渲染数据渲染出的背景，可以避免因为数据传输量过大而导致的卡顿问题，同时也可以降低直播的网络带宽要求，适用于网络条件较为有限的情况。此外，由于只需要传输基于前景渲染数据渲染出的虚拟角色，可以减少网络传输的数据量，从而降低了直播的传输成本。

在网络质量良好即网络质量大于等于第三预设阈值但小于第四预设阈值的情况下，基于所述前景渲染数据对所述虚拟形象进行渲染，得到与所述虚拟形象对应的前景数据，同时基于所述背景渲染数据对所述虚拟形象的背景进行渲染，得到与所述虚拟形象的背景对应的背景数据，并基于不同的编码方式，来分别编码所述前景数据和与所述背景数据，得到所述直播数据。例如，基于第一编码方式指示的编解码格式对应的编码参数，对所述前景数据进行编码，得到编码后的所述前景数据；基于所述第二编码方式指示的编解码格式对应的编码参数，对所述背景数据进行编码，得到编码后的所述背景数据；其中，所述第一编码方式指示的编解码格式的压缩比小于所述第二编码方式的编解码格式的压缩比。

在网络质量优秀即网络质量大于等于第四预设阈值的情况下，将所述前景渲染数据和所述背景渲染数据结合在一起进行渲染，得到前景和背景结合在一起的视音频数据，并以预设的编码方式对所述视音频数据进行编码，得到所述直播数据。

本实施例中，在网络质量良好的情况下，使用压缩比不同的编码方式对前景数据和背景数据进行编码，从而在保证渲染质量的前提下，节省带宽资源和提高传输效率。而在网络质量优秀的情况下，采用前景和背景结合渲染的方式，可以进一步提高渲染质量和视觉效果，同时以预设的编码方式对整个视音频数据进行编码，以实现更高效的数据传输。

综上，本实施例可以在不同的网络环境下，针对不同的网络质量情况，灵活选择渲染和编码方式，以达到更好的传输效果和节省带宽资源的平衡，从而提高直播的观赏体验和用户满意度。

下面将详细描述本实施中的虚拟角色的渲染方法，如图3所示，该方法包括以下步骤：

步骤S302，表面细节采集。

采用高分辨率拍摄或扫描设备，采集真实皮肤表面的细节纹理，包括皮肤毛孔、皱纹和斑点等。例如，表面细节采集的方法可以如图4所示，包括以下步骤：

步骤S3022，拍摄高分辨率照片并进行三维扫描。

使用高分辨率相机拍摄被采集对象的照片。可以使用一个相对于对象相对静止的相机以获得尽可能多的细节。使用三维扫描设备扫描被采集对象以捕捉细节。这种方法可以生成精确的几何数据。

步骤S3024，纹理摄影。

使用高动态范围相机（HDR）进行纹理摄影，以捕捉对象表面的细节。可以使用HDR图像编辑软件将多个曝光级别的图像合并成一个高动态范围图像，以获取比普通照片更广泛的颜色范围。

步骤S3026，纹理合成。

使用图像处理软件将采集的数据合成为一个高质量的纹理映射。可以使用大量的照片和纹理摄影数据来创建一个高分辨率的纹理映射，然后使用图像编辑软件对其进行修饰。

步骤S3028，着色。

将纹理映射应用到被采集对象的三维模型上，并使用着色算法和技术来呈现表面细节。常用的着色算法包括法线贴图、置换贴图和微表面着色。可以使用现有的渲染引擎，来实现这一步骤。

步骤S304，皮肤材质建模。

使用基于物理的材质模型来模拟皮肤表面的光学和力学特性，如皮肤的反射率、散射率和吸收率等。

本实施例是基于物理的材质模型来模拟皮肤表面的光学和力学特性，包括皮肤的反射率、散射率和吸收率等。具体地说将光线在表面上的反射和散射行为建模为一个函数，即双向反射分布函数(BRDF)模型。例如，实现皮肤材质建模的方法的步骤可以如图5所示，包括以下步骤：

步骤S3042，确定皮肤基础属性。

首先需要确定皮肤的基础属性，例如颜色、粗糙度、透明度等。这些属性可以通过对真实皮肤的观察和测量来确定。

步骤S3044，确定皮肤的光学特性。

确定皮肤表面的光学特性，包括反射率、散射率和吸收率等。这些特性可以通过对真实皮肤的测量和分析来确定。

步骤S3046，建立BRDF模型。

BRDF模型是描述表面反射和散射行为的数学模型。在建立模型时，要考虑光线入射角度、表面法线方向、入射光波长等因素。同时，为了准确地模拟皮肤表面的光学特性，需要使用多项式函数来描述BRDF模型。

步骤S306，子表面散射。

如图6所示，子表面散射的方法包括以下步骤：

步骤S3060，在像素着色器中计算出表面点处法线方向和入射方向，并将它们转换为世界空间中的向量。

像素着色器是一种计算每个像素颜色的程序，因此在像素着色器中需要计算出表面点处法线方向和入射方向。这些向量需要乘以模型矩阵和视图矩阵，才能转换为世界空间中的向量。

步骤S3062，计算出表面点处到相机的方向和距离。

首先，计算出表面点处到相机的方向，以便在后续步骤中计算出表面点处到相机的距离。同样需要将这个向量乘以模型矩阵和视图矩阵，才能转换为世界空间中的向量。

然后，计算出表面点处到相机的距离，以便在后续步骤中计算出散射贡献。可以使用欧几里得距离公式计算出距离。

步骤S3064，对于每个子表面散射通道，计算出该通道的散射颜色。

需要为每个子表面散射通道（如红色、绿色和蓝色通道）计算出其散射颜色。散射颜色通常是从实际皮肤样本中获取的。可以通过将纹理样本映射到模型表面上来实现。

步骤S3066，对于每个子表面散射通道，计算出该通道的散射贡献。

计算出每个子表面散射通道的散射贡献。这可以通过计算距离、散射半径和散射颜色等因素来完成。可以使用一些特定的算法，如高斯函数或双曲线函数，来计算散射贡献。

步骤S3068，计算出总的子表面散射贡献，并将其与表面颜色相乘，得到最终的颜色值。

将每个子表面散射通道的散射贡献加起来，得到总的子表面散射贡献。然后，将其与表面颜色相乘，得到最终的颜色值。

通过上述方法，可以在计算皮肤材质时提供更真实的外观和质感。传统的渲染技术通常只考虑表面反射和折射，而忽略了皮肤表面的散射效应。本实施例，使用子表面散射技术可以更好地模拟皮肤的散射特性，从而产生更逼真的渲染结果。此外，本实施例可以通过计算每个像素的散射贡献，实现更精细的渲染。例如，在面部区域，由于皮肤表面的几何形状和细节变化，不同区域的散射特性可能会有所不同。使用子表面散射技术可以更好地捕捉这些微小的变化，从而产生更真实的结果。最后，本实施例可以通过使用纹理映射来获取散射颜色，从而更好地支持多种不同的皮肤材质和肤色。可以使用不同的皮肤样本来生成不同的散射颜色，从而实现更广泛的皮肤材质和外观。

步骤S308，表面反射。

对于每个像素点，计算出表面反射和子表面散射的颜色后，可以进一步地执行表面反射的步骤。具体地，表面反射的方法如图7所示，可以包括如下步骤：

步骤S3082，计算光线在皮肤内部的扩散剖面。

扩散剖面是从人体表面发出的光线在不同方向上的能量分布情况。使用嵌套半球积分可以对扩散剖面进行计算。

在一些实施例中，可以先计算所述每个像素点的所述入射光线的入射方向和表面法线之间的夹角；基于所述入射光线的入射方向和表面法线之间的夹角，来对所述曼哈顿距离进行近似求解；然后，基于所述每个像素点的光线入射位置和初设位置的曼哈顿距离，来确定双向散射分布函数BSSRDF，其中，所述BSSRDF用于描述入射光线与所述皮肤表面交互后在表面内部和表面上反射、散射和传播的行为，以及所述行为对所述入射光线的影响；最后，基于所确定的BSSRDF，来计算所述嵌套半球积分，并基于所述嵌套半球积分来计算所述每个像素点的扩散剖面。

对于BRDF模型来说，一次反射光照的计算是在光线交点的法线半球上的球面积分。而对于BSSRDF来说，每一次反射在物体表面上每一个位置都要做一次半球面积分，是一个嵌套半球积分：

其中，L

其中，BSSRDF的定义如下：

其中，S表示BSSRDF，Ft表示菲尼尔方程，η0表示反射折射率，ηi表示入射折射率，Ra表示光线入射位置和初设位置的曼哈顿距离。

Ra只接受一个标量参数，这个参数的意义是光线入射位置和初设位置的曼哈顿距离。直观的理解就是，BSSRDF尝试将光线在物体表面内部中数千次的散射后所剩余的能量用一个基于入射点和出射点之间距离的函数去近似即只接受一个标量参数。也就是说，BSSRDF尝试将光线在物体表面内部中数千次的散射后所剩余的能量用一个基于入射点和出射点之间距离的函数去近似。这个近似则是基于几个假设：1)次表面散射的物体是一个曲率为零的平面；2）这个平面的厚度，大小都是无限的；3）平面内部的介质参数是均匀的；4）光线永远是从垂直的方向入射表面。

正因为有这些假设，所以很容易把出射光的强度与出射点和入射点之间的距离用一个函数去近似。而真实的模型往往比理想中要复杂的多，光线也有可能从各个角度入射，因此通过BSSRDF渲染的结果会有一定误差。

因此，需要对Rα 近似求解：

其中，近似公式为：

其中，φ表示物体表现反射，x表示反射角度，tr表示法线反射，r表示辐射半径，D表示扩散常数，▽表示曲面变化率，g表示吸收率，i表示入射角度，φi表示上式φ(x)带入xi，tss表示物体厚度，Css表示物体颜色，v表示视线方向，L表示光照方向，+表示取正数，P表示透光率，n表示法线方向。

步骤S3084，将扩散剖面与皮肤的表面反射率相乘，得到扩散反射颜色。

扩散反射颜色描述了光线在皮肤内部传播时产生的反射效应，即光线被吸收并在皮肤内部散射多次后再次逃逸。

步骤S3086，将表面反射颜色和扩散反射颜色相加，得到交界颜色。

交界颜色描述了表面反射和子表面散射效应在像素点交界处的混合效果。

步骤S3088，将交界颜色和皮肤表面颜色相加，得到最终的输出颜色。

最终的输出颜色是皮肤的整体颜色和光照条件下产生的表面反射和子表面散射效应。

步骤S310，模糊处理和透光处理。

基于所述扩散剖面和所述交界颜色，进行模糊处理和透光处理，以对所述虚拟角色的皮肤进行渲染。

具体地，基于所述扩散剖面和所述交界颜色，来计算每个像素的次表面散射特性；然后，基于所述每个像素的深度值和所述次表面散射特性来计算所述每个像素的权重，例如，可以基于所述次表面散射特性，对所述深度值进行排序，基于所述深度值和次表面散射特性来计算所述每个像素的权重；基于所述权重，对所述每个像素的颜色值进行加权平均，并基于加权平均的结果进行所述模糊处理。最后，使用所述次表面散射特性来计算光线在所述皮肤内部的传播和反射，以进行透明处理。

实施例3

本申请实施例提供了一种直播数据的发送装置，如图8所示，包括：分类模块82和发送模块84。

分类模块82被配置为将用于直播的渲染数据划分为前景渲染数据和背景渲染数据，其中，所述前景渲染数据是用于渲染虚拟形象的渲染数据，所述背景渲染数据是用于渲染所述虚拟形象的背景的渲染数据。

发送模块86被配置为检测至终端设备的网络质量，并基于所述网络质量的检测结果，来向所述终端设备发送与所述前景渲染数据和所述背景渲染数据对应的直播数据。

需要说明的是：上述实施例提供的直播数据的发送装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的直播数据的发送装置与直播数据的发送方法实施例属于同一构思，其具体实现过程详见方法实施例，此处赘述。

实施例4

本申请实施例提供了一种直播数据的发送系统，如图9所示，直播数据的发送系统可以包括终端设备例如第一终端设备101、第二终端设备102、第三终端设备103中的一个或多个、网络104、服务器105和动捕装置106。

网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间、以及动捕装置106和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图9中的终端设备、网络、动捕装置和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、动捕装置和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

动捕装置106用于实时采集动捕数据，并经网络104发送给服务器105。其中，动捕装置106可以包括动捕头盔1062、动捕服1064和动捕手套1066中的一个或多个。

动捕头盔1062设置有摄像头，其拍摄速度高达60帧/秒，能够捕捉快速的唇部动作、眨眼动作，以及面部的抽动和抖动。此外，本实施例中的动捕头盔1062是开放式的结构，这样，空气能够在其中流通，从而使得佩带动捕头盔1062的人员能够在进行操作时更加舒适。动捕头盔1062可以连接专用的数据线，如果数据线长度不够，还可以通过连接增强型USB延长线延长。

动捕服1064由惯性传感器、控制盒、莱卡面料等组成。本实施例中的动捕服1064设置有17个传感器，能够同时追踪23个不同的身体环节的动作，追踪部位包括双脚、小腿、膝盖、腹部、双手、手肘以及肩膀等。本实施例中的动捕服1064通过这样的结构，能够满足运动捕捉和动画设计的严格需求，具有使用简单、穿戴舒适、数据质量高的有益效果。在其他的实施例中，动捕服1064上还可以通过放置可追踪标记来捕捉穿戴动捕服1064的人或其他物体的运动轨迹。例如，可以放置反光标记，通过红外相机等追踪装置来跟踪这些标记。

动捕手套1066由惯性传感器、弹性面料、手部动作捕捉系统等组成。本实施例中，动捕手套1066上设置有12颗高性能的九轴惯性传感器，姿态更新频率为120Hz，采集点数量为12个节点，静态精度为0.02度，动态精度为0.2度，解算频率为约1000Hz，数据延迟为30ms。

服务器105接收到动捕数据之后，执行本公开实施例所提供的直播数据的发送方法，生成直播数据，并推送给第一终端设备101、第二终端设备102、第三终端设备103。

本公开实施例所提供的直播数据的发送方法一般由服务器105执行，相应地，直播数据的发送装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的直播数据的发送方法也可以由第一终端设备101、第二终端设备102、第三终端设备103执行，为其他终端设备提供直播数据的发送服务，相应的，直播数据的发送装置也可以设置于第一终端设备101、第二终端设备102、第三终端设备103中，本示例性实施例中对此不做特殊限定。

在一些示例性实施例中，可以是用户通过第一终端设备101、第二终端设备102、第三终端设备103上的应用程序观看渲染的虚拟角色，服务器105通过本公开实施例所提供的直播数据的发送系统，生成直播数据，并将直播数据发送给第一终端设备101、第二终端设备102、第三终端设备103等。第一终端设备101、第二终端设备102、第三终端设备103可以基于直播数据的类型，本地执行渲染操作或者直接播放服务器渲染好的音视频数据。

实施例5

图10示出了适于用来实现本公开实施例的电子设备的结构示意图。需要说明的是，图10示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，该电子设备包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，电子设备还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现上述方法实施例的各个步骤等。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端设备，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。