数据处理方法、装置、服务器及计算机可读存储介质

技术领域

本公开涉及电子信息技术领域，尤其涉及数据处理方法、装置、服务器及计算机可读存储介质。

背景技术

随着图像处理技术的快速发展，图像的呈现更为多元，现有技术中，在传输视频数据时，会对整个视频画面进行编码传输，这种方法会编码处理大量的数据，尤其是是在传输立体视频和VR视频等需要同时传输左右眼图像的场景时，数据量剧增，但是传输网络资源会无法支持海量数据的传输，因此存在传输速度慢、编解码计算量大、带宽需求高等问题。因此，需要一种能够优化视频编码传输的方法，以提高传输速度、降低编解码计算量和带宽需求。

发明内容

本公开实施例提供一种数据处理方法、装置、服务器及计算机可读存储介质，能够解决现有数据编码处理过程数据量大的问题。所述技术方案如下：

第一方面，本公开实施例提供一种数据处理方法，该方法包括：

获取目标用户的生物特征数据；

根据所述生物特征数据，在第一显示区域和第二显示区域中，确定两个区域中视觉交叠的目标区域，所述第一显示区域根据目标用户的左眼观察区确定，所述第二显示区域根据目标用户的右眼观察区确定；

获取目标帧图像，所述目标帧图像用于在所述第一显示区域和/或所述第二显示区域显示；

遍历所述目标帧图像中的每个宏块，确定处于目标区域中的目标宏块；

编码处理所述目标宏块，生成目标数据。

第二方面，本公开实施例提供一种数据处理装置，该数据处理装置包括：检测模块、图像处理模块和编码模块；所述图像处理模块分别与检测模块和编码模块相连接；

所述检测模块，用于获取目标用户的生物特征数据；

所述图像处理模块，用于根据所述生物特征数据，在第一显示区域和第二显示区域中，确定两个区域中视觉交叠的目标区域，所述第一显示区域根据目标用户的左眼观察区确定，所述第二显示区域根据目标用户的右眼观察区确定；

获取目标帧图像，所述目标帧图像用于在所述第一显示区域和/或所述第二显示区域显示；

遍历所述目标帧图像中的每个宏块，确定处于目标区域中的目标宏块；

所述编码模块，用于编码处理所述目标宏块，生成目标数据。

第三方面，本公开实施例提供一种服务器，所述服务器包括：处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现第一方面所述的数据处理方法的步骤。

第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可以实现第一方面所述的数据处理方法中的步骤。

本申请提供一种数据处理方法、装置、服务器及计算机可读存储介质，通过采集用户的生物特征信息，并确定用户左右眼观察的交叠区域，从而根据该交叠区域编码处理显示的视频数据，实现了减少传输数据量，降低带宽需求，并提供流畅的远程显示体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种数据处理系统的框架图；

图2是本公开实施例提供的一种数据处理方法的流程图；

图3A是本公开实施例提供的一种数据处理方法中的处理示意图1；

图3B是本公开实施例提供的一种数据处理方法中的处理示意图2；

图3C是本公开实施例提供的一种数据处理方法中的处理示意图3；

图4是是本公开实施例提供的一种数据处理装置的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。

以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为了向用户呈现更好的显示效果，会在显示设备中显示立体视频火VR图像，而立体视频和VR(虚拟现实)视频图像通常由两幅源图像组成，分别对应左眼和右眼视角。这两幅图像在显示时交叠在一起，以产生逼真的三维观感。然而，在进行视频串流传输时，由于需要同时传输两幅图像，给带宽和网络传输造成了较大的压力。

现有技术中在传输上述立体视频数据或者VR视频数据中，每一帧都需要实际传输两幅图像，这意味着传输的数据量是单个视角视频传输的两倍。这样会占用更多的带宽，并且增加了传输延迟，容易导致视频卡顿和不流畅的观看体验。

为了解决立体视频和VR视频的传输压力问题，本申请提供一种数据处理方法，该方法通过采集用户的生物特征信息，并确定用户左右眼观察的交叠区域，从而根据该交叠区域编码处理显示的视频数据，实现了减少传输数据量，降低带宽需求，并提供流畅的远程显示体验。

本申请实施例在编码处理视频数据的过程中，优化视频串流方法可以通过压缩技术、传输优化和视觉感知等方面来实现。通过对立体视频图像进行差异编码、深度信息压缩或基于立体视觉特性的压缩方法，可以减少数据量并保持图像质量。同时，采用码率自适应技术可以根据网络带宽动态调整传输的码率，以确保在不同网络条件下的流畅传输。

以下对本申请实施例提供的数据处理方法的应用环境作简要说明：

请参见图1，本申请实施例提供的一种数据处理方法应用于数据处理系统，该系统包括：服务器101和数据处理装置102；服务器101和数据处理装置102可通过有线或者无线的方式连接；

服务器101在检测到用户登录数据处理装置102后，根据目标用户的登录信息，获取目标数据，并向数据处理装置102发送；数据处理装置102接收服务器发送的目标数据后，显示该目标数据。

在可选实施例中，服务器101可以在发送目标数据前，可以根据该目标用户的登录信息，查找到该目标用户的目标区域，即，目标用户左右眼的显示交叠区域；再根据该目标区域处理目标数据，并将处理后的数据该目标数据

在可选实施例中，数据处理装置102在接收服务器发送的数据后，可以根据该目标用户的生物特征信息，确定到该目标用户的目标区域，即，目标用户左右眼的显示交叠区域；并根据该目标区域编码处理目标数据。

在可选实施例中，数据处理装置102可以用于显示3D视频数据，如VR设备。

请参见图2，以下实施例以上述服务器或者数据处理装置为执行主体，将本申请实施例提供的方法应用于3D视频数据进行编码处理为例进行具体说明。本申请实施例提供的数据处理方法包括如下步骤：

步骤201、获取目标用户的生物特征数据。

目标用户的生物特征数据包括目标用户的面部特征数据，尤其是用户的瞳孔特征信息。

通过分析目标用户的生物特征信息，能够更准确的捕获用户的视觉集中区域。为用户提供更好的显示效果。

步骤202、根据所述生物特征数据，在第一显示区域和第二显示区域中，确定两个区域相互交叠的目标区域。

由于用户在观察图像时候的视觉能力的范围在整个视野中并不均匀，人类视野的120度(水平)，每侧剩余的周边40度没有双眼视觉，只有一只眼睛可以看到视野的特定部分，该区域在显示图像的时候不会有视差，所以产生不了三维观感，因此，可以适当优化该区域的数据，仅保留有效区域的图像，即双眼观察的交叠区域。下面结合具体的图像数据阐述关于目标区域的选取：

请参考附图3A，该附图中展示了交叠区域，即第一显示区域和第二显示区域中显示的帧图像场景图像部分，和视觉非交叠区域即：该图像中黑色区域。

请参考附图3B，该图像中展示了裁剪后的目标区域，该图中黑色仍表示为视觉非交叠区域。基于人眼瞳孔的特性，即：人眼瞳孔是近似圆形，所以还可以进一步裁剪源画面，成为圆形视野，

请参考图3C，该图像中展示了进一步优化后的目标区域，该图中黑色仍表示为视觉非交叠区域。该图中为在用户的视觉中合成的图像，根据人眼成像原理和瞳孔标识的有效区域，在视频数据的帧图像串流传输前，预先进行数据处理。左图右边缘和右图左边缘也可以裁剪掉一部分，然后做扭曲变形，因为处于视野重叠区域，所以不会影响实际感官。

步骤203、获取目标帧图像，遍历所述目标帧图像中的每个宏块，确定处于目标区域中的目标宏块。

该目标帧图像是用于在第一显示区域和/或第二显示区域显示，例如，在第一显示区域和第二区域交替显示可以实现3D显示的效果。

目标帧图像可以是目标视频中的一帧，该目标视频可以包括2D格式的数据或者3D格式的数据。

目标帧图像可以是获取的预设数据，例如，若检测到目标用户激活目标设备，则获取目标用户的标识信息；根据所述目标用户的标识信息，查找到与所述目标用户相匹配的视频数据；根据所述视频数据，获取若干帧图像。所述第一显示区域根据目标用户的左眼观察区确定；所述第二显示区域根据目标用户的右眼观察区确定。特殊情况，若用户只有左眼或者右眼能够正常的观察图像，则仅采集该正常单侧眼球的观察区域。

目标帧图像也可以是目标用户选取的预设数据，例如，若检测到目标用户的操作指令，则根据该操作指令在数据库中选取预设数据。

在第一显示区域及第二显示区域显示目标数据，可以同时显示也可以根据预设频率交替显示。通过在第一显示区域及第二显示区域显示目标数据，能够呈现3D显示的效果。

例如，在VR设备中的第一显示区域及第二显示区域分别对应人的左右眼，每个显示屏显示的是略微不同的图像。这两个图像经过精确的计算和同步，以模拟人眼的视差，使得用户在观看时，大脑能够综合这两个图像，生成立体视觉效果。同时，VR设备通常还配备有头部追踪传感器，能够实时检测用户的头部移动，从而动态调整显示屏上的图像，以保持立体效果的稳定和准确。

依次遍历第一图像中每个宏块和第二图像中每个宏块，确定处于目标区域中的目标宏块，并标记处理；未处于目标区域的宏块，则可以存储或者舍弃。

步骤204、编码处理所述目标宏块。

根据所述目标宏块所匹配的显示区域，在第一显示区域和/或第二显示区域中显示，以实现3D显示的效果。

除了编码处理位于目标区域的目标宏块，还可以编码处理未处于目标区域的其余宏块；根据第一策略编码处理所述目标宏块，根据第二策略编码处理所述其余宏块生成目标数据；其中，第一编码策略的编码质量高于第二编码策略。

编码处理目标宏块的方式至少可以通过压缩技术、传输优化和视觉感知等方面来实现。通过对立体视频图像进行差异编码、深度信息压缩或基于立体视觉特性的压缩方法，可以减少数据量并保持图像质量。同时，采用码率自适应技术可以根据网络带宽动态调整传输的码率，以确保在不同网络条件下的流畅传输。

本实施例提供的数据处理方法，根据用户的生物特征信息计算出目标用户的视觉交叠区域，在获取帧图像后，舍弃交叠区域外的数据并仅保留交叠区域的数据进行编码传输，解决了传输立体视频和VR视频等场景下同时传输左右眼图像，造成的数据传输量大的问题，可以在保证视觉感知质量的前提下提高传输速度、减小编解码计算量和降低带宽需求。

在可选实施例中，本申请所提供的数据处理方法步骤201中的获取目标用户的生物特征数据，确定目标区域，包括如下步骤：

步骤301、获取目标用户的生物特征数据，确定目标用户的瞳孔信息。

目标用户的瞳孔信息至少包括：目标用户左眼瞳孔和右眼瞳孔之间的距离信息、目标用户左眼瞳孔与显示模块之间的距离或目标用户右眼瞳孔与显示模块之间的距离。

步骤302、根据所述目标用户的瞳孔信息，确定目标用户的视觉观察区域，根据所述目标视觉观察区域，裁剪处理第一显示区域和第二显示区域。

在VR设备中，为了呈现3D效果，需要确保两个显示屏上的图像能够准确地对应用户的双眼视野。这通常涉及到对图像进行裁剪和变换，以确保用户只能看到应该看到的部分，从而模拟出真实世界的立体视觉。

考虑两个显示屏分别对应用户的左右眼，每个显示屏都有一个显示区域。当用户的头部处于固定位置时，这两个显示区域会有一定的交叠。这个交叠区域是用户双眼都能看到的部分，也是图像应该被渲染的区域。

为了计算这个交叠区域，可以想象两个椭圆，每个椭圆代表一个眼睛的视野。这两个椭圆相交的部分就是交叠区域。在这个相交的区域中，图像会被渲染并显示给用户。

若所显示的目标图像为采集是二维图像，则用两个相交的椭圆去裁剪，其中长短轴(a，b)的比例是：a:b＝2:1(120/60)，两个椭圆的圆心是一个瞳孔为原点：(0,0)，另一个为(d,0)，则相交区域的计算过程如下：

从而计算出上述两个椭圆相交的区域。

步骤303、根据所述瞳孔的特征参数，线性处理裁剪后的第一区域和第二区域确定目标区域。

基于用户左眼瞳孔、右眼瞳孔到显示模块的距离，计算两椭圆相交区域的线性变换，即可以通过线性变换算出实际串流的图像区域。

若目标图像为2D则线性变化可以包括：

其中，上述公式中的D是指：左眼瞳孔、右眼瞳孔到显示模块的距离；

若目标图像为3D则线性变化，则上述的计算矩阵为三阶方阵。

准裁剪椭圆(或称为有效显示区域)是指这两个椭圆相交的区域。这个区域是经过线性变换后得到的，线性变换是一种数学方法，可以用来调整图像的大小、位置和形状。通过线性变换，可以确保渲染的图像填充整个准裁剪椭圆区域，从而为用户提供最佳的3D视觉体验。

基于瞳孔到显示模块的距离(也称为眼距)，可以计算出这个线性变换的具体参数。眼距是指用户双眼之间的距离，可以确定显示图像中的交叠区域的大小和位置。通过知道眼距，可以计算出两个椭圆相交的具体区域，并确定需要渲染的图像区域。通过眼距的线性计算，可以精确地确定交叠区域，从而可以确定两个显示屏应该显示哪些图像部分，以便它们在用户的视野中重叠，形成立体视觉。

VR设备会根据眼距来调整显示屏上的图像，确保它们在用户的视野中正确地对齐。基于用户瞳孔至显示屏模块的距离，基于该距离，线性处理交叠区域，实现图像的缩放、平移和旋转等变换，以确保它们能够精确地填充用户的视野，并且在双眼之间产生正确的视差，从而可以精确地确定交叠区域。

通过眼距的线性计算，VR设备可以确定两个显示屏的交叠区域，并在这个区域内渲染图像。这样，用户就能够看到立体效果，因为他们的双眼会同时看到不同的图像部分，大脑会综合这两个不同的视觉信号，生成立体的视觉体验。

根据眼距进行线性计算来确定交叠区域的过程，实现了用户视觉系统的模拟和优化。根据用户的眼距进行线性计算，确定交叠区域，并优化图像的渲染和调整过程。这样，用户就能够看到立体效果，因为他们的双眼会同时看到不同的图像部分，大脑会综合这两个不同的视觉信号，生成立体的视觉体验。

在可选实施例中，本申请所提供的数据处理方法步骤301确定目标用户的瞳孔信息，包括：

获取采集的用户生物特征数据，提取目标用户的人脸检测和特征点检测，得到多个人脸特征点；

根据所述多个人脸特征点计算人脸位姿信息；

对人脸眼部区域进行瞳孔检测，确定瞳孔区域；

对所述用户图像进行二值化处理，计算所述瞳孔区域的积分图像，确定瞳孔中心的位置；

获取所述第二摄像头拍摄的带有光斑的人眼图像，检测光斑的位置，根据所述瞳孔中心和光斑的位置，计算目标用户的瞳孔信息。

目标用户左眼瞳孔和右眼瞳孔之间的距离信息、目标用户左眼瞳孔与显示模块之间的距离或目标用户右眼瞳孔与显示模块之间的距离。

在可选实施例中，本申请所提供的数据处理方法在编码处理目标宏块，还包括：获取当前网络传输资源和目标宏块的数据量；若当前网络传输资源与目标宏块的数据量相匹配，则通过第一编码策略编码处理；若当前网络传输资源与目标宏块的数据量不匹配，则通过第二编码策略编码处理；其中，第一编码策略的编码质量高于第二编码策略。

通过待编码处理的数据量与网络传输资源的匹配，自适应调整数据的编码策略，能够更好的适配当前的网络传输带宽，避免出现图像传输或者显示卡顿，影响用户的观看体验。

在可选实施例中，本申请所提供的数据处理方法还包括通过对立体视频图像进行差异编码、深度信息压缩或基于立体视觉特性的压缩方法，可以减少数据量并保持图像质量。同时，采用码率自适应技术可以根据网络带宽动态调整传输的码率，以确保在不同网络条件下的流畅传输。

在可选实施例中，本申请所提供的数据处理方法还包括能够通过对图像、视频等数据进行处理和分析，实现图像识别、目标跟踪、图像分割、姿态估计等多种功能，从而更智能的传输并显示数据。

在可选实施例中，本申请所提供的数据处理方法中编码处理所述目标宏块，包括：

获取所述目标宏块的序列信息和时间信息；

根据所述序列信息和时间信息，查找到所述目标宏块的上一帧图像；

根据上一帧图像和帧间编码策略，编码处理目标宏块。

根据预测性传输策略编码处理目标宏块：基于当前待编码宏块在视频序列中的时间和空间相关性来减少传输所需的数据量。

由于视频序列由连续的图像帧组成，这些帧之间具有很强的相关性。在时间维度上，连续的帧之间通常只有少量的内容变化；在空间维度上，图像的某个区域的内容可能与另一个区域相似或完全相同。预测性传输技术正是利用这些相关性来优化传输过程。

根据当前宏块的时序性，可以基于先前和/或后续帧中的信息来预测当前帧的内容，仅需传输这些预测值与实际帧的差异(也称为残差)会被编码和传输，进一步的减少了所需传输的数据量。

通过利用时间和空间相关性进行预测和重建，预测性传输技术可以显著减少需要传输的实际数据量。这不仅降低了对传输带宽的需求，还有助于减少传输延迟，从而提高视频流的播放质量。充分利用了视频序列的时间和空间相关性来减少所需传输的数据量，并在接收端通过预测和重建来恢复丢失的内容，从而提供了更高质量的视频体验。

本公开实施例提供一种数据处理装置，如图4所示，该数据处理装置40包括：检测模块401、图像处理模块402和编码模块403；所述图像处理模块402分别与检测401模块和编码模块403相连接；

所述检测模块401，用于获取目标用户的生物特征数据；

所述图像处理模块402，用于根据所述生物特征数据，在第一显示区域和第二显示区域中，确定两个区域中视觉交叠的目标区域，所述第一显示区域根据目标用户的左眼观察区确定，所述第二显示区域根据目标用户的右眼观察区确定；

获取目标帧图像，所述目标帧图像用于在所述第一显示区域和/或所述第二显示区域显示；

遍历所述目标帧图像中的每个宏块，确定处于目标区域中的目标宏块；

所述编码模块403，用于编码处理所述目标宏块，生成目标数据。

本实施例提供的数据处理装置，根据用户的生物特征信息计算出目标用户的视觉交叠区域，在获取帧图像后，舍弃交叠区域外的数据并仅保留交叠区域的数据进行编码传输，解决了传输立体视频和VR视频等场景下同时传输左右眼图像，造成的数据传输量大的问题，可以在保证视觉感知质量的前提下提高传输速度、减小编解码计算量和降低带宽需求。

关于上述数据处理装置的具体限定可以参见上文中对于数据编码处理方法的限定，在此不再赘述。上述数据编码装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本公开实施例提供一种服务器，所述服务器包括：处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如上述实施例中的数据处理方法的任一步骤。

本公开实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可以实现如上数据处理方法中的任一步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。