显示画面画质动态调整方法、装置、设备及存储介质

技术领域

本发明涉及计算机技术领域，尤指一种显示画面画质动态调整方法、装置、设备及存储介质。

背景技术

随着社会生产力和科学技术的不断发展，各行各业对虚拟现实(VirtualReality，VR)、增强现实(Augmented Reality，AR)等技术的需求日益旺盛。对于VR等技术而言，需要在显示时提供较高的画质才能令用户获得沉浸感，拥有较好的使用体验。而目前受限于硬件技术，VR、AR等显示设备的运算性能偏低，难以为用户提供极高画质的显示画面，从而用户体验感偏低。

发明内容

本发明实施例提供一种显示画面画质动态调整方法、装置、设备及存储介质，用以在显示画面的运算性能受限的情况下进一步地提升用户在使用显示设备观看画面时的使用体验。

本发明实施例提供了一种显示画面画质动态调整方法，应用于显示设备，包括：

确定用户的注视方向；

根据所述注视方向，确定与所述注视方向对应的第一区域，其中所述第一区域为显示画面中的部分区域；

对任一帧显示画面，采用运动估计运动补偿MEMC算法生成显示画面；

其中，在生成显示画面的过程中，所述第一区域对应的MEMC算法的指定参数大于其它区域对应的MEMC算法的指定参数。

可选地，所述指定参数包括候选矢量数量和/或搜索次数。

可选地，采用运动估计运动补偿MEMC算法生成显示画面，包括：

对除所述第一区域外的其它区域中的任一子块i，以平均候选矢量数量N

根据各所述其它区域的子块减少的候选矢量数量总数N

对所述第一区域中的任一子块k，根据所述任一子块k对应的所述等效候选矢量数量N′

对任一子块，根据所述子块对应的候选矢量数量和搜索次数，采用MEMC算法生成所述子块的画面。

可选地，对所述第一区域中的任一子块k，根据所述等效候选矢量数量N′

若N′

若0.5≤N′

N′

若N′

若N′

若N′

其中，所述基准搜索次数是预设值，或者所述基准搜索次数是根据所述显示设备的运算性能和子块总数量确定的值；所述第一子块与所述第二子块为相邻的子块，所述第一子块与所述第二子块组成所述第一区域。

可选地，对所述第一区域中的任一子块k，根据所述任一子块k对应的所述等效候选矢量数量N′

可选地，根据所述注视方向，确定与所述注视方向对应的第一区域，包括：

根据用户的注视方向确定显示画面上的用户注视点；

根据用户眼球位置、所述用户注视点以及用户视角范围，确定所述第一区域；或者，将所述用户注视点所在的预设划分区域确定为所述第一区域。

可选地，确定用户的注视方向，包括：

采集用户的眼球图像；

使用机器学习模型对所述眼球图像进行分析，确定用户的注视方向。

基于同一发明构思，本发明实施例还提供了一种显示装置，包括：

检测模块，用于确定用户的注视方向；

区域确定模块，用于根据所述注视方向，确定与所述注视方向对应的第一区域，其中所述第一区域为显示画面中的部分区域；

显示模块，用于对任一帧显示画面，采用运动估计运动补偿MEMC算法生成显示画面；

其中，在生成显示画面的过程中，所述第一区域对应的MEMC算法的指定参数大于其它区域对应的MEMC算法的指定参数。

基于同一发明构思，本发明实施例还提供了一种显示设备，包括：处理器和用于存储所述处理器可执行指令的存储器，所述处理器和所述存储器通过总线连接；

其中，所述处理器被配置为执行所述指令，以实现所述的显示画面画质动态调整方法。

基于同一发明构思，本发明实施例还提供了一种存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被用于实现所述的显示画面画质动态调整方法。

本发明有益效果如下：

本发明实施例提供的显示画面画质动态调整方法、装置、设备及存储介质，通过将显示画面划分为用户能够直接注视的第一区域和除所述第一区域以外的其它区域，动态调整两种区域中采用MEMC算法时的参数，以便在显示设备的运算性能有限的情况下对用户能够直接注视的第一区域分配更多的算力以提高显示画面的画质；而对于用户无法直接注视到的区域降低算力降低画质，由于用户不易观察到这些非注视方向上的画质变化，从而提高用户体验。

附图说明

图1为本发明实施例提供的显示画面画质动态调整方法的流程图；

图2为本发明实施例中第一区域的示意图之一；

图3为本发明实施例中第一区域的示意图之二；

图4为本发明实施例提供的显示画面画质动态调整方法的部分流程图之一；

图5为本发明实施例提供的显示画面画质动态调整方法的部分流程图之二；

图6为本发明实施例提供的显示画面画质动态调整方法中第一区域的确定过程示意图之一；

图7本发明实施例提供的显示画面画质动态调整方法的部分流程图之三；

图8为本发明实施例提供的显示画面画质动态调整方法中第一区域的确定过程示意图之二；

图9本发明实施例提供的显示画面画质动态调整方法的部分流程图之四；

图10为本发明实施例提供的显示装置的结构示意图；

图11为本发明实施例提供的显示设备的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面将结合附图和实施例对本发明做进一步说明。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。本发明中所描述的表达位置与方向的词，均是以附图为例进行的说明，但根据需要也可以做出改变，所做改变均包含在本发明保护范围内。本发明的附图仅用于示意相对位置关系不代表真实比例。

需要说明的是，在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

下面结合附图，对本发明实施例提供的显示画面画质动态调整方法、装置、电子设备及存储介质进行具体说明。

本发明实施例提供了一种显示画面画质动态调整方法，应用于显示设备。如图1所示，包括：

S110、确定用户的注视方向。

S120、根据所述注视方向，确定与所述注视方向对应的第一区域，其中所述第一区域为显示画面中的部分区域。

S130、对任一帧显示画面，采用运动估计运动补偿(Motion Estimation andMotion Compensation，MEMC)算法生成显示画面。

其中，在生成显示画面的过程中，所述第一区域对应的MEMC算法的指定参数大于其它区域对应的MEMC算法的指定参数。

在具体实施过程中，本发明实施例所应用的显示设备包括但不限于VR设备、AR设备、大尺寸平面/曲面显示屏等类型的显示设备，只要存在正常使用状态下用户人眼无法同时观看整个显示画面的情况即可采用本发明实施例所提供的方案。一般地，对于VR设备、AR设备而言，使用的用户为一个人，那么如图2所示，所述步骤S120确定的第一区域为一个区域。而对于大尺寸平面/曲面显示屏等类型的显示设备而言，可能会在使用过程中多个用户同时观看的情况，那么如图3所示，所述步骤S120确定的第一区域为多个，所述多个区域是为每个用户分别确定的一个区域。

MEMC算法是目前广泛用于帧率转换中的一种技术，通过估算连续运动图像中物体的运动轨迹，再结合图像数据和得到的运动矢量，插值出中间图像，从而提高视频帧率，改善视频播放时的抖动拖尾等问题。这样，本发明实施例通过将显示画面划分为用户能够直接注视的第一区域和除所述第一区域以外的其它区域，动态调整两种区域中采用MEMC算法时的参数，以便在显示设备的运算性能有限的情况下对用户能够直接注视的第一区域分配更多的算力以提高显示画面的画质；而对于用户无法直接注视到的区域降低算力降低画质，由于用户不易观察到这些非注视方向上的画质变化，从而提高用户体验。

可选地，如图4所示，所述步骤S110、确定用户的注视方向，具体包括：

S111、采集用户的眼球图像。

S112、使用机器学习模型对所述眼球图像进行分析，确定用户的注视方向。

当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，可以通过图像捕捉或扫描提取这些特征并加以分析，以实现准确地追踪人眼运动。具体可以通过获取眼球运动信息建模分析，通过训练模拟眼球运动等方式得到机器学习模型，采用训练得到的机器学习模型进行分析。

作为一种可选的实施方式，如图5所示，所述步骤S120、根据所述注视方向，确定与所述注视方向对应的第一区域，包括：

S121、根据用户的注视方向确定显示画面上的用户注视点。

S122、根据用户眼球位置、所述用户注视点以及用户视角范围，确定所述第一区域。

在具体实施过程中，由于单个人眼的水平视角最大可达156度，双眼的水平视角最大可达188度，人两眼重合视域为124度。那么可以将两眼重合视域124度所投影到屏幕的区域确定为所述第一区域。即，如图6所示，以眼球到屏幕上的落点的直视的视线作为轴线，以62度(视域的一半)作为所述轴线与母线的夹角，将用户眼球位置作为顶点形成一个圆锥体将所述圆锥体在屏幕上的投影作为所述第一区域。若用户直视的视线垂直于屏幕，那么如图6所示，所述第一区域为圆形；若用户直视的实现不垂直于屏幕，那么所述第一区域为椭圆形。若本方法应用于VR设备、AR设备等，那么由于人眼距离屏幕的距离较近，确定的第一区域的面积较小；若本方法应用于大尺寸显示设备等，那么由于人眼距离屏幕的距离较远，确定的第一区域的面积较大。用户眼球的位置具体可以通过飞行时间(Time of Flight，ToF)技术、三角测量法等技术测量得到，在此不作限定。

作为另一种可选的实施方式，如图7所示，所述步骤S120、根据所述注视方向，确定与所述注视方向对应的第一区域，包括：

S121、根据用户的注视方向确定显示画面上的用户注视点。

S123、将所述用户注视点所在的预设划分区域确定为所述第一区域。

在具体实施过程中，如图8所示，可以将整个显示画面以预设形状(例如为矩形)和尺寸划分为多个预设划分区域，然后将用户注视点所在的预设划分区域确定为所述第一区域。

基于块匹配的运动估计作为MEMC的关键技术，基本原理是从原图像块中找到与待匹配块最相似(误差最小)位置的方法，块匹配的准确性决定着运动补偿的结果以及帧率转换的最终效果。它的思想是将图像划分为许多互不重叠的子块(例如面积为16像素×16像素)，并认为子块内所有像素的位移量都相同。这意味着每个子块被视为运动物体。假设在图像序列中，t时刻对应于第k帧图像，t-1时刻对应于第k-1帧图像。对于k-1帧中的一个子块，在k帧中寻找与其最相似的子块，这个过程称为寻找匹配块，并认为该匹配块在k-1帧中所处的位置就是k帧子块位移前的位置，这种位置的变化用运动矢量D来表示。矢量表示子块可能的运动方向，有vx(水平运动方向)和vy(垂直运动方向)两个参数。候选矢量的组成包括相邻块的运动矢量、全局矢量、零矢量、随机矢量等。其中，全局矢量表示前一帧图像平均的运动方向，零矢量表示运动为0的矢量，相邻块的运动矢量表示前一帧相邻块或当前帧已计算完的相邻块的运动矢量，随机矢量表示随机数组成的矢量。每个子块需要在候选矢量中选择出一个矢量作为运动估计结果。候选矢量数量越多，选出矢量越准确的可能性越大。

之后，在候选矢量中选择出Cost最小的运动矢量作为运动估计结果。Cost是指在每个块筛选最优运动矢量时，所有的候选矢量都会根据算法得到一个评价指标，通常根据这个评价标准选择出最优运动矢量。上述提到的Cost可以是绝对差值和(Sum of AbsoluteDifference，SAD)，即根据矢量计算得到的两帧图像对应位置的像素差；也可以是其它用于评价矢量好坏的指标。

每进行一次上述在候选矢量中选择出Cost最小的运动矢量作为运动估计结果的过程为进行一次搜索。若搜索次数不为1，则在未达到搜索次数时，在上一次搜索结束后，以上一次搜索的cost最小的矢量为中心矢量，再以此矢量产生出周围矢量作为候选矢量，再进行搜索得到cost最小矢量，完成下一次的搜索过程；依次类推直至搜索过程达到搜索次数。通过进行多次搜索过程可以得到更加精确的矢量。

据此，通过调整MEMC算法中候选矢量数量和搜索次数两个参数，则可以调整显示画面的显示效果。那么进一步地，所述指定参数包括候选矢量数量和/或搜索次数。要想提高块匹配的准确性，可以通过增加候选矢量数量，或增加搜索次数等方法，但这些方法通常需要更高的计算量。

进一步地，如图9所示，所述步骤S130中，采用运动估计运动补偿MEMC算法生成显示画面，具体包括：

S131、对除所述第一区域外的其它区域中的任一子块i，以平均候选矢量数量N

其中，所述平均候选矢量数量N

或者，所述平均候选矢量数量N

所述子块是对显示画面按照预设尺寸进行划分得到的。

在具体实施过程中，对除所述第一区域外的其它区域中的任一子块i，减少的候选矢量数量可以为预设值，也可以所述子块i的数量和/或所述显示设备的运算性能设置，在此不作限定。

更进一步地，可以对除所述第一区域外的其它区域划分为不同的多个区域，不同的区域减少的候选矢量数量不同。例如，考虑到距离用户能够直接注视的第一区域越远的图像区域，用户越不易察觉该图像区域的画质变化。那么可以按照距离所述第一区域由近至远的规则将其它区域划分为第二区域、第三区域……等多个区域，相应地距离所述第一区域距离越远的其它区域减少的候选矢量数量越多。

S132、根据各所述其它区域的子块减少的候选矢量数量总数N

S133、对所述第一区域中的任一子块k，根据所述任一子块k对应的所述等效候选矢量数量N′

S134、对任一子块，根据所述子块对应的候选矢量数量和搜索次数，采用MEMC算法生成所述子块的画面。

更进一步地，对所述第一区域中的任一子块k，根据所述任一子块k对应的所述等效候选矢量数量N′

具体地，所述步骤S134中，对所述第一区域中的任一子块k，根据所述等效候选矢量数量N′

(1)若N′

其中，所述基准搜索次数是预设值。

或者，所述基准搜索次数是根据所述显示设备的运算性能和子块总数量确定的值。

(2)若0.5≤N′

其中，所述第一子块与所述第二子块为相邻的子块，所述第一子块与所述第二子块组成所述第一区域。

即，如果0.5≤N′

在具体实施过程中，所述第一子块增加的候选矢量可以为相邻的第二子块的运动矢量和随机矢量。

(3)N′

例如，N′

实际上，在MEMC算法中，搜索次数增加一次等效于候选矢量数量增加一倍。那么基于这一点：

(4)若N′

(5)若N′

即，如果N′

(6)若N′

例如，m＝0.4时，r最小值为2，那么s＝5，那么将第一区域按照5个相邻的子块为一组的规则进行划分，然后每组子块中选择中央位置的子块将所述平均候选矢量数量N

基于同一发明构思，本发明实施例还提供了一种显示装置，如图10所示，包括：

检测模块M110，用于确定用户的注视方向；

区域确定模块M120，用于根据所述注视方向，确定与所述注视方向对应的第一区域，其中所述第一区域为显示画面中的部分区域；

显示模块M130，用于对任一帧显示画面，采用运动估计运动补偿MEMC算法生成显示画面；

其中，在生成显示画面的过程中，所述第一区域对应的MEMC算法的指定参数大于其它区域对应的MEMC算法的指定参数。

可选地，所述指定参数包括候选矢量数量和/或搜索次数。

可选地，采用运动估计运动补偿MEMC算法生成显示画面，包括：

对除所述第一区域外的其它区域中的任一子块i，以平均候选矢量数量N

根据各所述其它区域的子块减少的候选矢量数量总数N

对所述第一区域中的任一子块k，根据所述任一子块k对应的所述等效候选矢量数量N′

对任一子块，根据所述子块对应的候选矢量数量和搜索次数，采用MEMC算法生成所述子块的画面。

可选地，对所述第一区域中的任一子块k，根据所述等效候选矢量数量N′

若N′

若0.5≤N′

N′

若N′

若N′

若N′

其中，所述基准搜索次数是预设值，或者所述基准搜索次数是根据所述显示设备的运算性能和子块总数量确定的值；所述第一子块与所述第二子块为相邻的子块，所述第一子块与所述第二子块组成所述第一区域。

可选地，对所述第一区域中的任一子块k，根据所述任一子块k对应的所述等效候选矢量数量N′

可选地，根据所述注视方向，确定与所述注视方向对应的第一区域，包括：

根据用户的注视方向确定显示画面上的用户注视点；

根据用户眼球位置、所述用户注视点以及用户视角范围，确定所述第一区域；或者，将所述用户注视点所在的预设划分区域确定为所述第一区域。

可选地，确定用户的注视方向，包括：

采集用户的眼球图像；

使用机器学习模型对所述眼球图像进行分析，确定用户的注视方向。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

由于所述显示装置的具体工作原理与所述显示画面画质动态调整方法基本一致，故可以参见上文所述显示画面画质动态调整方法的具体实施过程，此处不再赘述。

基于同一发明构思，本发明实施例还提供了一种显示设备100，如图11所示，包括：处理器110、用于存储所述处理器110可执行指令的存储器120、总线130，所述处理器110、所述存储器120通过所述总线130连接；其中，所述处理器110被配置为执行所述指令，以实现如下步骤：

确定用户的注视方向；

根据所述注视方向，确定与所述注视方向对应的第一区域，其中所述第一区域为显示画面中的部分区域；

对任一帧显示画面，采用运动估计运动补偿MEMC算法生成显示画面；

其中，在生成显示画面的过程中，所述第一区域对应的MEMC算法的指定参数大于其它区域对应的MEMC算法的指定参数。

可选地，所述指定参数包括候选矢量数量和/或搜索次数。

可选地，采用运动估计运动补偿MEMC算法生成显示画面，包括：

对除所述第一区域外的其它区域中的任一子块i，以平均候选矢量数量N

根据各所述其它区域的子块减少的候选矢量数量总数N

对所述第一区域中的任一子块k，根据所述任一子块k对应的所述等效候选矢量数量N′

对任一子块，根据所述子块对应的候选矢量数量和搜索次数，采用MEMC算法生成所述子块的画面。

可选地，对所述第一区域中的任一子块k，根据所述等效候选矢量数量N′

若N′

若0.5≤N′

N′

若N′

若N′

若N′

其中，所述基准搜索次数是预设值，或者所述基准搜索次数是根据所述显示设备的运算性能和子块总数量确定的值；所述第一子块与所述第二子块为相邻的子块，所述第一子块与所述第二子块组成所述第一区域。

可选地，对所述第一区域中的任一子块k，根据所述任一子块k对应的所述等效候选矢量数量N′

可选地，根据所述注视方向，确定与所述注视方向对应的第一区域，包括：

根据用户的注视方向确定显示画面上的用户注视点；

根据用户眼球位置、所述用户注视点以及用户视角范围，确定所述第一区域；或者，将所述用户注视点所在的预设划分区域确定为所述第一区域。

可选地，确定用户的注视方向，包括：

采集用户的眼球图像；

使用机器学习模型对所述眼球图像进行分析，确定用户的注视方向。

在具体实施过程中，如图11所示，所述显示设备100还可以包括显示屏140，所述显示屏140通过所述总线130与其它结构连接。所述显示屏140用于显示通过所述显示画面画质动态调整方法所生成的显示画面。所述显示设备100还可以包括视觉传感器150，所述视觉传感器150通过所述总线130与其它结构连接。所述视觉传感器150用于采集用户的眼球图像以实现所述显示画面画质动态调整方法的过程中确定用户的注视方向的步骤。若在实现上述步骤时采用ToF技术测量用户眼球位置，所述显示设备还可以包括ToF传感器，所述ToF传感器通过所述总线130与其它结构连接。

需要说明的是，图11仅是一种示例，给出显示设备100执行本申请实施例提供的显示画面画质动态调整方法步骤所必要的硬件。未示出的，该显示设备100还可以包含通信接口、电源等常规硬件。若所述显示设备100为VR设备、AR设备等，所述显示设备100还可以包括镜片等硬件结构，在此不再展开说明。

本申请实施例图11中涉及的处理器可以是中央处理器(Central ProcessingUnit，CPU)，通用处理器，图形处理器(Graphics Processing Unit，GPU)，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-specific IntegratedCircuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

基于同一发明构思，本发明实施例还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被用于实现所述的显示画面画质动态调整方法。

本发明实施例提供的显示画面画质动态调整方法、装置、设备及存储介质，通过将显示画面划分为用户能够直接注视的第一区域和除所述第一区域以外的其它区域，动态调整两种区域中采用MEMC算法时的参数，以便在显示设备的运算性能有限的情况下对用户能够直接注视的第一区域分配更多的算力以提高显示画面的画质；而对于用户无法直接注视到的区域降低算力降低画质，由于用户不易观察到这些非注视方向上的画质变化，从而提高用户体验。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。