图像渲染方法及系统、VR设备、装置及可读存储介质

技术领域

本发明一般涉及VR领域，尤其涉及图像渲染方法及系统、VR设备、装置及可读存储介质。

背景技术

随着VR(虚拟现实，Virtual Reality)显示技术的不断发展，VR显示分辨率不断提升，VR内容需要以更高的分辨率和更高的帧速率呈现，这意味着需要消耗更多的GPU(图形处理器，Graphics Processing Unit)渲染资源，但GPU图形处理能力并没有以同样的速度提升，使得VR超高分辨率、超高帧速内容的呈现和生成受到限制。

目前，各大厂商都希望通过注视点渲染技术去解决这些问题，注视点渲染是一种新型图形计算技术，凭借降低注视点周围图像的解析度来大幅降低GPU计算的复杂度；现有的注视点渲染技术是对人眼的注视区域进行100％高清渲染，而在这之外的区域则采用逐层降低分辨率的方式进行渲染。这种渲染方式在一定程度上能够降低对GPU的渲染需求，但是随着近眼显示屏幕显示分辨率不断提升至16K或更高时，低清区域的内容渲染仍然会给GPU带来较大负担，目前的注视点渲染方式不能很好的解决更高分辨率和更高帧速率的VR内容的渲染需求。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种图像渲染方法及系统、VR设备、VR装置及可读存储介质。

第一方面，提供一种图像渲染方法，包括：

获取待显示图像，对所述待显示图像进行背景预渲染生成背景全景图；

获取用户的头部姿态信息，并根据所述头部姿态信息确定用户观看的位置，确定该位置对应的背景图像；

计算用户的注视点；

根据所述注视点确定前景中央凹区域，对所述前景中央凹区域按照第一渲染分辨率进行渲染生成前景中央凹图像，根据所述注视点确定前景非中央凹区域，对所述前景非中央凹区域按照第二渲染分辨率进行渲染生成前景非中央凹图像；

将所述背景图像、所述前景中央凹图像和所述前景非中央凹图像进行图像融合，生成最终渲染图像。

第二方面，提供一种图像渲染系统，包括：

背景内容预渲染模块，用于获取待显示图像，对所述待显示图像进行背景预渲染生成背景全景图；

视场角计算模块，用于获取用户的头部姿态信息，并根据所述头部姿态信息计算用户当前观看的视场角范围，并根据所述视场角范围确定用户观看的位置，确定该位置对应的背景图像；

注视点计算模块，用于计算用户的注视点；

前景图像生成模块，用于根据所述注视点确定前景中央凹区域，对所述前景中央凹区域按照第一渲染分辨率进行渲染生成前景中央凹图像，根据所述注视点确定前景非中央凹区域，对所述前景非中央凹区域按照第二渲染分辨率进行渲染生成前景非中央凹图像；

图像融合模块，用于将所述背景图像、所述前景中央凹图像和所述前景非中央凹图像进行图像融合，生成最终渲染图像。

第三方面，提供一种VR设备，所述VR设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

第四方面，提供一种VR显示装置，所述VR显示装置用于显示使用上述方法处理的图像。

第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现上述方法。

根据本申请实施例提供的技术方案，通过将需要显示的图像分为背景图像、前景中央凹图像和前景非中央凹图像，对背景图像进行预渲染方式进行渲染保存，避免在后续的实时渲染过程中占用过多的资源，同时将前景图像分为不同的区域，采用不同的渲染分辨率进行渲染，在满足人眼观看需求的同时，降低高分辨率和高帧速率内容同时生成时对GPU渲染能力的要求，满足用户观看需求的同时降低渲染资源需求。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本实施例中图像渲染方法流程图；

图2为本实施例中图像渲染系统结构示意图；

图3为本实施例中图像渲染流程示意图；

图4为本实施例中姿态信息计算流程图；

图5为本实施例中用户注视点计算流程图；

图6为本实施例中的一种设备结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，本实施例提供一种图像渲染方法，包括步骤：

获取待显示图像，对待显示图像进行背景预渲染生成背景全景图；

获取用户的头部姿态信息，并根据头部姿态信息确定用户观看的位置，确定该位置对应的背景图像；

计算用户的注视点；

根据注视点确定前景中央凹区域，对前景中央凹区域按照第一渲染分辨率进行渲染生成前景中央凹图像，根据注视点确定前景非中央凹区域，对前景非中央凹区域按照第二渲染分辨率进行渲染生成前景非中央凹图像；

将背景图像、前景中央凹图像和前景非中央凹图像进行图像融合，生成最终渲染图像。

本实施例中通过将需要显示的图像分为背景图像、前景中央凹图像和前景非中央凹图像，对背景图像进行预渲染方式进行渲染保存，避免在后续的实时渲染过程中占用过多的资源，同时将前景图像分为不同的区域，采用不同的渲染分辨率进行渲染，在满足人眼观看需求的同时，降低高分辨率和高帧速率内容同时生成时对GPU渲染能力的要求，满足用户观看需求的同时降低渲染资源需求。

进一步的，对待显示图像进行背景预渲染生成背景全景图包括：

测量待显示图像内图像的景深；

若测量的景深小于设定景深阈值，则判断图像内容为前景内容，若测量的景深大于设定景深阈值，则判断图像内容为背景内容；

对背景内容进行预渲染生成背景全景图，对背景全景图进行缓存。

如图4所示，本实施例中首先对整个VR的待显示图像进行背景的预渲染，并且将预渲染后的背景图进行缓存，在后续用户实际使用的时候，背景图只需要将缓存的图调用出来确定当前观看背景即可，避免后续实时渲染的时候，因为需要渲染背景占用过多的资源进行计算；对VR内容图中的背景内容进行渲染，首先需要对获取的VR内容图内的前景内容和背景内容进行区分，以便于对背景内容进行预渲染，本实施例中通过测量VR内容图内图像的景深并进行判断，例如设定景深阈值为d，景深大于d的均为前景图像，景深小于等于d的均为背景图像，对背景图像进行预渲染生成背景全景图，这里所说的预渲染是指用较低的渲染分辨率对背景图像进行渲染。本实施例中通过测量景深的方式确定前景和背景，其中可以对待显示图像的像素点依次进行景深判断，或者将待显示图像中进行图像的分类，不同类别的图像分别进行景深的判断。

进一步的，获取用户的头部姿态信息包括：

基于上帧重力加速度、当前帧重力加速度进行加权平均计算，得到重力加速度计算值；

基于重力加速度计算值和重力加速度参考值之间的误差计算姿态误差；

基于上帧姿态信息、角速度测量值和卡尔曼滤波算法计算当前帧姿态的预测值；

基于姿态误差，对当前帧姿态的预测值进行误差校正，计算出当前帧的用户头部姿态信息。

本实施例中需要根据用户的头部姿态信息进行用户观看内容的确定，通常人眼的视场角为90°左右，根据用户的头部姿态以及相应的视场角确定用户当前看的场景图像，并对当前观看的场景图像进行渲染。本实施例中设定用户的视场角为90°-120°，即VR内容图中四分之一到三分之一的内容图像。上述实施例中给出了用户头部姿态信息的具体计算步骤。

如图5所示，进一步的，计算用户的注视点包括：获取用户眼部图像；

对眼部图像进行灰度化处理；

基于灰度化处理后的后的眼部图像计算瞳孔区域的阈值；

基于瞳孔区域的阈值进行二值化处理，计算出瞳孔区域；

基于二值化处理后的瞳孔区域进行边缘检测，计算出瞳孔边缘点；

基于瞳孔边缘点进行椭圆拟合，计算出瞳孔的中心；

基于瞳孔的中心计算用户注视点的坐标。

上述实施例中通过用户的头部姿态信息确定用户当前观看的图像，需要进一步的对该图像中的前景图像进行渲染，并且需要将前景图像分为用户正在注视的图像范围和用户未注视的图像范围，不同的图像采用不同的渲染分辨率，使得用户正在注视的图像得到最大分辨率的渲染，保证用户的使用感受较好，同时用户未注视的图像渲染分辨率相对较低，能够降低渲染资源消耗。本实施例中为了确定用户正在注视的图像范围，需要对用户的注视点进行计算，其中具体通过对用户的眼部图像进行拍照，通过灰度处理和二值化分析等步骤确定人眼瞳孔的区域，本实施例具体采用红外相机对用户眼部图像进行拍摄，还可以通过红外补光灯进行红外光的补充，使得拍摄的用户眼部图像更加的准确，优选的采用850nm的红外补光灯配合拍照。进一步的进行瞳孔中心的计算，通过将瞳孔拟合成椭圆形，计算椭圆形结构的中心，即为瞳孔的中心，随后基于瞳孔的中心计算用户注视点的坐标，具体的通过将瞳孔中心的坐标输入到标定完成的视线计算模型中，即能得到注视点的坐标，其中，视线计算模型为：

X＝a+b·x+c·y+d·x

Y＝f+g·x+h·y+1·x

其中(X,Y)为注视点坐标，(x,y)为瞳孔坐标；参数a-e，f-j可通过5点标定法求解，即根据5组已知对应的注视点坐标(X,Y)和瞳孔坐标(x,y)通过最小二乘法求解。

上述注视点坐标的确定能够进一步的确定出前景中央凹区域和前景非中央凹区域，优选的可以设定注视点坐标周围10°左右的范围均为前景中央凹区域，设定注视点坐标上下左右等范围10°以内的为前景中央凹区域，10°以外的均为前景非中央凹区域，该范围可以进行扩大，设定10°-20°均可。

进一步的，第一渲染分辨率为100％，第二渲染分辨率为60％-40％，预渲染分辨率不超过50％。

本实施例中采用不同的渲染分辨率分别对前景中央凹图像、前景非中央凹图像以及背景图像进行渲染，对于人眼集中注视的前景中央凹图像采用第一渲染分辨率进行渲染，其中设定值为100％，对于人眼不那么集中的前景非中央凹图像采用第二渲染分辨率进行渲染，其中设定值为60％-40％，优选的50％，对于背景图像的预渲染，不超过50％的分辨率，使得在满足人眼观看需求的同时，降低高分辨率和高帧速率内容生成时对渲染能力的要求。

进一步的，“将背景图像、前景中央凹图像和前景非中央凹图像进行图像融合”包括：

确定前景中央凹图像、前景非中央凹图像在背景图像内的匹配区域；

清空背景图像内匹配区域的像素；

将前景中央凹图像、前景非中央凹图像贴合到背景图像的匹配区域。

本实施例中最终需要向用户展示完整的图像，因此将渲染后的前景中央凹图像、前景非中央凹图像和背景图像进行融合，本实施中采用的方式是直接将背景图像中相应区域的像素去除，然后将前景中央凹图像和前景非中央凹图像贴在背景图像相应的位置，随后直接向用户进行展示。

如图3所示，给出了本实施例中图像渲染流程示意图，附图中的图片以灰度的图像进行显示，实际为彩色图像，其中VR显示图像被分为三个部分，背景图像、前景中央凹图像和前景非中央凹图像，最终图像生成之前分为两个步骤，一是背景内容生成过程，二是前景内容生成过程，其中对背景图像进行预渲染形成背景全景图，并对背景全景图进行缓存，并且在随后的步骤中根据用户人眼观看的位置确定真正观看的视场图像；同时，根据人眼注视的位置以及人眼的注视点确定当前人眼注视的前景图像中哪些为中央凹图像，哪些为非中央凹图像，图3中示出的小鸟图像为中央凹图像，飞机图像为非中央凹图像，进行不同分辨率的渲染之后，对背景的图像以及小鸟图像、飞机图像进行融合，生产最终显示的图像。

如图2所示，本实施例还提供一种图像渲染系统，包括：背景内容预渲染模块10，用于获取待显示图像，对待显示图像进行背景预渲染生成背景全景图；

视场图像计算模块20，用于获取用户的头部姿态信息，并根据所述头部姿态信息计算用户当前观看的视场角范围，并根据所述视场角范围确定用户观看的位置，确定该位置对应的背景图像；

注视点计算模块30，用于计算用户的注视点；

前景图像生成模块40，用于根据所述注视点确定前景中央凹区域，对所述前景中央凹区域按照第一渲染分辨率进行渲染生成前景中央凹图像，根据所述注视点确定前景非中央凹区域，对所述前景非中央凹区域按照第二渲染分辨率进行渲染生成前景非中央凹图像；

图像融合模块50，用于将所述背景图像、所述前景中央凹图像和所述前景非中央凹图像进行图像融合，生成最终渲染图像。

本实施例中还提供一种图像渲染系统，将背景图像进行预渲染进行缓存，避免在后续的实时渲染过程中占用过多的资源，同时将前景图像分为不同的区域，采用不同的渲染分辨率进行渲染，在满足人眼观看需求的同时，降低高分辨率和高帧速率内容同时生成时对GPU渲染能力的要求，满足用户观看需求的同时降低渲染资源需求。同时，本实施例中的前景图像生成模块还具体包括有前景中央凹图像生成单元和前景非中央凹图像生成单元，分别用于对前景中央凹图像和前景非中央凹图像进行不同渲染分辨率的渲染；还可包括缓存模块，将生成的背景全景图进行缓存。

另一方面，本实施例还提供一种VR设备，VR设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述的图像渲染方法。

另一方面，本实施例还提供一种VR显示装置，用来显示上述的图像渲染方法处理的图像。

下面参考图6，其示出了适于用来实现本申请实施例的设备的计算机系统600的结构示意图。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分603加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分606。通信部分606经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本申请公开的VR注视点渲染的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本申请公开的VR注视点渲染的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，该计算机程序包含用于执行图1的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分606从网络上被下载和安装，和/或从可拆卸介质611被安装。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种VR注视点渲染实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取模块、第二获取模块及计算模块。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请的图像渲染方法，具体执行：

获取待显示图像，对待显示图像进行背景预渲染生成背景全景图；

获取用户的头部姿态信息，并根据所述头部姿态信息确定用户观看的位置，确定该位置对应的背景图像；

计算用户的注视点；

根据注视点确定前景中央凹区域，对前景中央凹区域按照第一渲染分辨率进行渲染生成前景中央凹图像，根据注视点确定前景非中央凹区域，对前景非中央凹区域按照第二渲染分辨率进行渲染生成前景非中央凹图像；

将背景图像、前景中央凹图像和前景非中央凹图像进行图像融合，生成最终渲染图像。

综上，本申请实施例提供的图像渲染方法、系统、VR设备、VR装置及存储介质，通过将需要显示的图像分为背景图像、前景中央凹图像和前景非中央凹图像，对背景图像进行预渲染方式进行渲染保存，避免在后续的实时渲染过程中占用过多的资源，同时将前景图像分为不同的区域，采用不同的渲染分辨率进行渲染，在满足人眼观看需求的同时，降低高分辨率和高帧速率内容同时生成时对GPU渲染能力的要求，满足用户观看需求的同时降低渲染资源需求。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。