基于单眼球追踪的虚拟现实系统注视渲染方法、系统

技术领域

本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于单眼球追踪的虚拟现实系统注视渲染方法、系统。

背景技术

由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。

一般而言，虚拟现实是一种在呈现给用户之前以某种方式进行调整的现实形式，可能包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、或某种组合和/或衍生组合。

典型的虚拟现实系统包括一个或多个用于向用户呈现和显示内容的设备。例如，一种虚拟现实系统可以包含由用户佩戴并配置为向用户输出虚拟现实内容的头戴显示器(HMD)。目前比较流行的是一体机配置的虚拟现实系统，即移动计算处理单元，图像图形渲染器等各种硬件设备都集成在一体机设备中。由于目前虚拟现实一体机设备在许多领域场景下应用和普及，有些场景下对虚拟现实一体机设备呈现的渲染内容的图像清晰度等质量参数要求比较高，对虚拟现实一体机设备的移动端的处理能力和渲染能力带来了不小的挑战。

目前解决的方案是有几个方向：①.通过降低整体的虚拟现实头戴式一体机的显示分辨率，减少虚拟内容的计算资源和渲染资源。②.通过高分辨率渲染显示屏幕中心一部分区域的虚拟内容，其他区域降低分辨率渲染和计算处理。优化虚拟内容的计算资源和渲染资源。③.通过眼球追踪技术，获取双眼的眼球位置对应在显示屏幕区域上的眼球注视位置，通过高分辨率渲染眼球注视位置区域，其他区域进行低分辨率内容渲染和计算处理。

上述的方案①和②都对虚拟现实一体机设备呈现的虚拟内容的显示清晰度带来一定的负面影响，很大程度上影响用户体验。③从一定程度上解决了用户眼球注视区域的虚拟内容的显示清晰度的问题，但是目前在虚拟现实一体机设备上主流的眼球追踪技术，主要是通过在虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。

因此，亟需一种能够有效避免在标定或者使用时，两个眼球追踪模块光源容易相互干扰的问题，而且能够实时对用户双眼位置区域进行高精度追踪，使其满足用户眼球注视渲染的需求的一种基于单眼球追踪的虚拟现实系统注视渲染方法、系统。

发明内容

鉴于上述问题，本发明的目的是提供一种基于单眼球追踪的虚拟现实系统注视渲染方法、系统，以解决虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度的问题。

本发明提供的一种基于单眼球追踪的虚拟现实系统注视渲染方法，包括：

采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置；

获取与用户的双眼瞳孔距离相对应的远用瞳距，并根据所述远用瞳距与所述第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；

分别以所述第一单眼映射位置、所述第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；

在所述主要渲染区域内进行主要渲染，在所述虚拟现实系统显示屏幕中除所述主要渲染区域以外的区域上进行配合渲染；其中，所述主要渲染的渲染分辨率高于所述配合渲染的渲染分辨率。

优选地，采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置的过程，包括：

向用户的单眼眼球发射光线；

捕捉用户单眼眼球中反射的光线，并通过计算机视觉技术根据所述光线的相对位置获取用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置。

优选地，所述光线为红外光线或可见光线。

本发明还提供一种基于单眼球追踪的虚拟现实系统注视渲染系统，用于实现前述的基于单眼球追踪的虚拟现实系统注视渲染方法，包括设置在虚拟现实一体机中的虚拟现实系统显示屏幕、内置在所述虚拟现实一体机中的单眼追踪模块、IPD调节功能模块、处理器和渲染模块，其中，

所述单眼追踪模块用于采集用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置；

所述IPD调节功能模块用于与用户的双眼相适应以获取与用户的双眼瞳孔距离相对应的远用瞳距；

所述处理器用于根据所述远用瞳距与所述第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置，并且分别以所述第一单眼映射位置、所述第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；

所述渲染模块用于在所述主要渲染区域内进行主要渲染，在所述虚拟现实系统显示屏幕中除所述主要渲染区域以外的区域上进行配合渲染；其中，所述主要渲染的渲染分辨率高于所述配合渲染的渲染分辨率。

优选地，所述单眼追踪模块为红外追踪模块或可见光追踪模块。

优选地，所述红外追踪模块包括红外发光源组件和红外追踪相机；其中，

所述红外发光源组件用于发射红外光线；

所述红外光追踪相机用于捕捉用户单眼眼球中反射的红外光线，并通过计算机视觉技术根据所述红外光线的相对位置获取用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置。

优选地，所述红外光追踪相机内置在所述虚拟现实一体机设备中与用户的单眼眼球相对应的位置；

所述红外发光源组件设置在所述红外光追踪相机的四周。

优选地，所述可见光追踪模块包括可见光源组件和可见光追踪相机；

其中所述可见光源组件用于发射可见光线；

所述可见光追踪相机用于捕捉用户单眼眼球中反射的可见光线，并通过计算机视觉技术根据所述可见光线的相对位置获取用户的单眼眼球对应在所述虚拟现实系统显示屏幕上的第一单眼映射位置。

优选地，所述可见光追踪相机内置在所述虚拟现实一体机设备中与用户的单眼眼球相对应的位置；

所述可见光源组件设置在所述可见光追踪相机的四周。

优选地，所述可见光追踪相机的可追踪光线的波段区间为400～900nm。

从上面的技术方案可知，本发明提供的基于单眼球追踪的虚拟现实系统注视渲染方法、系统，首先采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置，再获取与用户的双眼瞳孔距离相对应的远用瞳距，从而根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；进而分别以第一单眼映射位置、第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域，在主要渲染区域内进行较高分辨率的主要渲染，在虚拟现实系统显示屏幕中除主要渲染区域以外的区域上进行较低分辨率的配合渲染，从而为用户的双眼呈现较高的图像清晰度，提高用户体验感，并且通过单眼球追踪能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题，而且实时对用户双眼位置区域进行高精度追踪，极大满足用户眼球注视渲染的需求。

附图说明

通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染方法的流程图；

图2为根据本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染系统的示意图。

具体实施方式

有些场景下对虚拟现实一体机设备呈现的渲染内容的图像清晰度等质量参数要求比较高，若通过双眼追踪技术，获取双眼的眼球位置对应在显示屏幕区域上的眼球注视位置，通过高分辨率渲染眼球注视位置区域，其他区域进行低分辨率内容渲染和计算处理，虽能够一定程度上解决了用户眼球注视区域的虚拟内容的显示清晰度的问题，但是目前在虚拟现实一体机设备上主流的眼球追踪技术，主要是通过在虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。

针对上述问题，本发明提供一种基于单眼球追踪的虚拟现实系统注视渲染方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。

为了说明本发明提供的基于单眼球追踪的虚拟现实系统注视渲染方法、系统，图1对本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染方法进行了示例性标示；图2对本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染系统进行了示例性标示。

以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。

如图1所示，本发明提供的本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染方法，包括：

S110：采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置；

S120：获取与用户的双眼瞳孔距离相对应的远用瞳距，并根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；

S130：分别以第一单眼映射位置、所述第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；

S140：在主要渲染区域内进行主要渲染，在虚拟现实系统显示屏幕中除主要渲染区域以外的区域上进行配合渲染；其中，主要渲染的渲染分辨率高于配合渲染的渲染分辨率。

如图1所示，在步骤S110中，采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置的过程，包括：

S11：向用户的单眼眼球发射光线；该光线可以为红外光线，也可以为可见光线；该单眼眼球可以为左眼也可以为右眼；

S12：捕捉用户单眼眼球中反射的光线，并通过计算机视觉技术根据光线的相对位置获取用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置。

如上所述，本发明提供的基于单眼球追踪的虚拟现实系统注视渲染方法，首先采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置，再获取与用户的双眼瞳孔距离相对应的远用瞳距，从而根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；进而分别以第一单眼映射位置、第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域，在主要渲染区域内进行较高分辨率的主要渲染，在虚拟现实系统显示屏幕中除主要渲染区域以外的区域上进行较低分辨率的配合渲染，从而为用户的双眼呈现较高的图像清晰度，提高用户体验感，并且通过单眼球追踪能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题，而且实时对用户双眼位置区域进行高精度追踪，极大满足用户眼球注视渲染的需求。

如图2所示，本发明还提供一种基于单眼球追踪的虚拟现实系统注视渲染系统100，用于实现前述的基于单眼球追踪的虚拟现实系统注视渲染方法，其包括设置在虚拟现实一体机中的虚拟现实系统显示屏幕101、内置在虚拟现实一体机中的单眼追踪模块102、IPD调节功能模块103、处理器104和渲染模块105，

该单眼追踪模块102用于采集用户的单眼眼球对应在虚拟现实系统显示屏幕101上的第一单眼映射位置；

该IPD调节功能模块103用于与用户的双眼相适应以获取与用户的双眼瞳孔距离相对应的远用瞳距；在本实施例中，在虚拟现实一体机设备内置该IPD调节功能模块103，用户可以根据自身的双眼瞳孔距离，调整适合自身双眼瞳孔距离的IPD值(远用瞳距)，达到虚拟现实一体机设备的两个筒镜间的距离和用户双眼瞳距匹配；

该处理器104用于根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置，并且分别以该第一单眼映射位置、该第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域；在本实施例中该预设阈值不作具体限制，依具体应用情况而调整。

该渲染模块105用于在主要渲染区域内进行主要渲染，在该虚拟现实系统显示屏幕中除所述主要渲染区域以外的区域上进行配合渲染；其中，该主要渲染的渲染分辨率高于该配合渲染的渲染分辨率，如此，通过高分辨率渲染眼球注视位置区域，其他区域进行低分辨率内容渲染和计算处理，提高整体运算速率，且实时对用户双眼位置区域进行高精度追踪，极大程度满足用户眼球注视渲染的需求。

在图2所示的实施例中，该单眼追踪模块102为红外追踪模块A或可见光追踪模块B。

若采用红外追踪模块A，则该红外追踪模块A包括红外发光源组件A-1`和红外追踪相机A-2；其中，

该红外发光源组件A-1用于发射红外光线；

该红外光追踪相机A-2用于捕捉用户单眼眼球中反射的红外光线，并通过计算机视觉技术根据该红外光线的相对位置获取用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置；

在本实施例中采用一个红外追踪相机，该红外光追踪相机内置在虚拟现实一体机设备中与用户的单眼眼球相对应的位置；该红外发光源组件设置在红外光追踪相机的四周，即在红外追踪相机周围附近安装一定数量的红外发光源组件，该用户的单眼眼球以右眼为例，在红外追踪相机追踪用户单眼眼球位置时，红外发光源组件在眼球上的反射光形成红外追踪图像被捕捉到，而后通过计算机视觉技术获取眼球位置相对应在右眼屏幕上的位置信息；

若采用可见光追踪模块B，该可见光追踪模块B包括可见光源组件B-1和可见光追踪相机B-2；

其中该可见光源组件B-1用于发射可见光线；

该可见光追踪相机B-2用于捕捉用户单眼眼球中反射的可见光线，并通过计算机视觉技术根据可见光线的相对位置获取用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置；

在本实施例中，设置一个可见光追踪相机B-2，该可见光追踪相机B-2可以是彩色相机，也可以是单色灰度相机，该可见光追踪相机B-2内置在虚拟现实一体机设备中与用户的单眼眼球相对应的位置，且该可见光追踪相机的可追踪光线的波段区间为400～900nm；该可见光源组件B-1设置在可见光追踪相机的四周，即在可见光追踪相机周围附近安装一定数量的可见光源组件B-1，该可见光源组件B-1不仅仅包括可见光，其包括任意可以被可见光追踪相机B-2捕捉到的光源组件，其波段在400～900nm之间，可以为传统意义上的可见光源组件，也可以为波段为850nm的红外发光源组件，该用户的单眼眼球以右眼为例，在可见光追踪相机追踪用户眼球位置时，可见光源组件在眼球上的反射光形成追踪图像被捕捉到，而后通过计算机视觉技术获取眼球位置相对应在右眼屏幕上的位置信息。

通过上述实施方式可以看出，本发明提供的基于单眼球追踪的虚拟现实系统注视渲染系统，首先采集用户的单眼眼球对应在虚拟现实系统显示屏幕上的第一单眼映射位置，再获取与用户的双眼瞳孔距离相对应的远用瞳距，从而根据远用瞳距与第一单眼映射位置计算出用户另一个单眼眼球对应在虚拟现实系统显示屏幕上的第二单眼映射位置；进而分别以第一单眼映射位置、第二单眼映射位置为圆心，以预设阈值为半径辐射出主要渲染区域，在主要渲染区域内进行较高分辨率的主要渲染，在虚拟现实系统显示屏幕中除主要渲染区域以外的区域上进行较低分辨率的配合渲染，从而为用户的双眼呈现较高的图像清晰度，提高用户体验感，并且通过单眼球追踪能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题，而且实时对用户双眼位置区域进行高精度追踪，极大满足用户眼球注视渲染的需求。

如上参照附图以示例的方式描述了根据本发明提出的基于单眼球追踪的虚拟现实系统注视渲染方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于单眼球追踪的虚拟现实系统注视渲染方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。