掌桥专利:专业的专利平台
掌桥专利
首页

一种3D视频图像显示方法及显示设备

文献发布时间:2023-06-19 10:38:35


一种3D视频图像显示方法及显示设备

技术领域

本申请涉及全景视频技术领域,尤其涉及一种3D视频图像显示方法及显示设备。

背景技术

3D视频是用两个镜头的拍摄装置拍摄目标对象的双视点图像,并将两个视点的图像同步播放,使略有差别的两个视点图像显示在显示屏的不同区域,然后人的左右眼分别观看两个不同区域的图像,从而产生了立体的感觉。

3D视频显示技术已有多年的发展历程,从早期的红蓝3D视频播放到3D电视的快门式播放,再到近些年的偏振3D视频播放,这些传统的3D视频显示技术都是将左右眼的不同视频内容叠加显示到同一个显示屏上,然后借助不同原理的眼镜将显示屏上不同的视频内容分离开来投射到人的左右眼之中。随着虚拟现实(Virtual Reality,VR)技术的快速发展,VR眼镜作为3D视频新的显示媒介。不同于传统的方式,VR眼镜是一个封闭的显示器,具有两个显示屏幕对应于人的两只眼睛(或者一个显示屏幕一分为二对应于人的两只眼睛),不再将不同内容的画面叠加显示到同一个显示屏上。无论是哪一显示方式,3D视频显示的基本原理都是相同的,即都是利用了双眼的视差特点。当用户视角水平时,3D效果正确,显示效果较好,但当用户双眼视角发生旋转时,视频的显示会发生异常,旋转角度越大,异常越明显。

发明内容

本申请提供了一种3D视频图像显示方法及显示设备,用以准确显示3D视频图像。

第一方面,本申请的实施例提供一种显示设备,包括:

显示器,与控制器连接,被配置为显示3D视频图像;

存储器,与所述控制器连接,被配置为存储计算机指令;

所述控制器,被配置为根据所述计算机指令执行以下操作:

获取用户视点对应的旋转向量,并根据所述旋转向量确定所述用户视点绕垂直于所述显示设备中用于显示3D视频图像的屏幕方向的旋转角度;

根据所述旋转角度所属的角度区间,显示所述角度区间对应方向上存在视觉偏差的1张或多张3D视频图像,所述1张或多张3D视频图像是在同一方向上预先采集的同一视频帧存在视觉偏差的3D视频图像。

第二方面,本申请提供一种3D视频图像显示方法,包括:

获取用户视点对应的旋转向量,并根据所述旋转向量确定所述用户视点绕垂直于用于显示3D视频图像的屏幕方向的旋转角度;

根据所述旋转角度所属的角度区间,显示所述角度区间对应方向上存在视觉偏差的1张或多张3D视频图像,所述1张或多张3D视频图像是在同一方向上预先采集的同一视频帧存在视觉偏差的3D视频图像。

第三方面,本申请提供一种显示设备,包括:

旋转角度确定模块,被配置为获取用户视点对应的旋转向量,并根据所述旋转向量确定所述用户视点绕垂直于所述显示设备中用于显示3D视频图像的屏幕方向的旋转角度;

显示模块,被配置为根据所述旋转角度所属的角度区间,显示所述角度区间对应方向上存在视觉偏差的1张或多张3D视频图像,所述1张或多张3D视频图像是在同一方向上预先采集的同一视频帧存在视觉偏差的3D视频图像。

第四方面,本申请提供一种计算机可读非易失性存储介质,包括程序代码,当程序代码在显示设备上运行时,程序代码用于使显示设备执行第二方面中3D视频图像显示方法的步骤。

本申请的上述实施例中,显示设备根据用户视点对应的旋转向量确定用户视点绕垂直于显示设备中用于显示3D视频图像的屏幕方向的旋转角度,根据旋转角度所属的角度区间,显示角度区间对应方向上存在视觉偏差的1张或多张3D视频图像,其中,1张或多张3D视频图像是在同一方向上预先采集的同一视频帧存在视觉偏差的3D视频图像,也就是说,用户头部进行旋转时,显示的1张或多张3D视频图像与用户视点的旋转角度所属的角度区间的对应方向(包括非水平方向)相匹配,因此,当用户头部进行旋转使得用户的双眼存在非水平方向的视差时,能够准确显示1张或多张3D视频图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1中示例性示出了实施例中VR头戴显示设备200的结构示意图;

图2中示例性示出了实施例中显示设备200的硬件配置框图;

图3中示例性示出了实施例中用户头部运动的三维坐标系;

图4中示例性示出了实施例中用户头部旋转过程示意图;

图5中示例性示出了实施例中预设方向及角度区间的划分示意图;

图6a中示例性示出了实施例中0度方向上的左右眼3D视频图像及叠加显示图像;

图6b中示例性示出了实施例中45度方向上的左右眼3D视频图像及叠加显示图像;

图6c中示例性示出了实施例中90度方向上的左右眼3D视频图像及叠加显示图像;

图6d中示例性示出了实施例中-45度方向上的左右眼3D视频图像及叠加显示图像;

图6e中示例性示出了实施例中-90度方向上的左右眼3D视频图像及叠加显示图像;

图6f中示例性示出了实施例中0度方向上上下分布的左右眼3D视频图像;

图6g中示例性示出了实施例中0度方向上左右分布的左右眼3D视频图像;

图7中示例性示出了实施例提供的一种3D视频图像的显示方法流程图;

图8中示例性示出了实施例提供的一种3D视频图像的显示方法的完整流程图;

图9a中示例性示出了实施例提供的另一种3D视频图像的显示过程示意图;

图9b中示例性示出了实施例提供的另一种3D视频图像的显示过程示意图;

图10中示例性示出了实施例提供的显示设备功能结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。

基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。

此外,术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。

本申请中使用的名词″用户视点″,相当于渲染引擎中的虚拟相机,用于模拟用户的人眼。

本申请实施例提供一种3D视频图像显示方法及显示设备。以虚拟现实(VirtualReality,VR)头戴式显示设备为例,图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图。如图1所示,VR头戴显示设备10包括透镜组101以及设置于透镜组101正前方的显示终端102,其中透镜组101由左显示镜片1011和右显示镜片1012组成。用户在使用VR头戴显示设备10时,人眼可以通过透镜组101观看显示终端102显示的3D视频图像,体验VR效果。

以显示设备为智能电视为例,图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中,显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275,音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。

在一些实施例中,显示器275,用于接收源自第一处理器输出的图像信号,进行显示视频内容和图像以及菜单操控界面的组件。

在一些实施例中,显示器275,包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件。根据显示器275类型不同,还包括用于驱动显示的驱动组件。

在一些实施例中,显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。

在一些实施例中,显示器275为一种投影显示器,还可以包括一种投影装置和投影屏幕。

在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器可以包括Wifi芯片,蓝牙通信协议芯片,有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。

在一些实施例中,显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。

在一些实施例中,用户接口265,可用于接收控制装置100(如:红外遥控器等)红外控制信号。

在一些实施例中,检测器230是显示设备200用于采集外部环境或与外部交互的信号。

在一些实施例中,检测器230包括光接收器、图像采集器、温度传感器等。

在一些实施例中,检测器230还可声音采集器等,如麦克风,可以用于接收用户的声音。示例性的,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,使得显示设备200可以自适应环境噪声。

在一些实施例中,如图2所示,输入/输出接口255被配置为,可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。

在一些实施例中,外部装置接口240可以包括,但不限于如下:可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。

在一些实施例中,如图2所示,调谐解调器210被配置为,通过有线或无线接收方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多个无线或有线广播电视信号中解调出音视频信号,该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号,以及EPG数据信号。

在一些实施例中,调谐解调器210解调的频点受到控制器250的控制,控制器250可根据用户选择发出控制信号,以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。

在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。这样,机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备,主体设备经过第一输入/输出接口接收音视频信号。

在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器275上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。

如图2所示,控制器250包括随机存取存储器251(Random Access Memory,RAM)、只读存储器252(Read-Only Memory,ROM)、视频处理器270、音频处理器280、其他处理器253(例如:图形处理器(Graphics Processing Unit,GPU)、中央处理器254(CentralProcessing Unit,CPU)、通信接口(Communication Interface),以及通信总线256(Bus)中的至少一种。其中,通信总线连接各个部件。

在一些实施例中,RAM 251用于存储操作系统或其他正在运行中的程序的临时数据。

在一些实施例中,ROM 252用于存储各种系统启动的指令。

在一些实施例中,ROM 252用于存储一个基本输入输出系统,称为基本输入输出系统(Basic Input Output System,BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。

在一些实施例中,在收到开机信号时,显示设备200电源开始启动,CPU运行ROM252中系统启动指令,将存储在存储器的操作系统的临时数据拷贝至RAM 251中,以便于启动或运行操作系统。当操作系统启动完成后,CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中,然后,以便于启动或运行各种应用程序。

在一些实施例中,CPU处理器254,用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。

在一些示例性实施例中,CPU处理器254,可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。一个或多个子处理器,用于在待机模式等状态下一种操作。

在一些实施例中,图形处理器253,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。

在一些实施例中,视频处理器270被配置为将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理,可得到直接可显示设备200上显示或播放的信号。

在一些实施例中,视频处理器270,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。

视频解码模块,则用于对解复用后的视频信号进行处理,包括解码和缩放处理等。

图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。

帧率转换模块,用于对转换输入视频帧率,如将60Hz帧率转换为120Hz帧率或240Hz帧率,通常的格式采用如插帧方式实现。

显示格式化模块,则用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。

在一些实施例中,图形处理器253可以和视频处理器可以集成设置,也可以分开设置,集成设置的时候可以执行输出给显示器的图形信号的处理,分离设置的时候可以分别执行不同的功能,例如GPU+FRC(Frame Rate Conversion))架构。

在一些实施例中,音频处理器280,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器中播放的声音信号。

在一些实施例中,视频处理器270可以包括一颗或多颗芯片组成。音频处理器,也可以包括一颗或多颗芯片组成。

在一些实施例中,视频处理器270和音频处理器280,可以单独的芯片,也可以于控制器一起集成在一颗或多颗芯片中。

在一些实施例中,音频输出,在控制器250的控制下接收音频处理器280输出的声音信号,如:扬声器286,以及除了显示设备200自身携带的扬声器之外,可以输出至外接设备的发生装置的外接音响输出端子,如:外接音响接口或耳机接口等,还可以包括通信接口中的近距离通信模块,例如:用于进行蓝牙扬声器声音输出的蓝牙模块。

供电电源290,在控制器250控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部电源,在显示设备200中提供外接电源的电源接口。

用户接口265,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用户控制信号。

存储器260,包括存储用于驱动显示设备200的各种软件模块。如:第一存储器中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。

基础模块为用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块为用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。

需说明的是,本申请实施例中的VR头戴显示设备包括插入式VR盒子、VR一体机、PC端VR头显等,除VR头戴显示设备外,显示设备还可以是电影院屏幕、平板电脑、电视、台式机、笔记本电脑(均需配备具有陀螺仪的特制眼镜)等能够具备3D视频播放功能和交互功能的设备。

人的两只眼睛看到的内容不是完全相同的,而是在左右(水平)方向上具有一定的偏差。目前,3D视频播放就是利用人的左右眼视差原理产生立体效果。比如早期的红蓝眼镜,视频源是红蓝两种颜色的图像混合叠加在一起的(如图6a所示),两种颜色的图像具有一定程度的偏差,用户佩戴左右镜片分别是红色和蓝色的红蓝眼镜,通过红色镜片过滤掉红光,透过的是蓝色图像,相反蓝色镜片过滤掉蓝光,透过的是红色图像,因此,人的两只眼睛就看到了具有一定偏差的不同图像,产生了立体感。再比如,在电影院看3D电影,影院荧幕上的图像是通过两个投影仪叠加投影的,一个投影仪投放的是横向偏振光,另一个投影仪投放的是纵向偏振光,两个投影仪投放的图像具有一定的偏差,用户佩戴的眼镜是偏振眼镜,一只镜片可以过滤掉横向偏振光,另一个镜片可以过滤掉纵向偏振光,因此,人的两只眼睛就看到了具有一定偏差的不同图像,产生立体感。而对于VR(Virtual Reality,VR)显示设备,可将具有一定偏差的图像直接显示到左右眼对应的屏幕上,产生立体感,其中,具有偏差的左右眼图像可以在一张图像上以上下方式组成(如图6f所示),也可以在一张图像上以左右方向组成(如图6g)。

目前,3D视频的左右眼片源都是在水平方向上具有一定的视差两张图像(如图6a所示)。大部分情况下用户双眼都是处于水平方向上观看3D视频,但随着视频内容和视频播放设备的发展,用户观看3D视频,尤其是3D全景视频的方式多种多样,用户观看角度不再局限于水平方向。当用户头部以图3所示三维坐标系的Z轴(即用户视线方向)逆时针旋转时(如图4所示,从水平方向旋转至竖直方向的过程),双眼的视差方向不再是水平方向,此时双眼看到的仍是水平方向上具有视差的3D视频图像不再符合人眼的3D成像原理,会产生异常的视觉效果,且旋转角度越大,异常越明显。

为了解决上述问题,本申请实施例提供一种3D视频图像显示方法及显示设备。针对每-3D视频帧,预先在多个预设方向上采集该3D视频帧存在视觉偏差的1张或多张3D视频图像,并根据多个预设方向划分为多个角度区间。当用户头部进行旋转时,通过用户视点的旋转向量确定用户视点绕垂直于用于显示3D视频图像的屏幕方向的旋转角度,并确定旋转角所属的角度区间,显示该角度区间对应方向上存在视觉偏差的1张或多张3D视频图像,从而在用户头部进行旋转时,能够准确显示与左右眼视差相匹配的1张或多张3D视频图像,进而提升用户3D体验。

本申请的实施例中,拍摄3D视频时,针对每一帧3D视频,拍摄设备在预设的多个方向上拍摄具有视觉偏差的1张或多张3D视频图像(左右眼3D视频片源)。其中,具有视觉偏差的一张3D视频图像可以为沿水平中线分割,上下两部分分别显示左右眼3D视频图像,如图6f所示,可以为沿垂直中线分割,左右两部分分别显示左右眼3D视频图像,如图6g所示。在一些实施例中,左右眼3D视频图像还可以以两张独立的3D视频图像单独存储。

以预设方向为0度方向(水平方向)、45度方向(顺时针旋转)、90度方向(顺时针旋转的竖直方向)、-45度方向(逆时针旋转)和-90度方向(逆时针旋转的竖直方向)为例,如图5中实线所示,针对每一视频帧,拍摄上述五个方向上具有视觉偏差的1张或多张3D视频图像。为清楚描述不同方向上的视觉偏差,以采集同一视频帧的两张3D视频图像为例,如图6a-图6e所示,图6a为0度方向拍摄的左右眼(两张)3D视频图像及两张3D视频图像叠加在一起的图像,0度方向上,用户左右眼看到的两张3D视频图像在仅水平方向存在视觉偏差,将左右眼看到的两张3D视频图像叠加在一起可以匹配0度方向上用户双眼的视差,准确显示立体的3D视频图像;图6b为45度方向拍摄的左右眼3D视频图像及两张3D视频图像叠加在一起的图像,45度方向上,用户左右眼看到的两张3D视频图像在水平方向和竖直方向均存在视觉偏差,将左右眼看到的两张3D视频图像叠加在一起可以匹配45度方向上用户双眼的视差,准确显示立体的3D视频图像;图6c为90度方向拍摄的左右眼3D视频图像及两张3D视频图像叠加在一起的图像,90度方向上,用户左右眼看到的两张3D视频图像仅在竖直方向存在视觉偏差,将左右眼看到的两张3D视频图像叠加在一起可以匹配90度方向上用户双眼的视差,准确显示立体的3D视频图像;图6d为-45度方向拍摄的左右眼3D视频图像及两张3D视频图像叠加在一起的图像,-45度方向上,用户左右眼看到的两张3D视频图像在水平方向和竖直方向均存在视觉偏差,将左右眼看到的两张3D视频图像叠加在一起可以匹配-45度方向上用户双眼的视差,准确显示立体的3D视频图像;图6e为-90度方向拍摄的左右眼3D视频图像及两张3D视频图像叠加在一起的图像,-45度方向上,用户左右眼看到的两张3D视频图像在竖直方向存在视觉偏差,将左右眼看到的两张3D视频图像叠加在一起可以匹配-90度方向上用户双眼的视差,准确显示立体的3D视频图像。

需要说明的是,本申请实施例对预设方向和数量不做限制性要求,还可设置其他方向,比如0度、30度,60度、90度、-30度、-60度、-90度等,预设方向各个数越多,显示效果越准确。

需要说明的是,本申请实施例图6f和图6g仅是一个预设方向(0度)上的一种示例,其他方向上的3D视频图像与图6b-图6e反映的左右眼视差原理相似。其中,左右眼3d视频图像的分布方式不做限制性要求,比如还可以是右眼图像在上,左眼图像在下。

基于拍摄的多个预设方向的3D视频图像,图7示例性示出了本申请实施例提供的一种3D视频图像显示方法流程图。如图7所示,该流程主要包括以下几步:

S701:获取用户视点对应的旋转向量,并根据旋转向量确定用户视点绕垂直于用于显示3D视频图像的屏幕方向的旋转角度。

该步骤中,显示设备通过传感器按设定采样周期采集用户头部运动的位姿信息,并将位姿信息传送给显示设备内的渲染引擎,渲染引擎根据位姿信息获取用户视点对应的旋转向量,从而控制渲染引擎中虚拟相机(相当于人眼)的方向,用户就可以看到三维场景中相应视角的3D视频图像。在进行3D视频播放时,从渲染引擎中获取用户视点对应的旋转向量,根据旋转向量确定用户视点绕垂直于用于显示3D视频图像的屏幕方向的旋转角度,即用户头部绕图4中Z轴的旋转角度。

S702:根据旋转角度所属的角度区间,显示角度区间对应方向上存在视觉偏差的1张或多张3D视频图像。

该步骤中,1张或多张3D视频图像是在同一方向上预先采集的同一视频帧存在视觉偏差的3D视频图像,比如,可以是在90度方向上采集的第一视频帧存在视觉偏差的左右眼两张3D视频图像,还可以是在90度方向上采集的第一视频帧上下分布的存在视觉偏差的1张3D视频图像。

在S702中,可根据多个预设方向,划分多个角度区间,每个角度区间对应一个预设方向。比如,在-90度至90度划分为5个角度区间,分别为【-90°,-60°)、【-60°,-30°)、【-30°,30°)、【30°,60°)、【60°,90°】,分别对应-90度、-45度、0度、45度、90度方向上的3D视频图像。可选的,为了提高3D视频图像的显示效果,角度区间的边界值为预设的两个相邻方向的中间值,或者,角度区间的边界值为最大或最小的预设方向。以本申请实施例中的5个预设方向为例,得到角度区间为【-90°,-67.5°)、【-67.5°,-22.5°)、【-22.5°,22.5°)、【22.5°,67.5°)、【67.5°,90°】,如图5中虚线所示。根据各角度区间与预设方向的距离,确定角度区间与预设方向的对应关系,每个角度区间对应一个预设方向,根据旋转角度所属的角度区间,显示角度区间对应方向上存在视觉偏差的1张或多张3D视频图像。具体的,当旋转角度属于【-22.5°,22.5°)角度区间时,显示0度方向上存在视觉偏差的1张或多张3D视频图像,如图6a所示;当旋转角度属于【22.5°,67.5°)角度区间时,显示45度方向上存在视觉偏差的1张或多张3D视频图像,如图6b所示;当旋转角度属于【67.5°,90°】角度区间时,显示90度方向上存在视觉偏差的1张或多张3D视频图像,如图6c所示;当旋转角度属于【-67.5°,-22.5°)角度区间时,显示-45度方向上存在视觉偏差的1张或多张3D视频图像,如图6d所示;当旋转角度属于【-90°,-67.5°)角度区间时,显示90度方向上存在视觉偏差的1张或多张3D视频图像,如图6e所示。

在一些实施例中,每一3D视频帧包括多个预设方向上存在视觉偏差的1张或多张3D视频图像,每一个方向上的全部3D视频帧的存在视觉偏差的1张或多张3D视频图像以视频队列的方式存储,本申请实施例对存储方式不做限制性要求,还可以是其他方式,比如以视频文件的形式存储。显示设备进行3D视频播放时,记录3D视频的播放进度(播放时间),当用户头部进行旋转时,为了提高3D视频的显示速度,播放3D视频时,仅当旋转角度所属的角度区间发生变化时,切换到当前旋转角度对应方向上的3D视频图像,并跳转至当前播放进度进行显示。

图8示例性示出了本申请实施例提供的3D视频图像显示方法的完整流程图,如图8所示,该流程主要包括以下几步:

S801:针对每一3D视频帧,在多个预设方向上采集对应的多张3D视频图像。

以0度、45度、90度、-45度、-90度5个预设方向为例,针对每一3D视频帧,分别采集该3D视频帧在0度、45度、90度、-45度、-90度方向上的两张3D视频图像,每一方向上采集的3D视频对应一个视频队列,该队列中包含全部3D视频帧存在视觉偏差的1张或多张3D视频图像。具体参见上述实施例,在此不再重复。

S802:获取用户视点对应的旋转向量,并根据旋转向量确定用户视点绕垂直于用于显示3D视频图像的屏幕方向的旋转角度。

该步骤的详细描述参见S701,在此不再重复。

S803:确定当前采集的旋转角度所属的角度区间;

S804:判断当前采集的旋转角度与上一次采集的旋转角度所属的角度区间是否相同,若不同,执行S805,否则执行S806。

S805:确定当前采集的旋转角度所属的角度区间对应方向上的视频队列中当前需要显示的1张或多张3D视频图像,并显示确定的1张或多张3D视频图像。

该步骤中,视频队列中包括当前采集的旋转角度所属的角度区间对应方向上的全部3D视频帧存在视觉偏差的1张或多张3D视频图像。

S806:继续显示当前使用的视频队列中当前需要显示的1张或多张3D视频图像。

该步骤中,当前使用的视频队列为当前采集的旋转角度所属的角度区间对应方向上的视频队列。

举例来说,当前采集的旋转角度与上一次采集的旋转角度所属的角度区间不同时,参见图9a,上一次采集的旋转角度50°,属于【22.5°,67.5°)角度区间,对应45度方向上的视频队列,当前采集的旋转角度10°,属于【-22.5°,22.5°)角度区间,对应0度方向上的视频队列,根据3D视频的播放进度,当前需要显示的是第三3D视频帧,则从45度方向上的视频队列切换到0度方向上的视频队列,并从0度方向上的视频队列中确定当前需要显示的第三3D视频帧的1张或两张3D视频图像,并显示确定的1张或两张3D视频图像,也就是说,在当前时刻,从45度方向上的视频队列中第三帧3D视频的1张或两张3D视频图像切换为从0度方向上的视频队列中第三帧3D视频帧的1张或两张3D视频图像,从而保证视频的连续性。

再举例来说,当前采集的旋转角度与上一次采集的旋转角度所属的角度区间相同时,参见图9b,上一次采集的旋转角度50°,属于【22.5°,67.5°)角度区间,对应45度方向上的视频队列,当前采集的旋转角度30°,属于【22.5°,67.5°)角度区间,对应45度方向上的视频队列,根据3D视频的播放进度,当前需要显示的是第三3D视频帧,则继续显示45度方向上的视频队列中当前需要显示的第三3D视频帧的1张或两张3D视频图像。

本申请的上述实施例,当用户头部绕垂直于用于显示3D视频图像的屏幕方向旋转时,根据旋转角度所属的区间动态切换对应方向上具有视觉偏差的1张或多张3D视频图像并显示,从而在用户双眼存在非水平方向上的视差时也能正确显示3D视频图像,产生立体的效果,进而提升用户体验。

需要说明的是,本申请实施例中的方法可以适用于显示本地的3D视频图像,还可适用于显示在线(包括点播和直播两种模式)的3D视频图像。3D视频的格式包括左右和上下格式的单片源、双片源(左右眼片源为两个独立片源),并且可以支持平面视频、180度全景视频、360度全景视频等多种类型的视频。

基于相同的发明构思,本发明实施例中还提供了一种显示设备,由于该设备即是本发明实施例中的方法中的设备,并且该设备解决问题的原理与该方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。

如图10所示,本申请实施例提供的显示设备该显示设备包括旋转角度确定模块1001、显示模块1002。

旋转角度确定模块1001,被配置为获取用户视点对应的旋转向量,并根据旋转向量确定用户视点绕垂直于显示设备中用于显示3D视频图像的屏幕方向的旋转角度;

显示模块1002,被配置为根据旋转角度所属的角度区间,显示角度区间对应方向上存在视觉偏差的1张或多张3D视频图像,1张或多张3D视频图像是在同一方向上预先采集的同一视频帧存在视觉偏差的3D视频图像。

在一些实施例中,旋转角度确定模块1001还被配置为:

根据多个预设方向,划分多个角度区间,每个角度区间对应一个预设方向。

在一些实施例中,角度区间的边界值为预设的两个相邻方向的中间值,或者,角度区间的边界值为最大或最小的预设方向。

在一些实施例中,旋转角度确定模块1001具体被配置为:

按设定采样周期采集用户头部的位姿信息,根据位姿信息获取用户视点对应的旋转向量。

在一些实施例中,显示模块1002具体被配置为:

确定当前采集的旋转角度所属的角度区间;

若当前采集的旋转角度所属的角度区间与上一次采集的旋转角度所属的角度区间不同,则确定当前采集的旋转角度所属的角度区间对应方向上的视频队列中当前需要显示的1张或多张3D视频图像,并显示确定的1张或多张3D视频图像,视频队列中包括当前采集的旋转角度所属的角度区间对应方向上的全部3D视频帧存在视觉偏差1张或多张3D视频图像;

若当前采集的旋转角度所属的角度区间与上一次采集的旋转角度所属的角度区间相同,则继续显示当前使用的视频队列中当前需要显示的1张或多张3D视频图像,其中当前使用的视频队列为当前采集的旋转角度所属的角度区间对应方向上的视频队列。

本发明实施例还提供一种计算机可读非易失性存储介质,包括程序代码,当程序代码在显示设备上运行时,程序代码用于使显示设备执行上述本发明实施例3D视频图像显示方法的步骤。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置,以产生机器,使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地,本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

相关技术
  • 一种3D视频图像显示方法及显示设备
  • 一种液晶显示设备以及一种视频图像显示方法
技术分类

06120112619461