一种静态对象的立体显示方法、装置、介质及电子设备

技术领域

本申请实施例涉及裸眼3D技术领域，尤其涉及静态对象的立体显示方法、装置、介质及电子设备。

背景技术

随着科技水平的快速发展，对于物品的立体显示已经成为很多领域的基本需求。但是，由于立体显示过程中，无法实现真正的3D显示效果，会导致用户的观看体验受到影响。例如，通过单视点拍摄的方式，围绕静态物品进行转台拍摄是生成的2D图片序列，再根据不同的观看角度进行图片的显示，这种方式虽然能够实现对物品的全方位显示，但是并不能够达到立体显示的效果。而通过双视点拍摄方式拍摄，并使用VR(Virtual Reality，虚拟现实)技术播放时，需要用户佩戴头盔或者眼睛等配套设备，不方便使用。

发明内容

本申请实施例提供静态对象的立体显示方法、装置、介质及电子设备，可以在得到目标静态对象的双视点图像序列之后，并结合人眼跟踪的定位结果，针对人眼的位置通过裸眼3D设备对图像进行显示，以得到逼真的裸眼3D显示的效果。

第一方面，本申请实施例提供了一种静态对象的立体显示方法，所述方法包括：

通过双视点摄像头获取目标静态对象的双视点图像序列；

通过人眼追踪模块对用户进行人眼追踪，得到人眼位置数据；

根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示。

进一步的，根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示，包括：

获取所述目标静态对象的双视点图像序列的初始视角以及与所述初始视角关联的初始视角图像；

对所述初始视角图像进行显示，并根据所述人眼位置数据，确定用户的观看视角；

根据所述观看视角与所述初始视角的夹角，从所述双视点图像序列中确定目标图像；

对所述目标图像进行3D渲染，以进行立体显示。

进一步的，根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示，包括：

构建观看视角与所述目标静态对象的双视点图像序列的映射关系；

根据所述人眼位置数据，确定用户的观看视角；

根据双视点图像序列的与观看视角的映射关系，从所述双视点图像序列中确定目标图像；

对所述目标图像进行3D渲染，以进行立体显示。

进一步的，在对所述目标图像进行3D渲染，以进行立体显示之后，所述方法还包括：

若检测到视角切换事件，则通过所述人眼追踪模块对用户进行人眼追踪，得到人眼位置更新数据；

根据所述人眼位置更新数据，确定用户的更新观看视角；

根据所述更新观看视角，从所述双视点图像序列中确定目标图像，并对所述目标图像进行3D渲染，以进行动态显示。

进一步的，所述目标静态对象的双视点图像序列，是基于双视点摄像头按照预设采样频率在转台对目标静态对象进行环拍得到的。

进一步的，根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示，包括：

根据所述双视点图像序列，按照视角范围生成至少一个与当前视角范围对应的多视图；

若所述人眼位置数据对应于目标视角范围，则将目标视角范围对应的多视图进行3D渲染，以进行立体显示。

进一步的，所述多视图是所述双视点图像序列中至少两个相邻图像拼接得到的。

第二方面，本申请实施例提供了一种静态对象的立体显示装置，所述装置包括：

双视点图像序列获取单元，用于通过双视点摄像头获取目标静态对象的双视点图像序列；

人眼位置数据确定单元，用于通过人眼追踪模块对用户进行人眼追踪，得到人眼位置数据；

立体显示单元，用于根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的静态对象的立体显示方法。

第四方面，本申请实施例提供了一种电子设备，该电子设备可以是遥控设备，还可以是奇迹人，该电子设备包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的静态对象的立体显示方法。

本申请实施例所提供的技术方案，通过双视点摄像头获取目标静态对象的双视点图像序列；通过人眼追踪模块对用户进行人眼追踪，得到人眼位置数据；根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示。通过执行本技术方案，可以在得到目标静态对象的双视点图像序列之后，并结合人眼跟踪的定位结果，针对人眼的位置通过裸眼3D设备对图像进行显示，以得到逼真的裸眼3D显示的效果。

附图说明

图1是本申请实施例提供的静态对象的立体显示方法的流程图；

图2是本申请实施例提供的目标静态对象的双视点图像序列采集场景的示意图；

图3是本申请实施例提供的目标静态对象的立体显示过程的示意图；

图4是本申请实施例提供的静态对象的立体显示装置的结构示意图；

图5是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1是本申请实施例提供的静态对象的立体显示方法的流程图，本实施例可适用于静态对象的立体显示的情况，该方法可以由本申请实施例所提供的静态对象的立体显示装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于电子设备中。

如图1所示，所述静态对象的立体显示方法包括：

S110、通过双视点摄像头获取目标静态对象的双视点图像序列。

其中，目标静态对象可以是人或者物体，例如可以是水杯、食物或者其他物品。双视点摄像头可以是与裸眼3D显示设备分离设置的，也可以是连接设置的。如果是连接设置，可以实时的将静态对象的3D图像显示出来。通过双视点摄像头获取双视点图像序列的方式，可以是按照一定的点位进行拍摄，并且按照预先设计好的点位编号进行图像编辑，从而得到双视点图像序列的。例如，正前方编号为0001，左前方5度编号为0002，右前方5度编号是0003，等等，依次类推，可以得到静态对象的图像序列，即为双视点图像序列。

由于目标静态对象需要进行立体显示，所以可以把目标物品的双视点图像序列存储到裸眼3D显示设备当中。

在另一个可行的实施例中，本方案中对于待显示的目标静态对象的确定过程，可以是用户通过裸眼3D显示设备选择目标物品的过程，例如该裸眼3D显示设备中同时存储有水杯、瓷瓶以及风扇的图像，则用户可以根据需求选择自己想要查看的物品的图像，如在裸眼3D显示设备的屏幕上面点选确定，进而可以将该物品作为目标物品，进行裸眼3D效果的显示。或者是在一个裸眼3D显示设备上，可以设定每个时间段显示某一种物品，则在到达另一个时间段时，可以根据预先确定的显示顺序切换目标物品。

本方案中，目标静态对象的双视点图像序列可以是预先存储在裸眼3D显示设备当中，或者存储在于该裸眼3D显示设备连接的数据库或者服务器当中的。在确定目标静态对象之后，可以通过根据该物品的ID调取相应的双视点图像序列。

其中，双视点图像序列可以是由双视点摄像装置拍摄得到的由一个角度切换至另一个角度的多张图像构成的图像序列。例如在水平面上，360度内每1度拍摄1张双视点图像，则双视点图像序列中可以一共含有360个分别从不同的角度拍摄到的双视点图像。

本方案中，可选的，所述目标静态对象的双视点图像序列，是基于双视点摄像头按照预设采样频率在转台对目标静态对象进行环拍得到的。

图2是本申请实施例提供的目标静态对象的双视点图像序列采集场景的示意图，如图2所示，物品可以是一个水壶，可以将物品摆在转动托盘的中心位置，在转动托盘外部的一侧设置有双目相机。通过双目相机可以按照一定的规则进行采样。例如在转动图盘匀速转动的过程中，可以设置双目相机的采样频率，例如每秒采样20张图片，而每秒转动托盘所转过的角度可以是2度，则可以得到每1度的角度内，会均匀的采集有10张图片。

本方案通过这样的设置，可以在裸眼3D显示设备显示时，从均匀的双视点图像序列中选取不同视角图像进行切换，可以在用户看来得到角度均匀变化的目标静态对象图像，提高3D显示效果。

S120、通过人眼追踪模块对用户进行人眼追踪，得到人眼位置数据。

其中，人眼追踪模块可以是设置于裸眼3D显示设备上方的，也可以是裸眼3D显示设备自身携带的模块，该模块具有图像获取和人眼追踪计算的功能。例如在获取当前裸眼3D显示设备前方的图像之后，确定用户的人眼位置，并进行实时追踪，得到人眼的位置数据。可以理解的，本方案目前针对的是单个用户在观看裸眼3D显示设备的立体显示图像的情况。

其中，人眼位置数据，可以转化为相对于裸眼3D显示设备的屏幕中心的距离数据和方向数据，这样有助于后续的计算。

S130、根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示。

本方案中，可以根据双视点图像序列确定用户在各个角度应该查看到的图像，再根据人眼位置数据确定用户的实际角度，从而确定应该显示哪一张图像，并进行3D渲染。

本方案中，具体的，可以采用以下三种方式进行目标静态对象的立体显示：

第一种，根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示，包括：

获取所述目标静态对象的双视点图像序列的初始视角以及与所述初始视角关联的初始视角图像；

对所述初始视角图像进行显示，并根据所述人眼位置数据，确定用户的观看视角；

根据所述观看视角与所述初始视角的夹角，从所述双视点图像序列中确定目标图像；

对所述目标图像进行3D渲染，以进行立体显示。

其中，初始视角可以是基于目标静态对象的特性确定的正面的朝向的视角，例如一个汽车模型的正前方所对应的视角，初始视角关联的图像也就是从汽车模型正前方拍摄到的双视点图像。

该正前方在裸眼3D显示设备中可以是与屏幕的正前方相对应，在得到初始视角图像之后，可以优先在裸眼3D显示设备中进行显示，并且可以对人眼位置数据进行角度解析。

具体的，可以根据所述人眼位置数据，确定用户的观看视角。例如根据人眼位置数据，确定用户的人眼在于裸眼3D显示设备的屏幕中垂线的左侧，并且夹角为45度，则可以得到用户的观看视角为-45度，在确定该观看视角之后，可以根据所述观看视角与所述初始视角的夹角，从所述双视点图像序列中确定目标图像。即可以得到用户在当前实际应该看到的是在车辆的左前方45度拍摄到的双视点图像，即目标图像。之后对所述目标图像进行3D渲染，以进行立体显示。

本方案通过这样的设置，可以根据人眼位置数据确定用户实际观看物品的角度应该与哪一个拍摄角度相对应，并调取从该拍摄角度得到的双视点图像。这样设置的好处是可以实现根据用户的位置，进行目标静态对象的立体显示的同时，无需绑定任何关联关系，直接计算即可得到实际需要渲染的目标图像。

第二种，根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示，包括：

构建观看视角与所述目标静态对象的双视点图像序列的映射关系；

根据所述人眼位置数据，确定用户的观看视角；

根据双视点图像序列的与观看视角的映射关系，从所述双视点图像序列中确定目标图像；

对所述目标图像进行3D渲染，以进行立体显示。

在得到双视点图像序列之后，可以构建观看视角与所述目标静态对象的双视点图像序列的映射关系，其中，观看视角可以是与拍摄视角相对应的，例如观看视角为+30度的角度时，映射得到的是拍摄视角为静态对象的右前方30度拍摄得到的双视点图像。

这样，在得到人眼位置数据之后，只要确定用户的观看视角，就能够确定双视点图像序列中需要显示的目标图像，并进行3D渲染，完成对物品的立体显示。

这样设置的好处是可以根据预先确定的映射关系，在计算得到用户的观看视角之后，快速的确定目标图像，并进行物品的立体显示。

除了上述两种方案以外，本方案还提供一种通过多视图进行3D渲染的效果。具体的，以下为第三种方案：

根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示，包括：

根据所述双视点图像序列，按照视角范围生成至少一个与当前视角范围对应的多视图；

若所述人眼位置数据对应于目标视角范围，则将目标视角范围对应的多视图进行3D渲染，以进行立体显示。

其中，多视图可以是由至少两张图像构成的图像，在完成对多张图像的压缩和拼接之后，得到一个多视图。该多视图可以是与裸眼3D显示设备相对应的，例如，在裸眼3D显示设备的显示屏中加入光栅，通过该光栅的有向设置，可以使得用户在屏幕前的不同角度，看到的图像部分是不同的，例如在正前方，所看到的图像刚好为拼接前中间一张图像，向左移动时，依次看到的是中间一张向左的第一、第二、第三张图像，向右移动时，依次看到的是中间一张向右的第一、第二、第三张图像，等等。通过这样的设置，可以在光栅的配合下，实现用户在不同角度看到的图像有所不同的效果，从而可以实现对目标静态对象的立体显示。

本方案中，可选的，所述多视图是所述双视点图像序列中至少两个相邻图像拼接得到的。

具体的，可以根据人眼的位置数据确定目标视角范围，将该目标视角范围对应至少两个相邻的图像进行拼接，可以得到多视图，并可以对多视图进行显示。本方案中，拼接操作可以优先与目标视角范围做对应。例如预先确定每3度的双视点图像进行拼接，得到多个多视图，可以根据人眼的位置确定人眼所处于视角确定目标视角范围，并调取与其对应的多视图，在裸眼3D显示设备上面进行显示。

本申请实施例所提供的技术方案，通过双视点摄像头获取目标静态对象的双视点图像序列；通过人眼追踪模块对用户进行人眼追踪，得到人眼位置数据；根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示。通过执行本技术方案，可以在得到目标静态对象的双视点图像序列之后，并结合人眼跟踪的定位结果，针对人眼的位置通过裸眼3D设备对图像进行显示，以得到逼真的裸眼3D显示的效果。

在一个可行的实施例中，可选的，在对所述目标图像进行3D渲染，以进行立体显示之后，所述方法还包括：

若检测到视角切换事件，则通过所述人眼追踪模块对用户进行人眼追踪，得到人眼位置更新数据；

根据所述人眼位置更新数据，确定用户的更新观看视角；

根据所述更新观看视角，从所述双视点图像序列中确定目标图像，并对所述目标图像进行3D渲染，以进行动态显示。

可以理解的，更新的过程可以与前面显示的过程相类似，通过这样的设置，可以实现对目标静态对象的图像进行动态的显示，进而达到基于人眼的位置，进行与人眼位置相适配的图像的立体显示的效果。

图3是本申请实施例提供的目标静态对象的立体显示过程的示意图，如图3所示，硬件使用裸眼3D显示器，软件采用配套的3D渲染器程序。采用立体相机，如双目相机进行转台拍摄生成若干个(环绕静态对象多个角度)双视点视图文件序列。并且，可以在得到图像序列之后，将图像序列存储在主机的存储设备当中。过程中，可以通过主机的拍摄控制软件对双目相机进行控制，在对双目相机进行控制的同时，也可以控制转台，例如控制转台的转动速度。

具体的，在通过转台环拍静态对象时，如果一圈内拍摄的立体图片数量越多，即采样数越大，采样的样本越连续，则观看的效果越连贯，切换角度时越平滑。

可以在主机一侧将图像序列从存储设备调取出来，用于供物品显示软件进行处理。处理过程中，可以通过3D显示设备的人眼追踪设备获取人眼的位置信息，并基于此来计算得到渲染图像。将渲染图像发送至裸眼3D显示器供3D显示设备进行显示。

播放时根据人眼追踪系统取得的人眼位置，相应取对应角度的双视点图片进行裸眼3D渲染，其效果就像是静态对象在现实空间里一样，观看者处于不同角度，可以看到静态对象的不同侧面，并且是裸眼3D的立体现实效果。

本方案通过这样的设置，可以通过转台环拍得到充分3D图片显示序列，从而得到3D多视图；播放时采用人眼追踪技术和裸眼3D显示技术的结合，在人眼追踪到不同位置时调用相应角度的双视点视图进行3D渲染，模拟出实物显示的逼真立体显示效果。将环拍的立体图，组合成多视图进行多视点裸眼3D立体显示。

图4是本申请实施例提供的静态对象的立体显示装置的结构示意图，如图4所示，该装置可以包括：

双视点图像序列获取单元410，用于通过双视点摄像头获取目标静态对象的双视点图像序列；

人眼位置数据确定单元420，用于通过人眼追踪模块对用户进行人眼追踪，得到人眼位置数据；

立体显示单元430，用于根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示。

本发明实施例所提供的一种静态对象的立体显示装置可执行本发明实施例所提供的静态对象的立体显示方法，具备执行静态对象的立体显示方法相应的功能模块和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种静态对象的立体显示方法，该方法包括：

通过双视点摄像头获取目标静态对象的双视点图像序列；

通过人眼追踪模块对用户进行人眼追踪，得到人眼位置数据；

根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示。

存储介质是指任何的各种类型的存储器电子设备或存储电子设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同未知中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的静态对象的立体显示方法操作，还可以执行本申请任意实施例所提供的静态对象的立体显示方法中的相关操作。

本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的静态对象的立体显示装置，该电子设备可以是配置于系统内的，也可以是执行系统内的部分或者全部功能的设备。图5是本申请实施例提供的一种电子设备的结构示意图。如图5所示，本实施例提供了一种电子设备500，其包括：一个或多个处理器520；存储装置510，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器520执行，使得所述一个或多个处理器520实现本申请实施例所提供的静态对象的立体显示方法，该方法包括：

通过双视点摄像头获取目标静态对象的双视点图像序列；

通过人眼追踪模块对用户进行人眼追踪，得到人眼位置数据；

根据所述双视点图像序列以及所述人眼位置数据，对所述双视点图像序列进行自动选取，进行相应视角图像的3D渲染，以进行立体显示。

图5显示的电子设备500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，该电子设备500包括处理器520、存储装置510、输入装置530和输出装置540；电子设备中处理器520的数量可以是一个或多个，图5中以一个处理器520为例；电子设备中的处理器520、存储装置510、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线550连接为例。

存储装置510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的静态对象的立体显示方法对应的程序指令。

存储装置510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏、扬声器等电子设备。

本申请实施例提供的电子设备，可以在得到目标静态对象的双视点图像序列之后，并结合人眼跟踪的定位结果，针对人眼的位置通过裸眼3D设备对图像进行显示，以得到逼真的裸眼3D显示的效果。

上述实施例中提供的静态对象的立体显示装置、介质及电子设备可执行本申请任意实施例所提供的静态对象的立体显示方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的静态对象的立体显示方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。