人眼追踪装置、方法及3D显示设备、方法

技术领域

本申请涉及裸眼式3D显示技术，例如涉及人眼追踪装置和方法以及3D显示设备和方法。

背景技术

3D(立体)影像是视像行业中的热点技术之一，推动着从平面显示向3D显示的技术变革。3D显示技术是3D影像产业中的关键一环，主要分为两类，即眼镜式3D显示和裸眼式3D显示技术。裸眼式3D显示技术是一种用户无需佩戴眼镜而能够之间观看到3D显示画面的技术。与眼镜式3D显示相比，裸眼式3D显示属于自由3D显示技术，减少了对用户的约束。

裸眼式3D显示是基于视点的，近来还提出了多视点的裸眼3D显示，从而在空间中不同位置处形成视差图像(帧)的序列，使得具有视差关系的3D图像对可以分别进入人的左右眼当中，从而给用户带来3D感。对于具有例如N个视点的传统的多视点裸眼3D显示器，要用显示面板上的多个独立像素来投射空间的多个视点。

在一些研究进展中，这样的多视点显示还基于人脸或人眼追踪数据来提供更佳的观看体验。在一些常规的人脸或人眼追踪装置中，仅检测人脸与屏幕的距离，并依靠预设的或默认的人眼瞳距来确定人眼所在的视点位置。这样识别的精度不高，无法满足高质量的裸眼式3D显示。例如，这样的人脸或人眼追踪装置无法确定用户双眼的实际空间位置，也无法确定人眼是否相对于屏幕倾斜，这可能会造成视点计算错误。

而且，常规的人脸或人眼追踪装置在以较高的实时度来追踪时还存在计算瓶颈，这影响识别速度或追踪速度。

本背景技术仅为了便于了解本领域的相关技术，并不视作对现有技术的承认。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了实施例的概括，其不是要确定关键/重要组成元素或描绘发明的保护范围，而是作为后面的详细说明的序言。

本申请的实施例意图提供人眼追踪装置和方法以及3D显示设备和方法。

在一个方案中，提供了一种人眼追踪装置，包括：人眼追踪器，包括被配置为拍摄第一黑白图像的第一黑白摄像头和被配置为拍摄第二黑白图像的第二黑白摄像头；人眼追踪图像处理器，被配置为基于第一黑白图像和第二黑白图像中至少一幅识别人眼的存在且基于在第一黑白图像和第二黑白图像中识别到的人眼确定人眼空间位置。

通过这种人眼追踪装置，能够实现分别高精度地确定用户双眼的空间位置以及实现高速度地识别人眼，或者说实时追踪人眼。

在一些实施例中，人眼追踪装置还包括人眼追踪数据接口，被配置为传输表明人眼空间位置的人眼空间位置信息。

在一些实施例中，人眼追踪器还包括红外发射装置。

在一些实施例中，红外发射装置被配置为发射波长大于或等于1.5微米的红外光。

在一些实施例中，第一黑白摄像头和第二黑白摄像头被配置为分别拍摄包括第一黑白图像的第一黑白图像序列和包括第二黑白图像的第二黑白图像序列。

在一些实施例中，人眼追踪图像处理器包括同步器，被配置为确定时间同步的第一黑白图像和第二黑白图像，以便进行人眼的识别以及人眼空间位置的确定。

在一些实施例中，人眼追踪图像处理器包括：缓存器，被配置为缓存第一黑白图像序列和第二黑白图像序列中多幅第一黑白图像和第二黑白图像；比较器，被配置为比较第一黑白图像序列和第二黑白图像序列中的前后多幅第一黑白图像和第二黑白图像；判决器，被配置为，当比较器通过比较在第一黑白图像序列和第二黑白图像序列中的当前第一黑白图像和第二黑白图像中未识别到人眼的存在且在之前或之后的第一黑白图像和第二黑白图像中识别到人眼的存在时，将基于之前或之后的第一黑白图像和第二黑白图像确定的人眼空间位置作为当前的人眼空间位置。

基于此，例如在第一或第二黑白摄像头出现卡顿或跳帧等情况时，能够为用户提供更为连贯的显示画面，确保观看体验。

在另一方案中，提供了一种3D显示设备，包括：多视点裸眼3D显示屏，包括对应多个视点的多个子像素；如上文描述的人眼追踪装置，以获得人眼空间位置；3D处理装置，被配置为根据人眼追踪装置获得的人眼空间位置确定所对应的视点，并基于3D信号渲染多视点裸眼3D显示屏的与视点对应的子像素。

在一些实施例中，多视点裸眼3D显示屏包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成。

在一些实施例中，3D处理装置与人眼追踪装置通信连接。

在一些实施例中，还包括：3D拍摄装置，被配置为采集3D图像；3D拍摄装置包括景深摄像头和至少两个彩色摄像头。

在一些实施例中，人眼追踪装置与3D拍摄装置集成设置。

在一些实施例中，3D拍摄装置前置于3D显示设备。

在另一方案中，提供了一种人眼追踪方法，包括：拍摄第一黑白图像和第二黑白图像；基于第一黑白图像和第二黑白图像中至少一幅识别人眼的存在；基于在第一黑白图像和第二黑白图像中识别到的人眼确定人眼空间位置。

在一些实施例中，人眼追踪方法还包括：传输表明人眼空间位置的人眼空间位置信息。

在一些实施例中，人眼追踪方法还包括：在第一黑白摄像头或第二黑白摄像头工作时，利用红外发射装置发射红外光。

在一些实施例中，人眼追踪方法还包括：分别拍摄出包括第一黑白图像的第一黑白图像序列和包括第二黑白图像的第二黑白图像序列。

在一些实施例中，人眼追踪方法还包括：确定时间同步的第一黑白图像和第二黑白图像。

在一些实施例中，人眼追踪方法还包括：缓存第一黑白图像序列和第二黑白图像序列中多幅第一黑白图像和第二黑白图像；比较第一黑白图像序列和第二黑白图像序列中的前后多幅第一黑白图像和第二黑白图像；当通过比较在第一黑白图像序列和第二黑白图像序列中的当前第一黑白图像和第二黑白图像中未识别到人眼的存在且在之前或之后的第一黑白图像和第二黑白图像中识别到人眼的存在时，将基于之前或之后的第一黑白图像和第二黑白图像确定的人眼空间位置作为当前的人眼空间位置。

在另一方案中，提供了一种3D显示方法，包括：获得用户的人眼空间位置；根据人眼空间位置确定所对应的视点；基于3D信号渲染多视点裸眼3D显示屏的与视点对应的子像素。

在一些实施例中，3D显示方法还包括：提供多视点裸眼3D显示屏，包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1A和图1B是根据本公开实施例的3D显示设备的结构示意图；

图1C是根据本公开实施例的人眼追踪装置的结构示意图；

图2是根据本公开实施例的3D显示设备的硬件结构示意图；

图3是图2所示的3D显示设备的软件结构示意图；

图4是利用根据本公开实施例的人眼追踪装置确定人眼空间位置的示意图；

图5A至图5C是根据本公开实施例的3D显示设备的正面示意图；

图6A和图6B是根据本公开实施例的用户脸部与3D显示设备的位置关系示意图；

图7是根据本公开实施例的人眼追踪方法的步骤示意图；

图8是根据本公开实施例的3D显示方法的步骤示意图；

图9是用根据本公开实施例的3D显示方法实现3D显示设备的多视点裸眼3D显示屏的显示的示意图，其中用户的双眼各对应一个视点。

附图标记：

100：3D显示设备；101：处理器；122：寄存器；110：多视点裸眼3D显示屏；120：3D拍摄装置；121：摄像头组件；121a：第一彩色摄像头；121b：第二彩色摄像头；121c：景深摄像头；125：3D图像输出接口；126：3D图像处理器；130：3D处理装置；131：缓存器；140：信号接口；150：人眼追踪装置；151：人眼追踪器；151a：第一黑白摄像头；151b：第二黑白摄像头；154：红外发射装置；152：人眼追踪图像处理器；155：同步器；156：缓存器；157：比较器；153：人眼追踪数据接口；CP：复合像素；CSP：复合子像素；200：3D显示设备；201：处理器；202：外部存储器接口；203：存储器；204：USB接口；205：充电管理模块；206：电源管理模块；207：电池；210：多视点裸眼3D显示屏；212：音频模块；213：扬声器；214：受话器；215：麦克风；216：耳机接口；217：按键；218：马达；219：指示器；220：3D拍摄装置；221：摄像头组件；222：寄存器；223：GPU；224：编解码器；225：3D图像输出接口；226：3D图像处理器；230：3D处理装置；240：信号接口；

250：人眼追踪装置；260：SIM卡接口；270：传感器模块；2701：接近光传感器；2702：环境光传感器；2703：压力传感器；2704：气压传感器；2705：磁传感器；2706：重力传感器；2707：陀螺仪传感器；2708：加速度传感器；2709：距离传感器；2710：温度传感器；2711：指纹传感器；2712：触摸传感器；2713：骨传导传感器；281：移动通信模块；

282：天线；283：无线通信模块；284：天线；310：应用程序层；320：

框架层；330：核心类库和运行时(Runtime)；340：内核层；T：两个黑白摄像头的间距；401a：第一黑白摄像头151a的焦平面；401b：第二黑白摄像头151b的焦平面；f：焦距；Oa：第一黑白摄像头151a的镜头中心；Ob：第二黑白摄像头151b的镜头中心；Za：第一黑白摄像头151a的光轴；Zb：第二黑白摄像头151b的光轴；R：用户的右眼；L：用户的左眼；P：用户的瞳距；α：观察者脸部与多视点裸眼3D显示屏的倾斜角度；XRa：用户右眼R在第一黑白摄像头151a的焦平面401a内成像的X轴坐标；XRb：用户右眼R在第二黑白摄像头151b的焦平面401b内成像的X轴坐标；XLa：用户左眼L在第一黑白摄像头151a的焦平面401a内成像的X轴坐标；XLb：用户左眼L在第二黑白摄像头151b的焦平面401b内成像的X轴坐标；DR：用户的右眼R与多视点裸眼3D显示屏的间距；DL：用户的左眼L与多视点裸眼3D显示屏的间距；500：3D显示设备；600：3D显示设备。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。

在本文中，“裸眼3D显示”涉及用户(观看者)无需佩戴3D显示用的眼镜而能在平面显示器上观察到3D的显示图像的技术，包括但不限于“视差屏障”、“柱状透镜”、“指向式背光”技术。

在本文中，“多视点”具有本领域的常规含义，意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中，多视点将意味着至少3个视点。

在本文中，“光栅”具有本领域中广义的解释，包括但不限于“视差屏障”光栅和“透镜”光栅、如“柱状透镜”光栅。

在本文中，“透镜”或“透镜光栅”具有本领域的常规含义，例如包括柱状透镜和球面透镜。

常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。

然而，在本文的一些实施例中，当应用于裸眼3D显示领域的多视点技术时所称的“复合像素”指裸眼3D显示器提供多视点显示时的最小显示单位，但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中，除非具体说明为“3D显示”或“多视点”应用的复合像素或3D像素，像素将指2D显示时的最小显示单位。同样，当描述为多视点的裸眼3D显示“复合子像素”时，将指裸眼3D显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中，“复合子像素”中的子像素将指单个颜色的最小显示单位，其往往是与视点相对应的。

在一个方案中，提供了一种人眼追踪装置，包括：人眼追踪器，包括被配置为拍摄第一黑白图像的第一黑白摄像头和被配置为拍摄第二黑白图像的第二黑白摄像头；人眼追踪图像处理器，配置为基于第一黑白图像和第二黑白图像中至少一幅识别人眼的存在且基于第一黑白图像和第二黑白图像中存在的人眼的所在位置确定人眼空间位置；人眼追踪数据接口，配置为传输人眼空间位置的人眼空间位置信息。

通过这种人眼追踪装置，能够实现分别高精度地确定用户双眼的空间位置以及实现高速度地识别人眼，或者说实时追踪人眼。

在一些实施例中，人眼追踪器还包括红外发射装置。

在一些实施例中，红外发射装置配置为发射波长大于或等于1.5微米的红外光。

在一些实施例中，第一黑白摄像头和第二黑白摄像头配置为分别拍摄第一黑白图像序列和第二黑白图像序列。

在一些实施例中，人眼追踪图像处理器包括同步器，配置为确定时间同步的第一黑白图像和第二黑白图像。

在一些实施例中，人眼追踪图像处理器包括：缓存器，配置为缓存第一黑白图像序列和第二黑白图像序列中多幅第一黑白图像和第二黑白图像；比较器，配置为比较第一黑白图像序列和第二黑白图像序列中的前后多幅第一黑白图像和第二黑白图像。

在一些实施例中，人眼追踪图像处理器配置为，在第一黑白图像序列和第二黑白图像序列中的当前第一黑白图像和第二黑白图像中未识别到人眼的存在且在之前或之后的第一黑白图像和第二黑白图像中识别到人眼的存在时，基于之前或之后的第一黑白图像和第二黑白图像确定的人眼空间位置信息作为当前的人眼空间位置信息。

基于此，例如在第一或第二黑白摄像头出现卡顿或跳帧等情况时，能够为用户提供更为连贯的显示画面，确保观看体验。

在一些实施例中，第一黑白摄像头和第二黑白摄像头配置为以24帧/秒或以上的频率拍摄第一黑白图像序列和第二黑白图像序列。

在另一方案中，提供了一种3D显示设备，包括多视点裸眼3D显示屏、被配置为接收3D视频信号(3D信号)的视频帧的视频信号接口(信号接口)、与视频信号接口通信连接的3D处理装置和如上所述的人眼追踪装置，多视点裸眼3D显示屏包括对应多个视点的多个子像素，3D处理装置配置为基于3D视频信号的视频帧渲染与预定的视点相关的子像素，预定的视点由用户的实时的人眼空间位置信息确定。

在一些实施例中，多视点裸眼3D显示屏包括多个复合像素，多个复合像素中的每个包括多个复合子像素，各复合子像素由对应于多个视点的多个同色子像素构成。

在一些实施例中，3D处理装置与人眼追踪装置的人眼追踪数据接口通信连接。

在一些实施例中，3D显示设备还包括被配置为采集3D图像的3D拍摄装置，3D拍摄装置包括摄像头组件和3D图像处理器，摄像头组件包括第一彩色摄像头、第二彩色摄像头和景深摄像头。

在一些实施例中，人眼追踪装置与所述3D拍摄装置相集成。

在一些实施例中，3D拍摄装置是前置摄像装置。

在另一方案中，提供了一种人眼追踪方法，包括：在第一位置拍摄第一黑白图像；在第二位置拍摄第二黑白图像，其中第二位置不同于第一位置；基于第一黑白图像和第二黑白图像中至少一幅识别人眼的存在；基于第一黑白图像和第二黑白图像中存在的人眼的所在位置确定人眼空间位置；和传输人眼空间位置的人眼空间位置信息。

在一些实施例中，人眼追踪方法还包括：在第一或第二黑白摄像头工作时，利用红外发射装置发射红外光。

在一些实施例中，人眼追踪方法还包括：分别拍摄出第一黑白图像序列和第二黑白图像序列。

在一些实施例中，人眼追踪方法还包括：确定时间同步的第一黑白图像和第二黑白图像。

在一些实施例中，人眼追踪方法还包括：缓存第一黑白图像序列和第二黑白图像序列中多幅第一黑白图像和第二黑白图像；比较第一黑白图像序列和第二黑白图像序列中的前后多幅第一黑白图像和第二黑白图像。

在一些实施例中，人眼追踪方法还包括：在第一黑白图像序列和第二黑白图像序列中的当前第一黑白图像和第二黑白图像中未识别到人眼的存在且在之前或之后的第一黑白图像和第二黑白图像中识别到人眼的存在时，基于之前或之后的第一黑白图像和第二黑白图像确定的人眼空间位置信息作为当前的人眼空间位置信息。

在一些实施例中，人眼追踪方法还包括：以24帧/秒或以上的频率拍摄第一黑白图像序列和第二黑白图像序列。

在另一方案中，提供了一种3D显示方法，适用于3D显示设备，3D显示设备包括多视点裸眼3D显示屏，包括对应多个视点的多个子像素；3D显示方法包括：传输3D视频信号的视频帧；接收或读取用户的实时的人眼空间位置信息，实时的人眼空间位置信息利用如上所述的人眼追踪方法来确定；基于人眼空间位置信息确定人眼所在的视点；基于视点，依据所接收的所述3D视频信号的视频帧渲染相关的子像素。

在一些实施例中，3D显示方法还包括：提供多视点裸眼3D显示屏，包括多个复合像素，多个复合像素中的每个包括多个复合子像素，各复合子像素由对应于多个视点的多个同色子像素构成。

在另一方案中，提供了一种3D显示设备，包括处理器和存储有程序指令的存储器，还包括多视点裸眼3D显示屏，处理器被配置为在执行程序指令时，执行如上所述的3D显示方法。

图1A示出了根据本公开实施例提供的3D显示设备100的结构示意图。参考图1A，在本公开实施例中提供了一种3D显示设备100，其包括多视点裸眼3D显示屏110、被配置为接收3D视频信号的视频帧的信号接口140、与信号接口140通信连接的3D处理装置130和人眼追踪装置150。人眼追踪装置150通信连接至3D处理装置130，由此3D处理装置130可以直接接收人眼追踪数据。

多视点裸眼3D显示屏110可包括显示面板和覆盖在显示面板上的光栅(未标识)。在图1A所示的实施例中，多视点裸眼3D显示屏110可包括m×n个复合像素CP并因此限定出m×n的显示分辨率。如图1A所示，多视点裸眼3D显示屏110包括m列n行个复合像素并因此限定出m×n的显示分辨率。

在一些实施例中，m×n的分辨率可以为全高清(FHD)以上的分辨率，包括但不限于，1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。

在一些实施例中，3D处理装置与多视点裸眼3D显示屏通信连接。

在一些实施例中，3D处理装置与多视点裸眼3D显示屏的驱动装置通信连接。

作为解释而非限制地，每个复合像素CP包括多个复合子像素CSP，各复合子像素由对应于i个视点的i个同色子像素构成，i≥3。在图1所示的实施例中，i＝6，但可以想到i为其他数值。在所示的实施例中，多视点裸眼3D显示屏可相应地具有i(i＝6)个视点(V1-V6)，但可以想到可以相应地具有更多或更少个视点。

作为解释而非限制地，在图1所示的实施例中，每个复合像素包括三个复合子像素，并且每个复合子像素由对应于6视点(i＝6)的6个同色子像素构成。三个复合子像素分别对应于三种颜色，即红(R)、绿(G)和蓝(B)。也就是说，每个复合像素的三个复合子像素分别具有6个红色、6个绿色或6个蓝色的子像素。在图1所示的实施例中，复合像素中的各复合子像素平行布置。各复合子像素包括呈单行形式的子像素。但可以想到，复合像素中的复合子像素的不同排布方式或复合子像素中的子像素的不同排布形式，例如各复合子像素包括呈单列或阵列形式的子像素。

作为解释而非限制性地，例如图1A所示，3D显示设备100可设置有单个3D处理装置130。单个3D处理装置130同时处理对裸眼3D显示屏110的各复合像素的各复合子像素的子像素的渲染。在另一些实施例中，3D显示设备100也可设置有一个以上3D处理装置130，它们并行、串行或串并行结合地处理对裸眼3D显示屏110的各复合像素的各复合子像素的子像素的渲染。本领域技术人员将明白，一个以上3D处理装置可以有其他的方式分配且并行处理裸眼3D显示屏110的多行多列复合像素或复合子像素，这落入本公开实施例的范围内。

在一些实施例中，3D处理装置130还可以选择性地包括缓存器131，以便缓存所接收到的视频帧。

在一些实施例中，3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。

继续参考图1A，3D显示设备100还可包括通过信号接口140通信连接至3D处理装置130的处理器101。在本文所示的一些实施例中，处理器101被包括在计算机或智能终端、如移动终端中或作为其处理器单元。但是可以想到，在一些实施例中，处理器101可以设置在3D显示设备的外部，例如3D显示设备可以为带有3D处理装置的多视点裸眼3D显示器，例如非智能的裸眼3D电视。

为简单起见，下文中的3D显示设备的示例性实施例内部包括处理器。基于此，信号接口140构造为连接处理器101和3D处理装置130的内部接口，参考图2和图3所示的以移动终端方式实施的3D显示设备200可更明确该结构。在本文所示的一些实施例中，作为3D显示设备的内部接口的信号接口可以为MIPI、mini-MIPI接口、LVDS接口、min-

LVDS接口或Display Port接口。在一些实施例中，如图1A所示，3D显示设备100的处理器101还可包括寄存器122。寄存器122可被配置为暂存指令、数据和地址。在一些实施例中，寄存器122可被配置为接收有关多视点裸眼3D显示屏110的显示要求的信息

在一些实施例中，3D显示设备100还可以包括编解码器，配置为对压缩的3D视频信号解压缩和编解码并将解压缩的3D视频信号经信号接口140发送至3D处理装置130。

参考图1B，图1B所示出的实施例与图1A所示出的实施例的区别在于，3D显示设备100还包括被配置为采集3D图像的3D拍摄装置120，人眼追踪装置150集成在3D拍摄装置120中，也可以想到集成到处理终端或显示设备的常规摄像装置中。如图1B所示，3D拍摄装置120构造为前置拍摄装置。3D拍摄装置120包括摄像头组件121、3D图像处理器126、3D图像输出接口125。3D拍摄装置120与人眼追踪装置150集成。

如图1B所示，摄像头组件121包括第一彩色摄像头121a、第二彩色摄像头121b、景深摄像头121c。在另一些未示出的实施例中，3D图像处理器126可以集成在摄像头组件121内。在一些实施例中，第一彩色摄像头121a配置为获得拍摄对象的第一彩色图像，第二彩色摄像头121b配置为获得拍摄对象的第二彩色图像，通过合成这两幅彩色图像获得中间点的合成彩色图像；景深摄像头121c配置为获得拍摄对象的景深图像。合成彩色图像和景深图像形成3D视频信号的视频帧。在本公开实施例中，第一彩色摄像头和第二彩色摄像头是相同的彩色摄像头。在另一些实施例中，第一彩色摄像头和第二彩色摄像头也可以是不同的彩色摄像头。在这种情况下，为了获得彩色合成图像，可以对第一和第二彩色图像进行校准或矫正。景深摄像头121c可以是飞行时间(TOF)摄像头或结构光摄像头。景深摄像头121c可以设置在第一彩色摄像头和第二彩色摄像头之间。

在一些实施例中，3D图像处理器126配置为将第一和第二彩色图像合成为合成彩色图像，并将合成的合成彩色图像与景深图像形成3D图像。所形成的3D图像通过3D图像输出接口125传输至3D显示设备100的处理器101。

可选地，第一和第二彩色图像以及景深图像经由3D图像输出接口125直接传输至3D显示设备100的处理器101，并通过处理器101进行上述合成彩色图像以及形成3D图像等处理。

可选地，3D图像输出接口125还可通信连接到3D显示设备100的3D处理装置130，从而可通过3D处理装置130进行上述合成彩色图像以及形成3D图像等处理。

在一些实施例中，第一彩色摄像头和第二彩色摄像头中至少一个摄像头是广角的彩色摄像头。

继续参考图1B，人眼追踪装置150集成在3D拍摄装置120内并且包括人眼追踪器151、人眼追踪图像处理器152和人眼追踪数据接口153。

人眼追踪器151包括第一黑白摄像头151a和第二黑白摄像头151b。第一黑白摄像头151a配置为拍摄第一黑白图像，第二黑白摄像头151b配置为拍摄第二黑白图像。在上述3D拍摄装置120是前置的并且人眼追踪装置150集成在3D拍摄装置120内的情况下，人眼追踪装置150也是前置的，第一黑白摄像头和第二黑白摄像头的拍摄对象是用户脸部。

在一些实施例中，人眼追踪装置150的人眼追踪数据接口153通信连接至3D显示设备100的3D处理装置130，由此3D处理装置130可以直接接收人眼追踪数据。在另一些实施例中，人眼追踪装置150的人眼追踪图像处理器152可通信连接至3D显示设备100的处理器101，由此人眼追踪数据可以从处理器101通过人眼追踪数据接口153被传输至3D处理装置130。

在一些实施例中，人眼追踪装置150与摄像头组件221通信连接，由此可在拍摄3D图像时使用人眼追踪数据。

可选地，人眼追踪器151还设置有红外发射装置154。在第一或第二黑白摄像头工作时，红外发射装置154配置为选择性地发射红外光，以在环境光线不足时、例如在夜间拍摄时起到补光作用，从而在环境光线弱的条件下也能拍摄能识别出用户脸部及眼睛的第一或第二黑白图像。

在一些实施例中，人眼追踪装置150或集成有人眼追踪装置的处理终端或显示设备可以配置为，在第一或第二黑白摄像头工作时，基于接收到的光线感应信号，例如检测到光线感应信号低于给定阈值时，控制红外发射装置的开启或调节其大小。在一些实施例中，光线感应信号是从处理终端或显示设备集成的环境光传感器，如环境光传感器2702接收的。

可选地，红外发射装置154配置为发射波长大于或等于1.5微米的红外光，亦即长波红外光。与短波红外光相比，长波红外光穿透皮肤的能力较弱，因此对人眼的伤害较小。

拍摄到的第一黑白图像和第二黑白图像被传输至人眼追踪图像处理器152。示例性地，人眼追踪图像处理器配置为具有视觉识别功能、例如人脸识别功能，并且配置为基于这两幅黑白图像中至少一幅识别出人脸并识别出人眼以及基于这两幅黑白图像中存在的人眼的所在位置确定人眼空间位置。在本公开实施例中，第一黑白摄像头和第二黑白摄像头是相同的黑白摄像头。在另一些实施例中，第一黑白摄像头和第二黑白摄像头也可以是不同的黑白摄像头。在这种情况下，为了确定人眼空间位置，可以对第一黑白图像和第二黑白图像进行校准或矫正。

在一些实施例中，第一黑白摄像头和第二黑白摄像头中至少一个摄像头是广角的黑白摄像头。

图4示意性地示出了利用两个黑白摄像头确定人眼空间位置的几何关系模型的俯视图。在图4所示实施例中，第一黑白摄像头和第二黑白摄像头是相同的黑白摄像头，因此具有相同的焦距f；第一黑白摄像头151a的光轴Za与第二黑白摄像头151b的光轴Zb平行，第一黑白摄像头151a的焦平面401a和第二黑白摄像头151b的焦平面401b处于同一平面内并且垂直于两个黑白摄像头的光轴。基于上述设置，两个黑白摄像头的镜头中心Oa和Ob的连线平行于两个黑白摄像头的焦平面。在图4所示实施例中，以两个黑白摄像头的镜头中心Oa到Ob的连线方向作为X轴方向并且以两个黑白摄像头的光轴方向为Z轴方向示出XZ平面的几何关系模型的俯视图。

在图4所示实施例中，以第一黑白摄像头151a的镜头中心Oa为其原点，以第二黑白摄像头151b的镜头中心Ob为其原点。R和L分别表示用户的右眼和左眼，XRa和XRb分别为用户右眼R在两个黑白摄像头的焦平面401a和401b内成像的X轴坐标，XLa和XLb分别为用户左眼L在两个黑白摄像头的焦平面401a和401b内成像的X轴坐标。此外，两个黑白摄像头的间距T以及它们的焦距f也是已知的。根据相似三角形的几何关系可得出右眼R和左眼L与如上设置的两个黑白摄像头所在平面的间距DR和DL分别为：

并且可得出观察者双眼连线与如上设置的两个黑白摄像头所在平面的倾斜角度α以及观察者双眼间距或瞳距P分别为：

在图4所示实施例中，观察者双眼连线、亦即观察者脸部与如上设置的两个黑白摄像头所在平面相互倾斜并且倾斜角度为α；当观察者脸部与如上设置的两个黑白摄像头所在平面相互平行时、亦即当观察者平视两个黑白摄像头时，倾斜角度α为零。

如上所述，在本文的一些实施例中，3D显示设备100可以是计算机或智能终端、如移动终端。但是可以想到，在一些实施例中，3D显示设备100也可以是非智能的显示终端、如非智能的裸眼3D电视。在图5A、图5B和图5C中示出分别构造为智能手机、平板电脑和非智能显示器的3D显示设备500的示意图，其具有多视点裸眼3D显示屏510、前置的3D拍摄装置并且3D拍摄装置集成有人眼追踪装置。在图5A至图5C所示实施例中，包括两个彩色摄像头121a、121b和景深摄像头121c的3D拍摄装置120及其所集成的包括两个黑白摄像头151a、151b的人眼追踪装置150与3D显示设备500的多视点裸眼3D显示屏510设置在同一平面内。因此，在图4所示实施例中示例性得出的用户的右眼R和左眼L与如上设置的两个黑白摄像头所在平面的间距DR和DL即为用户的右眼R和左眼L与多视点裸眼3D显示屏的间距，观察者脸部与如上设置的两个黑白摄像头所在平面的倾斜角度α即为观察者脸部与多视点裸眼3D显示屏的倾斜角度。

参考图6A，示出了用户正视或平视3D显示设备600的多视点裸眼3D显示屏的示意图，即用户脸部所在平面与显示屏所在平面相互平行，用户双眼与显示屏的间距DR、DL相同、倾斜角度α为零。

参考图6B，示出了用户脸部相对于3D显示设备600的多视点裸眼3D显示屏倾斜的示意图，即用户脸部所在平面与显示屏所在平面不相互平行，用户双眼与显示屏的间距DR、DL不同、倾斜角度α不为零。

在一些实施例中，人眼追踪数据接口153配置为传输用户双眼相对于人眼追踪装置150或多视点裸眼3D显示屏110的倾斜角度或平行度。这可有利于更精确地呈现3D图像，对此将在下文中描述。

例如，如上示例性得出的人眼空间位置信息DR、DL、α和P通过人眼追踪数据接口153传输至3D处理装置130。3D处理装置130基于接收到的人眼空间位置信息确定用户双眼所在的且由多视点裸眼3D显示屏110提供的视点、即预定的视点。

例如，如上示例性得出的人眼空间位置信息DR、DL、α和P也可被直接传输至3D显示设备100的处理器101，3D处理装置130通过人眼追踪数据接口153从处理器101接收/读取人眼空间位置信息。

在一些实施例中，第一黑白摄像头151a配置为拍摄出第一黑白图像序列，其包括按照时间前后排列的多幅第一黑白图像，第二黑白摄像头151b配置为拍摄出第二黑白图像序列，其包括按照时间前后排列的多幅第二黑白图像。

在一些实施例中，人眼追踪图像处理器152包括同步器155，其配置为在第一黑白图像序列和第二黑白图像序列中确定时间同步的第一黑白图像和第二黑白图像。被确定为时间同步的第一黑白图像和第二黑白图像用于人眼的识别以及人眼空间位置的确定。

在一些实施例中，人眼追踪图像处理器152包括缓存器156和比较器157。缓存器156配置为缓存第一黑白图像序列和第二黑白图像序列中分别按照时间前后排列的多幅第一黑白图像和第二黑白图像。比较器157配置为比较第一黑白图像序列和第二黑白图像序列中按照时间前后拍摄的多幅第一黑白图像和第二黑白图像。通过比较，例如可以判断人眼空间位置是否变化或者判断人眼是否还处于观看范围内等。

在一些实施例中，人眼追踪图像处理器152还包括判决器(未示出)，被配置为，当比较器通过比较在第一黑白图像序列和第二黑白图像序列中的当前第一黑白图像和第二黑白图像中未识别到人眼的存在且在之前或之后的第一黑白图像和第二黑白图像中识别到人眼的存在时，将基于之前或之后的第一黑白图像和第二黑白图像确定的人眼空间位置作为当前的人眼空间位置。这种情况例如为用户短暂转动头部。在这种情况下，有可能短暂地无法识别到用户的脸部及其眼睛。

示例性地，在缓存器156的缓存段内存有第一黑白图像序列和第二黑白图像序列中的若干第一黑白图像和第二黑白图像。在某些情况下，无法从所缓存的当前第一黑白图像和第二黑白图像中识别出人脸及人眼，然而可以从所缓存的之前或之后的第一黑白图像和第二黑白图像中识别出人脸及人眼。在这种情况下，可以将基于在当前第一黑白图像和第二黑白图像之后的、也就是更晚拍摄的第一黑白图像和第二黑白图像确定的人眼空间位置信息作为当前的人眼空间位置信息；也可以将基于在当前第一黑白图像和第二黑白图像之前的、也就是更早拍摄的第一黑白图像和第二黑白图像确定的人眼空间位置信息作为当前的人眼空间位置信息。此外，也可以对基于上述之前和之后的能识别出人脸及人眼的第一黑白图像和第二黑白图像确定的人眼空间位置信息取平均值、进行数据拟合、进行插值或以其他方法处理，并且将得到的结果作为当前的人眼空间位置信息。

在一些实施例中，第一黑白摄像头和第二黑白摄像头配置为以24帧/秒或以上的频率拍摄第一黑白图像序列和第二黑白图像序列。示例性地，以30帧/秒的频率拍摄。示例性地，以60帧/秒的频率拍摄。

在一些实施例中，第一黑白摄像头和第二黑白摄像头配置为以与3D显示设备的显示屏刷新频率相同的频率进行拍摄。

如前所述，本公开实施例提供的3D显示设备可以是包含处理器的3D显示设备。在一些实施例中，3D显示设备可构造为智能蜂窝电话、平板电脑、智能电视、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(UMPC)、上网本、个人数字助理(PDA)等。

示例性的，图2示出了实施为移动终端、如平板电脑或智能蜂窝电话的3D显示设备200的硬件结构示意图。3D显示设备200可以包括处理器201，外部存储接口202，(内部)存储器203，通用串行总线(USB)接口204，充电管理模块205，电源管理模块206，电池207，移动通信模块281，无线通信模块283，天线282、284，音频模块212，扬声器213，受话器214，麦克风215，耳机接口216，按键217，马达218，指示器219，用户标识模块(SIM)卡接口260，多视点裸眼3D显示屏210，3D处理装置230，信号接口240，3D拍摄装置220以及传感器模块230等。其中3D拍摄装置220可以包括摄像头组件221、3D图像输出接口225和人眼追踪装纸250。其中传感器模块270可以包括接近光传感器2701，环境光传感器2702，压力传感器2703，气压传感器2704，磁传感器2705，重力传感器2706，陀螺仪传感器2707，加速度传感器2708，距离传感器2709，温度传感器2710，指纹传感器2711，触摸传感器2712，骨传导传感器2713等。

可以理解的是，本公开实施例示意的结构并不构成对3D显示设备200的限定。在本公开另一些实施例中，3D显示设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器201可以包括一个或一个以上处理单元，例如：处理器201可以包括应用处理器(AP)，调制解调处理器，基带处理器，寄存器222、图形处理器(GPU)223，图像信号处理器(ISP)，控制器，存储器，视频编解码器224，数字信号处理器(DSP)，基带处理器、神经网络处理器(NPU)等或它们的组合。其中，不同的处理单元可以是独立的器件，也可以集成在一个或一个以上处理器中。

处理器201中还可以设置有高速缓存器，被配置为保存处理器201刚用过或循环使用的指令或数据。在处理器201要再次使用指令或数据时，可从存储器中直接调用。

在一些实施例中，处理器201可以包括一个或一个以上接口。接口可以包括集成电路(I2C)接口、集成电路内置音频(I2S)接口、脉冲编码调制(PCM)接口、通用异步收发传输器(UART)接口、移动产业处理器接口(MIPI)、通用输入输出(GPIO)接口、用户标识模块(SIM)接口、通用串行总线(USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(SDA)和一根串行时钟线(SCL)。在一些实施例中，处理器201可以包含多组I2C总线。处理器201可以通过不同的I2C总线接口分别通信连接触摸传感器2712，充电器，闪光灯，3D拍摄装置220或其摄像头组件221、人眼追踪装置250等。

I2S接口和PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口被配置为连接处理器201与无线通信模块283。

在图2所示的实施例中，MIPI接口可以被配置为连接处理器201与多视点裸眼3D显示屏210。此外，MIPI接口还可被配置为连接如摄像头组件221、人眼追踪装置250等外围器件。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以配置为连接处理器201与3D拍摄装置220或其摄像头组件221，多视点裸眼3D显示屏110，无线通信模块283，音频模块212，传感器模块270等。

USB接口204是符合USB标准规范的接口，可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口204可以被配置为连接充电器为3D显示设备200充电，也可以用于3D显示设备200与外围设备之间传输数据。也可以被配置为连接耳机，通过耳机播放音频。

可以理解的是，本公开实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对3D显示设备200的结构限定。

3D显示设备200的无线通信功能可以通过天线282、284，移动通信模块281，无线通信模块283，调制解调处理器或基带处理器等实现。

天线282、284被配置为发射和接收电磁波信号。3D显示设备200中的每个天线可被配置为覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块281可以提供应用在3D显示设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块281可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(LNA)等。移动通信模块281可以由天线282接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块281还可以对经调制解调处理器调制后的信号放大，经天线282转为电磁波辐射出去。在一些实施例中，移动通信模块281的至少部分功能模块可以被设置于处理器201中。在一些实施例中，移动通信模块282的至少部分功能模块可以与处理器201的至少部分模块被设置在同一个器件中。

无线通信模块283可以提供应用在3D显示设备200上的包括无线局域网(WLAN)，蓝牙(BT)，全球导航卫星系统(GNSS)，调频(FM)，近距离无线通信技术(NFC)，红外技术(IR)等无线通信的解决方案。无线通信模块283可以是集成至少一个通信处理模块的一个或一个以上器件。无线通信模块283经由天线284接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器201。无线通信模块283还可以从处理器201接收待发送的信号，对其进行调频，放大，经天线284转为电磁波辐射出去。

在一些实施例中，3D显示设备200的天线282和移动通信模块281耦合，天线284和无线通信模块283耦合，使得3D显示设备200可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(GSM)，通用分组无线服务(GPRS)，码分多址接入(CDMA)，宽带码分多址(WCDMA)，时分码分多址(TD-SCDMA)，长期演进(LTE)，BT，GNSS，WLAN，NFC，FM，或IR技术等中至少一项。GNSS可以包括全球卫星定位系统(GPS)，全球导航卫星系统(GLONASS)，北斗卫星导航系统(BDS)，准天顶卫星系统(QZSS)或星基增强系统(SBAS)中至少一项。

在一些实施例中，被配置为接收3D视频信号的外部接口可以包括USB接口204、移动通信模块281、无线通信模块283或其组合。此外，还可以想到其他可行的被配置为接收3D视频信号的接口，例如上述的接口。

存储器203可以被配置为存储计算机可执行程序代码，可执行程序代码包括指令。处理器201通过运行存储在存储器203的指令，从而执行3D显示设备200的各种功能应用以及数据处理。存储器203可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储3D显示设备200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，存储器203可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(UFS)等。

外部存储器接口202可以被配置为连接外部存储卡，例如Micro SD卡，实现扩展3D显示设备200的存储能力。外部存储卡通过外部存储器接口202与处理器201通信，实现数据存储功能。

在一些实施例中，3D显示设备的存储器可以包括(内部)存储器203、外部存储器接口202连接的外部存储卡或其组合。在本公开另一些实施例中，信号接口也可以采用上述实施例中不同的内部接口连接方式或其组合。

在本公开实施例中，摄像头组件221可以2D或3D采集图像或视频，并经由3D图像输出接口225输出采集到的视频。人眼追踪装置250可以确定用户的双眼的空间位置。摄像头组件221、3D图像输出接口225和人眼追踪装置250共同形成3D拍摄装置220。

在一些实施例中，3D显示设备200通过信号接口240、3D处理装置230、人眼追踪装置250、多视点裸眼3D显示屏210，以及应用处理器等实现显示功能。

在一些实施例中，3D显示设备200可包括GPU，例如在处理器201内被配置为对3D视频图像进行处理，也可以对2D视频图像进行处理。

在一些实施例中，3D显示设备200还包括视频编解码器224，被配置为对数字视频压缩或解压缩。

在一些实施例中，信号接口240被配置为将经GPU或编解码器224或两者处理的3D视频信号、例如解压缩的3D视频信号的视频帧输出至3D处理装置230。

在一些实施例中，GPU或编解码器224集成有格式调整器。

多视点裸眼3D显示屏210被配置为显示3D(立体)图像或视频等。多视点裸眼3D显示屏210包括显示面板。显示面板可以采用液晶显示屏(LCD)，有机发光二极管(OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(AMOLED)，柔性发光二极管(FLED)，Mini-LED，Micro-LED，Micro-OLED，量子点发光二极管(QLED)等。

在一些实施例中，人眼追踪装置250通信连接至3D处理装置230，从而3D处理装置230可以基于人眼追踪数据渲染复合像素(复合子像素)中的相应子像素。在一些实施例中，人眼追踪装置250还可连接处理器201，例如旁路连接处理器201。

在一些实施例中，3D拍摄装置220的3D图像输出接口225可通信连接至处理器201或3D处理装置230。

3D显示设备200可以通过音频模块212，扬声器213，受话器214，麦克风215，耳机接口216，以及应用处理器等实现音频功能。例如音乐播放，录音等。音频模块212被配置为将数字音频信息转换成模拟音频信号输出，也被配置为将模拟音频输入转换为数字音频信号。音频模块212还可以被配置为对音频信号编码和解码。在一些实施例中，音频模块212可以设置于处理器201中，或将音频模块212的部分功能模块设置于处理器201中。扬声器213被配置为将音频电信号转换为声音信号。3D显示设备200可以通过扬声器213收听音乐，或收听免提通话。受话器214，也称“听筒”，被配置为将音频电信号转换成声音信号。当3D显示设备200接听电话或语音信息时，可以通过将受话器214靠近人耳接听语音。麦克风215被配置为将声音信号转换为电信号。耳机接口216被配置为连接有线耳机。耳机接口216可以是USB接口204，也可以是3.5mm的开放移动3D显示设备平台(OMTP)标准接口，美国蜂窝电信工业协会(CTIA)标准接口。

按键217包括开机键，音量键等。按键217可以是机械按键。也可以是触摸式按键。3D显示设备200可以接收按键输入，产生与3D显示设备200的用户设置以及功能控制有关的键信号输入。

马达218可以产生振动提示。马达218可以被配置为来电振动提示，也可以被配置为触摸振动反馈。

SIM卡接口260被配置为连接SIM卡。在一些实施例中，3D显示设备200采用eSIM，即：嵌入式SIM卡。

环境光传感器2702被配置为感知环境光亮度。3D显示设备200可以根据感知的环境光亮度调节多视点裸眼3D显示屏210的亮度或辅助人眼追踪，例如在环境光亮度较暗时，人眼追踪装置250启动红外发射装置。环境光传感器2702也可以被配置为在黑白摄像头拍摄时调节白平衡。

压力传感器2703被配置为感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2703可以设置于多视点裸眼3D显示屏210，这落入本公开实施例的范围内。

气压传感器2704被配置为测量气压。在一些实施例中，3D显示设备200通过气压传感器2704测得的气压值计算海拔高度，辅助定位和导航。

磁传感器2705包括霍尔传感器。

重力传感器2706是将运动或重力转换为电信号的传感器，主要被配置为倾斜角、惯性力、冲击及震动等参数的测量。

陀螺仪传感器2707可以被配置为确定3D显示设备200的运动姿态。

加速度传感器2708可检测3D显示设备200在各个方向上(一般为三轴)加速度的大小。

距离传感器2709可被配置为测量距离

温度传感器2710可被配置为检测温度。

指纹传感器2711被配置为采集指纹。3D显示设备200可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

触摸传感器2712可以设置于多视点裸眼3D显示屏210中，由触摸传感器2712与多视点裸眼3D显示屏210组成触摸屏，也称“触控屏”。

骨传导传感器2713可以获取振动信号。

充电管理模块205被配置为从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块205可以通过USB接口204接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块205可以通过3D显示设备200的无线充电线圈接收无线充电输入。

电源管理模块206被配置为连接电池207，充电管理模块205与处理器201。电源管理模块206接收电池207或充电管理模块205中至少一项的输入，为处理器201，存储器203，外部存储器，多视点裸眼3D显示屏210，摄像头组件221，和无线通信模块283等供电。在另一些实施例中，电源管理模块206和充电管理模块205也可以设置于同一个器件中。

3D显示设备200的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本公开所示的实施例以分层架构的安卓系统为例，示例性说明3D显示设备200的软件结构。但可以想到，本公开的实施例可以在不同的软件系统、如操作系统中实施。

图3是图2所示的3D显示设备200的软件结构示意图。分层架构将软件分成若干个层。层与层之间通过软件接口通信。在一些实施例中，将安卓系统分为四层，从上至下分别为应用程序层310，框架层320，核心类库和运行时(Runtime)330，以及内核层340。

应用程序层310可以包括一系列应用程序包。如图3所示，应用程序包可以包括蓝牙，WLAN，导航，音乐，相机，日历，通话，视频，图库，地图，短信息等应用程序。根据本公开实施例的3D视频显示方法，例如可以在视频应用程序中实施。

框架层320为应用程序层的应用程序提供应用编程接口(API)和编程框架。框架层包括一些预先定义的函数。例如，在本公开的一些实施例中，对所采集的3D视频图像进行识别的函数或者算法以及处理图像的算法等可以包括在框架层。

如图3所示，框架层320可以包括资源管理器、电话管理器、内容管理器、通知管理器、窗口管理器，视图系统，安装包管理器等。

安卓Runtime(运行时)包括核心库和虚拟机。安卓Runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言要调用的功能函数，另一部分是安卓的核心库。

应用程序层和框架层运行在虚拟机中。虚拟机将应用程序层和框架层的java文件执行为二进制文件。虚拟机被配置为执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

核心类库可以包括多个功能模块。例如：3D图形处理库(例如：OpenGL ES)，表面管理器，图像处理库，媒体库，图形引擎(例如：SGL)等。

内核层340是硬件和软件之间的层。内核层至少包含摄像头驱动，音视频接口，通话接口，Wifi接口，传感器驱动，电源管理，GPS接口。

在此，以具有图2和图3所示结构的作为移动终端的3D显示设备为例，描述3D显示设备中的3D视频传输和显示的实施例；但是，可以想到，在另一些实施例中可以包括更多或更少的特征或对其中的特征进行改变。

在一些实施例中，例如为移动终端、如平板电脑或智能蜂窝电话的3D显示设备200例如借助作为外部接口的移动通信模块281及天线282或者无线通信模块283及天线284从网络、如蜂窝网络、WLAN网络、蓝牙接收例如压缩的3D视频信号，压缩的3D视频信号例如经GPU 223进行图像处理、编解码器224编解码和解压缩，然后例如经作为内部接口的信号接口240、如MIPI接口或mini-MIPI接口将解压缩的3D视频信号发送至3D处理装置230。并且，通过人眼追踪装置250获得用户的实时的人眼空间位置信息。基于人眼空间位置信息确定预定的视点。3D处理装置230针对预定的视点相应地渲染显示屏的子像素，由此实现3D视频播放。

在另一些实施例中，3D显示设备200读取(内部)存储器203或通过外部存储器接口202读取外部存储卡中存储的压缩的3D图像信号，并经相应的处理、传输和渲染来实现3D图像播放。

在另一些实施例中，3D显示设备200接收摄像头组件221拍摄的且经由3D图像输出接口225传输的3D图像，并经相应的处理、传输和渲染来实现3D图像播放。

在一些实施例中，上述3D图像的播放是在安卓系统应用程序层310中的视频应用程序中实施的。

本公开实施例还可以提供一种人眼追踪方法，其利用上述实施例中的人眼追踪装置来实现。

参考图7，在一些实施例中，人眼追踪方法包括：

S701：拍摄第一黑白图像和第二黑白图像；

S702：基于第一黑白图像和第二黑白图像中至少一幅识别人眼的存在；

S703：基于在第一黑白图像和第二黑白图像中识别到的人眼确定人眼空间位置。

示例性地，在第一位置拍摄第一黑白图像，在第二位置拍摄第二黑白图像，第一位置不同于第二位置。

在一些实施例中，人眼追踪方法还包括：传输表明人眼空间位置的人眼空间位置信息。

在一些实施例中，人眼追踪方法还包括：在第一黑白摄像头或第二黑白摄像头工作时，利用红外发射装置发射红外光。

在一些实施例中，人眼追踪方法还包括：分别拍摄出包括第一黑白图像的第一黑白图像序列和包括第二黑白图像的第二黑白图像序列。

在一些实施例中，人眼追踪方法还包括：确定时间同步的第一黑白图像和第二黑白图像。

在一些实施例中，人眼追踪方法还包括：缓存第一黑白图像序列和第二黑白图像序列中多幅第一黑白图像和第二黑白图像；比较第一黑白图像序列和第二黑白图像序列中的前后多幅第一黑白图像和第二黑白图像；当通过比较在第一黑白图像序列和第二黑白图像序列中的当前第一黑白图像和第二黑白图像中未识别到人眼的存在且在之前或之后的第一黑白图像和第二黑白图像中识别到人眼的存在时，将基于之前或之后的第一黑白图像和第二黑白图像确定的人眼空间位置作为当前的人眼空间位置。

在一些实施例中，人眼追踪方法包括：以24帧/秒或以上的频率拍摄第一黑白图像序列和第二黑白图像序列。

本公开实施例还可以提供一种3D显示方法。

参考图8，在一些实施例中，3D显示方法包括：

S801：获得用户的人眼空间位置；

S802：根据人眼空间位置确定所对应的视点；

S803：基于3D信号渲染多视点裸眼3D显示屏的与视点对应的子像素。

在一些实施例中，3D显示方法还包括：提供多视点裸眼3D显示屏，包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成。

示例性地，当基于人眼空间位置确定用户的双眼各对应一个视点时，基于3D视频信号的视频帧生成用户双眼所处的两个视点的图像，并渲染复合子像素中与这两个视点相对应的子像素。

参考图9，在所示实施例中，用户的右眼处于第2视点V2，左眼处于第5视点V5，基于3D视频信号的视频帧生成这两个视点V2和V5的图像，并渲染复合子像素中与这两个视点相对应的子像素。

在一些实施例中，在基于人眼空间位置确定用户双眼相对于多视点裸眼3D显示屏的倾斜角度或平行度的情况下，可为用户提供有针对性的或定制化的显示图像，提升用户的观看体验。

上述实施例阐明的系统、装置、模块或单元，可以由各种可能的实体来来实现。一种典型的实现实体为计算机或其处理器或其他部件。计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板电脑、可穿戴设备、智能电视、物联网系统、智能家居、工业计算机、单片机系统或者这些设备中的组合。在一个典型的配置中，计算机可包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。

在本申请的实施例的方法、程序、系统、装置等，可以在单个或多个连网的计算机中执行或实现，也可以在分布式计算环境中实践。在本说明书实施例中，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。

本领域技术人员可想到，上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现，可以用软件、硬件和软/硬件结合的方式实现。例如，可以以纯计算机可读程序代码方式实现，也可以部分或全部通过将方法步骤进行逻辑编程来使得控制器以硬件来实现相同功能，包括但不限于逻辑门、开关、专用集成电路、可编程逻辑控制器(如FPGA)和嵌入微控制器。

在本申请的一些实施例中，以功能模块/单元的形式来描述装置的部件。可以想到，多个功能模块/单元一个或多个“组合”功能模块/单元和/或一个或多个软件和/或硬件中实现。也可以想到，单个功能模块/单元由多个子功能模块或子单元的组合和/或多个软件和/或硬件实现。功能模块/单元的划分，可以仅为一种逻辑功能划分，在实现方式中，多个模块/单元可以结合或者可以集成到另一个系统。此外，本文所述的模块、单元、装置、系统及其部件的连接包括直接或间接的连接，涵盖可行的电的、机械的、通信的连接，尤其包括各种接口间的有线或无线连接，包括但不限于HDMI、雷达、USB、WiFi、蜂窝网络。

在本申请的实施例中，方法、程序的技术特征、流程图和/或方框图可以应用到相应的装置、设备、系统及其模块、单元、部件中。反过来，装置、设备、系统及其模块、单元、部件的各实施例和特征可以应用至根据本申请实施例的方法、程序中。例如，计算机程序指令可装载到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，其具有实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中相应的功能或特征。

根据本申请实施例的方法、程序可以以计算机程序指令或程序的方式存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读的存储器或介质中。本申请实施例也涉及存储有可实施本申请实施例的方法、程序、指令的可读存储器或介质。

除非明确指出，根据本申请实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

已参考上述实施例具体示出并描述了本申请的示例性系统及方法，其仅为实施本系统及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本系统及/或方法时对这里描述的系统及方法的实施例做各种改变而不脱离界定在所附权利要求中的本申请的精神及范围。