可穿戴显示设备、控制方法、装置、电子设备和存储介质

技术领域

本申请属于电子设备技术领域，具体涉及一种可穿戴显示设备、控制方法、装置、电子设备和存储介质。

背景技术

在相关技术中，扩展现实(Extended Reality，MR)眼镜等穿戴设备，通过设置在眼镜前方的摄像头拍摄外界环境的图像，并通过眼镜内部的显示屏幕显示外界环境图像，并通过显示控制，在外界环境图像中，叠加显示虚拟的物体，来营造出一个虚拟和现实相结合、可人机交互的环境。

上述扩展现实类设备显示的画面的可视角度一般在100°左右，通过摄像头拍摄的画面的中心部较为清晰，而画面的边缘处，由于摄像头处理焦点象限外的能力较弱，以及摄像头自身的镜头畸变等原因，导致边缘区域的画面会产生变形和失真。

当用户头部转动时，可穿戴设备和摄像头随着用户头部运动一并运动，因此拍摄的图像的焦点也随之变化，用户的视线焦点与摄像头焦点一致。而当用户头部没有运动，而是眼球转动时，摄像头的拍摄焦点不变，而用户人眼的焦点位置变化，当人眼的焦点落在画面边缘区域时，会由于画面失真影响显示效果。

发明内容

本申请实施例的目的是提供一种可穿戴显示设备、控制方法、装置、电子设备和存储介质，能够减少摄像头的镜头畸变问题对扩展现实的显示效果的影响。

第一方面，本申请实施例提供了一种可穿戴显示设备，包括：

本体，本体包括穿戴部；

摄像组件，设于本体，包括图像传感器和驱动部，图像传感器用于拍摄环境画面，驱动部用于驱动图像传感器相对本体转动；

显示屏，设于穿戴部内，显示屏用于显示环境画面；

眼球传感器，设于穿戴部，眼球传感器用于获取可穿戴显示设备的穿戴者的瞳孔位置；

控制器，与摄像组件和眼球传感器电连接，用于根据瞳孔位置确定目标焦点，并根据目标焦点控制驱动部驱动图像传感器转动，其中，转动后的图像传感器的拍摄焦点与目标焦点相匹配；根据目标交点，在显示屏上确定第一显示区域和第二显示区域，其中，第一显示区域中的像素点与目标焦点之间的距离值小于预设阈值，第二显示区域中的像素点与目标焦点之间的距离值大于预设阈值；控制降低第二显示区域的显示分辨率和/或显示亮度。

第二方面，本申请实施例提供了一种控制方法，应用于如第一方面的可穿戴显示设备，控制方法包括：

在显示环境画面的情况下，获取可穿戴显示设备的穿戴者的瞳孔位置；

根据瞳孔位置，确定目标焦点；

根据目标焦点控制可穿戴显示设备的驱动部驱动图像传感器转动，其中，转动后的图像传感器的拍摄焦点与目标焦点相匹配；

根据目标交点，在显示屏上确定第一显示区域和第二显示区域，其中，第一显示区域中的像素点与目标焦点之间的距离值小于预设阈值，第二显示区域中的像素点与目标焦点之间的距离值大于预设阈值；

控制降低第二显示区域的显示分辨率和/或显示亮度。

第三方面，本申请实施例提供了一种控制装置，应用于如第一方面的可穿戴显示设备，控制装置包括：

获取模块，用于在显示环境画面的情况下，获取可穿戴显示设备的穿戴者的瞳孔位置；

确定模块，用于根据瞳孔位置，确定目标焦点；

控制模块，用于根据目标焦点控制可穿戴显示设备的驱动部驱动图像传感器转动，其中，转动后的图像传感器的拍摄焦点与目标焦点相匹配；

确定模块，还用于根据目标交点，在显示屏上确定第一显示区域和第二显示区域，其中，第一显示区域中的像素点与目标焦点之间的距离值小于预设阈值，第二显示区域中的像素点与目标焦点之间的距离值大于预设阈值；

控制模块，还用于控制降低第二显示区域的显示分辨率和/或显示亮度。

第四方面，本申请实施例提供了一种电子设备，包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第二方面的方法的步骤。

第五方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第二方面的方法的步骤。

第六方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第二方面的方法的步骤。

第七方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第二方面的方法。

在本申请实施例中，可穿戴显示设备包括摄像组件、眼球传感器和显示屏，通过显示屏来显示摄像组件拍摄到的环境画面，其中，眼球传感器能够监测穿戴用户的瞳孔位置，从而根据瞳孔位置判断当前用户的视线焦点位置，也即目标焦点。

摄像组件包括图像传感器和驱动部，在用户的视线焦点与图像传感器的拍摄焦点一致时，驱动部保持图像传感器不动。当用户眼球转动，视线焦点移动时，驱动部根据采集到的目标焦点的位置，驱动图像传感器转动，具体为驱动图像传感器改变拍摄方向，从而使拍摄方向与用户的视线方向一致，使得图像传感器拍摄环境画面的焦点，始终能够与用户的视线焦点，也即目标焦点保持一致，从而使得用户的视线焦点总是能够处于环境画面的中心位置，从而避免用户视线焦点落到摄像组件拍摄的环境画面的边缘区域，也即可能存在画面畸变或失真的区域，从而能够使用户总是看到最清晰的画面部分，有效地减少摄像头的镜头畸变问题对扩展现实的显示效果的影响，同时能够根据用户视线焦点来动态调整画面清晰度，保证用户看到的画面总是清晰的画面的基础上，降低屏幕能耗。

附图说明

图1示出了根据本申请实施例的可穿戴显示设备的结构示意图；

图2示出了根据本申请实施例的控制方法的流程图；

图3示出了人眼的可视角度的示意图之一；

图4示出了人眼的可视角度的示意图之二；

图5示出了第一时刻下人眼视椎体的示意图；

图6示出了第二时刻下人眼视椎体的示意图；

图7示出了视椎体到规则观察体的转换示意图；

图8示出了右手坐标系中顶点在相机空间中的示意图；

图9示出了根据本申请实施例的可穿戴设备显示静态内容的示意图；

图10示出了根据本申请实施例的可穿戴设备显示动态内容的示意图；

图11示出了根据本申请实施例的控制装置的结构框图；

图12示出了根据本申请实施例的电子设备的结构框图；

图13为实现本申请实施例的一种电子设备的硬件结构示意图。

附图标记：

100可穿戴显示设备，102本体，1022穿戴部，104摄像组件，1042图像传感器，1044驱动部，106显示屏，108眼球传感器，110控制器。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的可穿戴显示设备、控制方法、装置、电子设备和存储介质进行详细地说明。

在本申请的一些实施例中，提供了一种可穿戴显示设备，图1示出了根据本申请实施例的可穿戴显示设备的结构示意图，如图1所示，可穿戴显示设备100包括：

本体102，本体102包括穿戴部1022；

摄像组件104，设于本体102，包括图像传感器1042和驱动部1044，图像传感器1042用于拍摄环境画面，驱动部1044用于驱动图像传感器1042相对本体102转动；

显示屏106，设于穿戴部1022内，显示屏106用于显示环境画面；

眼球传感器108，设于穿戴部1022，眼球传感器108用于获取可穿戴显示设备100的穿戴者的瞳孔位置；

控制器110，与摄像组件104和眼球传感器108电连接，用于根据瞳孔位置确定目标焦点，并根据目标焦点控制驱动部1044驱动图像传感器1042转动，其中，转动后的图像传感器1042的拍摄焦点与目标焦点相匹配；根据目标交点，在显示屏上确定第一显示区域和第二显示区域，其中，第一显示区域中的像素点与目标焦点之间的距离值小于预设阈值，第二显示区域中的像素点与目标焦点之间的距离值大于预设阈值；控制降低第二显示区域的显示分辨率和/或显示亮度。

在本申请实施例中，可穿戴显示设备100包括扩展现实显示设备、虚拟现实(Virtual Reality、VR)显示设备、增强现实(Augmented Reality，AR)显示设备和混合现实(Mixed Reality，XR)显示设备等。

可穿戴显示设备100包括本体102，本体102可以是眼镜本体102、头盔本体102或眼罩本体102，本体102上包括穿戴部1022，穿戴部1022包括如眼镜框、头盔面罩等，在用户将可穿戴显示设备100的本体102穿戴到头部位置后，穿戴部1022的至少部分覆盖用户的眼部。

可穿戴设备还包括摄像组件104和显示屏106，摄像组件104具体设置在本体102上，朝向用户的视线方向设置，摄像组件104的数量可以是一个或多个，如图1所示，摄像组件104可以分别设置在眼镜的两侧。摄像组件104能够拍摄当前用户视线方向上的环境图像，显示屏106能够实时显示射线组件拍摄到的环境图像，用户通过显示屏106显示的环境图像来掌握真实的环境信息，从而模拟人眼观察世界的真实情景。

当用户佩戴可穿戴设备时，如果用户转动头部，则可穿戴设备和其上的摄像组件104随用户的头部运动而同步运动，当用户向左转头时，摄像组件104的朝向也同步向左，因此此时摄像组件104的拍摄焦点与用户视线焦点同步。

而当用户不转动头部，而是转动眼球时，摄像组件104的朝向不变，拍摄焦点也不变，而用户的视线焦点移动，则会导致用户的视线焦点与摄像组件104的拍摄焦点不匹配，用户的视线焦点，也即注视的画面可能离开了射线组件拍摄到的环境画面的最佳显示区域，当用户的视线焦点落在画面边缘区域时，由于摄像头处理焦点象限外的能力较弱，以及摄像头自身的镜头畸变等原因，可能使用户看到的画面存在变形、失真的情况，影响显示效果。

针对上述情况，本申请在穿戴部1022设置眼球传感器108，眼球传感器108能够实时采集用户的瞳孔的位置，控制器110根据眼球传感器108采集到的用户的瞳孔位置，能够确定出用户的视线焦点，也即目标焦点。

同时，设置摄像组件104包括图像传感器1042和驱动部1044，其中，图像传感器1042可以包括传感器本体102和镜头，驱动部1044可以是电机驱动部1044，通过电机驱动部1044驱动图像传感器1042相对于可穿戴显示设备100的本体102转动，从而改变镜头朝向，视线改变图像传感器1042的拍摄焦点。

具体地，当用户的视线焦点与图像传感器1042的拍摄焦点一致时，控制器110控制驱动部1044不工作，图像传感器1042的朝向不变。当用户眼球转动，视线焦点移动时，控制器110根据采集到的瞳孔位置确定目标焦点，并根据目标焦点控制驱动部1044驱动图像传感器1042转动，具体为驱动图像传感器1042改变拍摄方向，从而使拍摄方向与用户的视线方向一致，使得图像传感器1042拍摄环境画面的焦点，始终能够与用户的视线焦点，也即目标焦点保持一致，从而使得用户的视线焦点总是能够处于环境画面的中心位置。

在确定用户的视线焦点后，进一步在显示屏上确定第一显示区域和第二显示区域，其中，第一显示区域是显示屏106的显示区域的中心区域，也即用户的视觉焦点躲在的区域，第二显示区域是显示屏106的显示区域的边缘区域，也即远离用户的视觉焦点的区域。

具体地，由于本申请通过设置驱动部1044和眼球传感器108，使得摄像组件104能够跟随用户的瞳孔位置转动，从而使摄像组件104的拍摄焦点，总是能够与用户的视线焦点，也即目标焦点相匹配，而摄像组件104的拍摄焦点与拍摄得到的环境画面的中心区域相匹配，因此拍摄焦点、目标焦点总是处于环境画面的中心区域，也即显示屏106的显示区域的中心区域，也即第一显示区域。

因此，可以认为用户的视觉注意力集中在第一显示区域内，而第二显示区域内的画面则处于用户的“余光”区域。

针对用户关注的第一显示区域，也即摄像组件104的拍摄焦点区域，以相对更高的分辨率和/或更高的亮度进行显示，能够保证显示效果，使用户总是能够看到高清画面。

而对于用户不关注的第二显示区域，则以相对更低的分辨率和/或更低的亮度进行显示，能够有效地减少显示屏106幕的显示能耗，从而提高可穿戴显示设备100的续航水平。

本申请实施例通过设置眼球传感器108和驱动部1044，使得摄像组件104的拍摄焦点能够跟随用户的视线焦点，能够使用户的视线焦点保持在摄像组件104拍摄的环境画面的中心位置，减少或避免用户视线焦点落到摄像组件104拍摄的环境画面的边缘区域等可能存在画面畸变、画面失真的区域，使用户看到的画面总是摄像组件104拍摄的最清晰的画面部分，有效地减少摄像头的镜头畸变问题对扩展现实的显示效果的影响，同时能够根据用户视线焦点来动态调整画面清晰度，保证用户看到的画面总是清晰的画面的基础上，降低屏幕能耗。

在本申请实施例中，控制器110与显示屏106电连接，控制器110还用于确定目标对象的显示坐标，显示屏106的显示内容包括环境画面和目标对象，目标对象的显示位置与显示坐标相匹配。

在本申请实施例中，可穿戴显示设备100能够根据选定的程序，在显示屏106上显示虚拟的目标对象。具体地，控制器110根据选定的程序，确定目标对象的显示坐标，该显示坐标即目标对象在显示屏106上的坐标。显示屏106在显示环境画面的同时，显示目标对象，也即将虚拟的目标对象与真实的环境画面相结合，从而实现“真实世界”与“虚拟世界”相互融合的效果。

在本申请实施例中，显示屏106的显示区域，包括第一显示区域和第二显示区域。其中，第一显示区域是显示屏106的显示区域的中心区域，第二显示区域是显示屏106的显示区域的边缘区域。

具体地，由于本申请通过设置驱动部1044和眼球传感器108，使得摄像组件104能够跟随用户的瞳孔位置转动，从而使摄像组件104的拍摄焦点，总是能够与用户的视线焦点，也即目标焦点相匹配，而摄像组件104的拍摄焦点与拍摄得到的环境画面的中心区域相匹配，因此拍摄焦点、目标焦点总是处于环境画面的中心区域，也即显示屏106的显示区域的中心区域，也即第一显示区域。

因此，可以认为用户的视觉注意力集中在第一显示区域内，而第二显示区域内的画面则处于用户的“余光”区域。

针对用户关注的第一显示区域，也即摄像组件104的拍摄焦点区域，以相对更高的分辨率和/或更高的亮度进行显示，能够保证显示效果，使用户总是能够看到高清画面。

而对于用户不关注的第二显示区域，则以相对更低的分辨率和/或更低的亮度进行显示，能够有效地减少显示屏106幕的显示能耗，从而提高可穿戴显示设备100的续航水平。

在本申请的一些实施例中，提供了一种控制方法，应用于如上述任一技术方案中提供的可穿戴显示设备，图2示出了根据本申请实施例的控制方法的流程图，如图2所示，方法包括：

步骤202，在显示环境画面的情况下，获取可穿戴显示设备的穿戴者的瞳孔位置；

步骤204，根据瞳孔位置，确定目标焦点；

步骤206，根据目标焦点控制可穿戴显示设备的驱动部驱动图像传感器转动；

其中，转动后的图像传感器的拍摄焦点与目标焦点相匹配；

步骤208，根据目标交点，在显示屏上确定第一显示区域和第二显示区域；

其中，第一显示区域中的像素点与目标焦点之间的距离值小于预设阈值，第二显示区域中的像素点与目标焦点之间的距离值大于预设阈值；

步骤210，控制降低第二显示区域的显示分辨率和/或显示亮度。

在本申请实施例中，可穿戴设备还包括摄像组件和显示屏，摄像组件能够拍摄当前用户视线方向上的环境图像，显示屏能够实时显示射线组件拍摄到的环境图像，用户通过显示屏显示的环境图像来掌握真实的环境信息，从而模拟人眼观察世界的真实情景。

穿戴部上设置有眼球传感器，在显示环境画面时，眼球传感器能够实时采集用户的瞳孔的位置，控制器根据眼球传感器采集到的用户的瞳孔位置，能够确定出用户的视线焦点，也即目标焦点。

摄像组件包括图像传感器和驱动部，驱动部驱动图像传感器相对于可穿戴显示设备的本体转动，从而改变镜头朝向，视线改变图像传感器的拍摄焦点。当用户眼球转动，视线焦点移动时，根据采集到的瞳孔位置确定目标焦点，并根据目标焦点控制驱动部驱动图像传感器转动。具体为驱动图像传感器改变拍摄方向，从而使拍摄方向与用户的视线方向一致，使得图像传感器拍摄环境画面的焦点，始终能够与用户的视线焦点，也即目标焦点保持一致，从而使得用户的视线焦点总是能够处于环境画面的中心位置。

如图1所示，此时人眼瞳孔的视觉焦点处于视锥区1，此时若摄像头焦点若处于垂直设备角度时，对于视锥区1内的部分区域，特别是边缘位置容易由于摄像头对焦不齐、边沿镜头畸变等原因造成摄像头反求误差。

具体地，图3示出了人眼的可视角度的示意图之一，图4示出了人眼的可视角度的示意图之二，如图3和图4所示，人眼的最大可使角度约为220°，越接近标准视线的0°区域，人眼的专注度越高。

图5示出了第一时刻下人眼视椎体的示意图，如图5所示，设在第一时刻下，可穿戴显示设备渲染并显示的人眼前方的视椎体为α，摄像组件拍摄的环境画面的渲染角度为α’。

图6示出了第二时刻下人眼视椎体的示意图，如图6所示，当用户的瞳孔位置移动后，设此时人眼前方的视椎体为β，摄像组件拍摄的环境画面的渲染角度为β’。

相关技术中的XR显示设备实时渲染的顺序为摄像头反球求、反复计算和3D实施建模，当用户的瞳孔位置移动时，瞳孔视觉角度捕获的视锥体角度会偏离摄像头的渲染角度，在偏离较小时设备渲染的景象并不会有什么差别，但是偏离角度过大，摄像头由于镜头畸变引起的反求透视算法产生误差，那么渲染的3D物体不能很好地贴合实际环境。

为了解决此类问题，通过跟踪用户人眼的瞳孔位置，来确定目标焦点，并同步变换摄像组件的拍摄焦点，保持视锥体的中央始终与摄像头的拍摄焦点相匹配，因此设备渲染的3D物体就可以很好地贴合实际的环境画面。

通过眼球传感器进行眼球追踪，捕获人眼注视点，也即目标焦点移动到了视锥区域1是，将瞳孔位置信息，包括瞳孔角度和瞳孔移动速率等信息传递给控制器，通过驱动部控制摄像组件跟随瞳孔同步转动，使人眼瞳孔的目标焦点和摄像头视觉的拍摄焦点始终处于同一位置，使摄像头反求的画面(XR虚拟物体)始终与人眼视锥区(现实场景)得以匹配。

同理，当人眼瞳孔视觉焦点从视锥区1移动到视锥区2时，根据采集到的瞳孔位置信息控制摄像头跟随瞳孔同步移动，使人眼瞳孔的目标焦点和摄像头的拍摄焦点同处于视锥区2，可以保证摄像头反求的渲染精度，使得XR设备总是可以呈现精细化的虚拟场景，贴合实际环境，减少设备对人体产生晕眩感。

在确定用户的视线焦点后，进一步在显示屏上确定第一显示区域和第二显示区域，其中，第一显示区域是显示屏的显示区域的中心区域，也即用户的视觉焦点躲在的区域，第二显示区域是显示屏的显示区域的边缘区域，也即远离用户的视觉焦点的区域。

具体地，由于本申请通过设置驱动部和眼球传感器，使得摄像组件能够跟随用户的瞳孔位置转动，从而使摄像组件的拍摄焦点，总是能够与用户的视线焦点，也即目标焦点相匹配，而摄像组件的拍摄焦点与拍摄得到的环境画面的中心区域相匹配，因此拍摄焦点、目标焦点总是处于环境画面的中心区域，也即显示屏的显示区域的中心区域，也即第一显示区域。

因此，可以认为用户的视觉注意力集中在第一显示区域内，而第二显示区域内的画面则处于用户的“余光”区域。

针对用户关注的第一显示区域，也即摄像组件的拍摄焦点区域，以相对更高的分辨率和/或更高的亮度进行显示，能够保证显示效果，使用户总是能够看到高清画面。

而对于用户不关注的第二显示区域，则以相对更低的分辨率和/或更低的亮度进行显示，能够有效地减少显示屏幕的显示能耗，从而提高可穿戴显示设备的续航水平。

本申请实施例通过采集用户的瞳孔位置，根据瞳孔位置控制摄像组件转动，使得摄像组件的拍摄焦点能够跟随用户的视线焦点，能够使用户的视线焦点保持在摄像组件拍摄的环境画面的中心位置，减少或避免用户视线焦点落到摄像组件拍摄的环境画面的边缘区域等可能存在画面畸变、画面失真的区域，使用户看到的画面总是摄像组件拍摄的最清晰的画面部分，有效地减少摄像头的镜头畸变问题对扩展现实的显示效果的影响，同时能够根据用户视线焦点来动态调整画面清晰度，保证用户看到的画面总是清晰的画面的基础上，降低屏幕能耗。

在本申请的一些实施例中，在根据瞳孔位置，确定目标焦点之前，控制方法还包括：

确定目标对象的显示坐标；

根据显示坐标显示目标对象，其中，可穿戴显示设备的显示内容包括环境画面和目标对象。

在本申请实施例中，可穿戴显示设备能够根据选定的程序，在显示屏上显示虚拟的目标对象。具体地，控制器根据选定的程序，确定目标对象的显示坐标，该显示坐标即目标对象在显示屏上的坐标。显示屏在显示环境画面的同时，显示目标对象，也即将虚拟的目标对象与真实的环境画面相结合，从而实现“真实世界”与“虚拟世界”相互融合的效果。

在本申请的一些实施例中，确定目标对象的显示坐标，包括：

获取穿戴者的眼球与显示屏之间的距离值；

根据距离值和目标对象在穿戴者的视椎体中的视椎体坐标，确定第一变换矩阵；

根据第一变换矩阵，确定目标对象在显示屏所在的平面的第一投影坐标，根据第一投影坐标确定显示坐标。

在本申请实施例中，确定显示坐标的过程，也即将目标对象上的点P由用户的视椎体转换至规则观察体，并得到在投影平面的点P’的过程，其中，可穿戴显示设备的显示屏所在的平面也即该投影平面。

具体地，图7示出了视椎体到规则观察体的转换示意图，如图7所示，确定目标对象的显示坐标，具体是将相机空间中的点从视锥体(View frustum)变换到规则观察体(Canonical View Volume，CVV)中，待裁剪完毕后进行透视除法的行为，在算法中具体包括通过透视矩阵乘法和透视除法。

其中，透视投影变换使用齐次坐标变换进行计算，包括以下步骤：

1、用透视变换矩阵把顶点从视锥体中变换到裁剪空间的CVV中；

2、CVV裁剪完成后进行透视除法。

可以在一个固定方向上考虑投影关系，图8示出了右手坐标系中顶点在相机空间中的示意图，如图8所示，设P(x，z)是经过相机变换之后的点，视椎体包括眼睛位置eye，近裁剪平面np和远裁剪平面fp，设眼睛eye到近裁剪平面np(也即显示屏)的距离为N，眼睛eye到远裁剪平面的距离为F。

投影平面可以是与近裁剪平面相平行的任意平面，为方便说明，以近裁剪平面为投影平面进行举例。设P’(x’，z’)是投影之后的点，则有z’＝-N。通过似三角形性质，有如下关系：

由上述关系式(1)可得P点在投影平面上投影后的P’点：

其中，(x，z)是经过相机变换之后的点P的坐标，(x’，z’)是点P在投影平面上的投影的点P’的坐标，

由上述关系式(2)可以得到，投影的结果中的z’始终等于-N，因此在投影面上z’对于投影后的P’已经没有意义了，这个信息点已经没用了，但对于3D图形管线来说，为了便于进行后面的操作，开始结合CVV进行操作，更易便于处理，因此可以得到以下关系式：

其中，(x，y)是经过相机变换之后的点P的坐标，(x’，z’)是点P在投影平面上的投影的点P’的坐标，N为眼睛eye到近裁剪平面np的距离，a和b为常数。

根据上述关系式(3)，用矩阵以及齐次坐标变换理论来表达投影变换，可以得到：

其中，经过相机变换之后的点P的初始坐标和投影后的点P’的坐标分别为：

得到关系式(5)的过程在透视投影过程中称为透视除法(PerspectiveDivision)，经过这个过程，丢弃了原始的z值，顶点才算完成了投影。之间的就是CVV裁剪过程，CVV是一个(x，y，z)的范围都为[-1，1]的规则体，便于进行多边形裁剪。此处可以适当的选择系数a和b，使得关系式(3)和关系式(5)中的：

的部分在z＝-N的时候值为-1，在z＝-F的时候值为1，从而在z方向上构建CVV，此时可以求出a和b：

其中，N为眼睛eye到近裁剪平面np的距离，F为眼睛eye到远裁剪平面的距离，a和b是所求的系数。

至此，在得到a和b的值后，就可以得到投影矩阵，该投影矩阵可以从z方向上构建CVV，同时，为了能在x方向和y方向上把定点从Frustum情形变成CVV情形，定义-Nx/z的有效范围是投影平面的左边界值和右边界值，分别记为left和right，则得到-Nx/z属于[left，right]，同理，定义-Ny/z属于[bottom，top]。

进一步地，将-Nx/z属于[left，right]映射到x属于[-1，1]中，将-Ny/z属于[bottom，top]映射到y属于[-1，1]中，得到最终的第一变换矩阵：

其中，P’为第一投影坐标，N为眼睛eye到近裁剪平面np的距离，F为眼睛eye到远裁剪平面的距离，z＝-N或z＝-F，a和b是系数，且a和b为常数，left是投影平面的左边界值，right为投影平面的右边界值，top为投影平面的上边界值，bottom为投影平面的下边界值。

通过第一变换矩阵，能够将目标对象由人眼视椎体变换投影到CVV平面，如果目标对象在视椎体中，则变换后的目标对象就在CVV中，如果目标对象在视椎体外，则变换后的目标对象在CVV外。

本申请基于眼球与显示屏之间的距离值，和确定的第一变换矩阵来确定目标对象在显示屏上所在的投影平面上的第一投影坐标，并确定得到目标对象的显示坐标，从而能够准确的得到目标对象的显示坐标，从而将虚拟的目标对象结合到现实的环境画面中，保证可穿戴显示设备的显示效果。

在本申请的一些实施例中，目标对象为运动的对象，在确定目标对象的显示坐标之后，控制方法还包括：

判断目标焦点与目标对象的显示位置是否匹配；

在目标焦点与显示位置相匹配的情况下，获取目标对象的运动信息，其中，运动信息包括运动方向、运动轨迹和运动速度；

根据运动信息和显示坐标，确定预测焦点；

在根据目标焦点控制可穿戴显示设备的驱动部驱动图像传感器转动之后，控制方法还包括：

根据预测焦点控制可穿戴显示设备的驱动部驱动图像传感器转动，其中，转动后的图像传感器的拍摄焦点与预测焦点相匹配。

在本申请实施例中，可穿戴显示设备的显示屏所显示的内容，包括静态内容或动态内容，其中，静态内容即目标对象的显示位置固定不变的情况，图9示出了根据本申请实施例的可穿戴设备显示静态内容的示意图，如图9所示，目标对象为蝴蝶902，蝴蝶902的显示位置不变，因此可以正常根据用户的瞳孔位置控制图像传感器转动，从而保证用户的视线焦点，也即目标焦点与拍摄焦点重合。

而动态内容即目标对象的显示位置会按照程序设定好的运动方式而改变的情况，图10示出了根据本申请实施例的可穿戴设备显示动态内容的示意图，如图10所示，目标对象为蝴蝶1002，按照设定好的运动方式，蝴蝶会在设定时长内，由第一位置1004运动至第二位置1006。

由于用户在通过可穿戴显示设备观看虚拟世界和现实世界的结合画面时，用户的注意力很可能在虚拟世界上，也即用户可能长时间注视虚拟的目标对象。而当目标对象运动时，用户的视线焦点也会追随目标对象运动。而当用户的视线焦点的移动速度超过摄像组件运动的速度上限时，可能会出现拍摄焦点追不上目标焦点的情况。

对于这种情况，由于目标对象的运动方式是程序设定好的，因此可穿戴显示设备实际上是能够“预测”目标对象在一段时间后的位置的，当用户注视目标对象时，可穿戴显示设备预测到的目标对象在一段时间后的位置，也就是用户的视线焦点，也即目标焦点在一段时间后的位置。

具体地，可穿戴电子设备判断用户的视线焦点，也即目标焦点是否与目标对象的显示位置相匹配，如果判断结果为不匹配，则说明用户视线没有追随目标对象运动，此时无需预测用户的视线焦点变化。

如果判断结果为匹配，则说明用户正在注视目标对象，此时根据设定好的程序，获取目标对象的运动信息，如目标对象的运动方向、运动轨迹和运动速度等，结合目标对象的运动信息，和当前目标对象的显示坐标，能够预测一段时间后，目标对象的显示位置，该预测得到的显示位置也就是一段时间后，用户视线的焦点位置，记为预测焦点。

在得到预测焦点后，以预测焦点为目标，控制驱动部提前驱动图像传感器转动，从而提前将摄像组件的拍摄焦点向预测焦点移动，从而能够最大程度上保证用户的视线焦点，也即目标焦点与摄像组件的拍摄焦点重合。

本申请实施例通过根据目标对象的运动信息，提前预测用户的视线焦点的位置，从而提前控制摄像组件转动，以此来减少因用户视线焦点的移动速度超过摄像组件运动速度，导致拍摄焦点追不上用户视线焦点的情况，因此能够减少用户视线焦点落到画面边缘，减轻镜头畸变对显示效果的影响。

在本申请的一些实施例中，根据运动信息和显示坐标，确定预测焦点，包括：

获取穿戴者的眼球与显示屏之间的距离值；

根据距离值、目标对象在穿戴者的视椎体中的视椎体坐标、运动信息和预设时长，确定第二变换矩阵；

根据第二变换矩阵，确定预设时长后，目标对象在显示屏所在的平面的第二投影坐标；

根据第二投影坐标确定预测焦点。

在本申请实施例中，预测焦点具体是可穿戴显示设备根据目标对象的运动信息预测的，在预设时长后，目标对象的显示位置，当用户注视目标对象时，预设时长后用户的视线焦点，也即目标焦点也会追随目标对象的显示位置变化而变化，因此预设时长后目标对象的显示位置，也是预设时长后用户的视线焦点位置，也即预测焦点。

具体地，如图10所示，假设当前时刻t0时，蝴蝶在用户视锥区的坐标为P(t0)，在投影区的坐标，也即显示坐标为P’(t0)，设预设时长为△t，蝴蝶的运动速度为v，则在预设时长△t后，蝴蝶在用户视锥区的坐标为P(t0+△t)，显示坐标为P’(t0+△t)。

根据上述实施例的第一变换矩阵，可以知当前时刻t0下，P’(t0)的关系式为：

其中，P’(t0)为目标对象在t0时刻下的投影坐标，N为用户眼睛eye到近裁剪平面np的距离，F为眼睛eye到远裁剪平面的距离，z＝-N或z＝-F，a和b是系数，且a和b为常数，left是投影平面的左边界值，right为投影平面的右边界值，top为投影平面的上边界值，bottom为投影平面的下边界值。

根据目标对象的运动信息，在人眼视线焦点随目标对象的运动移动式，提前按照目标对象的运动路径，预测预设时长△t后的预测时间点t1时的预测焦点，其中，t1＝t0+△t。

设预设时长△t后的预测焦点为P’(t1)，则可以确定第二变换矩阵为：

其中，P’(t1)为目标对象在t1时刻下的投影坐标，△t为预设时长t1＝t0+△t，v为目标对象的运动速度，N为用户眼睛eye到近裁剪平面np的距离，F为眼睛eye到远裁剪平面的距离，z＝-N或z＝-F，a和b是系数，且a和b为常数，left是投影平面的左边界值，right为投影平面的右边界值，top为投影平面的上边界值，bottom为投影平面的下边界值。

通过第二变换矩阵(关系式(9))即可预测预设时长后，目标对象的位置，也即预测焦点的位置。

本申请实施例通过第二变换矩阵预测用户的视线焦点的位置，从而提前控制摄像组件转动，以此来减少因用户视线焦点的移动速度超过摄像组件运动速度，导致拍摄焦点追不上用户视线焦点的情况，因此能够减少用户视线焦点落到画面边缘，减轻镜头畸变对显示效果的影响。

本申请实施例提供的控制方法，执行主体可以为控制装置。本申请实施例中以控制装置执行控制的方法为例，说明本申请实施例提供的控制的装置。

在本申请的一些实施例中，提供了一种控制装置，图11示出了根据本申请实施例的控制装置的结构框图，如图11所示，控制装置1100包括：

获取模块1102，用于在显示环境画面的情况下，获取可穿戴显示设备的穿戴者的瞳孔位置；

确定模块1104，用于根据瞳孔位置，确定目标焦点；

控制模块1106，用于根据目标焦点控制可穿戴显示设备的驱动部驱动图像传感器转动，其中，转动后的图像传感器的拍摄焦点与目标焦点相匹配；

确定模块，还用于根据目标交点，在显示屏上确定第一显示区域和第二显示区域，其中，第一显示区域中的像素点与目标焦点之间的距离值小于预设阈值，第二显示区域中的像素点与目标焦点之间的距离值大于预设阈值；

控制模块，还用于控制降低第二显示区域的显示分辨率和/或显示亮度。

本申请实施例通过采集用户的瞳孔位置，根据瞳孔位置控制摄像组件转动，使得摄像组件的拍摄焦点能够跟随用户的视线焦点，能够使用户的视线焦点保持在摄像组件拍摄的环境画面的中心位置，减少或避免用户视线焦点落到摄像组件拍摄的环境画面的边缘区域等可能存在画面畸变、画面失真的区域，使用户看到的画面总是摄像组件拍摄的最清晰的画面部分，有效地减少摄像头的镜头畸变问题对扩展现实的显示效果的影响，同时能够根据用户视线焦点来动态调整画面清晰度，保证用户看到的画面总是清晰的画面的基础上，降低屏幕能耗。

在本申请的一些实施例中，确定模块，用于确定目标对象的显示坐标；

控制装置，还包括：

显示模块，用于根据显示坐标显示目标对象，其中，可穿戴显示设备的显示内容包括环境画面和目标对象。

在本申请实施例中，可穿戴显示设备能够根据选定的程序，在显示屏上显示虚拟的目标对象。具体地，控制器根据选定的程序，确定目标对象的显示坐标，该显示坐标即目标对象在显示屏上的坐标。显示屏在显示环境画面的同时，显示目标对象，也即将虚拟的目标对象与真实的环境画面相结合，从而实现“真实世界”与“虚拟世界”相互融合的效果。

在本申请的一些实施例中，获取模块，还用于获取穿戴者的眼球与显示屏之间的距离值；

确定模块，还用于：

根据距离值和目标对象在穿戴者的视椎体中的视椎体坐标，确定第一变换矩阵；

根据第一变换矩阵，确定目标对象在显示屏所在的平面的第一投影坐标，根据第一投影坐标确定显示坐标。

本申请基于眼球与显示屏之间的距离值，和确定的第一变换矩阵来确定目标对象在显示屏上所在的投影平面上的第一投影坐标，并确定得到目标对象的显示坐标，从而能够准确的得到目标对象的显示坐标，从而将虚拟的目标对象结合到现实的环境画面中，保证可穿戴显示设备的显示效果。

在本申请的一些实施例中，目标对象为运动的对象，控制装置还包括：

判断模块，用于判断目标焦点与目标对象的显示位置是否匹配；

获取模块，还用于在目标焦点与显示位置相匹配的情况下，获取目标对象的运动信息，其中，运动信息包括运动方向、运动轨迹和运动速度；

确定模块，还用于根据运动信息和显示坐标，确定预测焦点；

控制模块，还用于根据预测焦点控制可穿戴显示设备的驱动部驱动图像传感器转动，其中，转动后的图像传感器的拍摄焦点与预测焦点相匹配。

本申请实施例通过根据目标对象的运动信息，提前预测用户的视线焦点的位置，从而提前控制摄像组件转动，以此来减少因用户视线焦点的移动速度超过摄像组件运动速度，导致拍摄焦点追不上用户视线焦点的情况，因此能够减少用户视线焦点落到画面边缘，减轻镜头畸变对显示效果的影响。

在本申请的一些实施例中，获取模块，还用于获取穿戴者的眼球与显示屏之间的距离值；

确定模块，还用于：

根据距离值、目标对象在穿戴者的视椎体中的视椎体坐标、运动信息和预设时长，确定第二变换矩阵；

根据第二变换矩阵，确定预设时长后，目标对象在显示屏所在的平面的第二投影坐标；

根据第二投影坐标确定预测焦点。

本申请实施例通过第二变换矩阵预测用户的视线焦点的位置，从而提前控制摄像组件转动，以此来减少因用户视线焦点的移动速度超过摄像组件运动速度，导致拍摄焦点追不上用户视线焦点的情况，因此能够减少用户视线焦点落到画面边缘，减轻镜头畸变对显示效果的影响。

本申请实施例中的控制装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的控制装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的控制装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，本申请实施例还提供一种电子设备，图12示出了根据本申请实施例的电子设备的结构框图，如图12所示，电子设备1200包括处理器1202，存储器1204，存储在存储器1204上并可在处理器1202上运行的程序或指令，该程序或指令被处理器1202执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图13为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1300包括但不限于：射频单元1301、网络模块1302、音频输出单元1303、输入单元1304、传感器1305、显示单元1306、用户输入单元1307、接口单元1308、存储器1309以及处理器1310等部件。

本领域技术人员可以理解，电子设备1300还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1310逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图13中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1310用于用户显示环境画面的情况下，获取可穿戴显示设备的穿戴者的瞳孔位置；根据瞳孔位置，确定目标焦点；根据目标焦点控制可穿戴显示设备的驱动部驱动图像传感器转动，其中，转动后的图像传感器的拍摄焦点与目标焦点相匹配；根据目标交点，在显示屏上确定第一显示区域和第二显示区域，其中，第一显示区域中的像素点与目标焦点之间的距离值小于预设阈值，第二显示区域中的像素点与目标焦点之间的距离值大于预设阈值；控制降低第二显示区域的显示分辨率和/或显示亮度。

本申请实施例通过采集用户的瞳孔位置，根据瞳孔位置控制摄像组件转动，使得摄像组件的拍摄焦点能够跟随用户的视线焦点，能够使用户的视线焦点保持在摄像组件拍摄的环境画面的中心位置，减少或避免用户视线焦点落到摄像组件拍摄的环境画面的边缘区域等可能存在画面畸变、画面失真的区域，使用户看到的画面总是摄像组件拍摄的最清晰的画面部分，有效地减少摄像头的镜头畸变问题对扩展现实的显示效果的影响，同时能够根据用户视线焦点来动态调整画面清晰度，保证用户看到的画面总是清晰的画面的基础上，降低屏幕能耗。

可选地，处理器1310还用于确定目标对象的显示坐标；显示单元1306还用于根据显示坐标显示目标对象，其中，可穿戴显示设备的显示内容包括环境画面和目标对象。

在本申请实施例中，可穿戴显示设备能够根据选定的程序，在显示屏上显示虚拟的目标对象。具体地，控制器根据选定的程序，确定目标对象的显示坐标，该显示坐标即目标对象在显示屏上的坐标。显示屏在显示环境画面的同时，显示目标对象，也即将虚拟的目标对象与真实的环境画面相结合，从而实现“真实世界”与“虚拟世界”相互融合的效果。

可选地，处理器1310还用于获取穿戴者的眼球与显示屏之间的距离值；根据距离值和目标对象在穿戴者的视椎体中的视椎体坐标，确定第一变换矩阵；根据第一变换矩阵，确定目标对象在显示屏所在的平面的第一投影坐标，根据第一投影坐标确定显示坐标。

本申请基于眼球与显示屏之间的距离值，和确定的第一变换矩阵来确定目标对象在显示屏上所在的投影平面上的第一投影坐标，并确定得到目标对象的显示坐标，从而能够准确的得到目标对象的显示坐标，从而将虚拟的目标对象结合到现实的环境画面中，保证可穿戴显示设备的显示效果。

可选地，处理器1310还用于判断目标焦点与目标对象的显示位置是否匹配；在目标焦点与显示位置相匹配的情况下，获取目标对象的运动信息，其中，运动信息包括运动方向、运动轨迹和运动速度；根据运动信息和显示坐标，确定预测焦点；根据预测焦点控制可穿戴显示设备的驱动部驱动图像传感器转动，其中，转动后的图像传感器的拍摄焦点与预测焦点相匹配。

本申请实施例通过根据目标对象的运动信息，提前预测用户的视线焦点的位置，从而提前控制摄像组件转动，以此来减少因用户视线焦点的移动速度超过摄像组件运动速度，导致拍摄焦点追不上用户视线焦点的情况，因此能够减少用户视线焦点落到画面边缘，减轻镜头畸变对显示效果的影响。

可选地，处理器1310还用于获取穿戴者的眼球与显示屏之间的距离值；根据距离值、目标对象在穿戴者的视椎体中的视椎体坐标、运动信息和预设时长，确定第二变换矩阵；根据第二变换矩阵，确定预设时长后，目标对象在显示屏所在的平面的第二投影坐标；根据第二投影坐标确定预测焦点。

本申请实施例通过第二变换矩阵预测用户的视线焦点的位置，从而提前控制摄像组件转动，以此来减少因用户视线焦点的移动速度超过摄像组件运动速度，导致拍摄焦点追不上用户视线焦点的情况，因此能够减少用户视线焦点落到画面边缘，减轻镜头畸变对显示效果的影响。

应理解的是，本申请实施例中，输入单元1304可以包括图形处理器(GraphicsProcessing Unit，GPU)13041和麦克风13042，图形处理器13041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1306可包括显示面板13061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板13061。用户输入单元1307包括触控面板13071以及其他输入设备13072中的至少一种。触控面板13071，也称为触摸屏。触控面板13071可包括触摸检测装置和触摸控制器两个部分。其他输入设备13072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1309可用于存储软件程序以及各种数据。存储器1309可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1309可以包括易失性存储器或非易失性存储器，或者，存储器1309可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1309包括但不限于这些和任意其它适合类型的存储器。

处理器1310可包括一个或多个处理单元；可选的，处理器1310集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1310中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。