用于成像设备的颜色校准的方法和系统

相关申请的交叉引用

本申请要求2018年7月24日提交的题为“用于成像设备的颜色校准的方法和系统”的美国临时专利申请No.62/702,809的优先权的权益，其内容通过引用全部合并于此。

背景技术

现代计算和显示技术已经促进了用于所谓“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以看起来是真实或者可被认为是真实的方式被呈现给观看者。虚拟现实(VR)场景通常涉及数字或虚拟图像信息的呈现，而无需对其它实际的真实世界视觉输入透明；增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现，作为对观看者周围的实际世界的可视化的增强。

尽管在这些显示技术上取得了进步，但是在本领域中需要与增强现实系统(特别是显示系统)有关的改进方法和系统。

发明内容

本发明的实施例通常针对增强现实系统，特别是显示系统。本发明的一些实施例针对在可穿戴VR(虚拟现实)或AR(增强现实)设备的校准中使用的数字相机的表征(characterization)。

根据一些实施例，提供了一种用于表征数字彩色相机的方法和系统，其被配置为实现一种利用低成本工业彩色相机来测量由设备生成的虚拟图像的色度和亮度的方法，该设备具有由窄带源(诸如LED或激光器)照射的彩色显示器和波导型光学元件，该波导型光学元件具有在虚拟图像的视场上进一步将光的主波长(以及因此的饱和度和色相)变窄并进行光谱偏移的特性，其中，波导型光学元件包含衍射结构。

根据一些实施例，一种用于表征数字彩色相机的方法包括：对于在场序彩色虚拟图像中使用的三原色中的每个原色，使用RGB(红绿蓝)值和颜色测量值来确定用于每个颜色的转换模型。选择红、绿、蓝原色中的第一原色以用于表征。该方法包括：使用具有表示可穿戴设备中的虚拟图像中的光束的光谱特性的原色的输入光束来照射显示设备。该方法包括：用数字彩色相机捕获显示设备的图像；根据图像确定每个原色的RGB值。该方法包括：用颜色测量设备捕获与在显示设备处的每个对应的原色相关联的颜色测量值，例如XYZ值，从而获取绝对颜色空间中的颜色测量值。使用RGB值和颜色测量值来确定用于每个颜色的转换模型。可针对另一个原色重复该过程。转换模型可与数字彩色相机一起用于显示设备的校准。

根据一些实施例，一种用于表征数字彩色相机的系统可以包括光源、光谱修改设备、积分球、数字彩色相机、分光辐射计和处理器。该系统被配置为使用光谱修改设备来修改光源的光输出，以模拟可穿戴设备的虚拟图像中的颜色。数字相机用于捕获图像的RGB数据，分光辐射计用于捕获XYZ数据。该系统被配置为对于在场序彩色虚拟图像中使用的三原色中的每个原色，确定由数字彩色相机RGB值捕获的每个显示颜色与绝对颜色空间中的颜色测量值之间的转换模型。

根据一些实施例，一种用于表征数字彩色相机的方法包括：对于在场序彩色虚拟图像中使用的三原色中的每个原色，使用具有表示可穿戴设备中的虚拟图像中的光束的光谱特性的原色的输入光束来照射显示设备。该方法包括：用数字彩色相机捕获显示设备的图像，并根据图像确定每个原色的RGB值。该相机被数字彩色相机的RGB颜色空间表征。该方法还包括：用颜色测量设备捕获与在显示设备处的每个对应的原色相关联的颜色测量值，从而获取绝对颜色空间中的颜色测量值。该方法进一步包括使用RGB值和颜色测量值来确定用于每个颜色的转换模型。

在上述方法的一些实施例中，该方法确定用于红、绿和蓝原色中的每个原色的转换模型。

在一些实施例中，该方法还包括：使用光源和光谱修改设备来提供输入光束，该光源和光谱修改设备提供表示虚拟图像的变窄和偏移后的光谱带。

在一些实施例中，光源是LED、激光器、或单色仪。

在一些实施例中，光谱修改设备可包括透镜系统和滤光器中的一个或多个。

在一些实施例中，该方法还包括通过以下过程中的一个或多个来改变输入光束的光谱含量：

改变输入光束的功率；

对输入光束施加脉宽调制(PWM)；

对光源进行滤光；以及

组合两个或更多个光源，从而提供跨越预期虚拟图像原色范围的数据。

在一些实施例中，显示设备是积分球或投影屏幕。

在一些实施例中，颜色测量设备是分光辐射计或比色计。

在一些实施例中，用于显示设备的转换模型包括3×3矩阵。

在一些实施例中，使用回归方法来计算3×3矩阵。

在一些实施例中，绝对颜色空间中的颜色测量值包括光谱或XYZ值。

在一些实施例中，颜色测量值在绝对颜色空间中，包括在CIE XYZ(CIE XYZ颜色空间)、CIE xyY(CIE xyY颜色空间)、CIELUV(CIE 1976L*，u*，v*颜色空间)、CIELab(CIE L*a*b*颜色空间)或LCh(CIE L*C*h*颜色空间)中的一个或多个值。

在一些实施例中，确定用于每个颜色的转换模型包括：组装数字彩色相机的RGB颜色空间中的来自被捕获图像的训练数据与对应的在绝对XYZ空间中的分光辐射计测量值，以及应用转换方法以生成将RGB训练数据转换成XYZ训练数据的转换模型。

在一些实施例中，应用转换方法包括线性回归、多项式回归、或神经网络。

在一些实施例中，转换方法进一步包括应用k折(k-fold)交叉验证、或留一法交叉验证。

根据本发明的一些实施例，提供了一种利用低成本工业彩色相机来测量由设备产生的虚拟图像的色度和亮度的方法，该设备具有由窄带源照射的场序彩色显示器和用于在视场上显示虚拟图像的波导型光学元件，该光学元件具有在虚拟图像的视场上将光的主波长、饱和度和色相进一步变窄和进行光谱偏移的特性，其中，波导型光学元件包括衍射结构。该方法包括用与在生成虚拟图像中使用的光源类似和/或与从虚拟图像出现的变窄和偏移后的带类似的窄带光源照射积分球或投影屏幕。该方法还包括在积分球或投影屏幕之前添加二向色滤光片，并旋转二向色滤光片，以模拟虚拟图像中带宽变窄和光谱偏移的光的主波长。该方法还包括：使用相机在接近虚拟图像距离的共轭距离处捕获积分球或屏幕的图像，该相机被相机的RGB颜色空间表征，并将相机接近虚拟图像平面来聚焦。该方法还包括：并行地使用分光辐射计捕获在积分球或屏幕处的光的光谱和/或CIE XYZ值，以及将分光辐射计聚焦在积分球或投影屏幕处。该方法还包括：以单独的原色(红色、绿色或蓝色)捕获图像(用相机)和光谱数据(用分光辐射计)，这些原色接近于虚拟图像的场序显示器所期望的原色。该方法进一步包括：通过以下操作来针对每个虚拟图像原色创建从相机的RGB颜色空间到XYZ绝对颜色空间的转换模型：

组装相机的RGB颜色空间和分光辐射计的XYZ空间中的来自被捕获图像的训练样本和对应的分光辐射计测量值；

应用诸如线性回归、多项式回归、或神经网络的转换方法，以生成从RGB训练数据到XYZ训练数据的转换；

应用诸如k折交叉验证和留一法交叉验证的方法，以进一步优化转换鲁棒性和准确性；以及

将转换应用于相机以测量虚拟图像的绝对色度和亮度。

通过本发明，与传统技术相比，获得了许多益处。例如，本发明的实施例提供了用于使用低成本数字彩色相机来校准可穿戴显示设备的方法和系统。在传统设定中，分光辐射计可用于测量显示设备的显示图像光，并确定在绝对颜色空间(诸如CIE XYZ颜色空间)中的输出颜色。然而，分光辐射计太庞大且昂贵，而不能在生产环境中大量地使用以校准大量的可穿戴显示设备。此外，一些传统方法仅使用白光输入来校准白色。因此，传统的系统和方法不适用于使用场序彩色显示器的可穿戴设备的校准。本发明的实施例提供了用于确定从数字相机特定的RGB颜色空间到CIE XYZ颜色空间的转换模型的方法和系统。然后该转换模型可被应用于数字彩色相机，以测量虚拟图像的绝对色度和亮度。被校准的低成本数字相机可在生产环境中大量地使用以校准大量的可穿戴显示设备。

结合下面的文字和附图，更详细地描述了本发明的这些和其它实施例及其许多优点和特征。

附图说明

图1是根据一些实施例的示例性可穿戴显示设备的透视图；

图2是根据一些实施例的示例性可穿戴显示设备的顶视图；

图3是示出根据本发明的一些实施例的在可用于向观看者呈现数字或虚拟图像的观看光学组件(VOA)中的光路的示意图；

图4A是示出CIE 1931颜色空间色度图的图；

图4B是示出根据本发明的一些实施例的用于校准可穿戴设备的方法的简化示意图；

图5是示出根据本发明的一些实施例的用于校准可穿戴设备的系统的简化示意图；

图6是示出根据本发明的一些实施例的用于表征数字彩色相机的系统的简化框图；

图7是示出根据本发明的一些实施例的用于表征数字彩色相机的方法的简化流程图；

图8是示出根据本发明的一些实施例的上述RGB到XYZ转换方法的结果的示例的图；

图9示出根据在此描述的实施例的简化计算机系统。

具体实施方式

本发明的实施例针对在可穿戴显示设备的校准中使用的数字相机的表征。

由可穿戴设备显示的颜色可以是不均匀的。例如，在包括波导显示器的可穿戴设备中，光学组件可将色谱变窄并对色谱进行偏移。此外，从用户的太阳穴一侧到鼻侧可会发生色偏。颜色变化也可以是由其它原因引起的。因此，期望应用逐个像素的校准和校正以在视场上获得均匀的输出颜色。

图1是根据一些实施例的示例性可穿戴显示设备100的透视图。在该示例中，可穿戴显示设备100可以是一副增强现实眼镜。如图1中所示，可穿戴显示设备100可包括支撑左波导目镜120L和右波导目镜120R的框架110。每个波导目镜120L和120R可以包括输入耦合光栅(ICG)121、正交光瞳扩展器(OPE)122和出射光瞳扩展器(EPE)123。输入耦合光栅也被称为输入耦合端口。输入耦合光栅(ICG)121、正交光瞳扩展器(OPE)122和出射光瞳扩展器(EPE)123可以是合适的衍射光学元件(DOE)。例如，它们可以采取在光波导上形成的光栅的形式。根据某些实施例，并不向每个目镜提供单个波导，而是每个目镜可以具有多个光波导的堆叠，用于不同颜色并具有不同光功率EPE。EPE被配置为投影可以从用户眼睛位置130观看的图像。

在图1中，可以是图像光或扫描光束的入射光可以入射到每个目镜120L、120R的ICG(121)上。每个ICG 121将入射光耦合到在朝向OPE区域122的方向上传播的引导模式。目镜通过全内反射(TIR)来传播图像光。每个目镜120L、120R的OPE区域122还可以包括衍射元件，该衍射元件将在目镜120L、120R中传播的图像光的一部分耦合并重定向到EPE区域123。EPE区域123包括衍射元件，该衍射元件将在每个目镜120L、120R中传播的光的一部分在从目镜层120的平面向外的方向上耦合并朝向观看者的眼睛位置130引导。采用该方式，观看者可以观看图像。

入射光可以包括三原色(即蓝色(B)、绿色(G)和红色(R))的光。

在一些应用中，目镜可接受以两个自由度被扫描的准直光。每个瞬时入射角(或小的入射角范围)对应于角度定义的像素。在一些实施例中，光可以被配置为模拟虚拟对象，该虚拟对象看起来距观看者一定距离，例如，半米到一米。

图2是根据一些实施例的示例性可穿戴显示设备200的顶视图。在该示例中，可穿戴显示设备200可被用作一副增强现实眼镜。如图2中所示，可穿戴显示设备200可以包括框架210和目镜220。每个目镜可以与图1中的目镜120L、120R类似，并且可包括ICG、OPE和EPE，它们在顶视图中不可见。可穿戴显示设备200还可以包括扫描仪壳体230，该扫描仪壳体230可包括用于从入射光源形成虚拟图像(例如，在无限远处)的扫描镜。在一些实施例中，ICG被用作接收光的输入端口。可以从用户眼睛位置240观看由目镜形成的图像。可穿戴显示设备还可以具有左、右扬声器250和相机260。

如上所述，入射光可以包括三原色(即蓝色(B)、绿色(G)和红色(R))的光。在一些实施例中，入射光中的光束在光学组合器中被合并。对于用于VR和AR应用的可穿戴设备，期望系统中的光学组合器紧凑且重量轻。

图3示意性地示出根据本发明一些实施例的在可用于向观看者呈现数字或虚拟图像的观察光学组件(VOA)中的光路。VOA包括投影仪301和可被佩戴在观看者的眼睛周围的目镜300。在一些实施例中，投影仪301可以包括一组红色LED、一组绿色LED和一组蓝色LED。例如，根据实施例，投影仪301可以包括两个红色LED、两个绿色LED和两个蓝色LED。目镜300可包括一个或多个目镜层。投影仪301还可以包括LCOS-SLM(硅空间光调制器上的液晶)以及各种光学元件，诸如反射式准直仪和投影仪继电器。在一个实施例中，目镜300包括三个目镜层，三原色(红色、绿色和蓝色)中的每一个对应一个目镜层。在另一个实施例中，目镜300可以包括六个目镜层，即，用于三原色中的每个原色的一组目镜层，其被配置为在一个深度平面处形成虚拟图像，以及用于三原色中的每个原色的另一组目镜层，其被配置为在另一个深度平面处形成虚拟图像。在其它实施例中，目镜300可包括用于三个或更多个不同深度平面的用于三原色中的每个原色的三个或更多个目镜层。每个目镜层包括平面波导层，并可包括入耦合光栅307、正交光瞳扩展器(OPE)区域308和出射光瞳扩展器(EPE)区域309。

仍然参考图3，投影仪301将图像光投影到目镜层300中的入耦合光栅307上。入耦合光栅307将来自投影仪301的图像光耦合到在朝向OPE区域308的方向上传播的平面波导层中。波导层通过全内反射(TIR)在水平方向上传播图像光。目镜层300的OPE区域308还包括衍射元件，该衍射元件耦合在波导层中传播的一部分图像光并将其朝向EPE区域309重定向。EPE区域309包括衍射元件，该衍射元件将在波导层中传播的一部分图像光在与目镜层300的平面近似垂直的方向上耦合并朝向观看者的眼睛302引导。采用该方式，观看者的眼睛302可以看到由投影仪301投影的图像。

如上所述，由投影仪生成的图像光可以包括三原色(即蓝色(B)、绿色(G)和红色(R))的光。这种图像光可被分离成组分颜色，以使得每个组分颜色的图像光可被耦合到目镜中相应的波导层。

在一些实施例中，由可穿戴设备显示的颜色可以通过在眼睛位置处用的眼代理相机(eye-proxy camera)测量可穿戴设备的输出并将其与目标显示值进行比较来校准。测量可以在更大的FOV(视场)执行，并且可以接近相机的整个FOV。数字彩色相机测量RGB空间中的颜色。为了表示颜色的人类感知，相机的RGB空间中的数据可从相机的RGB空间被变换到眼睛的XYZ空间或其它绝对颜色空间，例如如在CIE 1931颜色空间中定义的。一旦可穿戴设备的输出可在绝对颜色空间中被描述，就可以对颜色应用调节以获得期望的虚拟图像，例如，在整个图像上均匀的白色。

数字彩色相机所拍摄的图像本质上是相机或相机制造商编码的。作为示例，使用特定相机测量的RGB空间数据可随相机和制造商的不同而变化。此外，相机制造商可在定义RGB空间的方式、所使用的算法、以及在相机中使用的滤色镜等方面有所不同。因此，需要表征数字彩色相机，以使得低成本相机可以可靠地用于在工业或生产环境中进行颜色测量。一旦相机被表征，相机的RGB数据就可被转换到XYZ空间以用于颜色校准。

图4A是示出CIE 1931颜色空间色度图的图。CIE XYZ颜色空间涵盖具有一般视力的人可见的所有颜色感觉。CIE XYZ(三色刺激值)是设备不变的颜色表示。它用作定义许多其它颜色空间的标准参考。在图4A中，标记为D65(或CIE标准光源D65)的点E(401)是由国际照明委员会(CIE)定义的常用标准光源。它用于描绘世界不同地区的露天标准照明条件。图4A还示出sRGB颜色空间402。sRGB(标准红绿蓝)颜色空间是Hewlett-Packard和Microsoft于1996年联合创建的RGB颜色空间，以在显示器、打印机和互联网上使用。随后它被标准化，并且通常是图像的“默认”颜色空间。

图4B是示出根据本发明的一些实施例的用于校准可穿戴显示设备的方法的简化示意图。在图4B中，可穿戴显示设备400与以上在图1中示出的示例性可穿戴显示设备100类似。在该示例中，可穿戴显示设备400可以是一副用于增强现实应用的眼镜。如图4中所示，可穿戴显示设备400可以包括支撑左波导目镜420L和右波导目镜420R的框架410。每个波导目镜420L和420R可以包括输入耦合光栅(ICG)421、正交光瞳扩展器(OPE)422和出射光瞳扩展器(EPE)423。输入耦合光栅也被称为输入耦合端口。输入耦合光栅(ICG)421、正交光瞳扩展器(OPE)422和出射光瞳扩展器(EPE)423可以是合适的衍射光学元件(DOE)。例如，它们可以采取在光波导上形成的光栅的形式。每个目镜可以具有多个光波导的堆叠，用于不同的颜色并具有不同的光功率EPE。EPE被配置为投影可以从用户眼睛位置430观看的图像。

在本发明的实施例中，为了校准可穿戴显示设备400，数字彩色相机431和432被设置或定位在用户眼睛位置430处，也就是说，定位在用户的眼睛在可穿戴设备使用期间会处于的位置。在一些实施例中，分光辐射计可被用于测量显示设备的显示图像光，并确定在诸如CIE XYZ颜色空间的绝对颜色空间中的输出颜色。然而，分光辐射计通常对于如图4B所示的可穿戴设备的测量太庞大。此外，分光辐射计也很昂贵，限制了它们在生产环境中大量使用以校准大量的可穿戴显示设备。此外，一些方法仅使用白光输入来校准白色。因此，传统的系统和方法不适合于使用场序彩色显示器的可穿戴设备的校准。

因此，在本发明的实施例中，通过用位于眼睛位置处的低成本数字彩色相机(也称为眼代理相机)测量可穿戴输出，校准由可穿戴显示设备显示的颜色。因此，眼代理相机被用作可在大批量生产环境中实现的颜色测量设备。数字彩色相机提供RGB空间中的颜色测量。为了表示颜色的人类感知，相机的RGB空间中的数据被从相机的RGB空间变换到眼睛的XYZ空间，例如如在CIE 1931颜色空间中定义的。一旦可穿戴设备的输出在绝对颜色空间中被描述，就可以对颜色应用调节以获得期望的虚拟图像。例如，期望的虚拟图像可以是在整个图像上均匀的白色。

图5是示出根据本发明的一些实施例的用于校准可穿戴设备的系统的简化示意图。如图5中所示，依照测量与一只眼睛相关联的可穿戴设备的一侧来实现校准系统。系统扩展到对第二只眼睛的测试对于本领域的技术人员将是显而易见的。校准系统500可以包括眼代理相机510、校准工作站520和图形处理单元530。校准工作站520也被称为第一处理器，图形处理单元530(GPU)也被称为第二处理器。在一些实施例中，第一处理器和第二处理器可以是同一计算机系统的一部分。

眼代理相机510可以是数字彩色相机。例如，可以使用低成本的小型商业和工业彩色相机。在校准期间，相机可被安装在工作站中的可穿戴设备附近。两个相机可以并排使用，以并行或同时测量可穿戴设备对左眼和右眼的显示输出，如图4B所示。为了简化图示，如图5所示，仅示出了一个相机510位于与可穿戴设备550相距共轭距离处。可穿戴设备550的位置可以相对于相机被偏移到不同位置，以考虑随着眼睛位置、瞳孔间距离和用户的移动等的变化的可能颜色偏移。仅作为示例，示出可穿戴设备550在三个横向位置(-3、0和+3mm)处被偏移。另外，可穿戴设备相对于相机的相对角度也可以改变以提供附加的校准条件。

可穿戴设备550可包括一个或多个光源(也称为图像光源)，诸如LED或激光器。在一些实施例中，LCOS(硅上液晶)可被用于提供显示图像。LCOS被内置在可穿戴设备550中。然而，在图5中，出于说明目的，示出LCOS 552在可穿戴设备550外部。在校准期间，图像光被可穿戴设备550按场序彩色(例如，按红色图像、绿色图像、蓝色图像的顺序)来投影。在场序彩色系统中，原色信息在连续的图像中被传输，这依赖于人类视觉系统将连续的图像融合成彩色图片。眼代理相机510捕获相机的RGB的颜色空间中每个像素中的图像，并将数据提供给校准工作站520。

校准工作站520被配置为将相机的RGB空间中的图像数据转换到XYZ颜色空间，并基于例如从内容提供商到可穿戴设备550的指令，将数据与预期数据进行比较。校准工作站520还被配置为基于测量值与预期值之间的差异来确定校正因子。图形处理单元530被配置为将校正因子应用于指令，并将修改的指令发送到可穿戴设备的光源。

在一些实施例中，可以针对可穿戴设备的多个深度平面以及针对可穿戴设备的视场的不同部分进行校准。例如，在均匀性校准中，该过程可以分别针对四个虚拟图像(左近、左远、右近、右远)中的每一个执行，然后，XYZ信息可被用于平衡那些图像，以使其尽可能接近相同的颜色(色度)和明亮度(亮度)或者在适合特定应用的预定阈值之内。

图6是示出用于表征数字彩色相机的系统的简化框图。如图6中所示，系统600可以包括光源610、光谱修改设备620、积分球630、数字彩色相机640、分光辐射计650和处理器660。积分球630是显示设备的示例，也可以使用其它种类的显示设备。分光辐射计650是颜色测量设备的示例，也可以使用其它类型的颜色测量设备代替分光辐射计650。系统600被配置为确定由数字彩色相机RGB值捕获的每个显示颜色与绝对颜色空间中的颜色测量值(例如，XYZ值)之间的转换模型。转换模型包括用于在场序彩色虚拟图像中使用的三原色中的每个原色的转换矩阵或等式。

光源610和光谱修改设备620被配置为用具有表示可穿戴设备中的虚拟图像中的光束的光谱特性的原色的输入光束来照射积分球630。数字彩色相机640捕获显示设备的图像，并根据图像确定原色的RGB值。分光辐射计650确定与在显示设备处的每个对应的原色相关联的颜色测量值，例如，XYZ值，从而获取绝对颜色空间中的颜色测量值。处理器660被配置为使用RGB值和根据表示不同照明条件的训练样本确定的颜色测量值来确定用于每个原色的转换模型。

在图6中，光源610可以包括用于产生原色的光束的LED或激光器。可替代地，可以从单色仪产生原色的光束，该单色仪包括可被滤光以提供不同光颜色的白光源。在一些实施例中，LED可以被配置为以不同的亮度水平或灰度水平来发光。在实施例中，LED被配置在0-255范围内的最高灰度水平255。为了在不同的操作条件下表征数字彩色相机，可以通过使用不同的LED来生成具有光谱多样性的大量训练样本。例如，可以选择来自不同模具箱(bins of dies)的LED。此外，光源610可以包括控制器，该控制器可以改变LED的发射功率，例如，以可改变LED的温度的10mA、50mA或100mA等的LED电流水平。控制器还可以以各种占空比(例如从0到1.0)用脉宽调制(PWM)来调制LED。PWM脉冲可以改变LED的热特征。此外，为了增加多样性，可以通过不同颜色的LED的组合来生成轮廓训练样本。例如，被修改红色的训练样本可以用红光混合少量的绿色和蓝色来获得。颜色混合可以通过PWM控制来实现，例如，1.0PWM占空比用于绿色，0.05-0.2PWM占空比用于红色和蓝色。如下面进一步描述的，将额外的颜色添加到原色中可以提高确定转换矩阵的计算过程的稳定性。可以通过将训练集的一部分留给一个回归过程而将另一不同的部分留给另一回归过程来获得附加种类的训练样本。

如上所述，可穿戴设备包括各种光学组件，诸如波导和衍射组件。这些光学组件可以修改光束光谱。为了提供可在可穿戴设备中模拟输出光的输入光束，可穿戴设备的光谱特性被表征。光谱修改设备620被配置为接收来自光源610的光束，并生成表示可穿戴设备的虚拟图像中的光谱的光束。例如，光谱修改设备620可以改变输入光束的中心发射波长和带宽。取决于实施例，光谱修改设备620可以包括透镜系统、滤光器和漫射器。例如，二向色滤光片可用于进一步缩小LED光谱并增加饱和度。此外，滤光器可被用于缩小不同颜色的带宽。在一些情况下，旋转二向色滤光片可用于调谐光谱波长，以更好地模拟可穿戴输出，例如，针对不同的颜色，滤光器以不同的倾斜角度被放置。

在图6中，积分球630是显示设备的示例。可替代地，也可以使用其它显示设备，诸如投影屏幕。积分球是由中空球形腔组成的光学组件，该中空球形腔的内部被覆盖有漫反射白色反射涂层，并具有用于输入端口和输出端口的小孔。它的相关特性是均匀散射或漫散效果。积分球可以被认为是保留能量但破坏空间信息的漫射器。如图6中所示，系统600使用积分球630作为显示设备。积分球可以具有用于接收来自光谱修改设备620的光束的输入端口631，以及用于提供输出光以供数字彩色相机640和分光辐射计650测量的输出端口632。可替代地，投影屏幕也可用作显示设备。

数字彩色相机640捕获采用N×M像素阵列的数字图像。在特定实施例中，数字彩色相机640可具有1400×960像素。以像素为单位的颜色信息被表示在相机的RGB颜色空间中。例如，当从光源610发射红光时，数字相机640中的传感器可以感测在积分球处的光，并可捕获每个像素中的红绿蓝色值(Rr，Gr，Br)。类似地，对于绿色的输入，针对每个像素捕获RGB数据(Rg，Gg，Bg)。进一步地，对于蓝色的输入，针对每个像素捕获RGB数据(Rb，Gb，Bb)。

与数字相机640感测在积分球处输出的光并行地，分光辐射计650也感测在积分球处的光。分光辐射计650可以捕获在积分球处的光的光谱和/或CIE XYZ值。在一些实施例中，分光辐射计650可以测量xyY值并导出CIE XYZ值。分光辐射计650还可将光谱或XYZ值转换到CIE XYZ(CIE XYZ颜色空间)、CIE xyY(CIE xyY颜色空间)、CIELUV(CIE 1976L*，u*，v*颜色空间)、CIELab(CIE L*a*b*颜色空间)或LCh(CIE L*C*h*颜色空间)、或一些其它适当的绝对颜色空间。在替代实施例中，该转换也可以由处理器660执行。

在系统600中，处理器660被配置为组装相机的RGB空间中的来自被捕获图像的训练数据和对应的分光辐射计的XYZ空间中的分光辐射计测量值。处理器660通过有线或无线连接被耦合到分光辐射计650和数字相机640。如下面进一步描述的，可以通过改变光源和光谱来收集各种各样的训练样本集。然后，处理器660应用转换方法以生成从RGB训练数据到XYZ训练数据的转换模型。可以使用各种转换方法，诸如最小二乘、线性回归、多项式回归、或神经网络等。此外，还可以使用诸如k折交叉验证和留一法交叉验证的方法来进一步优化转换鲁棒性和准确性。

例如，在用于红色的训练样本中，相机采用表示相机所感测到的红光、绿光和蓝光的(Rr，Gr，Br)的形式捕获相机的RGB空间中的图像。取决于实施例，来自相机的所有像素或像素的子集的RGB数据可以被包括在训练集中。在一些实施例中，对于每个图像，使用在所有像素上的RGB值，因为来自积分球的输出基本上是均匀的。分光辐射计650生成对应的XYZ空间中的采用针对红、绿和蓝光分量的(Xr，Yr，Zr)形式的分光辐射计测量值。处理器660可以针对用于红色的训练样本得出具有以下特性的转换矩阵Mred，

其中kr1、kr2和kr3是用于红色的可选优化参数。

可以针对每个原色执行类似的过程。例如，针对用于绿色的训练样本得出转换矩阵Mgrn，以使得

其中kg1、kg2和kg3是用于绿色的可选优化参数。

类似地，针对用于蓝色的训练样本得出转换矩阵Mblu，以使得

其中kb1、kb2和kb3是用于蓝色的可选优化参数。

然后，上述的RGB到XYZ转换矩阵可被用在结合图5描述的可穿戴设备校准系统500中。

如上所述，用于表征数字彩色相机的系统600被配置为实现用于利用低成本工业彩色相机来测量由设备生成的虚拟图像的色度和亮度的方法，该设备具有由窄带源(诸如LED或激光器)照射的场序彩色显示器和波导型光学元件，该光学元件具有在虚拟图像的视场上进一步将光的主波长(以及因此的饱和度和色相)变窄和进行光谱偏移的特性，其中，波导型光学元件包含衍射结构。

该方法包括用与在生成虚拟图像中所使用的光源类似和/或与从虚拟图像中出现的变窄和偏移后的带类似的窄带光源来照射积分球或投影屏幕。在图6的系统600中，该过程可以由光源610和积分球630来执行。窄带光源可以包括LED、激光器、或单色仪。

该方法还可以包括在积分球或投影屏幕之前添加二向色滤光片，并旋转二向色滤光片，以更好地模拟虚拟图像中带宽变窄和光谱偏移的光的主波长。通过以下一个或多个操作，可以增加原色光谱含量的变化以提供跨越预期虚拟图像原色范围的数据：改变源的功率；对源施加脉宽调制(PWM)；对源进行滤光；或组合两个或更多个源。在图6的系统600中，该过程可以由光源610和光谱修改设备620执行。

相机可用于在接近虚拟图像距离的共轭距离捕获积分球或屏幕的图像，将相机镜头接近虚拟图像平面来聚焦。在图6的系统600中，该过程可以由数字彩色相机640执行。并行地，分光辐射计可被用于捕获在积分球或屏幕处的光的光谱和/或CIE XYZ值；将分光辐射计聚焦在积分球或投影屏幕处。光谱或XYZ值也可以被转换到CIE XYZ、CIE xyY、CIELUV、CIELab或LCh、或一些其它合适的绝对颜色空间。在图6的系统600中，该过程可以由分光辐射计650执行。

该方法还包括以单独的原色(红色、绿色或蓝色)捕获图像(采用相机)和光谱数据(采用分光辐射计)，这些原色接近于虚拟图像的场序显示器所期望的原色。

该方法进一步包括通过以下操作来针对每个虚拟图像原色创建从相机的RGB颜色空间到XYZ绝对颜色空间的转换：组装相机的RGB空间和分光辐射计的XYZ空间中的来自被捕获图像的训练样本和对应的分光辐射计测量值，并应用诸如线性回归、多项式回归或神经网络的转换方法以生成从RGB训练数据到XYZ训练数据的转换。可选地，该方法还可包括应用诸如k折交叉验证和留一法交叉验证的方法以进一步优化转换鲁棒性和准确性。在图6的系统600中，该过程可以由处理器660执行。

该转换可以被应用于单个相机或一组相似的相机，以测量虚拟图像的绝对色度和亮度。

图7是示出根据本发明的一些实施例的用于表征数字彩色相机的方法的简化流程图。该数字彩色相机可以被用于显示虚拟图像的场序彩色可穿戴设备的校准。如图7中所示，方法700包括：针对在场序彩色虚拟图像中使用的三原色中的每个原色，使用RGB值和颜色测量值来确定用于每个颜色的转换模型。在710处，选择红、绿、蓝原色中的第一原色以用于表征。在720处，该方法包括：使用具有表示可穿戴设备中的虚拟图像中的光束的光谱特性的原色的输入光束来照射显示设备。在730处，该方法包括：用数字彩色相机捕获显示设备的图像；根据图像确定每个原色的RGB值。在740处，该方法包括：用颜色测量设备捕获与在显示设备处的每个对应的原色相关联的颜色测量值，从而获取绝对颜色空间中的颜色测量值。在750处，使用RGB值和颜色测量值来确定用于每个颜色的转换模型。在760处，针对另一个原色重复该过程。该方法可以使用以上结合图6所描绘的系统来实现，并在下面更详细地描述。

在720处，该方法包括：使用具有表示可穿戴设备中的虚拟图像中的光束的光谱特性的原色的输入光束来照射显示设备。可以使用光源和光谱修改设备来提供输入光束，该光源和光谱修改设备提供表示虚拟图像的变窄和偏移后的光谱带。光源可以是LED、激光器、或单色仪。光谱修改设备可以包括透镜系统和滤光器中的一个或多个。可以通过以下一个或多个过程来进一步改变输入光束的光谱含量：改变光源的功率，对光源施加脉冲宽度调制(PWM)，对光源进行滤光，以及组合两个或更多个光源。可以改变这些参数以生成跨越期望的虚拟图像原色范围的数据。

在730处，该方法包括：用数字彩色相机捕获显示设备的图像；根据图像确定每个原色的RGB值。显示设备可以是积分球或投影屏幕。

在740处，该方法包括：用颜色测量设备捕获与在显示设备处的每个对应的原色相关联的颜色测量值，从而获取绝对颜色空间中的颜色测量值。颜色测量设备可以是分光辐射计或比色计，并且绝对颜色空间中的颜色测量值包括光谱或XYZ值。绝对颜色空间中的颜色测量值包括CIE XYZ值、CIE xyY值、CIELUV值、CIELab值或LCh值。

在750处，使用RGB值和颜色测量值来确定用于每个颜色的转换模型。例如，用于显示设备的转换模型包括3×3矩阵。显示设备是积分球或投影屏幕。可以使用回归方法(诸如最小二乘、线性回归、多项式回归、或神经网络等)来计算该3×3矩阵。确定用于每个颜色的转换模型的过程可以包括：组装数字彩色相机的RGB空间中来自被捕获图像的训练数据和对应的绝对XYZ空间中的分光辐射计测量值，并应用转换方法以生成将RGB训练数据转换成XYZ训练数据的转换模型。转换方法还可以包括应用k折交叉验证或留一法交叉验证。

在上述实施例中，由可穿戴显示设备生成的图像光可以包括三原色的光，即蓝(B)、绿(G)和红(R)。可穿戴显示设备还可以具有“原色”，该原色是显示系统的原始(最饱和)源颜色的混合。例如，可能期望将少量的绿色与红色混合以创建在显示器中不太饱和的红原色。这可以通过在红色LED的场序周期期间打开绿色LED来实现。这也可以通过在绿色场序彩色周期中添加额外的绿色亮度、通过利用更高的LCOS灰度水平、或通过在绿色周期期间增加LED光功率来实现。该“混合原色”也可以具有接近白色的颜色(近似相等量的红色、绿色、蓝色)。在这些情况下，可以通过确定用于“混合原色”的从相机RGB到绝对XYZ的转换模型来以与上述相同的方式校准相机。

图8是示出根据本发明的一些实施例的上述RGB到XYZ转换方法的结果的示例的图。在图8中，用圆圈(°)示出了由图6的分光辐射计650针对采用XYZ坐标的训练样本集测量的XYZ颜色空间中的数据点。使用上述的转换矩阵Mred、Mgrn和Mblu，由数字彩色相机640针对相同训练样本测量的RGB数据被转换到XYZ颜色空间。XYZ颜色空间中的被转换的相机数据在图8中以星号(*)示出。在左下角的数据点810位于绿色区域，而在右上角的数据点820表示更白的颜色。可以看出，在大范围的XYZ颜色空间上能够实现良好的匹配。

在本发明的实施例中，结果显示RGB到XYZ转换矩阵元素具有相似的顺序，这意味着稳定性。此外，训练验证被发现符合良好拟合的交叉验证要求。所测量的与验证集中的目标的标准偏差低。验证集中的样本还包括在使用最小二乘拟合的转换过程中未使用的LED。

图9示出根据在此描述的实施例的简化计算机系统900。如图9中所示的计算机系统900可被包括在诸如在此所述的可穿戴显示设备的设备中。图9提供了可执行各种实施例所提供的方法的一些或全部步骤得计算机系统900的一个实施例的示意图。应该注意，图9仅意在提供各种组件的概括图示，可以适当地利用其中的任何或全部。因此，图9广泛地示出可以如何以相对分离或相对更集成的方式来实现各个系统元件。

所示出的计算机系统900包括可以经由总线905电耦合或者可以适当地以其它方式通信的硬件元件。硬件元件可以包括：一个或多个处理器910，其包括但不限于一个或多个通用处理器和/或一个或多个专用处理器，诸如数字信号处理芯片、图形加速处理器等；一个或多个输入设备915，其可以包括但不限于鼠标、键盘、相机等；以及一个或多个输出设备920，其可以包括但不限于显示设备、打印机等。

计算机系统900可以进一步包括一个或多个非暂态存储设备925和/或与之通信，该非暂态存储设备925可以包括但不限于本地和/或网络可访问的存储装置，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光学存储设备、固态存储设备(诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”))，它们是可编程、可闪存更新的等。此类存储设备可以被配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。

计算机系统900还可包括通信子系统919，该通信子系统919可以包括但不限于调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备、和/或芯片组(诸如Bluetooth

计算机系统900还可以包括被示为当前位于工作存储器935内的软件元件，包括操作系统940、设备驱动器、可执行库和/或其它代码，诸如一个或多个应用程序945，如本文所述，其可以包括由各种实施例提供的计算机程序，和/或可以被设计为实现由其它实施例提供的方法和/或配置系统。仅作为示例，关于以上讨论的方法描述的一个或多个过程可能被实现为可由计算机和/或计算机内的处理器执行的代码和/或指令。因此，一方面，根据所描述的方法，此类代码和/或指令可以用于配置和/或适配通用计算机或其它设备以执行一个或多个操作。

这些指令和/或代码的集合可以存储在非暂态计算机可读存储介质上，诸如上述存储设备925。在一些情况下，该存储介质可能被并入诸如计算机系统900的计算机系统内。在其它实施例中，该存储介质可与计算机系统分离，例如诸如光盘的可移动介质，和/或以安装包提供，以使得可以使用存储介质对通用计算机及其上存储的指令/代码进行编程、配置和/或适配。这些指令可能采取可执行代码的形式，其可以由计算机系统900执行；和/或可能采取源代码和/或可安装代码的形式，其例如使用任何各种通常可用的编译器、安装程序、压缩/解压缩实用程序等在计算机系统900上被编译和/或安装后，然后采用可执行代码的形式。

对于本领域技术人员而言显而易见的是，可以根据特定要求进行实质性的变化。例如，也可能使用定制的硬件，和/或可能在硬件、包括便携式软件(诸如小应用程序等)的软件或二者中实现特定元件。此外，可以采用到诸如网络输入/输出设备的其它计算设备的连接。

如上所述，在一个方面，一些实施例可以采用诸如计算机系统900的计算机系统来执行根据本技术的各种实施例的方法。根据一组实施例，此类方法的一些或全部过程由计算机系统900响应于处理器910执行一个或多个指令的一个或多个序列来执行，该一个或多个指令可以被并入操作系统940和/或工作存储器935中包含的其它代码，诸如应用程序945。可以从另一计算机可读介质(诸如一个或多个存储设备925)将此类指令读入工作存储器935。以示例的方式，包含在工作存储器935中的指令序列的执行可能使处理器910执行在此描述的方法的一个或多个过程。另外地或可替代地，可以通过专用硬件来执行在此描述的方法的部分。

如在此所使用的，术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式操作的数据的任何介质。在使用计算机系统900实现的实施例中，各种计算机可读介质可能涉及向处理器910提供指令/代码以供执行和/或可能用于存储和/或携带此类指令/代码。在许多实现方式中，计算机可读介质是物理和/或有形存储介质。此类介质可以采取非易失性介质或易失性介质的形式。非易失性介质包括例如光盘和/或磁盘，诸如存储设备925。易失性介质包括但不限于动态存储器，诸如工作存储器935。

物理和/或有形计算机可读介质的常见形式包括，例如，软盘、柔性盘、硬盘、磁带或任何其它磁介质、CD-ROM(压缩光盘只读存储器)、任何其它光学介质、打孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM(可擦除可编程只读存储器)、FLASH-EPROM(闪存可擦可编程只读存储器)、任何其它存储器芯片或盒式磁带，或计算机可以从中读取指令和/或代码的任何其它介质。

各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列传送给处理器910以便执行。仅作为示例，指令可以最初承载在远程计算机的磁盘和/或光盘上。远程计算机可能会将指令加载到其动态存储器中，并通过传输介质将指令作为信号发送，以由计算机系统900接收和/或执行。

通信子系统919和/或其组件通常将接收信号，然后，总线905可将信号和/或信号所携带的数据、指令等携带到工作存储器935，处理器910从该工作存储器935中检索并执行指令。由工作存储器935接收的指令可以可选地在由处理器910执行之前或之后被存储在非暂态存储设备925上。

以上讨论的方法、系统和设备是示例。各种配置可以适当地省略、替代或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行该方法，和/或可以添加、省略和/或组合各个阶段。此外，关于某些配置描述的特征可以在各种其它配置中组合。可以以类似方式组合配置的不同方面和元件。此外，技术在发展，因此，许多元件是示例，并且不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现方式的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以避免使配置模糊。该描述仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反，配置的先前描述将向本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

此外，可以将配置描述为被描绘为示意性流程图或框图的过程。尽管每个操作都可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。一个过程可能具有图中未包括的附加步骤。此外，方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂态计算机可读介质中。处理器可以执行所描述的任务。

已经描述了几种示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等同形式。例如，以上元件可以是较大系统的组件，其中其它规则可以优先于或以其它方式修改技术的应用。同样，在考虑以上要素之前、之中或之后可以采取许多步骤。因此，以上描述不限制权利要求的范围。

如在此和所附权利要求书中所使用的，单数形式的“一”、“一个”和“该”包括复数引用，除非上下文另外明确指出。因此，例如，对“用户”的引用包括多个此类用户，而对“处理器”的引用包括对一个或多个处理器及其本领域技术人员已知的等同形式的引用等。