用于指导化妆的带眼睛跟踪的化妆盒

相关申请的交叉引用

本申请涉及并主张在2018年7月18日提交的美国申请第16/038,906号的权益，所述美国申请中的每一者的全部内容通过引用并入本文。

技术领域

本公开涉及一种在化妆期间提供指导的系统。

背景技术

虽然消费者渴望重现名人的造型，但缺乏正规的培训往往会限制他们可以尝试的化妆技术的复杂性。对于许多人（尤其是爱美人士）来说，视频教程是用于发现和学习造型的一种便捷且有启发性的方式。然而，这种经验并不容易转化到时间有限且效率至上的日常生活中。其中的乏味使消费者在日常生活中几乎无法选择高效且自信的新风格妆容。

最近的发展有望利用移动装置作为日常生活的一部分来改善化妆应用，从而以高效的方式提供视频教程。然而，对于在日常化妆程序中采用移动装置的消费者来说，重要的是屏幕上显示的指令能够跟踪用户的运动且在化妆期间被呈现而不会迷失方向。为此，一种便携式的、用户友好的化妆系统尚待开发，所述系统能够显示以用户为中心的指令，从而使复杂技术用于日常用途成为可能。

前述“背景技术”说明是为了总体呈现本公开的背景。在本背景技术部分描述的范围内，发明人的工作以及在提交时可能不被认为是现有技术的说明的方面，既不被明确地也不被隐含地认为是针对本发明的现有技术。

发明内容

根据一个实施例，本公开涉及一种设备，所述设备包含：半透明表面，其至少一面是反射性的；以及支架，其被配置成固持具有显示器和一个或多个传感器的客户端装置，其中所述半透明表面覆盖在所述显示器上且在所述反射面同步显示观看所述反射面的用户的映像的同时允许在所述显示器上显示的可视对象在所述半透明表面的所述反射面上可视，且其中所述一个或多个传感器被配置成获取与所述用户的至少一只眼睛的特征相关的数据。

根据一个实施例，本公开进一步涉及一种用于调整所显示的可视对象的方法，所述方法包含：通过处理电路系统获取与用户的至少一只眼睛的特征相关的数据；以及通过所述处理电路系统，基于所获取的与所述用户的所述至少一只眼睛的所述特征相关的所述数据调整所显示的所述可视对象，其中所显示的所述可视对象显示在半透明表面上，所述半透明表面的至少一面是反射性的，所显示的所述可视对象在所述半透明表面的所述反射面上可视，所述反射面同步显示观看所述反射面的所述用户的映像，其中与所述用户的所述至少一只眼睛的所述特征相关的所述数据通过具有显示器的客户端装置的一个或多个传感器获取，所述客户端装置由支架固持。

根据一个实施例，本公开进一步涉及一种存储计算机可读指令的非暂时性计算机可读存储介质，所述计算机可读指令在由具有处理电路系统的计算机执行时使得所述计算机执行用于调整所显示的可视对象的方法，所述用于调整所显示的所述可视对象的方法包含：获取与用户的至少一只眼睛的特征相关的数据；以及基于所获取的与所述用户的所述至少一只眼睛的所述特征相关的所述数据来调整所显示的所述可视对象，其中所显示的所述可视对象显示在半透明表面上，所述半透明表面的至少一面是反射性的，所显示的所述可视对象在所述半透明表面的所述反射面上可视，所述反射面同步显示观看所述反射面的所述用户的映像，其中所获取的与所述用户的所述至少一只眼睛的所述特征相关的所述数据通过具有显示器的客户端装置的一个或多个传感器获取，所述客户端装置由支架固持。

前述段落已通过一般性介绍的方式提供，且并不旨在限制所附权利要求的范围。通过参考以下结合附图的详细说明，将最好地理解所描述的实施例以及进一步的优点。

附图说明

当结合附图考虑时，通过参考以下详细说明，将更好地理解本公开及其多种伴随优点，并容易地获得对本公开及其多种伴随优点的更全面的理解，其中：

图1是消费者环境中的本公开的系统的示例性图示，所述系统包含客户端装置和化妆盒。

图2A是本公开的化妆盒的示例性图示。

图2B是化妆盒和客户端装置的梯状示意图以及从保护盖到与客户端装置交互的半透明显示器的进展的方面。

图2C是化妆盒和客户端装置的梯状示意图以及从保护盖到与客户端装置交互的半透明显示器的进展的方面。

图2D是化妆盒和客户端装置的梯状示意图以及从保护盖到与客户端装置交互的半透明显示器的进展的方面。

图3A是客户端装置的示例性实施例。

图3B是根据示例性实施例的基于客户端装置的传感器的示意图。

图4A是根据示例性实施例的在指导模块期间对传感器输入进行感测和评估的流程图。

图4B是根据示例性实施例的感测和评估的子流程图。

图4C是根据示例性实施例的感测和评估的子流程图。

图4D是根据示例性实施例的感测和评估的子流程图。

图4E是根据示例性实施例的感测和评估的子流程图。

图5是根据示例性实施例的指导会话期间的用户体验的流程图。

图6A是根据示例性实施例的指导会话的登录部分期间的用户体验的流程图的图示。

图6B是根据示例性实施例的指导会话的化妆模块期间的用户体验的流程图的图示。

图7示出根据示例性实施例的客户端装置与包括外部服务器和互联网的基于云的计算系统之间的关系。

图8是根据本公开示例性实施例的系统的图示，其中化妆盒是用于移动使用和修饰的单一化妆品。

图9A是根据本公开示例性实施例的系统的眼睛跟踪特征件的方面的流程图。

图9B是根据本公开示例性实施例的系统的眼睛跟踪特征件的方面的流程图。

图9C是根据本公开示例性实施例的系统的眼睛跟踪特征件的方面的流程图。

图10A是根据本公开示例性实施例的系统的眼睛跟踪特征件的流程图的方面的图示。

图10B是根据本公开示例性实施例的系统的眼睛跟踪特征件的流程图的方面的图示。

图10C是根据本公开示例性实施例的系统的眼睛跟踪特征件的流程图的方面的图示。

图11A是根据本公开示例性实施例的裸指导系统的横截面示意图。

图11B是根据本公开示例性实施例的裸指导系统的横截面示意图。

图11C是根据本公开示例性实施例的裸指导系统的透视图。

图12A是根据本公开示例性实施例的刷子固持器指导系统的横截面示意图。

图12B是根据本公开示例性实施例的刷子固持器指导系统的透视图。

具体实施方式

本公开解决了对便携且用户友好的日常化妆系统的需求，所述系统使得用户能够自信地对新的化妆风格进行应用、复制、穿戴等。此外，本公开通过使用眼睛跟踪特征件来提供增强的指令。最终，通过将化妆盒与客户端装置（包括基于客户端装置的软件）整合以及按数字绘制方法等，本公开为消费者提供对新技术的日常实验和掌握的自信、方便的体验。本文中描述的系统旨在实现以下中的一项或多项：

— 通过使用基于客户端装置的传感器捕捉用户面部特征（包括眼睛位置和眼睛状态、颜色和色调）提供个性化的用户体验。

— 根据可用的调色板呈现关于可学习的技术和风格的目录。

— 允许用户通过用户指导的指导模块进行实验。

— 通过启用指导单元的进展的听觉命令，限制与客户端装置的触觉交互。

— 通过根据从基于客户端装置的传感器接收和处理的数据的反馈和指导提高用户对技术的掌握。

— 鼓励用户通过与用户社交媒体展示发现新的造型。

图1是消费者环境中的本公开的系统的示例性图示。在一个实施例中，系统100包含客户端装置115和化妆盒110。半透明显示器105设置在化妆盒110上，从而在客户端装置115与化妆盒调色板111之间创建分区。在一个实施例中，客户端装置115是配备有用于捕捉视野内的对象的各种特征的传感器的集合的智能手机。根据用户所期望的调色板111，化妆盒110包括一种或多种化妆品。向基于客户端装置的软件注册用户可用的化妆品类型，以改善对用户的潜在风格推荐。

在一个实施例中，包括一个或多个传感器的传感器组件通过端口可操作地耦合到客户端装置115。在一个实施例中，包括一个或多个传感器的传感器组件可操作为检测（例如，估计、计算、评估、确定、量测、测量、监视、量化、解析、感测等）与用户的至少一只眼睛的特征相关的信息。所述一个或多个传感器的非限制性实例包括声学传感器、照相机、电荷耦合装置（CCD）、互补金属氧化物半导体（CMOS）装置、电磁能量传感器、图像传感器、红外传感器、光学识别传感器、光学传感器、光电二极管阵列、射频组件传感器、热传感器、换能器等或其组合。

在一个实施例中，传感器组件通过通用串行总线（USB）端口可操作地耦合到客户端装置115。在一个实施例中，传感器组件可操作地耦合（例如，电容耦合、通信耦合、电耦合、电磁耦合、电感耦合、磁耦合、光耦合、超声耦合、无线耦合等）到客户端装置115。在一个实施例中，位于远处的传感器组件通过无线通信可操作地耦合到客户端装置115。

图2A是本公开的化妆盒的示例性图示。在一个实施例中，化妆盒210包括包含一种或多种化妆品的调色板211。当期望时，化妆盒210在标准实施例中用作镜子，其中化妆盒的上盖213和保护盖201被提起，且半透明显示器205呈现给用户。在一个实施例中，半透明显示器205是单向镜。在客户端装置壳体216内不存在发光客户端装置的情况下，从用户的角度来看，半透明显示器205起到标准镜子的作用。为了实现客户端装置的交互式用户界面，具有激活的指导模块的客户端装置位于客户端装置壳体216内。从用户的角度来看，用户和客户端装置生成的对象的镜像都将在半透明显示器205上同步可视。在一个实施例中，化妆盒210的上盖213与半透明显示器205之间的距离根据客户端装置的尺寸预先确定。在一个实施例中，客户端装置是以苹果手机（Apple iPhone®）为代表的类型的智能手机。

图2B、图2C和图2D是化妆盒210和客户端装置的梯状示意图，以及从保护盖到与客户端装置交互的半透明显示器的进展。在图2B中，化妆盒210处于闭合位置，其中保护盖201和半透明显示器205抵靠化妆盒210的本体214定位。柔性铰链212将化妆盒210的上盖213连接到化妆盒210的本体214。在图2C中，用户提起化妆盒的上盖213，以将保护盖201暴露给用户。化妆盒的上盖213可以围绕柔性铰链212旋转。保护盖201然后可以围绕柔性铰链209旋转且半透明显示器205可以暴露给用户。在一个实施例中，半透明显示器205被设计成在客户端装置壳体216内不存在客户端装置215的情况下用作标准镜子，因为半透明显示器206的功能仅在客户端装置壳体216中存在光源时实现。在不存在客户端装置的情况下，半透明显示器205可以由用户与化妆调色板211协作用作标准镜子。当期望交互式用户体验时，客户端装置可以位于客户端装置壳体216内，如图2D中所述。客户端装置215被插入到设置在半透明显示器205与化妆盒的上盖213之间的客户端装置壳体216中。在一个实施例中，客户端装置壳体216被构造成具有预定的深度，以适应客户端装置215（例如苹果手机）的特定设计。在一个实施例中，客户端装置壳体216被构造成具有预定的深度，以适应客户端装置215的通用设计，其中预定的深度是已知的深度且被整合在基于客户端装置的软件内，以在半透明显示器205的显示表面206上生成适当的显示对象。

在一个实施例中，半透明显示器205被制作成使得可以执行触觉用户命令到基于客户端装置的软件的转换。触觉输入检测的非限制性实例包括电阻、电容、红外栅格、表面声波和声脉冲识别，且可以整合在基于客户端装置的软件中以接收用户命令。

在一个实施例中，保护性屏幕状触摸敏感膜使得能够在客户端装置215与半透明显示器205之间进行触觉感测。

在一个实施例中，穿过半透明显示器205的厚度设置的一个或多个按钮允许用户与客户端装置215直接交互。

在一个实施例中，基于客户端装置的传感器可以检测来自用户的命令，包括手势、语音命令等。

图3A是客户端装置的示例性实施例。根据一个实施例，客户端装置315是以苹果手机为代表的类型的智能手机，除了被认为是智能手机的标准特征（例如，麦克风、扬声器）之外，所述智能手机包括正面传感器323。图3B是根据示例性实施例的这些基于客户端装置的传感器的示意图。在一个实施例中，客户端装置315的正面传感器323包括红外照相机317、红外泛光照明器318、接近传感器322、点投影仪319、可视光照相机320、可视光泛光照明器321等中的一者或多者。上述正面传感器323的组合允许捕捉和再现用户的面部特征、肤色和色调的真实三维模型。如US 9582889 B2（通过引用并入本文）所证明的，此类面部的深度相关的数字化在本领域中是可以理解的。在一个实施例中，通过从可视光相机所获取的二维图像的数字重建来执行面部特征的识别。

根据本公开的示例性实施例，上述客户端装置315的正面传感器323，以及红外照相机317和红外泛光照明器318，具体来说用于眼睛跟踪。简而言之，从红外泛光照明器318投射的红外光被用户的左眼或右眼反射并被红外照相机317收集。经反射、经收集的红外光通过基于客户端装置的软件或通过远程处理电路系统进行处理，以确定注视点、眼睑位置（或眼睛孔径）、左眼或右眼相对于头部的运动、瞳孔扩张或其组合。以下进一步描述本公开的眼睛跟踪特征件的细节，包括本公开的指导模块内的实施方式。

图4A是根据示例性实施例的在指导模块期间对传感器输入进行感测和评估的流程图。在用户选择期望的造型之后，客户端装置提示用户将客户端装置水平地或垂直地放置在化妆盒的客户端装置壳体内。在S440处，利用基于客户端装置的传感器（例如，接近传感器），基于客户端装置的软件确定在客户端装置壳体内存在客户端装置且当客户端装置就位时启动指导单元。在S441处，为了提供指导单元的模板化形状相对于用户的精确显示投影，进一步利用基于客户端装置的传感器对用户的实时呈现进行定位、捕捉和数字化。这些数据与用户选择的练习相结合，以生成照亮半透明显示器表面的显示投影，从而通过半透明显示器向用户描绘空间上精确的模板化形状。

在一个实施例中，显示投影被生成为看起来类似于用户的映像。基于客户端装置的软件从基于客户端装置的传感器接收与用户的深度、位置和定向相关的数据，以确定用户相对于半透明显示器的位置。在客户端装置与半透明显示器之间的预定距离的情况下，这种关系允许向半透明显示器上呈现类似镜子的反射。理解这种关系允许对用户运动做出反应，例如当用户向右移动时将图像向左平移，或者当用户向半透明显示器移动时将图像放大。

在一个实施例中，显示投影响应于用户的眼睛运动和眼睛状态。基于客户端装置的软件从基于客户端装置的传感器（例如，红外照相机、点投影仪）接收与用户的眼睛的位置、定向和孔径相关的数据，以确定眼睛的特征。这些特征允许响应于眼睛位置或眼睛状态的变化来修改显示投影。例如，响应于用户闭合左眼睑并将左眼孔径减小到零，相应地移动显示投影，以仅适应用户视角向右眼的移动。类似地，当用户移动注视点时，移动或以其他方式改变显示投影，以适应用户视角的变化。

根据一个实施例，在S442处，当用户敷用化妆品时，客户端装置主动监控用户位置、定向、运动和面部特征。在一个实施例中，由基于客户端装置的软件控制的基于客户端装置的传感器生成包括一个或多个用户面部特征（包括眼睛位置和眼睛状态、用户头部定向、用户深度、用户运动、用户速度、颜色、色调等）的数据且将所获取的数据存储到本地存储器、基于云的存储器或其组合。

在S443处，在未来图像的显示投影期间访问存储的数据，以相对于先前的实例改善模板化形状的空间投影。为此，在S444处，使用存储的数据（包括与相对用户位置和方向以及眼睛位置和眼睛状态相关的数据）来预测用户的未来位置和定向，使得对显示投影的调整更加直观，从而允许模板化形状跟随用户的轮廓、运动和特征。例如，最初，用户在脸的右侧进行化妆且客户端装置显示器相应地将模板化形状投影到半透明显示器上。当用户移动头部以更容易地观察脸部的一部分时，基于客户端装置的软件识别所述移动并相应地调整显示投影。在一个实例中，最初，用户在用户的右眼上方进行化妆且客户端装置显示器相应地将模板化形状投影到半透明显示器上。当化妆向用户右眼的眼睑下方移动时，用户必须闭合右眼、将右眼孔径减小到零且从双视角切换到单视角。因此，基于客户端装置的软件识别向单一视角的转换且相应地调整模板化形状或任何显示文本的位置。

然而，当基于客户端装置的软件生成显示投影时，呈现存在延迟。在随后的使用中，基于客户端装置的软件将生成先前用户运动的库，所述库可以在类似运动的未来实例期间被调用。这样一来，随着特定运动和存储数据的实例数量的增加，基于客户端装置的软件将能够更好地预测运动发生的速度和方向，从而消除显示投影生成中的滞后时间。

当用户已经完成指导单元时，用户提供指示运动完成的听觉命令、视觉命令、触觉命令或其组合，此时在S445处，判断是否需要附加的指导单元来完成指导模块。如果需要附加的指导单元，则在S442处，基于客户端装置的软件则行进到指令并显示下一个指导单元的模板化形状的投影。如果指导模块完成，则在S446处，基于客户端装置的软件进行到完成。

根据一个实施例，在未来的指导模块中利用从基于客户端装置的传感器生成且存储到本地存储器、基于云的存储器或其组合的数据来增强在特定指导单元的情况下对用户运动的预测，从而改善显示投影的准确性。

根据一个实施例，利用从基于客户端装置的传感器生成且存储到本地存储器、基于云的存储器或其组合的数据来以视觉命令、听觉命令、触觉命令或其组合的形式向用户提供关于用户表现的实时反馈。

根据一个实施例，使用化妆之前、化妆期间和化妆之后的用户的粗略时间图像来评估用户表现。

在一个实施例中，将相对于应用技术的期望结果的用户表现结合到未来的指令中。例如，如果用户选择将眼部化妆技术应用于双眼，但第一只眼睛未能获得期望的结果，则基于客户端装置的传感器和软件将确认差异并修改针对第二只眼睛的指令，以确保用户面部的对称性。

图4B是根据示例性实施例的指导模块的初始化的子流程图。首先，在S455处，在选择指导模块之后，由用户激活包括接近传感器的基于客户端装置的传感器。接下来，在S456处，指示用户将客户端装置放置到客户端装置壳体中。在S457处，容纳在客户端装置内的接近传感器检测客户端装置壳体的存在并向基于客户端装置的软件发送信号以开始指导模块。在一个实施例中，客户端装置和客户端装置壳体进一步包含无线识别标签。这些无线识别标签（尤其包括近场通信装置）提供独特的化妆盒标识符，所述化妆盒标识符将加快用户的登录体验，即时识别可用的化妆调色板。

图4C是根据示例性实施例的接收感测到的数据及客户端装置的输出的子流程图。首先，在S458处，基于客户端装置的软件从基于客户端装置的传感器接收感测到的数据并在S458’处将所述数据存储到基于本地的存储器和基于云的存储器。接下来，在S459处，由基于客户端装置的软件处理感测到的数据，并在S459’处将处理后的数据存储到基于本地的存储器和基于云的存储器。然后，在S460处，由基于客户端装置的软件分析处理后的数据并在S461处判断是否需要对客户端装置输出进行调整。如果需要调整，则在S462处，基于客户端装置的软件相应地修改客户端装置输出。否则，将继续对所传输的感测到的数据进行被动评估。例如，在S458处，基于客户端装置的软件从基于客户端装置的传感器接收与相对于半透明显示器的用户位置相关的感测到的数据，并在S458’处将感测到的数据存储到基于本地的存储器和基于云的存储器。然后，在S459处，由基于客户端装置的软件处理感测到的数据并在S459’处将感测到的数据存储到基于本地的存储器和基于云的存储器。然后，在S460处，由基于客户端装置的软件分析处理后的数据，以在S461处判断用户相对于半透明显示器的位置是否已经改变。如果确定相对位置已经改变，则在S462处，基于客户端装置的软件将相应地修改显示投影。如果用户相对于半透明显示器的相对位置并未改变，则将继续对所传输的感测到的数据进行被动评估。

图4D是根据示例性实施例的基于客户端装置的软件的输出的子流程图。在对感测到的数据进行感测、传输和评估之后，在S463处，基于客户端装置的软件可以确定修改客户端装置的输出是合适的，其中客户端装置的输出包括视频数据和音频数据。例如，当用户执行指导模块且基于客户端装置的软件接收感测到的数据时，在S4645处，向用户提供关于用户表现的视觉反馈可能是合适的，其中反馈允许化妆进行自我评估。这种类型的反馈可以包含期望结果与用户的结果的并排比较。

图4E是根据示例性实施例的基于客户端装置的软件的输出的子流程图。在对感测到的数据进行感测、传输和评估之后，在S467处，基于客户端装置的软件可以确定修改客户端装置的输出是合适的，其中客户端装置的输出包括视频数据和音频数据。当用户执行指导模块且客户端装置接收感测到的数据时，向用户提供关于用户表现的反馈可能是合适的。在一个实施例中，在S468处，客户端装置基于感测到的数据相对于特定技术的感测到的数据的先前实例或感测到的数据的全局平均值的评估来提供指导建议。例如，基于客户端装置的传感器数据指示用户的头部运动在化妆期间可能过于活跃。与全局平均值或用户的感测到的数据的先前实例相比，基于客户端装置的软件与投影模板相比会将较差的化妆表现与过度活跃的头部运动相关联。反过来，在S469处，客户端装置可以通过视频输出和音频输出向用户提供支持性反馈，从而推荐解决方案以改善未来的用户表现。

图5是根据示例性实施例的指导会话期间的用户体验的流程图。在用户登录S530期间，在S531处，使用基于客户端装置的传感器来执行面部特征（包括用户的眼睛、颜色和色调）的三维数字化。然后，根据环境光调整基于客户端装置的软件以校准图像和颜色投影。接下来，在S532处，用户选择家中可用的盒调色板、在基于客户端装置的软件内识别并注册此信息，从而根据可用调色板定义可能的指导模块的范围。在一个实施例中，基于客户端装置的软件进一步能够利用收集到的关于面部特征（包括眼睛、颜色和色调）的数据来推荐最适合用户的调色板。这些收集到的数据可以进一步包括旨在识别调色板匹配的一系列生活方式问题。如果用户在每次培训期间都可以使用相同的化妆盒和调色板，则用户简档的创建就是一次性事件。

一旦已创建用户简档且已识别并注册化妆盒，便可以在S533处开始日常指导。首先，在S534处，用户选择化妆指导模块。例如，用户可以选择感兴趣的特定风格或造型。可选地，基于客户端装置的软件可以智能地提供基于场合的启发来补充用户。

在一个实施例中，基于客户端装置的软件可以提供多种风格，包括例如日常办公、初次约会、电影之夜和美食。对于每一种场合，都会向用户提供一种风格或造型。为此，客户端装置软件还可以结合与用户的用户简档相关联的社交媒体内容，以基于用户的社交媒体内指示的偏好来更好地通知和预测用户感兴趣的风格。

在一个实施例中，增强现实能力使用户能够在选择造型之前实现造型。利用基于客户端装置的传感器，客户端装置利用先前的和主动的深度映射（包括滤光）来提供风格在用户身上可能看起来是何样的逼真呈现。

根据一个实施例，用户可以在该步骤（S532’处）指示除了在用户简档创建时指示的调色板之外的调色板正在使用。基于客户端装置的软件将相应地调整推荐的基于场合的造型并将它们呈现给用户用于造型选择。

在用户选择期望的指导模块之后，基于客户端装置的软件提示用户将客户端装置水平地或垂直地插入到化妆盒内的客户端装置壳体中并操纵上盖和保护盖，直到半透明显示器可视。当定位时，在S536处，基于客户端装置的传感器（例如，接近传感器）感知客户端装置相对于化妆盒的位置并启动指导模块的指导单元。指导单元尤其包括视频教程、模板化形状的投影或其组合。接下来，在S537处，用户控制的逐步化妆步骤从客户端装置显示器投影并通过半透明显示器可视。显示出指导单元的第一步的视频教程。在视频教程之后，适当的模板化形状被投影到半透明显示器上。当用户根据从客户端装置显示器投影的模板化形状完成每个化妆步骤时，用户通过听觉命令、视觉命令、触觉命令或其组合向基于客户端装置的软件指示同样多的内容。在S538处，如果需要附加的步骤来完成指导单元（例如，如果指导单元需要不止一种化妆品的化妆应用），则指导单元开始下一步骤，所述下一步骤包括视频教程的下一步和适当的模板化形状。在S538处，如果不需要附加的步骤，则当前指导单元的化妆已经结束。在S538处，如果需要附加的指导单元来完成指导模块（例如，如果指导模块是与仅眼睛风格相比的全脸风格，或者如果指导模块是与仅一只眼睛风格相比的两只眼睛风格），则指导模块开始下一个指导单元。在S538处，如果不需要附加的指导单元，则化妆已经结束并基于客户端装置的软件返回到主菜单。

在一个实施例中，基于客户端装置的软件利用来自基于客户端装置的传感器的数据来评估用户表现并为化妆应用的改善提供反馈。反馈可以是听觉反馈、视觉反馈、触觉反馈或其组合。

在一个实施例中，基于客户端装置的软件连接到包括例如社交媒体平台的第三方应用，从而允许用户在社交网络中推广风格或造型。此外，向社交网络发布结果允许基于客户端装置的软件所提供的技术反馈之外的社交反馈。

在一个实施例中，基于客户端装置的软件预测用户感兴趣的未来风格和造型，并推荐与这些风格和造型的实现相关的产品。

根据一个实施例，化妆盒不包括半透明显示器，而是直接从客户端装置显示器提供用户命令和用户提示。

图6A是根据示例性实施例的指导会话的登录部分期间的用户体验的流程图的图示。在用户登录630期间，在631处，使用基于客户端装置的传感器来执行面部特征（包括用户的眼睛、颜色和色调）的三维数字化。为此，在615处，指示用户在相对于他们的面部的位置处固持并移动客户端装置或智能手机，以完整捕捉三维面部特征，且尤其是深度映射。例如，完整捕获的三维面部特征可以包括瞳距。然后，客户端装置软件会根据环境照明进行调整，以校准图像和颜色投影。接下来，在610处，用户选择在家中可用的包括调色板的化妆盒、在基于客户端装置的软件中识别且注册此信息。可用化妆盒和调色板的识别和注册会定义可能的风格和造型的范围。如果用户在每次指导会话中都可使用相同的化妆盒和调色板，则识别和注册化妆盒和调色板的用户简档创建是一次性事件。

一旦已创建用户简档并已识别和注册化妆盒和调色板，便可以在633处开始日常训练。图6B是根据示例性实施例的指导会话的化妆模块期间的用户体验的流程图的图示。首先，在632’处，用户确认当前可用的化妆盒和调色板与在用户简档创建期间识别和注册的化妆盒和调色板相同。如果不是这样，可以识别和注册新的化妆盒和调色板，以通知基于客户端装置的软件可用的风格和技术。接下来，在634处，用户选择期望的化妆风格或造型。例如，这可以基于即将到来的事件或特定场合。基于客户端装置的软件还可以智能地提供基于场合的启发来补充用户。

在一个实施例中，基于客户端装置的软件可以提供多种风格，包括例如日常办公、初次约会、电影之夜和美食。对于每一种场合，都会向用户提供一种风格或造型。为此，客户端装置软件还可以结合与用户的用户简档相关联的社交媒体内容，以基于用户的社交媒体内指示的偏好来更好地通知和预测用户感兴趣的风格。

为了帮助用户选择风格和造型，增强现实功能使用户能够在选择造型之前实现风格。在635处，利用基于客户端装置的传感器，客户端装置利用先前的和主动的深度映射（包括滤光）来提供风格在用户上可能看起来是何样的逼真呈现。

在用户选择期望的风格或造型之后，在636处，基于客户端装置的软件提示用户将客户端装置插入到客户端装置壳体中。在636’处，用户提起并旋转保护盖，以暴露出位于下方的半透明显示器。然后，在636”处，将客户端装置插入到客户端装置壳体中并定位成半透明显示器位于用户与客户端装置之间的位置。在正确就位之后，基于客户端装置的传感器感知到客户端装置与化妆盒在同一位置并启动指导单元。然后，在637处，基于客户端装置的软件开始播放指导单元的第一视频教程并然后从客户端装置显示器投射模板化的形状。这些模板化的形状（在图6B中由图中的白色轮廓对象指示）是根据用户的面部特征定制的并以类似于“按数字绘制”的方式呈现，其中每个形状对应于特定的化妆品。在用户完成指导单元中的每个步骤之后，用户通过口头命令、视觉命令、触觉命令或其组合向基于客户端装置的软件指示当前步骤完成。如果需要指导单元中的附加的步骤或指导模块中的附加的指导单元，则指导会话会继续初始化后续视频教程和模板化形状。否则，指导模块和其中的指导单元就完成了，且用户受邀在连接的环境中收藏、共享和探索其他指导模块风格和造型。在一个实施例中，如果用户对技术满意或者想要保存技术以供以后继续指导和改善，则客户端装置软件允许用户结束训练并收藏所述技术。在一个实施例中，基于客户端装置的软件鼓励用户根据刚刚完成的指导模块和用户的社交媒体偏好探索新技术。此外，可以邀请用户在社交媒体平台上分享完成的造型，以获得社交反馈或购买附加的产品来提高用户的能力和表现。

在一个实施例中，在指导单元期间，基于客户端装置的传感器主动监控用户的表现，并将输出度量与对应技术的既定标准进行比较。例如，如果确定用户正在施用不正确的化妆品，则客户端装置可以通过听觉警报、视觉警报、触觉警报或其组合向用户提供指导和鼓励。反过来，用户可以响应警告并在有知道技术正在被正确地执行信心的情况下继续化妆。

图7示出根据示例性实施例的客户端装置与包括外部服务器和互联网的基于云的计算系统之间的关系。在一个实施例中，图示包括化妆指导工具的示例性系统700。根据一个实施例，系统700至少包括客户端装置715或智能手机。在一个实施例中，系统700进一步包括一个或多个外部服务器750，所述一个或多个外部服务器被实施成云计算环境的一部分并通过互联网749与系统700进行通信。所述一个或多个外部服务器750可以存储用户数据，所述用户数据包括如整合的与化妆品牌、化妆刷类型、化妆盒使用和调色板相关的产品数据，以及协议和例程、教程和其他第三方服务。在指导模块完成之后，可以通过用户界面向用户显示与来自优选品牌的可用产品相关的信息。在一个实施例中，基于客户端装置的软件还可以提供对用户的社交媒体账户（例如，脸书、推特、色拉布、照片墙）的访问，这样他们就可以分享他们的新风格或造型。

此外，在一个实施例中，用户界面或客户端装置被配置成显示关于化妆的基础的教程。此外，用户界面可以被配置成创建和下载方案或例程的协议。用户界面可以被配置成训练、跟踪使用情况并将跟踪的使用情况与协议、方案和例程进行比较。此外，用户界面可以被配置成基于所跟踪的使用情况来计算分数。用户界面然后可以将分数和指导软件的跟踪使用情况存储在客户端装置的存储器中。此外，用户界面可以用于购买与基于客户端装置的软件中注册的化妆产品相关的任何产品，以及色调、产品线和与当前风格、造型或未来实验技术相关的其他产品的推荐。

图8是根据本公开示例性实施例的系统的图示，其中化妆盒是用于移动使用和修饰的单一化妆品化妆盒。图8示出了盒修饰套件825，其包括用于修饰会话826的一种或多种化妆品。在一个实施例中，盒修饰套件825通过盒修饰连接器827连接到客户端装置815。客户端装置815然后识别正在使用的盒修饰套件825的类型和其中可用的化妆品。因此，根据上述过程，基于客户端装置的软件基于所附的盒修饰套件825的类型提出风格和造型，或者允许通过基于客户端装置的软件的镜像使用进行修饰。化妆盒到客户端装置的此类电连接在本领域中是公知的，如US 9692864 B1所证明的，其通过引用并入本文。

在一个实施例中，盒修饰套件825在不存在半透明显示器和客户端装置壳体的情况下使用。客户端装置815被用作模板化形状的显示器。在一个实施例中，盒修饰套件825与有限的指导模块功能一起使用，其中选择风格（例如，基础），且基于客户端装置的软件生成适合所选风格的模板化形状。为单一风格生成的模板化形状类似于完整指导会话的指导单元，从而适应用户的动作并在适当的时候提供反馈。

在一个实施例中，用于化妆品涂敷器的壳体设置在盒修饰套件815内，从而形成用于移动化妆的一体式系统。

根据本公开的实施例，并再次参考图3A和图3B、图9A、图9B和图9C描述客户端装置的一个或多个正面传感器的实施。一般来说，图9A、图9B和图9C描述本公开的眼睛跟踪特征件，其中部署红外泛光照明器、红外照相机和点投影仪用于观察眼睛位置和眼睛状态。具体来说，图9A、图9B和图9C描述一种用于当一只眼睛必须闭上或者当用户的视线从化妆盒的半透明显示器上移开时的化妆实例的检测和响应方法。

应当理解，尽管以下过程是相对于单只眼睛描述的，但这些描述是非限制性的且仅仅代表应用于左眼、右眼或其组合的过程。此外，应当理解，除了以下描述的红外光之外，包括例如静止图像的各种方法可以用于获取与眼睛位置和眼睛状态相关的数据。

根据一个实施例，图9A描述与本公开的眼睛跟踪特征件相关的数据获取。首先，在S960处，当用户处于视野中时，客户端装置的正面传感器中的红外泛光照明器用红外光照亮视野。在S961处，发射的红外光的一部分从用户的面部和用户的眼睛反射，具体来说，被引导回客户端装置的红外照相机，在S962处，红外照相机接收所述发射的红外光的一部分。其中，在S963处，基于客户端装置的软件和处理电路系统处理从红外照相机接收的红外数据并确定用户的眼睛的特征的度量。在一个实施例中，用户的眼睛的特征的度量是眼睛的光轴在旋转时移动的角度。在另一实施例中，用户的眼睛的特征的度量与眼睛状态（眼睛状态是睁开还是闭合）相关。在一个实例中，该度量是指示眼睛状态的值。此外，在一个实施例中，所述值是眼睛孔径，反映出眼睑相对于用户登录期间确定的初始位置的位置，如图6A中所述。

根据一个实施例，上述过程是迭代的，其中连续执行红外数据的获取和处理，以确定用户的眼睛的特征的后续度量，从而可以确定随时间的变化。

图9B描述响应于本公开的眼睛跟踪特征件的显示投影的调整。首先，参考图9A所示的度量，在S970处，确定出反映用户的眼睛的特征的初始度量与用户的眼睛的特征的后续度量之间的差的增量值。因此，在S971处，在增量值的情况下，计算出显示对象的所需移动。在一个实施例中，所需移动是显示投影的角度的调整或者显示投影相对于半透明显示器的显示表面的平面的移动。然后，在S972处，基于客户端装置的软件执行计算的、所需的移动或修改。在本公开关于用户注视点的一个实施例中，增量值被确定为后续度量与初始度量的差，其中增量值反映出眼睛的光轴角度的变化。在一个实例中，显示投影的修改是显示投影相对于增量值的重新定向。在一个实例中，显示投影的修改是显示投影相对于增量值的角度。根据一个实施例，上述过程是迭代的，其中增量值和所需运动的获取、处理和计算是实时完成的，从而可以跟踪随时间的变化。

在一个实施例中，眼睛跟踪在需要闭合用户的一只眼睛的化妆任务期间是至关重要的。利用正常的双目视觉，用户能够整合从左眼和右眼接收的视觉数据，从而从两个视角生成单个图像。在单个图像内产生有效的深度感知的这两个视角由以瞳孔间距定位的左眼和右眼提供，瞳孔间距被定义为左眼瞳孔与右眼瞳孔之间的距离。在提供深度感知的同时，当只有一只眼睛可用时，瞳孔间距也可能导致图像移位，这种效应称为视差。为此，且与本公开相关，图9C描述本公开的眼睛跟踪特征件的实施，其中用户的一只眼睛是闭着的。

最初，在S980处，通过登录过程来评估包括眼睛位置和眼睛状态的面部特征，如图6A中所述。该登录过程获取左眼和右眼相对于鼻子的位置信息以及左眼和右眼在全孔径下的眼孔径。在一个实施例中，基于客户端装置的软件被配置成从右眼确定左眼并根据两者中的任一者的变化的眼睛状态来调整显示投影。在S981处，在获取初始度量之后且参考图9A的度量确定，确定用户的眼睛的特征的后续度量与用户的眼睛的特征的初始度量之间的增量值。在一个实例中，用户的眼睛的特征的度量反映出右眼的眼睛孔径。因此，在S982处，通过将增量值与预定阈值进行比较，进行右眼的眼睛孔径的评估。如果确定增量值小于预定阈值，则不对显示投影进行修改，因为受试者右眼的眼孔径足以用于视物。然而，如果确定增量值大于预定阈值，则在S983处进行显示投影的修改。根据一个实施例，上述过程是迭代的，其中响应于闭眼来执行显示投影的获取、处理和调整，使得实时跟踪眼睛孔径的变化并减轻用户的定向障碍。

根据一个实施例且如图9C中所暗示，显示投影的修改可以包含将显示投影移动对应于用户面部特征的距离。在其中用户右眼闭合的实施例中，显示投影向左移动预定量。在其中用户左眼闭合的实例中，显示投影向右移动对应于瞳孔间距或其标量倍数的量。在其中用户左眼闭合的实例中，显示投影向右移动相当于瞳孔间距的一半或其标量倍数的量。

为此，图10A、图10B和图10C是其中一只眼睛闭合的用户体验的图示。出于例示的目的，参考图10A，根据指导模块，用户在双眼睁开的情况下进行化妆。在一个实例中，化妆是眉骨化妆1092。模板1090向用户提供关于将化妆品正确应用于左眼1091的重复指令。在指导模块期间，用户有必要闭上左眼1091，以完成指导模块，如图10B和图10C所示。传统上，如图10B中所示，当用户闭合左眼1091以根据模板1090施用化妆品时，模板1090的感知位置将根据视觉视角从整合的、基于双目的位置移动到仅由右眼1093通知的基于单目的位置而移动。然而，根据本公开的实施例，与视觉感知的上述变化同时，客户端装置的正面传感器的红外泛光照明器和红外照相机获取关于眼睛位置和眼睛状态的数据。当用户闭合左眼1090时（如图10C中所示），基于客户端装置的软件确定用户的眼睛孔径的增量值、将所述增量值与预定值进行比较、并由此计算显示投影的所需修改，以移动显示表面上的显示投影并防止由于移动基于透视的图像移动而导致的用户迷失方向。因此，且如图10C中所示，显示投影的左眼1091和其中的模板1090被移动，以恢复模板1090的预期感知位置。

根据一个实施例且参考图1至图6，上述系统在具有随附调色板的化妆盒内部署指导模块，从而将指导和化妆结合在一体化系统中。应当理解的是，相反地，本公开的指导模块也可以独立于化妆盒和随附调色板来部署。为此，图11A、图11B、图11C、图12A和图12B描述用于化妆和指导的系统的非限制性实例，其中调色板可以独立于客户端装置壳体，且因此，以其他方式提供。

图11A、图11B和图11C是独立于调色板的裸指导系统1103的图示，所述裸指导系统包含上盖1113、半透明显示器1105和具有壁1124的客户端装置壳体1116。

当期望时，裸指导系统1103在标准实施例中用作镜子，其中裸指导系统1103的上盖1113被提起以将半透明显示器1105呈现给用户。在一个实施例中，半透明显示器1105是单向镜。在客户端装置壳体1116内不存在发光客户端装置的情况下，从用户的角度来看，半透明显示器1105起到标准镜子的作用。在指导期间，且在上盖1113围绕柔性铰链1112旋转（如图11B中所示）之后，客户端装置1115被插入在客户端装置壳体1116中且指导模块被启动。在指导模块期间，客户端装置1115将显示对象投影到半透明显示器1105的投影表面1106上。根据示例性实施例，通过裸指导系统1103进行的指导模块的实施以类似于图5中所描述的那般加以必要的修改来执行。

图11C是根据本公开示例性实施例的裸指导系统1103的透视图。上盖1113围绕柔性铰链旋转，以暴露出半透明显示器的投影表面1106。由客户端装置壳体内的客户端装置1115投影的显示对象显示在投影表面1106上并在指导模块的指导单元期间向用户提供指导。

在一个实施例中，半透明显示器1105被制作成使得可以执行触觉用户命令到基于客户端装置的软件的转换。触觉输入检测的实例包括电阻、电容、红外栅格、表面声波、声脉冲识别等，且被整合在基于客户端装置的软件中以接收用户命令。根据一个实施例，保护性屏幕状触摸敏感膜使得能够在客户端装置1115与半透明显示器1105之间进行触觉感测。

在另一实施例中，穿过半透明显示器1105的厚度设置的一个或多个按钮允许用户与客户端装置1115直接进行交互。在一个实施例中，基于客户端装置的传感器检测来自用户的命令，包括手势、语音命令等。

根据一个实施例，图12A和图12B是独立于调色板的刷子固持器指导系统1204的图示，其包含半透明显示器1205、被配置成固持一个或多个刷1207的刷子固持器1208以及具有壁1224的客户端装置壳体1216。

当期望时，刷子固持器指导系统1204在标准实施例中用作镜子，其中半透明显示器1205被呈现给用户。在一个实施例中，半透明显示器1205是单向镜。在客户端装置壳体1216内不存在发光客户端装置的情况下，从用户的角度来看，半透明显示器1205起到标准镜子的作用。在指导期间，且在客户端装置壳体1216围绕柔性铰链旋转之后，如图12B中所示，客户端装置1215被插入在客户端装置壳体1216中且指导模块被启动。在指导模块期间，客户端装置1215将显示对象投影到半透明显示器1205的投影表面1206上。根据示例性实施例，通过刷子固持器指导系统1204进行的指导模块的实施以类似于图5中所描述的那般加以必要的修改来执行。

图12B是根据本公开示例性实施例的刷子固持器指导系统1204的透视图。在一个实施例中，具有客户端装置1215的客户端装置壳体1216围绕柔性铰链旋转，以暴露出半透明显示器的投影表面1206。由客户端装置壳体1216内的客户端装置1215投影的显示对象显示在投影表面1206上并在指导模块的指导单元期间向用户提供指导。此外，一个或多个刷子1207容纳在刷子固持器1208内并与客户端装置1215的指导模块结合使用，或者独立地，与用作标准镜子的半透明显示器结合使用。

在一个实施例中，半透明显示器1205被制作成使得可以执行触觉用户命令到基于客户端装置的软件的转换。触觉输入检测的实例包括电阻、电容、红外栅格、表面声波、声脉冲识别等，并被整合在基于客户端装置的软件中以接收用户命令。根据一个实施例，保护性屏幕状触摸敏感膜使得能够在客户端装置1215与半透明显示器1205之间进行触觉感测。

显然，根据以上教导，多种修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，可以不同于本文中具体描述的方式实施本发明。

因此，前述论述仅公开和描述了本发明的示例性实施例。如本领域技术人员将理解的，可在不脱离本发明的精神或基本特征的条件下以其他特定形式实施本发明。因此，本发明的公开内容旨在为例示性的，而不会限制本发明以及其他权利要求的范围。本公开（包括本文中教导的任何容易辨别的变型）部分地定义前述权利要求术语的范围，使得不存在专用于公众的发明主题。