增强现实眼镜

技术领域

本申请涉及产品信息显示技术，尤其涉及一种增强现实眼镜。

背景技术

随着信息化和数字化技术的不断发展，交互式电子技术手册(InteractiveElectronic Technical Manual，简称：IETM)技术作为新时期替代传统纸质技术资料的一种手段，通过文字、图表、音视频、动画等多种展现形式提供产品使用信息和维修保障技术信息，显著提升了保障效率，降低了保障费用，缩短了保障时间。

已有的IETM技术通常是基于平板电脑或个人计算机模式运行，其效果和一般电子书的浏览效果相当，而且用户在浏览资料的同时不容易建立产品概念，在遇见实际产品时往往无从下手。

发明内容

为了解决上述技术缺陷之一，本申请实施例中提供了一种增强现实眼镜。

本申请第一方面实施例提供一种增强现实眼镜，包括：图像采集设备、显示控制设备和显示设备；

所述图像采集设备用于获取待显示产品的真实场景图像；

所述显示控制设备用于根据所述真实场景图像构建与所述待显示产品对应的虚拟场景图像及待显示产品中各部件的名称标签，并控制所述显示设备显示所述虚拟场景图像及名称标签；

所述显示控制设备还用于根据用户选中的名称标签确定与所述名称标签对应的各技术手册标题，并控制所述显示设备显示各技术手册标题；以及根据用户选中的技术手册标题确定与所述技术手册标题对应的技术手册信息，并控制显示设备显示技术手册信息。

本申请实施例提供的技术方案，采用图像采集设备获取待显示产品的真实场景图像；采用显示控制设备据真实场景图像构建与待显示产品对应的虚拟场景图像及待显示产品中各部件的名称标签，并控制显示设备显示虚拟场景图像及名称标签；显示控制设备还根据用户选中的名称标签确定与名称标签对应的各技术手册标题，并控制显示设备显示各技术手册标题；以及根据用户选中的技术手册标题确定与技术手册标题对应的技术手册信息，并控制显示设备显示技术手册信息，实现待显示产品各部件技术手册的直观显示，即便用户不了解待显示产品的各部件名称，也能够通过上述方案快速查找到技术手册。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例一提供的增强现实眼镜的结构示意图；

图2为本申请实施例一提供的增强现实眼镜中各设备的工作流程图；

图3为本申请实施例一提供的增强现实眼镜显示虚拟场景图像和名称标签的示意图；

图4为本申请实施例一提供的增强现实眼镜显示技术手册标题的示意图；

图5为本申请实施例二提供的增强现实眼镜工作的流程图；

图6为本申请实施例三提供的增强现实眼镜工作的流程图。

附图标记：

1-镜架；2-镜片；3-图像采集设备；4-待显示产品。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供一种增强现实眼镜，能够根据视野内的待显示产品显示相应的技术手册，便于更直观地了解产品的结构。

图1为本申请实施例一提供的增强现实眼镜的结构示意图。如图1所示，本实施例提供一种增强现实眼镜，包括：镜架1、镜片2、图像采集设备3、显示控制设备(图上未示出)和显示设备(图上未示出)。镜片2设置在镜架1上，可包括左眼镜片和右眼镜片。图像采集设备3可设置在镜架1的一端，例如图1所示位于镜架1的左端，用于获取眼镜前方的待显示产品4的图像。显示设备设置在镜片2的后方，其发出的光线投影在镜片2上。

图2为本申请实施例一提供的增强现实眼镜中各设备的工作流程图。如图2所示，眼镜中的各设备的执行步骤如下：

步骤101、图像采集设备获取待显示产品的真实场景图像。

图像采集设备3具体为摄像头，拍摄待显示产品的图像，作为真实场景图像。图像采集设备3将获取到的真实场景图像发送给显示控制设备。

步骤102、显示控制设备根据真实场景图像构建与待显示产品对应的虚拟场景图像及待显示产品中各部件的名称标签，并控制显示设备显示虚拟场景图像及名称标签。

显示控制设备可以为一处理器及外围器件。显示控制设备根据待显示产品的真实场景图像构建虚拟场景图像，并控制显示设备显示虚拟场景图像。当用户戴上增强现实眼镜之后，在镜片上看到的不是真实的待显示产品，而是显示控制设备构建出的虚拟的待显示产品。

显示控制设备还可以从数据库中查找是否存在待显示产品对应的数据，如果查找到了，获取待显示产品所包含的部分名称，并控制显示设备显示名称标签。实际应用中，各名称标签分别位于待显示产品各部分结构的旁边。图3为本申请实施例一提供的增强现实眼镜显示虚拟场景图像和名称标签的示意图。如图3所示，待显示产品4包含三个部件，各部件的名称标签分别为：部件1、部件2和部件3。名称标签显示在各部件的旁边，还可以增加显示指引线，将名称标签与部件对应。

用户的视野中出现了图3所示的待显示产品的虚拟场景图像和名称标签之后，用户可操作选中其中的一个名称标签。

步骤103、显示控制设备根据用户选中的名称标签确定与名称标签对应的各技术手册标题，并控制显示设备显示各技术手册标题。

图4为本申请实施例一提供的增强现实眼镜显示技术手册标题的示意图。如图4所示，假设用户选中了部件2，部件2包含五个技术手册：手册1、手册2、手册3、手册4和手册5。显示控制设备从数据库中查找到五个技术手册的标题，并控制显示设备显示五个技术手册的标题。

用户的视野中出现了图4所示的技术手册标题之后，用户可操作选中其中一个技术手册标题。

步骤104、显示控制设备根据用户选中的技术手册标题确定与技术手册标题对应的技术手册信息，并控制显示设备显示技术手册信息。

假设用户选中了手册1，显示控制设备从数据库中读取手册1的信息并控制显示设备显示手册1的信息，用户就能够看到手册1的信息，很直观地了解到待显示产品中部件2对应的手册2的内容。

上述眼镜中各部件的位置和结构并不限定于图1所示，例如：图像采集设备3也可以设置在镜架1的右端。

本实施例提供的技术方案，采用图像采集设备获取待显示产品的真实场景图像；采用显示控制设备据真实场景图像构建与待显示产品对应的虚拟场景图像及待显示产品中各部件的名称标签，并控制显示设备显示虚拟场景图像及名称标签；显示控制设备还根据用户选中的名称标签确定与名称标签对应的各技术手册标题，并控制显示设备显示各技术手册标题；以及根据用户选中的技术手册标题确定与技术手册标题对应的技术手册信息，并控制显示设备显示技术手册信息，实现待显示产品各部件技术手册的直观显示，即便用户不了解待显示产品的各部件名称，也能够通过上述方案快速查找到技术手册。

传统方案中，技术手册若采用纸件存放，具有占用空间、不便携带、不易保存、易损坏等问题；若采用平板电脑或个人计算机显示技术手册，若用户不熟悉产品，则无法根据目录查找技术手册，也不便通过搜索的方式查找技术手册。

而本实施例提供的方案，由于眼镜显示了产品结构，用户可选择其中的某个部件进而显示相应的技术手册，因此即便用户不熟悉产品，也能够快速直接地找到技术手册。该方案可应用于对产品进行维修时，能够大幅度提高维修效率。

实施例二

本实施例是在上述实施例的基础上，对增强现实眼镜的实现方式进行优化，尤其是对显示控制设备根据真实场景图像构建虚拟场景图像的方式进行优化。

图5为本申请实施例二提供的增强现实眼镜工作的流程图。如图5所示，一种具体的实现方式为：显示控制设备提取真实场景图像的图像特征，然后根据图像特征与预设图像特征信息进行匹配，再根据匹配结果构建虚拟场景图像。预设图像特征信息为预先存储的与待显示产品对应的信息。显示控制设备将提取到的图像特征与预先存储的信息进行比对，当比对结果为相同时，根据提取到的图像特征或预设图像特征信息构建虚拟场景图像。

举一简单例子说明：待显示产品为长度为2m、宽度为1m、高度为1m的长方体。显示控制设备提取到的图像特征即为待显示产品的形状、特征点以及长、宽、高的尺寸比例，然后与预设图像特征信息进行匹配，当匹配到相同的图像特征时，根据形状及长、宽、高的尺寸比例构建一个虚拟的长方体图像进行显示，虚拟的长方体的形状和比例与待显示产品相同。用户看到的就是虚拟的长方体。

在实际应用中，由于用户是处于移动状态的，可从各角度观察待显示产品，因此，增强现实眼镜应当根据用户视野的角度调整虚拟场景图像，使其与用户视野角度一致。例如：当用户蹲下与待显示图像平视时，虚拟场景图像为平视角度；当用户站起来俯视待显示图像时，虚拟场景图像为俯视角度。

一种具体的实现方式：显示控制设备根据匹配结果构建虚拟场景图像，包括：显示控制设备根据匹配结果对待显示产品进行特征点跟踪和运动路径检测，然后根据特征点跟踪结果、运动路径检测结果及获取到的待显示产品的位姿进行图像叠加得到动态的虚拟场景图像，实现动态可视化显示。

进一步的，显示控制设备提取真实场景图像的图像特征之后，还对图像特征进行修正校准。具体可根据真实场景图像提取到的位置、尺寸等信息进行修正校准，以根据校准后的图像特征进行匹配。

进一步的，显示控制设备还可以对图像采集设备实时采集到的真实场景图像进行位姿信息获取，并进行三维调整，将调整后的图像与特征点跟踪结果、运动路径检测结果进行叠加。

实施例三

本实施例是在上述实施例的基础上，对增强现实眼镜的实现方式进行进一步的优化。

图6为本申请实施例三提供的增强现实眼镜工作的流程图。如图6所示，图6展示了增强现实眼镜使用过程的步骤。首先，用户戴上增强现实眼镜，打开摄像头，用户的视野内显示出待显示产品的虚拟图像及名称标签。然后，用户选择一个名称标签，眼镜对应显示所有的技术手册标题；用户选择一个技术手册标题，眼镜对应显示技术手册的介绍信息。

上述过程中，当用户选择了一个名称标签之后，显示控制设备根据用户选中的名称标签确定与名称标签对应的各技术手册标题，并控制显示设备显示各技术手册标题。具体实现方式为：显示控制设备识别用户的输入操作，当识别出用户的输入操作为选中名称标签时，显示控制设备获取用户选中的名称标签，然后根据用户选中的名称标签确定名称标签对应的各技术手册标题。之后显示控制设备设置各技术手册标题在画面上显示的位置(例如：横向并排排布、纵向并排排布或矩阵排布等形式)，并将最终设定好的图像数据发送给显示设备进行显示。

上述过程中，当用户选择了一个技术手册标题之后，显示控制设备根据用户选中的技术手册标题确定与技术手册标题对应的技术手册信息，并控制显示设备显示技术手册信息。具体实现方式为显示控制设备识别用户的输入操作，当识别出用户的输入操作为选中技术手册标题时，显示控制设备获取用户选中的技术手册标题，然后根据用户选中的技术手册标题确定与技术手册标题对应的技术手册。之后，显示控制设备控制显示设备显示该技术手册。

本实施例提供几种用户输入的方式：用户在选择名称标签及技术手册标题的方式可以通过输入手柄、输入按键、手势操作等方式。

一种方式为：采用输入手柄，该输入手柄可以为独立于镜架1的一个部件，输入手柄与显示控制设备通过无线方式进行数据传输。输入手柄上可设置机械按键、虚拟按键等。用户通过操作输入手柄上的按键选中视野中的其中一个名称标签或技术手册标题。显示控制设备识别用户通过输入手柄输入的操作。

另一种方式为：采用输入按键，该输入按键可以为设置在镜架1上的结构，可以为机械按键或虚拟按键。用户通过操作输入按键选中视野中的其中一个名称标签或技术手册标题。显示控制设备识别用户通过输入按键输入的操作。

又一种方式为：采用图像采集设备3采集用户手势图像。具体的，用户可伸手指向视野中的名称标签或技术手册标题。图像采集设备3采集当前图像，以通过图像识别的方式获取到用户选中的名称标签或技术手册标题。显示控制设备根据图像采集设备采集到的用户手势图像识别用户的输入操作。

对于眼镜显示的方式，本实施例也提供一种具体方式：显示设备包括：左眼显示设备和右眼显示设备。其中，显示控制设备将虚拟场景图像分为第一方向偏振图像和第二方向偏振图像，第一方向和第二方向垂直。然后显示控制设备控制左眼显示设备显示第一方向偏振图像，控制右眼显示设备显示第二方向偏振图像。

例如：第一方向为垂直方向，第二方向为水平方向。两个镜片2为偏振方向不同的偏光镜片。左眼显示设备将第一方向偏振图像投射在左侧镜片上，右眼显示设备将第二方向偏振图像投射在右侧镜片上，用户的左右眼分别接收两组画面，再经过大脑合成立体图像。

上述方案是应用了被动式3D显示技术，利用光线具有振动方向的机理来分解图像。采用偏振式3D显示画面不会出现闪烁，3D图像的显示效果比色差式好，而且使得眼镜的重量较轻且成本较低。

在用户佩戴增强现实眼镜观察产品时，通过摄像头拍摄产品图像，并与存储在自身数据库中的特征信息进行比对，识别标识码或图像特征等手段定位部件，通过基于自然特征的方法提取图像中的特征点，并计算场景中同一个三维点在二维图像上的对应关系，优化获得三维点在坐标系中的位置以及摄像头的位姿。将部件名称显示在用户视野中，使用户建立与产品的直接联系，快速建立认知。同时视野中的部件名称标签作为热点链接，用户可选中该热点链接。之后，视野中显示几本手册标题，手册标题也作为热点链接，用户可选择任意一个手册标题，然后在视野中显示技术手册的内容，用户可通过手势滑动或操作手柄、案件等方式进行浏览。

上述方案为基于增强现实的三维可视化显示，是智能维修技术的最终展示环节，同时也是智能维修技术最直观的展示环节。在完成三维指导流程的识别与规划基础上，实现真实场景中操作对象的实时定位和匹配，在用户动态操作过程中实时将操作指导信息叠加在真实场景中。可视化处理流程详细流程为：(1)通过图像采集设备获取真实场景的图像；(2)对真实场景的画面进行预处理并提取特征点，定位装配体；(3)真实场景中的特征点与三维指导流程中的特征点进行匹配，确定叠加位置及叠加画面的尺寸大小；(4)将眼镜的位姿信息与三维指导画面信息进行融合，获得旋转和缩放后的虚拟画面；(5)采用位置跟踪法，在真实场景中追踪目标点，注册虚拟信息；(6)进行场景叠加，实现指导画面可视化。

实际应用中，该环境分布建立方法可以通过计算机程序实现，例如，应用软件等；或者，该方法也可以实现为存储有相关计算机程序的介质，例如，U盘、云盘等；再或者，该方法还可以通过集成或安装有相关计算机程序的实体装置实现，例如，芯片、可移动智能设备等。其中，可移动智能设备包括但不限于具有移动功能的智能设备，例如，清洁机器人、保姆机器人、警卫机器人等带有移动部件的智能设备。以清洁机器人为例，其可以为智能扫地机或者智能擦地机等。

图2示出了

本实施例提供一种车厢，能够应用于轨道车辆中，该轨道车辆可以为内燃机车或电力机车，可以为动车组、地铁、轻轨或有轨电车等。该转向架具有较轻的自重，进而能够减轻车身自重，提高牵引效率。

本实施例提供的设备和存储介质具有与上述方法相同的技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。