一种基于增强现实的装配引导方法、系统及应用

技术领域

本发明涉及工业装配技术领域，具体为一种基于增强现实的装配引导方法、系统、应用，复杂装配引导方法适用于各种装配工艺的装配引导，尤其适用于复杂装配工艺的培训和引导装配。

背景技术

装配是指按技术要求将若干个零件接合成部件或将若干个零件和部件接合成产品，并经过调试、检验和试验使之成为合格产品的过程。

传统装配过程中设计人员将纸质装配图纸和装配要求交给现场操作人员，操作人员需要一定时间对图纸要求进行理解，理解的速度和准确性取决于其经验程度，装配过程中缺乏监督，难以控制装配出错的风险，此外操作人员和设计人员沟通有限，亟需要一种数字化的装配引导装置及方法，将设计端信息准确直观地传达，尤其是结构复杂、装配难度大、装配要求高的产品，以解决产品装配效率低，装配质量不稳定的问题。

同时，目前基于增强现实技术的装配方法层出不穷，但是大多存在成本高、装配检测精度低的问题。

因此，需要设计一种装配引导方法，以解决产品装配效率低，装配质量不稳定的问题。

发明内容

本发明的目的在于设计一种捕捉速度快、匹配度高、检测精度高、便于推广的基于增强现实的装配引导方法，装配引导方法能够高效率、高质量的实现待装配体的装配引导。还提供了基于增强现实系统，其能够适用于简单结构，尤其适用于复杂结构的待装配体的装配引导。

实现发明目的的技术方案如下：

本发明提供了一种基于增强现实的装配引导方法，包括以下步骤：

S1、待装配体的零件模型轮廓信息与装配信息获取并存储，将零件模型轮廓信息和装配信息解析为结构化数据；结构化数据的获取方法为：设计开发装配工艺解析插件，对待装配体装配工艺文件和装配信息读取，获得零件模型轮廓信息与装配信息并解析为结构化数据；其中，装配信息包括装配顺序、装配工艺要求、装配引导信息、装配标注信息；

S2、依据相机识别并捕捉操作台上待装配体的所有零件的位姿信息，为AR场景提供零件的三维跟踪注册矩阵，对现实场景中零件进行动态跟踪及定位，以搭建增强现实场景，其中位姿信息包括零件模型轮廓信息、位置信息；

S3、根据相机实时获取零件的当前位置图像，提取零件的三维边缘轮廓特征信息，并与S1中存储的零件轮廓信息匹配，区分在当前状态下待装配体的基础件和其余零件；

S4、将轮廓信息匹配数据和装配信息，结合三维跟踪注册矩阵和当前位置图像，在基础件的待装配位置处高亮显示装配引导信息；

S5、对操作台上其余零件中的待装配零件，进行包络体高亮化标识，引导操作者抓取物体进行装配，包络体是基于三维边缘轮廓特征信息，利用体素化方式生成的，以建立待装配零件的碰撞体，用于高亮显示与装配检测；

S6、步骤S5装配过程中，动态视觉识别判断装配情况，实现虚实融合；

S7、重复步骤S3至S6，将所有的零件进行引导装配，直至待装配体完成装配。

上述装配引导方法的原理是：首先，通过从设计端读取装配顺序和装配标注信息，设计插件并获得结构化数据；然后，通过将结构化数据与待装配体三维模型信息绑定建立虚拟模型数据；最后，通过固定于操作台顶端的相机动态提供基础件及其余零件的标定数据，对当前状态的基础件的动态捕捉，并进行识别与比对，为AR场景提供三维标定信息，在场景中实现虚拟装配信息与显示待装配体的场景融合叠加，从而实现对装配过程的引导。

进一步的，在步骤S1中，结构化数据的获取方法为：设计开发装配工艺解析插件，采用开发装配工艺解析插件通过标准数据读取接口和标准解析模板，对CAD软件中待装配体的三维模型的装配工艺文件和装配信息读取，获得零件模型轮廓信息与装配信息，将零件模型轮廓信息与装配信息解析为结构化数据。其中，装配信息包括装配顺序、装配工艺要求，根据装配顺序能够准确的实现待装配体的所有零件的装配，避免出现漏装的问题。装配工艺要求能够准确的提供待装配体的各个零件的尺寸、轮廓、装配位置等信息，避免出现装错的问题，确保待装配体的装配精度。

进一步的，在步骤S3中，零件的当前位置图像的识别与捕捉，是基于深度学习轮廓识别方法获取。

优选的，步骤S6中，根据碰撞体与待装配零件的重合度比例，判别装配是否完成、待装配零件是否存在错件、待装配零件是否存在漏件。

优选的，步骤S6中，根据碰撞体与待装配零件的重合度比例及位置信息，判别待装配零件是否存在装配位姿差异，判断待装配零件是否装反。

本发明还提供了一种基于增强现实的装配引导系统，采用上述的装配引导方法对待装配体进行装配引导，装配引导系统包括视觉模块、演算模块、播放模块。

其中，视觉模块用于采集当前装配过程中基础件及其余零件的实时影像，并获取实时影像的特征点信息。

其中，演算模块用于采用视觉算法获取待装配零件的包络体信息及装配检测信息，并结合预设的装配零件3D模型数据，对实时影像中的视频帧进行演算，得到三维注册矩阵与待装配体的当前装配状态。

其中，播放模块用于图形渲染引擎，结合演算模块的数据，实时输出装配的图像信息。

进一步的，上述播放模块输出的图像信息可通过头戴式、手持式和空间展示三类设备进行呈现。

进一步的，上述视觉模块为相机。

进一步的，所述播放模块支持多种呈现设备，呈现设备包括不仅限于头戴式、手持式和空间投影式等三类。

进一步的，播放模块输出的图像信息，是以三维引擎的世界坐标原点置于基础件的图像中心，读取数据库中零件的轮廓特征及装配信息，结合三维注册矩阵生成待装配零件的三维模型；结合装配工艺文件与装配过程判断，高亮待装配零件的包络体，高亮待装配零件的三维模型，显示装配工艺要求。

本发明还提供了一种基于增强现实的装配引导系统的应用，应用上述装配引导方法及上述装配引导系统对复杂结构工件进行装配，复杂结构工件包括航天器。

与现有技术相比，本发明的有益效果是：基于增强现实的装配引导方法能够提供更为直观的装配指导，降低装配的培训成本；能够提供基于装配工艺的行为约束，缩短开发的成本周期；能够提供具有更高拓展性的增强现实显示；能够对实际装配结果进行检查，提高装配质量。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明为了更清楚地说明本发明实施例或现有技术中的技术方案，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于增强现实的装配引导方法的流程图；

图2为本发明实施例中装配引导的架构图；

图3为实施例中装配引导的流程图。

具体实施方式

下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。

在本实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。

此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

实施例1：

本实施例提供了一种基于增强现实的装配引导系统，装配引导系统采用本发明设计的装配引导方法对待装配体进行装配引导，装配引导系统包括视觉模块、演算模块、播放模块。

其中，视觉模块用于采集当前装配过程中基础件及其余零件的实时影像，并获取实时影像的特征点信息。

具体的，视觉模块为相机，相机进行空间坐标计算，用来识别基础件的当前状态，包括位姿信息、待装配零件的安装位置的轮廓特征等信息。

其中，演算模块用于采用视觉算法获取待装配零件的包络体信息及装配检测信息，并结合预设的装配零件3D模型数据，对实时影像中的视频帧进行演算，得到三维注册矩阵与待装配体的当前装配状态。

其中，播放模块用于图形渲染引擎，结合演算模块的数据，实时输出装配的图像信息。具体的，播放模块输出的图像信息可通过头戴式、手持式和空间展示三类设备进行呈现。

具体的，播放模块输出的图像信息，是以三维引擎的世界坐标原点置于基础件的图像中心，读取数据库中零件的轮廓特征及装配信息，结合三维注册矩阵生成待装配零件的三维模型；结合装配工艺文件与装配过程判断，高亮待装配零件的包络体，高亮待装配零件的三维模型，显示装配工艺要求。

实施例2：

本实施例提供了一种基于增强现实的装配引导方法，装配引导方法能够应用在实施例1的装配引导系统中，在本实施方式中，基于增强现实的装配引导方法，如图1所示，为装配引导方法的流程图，包括以下步骤：

S1、待装配体的零件模型轮廓信息与装配信息获取并存储，将零件模型轮廓信息和装配信息解析为结构化数据。

具体的，结构化数据的获取方法为：设计开发装配工艺解析插件，采用开发装配工艺解析插件通过标准数据读取接口和标准解析模板，对CAD软件中待装配体的三维模型的装配工艺文件和装配信息读取，获得零件模型轮廓信息与装配信息，将零件模型轮廓信息与装配信息解析为结构化数据。其中，装配信息包括装配顺序、装配工艺要求、装配引导信息、装配标注信息，根据装配顺序能够准确的实现待装配体的所有零件的装配，避免出现漏装的问题。装配工艺要求能够准确的提供待装配体的各个零件的尺寸、轮廓、装配位置等信息，避免出现装错的问题，确保待装配体的装配精度。

S2、依据相机识别并捕捉操作台上待装配体的所有零件的位姿信息，为AR场景提供零件的三维跟踪注册矩阵，对现实场景中零件进行动态跟踪及定位，以搭建增强现实场景。位姿信息包括零件模型轮廓信息、位置信息。

具体的，步骤S2是操作台进行三维注册，该步骤属于装配准备过程，目的是提高装配引导的可复用性，所有的装配过程引导与实际的装配工艺要求通过零件识别进行绑。其根据步骤S1录入的所有零件的轮廓信息与操作台上放置的所有零件（基础件和其余零件）的轮廓信息进行轮廓比对，实现对图像采集的配准，并以此为基础坐标为所有装配部件提供三维注册矩阵，同时将所有的其余零件的轮廓进行提取，进行轮廓比对从而识别零件与零件的定位。

S3、根据相机实时获取零件的当前位置图像，提取零件的三维边缘轮廓特征信息，并与S1中存储的零件轮廓信息匹配，区分在当前状态下待装配体的基础件和其余零件。

在此需要说明的是，基础件指的是在不同的装配步骤中，上一步已经装配好的装配半成品，其余零件指的是待装配体中除了基础件之外剩余的没有装配的所有零件。

其中，零件的当前位置图像的识别与捕捉，是基于深度学习轮廓识别方法获取。

S4、将轮廓信息匹配数据和装配信息，结合三维跟踪注册矩阵和当前位置图像，在基础件的待装配位置处高亮显示装配引导信息。

在本步骤中，将三维动态模型中的将基础件的待装配位置进行高亮化处理，能够标注出待装配零件需要安装到基础件上的具体位置，且通过待装配位置的轮廓结合待装配零件的轮廓能够快速的进行装配。

S5、对操作台上其余零件中的待装配零件，进行包络体高亮化标识，引导操作者抓取物体进行装配。

具体的，本步骤中通过三维边缘轮廓特征信息，利用体素化生成包络体的方式，建立待装配零件的碰撞体，用于高亮显示与装配检测。

S6、步骤S5装配过程中，动态视觉识别判断装配情况，实现虚实融合。

优选的，步骤S6中，根据碰撞体与待装配零件的重合度比例，判别装配是否完成、待装配零件是否存在错件、待装配零件是否存在漏件。

优选的，步骤S6中，根据碰撞体与待装配零件的重合度比例及位置信息，判别待装配零件是否存在装配位姿差异，判断待装配零件是否装反。

S7、重复步骤S3至S6，将所有的零件进行引导装配，直至待装配体完成装配。

上述装配引导方法的原理是：首先，通过从设计端读取装配顺序和装配标注信息，设计插件并获得结构化数据；然后，通过将结构化数据与待装配体三维模型信息绑定建立虚拟模型数据；最后，通过固定于操作台顶端的相机动态提供基础件及其余零件的标定数据，对当前状态的基础件的动态捕捉，并进行识别与比对，为AR场景提供三维标定信息，在场景中实现虚拟装配信息与显示待装配体的场景融合叠加，从而实现对装配过程的引导。

装配引导架构，如图2所示，首先，在设计端读取装配顺序、装配标注信息，并将其输入构建的三维模型与装配构建的虚拟模型内；然后，在装配过程中，通过相机识别的实体信息与虚拟模型的虚拟信息进行融合，输出装配引导，提供基于装配顺序的三维标注显示、装配体（基础件的安装位置及待装配零件）高亮显示，并对装配结构进行检测。

实施例3：

本实施例提供了装配引导的应用，适用于简单结构的装配引导，尤其适用于复杂结构的待装配体的装配引导，其是使用实施例1的装配引导结构及实施例2的装配引导方法进行装配的。

具体的，待装配体包括零件A、B、C、D、E、F、G、H……。

S101、装配时，启动装配程序，采用相机提取识别操作台中央零件类型和位姿；

S102、利用开发装配工艺解析插件读取CAD中三维模型数据及装配工艺数据，解析为结构化的工艺流程数据，并存入数据库中，数据为装配引导过程的装配顺序与装配工艺要求；

S103、使用相机识别零件A、B、C、D、E、F、G、H……的轮廓信息（轮廓、大小等参数），与数据库中信息比对，判断各个零件是否满足该待装配体的装配工艺要求，并获取各零件的装配信息（安装的位置、顺序等）；其中，在本步骤以及下述步骤中，相机自由选择为双目相机，当然也可以选择使用3D相机或其他相机。

S104、依据S102中读取的装配顺序，根据完成情况判断实际装配进度，高亮显示待装配零件，并在基础零件装配位置高亮显示装配引导信息，指导装配过程的进行；

S105、根据S102中读取的装配顺序，依据装配引导方法与装配工艺要求将零件B装配到零件A上，形成基础件，此时剩余的所有零件统称为其余零件。

S106、对将零件B装配到零件A上的装配过程进行动态识别，并实时的纠错，然后判断装配结果。

S107、重复步骤S104至S106，依次将其余零件中待装配零件C装配到基础件（A+B）、将其余零件中待装配零件D装配到基础件（A+B+C）、将其余零件中待装配零件E装配到基础件（A+B+C+D）、……，直至将待装配体的所有的零件都装配完成即可；具体的，零件C、D、E、F、G、H……的装配方法与零件B的装配方法相同，每个零件的装配，都需要通过实施例2的装配引导方法进行引导并对装配结果进行测试。

以下通过对复杂结构的航天器的装配，对上述装配引导方法及系统进行说明，如图3所示：

装配开始；

抓取工作头中央图像（通过双母线相机拍照）；

调取工件数据库内数据，识别工件（即待装配体）类型；

根据工艺文件，设计标准化插件，并根据标准化插件解析工艺文件，读取装配工艺；

识别是否满足工艺要求，并进行判断；

1.若零件满足（Y）工艺要求，则按顺序高亮零件提示装配工艺，动态识别零件位置，判断是否装配到位；

1.1若装配到位（Y），则判断是否完成装配工艺流程，若未完成则继续装配下一个零件，若装配完成，则结束装配。

1.2若装配不到位（N），则返回上一步重新动态识别零件位置，进行再次装配，直至装配到位。

2.若零件不满足（N）工艺要求，则结束程序，提示更换零件，重新进行引导装配。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。