一种集手眼脑于一体的品质管控方法及其系统

技术领域

本发明涉及产品表面质量检测领域，具体而言，涉及一种集手眼脑于一体的品质管控方法及其系统。

背景技术

随着技术的不断革新，产品质量检测也不断迎来新的挑战。在某些精密电子领域，产品的每一个部件都要求极高的精度，任何一个细小的缺陷都有可能导致产品的故障。

因此，机器视觉检测得以在产品表面质量检测领域得到越来越多的应用。视觉检测是指通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，判断摄取目标表面是否存在缺陷。

在传统的机器视觉检测系统中，通常采用图像采集装置和光源组成，图像采集装置用于采集工件表面图像，光源用于提供照明使图像采集设备获得清晰的高质量图像。基于图像采集装置和光源自身的缺陷，以及二者的配合协调上的技术手段的缺陷，均能影响机器视觉检测系统的性能，例如准确度、效率等。此外，传统的视觉检测系统只适用于小部分的产品检测，每进行一次检测都需要人工设置，难以进行大批量的产品检测，严重制约产品表面品质检测的发展。

综上，现有技术中的视觉检测还存在诸多缺陷，例如检测精度不高、采集效率低等问题，严重制约产品的批量化检测。因此，继续一种方案来提升机器视觉检测的精度和效率。

发明内容

基于现有技术存在的问题，本发明提供了一种。具体技术方案如下所示：

一种集手眼脑于一体的品质管控方法，适用于包括机械臂、光源、视觉传感器和服务器的系统中，方法包括如下：

机械臂固定待检测产品，按照预设轨迹在空间内作轨迹运动，构成检测空间；

在所述检测空间周围设置有多个光源以及多个视觉传感器，多个所述视觉传感器采集所述待检测产品在所述检测空间内被多个所述光源照射时的光学信息，并将所述光学信息反馈给所述服务器；

基于深度学习网络，利用预训练后的所述服务器根据所述光学信息判断所述待检测产品是否存在缺陷。

在一个具体实施例中，所述预设轨迹的获取过程包括：

获取经过检测后不存在缺陷的样本产品；

通过所述机械臂固定所述样本产品，设置第一轨迹使所述样本产品跟随所述机械臂在轨迹空间内作轨迹运动，构建第一检测空间；

在所述第一检测空间周围设置多个光源和多个所述视觉传感器；

多个所述视觉传感器采集所述样本产品在所述检测空间内被多个所述光源照射时的光学信息，并将所述光学信息反馈给服务器；

根据所述光学信息调整所述光源的位置、所述视觉传感器的位置和所述第一轨迹，直至满足预设条件后，固定光源的位置和视觉传感器的位置，将满足预设条件的第一轨迹作为预设轨迹。

在一个具体实施例中，所述预训练包括：

获取满足所述预设条件时的光学信息，并作为期望光学信息；

按照视觉传感器的位置对所述期望光学信息进行编号，将所述期望光学信息和对应的编号存储在所述服务器中；

“基于深度学习网络，利用预训练后的所述服务器根据所述光学信息判断所述待检测产品是否存在缺陷”具体包括：

所述服务器按照视觉传感器的位置对所述光学信息进行编号；

基于深度学习网络，逐一对比相同编号下的所述光学信息和所述期望光学信息，若存在差异，则所述待检测产品存在缺陷。

在一个具体实施例中，所述检测空间为二维空间；

所述光源和所述视觉传感器固定在设置曲面支架上

所述曲面支架设置在所述检测空间的上方。

在一个具体实施例中，所述检测空间为三维空间；

所述光源和所述视觉传感器固定在设置球状支架上；

所述球状支架覆盖在所述检测空间周围。

在一个具体实施例中，所述服务器根据所述光学信息构建出所述待检测产品的三维模型，具体包括：

通过深度学习网络提取所述光学信息的特征；

通过单应性映射将所述特征投影到同一个参考视角，构建出不同参考视角之间的匹配误差；

根据所述匹配误差预测在所述参考视角下的深度图，融合各参考视角下的深度图构建出所述待检测产品的三维模型。

在一个具体实施例中，“逐一对比相同编号下的所述光学信息和所述期望光学信息”具体包括：

对所述光学信息和所述期望光学信息进行自适应阈值分割，并对区域轮廓进行提取优化；

通过全局几何特征描述计算所述区域的特征描述，获取所述光学信息特征点集和所述期望光学信息特征点集；

基于深度学习网络构建评估模型，根据所述评估模型评估所述光学信息特征点集和所述期望光学信息特征点集，获取评估结果；

根据所述评估结果判断所述光学信息和所述期望光学信息是否存在差异。

一种集手眼脑于一体的品质管控系统，包括：

运动单元：用于通过机械臂固定待检测产品，按照预设轨迹在空间内作轨迹运动，构成检测空间；

视觉单元：包括光源和视觉传感器，用于在所述检测空间周围设置有多个光源以及多个视觉传感器，多个所述视觉传感器采集所述待检测产品在所述检测空间内被多个所述光源照射时的光学信息，并将所述光学信息反馈给预设的服务器；

处理单元：用于基于深度学习网络，利用预训练后的所述服务器根据所述光学信息判断所述待检测产品是否存在缺陷。

在一个具体实施例中，所述系统还包括轨迹获取单元，

轨迹获取单元：用于获取经过检测后不存在缺陷的样本产品，通过所述机械臂固定所述样本产品，设置第一轨迹使所述样本产品跟随所述机械臂在轨迹空间内作轨迹运动，构建第一检测空间；

在所述第一检测空间周围设置多个光源和多个所述视觉传感器；

多个所述视觉传感器采集所述样本产品在所述检测空间内被多个所述光源照射时的光学信息，并将所述光学信息反馈给服务器；

根据所述光学信息调整所述光源的位置、所述视觉传感器的位置和所述第一轨迹，直至满足预设条件后，固定光源的位置和视觉传感器的位置，将满足预设条件的第一轨迹作为预设轨迹。

在一个具体实施例中，所述处理单元具体包括，

预训练单元：用于获取满足所述预设条件时的光学信息，并作为期望光学信息，按照视觉传感器的位置将所述期望光学信息进行编号，将所述期望光学信息和对应的编号存储在所述服务器；

判断单元：用于通过所述服务器按照视觉传感器的位置对所述光学信息进行编号，基于深度学习网络，逐一对比相同编号下的所述光学信息和所述期望光学信息，若存在差异，则所述待检测产品存在缺陷。

在一个具体实施例中，所述处理单元还包括，

模型构建单元：用于构建待检测产品的三维模型，通过深度学习网络提取所述光学信息的特征；

通过单应性映射将所述特征投影到同一个参考视角，构建出不同参考视角之间的匹配误差；

根据所述匹配误差预测在所述参考视角下的深度图，融合各参考视角下的深度图构建出所述待检测产品的三维模型。

有益效果：本发明提供了一种集手眼脑于一体的品质管控方法及其系统，模仿人工检测的方式，依靠机械手固定产品作为手实现产品的多方位运动，依靠视觉传感器+光源作为眼睛进行图像检测，通过服务器配合深度学习算法作为大脑判断产品是否存在缺陷，手眼脑于一体检测产品表面质量，检测效率高、检测质量稳定，适用于批量化产品检测。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明提出的集手眼脑于一体的品质管控方法的模块示意图；

图2是本发明提出的二维空间下的检测原理示意图；

图3是本发明提出的三维空间下的检测原理示意图；

图4是本发明提出集手眼脑于一体的品质管控系统结构图。

附图标记：1-运动单元；2-视觉单元；3-处理单元；11-机械臂11；21(a～l)-光源；22(a～f)-视觉传感器；5-服务器；6-待检测产品；31-预训练单元；32-判断单元；33-模型构建单元。

具体实施方式

本实施例针对现有技术中的缺陷，提出了一种集手眼脑于一体的品质管控方法及其系统，通过机械臂作“手”进行运动，视觉传感器作“眼”进行检测，服务器作“脑”进行判断处理，模拟人工检测的方式，实现手眼脑一体运行检测，极大提升了产品表面质量检测的效率和精度，降低检测成本的同时保证检测的高精度，具有很强的通用性。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

针对现有技术的不足，本实施例提供了一种集手眼脑于一体的品质管控方法，具体结构如说明书附图1所示，具体方案如下：

一种集手眼脑于一体的品质管控方法，适用于包括机械臂、光源、视觉传感器和服务器的系统中。检测方法包括：

101、通过机械臂固定待检测产品，按照预设轨迹在空间内作轨迹运动，构成检测空间；

102、在检测空间周围设置有多个光源以及多个视觉传感器，多个视觉传感器采集待检测产品在检测空间内被多个光源照射时的光学信息，并将光学信息反馈给预设的服务器；

103、基于深度学习网络，通过预训练的服务器根据光学信息判断待检测产品是否存在缺陷。

在本实施例中，通过机械臂、视觉传感器和服务器的协调运行实现产品的表面质量检测，在提升检测效率的同时保证检测的高精度。

在检测之前，还包括合理设置光源和视觉传感器的位置、获取预设轨迹等。具体如下：

获取经过检测后不存在缺陷的样本产品；通过机械臂固定样本产品，设置第一轨迹使样本产品跟随机械臂在轨迹空间内作轨迹运动，构建第一检测空间；在第一检测空间周围设置多个光源和多个视觉传感器；多个视觉传感器采集样本产品在检测空间内被多个光源照射时的光学信息，并将光学信息反馈给服务器；根据光学信息调整光源的位置、视觉传感器的位置和第一轨迹，直至满足预设条件后，固定光源的位置和视觉传感器的位置，将满足预设条件的第一轨迹作为预设轨迹。

其中，样本产品包括人工检测后不存在缺陷的产品，样本产品与待检测产品属于一个系列、一个品类。样本产品与待检测产品相同，则待检测产品不存在缺陷，样本产品与待检测产品不同，则待检测产品存在缺陷，存在不同之处即为缺陷之处。

具体地，101、通过机械臂固定待检测产品，按照预设轨迹在空间内作轨迹运动，构成检测空间。机械臂可通过夹持、吸附等任意一种已知的机械臂连接方式固定待检测产品。产品固定到机械臂后会跟随机械臂运动，运动空间即为检测空间，一般来说，检测空间为球状。

可通过设置机械臂的运动轨迹，实现从抓取、固定、检测、松开的过程。机械臂首先抓取待检测产品，然后进行固定，开始检测后，按照预设轨迹进行运动，使产品的各个表面都被充分检测。检测结束后，若产品存在缺陷，则将产品提取出，若产品不存在缺陷，则将产品放置于预设地点，开始下一次检测。借助机械臂可重复进行检测，实现产品的批量化检测，节约时间和成本。

需要说明的是，本实施例中的检测空间可以为二维空间，也可为三维空间，可根据待检测产品的形状以及待检测的表面进行选择。例如，待检测产品为扁平状结构，只需检测该产品的表面，此时可将检测空间设置为二维空间。又或者，待检测产品为立体结构，需检测产品的各个侧面，此时可将检测空间设置为三维空间。

机械臂的选择包括多自由度机械臂，多自由度机械臂可提升产品的活动空间，更好的进行产品检测。

具体地，102、在检测空间周围设置有多个光源以及多个视觉传感器，多个视觉传感器采集待检测产品在检测空间内被多个光源照射时的光学信息，并将光学信息反馈给预设的服务器。在本实施例中，视觉传感器包括CCD相机，光源多角度设置，使光线从不同角度照射到待检测物品的表面上。视觉传感器+光源作为眼睛，检测产品的表面。

在本实施例中，光源和视觉传感器固定设置在支架上。当检测空间为二维空间时，支架呈平面或平面，设置在检测空间上方，结构如说明书附图2所示。当检测空间为三维空间时，支架呈球状或柱状，设置在检测空间周围，环绕着检测空间，结构如说明书附图3所示。光源数量可适当设置，根据实际应用场景进行设置。视觉传感器的数量根据待检测产品的实际情况进行设置。当检测空间为二维空间时，视觉传感器拍摄的图像需要完整覆盖整个产品的表面。当检测空间为三维空间时，视觉传感器拍摄的图像需要完整覆盖产品的各个表面。

多角度光源，并且配合多个相机共同检测，无论是二维的信息还是三维的信息都可以抓取，实现二维AOI跟三维AOI的融合。多个光源实现了在不同产品检测下对不同角度及波长光源的需求，多个相机实现了对检测产品不同景深面检测的需求。

视觉传感器包括CMOS和CCD，光源包括常见的可见光。

103、基于深度学习网络，通过预训练的服务器根据光学信息判断待检测产品是否存在缺陷。

预训练包括：获取满足预设条件时的光学信息，并作为期望光学信息；按照视觉传感器的位置将期望光学信息进行编号，将期望光学信息和对应的编号存储在服务器。

具体的检测包括：服务器按照视觉传感器的位置对光学信息进行编号；基于深度学习网络，逐一对比相同编号下的光学信息和期望光学信息，若存在差异，则待检测产品存在缺陷。

基于深度学习网络判断产品是否存在差异具体包括：获取光学信息和期望光学信息。在本实施例中，光学信息和期望光学信息都为灰度图像。对光学信息和期望光学信息进行自适应阈值分割，并对区域轮廓进行提取优化；通过全局几何特征描述计算区域的特征描述，获取光学信息特征点集和期望光学信息特征点集；基于深度学习网络构建评估模型，评估光学信息特征点集和期望光学信息特征点集，获取评估结果；根据评估结果判断光学信息和期望光学信息是否存在差异。

经过预训练的服务器内，存储有样本产品的光学信息，只需判断期望光学信息与待检测产品的光学信息是否一致即可判断产品是否存在缺陷。深度学习网络能够准确判断出光学信息之间是否存在差异，无需人工用肉眼进行观测，避免存在因像素、亮度等问题影响图像质量，导致肉眼无法观测出差异的问题。

此外，借助本实施例提供的方法，还可进行三维模型重建：通过深度学习网络提取光学信息的特征；通过单应性映射将特征投影到同一个参考视角，构建出不同参考视角之间的匹配误差；根据匹配误差预测在参考视角下的深度图，融合各参考视角下的深度图构建出待检测产品的三维模型。

具体地，获取足够的样本数，借助于深度卷积神经网络(Convolutional neuralnetwork,CNN)的强大的特征提取能力，基于深度学习的方法将CNN提取的特征图通过单应性映射投影到同一个参考视角上，并构建在若干种深度下这些参考视角之间的匹配误差体。匹配误差体会预测出在参考视角的深度图。每个视角下的深度图融合在一起便可以重建出整个场景的三维信息。这类基于数据驱动的三维重建方法，例如MVSNet、R-MVSNet、Point-MVSNet，取得了比传统三维重建方法更好地效果。当发现某些角度的样本图像不足时，可控制相机进行获取，确保样本的充足性和准确性。

本实施例提供了一种集手眼脑于一体的品质管控方法，模仿人工检测的方式，依靠机械手固定产品作为手实现产品的多方位运动，依靠视觉传感器+光源作为眼睛进行图像检测，通过服务器配合深度学习算法作为大脑判断产品是否存在缺陷，手眼脑于一体检测产品表面质量，检测效率高、检测质量稳定，适用于批量化产品检测。

实施例2

本实施例在实施例1的基础上，提供了一种集手眼脑于一体的品质管控系统。具体结构如说明书附图3所示，具体方案如下：

一种集手眼脑于一体的品质管控系统，适用于实施例1的一种集手眼脑于一体的品质管控方法。该系统包括运动单元1、视觉单元2和处理单元3。具体包括：

运动单元1：用于通过机械臂11固定待检测产品6，按照预设轨迹在空间内作轨迹运动，构成检测空间。

视觉单元2：包括光源和视觉传感器，在检测空间周围设置有多个光源21以及多个视觉传感器22，多个视觉传感器22采集待检测产品在检测空间内被多个光源21照射时的光学信息，并将光学信息反馈给服务器5。

处理单元3：用于基于深度学习网络，通过预训练的服务器5根据光学信息判断待检测产品6是否存在缺陷。

其中，系统还包括轨迹获取单元4：

轨迹获取单元4：用于获取经过检测后不存在缺陷的样本产品，通过机械臂11固定样本产品，设置第一轨迹使样本产品跟随机械臂11在轨迹空间内作轨迹运动，构建第一检测空间；

在第一检测空间周围设置多个光源21和多个视觉传感器22；

多个视觉传感器22采集样本产品在检测空间内被多个光源21照射时的光学信息，并将光学信息反馈给服务器5；

根据光学信息调整光源21的位置、视觉传感器22的位置和第一轨迹，直至满足预设条件后，固定光源21的位置和视觉传感器22的位置，将满足预设条件的第一轨迹作为预设轨迹。

在本实施例中，光源21和视觉传感器22固定设置在支架23上。当检测空间为二维空间时，支架23呈平面或平面，设置在检测空间上方。当检测空间为三维空间时，支架23呈球状或柱状，设置在检测空间周围，环绕着检测空间，具体结构如说明书附图2和说明书附图3所示。光源21数量可适当设置，根据实际应用场景进行设置。视觉传感器22的数量根据待检测产品的实际情况进行设置。当检测空间为二维空间时，视觉传感器22拍摄的图像需要完整覆盖整个产品的表面。当检测空间为三维空间时，视觉传感器22拍摄的图像需要完整覆盖产品的各个表面。

处理单元3具体包括预训练单元31和判断单元32。

预训练单元31：用于获取满足预设条件时的光学信息，并作为期望光学信息，按照视觉传感器22的位置将期望光学信息进行编号，将期望光学信息和对应的编号存储在服务器5；

判断单元32：用于通过服务器5按照视觉传感器22的位置对光学信息进行编号，基于深度学习网络，逐一对比相同编号下的光学信息和期望光学信息，若存在差异，则待检测产品6存在缺陷。

模型构建单元33：用于构建待检测产品6的三维模型，通过深度学习网络提取光学信息的特征；通过单应性映射将特征投影到同一个参考视角，构建出不同参考视角之间的匹配误差；根据匹配误差预测在参考视角下的深度图，融合各参考视角下的深度图构建出待检测产品6的三维模型。

具体的模型构建流程包括：获取足够的样本数，借助于深度卷积神经网络(Convolutional neural network,CNN)的强大的特征提取能力，基于深度学习的方法将CNN提取的特征图通过单应性映射投影到同一个参考视角上，并构建在若干种深度下这些参考视角之间的匹配误差体。匹配误差体会预测出在参考视角的深度图。每个视角下的深度图融合在一起便可以重建出整个场景的三维信息。这类基于数据驱动的三维重建方法，例如MVSNet、R-MVSNet、Point-MVSNet，取得了比传统三维重建方法更好地效果。当发现某些角度的样本图像不足时，可控制相机进行获取，确保样本的充足性和准确性。

判断单元33的判断原理包括：基于深度学习网络判断产品是否存在差异具体，获取光学信息和期望光学信息。在本实施例中，光学信息和期望光学信息都为灰度图像。对光学信息和期望光学信息进行自适应阈值分割，并对区域轮廓进行提取优化；通过全局几何特征描述计算区域的特征描述，获取光学信息特征点集和期望光学信息特征点集；基于深度学习网络构建评估模型，评估光学信息特征点集和期望光学信息特征点集，获取评估结果；根据评估结果判断光学信息和期望光学信息是否存在差异。

本实施例将实施例1的方法系统化，使其更具实用性。

本发明提供了一种集手眼脑于一体的品质管控方法及其系统，模仿人工检测的方式，依靠机械手固定产品作为手实现产品的多方位运动，依靠视觉传感器+光源作为眼睛进行图像检测，通过服务器配合深度学习算法作为大脑判断产品是否存在缺陷，手眼脑于一体检测产品表面质量，检测效率高、检测质量稳定，适用于批量化产品检测。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。