一种基于图像边缘识别的贴片检测方法及装置

技术领域

本申请实施例涉及贴片机技术领域，尤其涉及一种基于图像边缘识别的贴片检测方法及装置。

背景技术

目前，贴片机是SMT(表面贴装技术)的生产线中的主要设备，也是整个SMT生产中最关键、最复杂的设备。贴片机在贴放元器件时，为了确保元器件贴放的精准度，通常会通过人工或者图像处理技术定位贴片位置，以此来确保元器件贴片的精准度。

但是，由于贴片机要处理的元器件封装形式多种多样，考虑到各种元器件在外形和大小上的差异，通过人工或者图像处理定位贴片位置引起的定位误差，会影响贴片机的贴片精度，进而影响贴片效果。

发明内容

本申请实施例提供一种基于图像边缘识别的贴片检测方法及装置，能够对贴片机的贴片误差进行检测，提升贴片精度。

在第一方面，本申请实施例提供了一种基于图像边缘识别的贴片检测方法，包括：

预先获取各类错误贴片的图像样本数据，识别截取所述图像样本数据的边缘特征，以所述边缘特征作为训练样本训练得到贴片图像边缘识别模型；

提取图像传感器实时采集的贴片图像，对所述贴片图像进行边缘检测得到对应的边缘图像特征；

将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果。

进一步的，将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果，包括：

将所述边缘图像特征转换为第一图像特征向量；

提取所述贴片图像边缘识别模型对应错误贴片的第二图像特征向量，比对所述第一图像特征向量和所述第二图像特征向量的相似度；

基于所述相似度比对设定阈值，输出对应的贴片检测结果。

进一步的，在基于相似度比对判断贴片是否正常，输出对应的贴片检测结果之后，还包括：

根据所述贴片检测结果若判断贴片异常，输出相应的贴片异常报警信号。

进一步的，将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果之后，还包括：

根据所述贴片检测结果若判断贴片异常，将所述贴片图像收集作为修正样本，所述修正样本用于修正所述贴片图像边缘识别模型。

进一步的，以所述边缘特征作为训练样本训练得到贴片图像边缘识别模型，包括：

根据所述边缘特征所对应的各种错误贴片类型对应构建多种分类的训练样本，以多种分类的训练样本训练得到对应的贴片图像边缘识别模型；

对应的，将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果，包括：

基于贴片异常的贴片检测结果，输出对应的错误贴片类型分类结果。

进一步的，在将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果之后，还包括：

使用第二深度神经网络模型验证所述贴片检测结果，所述第二深度神经网络模型基于正常贴片的图像样本数据进行模型训练，并用于进行所述贴片图像的贴片检测。

进一步的，其特征在于，使用第二深度神经网络模型验证所述贴片检测结果，包括：

若所述贴片检测结果判断所述贴片图像贴片异常，所述第二深度神经网络模型判断所述贴片图像贴片异常，输出贴片异常的验证结果；

若所述贴片检测结果判断所述贴片图像贴片正常，所述第二深度神经网络模型判断所述贴片图像贴片正常，输出贴片正常的验证结果。

在第二方面，本申请实施例提供了一种基于图像边缘识别的贴片检测装置，包括：

训练模块，用于预先获取各类错误贴片的图像样本数据，识别截取所述图像样本数据的边缘特征，以所述边缘特征作为训练样本训练得到贴片图像边缘识别模型；

边缘检测模块，用于提取图像传感器实时采集的贴片图像，对所述贴片图像进行边缘检测得到对应的边缘图像特征；

识别模块，用于将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果。

在第三方面，本申请实施例提供了一种电子设备，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于图像边缘识别的贴片检测方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于图像边缘识别的贴片检测方法。

本申请实施例通过预先获取各类错误贴片的图像样本数据，识别截取图像样本数据的边缘特征，以边缘特征作为训练样本训练得到贴片图像边缘识别模型，进而提取图像传感器实时采集的贴片图像，对贴片图像进行边缘检测得到对应的边缘图像特征，将边缘图像特征输入贴片图像边缘识别模型，输出对应的贴片检测结果。采用上述技术手段，通过贴片头像边缘检测识别可以准确检测贴片误差，提升贴片精度。

并且，本申请实施例通过第二深度神经网络模型验证贴片检测结果，可以进一步提升贴片检测识别精度，优化贴片误差识别效果。

附图说明

图1是本申请实施例一提供的一种基于图像边缘识别的贴片检测方法的流程图；

图2是本申请实施例一中的贴片机的结构示意图；

图3是本申请实施例一中的贴片检测流程图；

图4是本申请实施例二提供的一种基于图像边缘识别的贴片检测装置的结构示意图；

图5是本申请实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的基于图像边缘识别的贴片检测方法，旨在对贴片机的贴片作业进行误差检测，通过贴片图像的边缘检测识别，判断贴片图像是否出现异常，进而判定当前贴片作业是否出现作业误差。相对于传统的贴片机，其为了保障贴片精度，通常在进行贴片作业的时候，会通过人工定位或者图像识别定位的方式定位贴片位置，进而进行贴片操作。由于贴片机要处理的元器件封装形式多种多样，各种元器件在外形和大小上存在差异，通过定位元器件进行贴片的方式难免存在定位误差的情况。基于此，提供本申请实施例的基于图像边缘识别的贴片检测方法，以提升贴片精度，解决现有贴片机的贴片误差问题。

实施例一：

图1给出了本申请实施例一提供的一种基于图像边缘识别的贴片检测方法的流程图，本实施例中提供的基于图像边缘识别的贴片检测方法可以由基于图像边缘识别的贴片检测设备执行，该基于图像边缘识别的贴片检测设备可以通过软件和/或硬件的方式实现，该基于图像边缘识别的贴片检测设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于图像边缘识别的贴片检测设备可以是贴片机的控制设备等处理设备。

下述以基于图像边缘识别的贴片检测设备为执行基于图像边缘识别的贴片检测方法的主体为例，进行描述。参照图1，该基于图像边缘识别的贴片检测方法具体包括：

S110、预先获取各类错误贴片的图像样本数据，识别截取所述图像样本数据的边缘特征，以所述边缘特征作为训练样本训练得到贴片图像边缘识别模型。

由于需要通过对贴片图像进行边缘检测识别，以对当前贴片操作进行误差检测，因此在进行贴片图像的检测识别之前，需要预先构建一个贴片图像边缘识别模型。通过该贴片图像边缘识别模型对存在错误贴片操作的贴片图像进行检测识别，以此来实现贴片误差检测。在进行贴片图像边缘识别模型构建时，需要构建一个训练样本数据集，以通过训练样本数据集训练该贴片图像边缘识别模型。其中，本申请实施例通过获取各类错误贴片的图像样本数据，对这些图像样本数据进行边缘检测，截取出这些图像样本数据的边缘特征，进而以截取出的边缘特征部分图像作为训练样本，以训练该贴片图像边缘识别模型。需要说明的是，通过截取图像样本数据的边缘特征，可以提取元器件出现贴片误差时的边缘特征情况，以此可以减少数据计算量，优化识别检测效果。

进一步的，基于上述错误贴片的图像样本数据检测到的边缘特征，以这些边缘特征对应的部分图像数据作为训练样本，以贴片图像作为模型输入，贴片检测结果作为模型输出，基于卷积神经网络训练贴片图像边缘识别模型，直到对应的损失函数收敛，完成该图像边缘识别模型的构建。现有技术关于图像边缘识别模型的训练方式有很多，本申请实施例在此不做固定限制。具体的，通过模型训练，可以得到对应错误贴片的图像特征向量，该图像特征向量用于后续与实时采集的贴片图像的边缘特征向量进行比对，以判断贴片图像是否异常，输出相应的贴片检测结果。

需要说明的是，本申请实施例以错误贴片图像的边缘特征作为训练样本训练贴片图像边缘识别模型，可以使贴片图像边缘识别模型具备各类错误贴片图像的识别检测能力，当输入模型的贴片图像为存在贴片误差的贴片图像时，该贴片图像边缘识别模型即可对其进行识别检测。而对于正常的贴片图像，该贴片图像边缘识别模型不会识别其为错误贴片图像，可直接判断输出贴片正常的贴片检测结果。以此可以减少训练样本中正常贴片图像的使用，提升贴片图像边缘识别模型对贴片异常的贴片图像的检测识别能力。

S120、提取图像传感器实时采集的贴片图像，对所述贴片图像进行边缘检测得到对应的边缘图像特征。

进一步的，基于上述预先构建的贴片图像边缘识别模型，即可进行贴片图像的异常检测。其中，参照图2，提供本申请实施例贴片机的结构示意图，如图2所示，贴片机1包括贴片平台和图像传感器12，在进行贴片作业时，元器件在贴片平台11上进行贴片作业，并在贴片完成后，通过图像传感器12进行贴片图像采集。

基于上述图像传感器12采集的贴片图像，将其上传至本申请实施例的基于图像边缘识别的贴片检测设备，该基于图像边缘识别的贴片检测设备进一步对贴片图像进行处理。通过边缘检测，提取该贴片图像的边缘图像特征。边缘图像特征的提取参照上述步骤S110，在此不多赘述。可以理解的是，边缘图像特征可以表征该贴片图像的贴片情况，通过提取边缘图像特征，可以减少数据的计算量，提升贴片检测效率。

在一个实施例中，为了提升贴片图像的检测识别效率和准确率，对应实时采集的贴片图像，通过图像超分辨率重建技术对贴片图像进行重建，提升贴片图像的分辨率，使贴片图像得到有效的增强。并基于重建后的贴片图像进行进行边缘检测。以此可以提升贴片图像识别检测效率和准确率，优化识别检测效果。

S130、将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果。

更进一步的，基于上述步骤S120得到的贴片图像的边缘图像特征，将这一边缘图像特征输入预先训练的贴片图像边缘识别模型，通过贴片图像边缘识别模型进行贴片检测，判断这一贴片图像是否异常。可以理解的是，若判断该贴片图像异常，则对应的贴片作业存在误差，反之，则贴片作业正常。

具体的，参照图3，本申请实施例基于贴片图像边缘识别模型的贴片检测流程包括：

S1301、将所述边缘图像特征转换为第一图像特征向量；

S1302、提取所述贴片图像边缘识别模型对应错误贴片的第二图像特征向量，比对所述第一图像特征向量和所述第二图像特征向量的相似度；

S1303、基于所述相似度比对设定阈值，输出对应的贴片检测结果。

贴片图像边缘识别模型在构建时确定了错误贴片图像的图像特征向量，定义这一图像特征向量为第二图像特征向量。对应的，将贴片图像的边缘图像特征同样转换为图像特征向量，定义这一图像特征向量为第一图像特征向量。通过比对第一图像特征向量和第二图像特征向量的余弦相似度，对这一余弦相似度值作归一化处理。

进一步的，通过预先设定阈值比对这一相似度值，若相似度值大于这一设定阈值，则贴片图像异常，输出贴片异常的贴片检测结果。反之则贴片图像正常，输出贴片正常的贴片检测结果。以此即可对应贴片图像完成当次贴片作业的贴片检测，避免贴片误差，进而提升贴片精度。

在一个实施例中，还根据所述贴片检测结果若判断贴片异常，输出相应的贴片异常报警信号。可以理解的是，对应判断为贴片异常的贴片检测结果，表明当前贴片作业存在贴片误差，需要及时更正这一贴片误差，避免影响贴片作业。因此，本申请实施例在检测到贴片异常时，即输出相应的贴片异常报警信号，将这一贴片异常报警信号反馈给相关管理人员，以及时更正这一贴片误差，避免影响贴片作业的进行。

在一个实施例中，根据所述贴片检测结果若判断贴片异常，将所述贴片图像收集作为修正样本，所述修正样本用于修正所述贴片图像边缘识别模型。通过对贴片异常的贴片图像的进行检测识别，并提取这部分贴片图像作为修正样本。可以理解的是，在进行贴片图像边缘识别模型构建时，以错误贴片图像的边缘特征作为训练样本。则此处通过收集修正样本，提取修正样本的边缘特征，进一步训练该贴片图像边缘识别模型，可以优化该贴片图像边缘识别模型的检测识别能力，避免对错误贴片图像的误识别，进一步提升贴片图像边缘识别模型对贴片异常的检测识别能力。

另一方面，本申请实施例在进行贴片图像边缘识别模型训练时，还可以根据所述边缘特征所对应的各种错误贴片类型对应构建多种分类的训练样本，以多种分类的训练样本训练得到对应的贴片图像边缘识别模型；对应的，后续在将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果时，即可基于贴片异常的贴片检测结果，输出对应的错误贴片类型分类结果。可以理解的是，通过构建对应多种错误贴片类型的训练样本，并基于这些训练样本进行模型训练，可以使得训练得到的贴片图像边缘识别模型具备分类各种错误贴片类型的能力。通过模型构建，确定各类型训练样本的图像特征向量。在进行贴片图像检测时，将贴片图像的图片边缘特征向量与各类型训练样本的图像特征向量比对，即可确定该贴片图像的图片边缘特征向量与哪一个类型训练样本的图像特征向量相似。可以理解的是，若判定该贴片图像的图片边缘特征向量与某一个类型训练样本的图像特征向量相似，则认为当前贴片图像存在贴片误差，并根据对应类型的训练样本确定该贴片误差所对应的类型。以此可实现贴片图像边缘识别模型的贴片异常分类，进一步优化贴片检测识别效果。

在一个实施例中，还通过使用第二深度神经网络模型验证所述贴片检测结果，所述第二深度神经网络模型基于正常贴片的图像样本数据进行模型训练，并用于进行所述贴片图像的贴片检测。现有技术基于深度神经网络模型进行图像异常检测的实施方式有很多，本申请实施例在此不多赘述。可以理解的是，本申请实施例第二深度神经网络模型基于正常贴片的图像样本数据进行模型训练，其可以识别检测正常贴片的贴片图像，当其检测到贴片图像的图像特征与正常贴片的贴片图像不符时，则判断当前贴片图像贴片异常，反之，则判断当前贴片图像贴片正常。具体的，在进行贴片检测结果验证时，根据两个模型的检测结果进行综合验证。其中，若所述贴片检测结果判断所述贴片图像贴片异常，所述第二深度神经网络模型判断所述贴片图像贴片异常，输出贴片异常的验证结果；若所述贴片检测结果判断所述贴片图像贴片正常，所述第二深度神经网络模型判断所述贴片图像贴片正常，输出贴片正常的验证结果。若所述贴片检测结果判断所述贴片图像贴片正常，所述第二深度神经网络模型判断所述贴片图像贴片异常，或者所述贴片检测结果判断所述贴片图像贴片异常，所述第二深度神经网络模型判断所述贴片图像贴片正常，即两个模型出现不一致的判断结果时，则认为当前贴片图像“可疑”。可进一步输出报警提示信号提示相关管理人员对当前贴片作业做进一步的确认。通过第二深度神经网络模型验证上述贴片图像边缘识别模型的贴片检测结果，可以进一步提升贴片检测精度，优化贴片检测效果。

上述，通过预先获取各类错误贴片的图像样本数据，识别截取图像样本数据的边缘特征，以边缘特征作为训练样本训练得到贴片图像边缘识别模型，进而提取图像传感器实时采集的贴片图像，对贴片图像进行边缘检测得到对应的边缘图像特征，将边缘图像特征输入贴片图像边缘识别模型，输出对应的贴片检测结果。采用上述技术手段，通过贴片头像边缘检测识别可以准确检测贴片误差，提升贴片精度。

并且，本申请实施例通过第二深度神经网络模型验证贴片检测结果，可以进一步提升贴片检测识别精度，优化贴片误差识别效果。

实施例二：

在上述实施例的基础上，图4为本申请实施例二提供的一种基于图像边缘识别的贴片检测装置的结构示意图。参考图4，本实施例提供的基于图像边缘识别的贴片检测装置具体包括：训练模块21、边缘检测模块22和识别模块23。

其中，训练模块21用于预先获取各类错误贴片的图像样本数据，识别截取所述图像样本数据的边缘特征，以所述边缘特征作为训练样本训练得到贴片图像边缘识别模型；

边缘检测模块22用于提取图像传感器实时采集的贴片图像，对所述贴片图像进行边缘检测得到对应的边缘图像特征；

识别模块23用于将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果。

上述，通过预先获取各类错误贴片的图像样本数据，识别截取图像样本数据的边缘特征，以边缘特征作为训练样本训练得到贴片图像边缘识别模型，进而提取图像传感器实时采集的贴片图像，对贴片图像进行边缘检测得到对应的边缘图像特征，将边缘图像特征输入贴片图像边缘识别模型，输出对应的贴片检测结果。采用上述技术手段，通过贴片头像边缘检测识别可以准确检测贴片误差，提升贴片精度。

并且，本申请实施例通过第二深度神经网络模型验证贴片检测结果，可以进一步提升贴片检测识别精度，优化贴片误差识别效果。

本申请实施例二提供的基于图像边缘识别的贴片检测装置可以用于执行上述实施例一提供的基于图像边缘识别的贴片检测方法，具备相应的功能和有益效果。

实施例三：

本申请实施例三提供了一种电子设备，参照图5，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于图像边缘识别的贴片检测方法对应的程序指令/模块(例如，基于图像边缘识别的贴片检测装置中的训练模块、边缘检测模块和识别模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块33用于进行数据传输。

处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于图像边缘识别的贴片检测方法。

输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述实施例一提供的基于图像边缘识别的贴片检测方法，具备相应的功能和有益效果。

实施例四：

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于图像边缘识别的贴片检测方法，该基于图像边缘识别的贴片检测方法包括：预先获取各类错误贴片的图像样本数据，识别截取所述图像样本数据的边缘特征，以所述边缘特征作为训练样本训练得到贴片图像边缘识别模型；提取图像传感器实时采集的贴片图像，对所述贴片图像进行边缘检测得到对应的边缘图像特征；将所述边缘图像特征输入所述贴片图像边缘识别模型，输出对应的贴片检测结果。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于图像边缘识别的贴片检测方法，还可以执行本申请任意实施例所提供的基于图像边缘识别的贴片检测方法中的相关操作。

上述实施例中提供的基于图像边缘识别的贴片检测装置、存储介质及电子设备可执行本申请任意实施例所提供的基于图像边缘识别的贴片检测方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于图像边缘识别的贴片检测方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。