一种基于错误特征识别的贴片图像识别方法及装置

技术领域

本申请实施例涉及贴片机技术领域，尤其涉及一种基于错误特征识别的贴片图像识别方法及装置。

背景技术

目前，贴片机是SMT(表面贴装技术)的生产线中的主要设备，也是整个SMT生产中最关键、最复杂的设备。贴片机在贴放元器件时，为了确保元器件贴放的精准度，通常会通过人工或者图像处理技术定位贴片位置，以此来确保元器件贴片的精准度。

但是，由于贴片机要处理的元器件封装形式多种多样，各种元器件在外形和大小上存在差异，通过人工定位贴片容易引起定位误差，而图像处理的方式又容易受图像质量的影响，进而影响贴片机的贴片精度，导致贴片效果相对偏差。

发明内容

本申请实施例提供一种基于错误特征识别的贴片图像识别方法及装置，能够对采集的贴片图像进行有效增强，提升贴片图像识别检测效率和准确率，优化识别检测效果。

在第一方面，本申请实施例提供了一种基于错误特征识别的贴片图像识别方法，包括：

获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征；

获取贴片图像，对所述贴片图像进行初步识别确定对应的贴片分类，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征；

确定所述识别结果特征和所述误差特征的匹配度，根据所述匹配度输出对应的贴片检测结果。

进一步的，所述获取每个贴片样本分类下对应的分类误差样本图像，包括：

获取每个贴片样本分类下的样本图像组；

对所述样本图像组中的每个样本图像进行标定处理得到对应的分类误差样本图像。

进一步的，在获取每个贴片样本分类下对应的分类误差样本图像之前，还包括：

根据贴片类型、工序特征进行贴片样本分类。

进一步的，所述误差判别网络模型包括FPN网络模型，相应的，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征，包括：

将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，生成和所述贴片图像关联的高层特征以及底层特征；

将所述高层特征以及所述底层特征进行融合输出识别结果特征。

进一步的，所述误差判别网络模型包括SPP网络模型，相应的，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征，包括：

通过所述SPP网络模型将所述贴片图像在第一层级和第二层级进行图像分割；对分割后的图像进行局部特征识别，进行局部特征融合输出识别结果特征。

进一步的，所述确定所述识别结果特征和所述误差特征的匹配度，包括：

通过尺度不变特征变换匹配算法确定所述识别结果特征和所述误差特征的匹配度。

进一步的，所述通过尺度不变特征变换匹配算法确定所述识别结果特征和所述误差特征的匹配度，包括：

确定识别结果特征和所述误差特征的关键点，所述关键点包括位置、尺度以及方向；

为每个关键点建立描述符，通过一组向量进行关键点表示，所述描述符包括使用在关键点尺度空间内4*4的窗口中计算的8个方向的梯度信息，共4*4*8＝128维向量表征；

计算识别结果特征以及误差特征的关键点的匹配度值。

在第二方面，本申请实施例提供了一种基于错误特征识别的贴片图像识别装置，包括：

模型生成模块，用于获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征；

结果特征输出模块，用于获取贴片图像，对所述贴片图像进行初步识别确定对应的贴片分类，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征；

检测结果生成模块，用于确定所述识别结果特征和所述误差特征的匹配度，根据所述匹配度输出对应的贴片检测结果。

在第三方面，本申请实施例提供了一种基于错误特征识别的贴片图像识别设备，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于错误特征识别的贴片图像识别方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于错误特征识别的贴片图像识别方法。

本申请实施例通过获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征；获取贴片图像，对所述贴片图像进行初步识别确定对应的贴片分类，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征；确定所述识别结果特征和所述误差特征的匹配度，根据所述匹配度输出对应的贴片检测结果。采用上述技术手段，显著提升了贴片图像识别检测效率和准确率，优化识别检测效果。

附图说明

图1为本申请实施例提供的一种基于错误特征识别的贴片图像识别方法的流程图；

图2为本申请实施例提供的另一种基于错误特征识别的贴片图像识别方法的流程图；

图3为本申请实施例提供的另一种基于错误特征识别的贴片图像识别方法的流程图；

图4为本申请实施例提供的另一种基于错误特征识别的贴片图像识别方法的流程图；

图5为本申请实施例提供的一种贴片机的结构示意图；

图6为本申请实施例提供的一种基于错误特征识别的贴片图像识别装置的机构示意图；

图7为本申请实施例提供的一种基于错误特征识别的贴片图像识别设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的基于错误特征识别的贴片图像识别方法，旨在进行贴片图像检测识别时，通过对贴片图像进行有效增强，提升贴片图像的清晰度，进而以增强后的贴片图像进行检测识别，以此来提升贴片图像的检测识别精度，优化贴片误差识别效果。相对于传统的贴片机，其为了保障贴片精度，通常在进行贴片作业的时候，会通过人工定位或者图像识别定位的方式定位贴片位置，进而进行贴片操作。由于贴片机要处理的元器件封装形式多种多样，各种元器件在外形和大小上存在差异，通过人工定位贴片容易引起定位误差，而图像处理的方式又容易受图像质量的影响。如若拍摄条件相对较差，其获取的图像质量难以满足精准定位元器件的需求，难免会存在贴片误差的情况。基于此，提供本申请实施例的基于错误特征识别的贴片图像识别方法，以解决现有贴片机贴片误差的技术问题。

图1为本申请实施例提供的一种基于错误特征识别的贴片图像识别方法的流程图，本实施例中提供的基于错误特征识别的贴片图像识别方法可以由基于错误特征识别的贴片图像识别设备执行，该基于错误特征识别的贴片图像识别设备可以通过软件和/或硬件的方式实现，该基于错误特征识别的贴片图像识别设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于错误特征识别的贴片图像识别设备可以是贴片机的控制设备等处理设备。

下述以该基于错误特征识别的贴片图像识别设备为执行基于错误特征识别的贴片图像识别方法的主体为例，进行描述。参照图1，该基于错误特征识别的贴片图像识别方法具体包括：

S101、获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征。

在一个实施例中，针对不同的贴片样本进行分类，如功能材质、用途、尺寸大小、贴片类型等的不同进行分类。获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征。其中，针对每个类别分类的贴片样本训练识别一对应的误差判别网络模型。

优选的，该误差判别网络模型包括FPN网络模型或SPP网络模型。

优选的，在S101之前，还包括：根据贴片类型、工序特征进行贴片样本分类。

S102、获取贴片图像，对所述贴片图像进行初步识别确定对应的贴片分类，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征。

在一个实施例中，在进行贴片检测识别时，获取到贴片图像后，对所述贴片图像进行初步识别确定对应的贴片分类，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型。

其中，包括获取每个贴片样本分类下的样本图像组；对所述样本图像组中的每个样本图像进行标定处理得到对应的分类误差样本图像。

S103、确定所述识别结果特征和所述误差特征的匹配度，根据所述匹配度输出对应的贴片检测结果。

在一个实施例中，进行特征匹配度计算，当匹配度大于设定阈值时，确定当前贴片图像存在贴片误差，则输出贴片误差的检测结果；如果匹配度小于或等于设定阈值，则输出贴片成功的检测结果。

由上述可知，通过预先分类并将获取的贴片图像输入对应的分类模型中进行特征识别输出匹配，提高了误差检测精度，同时通过误差特征的比对，以针对性的对误差进行确认，提高了检测识别效率。

在上述技术方案的基础上，如图2所示，图2为本申请实施例提供的另一种基于错误特征识别的贴片图像识别方法的流程图，所述误差判别网络模型包括FPN网络模型，相应的，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征，包括：将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，生成和所述贴片图像关联的高层特征以及底层特征；将所述高层特征以及所述底层特征进行融合输出识别结果特征。具体如下：

S201、获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征。

S202、获取贴片图像，对所述贴片图像进行初步识别确定对应的贴片分类，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，生成和所述贴片图像关联的高层特征以及底层特征，将所述高层特征以及所述底层特征进行融合输出识别结果特征。

具体的，高层特征通过上采样和低层特征做融合，每层独立预测。其中，skipconnection(残差连接)的网络结构在预测的时候是在finestlevel(自顶向下的最后一层)进行的，经过多次上采样并融合特征到最后一步，最后一步生成的特征做预测，解决深网络的梯度消失的问题。其中，自底向上为网络的前向过程。在前向过程中，featuremap的大小在经过某些层后会改变，而在经过其他一些层的时候不会改变，将不改变featuremap大小的层归为一个stage，每次抽取的特征都是每个stage的最后一个层输出，以此构建特征金字塔。对于ResNets，使用每个阶段的最后一个residualblock输出的特征激活输出。对于conv2，conv3，conv4和conv5输出，将这些最后residualblock的输出表示为{C2，C3，C4，C5}，并且它们相对于输入图像具有{4,8,16,32}的步长。自顶向下的过程采用上采样(upsampling)进行，横向连接则是将上采样的结果和自底向上生成的相同大小的featuremap进行融合，由此利用底层定位细节信息。在融合之后还会再采用3*3的卷积核对每个融合结果进行卷积，以消除上采样的混叠效应。

S203、确定所述识别结果特征和所述误差特征的匹配度，根据所述匹配度输出对应的贴片检测结果。

由上述内容可知，通过生成和所述贴片图像关联的高层特征以及底层特征，将所述高层特征以及所述底层特征进行融合输出识别结果特征，消除上采样的混叠效应以及解决深网络的梯度消失的问题。

在上述技术方案的基础上，如图3所示，图3为本申请实施例提供的另一种基于错误特征识别的贴片图像识别方法的流程图，所述误差判别网络模型包括SPP网络模型，相应的，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征，包括：通过所述SPP网络模型将所述贴片图像在第一层级和第二层级进行图像分割；对分割后的图像进行局部特征识别，进行局部特征融合输出识别结果特征。具体如下：

S301、获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征。

S302、获取贴片图像，对所述贴片图像进行初步识别确定对应的贴片分类，通过所述SPP网络模型将所述贴片图像在第一层级和第二层级进行图像分割；对分割后的图像进行局部特征识别，进行局部特征融合输出识别结果特征。

本步骤中，通过SPP来移除CNN对于固定输入的要求，其优势在于任意size和scale输入下，产生固定的输出特征。具体的，SPP-layer根据pooling规则，每个poolingbin(window)对应一个输出，最终pooling后特征输出由bin的个数来决定。本方案中固定bin的个数，调整bin的尺寸来实现多级pooling固定输出。通过融合各级bin的输出，最终每一个unpooledFM经过SPP处理后，得到了多维的SPPedFM输出特征，进行特征融合。

S303、通过尺度不变特征变换匹配算法确定所述识别结果特征和所述误差特征的匹配度，根据所述匹配度输出对应的贴片检测结果。

在上述技术方案的基础上，如图4所示，图4为本申请实施例提供的另一种基于错误特征识别的贴片图像识别方法的流程图，所述通过尺度不变特征变换匹配算法确定所述识别结果特征和所述误差特征的匹配度，包括：确定识别结果特征和所述误差特征的关键点，所述关键点包括位置、尺度以及方向；为每个关键点建立描述符，通过一组向量进行关键点表示，所述描述符包括使用在关键点尺度空间内4*4的窗口中计算的8个方向的梯度信息，共4*4*8＝128维向量表征；计算识别结果特征以及误差特征的关键点的匹配度值。具体如下：

S401、获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征。

S402、获取贴片图像，对所述贴片图像进行初步识别确定对应的贴片分类，通过所述SPP网络模型将所述贴片图像在第一层级和第二层级进行图像分割；对分割后的图像进行局部特征识别，进行局部特征融合输出识别结果特征。

S403、确定识别结果特征和所述误差特征的关键点，所述关键点包括位置、尺度以及方向，为每个关键点建立描述符，通过一组向量进行关键点表示，计算识别结果特征以及误差特征的关键点的匹配度值，根据所述匹配度输出对应的贴片检测结果。

图5为本申请实施例提供的一种贴片机的结构示意图，如图5所示，贴片机1包括贴片平台和图像传感器12，在进行贴片作业时，元器件在贴片平台11上进行贴片作业，并在贴片完成后，通过图像传感器12进行贴片图像采集。

图6为本申请实施例提供的一种基于错误特征识别的贴片图像识别装置的结构示意图。参考图6，本实施例提供的基于错误特征识别的贴片图像识别装置具体包括：模型生成模块21、结果特征输出模块22和检测结果生成模块23。

其中，模型生成模块21，用于获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征；

结果特征输出模块22，用于获取贴片图像，对所述贴片图像进行初步识别确定对应的贴片分类，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征；

检测结果生成模块23，用于确定所述识别结果特征和所述误差特征的匹配度，根据所述匹配度输出对应的贴片检测结果。

上述，通过获取每个贴片样本分类下对应的分类误差样本图像，基于所述分类误差样本图像生成对应的误差判别网络模型，所述误差判别网络模型输出为样本图像的误差特征；获取贴片图像，对所述贴片图像进行初步识别确定对应的贴片分类，将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，输出识别结果特征；确定所述识别结果特征和所述误差特征的匹配度，根据所述匹配度输出对应的贴片检测结果。采用上述技术手段，显著提升了贴片图像识别检测效率和准确率，优化识别检测效果。

在一个实施例中，所述模型生成模块具体用于：

获取每个贴片样本分类下的样本图像组；

对所述样本图像组中的每个样本图像进行标定处理得到对应的分类误差样本图像。

在一个实施例中，所述模型生成模块还用于：在获取每个贴片样本分类下对应的分类误差样本图像之前，根据贴片类型、工序特征进行贴片样本分类。

在一个实施例中，所述误差判别网络模型包括FPN网络模型，相应的，所述结果特征输出模块具体用于：

将所述贴片图像输入至和所述贴片分类关联的误差判别网络模型，生成和所述贴片图像关联的高层特征以及底层特征；

将所述高层特征以及所述底层特征进行融合输出识别结果特征。

在一个实施例中，所述误差判别网络模型包括SPP网络模型，所述结果特征输出模块具体用于：

通过所述SPP网络模型将所述贴片图像在第一层级和第二层级进行图像分割；对分割后的图像进行局部特征识别，进行局部特征融合输出识别结果特征。

在一个实施例中，所述检测结果生成模块具体用于：

通过尺度不变特征变换匹配算法确定所述识别结果特征和所述误差特征的匹配度。

在一个实施例中，所述结果特征输出模块具体用于：

确定识别结果特征和所述误差特征的关键点，所述关键点包括位置、尺度以及方向；

为每个关键点建立描述符，通过一组向量进行关键点表示，所述描述符包括使用在关键点尺度空间内4*4的窗口中计算的8个方向的梯度信息，共4*4*8＝128维向量表征；

计算识别结果特征以及误差特征的关键点的匹配度值。

本申请提供的基于错误特征识别的贴片图像识别装置可以用于执行上述提供的基于错误特征识别的贴片图像识别方法，具备相应的功能和有益效果。

图7为本申请实施例提供的一种基于错误特征识别的贴片图像识别设备的结构示意图，参照图7，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于错误特征识别的贴片图像识别方法对应的程序指令/模块(例如，基于错误特征识别的贴片图像识别装置中的获取模块、训练模块、提取模块和检测模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块33用于进行数据传输。

处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于错误特征识别的贴片图像识别方法。

输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述提供的基于错误特征识别的贴片图像识别方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于错误特征识别的贴片图像识别方法，该基于错误特征识别的贴片图像识别方法包括：获取贴片图像，对所述贴片图像进行高频处理得到对应的高频贴片图像；通过训练的图片增强模型对所述高频贴片图像进行图像增强，得到高频增强贴片图像；对所述高频增强贴片图像进行贴片检测识别，输出对应的贴片检测结果。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于错误特征识别的贴片图像识别方法，还可以执行本申请任意实施例所提供的基于错误特征识别的贴片图像识别方法中的相关操作。

上述实施例中提供的基于错误特征识别的贴片图像识别装置、存储介质及电子设备可执行本申请任意实施例所提供的基于错误特征识别的贴片图像识别方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于错误特征识别的贴片图像识别方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。