掌桥专利:专业的专利平台
掌桥专利
首页

一种用于印刷电路板表面缺陷检测的神经网络及训练方法

文献发布时间:2024-04-18 20:01:55


一种用于印刷电路板表面缺陷检测的神经网络及训练方法

技术领域

本发明属于图像处理与图像分析的技术领域,具体的涉及一种用于印刷电路板表面缺陷检测的神经网络及训练方法。

背景技术

在印刷电路板(Printed Circuit Board,PCB)的实际生产过程中,由于振动、生产工艺等各方面因素的影响,PCB表面会产生spur,copper,pin-hole等瑕疵,这些瑕疵会严重影响电路板的质量。PCB作为电子产品的重要组成部件,有质量问题的电路板会严重影响电子产品的质量,因此需要对电路板表面瑕疵进行检测。

目前,大多数厂商采用的仍然是人工目检的方法但是电路板表面瑕疵往往较小,区分度不高,导致人工检测十分费力,且检测效率低小。如果利用传统的数字图像特征技术对PCB图像进行自动缺陷检测,因为它需要对图片进行像素级别的遍历,所以存在速度偏慢的问题。

近些年来,随着深度学习技术的发展,以卷积神经网络为代表的深度学习在缺陷检测方面得到了广泛的关注,卷积神经网络作为一类包含卷积计算且具有深度结构的前馈神经网络,可以通过前向传播学习学习缺陷特征,反向传播调整卷积核参数,智能化的对缺陷图像进行检测,成为当前相关领域的研究热点。

发明内容

有鉴于此,本发明旨在提出一种用于印刷电路板表面缺陷检测的神经网络及训练方法,以实现提升通过神经网络对印刷电路板表面缺陷准确率的目的。

为达到上述目的,本发明的技术方案是这样实现的:

一方面,本发明实施例提供了一种用于印刷电路板表面缺陷检测的神经网络,包括:

特征提取网络层、多尺度融合网络器和预测网络层,所述特征提取网络层用于提取图像特征;所述多尺度融合网络器用于对所述图像特征进行融合,所述预测网络层用于针对所述多尺度融合网络器输出的融合特征进行多种采样率特征输出的预测框。

进一步的,所述用于印刷电路板表面缺陷检测的神经网络,还包括:卷积层A13,所述特征提取网络层和多尺度融合网络器通过卷积层A13传输数据,所述卷积层A13用于对所述特征提取网络层输出的图像再次进行卷积。

进一步的,所述特征提取器的输出经过最大池化层M3作为卷积层A13的输入,所述的最大池化层M4的输入为所述的卷积层A13的输出。

进一步的,所述多尺度融合器中包括:最大池化层M4和M5,特征融合器B包括:BB7和BB8,最大池化层M4的输入为所述的卷积层A13的输出,最大池化层M4的输出作为特征融合器BB8的输入,特征融合器BB7的输入为所述的卷积层A13的输出,特征融合器BB7的输出作为最大池化层M5的输入,最大池化层M5的输出作为特征融合器BB8的输入。

进一步的,所述的预测网络层包括:预测器1、预测器2和预测器3,所述预测器1的输入为特征融合器BB8的输出,所述预测器1的输出为5倍下采样后的特征图上的预测框,所述预测器2的输入为卷积层BB9的输出,所述预测器2的输出为4倍下采样后的特征图特征图上的预测框,所述预测器3的输入为卷积层BB10的输出,所述的预测器3的输出为3倍下采样后的特征图上的预测框。

更进一步的,所述预测框由特征图中预测的先验框偏移量与先验框通过解码公式共同得到,所述的特征图为卷积操作所得,所述的先验框的获得由K-means维度聚类算法在数据集上获得。

另一方面,本发明实施例还提供了一种用于印刷电路板表面缺陷检测的神经网络的训练方法,包括:

获取印刷电路板图像训练集;

对所述印刷电路板图像训练集进行划分,划分为训练集D-1和验证集D-2,并对所述的缺陷图像数据进行标注;其中训练集用于对模型的训练,验证集用于防止模型的过拟合,测试集用于对模型性能的测试;

将所述训练集D-1中的图片依次输入神经网络,根据预测器1、2和3的输出结果对所述神经网络的卷积核进行优化;

将验证集D-2的印刷电路板图像,输入到优化后的目标检测神经网络模型MM中进行图像的缺陷检测,防止网络模型MM的过拟合。

进一步的,所述训练集还包括:测试集D-3,用于对模型性能的测试;

相应的,所述方法还包括:

将测试集D-3的印刷电路板图像输入到所述印刷电路板表面缺陷检测的神经网络中进行测试,根据测试结果确定所述用于印刷电路板表面缺陷检测的神经网络是否可用。

更进一步的,所述获取印刷电路板图像训练集,包括:

将采集到的CCD图像的的长宽尺寸和图像类型同一化处理;

对同一化处理后的所有图像通过模板匹配技术进行对齐,然后将其裁剪为640×640的子图像,并对图像进行二值化处理来避免光照干扰。

相对于现有技术,本发明所述的用于印刷电路板表面缺陷检测的神经网络及训练方法还具有以下优势:

本发明所述的用于印刷电路板表面缺陷检测的神经网络及训练方法,其中,特征提取网络和多尺度融合网络是基于深度卷积神经网络进行构建的,其内部的卷积层交叉连接进行特征的融合,实现了深层网络对浅层网络中的特征信息的充分利用;所述的多尺度融合层采用了3×3、5×5最大池化方式进行多尺度融合,增加了特征通道数量,提高了对缺陷特征的提取能力。并且通过增加预测器,提升了对小目标缺陷的识别能力。通过训练获得了神经网络模型,利用该模型能够进行PCB表面缺陷的缺陷检测。

本发明有效的解决了PCB有缺陷图像的缺陷分类和定位问题,在图像内容分析、计算机视觉以及工业产品的图像信息质量智能检测等领域具有很好的应用潜力和价值。

附图说明

图1为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络的结构示意图;

图2为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中特征提取器AA1的结构图;

图3为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中特征提取器AA2的结构图;

图4为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中特征提取器AA3的结构图;

图5为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中多尺度融合器的结构图;

图6为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中预测器1的结构图;

图7为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中预测器2的结构图;

图8为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中预测器3的结构图;

图9为本发明实施例二所述的用于印刷电路板表面缺陷检测的神经网络训练方法的流程示意图。

具体实施方式

需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

实施例一

图1是本发明实施例一提供的用于印刷电路板表面缺陷检测的神经网络的结构示意图,图2为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中特征提取器AA1的结构图;图3为本发明本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中特征提取器AA2的结构图;图4为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中特征提取器AA3的结构图;图5为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中多尺度融合器的结构图;图6为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中预测器1的结构图;图7为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中预测器2的结构图;图8为本发明实施例一所述的用于印刷电路板表面缺陷检测的神经网络中预测器3的结构图;参见图1-图8,所述用于印刷电路板表面缺陷检测的神经网络,包括:特征提取网络层、多尺度融合网络器和预测网络层,所述特征提取网络层用于提取图像特征;所述多尺度融合网络器用于对所述图像特征进行融合,所述预测网络层用于针对所述多尺度融合网络器输出的融合特征进行多种采样率特征输出的预测框。

具体的,特征提取网络层中的特征提取器A有AA1、AA2、AA3三组,最大池化层M有M1、M2、M3三组,所述的特征提取器AA1的输入为待检测图像经卷积层A-2卷积操作后的输出,所述的特征提取器AA1的输出经过最大池化层M1作为特征提取器AA2的输入,所述的特征提取器AA2的输出经过最大池化层M2作为AA3特征提取器的输入,所述的AA3特征提取器的输出经过最大池化层M3作为卷积层A13的输入。所述的特征提取网络层由特征提取器AA1、最大池化层M1、特征提取器AA2、最大池化层M2、特征提取器AA3、最大池化层M3依次串联构成;所述的特征提取器AA1、AA2、AA3具有相同的结构和功能,实现的是通过对原图的卷积操作提取特征;所述的最大池化层M1、M2、MM4、MM5和M6具有相同的结构和功能,实现的是减少参数量,增大感受野。

尺度融合器中的最大池化层M有M4、M5,特征融合器B有BB7、BB8,所述的最大池化层M4的输入为所述的卷积层A13的输出,所述的最大池化层M4的输出作为特征融合器BB8的输入,所述的特征融合器BB7的输入为所述的卷积层A13的输出,所述的特征融合器BB7的输出作为最大池化层M5的输入,所述的最大池化层M5的输出作为特征融合器BB8的输入。

特征提取器A由卷积层AX、实例归一化层X、Leaky激活函数层、分组卷积层Q、残差器C、卷积层AY、实例归一化层X、Leaky激活函数层和特征融合器B依次串联构成;所述的残差器C由卷积层CA、实例归一化层CB、Leaky激活函数层、卷积层CC、实例归一化层CD、Leaky激活函数层和特征融合器CE依次串联而成,实现的是特征信息的有效流通,提高检测的准确率;所述的卷积层AX、卷积层AY、卷积层CA、卷积层CC包含填充层PA;具体地,特征提取器AA1由卷积层A1、实例归一化层1、Leaky激活函数层、分组卷积层Q1、残差器C1、卷积层A4、实例归一化层4、Leaky激活函数层和特征融合器BB2依次串联构成,特征提取器AA2由卷积层A5、实例归一化层5、Leaky激活函数层、分组卷积层Q2、残差器C2、卷积层A8、实例归一化层8、Leaky激活函数层和特征融合器BB4依次串联构成,特征提取器AA3由卷积层A9、实例归一化层9、Leaky激活函数层、分组卷积层Q3、残差器C3(卷积层CA10、实例归一化层C10、Leaky激活函数层、卷积层CA11、实例归一化层C11、Leaky激活函数层、特征融合器CBB5)、卷积层A12、实例归一化层12、Leaky激活函数层和特征融合器BB6依次串联构成;所述的特征融合器CBB1实现的是所述的卷积层CA2输出的特征图与所述的卷积层CA3输出的特征图之间的融合运算,所述的特征融合器BB2实现的是所述的卷积层A1输出的特征图与所述的卷积层A4输出的特征图之间的融合运算,所述的特征融合器CBB3实现的是所述的卷积层CA6输出的特征图与所述的卷积层CA7输出的特征图之间的融合运算,所述的特征融合器BB4实现的是所述的卷积层A5输出的特征图与所述的卷积层A8输出的特征图之间的融合运算,所述的特征融合器CBB5实现的是所述的卷积层CA10输出的特征图与所述的卷积层CA11输出的特征图之间的融合运算,所述的特征融合器BB6实现的是所述的卷积层A9输出的特征图与所述的卷积层A12输出的特征图之间的融合运算。

多尺度融合器由最大池化层M4、特征融合器BB7、最大池化层M5和特征融合器BB8依次串联而成;所述的特征融合器BB7的输入输出实现的是所述的卷积层A13输出的特征图;所述的特征融合器BB8实现的是所述的卷积层A13输出的特征图、最大池化层M4输出的特征图和最大池化层M5输出的特征图之间的融合运算,所述的融合运算由route层的concatenate函数实现;与所述的最大池化层M4相连的A13包含填充层PA;所述的的最大池化层M4包含填充层PB,所述的最大池化层M5包含填充层PC;所述的多尺度融合层采用了3×3、5×5最大池化方式进行全局特征的局部提取,由特征融合器进行局部与全局信息的融合,实现了不同尺寸的特征图的融合,同时能够增加特征通道数量,提高了对缺陷特征的提取能力。

预测网络层含有预测器1、预测器2和预测器3,所述的预测器1的输入为特征融合器BB8的输出,所述的预测器1的输出为5倍下采样后的特征图上的预测框,所述的预测器2的输入为卷积层BB9的输出,所述的预测器2的输出为4倍下采样后的特征图特征图上的预测框,所述的预测器3的输入为卷积层BB10的输出,所述的预测器3的输出为3倍下采样后的特征图上的预测框。

预测框由特征图中预测的先验框偏移量与先验框通过解码公式共同得到,所述的特征图为卷积操作所得,所述的先验框的获得由K-means维度聚类算法在数据集上获得;所述的预测框与真实框构成了所述的损失函数的输入,通过损失函数计算置信度损失、分类损失和边界框回归损失三部分,依据计算结果通过反向传播算法对所述的目标检测网络模型的卷积核的构建参数进行优化,以实现损失的逐步减小,所述的真实框为在数据集中人工标注的框。

所述的预测器1、预测器2和预测器3具有类似的网络结构和完全相同的功能,所述的预测器1由卷积层A14、实例归一化层14、Leaky激活函数层、卷积层A15、实例归一化层15、Leaky激活函数层、卷积层A16、实例归一化层16、Leaky激活函数层、卷积层A17、Linear激活函数层、解码器Y1和损失函数依次串联构成,预测器2由特征融合器BB9、卷积层A18、实例归一化层17、Linear激活函数层、上采样层U、特征融合器BB10、卷积层A19、实例归一化层18、Leaky激活函数层、卷积层A20、实例归一化层19、Leaky激活函数层、卷积层A21、Linear激活函数、解码器Y2和损失函数依次串联构成,预测器3由特征融合器BB11、卷积层A22、实例归一化层20、Linear激活函数层、上采样层U、特征融合器BB12、卷积层A23、实例归一化层21、Leaky激活函数层、卷积层A24、Linear激活函数、解码器Y2和损失函数依次串联构成;所述的卷积层A14、卷积层A15、卷积层A16、卷积层A17、卷积层A18、卷积层A19、卷积层A20、卷积层A21、卷积层A22、卷积层A23和卷积层A24包含填充层PA,所述的上采样层U包含填充层PD;所述的特征融合器BB9的输入输出实现的是所述的卷积层A14的特征图,所述的特征融合器BB10实现的是卷积层A12的输出与上采样层U的融合,所述的特征融合器BB11的输入输出实现的是所述的卷积层A20的特征图,所述的特征融合器BB12的输入输出实现的是所述的卷积层A8和上采样层U的特征图;所述的预测器1的输入为5倍下采样后的的特征图,所述的预测器1的功能实现的是大目标缺陷的检测;所述的预测器2的输入为4倍下采样后的特征图,所述的预测器2的功能实现的是中目标缺陷的检测;所述的预测器3的输入为3倍下采样后的特征图,所述的预测器3的功能实现的是小目标缺陷的检测;所述的卷积层A17输出的特征图含有解码器1所需要的预测偏移量信息,所述的卷积层A19输出的特征图含有解码器2所需要的预测偏移量信息;所述的预测器进行预测时,利用已经得到的先验框的宽和高与偏移量信息利用解码公式对预测框进行预测回归,所述的先验框的大小通过K-means算法对数据集中的标签框进行聚类,得到类别中心点的9个框(20,17),(17,25),(21,21),(29,17),(27,21),(21,29),(28,28),(53,24),(42,47);所述的5倍下采样特征图中的预测框由(28,28),(53,24),(42,47)回归得到,所述的4倍下采样特征图中的预测框由(29,17),(27,21),(21,29)回归得到,所述的3倍下采样特征图中的预测框由(20,17),(17,25),(21,21)回归得到;对所述的预测器1、预测器2和预测器3的输入进行解码,所述的解码器的解码公式为:

其中,所述的b

所述的预测框与真实框构成了所述的损失函数的输入,通过损失函数计算置信度损失、分类损失和边界框回归损失三部分,依据计算结果通过反向传播算法对所述的目标检测网络模型的卷积核的构建参数进行优化,以实现损失的逐步减小,所述的真实框为在数据集中人工标注的框;

置信度损失函数:

其中,

分类损失函数:

其中,

边界框回归损失函数:

其中,ρ

总损失函数为:

loss=loss

采用所述的损失函数使所述的单阶段目标检测神经网络模型中的所有神经元的梯度整体下降收敛。

所述的填充层PA、PB、PC和PD具有完全相同的结构,所述的结构的构建参数包括填充方式、填充大小和填充方法,实现对其输入数据尺寸的扩充;所述的实例归一化层1、实例归一化层2、实例归一化层3、实例归一化层5、实例归一化层6、实例归一化层7、实例归一化层8、实例归一化层9、实例归一化层10、实例归一化层11、实例归一化层12、实例归一化层13、实例归一化层14、实例归一化层15、实例归一化层16、实例归一化层17、实例归一化层18、实例归一化层19、实例归一化层20、实例归一化层21的结构和功能完全相同,用来将其输入数据调整到特定的范围;所述的卷积层A-1、卷积层A-2、卷积层A1、卷积层CA2、卷积层CA3、卷积层A4、卷积层A5、卷积层CA6、卷积层CA7、卷积层A8、卷积层A9、卷积层CA10、卷积层CA11、卷积层A12、卷积层A13、卷积层A14、卷积层A15、卷积层A16、卷积层A17、卷积层A18、卷积层A19、卷积层A20、卷积层A21、卷积层A22、卷积层A23和卷积层A24,具有完全相同的结构,所述的结构的构建参数包括卷积核的数量、卷积核的归一化方式、卷积核的大小、卷积核的步长、卷积核的填充方式、卷积核的初始值以及卷积核的维度,所述的上述26个卷积层的功能是实现对其输入的特征图的提取,其中卷积层A1、卷积层CA2、卷积层CA3、卷积层A4、卷积层A5、卷积层CA6、卷积层CA7、卷积层A8、卷积层A9、卷积层CA10、卷积层CA11和卷积层A12构成了特征提取器A的重要组成;所述的上述26个卷积层的差别体现在具有不同的“卷积核的数量”、“卷积核的大小”、“卷积核的步长”、“卷积核的填充方式”和“卷积核的维度”结构参数;

所述的分组卷积器Q1、分组卷积器Q2和分组卷积器Q3具有完全相同的结构,实现的是对特征图的分组操作;所述的结构的构建参数包括通道编组器、特征选取器,所述的通道编组器由groups=2控制,将特征图平均分为两组,所述的特征选取器由group_id=1控制,取第一组特征;所述的Leaky激活函数层的构建,采用了LeakyRelu带泄露修正线性单元函数进行激活处理;Linear激活函数层采用了线性修正单元激活函数进行激活处理;所述的特征融合器CBB1、BB2、CBB3、BB4、CBB5、BB6、BB7、BB8、BB9、BB10实现的融合运算由route层的concatenate函数实现。

填充层PA的填充方法采用same padding的方法,填充大小为1,填充方式为对称补齐;所述的单阶段目标检测神经网络中的填充层PB的填充方法采用same padding的方法,填充大小为1,填充方式为对称补齐;所述的单阶段目标检测神经网络中的填充层PA的填充方法采用same padding的方法,填充大小为2,填充方式为对称补齐;所述单阶段目标检测神经网络中的填充层PD的填充方法采用线性插值的方法,填充大小为13,填充方式为内插值法;

测神经网络中所述的26个卷积层的卷积核的填充方式为“same padding”;所述的卷积核的初始值的初始化符合期望值为0,标准差为1的正太分布概率密度函数,所述的初始值的生成方式采用random_normal_initi-alizer算法;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A-1的构建参数为卷积核的大小为3*3、卷积核的步长为2、卷积核的填充方式为“same padding”、卷积核的数量为32;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层CA2、CA3的构建参数为卷积核的大小为3*3、卷积核的步长为1、卷积核的填充方式为“same padding”、卷积核的数量为32;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A-2的构建参数为卷积核的大小为3*3、卷积核的步长为2、卷积核的填充方式为“same padding”、卷积核的数量为64;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A1、CA6、CA7的构建参数为卷积核的大小为3*3、卷积核的步长为1、卷积核的填充方式为“same padding”、卷积核的数量为64;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A4、CA6、CA7的构建参数为卷积核的大小为1*1、卷积核的步长为1、卷积核的填充方式为“same padding”、卷积核的数量为64;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A8、A17、A18、A22的构建参数为卷积核的大小为1*1、卷积核的步长为1、卷积核的填充方式为“same padding”、卷积核的数量为128;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A5、CA10、CA11的构建参数为卷积核的大小为3*3、卷积核的步长为1、卷积核的填充方式为“same padding”、卷积核的数量为128;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A12、A14的构建参数为卷积核的大小为1*1、卷积核的步长为1、卷积核的填充方式为“same padding”、卷积核的数量为256;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A9、A19、A23的构建参数为卷积核的大小为3*3、卷积核的步长为1、卷积核的填充方式为“same padding”、卷积核的数量为256;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A13、A15、A20的构建参数为卷积核的大小为3*3、卷积核的步长为1、卷积核的填充方式为“same padding”、卷积核的数量为512;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A16的构建参数为卷积核的大小为3*3、卷积核的步长为1、卷积核的填充方式为“same padding”、卷积核的数量为1024;所述的多尺度融合型的单阶段目标检测神经网络中的卷积层A17、A21、A24的构建参数为卷积核的大小为1*1、卷积核的步长为1、卷积核的填充方式为“samepadding”、卷积核的数量为33。

神经网络中的Linear激活函数层,采用的激活算法是nn.linear算法;所述的单阶段目标检测神经网络中的LeakyRelu激活函数层,采用的激活算法是nn.leaky_relu算法;所述的单阶段目标检测神经网络中的特征融合器,采用的融合算法由route层实现。

本发明所述的用于印刷电路板表面缺陷检测的神经网络及训练方法,其中,特征提取网络和多尺度融合网络是基于深度卷积神经网络进行构建的,其内部的卷积层交叉连接进行特征的融合,实现了深层网络对浅层网络中的特征信息的充分利用;所述的多尺度融合层采用了3×3、5×5最大池化方式进行多尺度融合,增加了特征通道数量,提高了对缺陷特征的提取能力。并且通过增加预测器,提升了对小目标缺陷的识别能力。

实施例二

图9是本发明实施例二提供的用于印刷电路板表面缺陷检测的神经网络训练方法,参见图,所述方法可以包括:

S110,获取印刷电路板图像训练集。

构建所述的多尺度融合型的单阶段目标检测神经网络的图像数据集D,所有图像由线性扫描CCD获得,其中的有缺陷图像和无缺陷图像一一对应,所述的有缺陷图像和所述的无缺陷图像的长宽尺寸、图像类型完全相同;

对所述的图像数据集中的所有图像通过模板匹配技术进行对齐,然后将其裁剪为640×640的子图像,并对图像进行二值化处理来避免光照干扰。

S120,对所述印刷电路板图像训练集进行划分,划分为训练集D-1和验证集D-2,并对所述的缺陷图像数据进行标注;其中训练集用于对模型的训练,验证集用于防止模型的过拟合,测试集用于对模型性能的测试。

S130,将所述训练集D-1中的图片依次输入神经网络,根据预测器1、2和3的输出结果对所述神经网络的卷积核进行优化。

将所述的训练集D-1中的一张有缺陷图像PP-1,输入到特征提取网络层中,得到特征提取器A的输出O-1,再将所述的输出O1输入到权利要求1所述的卷积层A13,得到所述的多尺度融合网络层的输入I-1;

将输入I-1输入到所述的多尺度融合器中,得到输出O-2,作为所述的预测器1的输入I-2;I-2经过所述的预测器1中的所述的解码器1结合先验框的大小解码后得到网络的输出O-3;输出O-3与所述的缺陷真实值输入到所述的损失函数中,实现对目标检测网络模型的卷积核反向传播进行优化;

将输入I-1输入到所述的多尺度融合网络层中的所述的多尺度融合器中,得到输出O-2,作为所述的预测器1的输入I-2;I-2经过所述的预测器2中的所述的解码器2结合先验框的大小解码后得到网络的输出O-4;输出O-4与所述的缺陷真实值输入到所述的损失函数中,实现对目标检测网络模型的卷积核反向传播进行优化。

重复上述步骤,实现图像数据训练集D-1内的所有对应图像的训练,此时完成对所述的多尺度融合型单阶段目标检测神经网络的一次训练,训练的结果保存在所述的目标检测神经网络内。

进行多次迭代训练,获得可用于印刷电路板缺陷检测的多尺度融合型单阶段目标检测神经网络模型MM;其中,预测器1能够较好的实现对较大目标缺陷的检测,预测器3能够较好的实现对较小目标缺陷的检测;

S140,将验证集D-2的印刷电路板图像,输入到优化后的目标检测神经网络模型MM中进行图像的缺陷检测,防止网络模型MM的过拟合。

将验证集D-2的印刷电路板图像,输入到上述网络模型MM中进行图像的缺陷检测,防止网络模型MM的过拟合。

本实施例通过训练获得了神经网络模型,利用该模型能够进行PCB表面缺陷的缺陷检测。本发明有效的解决了PCB有缺陷图像的缺陷分类和定位问题,在图像内容分析、计算机视觉以及工业产品的图像信息质量智能检测等领域具有很好的应用潜力和价值。以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

技术分类

06120116571740