主板图像的缺陷检测方法、系统、设备及存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种主板图像的缺陷检测方法、系统、设备及存储介质。

背景技术

随着人工智能技术的不断发展，图像处理领域取得了显著的进展。在制造业等领域，对产品质量进行快速而准确的检测变得尤为关键。主板作为电子产品的核心组件，其质量对整体产品性能和稳定性有着重要影响。

然而，由于主板结构复杂，缺陷的检测通常需要高度训练有素的专业人员，且人工检测费时费力，容易出现疏漏，特别是在处理复杂的图像和检测细微缺陷方面存在一定的局限性，传统的单一角度图像采集容易忽略一些细微的缺陷，即现有方案的准确率低。

发明内容

本发明提供了一种主板图像的缺陷检测方法、系统、设备及存储介质，用于实现智能化的主板缺陷分析并提高主板的缺陷检测准确率。

本发明第一方面提供了一种主板图像的缺陷检测方法，所述主板图像的缺陷检测方法包括：

对待检测的目标主板进行多角度及多光源图像采集，得到多个初始主板图像，并对所述多个初始主板图像进行图像去噪处理，得到多个目标主板图像；

通过预置的多层级分解模型分别对每个目标主板图像进行特征分解，得到每个目标主板图像的多层特征图；

通过预置的脉冲耦合神经网络对所述多层特征图进行弱细节信息增强处理，得到每个目标主板图像的多层细节增强图像；

采用区能量和对比度显著的融合规则对每个目标主板图像的多层细节增强图像进行图像融合，生成对应的融合主板图像；

对所述融合主板图像进行图像分块，得到多个目标分块图像，并对所述多个目标分块图像进行子图像叠加，得到多个目标子图像；

分别将所述多个目标子图像输入预置的主板缺陷检测模型进行主板缺陷检测，得到目标主板缺陷检测结果。

结合第一方面，在本发明第一方面的第一种实现方式中，所述对待检测的目标主板进行多角度及多光源图像采集，得到多个初始主板图像，并对所述多个初始主板图像进行图像去噪处理，得到多个目标主板图像，包括：

通过预置的多个光学图像传感器，对待检测的目标主板进行多角度及多光源图像采集，得到多个初始主板图像；

获取每个初始主板图像的角度信息，并根据所述角度信息计算每个初始主板图像的高斯核；

根据所述高斯核，对所述多个初始主板图像进行高斯滤波操作，得到多个去噪主板图像；

对所述多个去噪主板图像进行畸变校正和偏移校准，得到多个目标主板图像。

结合第一方面，在本发明第一方面的第二种实现方式中，所述通过预置的多层级分解模型分别对每个目标主板图像进行特征分解，得到每个目标主板图像的多层特征图，包括：

分别将每个目标主板图像输入预置的多层级分解模型，并通过所述多层级分解模型中的梯度滤波器对每个目标主板图像进行特征分解，得到第一层特征图与一个基础层图；

通过所述多层级分解模型中的梯度双边滤波器对每个目标主板图像进行特征分解，得到第二层特征图以及第三层特征图；

对所述第一层特征图与所述目标主板图像进行作差分解，得到第一细结构特征图与第一粗结构特征图，并对所述第二层特征图与所述目标主板图像进行作差分解，得到第二细结构特征图与第二粗结构特征图，以及对所述第三层特征图与所述目标主板图像进行作差分解，得到第三细结构特征图与第三粗结构特征图；

对所述第一细结构特征图与所述第一粗结构特征图进行特征图融合，并对所述第二细结构特征图与所述第二粗结构特征图进行特征图融合，以及对所述第三细结构特征图与所述第三粗结构特征图进行特征图融合，得到每个目标主板图像的多层特征图。

结合第一方面，在本发明第一方面的第三种实现方式中，所述通过预置的脉冲耦合神经网络对所述多层特征图进行弱细节信息增强处理，得到每个目标主板图像的多层细节增强图像，包括：

将所述多层特征图输入预置的脉冲耦合神经网络，其中，所述脉冲耦合神经网络包括接收域、调制域和脉冲发生器；

通过所述脉冲耦合神经网络中的接收域，对所述多层特征图进行局部特征扫描，得到对应的局部特征信息；

通过所述脉冲耦合神经网络中的调制域，根据所述局部特征信息调整神经元的激活程度，得到激活程度信息；

通过所述脉冲耦合神经网络中的脉冲发生器，根据所述接收域的局部特征信息和所述调制域的激活程度信息生成目标脉冲信号；

基于所述目标脉冲信号通过神经元之间的连接传播，生成对所述多层特征图中细节信息的弱响应并输出每个目标主板图像的多层细节增强图像。

结合第一方面，在本发明第一方面的第四种实现方式中，所述采用区能量和对比度显著的融合规则对每个目标主板图像的多层细节增强图像进行图像融合，生成对应的融合主板图像，包括：

获取所述目标主板的组件信息，并根据所述组件信息确定对应的目标局部窗口；

根据所述目标局部窗口，分别对每个目标主板图像的多层细节增强图像进行像素强度变化程度计算，得到每个目标主板图像的目标区能量指标；

根据所述目标局部窗口，分别对每个目标主板图像的多层细节增强图像进行灰度变化程度，得到每个目标主板图像的目标对比度显著指标；

根据所述目标区能量指标确定每个目标主板图像中多个目标像素点的第一融合权重，并根据所述目标对比度显著指标确定每个目标主板图像中多个目标像素点的第二融合权重；

根据所述第一融合权重和所述第二融合权重，对每个目标主板图像中多个目标像素点进行加权平均和图像融合，生成对应的融合主板图像。

结合第一方面，在本发明第一方面的第五种实现方式中，所述对所述融合主板图像进行图像分块，得到多个目标分块图像，并对所述多个目标分块图像进行子图像叠加，得到多个目标子图像，包括：

对所述融合主板图像进行图像分块，得到多个目标分块图像，并获取每个目标分块图像的多个目标像素区域；

获取每个目标分块图像中多个目标像素区域的像素密度数据，并统计所述多个目标像素区域的最大像素密度以及最小像素密度；

根据所述最大像素密度以及所述最小像素密度，对所述多个目标像素区域的像素密度数据进行归一化处理，得到每个目标像素区域的归一化像素密度；

基于每个目标像素区域的归一化像素密度，分别计算所述多个目标分块图像之间的图像叠加权值；

根据所述图像叠加权值，对所述多个目标分块图像进行子图像叠加，得到多个目标子图像。

结合第一方面，在本发明第一方面的第六种实现方式中，所述分别将所述多个目标子图像输入预置的主板缺陷检测模型进行主板缺陷检测，得到目标主板缺陷检测结果，包括：

分别将所述多个目标子图像输入预置的主板缺陷检测模型，其中，所述主板缺陷检测模型包括多个卷积网络以及全连接网络；

通过所述多个卷积网络分别对每个目标子图像进行主板特征提取，得到每个目标子图像的卷积特征图；

分别将每个目标子图像的卷积特征图输入所述全连接网络进行缺陷检测，得到每个目标子图像的初始主板缺陷检测结果；

对每个目标子图像的初始主板缺陷检测结果进行结果融合输出，得到目标主板缺陷检测结果。

本发明第二方面提供了一种主板图像的缺陷检测系统，所述主板图像的缺陷检测系统包括：

采集模块，用于对待检测的目标主板进行多角度及多光源图像采集，得到多个初始主板图像，并对所述多个初始主板图像进行图像去噪处理，得到多个目标主板图像；

分解模块，用于通过预置的多层级分解模型分别对每个目标主板图像进行特征分解，得到每个目标主板图像的多层特征图；

增强模块，用于通过预置的脉冲耦合神经网络对所述多层特征图进行弱细节信息增强处理，得到每个目标主板图像的多层细节增强图像；

融合模块，用于采用区能量和对比度显著的融合规则对每个目标主板图像的多层细节增强图像进行图像融合，生成对应的融合主板图像；

叠加模块，用于对所述融合主板图像进行图像分块，得到多个目标分块图像，并对所述多个目标分块图像进行子图像叠加，得到多个目标子图像；

检测模块，用于分别将所述多个目标子图像输入预置的主板缺陷检测模型进行主板缺陷检测，得到目标主板缺陷检测结果。

本发明第三方面提供了一种主板图像的缺陷检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述主板图像的缺陷检测设备执行上述的主板图像的缺陷检测方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的主板图像的缺陷检测方法。

本发明提供的技术方案中，对目标主板进行多角度及多光源图像采集，得到多个初始主板图像并进行图像去噪处理，得到多个目标主板图像；进行特征分解，得到多层特征图；进行弱细节信息增强处理，得到多层细节增强图像；对每个目标主板图像的多层细节增强图像进行图像融合，生成融合主板图像；对融合主板图像进行图像分块，得到多个目标分块图像，并对多个目标分块图像进行子图像叠加，得到多个目标子图像；分别将多个目标子图像输入主板缺陷检测模型进行主板缺陷检测，得到目标主板缺陷检测结果，本发明通过使用多个光学图像传感器进行多角度及多光源图像采集，系统能够获取目标主板的高质量、全方位的图像信息，有助于提高后续处理的准确性和可靠性。采用高斯滤波等图像去噪处理方法，能够有效地减少图像中的噪声，提高图像的清晰度和质量，有助于后续处理对主板缺陷的准确检测。利用预置的多层级分解模型对目标主板图像进行特征分解，得到多层特征图。这有助于更好地理解图像的结构和细节，为后续的细节增强和缺陷检测提供更有信息量的输入。通过脉冲耦合神经网络对多层特征图进行弱细节信息增强，能够更好地捕捉和强调图像中的弱细节，提高对主板缺陷的敏感性和检测效果。采用区能量和对比度显著的融合规则对多层细节增强图像进行融合，能够更好地结合图像的局部信息，生成更具对比度和清晰度的融合主板图像，有助于提高缺陷的可视化检测效果。通过图像分块和子图像叠加的方式，系统能够生成多个目标子图像，使得缺陷检测更加精细和准确。这种方法有助于减少误检和漏检的情况。采用多个卷积网络和全连接网络进行主板缺陷检测，通过结果的融合输出，系统能够综合利用不同子图像的检测结果，提高整体缺陷检测的准确性和鲁棒性。

附图说明

图1为本发明实施例中主板图像的缺陷检测方法的一个实施例示意图；

图2为本发明实施例中特征分解的流程图；

图3为本发明实施例中弱细节信息增强处理的流程图；

图4为本发明实施例中图像融合的流程图；

图5为本发明实施例中主板图像的缺陷检测系统的一个实施例示意图；

图6为本发明实施例中主板图像的缺陷检测设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种主板图像的缺陷检测方法、系统、设备及存储介质，用于实现智能化的主板缺陷分析并提高主板的缺陷检测准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中主板图像的缺陷检测方法的一个实施例包括：

S101、对待检测的目标主板进行多角度及多光源图像采集，得到多个初始主板图像，并对多个初始主板图像进行图像去噪处理，得到多个目标主板图像；

可以理解的是，本发明的执行主体可以为主板图像的缺陷检测系统，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，采用预置的多个光学图像传感器对待检测的目标主板进行多角度及多光源图像采集。这一步骤的目的是获取目标主板的多个不同角度和光源下的图像，以确保涵盖主板的所有细节。例如，主板包含复杂的电路元件和连接，这些元件在不同角度和光源下会呈现不同的特征。针对每个初始主板图像，获取角度信息，并根据这些角度信息计算相应的高斯核。这些高斯核是用来进行图像去噪处理的重要工具。高斯核的大小和形状可以根据角度信息进行调整，以更好地适应不同角度下的图像特点。例如，如果主板的某个部分在某个角度下更容易受到光线影响，高斯核可以调整以更好地处理这种情况。使用计算得到的高斯核对多个初始主板图像进行高斯滤波操作。高斯滤波是一种用于去噪的常见技术，它可以帮助消除图像中的噪声和干扰，从而提高图像的质量。通过在每个图像上应用相应的高斯核，可以有效减少图像中的噪声，使图像更加清晰。进行畸变校正和偏移校准。这是为了确保不同角度和光源下的图像在尺度和位置上都是一致的，以便后续的处理和分析。这些校准操作可以校正因不同角度拍摄和光源条件引起的畸变和偏移，以使所有图像在相同的坐标系下对齐。例如，假设需要检测主板上的微小焊接点缺陷。这些缺陷在不同角度下更易于观察。通过使用多个光学传感器从不同角度捕捉主板图像，然后应用高斯滤波去除噪声，最终通过畸变校正和偏移校准，可以确保不同角度下的图像都在相同的坐标系下对齐。这样，可以更准确地检测焊接点缺陷，因为它们不会受到角度和光源变化的影响。

S102、通过预置的多层级分解模型分别对每个目标主板图像进行特征分解，得到每个目标主板图像的多层特征图；

具体的，分别将每个目标主板图像输入预置的多层级分解模型。这个模型使用梯度滤波器对每个图像进行特征分解，从而产生多个层次的特征图。这些特征图包括第一层特征图和一个基础层图，第二层特征图，以及第三层特征图。梯度滤波器有助于捕捉图像中的细节和结构特征。对第一层特征图与目标主板图像进行作差分解，得到第一细结构特征图和第一粗结构特征图。这个过程有助于分离出图像的细节部分和粗糙结构部分。类似地，对第二层特征图和第三层特征图也进行作差分解，以分别得到第二细结构特征图和第二粗结构特征图，以及第三细结构特征图和第三粗结构特征图。随着每个图像的特征图被分解成细结构和粗结构部分，接着进行特征图融合。对相应层次的细结构和粗结构特征图进行组合，以生成每个目标主板图像的多层特征图。这个过程可以使用各种图像处理技术，例如加权平均或卷积操作，以获得多层特征图，其中包含了原始图像的不同特征和细节。例如，印刷电路板（目标主板）上的细微缺陷包括焊点质量问题或元件损坏。通过多层级分解模型，服务器分解每个目标主板图像，得到包含不同层次特征的图像。在第一层，梯度滤波捕获了图像的边缘和细微细节，从而生成第一层特征图。差分解过程分离了这些细节部分和粗糙结构，使服务器能够专注于细微的变化和缺陷。在第二层和第三层，服务器继续分析更高级的特征，例如元件的排列和连接。将这些特征图融合在一起，生成多层特征图，它们综合了图像的各种细节和结构特征。这些多层特征图可以用于缺陷检测，因为它们捕获了目标主板图像的各种方面。通过比较这些特征图与已知的正常图像特征，服务器检测出潜在的缺陷，从而提高了检测的准确性和效率。

S103、通过预置的脉冲耦合神经网络对多层特征图进行弱细节信息增强处理，得到每个目标主板图像的多层细节增强图像；

需要说明的是，将所述多层特征图输入预置的脉冲耦合神经网络。这个神经网络包括接收域、调制域和脉冲发生器。这些组件协同工作以对多层特征图进行细节增强。通过脉冲耦合神经网络中的接收域，对多层特征图进行局部特征扫描。神经网络会关注图像中的局部特征，如边缘、纹理或其他重要细节。局部特征扫描有助于捕捉图像的重要部分，以便更好地增强这些区域的细节。通过脉冲耦合神经网络中的调制域，根据局部特征信息调整神经元的激活程度。这个调整过程可以帮助神经网络更加关注和突出显示具有重要信息的局部特征，从而提高对这些特征的感知能力。通过脉冲耦合神经网络中的脉冲发生器，基于接收域的局部特征信息和调制域的激活程度信息生成目标脉冲信号。这些脉冲信号可以被视为网络的反馈机制，用于调整神经元的活动以强化特定细节。基于目标脉冲信号通过神经元之间的连接传播，生成对多层特征图中细节信息的弱响应。这个弱响应反映了网络对图像的细节信息的感知。这个输出可视为多层细节增强图像，其中包含了强化的局部特征信息。

S104、采用区能量和对比度显著的融合规则对每个目标主板图像的多层细节增强图像进行图像融合，生成对应的融合主板图像；

具体的，服务器获取目标主板上的组件信息，这可以包括元件的位置、形状和分布。这些信息将用于确定目标局部窗口，它是一个包含目标组件的小区域，用于计算区能量和对比度显著指标。根据目标局部窗口，服务器分别对每个目标主板图像的多层细节增强图像进行像素强度变化程度的计算，以得到目标区能量指标。这一步骤帮助服务器了解在目标区域内像素的强度变化情况，即图像的局部能量分布。同时，服务器根据目标局部窗口分别计算每个目标主板图像的多层细节增强图像的灰度变化程度，以得到目标对比度显著指标。这指标有助于衡量局部窗口内像素的对比度，即图像的局部对比度分布。服务器使用目标区能量指标来确定每个目标主板图像中多个目标像素点的第一融合权重。这些权重反映了各个像素点在目标局部窗口内的能量分布，帮助确定哪些像素点更具区域能量。同样，服务器使用目标对比度显著指标来确定每个目标主板图像中多个目标像素点的第二融合权重。这些权重反映了各个像素点在目标局部窗口内的对比度分布，帮助确定哪些像素点更具对比度显著性。根据第一融合权重和第二融合权重，服务器对每个目标主板图像中的多个目标像素点进行加权平均和图像融合。这个融合过程将考虑像素的区能量和对比度显著性，以生成对应的融合主板图像。

S105、对融合主板图像进行图像分块，得到多个目标分块图像，并对多个目标分块图像进行子图像叠加，得到多个目标子图像；

具体的，对融合主板图像进行图像分块，生成多个目标分块图像。每个分块包含了主板图像的一部分，包括不同的元件或特定区域。这个分块过程有助于更精细地处理不同区域的图像信息。在每个目标分块图像中，服务器获取多个目标像素区域。这些区域对应于不同的元件或感兴趣的特征。通过明确定义目标区域，服务器在这些区域内进一步处理图像信息。对于每个目标分块图像，服务器获取目标像素区域的像素密度数据。像素密度表示在每个区域内像素的数量或分布情况。并统计每个目标像素区域的最大和最小像素密度值，以了解该区域内的像素分布范围。根据最大和最小像素密度值，服务器对每个目标像素区域的像素密度数据进行归一化处理。这个步骤有助于将不同区域的像素密度值映射到相似的尺度，以便后续处理。基于每个目标像素区域的归一化像素密度，服务器计算多个目标分块图像之间的图像叠加权值。这些权值反映了每个分块图像在最终子图像中的贡献程度。通常，像素密度较高的区域将具有较高的权值，以确保这些区域的信息更显著。根据计算得到的图像叠加权值，对多个目标分块图像进行子图像叠加，从而生成多个目标子图像。这些子图像代表了主板不同区域的信息，并根据像素密度数据和权值进行叠加，以确保最终子图像中包含了主板各个区域的关键信息。

S106、分别将多个目标子图像输入预置的主板缺陷检测模型进行主板缺陷检测，得到目标主板缺陷检测结果。

具体的，分别将多个目标子图像输入预置的主板缺陷检测模型。这个模型包括多个卷积网络和全连接网络。卷积网络专注于从输入图像中提取特征，而全连接网络用于执行缺陷检测任务。通过多个卷积网络分别对每个目标子图像进行特征提取。卷积网络的作用是检测输入图像中的局部特征和模式。通过层层的卷积和池化操作，卷积网络将图像信息转化为卷积特征图，其中包含了图像中不同层次的特征信息。分别将每个目标子图像的卷积特征图输入全连接网络进行缺陷检测。全连接网络是一种深度学习模型，用于将卷积特征转化为最终的缺陷检测结果。全连接网络能够理解卷积特征图中的高级抽象特征，并将它们与特定的缺陷模式相关联。每个目标子图像都会生成初始的主板缺陷检测结果。这些初始结果是二元分类（有缺陷/无缺陷）或具有缺陷的程度。然而，不同子图像的检测结果会有一定差异。为了提高准确性，这些初始主板缺陷检测结果需要进行结果融合。这个融合过程可以包括统计学方法、机器学习方法或深度学习方法。目的是综合考虑各个子图像的结果，以获得最终的目标主板缺陷检测结果。例如，卷积网络首先从每个输入图像中提取特征，如焊点的形状、颜色和纹理。这些特征以卷积特征图的形式传递到全连接网络中。全连接网络接受卷积特征图，然后将它们与事先训练的模型权重结合，执行焊点缺陷检测。每个子图像都会产生一个初始检测结果，表示焊点是否有缺陷以及缺陷的类型和程度。这些初始检测结果根据统计学或深度学习方法进行结果融合。这可以是投票机制，或者利用深度学习的技术，将各个子图像的信息综合考虑，生成最终的目标主板缺陷检测结果。

本发明实施例中，对目标主板进行多角度及多光源图像采集，得到多个初始主板图像并进行图像去噪处理，得到多个目标主板图像；进行特征分解，得到多层特征图；进行弱细节信息增强处理，得到多层细节增强图像；对每个目标主板图像的多层细节增强图像进行图像融合，生成融合主板图像；对融合主板图像进行图像分块，得到多个目标分块图像，并对多个目标分块图像进行子图像叠加，得到多个目标子图像；分别将多个目标子图像输入主板缺陷检测模型进行主板缺陷检测，得到目标主板缺陷检测结果，本发明通过使用多个光学图像传感器进行多角度及多光源图像采集，系统能够获取目标主板的高质量、全方位的图像信息，有助于提高后续处理的准确性和可靠性。采用高斯滤波等图像去噪处理方法，能够有效地减少图像中的噪声，提高图像的清晰度和质量，有助于后续处理对主板缺陷的准确检测。利用预置的多层级分解模型对目标主板图像进行特征分解，得到多层特征图。这有助于更好地理解图像的结构和细节，为后续的细节增强和缺陷检测提供更有信息量的输入。通过脉冲耦合神经网络对多层特征图进行弱细节信息增强，能够更好地捕捉和强调图像中的弱细节，提高对主板缺陷的敏感性和检测效果。采用区能量和对比度显著的融合规则对多层细节增强图像进行融合，能够更好地结合图像的局部信息，生成更具对比度和清晰度的融合主板图像，有助于提高缺陷的可视化检测效果。通过图像分块和子图像叠加的方式，系统能够生成多个目标子图像，使得缺陷检测更加精细和准确。这种方法有助于减少误检和漏检的情况。采用多个卷积网络和全连接网络进行主板缺陷检测，通过结果的融合输出，系统能够综合利用不同子图像的检测结果，提高整体缺陷检测的准确性和鲁棒性。

在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：

（1）通过预置的多个光学图像传感器，对待检测的目标主板进行多角度及多光源图像采集，得到多个初始主板图像；

（2）获取每个初始主板图像的角度信息，并根据角度信息计算每个初始主板图像的高斯核；

（3）根据高斯核，对多个初始主板图像进行高斯滤波操作，得到多个去噪主板图像；

（4）对多个去噪主板图像进行畸变校正和偏移校准，得到多个目标主板图像。

具体的，通过多个预置的光学图像传感器对待检测的目标主板进行多角度和多光源的图像采集。这一步确保了从不同视角和照明条件下获得了多个初始主板图像，从而提供了更全面的信息，以便后续的处理和分析。随后，对每个获得的初始主板图像提取其角度信息。这些角度信息可以是相机的拍摄角度或相对于主板的位置角度。这些信息有助于后续处理，以了解图像的空间关系。接着，通过根据角度信息计算高斯核，对每个初始主板图像进行高斯滤波操作。高斯滤波是一种用于去除图像中的噪声和平滑图像的技术，它通过应用高斯核来模糊图像中的细节，以去除噪声。高斯滤波的结果是多个去噪主板图像，这些图像在去除噪声的同时保留了主板的关键特征。这些去噪图像更适合后续的分析和处理。在得到多个去噪主板图像之后，进行畸变校正和偏移校准。这个过程用于校正由于摄像机角度或主板位置引起的图像畸变和偏移，以确保图像准确地反映主板的实际状态。通过这一系列的图像处理步骤，服务器最终获得了多个目标主板图像，这些图像经过去噪、畸变校正和偏移校准，具备了高质量的特征和信息。这些目标主板图像可以用于后续的分析、检测和质量控制任务。

在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：

S201、分别将每个目标主板图像输入预置的多层级分解模型，并通过多层级分解模型中的梯度滤波器对每个目标主板图像进行特征分解，得到第一层特征图与一个基础层图；

S202、通过多层级分解模型中的梯度双边滤波器对每个目标主板图像进行特征分解，得到第二层特征图以及第三层特征图；

S203、对第一层特征图与目标主板图像进行作差分解，得到第一细结构特征图与第一粗结构特征图，并对第二层特征图与目标主板图像进行作差分解，得到第二细结构特征图与第二粗结构特征图，以及对第三层特征图与目标主板图像进行作差分解，得到第三细结构特征图与第三粗结构特征图；

S204、对第一细结构特征图与第一粗结构特征图进行特征图融合，并对第二细结构特征图与第二粗结构特征图进行特征图融合，以及对第三细结构特征图与第三粗结构特征图进行特征图融合，得到每个目标主板图像的多层特征图。

具体的，分别将每个目标主板图像输入预置的多层级分解模型。这个模型的主要任务是将输入图像进行多层次的特征分解，以便分析图像的不同部分和细节。在第一层级中，使用梯度滤波器对图像进行特征分解。梯度滤波器有助于捕捉图像中的边缘和轮廓等重要特征。这一步骤生成了第一层特征图以及一个基础层图。第一层特征图包含了图像的边缘和纹理信息，而基础层图则包含了原始图像的一些基本特征。接着，在第二层级中，使用梯度双边滤波器对图像进行特征分解。梯度双边滤波器结合了空间信息和像素值的相似性，更加精细地分解图像特征。这一步骤生成了第二层特征图，其中包含了更加丰富的特征信息。在第三层级中，同样使用梯度双边滤波器，进一步分解图像，生成第三层特征图。这一层级的特征图更加详细，包括图像中更微小的细节和结构。将第一层特征图与原始目标主板图像进行作差分解，得到第一细结构特征图和第一粗结构特征图。这一步骤有助于分离图像的细微纹理和结构特征。同样，在第二层级和第三层级中，也分别对目标主板图像进行作差分解，得到第二细结构特征图与第二粗结构特征图，以及第三细结构特征图与第三粗结构特征图。这些细结构特征图包含了图像中更加微小和复杂的特征信息。对每个目标主板图像的不同层级的特征图进行特征图融合。这个过程可以采用各种技术，如加权平均或深度学习的方法，以综合不同细结构和粗结构特征，生成最终的多层特征图。

在一具体实施例中，如图3所示，执行步骤S103的过程可以具体包括如下步骤：

S301、将多层特征图输入预置的脉冲耦合神经网络，其中，脉冲耦合神经网络包括接收域、调制域和脉冲发生器；

S302、通过脉冲耦合神经网络中的接收域，对多层特征图进行局部特征扫描，得到对应的局部特征信息；

S303、通过脉冲耦合神经网络中的调制域，根据局部特征信息调整神经元的激活程度，得到激活程度信息；

S304、通过脉冲耦合神经网络中的脉冲发生器，根据接收域的局部特征信息和调制域的激活程度信息生成目标脉冲信号；

S305、基于目标脉冲信号通过神经元之间的连接传播，生成对多层特征图中细节信息的弱响应并输出每个目标主板图像的多层细节增强图像。

具体的，将多层特征图输入预置的脉冲耦合神经网络。这个神经网络包括三关键组件：接收域、调制域和脉冲发生器。这些组件协同工作，以处理输入的多层特征图并增强图像的细节信息。通过脉冲耦合神经网络中的接收域，对多层特征图进行局部特征扫描。接收域的任务是在每个位置上检测图像中的局部特征。这可以包括纹理、边缘或其他局部结构。通过扫描，网络获得了对应的局部特征信息。随后，通过脉冲耦合神经网络中的调制域，根据局部特征信息调整神经元的激活程度。这一步骤有助于确定哪些局部特征是值得关注的，以及它们在图像中的重要性。通过激活程度信息，网络可以更好地集中注意力在关键细节上。接着，通过脉冲耦合神经网络中的脉冲发生器，根据接收域的局部特征信息和调制域的激活程度信息生成目标脉冲信号。这些目标脉冲信号是神经网络的输出，它们反映了在多层特征图中检测到的关键细节信息。基于目标脉冲信号，通过神经元之间的连接传播，生成对多层特征图中细节信息的弱响应。这一弱响应可以被添加回原始图像，从而生成每个目标主板图像的多层细节增强图像。这个图像包含了增强的细节信息，使主板上的缺陷和特征更容易被检测和分析。例如，假设服务器获取多层特征图，然后输入到脉冲耦合神经网络中。神经网络会扫描图像的局部特征，根据其重要性调整激活程度，并生成目标脉冲信号。这些脉冲信号传播到神经元之间的连接，生成了弱响应，这个响应反映了图像中的微小细节。这些弱响应叠加到原始图像上，生成了增强的图像，使得焊接缺陷更加明显，便于检测和修复。这种方法提高了制造质量控制的效率和准确性。

在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：

S401、获取目标主板的组件信息，并根据组件信息确定对应的目标局部窗口；

S402、根据目标局部窗口，分别对每个目标主板图像的多层细节增强图像进行像素强度变化程度计算，得到每个目标主板图像的目标区能量指标；

S403、根据目标局部窗口，分别对每个目标主板图像的多层细节增强图像进行灰度变化程度，得到每个目标主板图像的目标对比度显著指标；

S404、根据目标区能量指标确定每个目标主板图像中多个目标像素点的第一融合权重，并根据目标对比度显著指标确定每个目标主板图像中多个目标像素点的第二融合权重；

S405、根据第一融合权重和第二融合权重，对每个目标主板图像中多个目标像素点进行加权平均和图像融合，生成对应的融合主板图像。

具体的，获取目标主板的组件信息，这可以包括组件的位置、大小和形状等。这些信息可以通过计算机视觉技术或其他传感器来获取。基于组件信息，确定对应的目标局部窗口。这个窗口应该包括目标组件，并足够大，以捕获周围的环境。局部窗口将在后续的计算中用作感兴趣的区域。根据目标局部窗口，分别对每个目标主板图像的多层细节增强图像进行像素强度变化程度计算。这涉及分析像素的强度值，以确定区域内的能量分布情况。这个计算将产生目标区能量指标，用于量化区域内的强度变化。同时，对每个目标主板图像的多层细节增强图像进行灰度变化程度的计算。这一步骤用于评估局部窗口内像素之间的灰度变化程度。这将生成目标对比度显著指标，用于表示区域内的对比度。根据目标区能量指标，确定每个目标主板图像中多个目标像素点的第一融合权重。这个权重可以根据能量的分布来分配，以突出区域内的高能量部分。同时，根据目标对比度显著指标，确定每个目标主板图像中多个目标像素点的第二融合权重。这个权重可以根据对比度的分布来分配，以强调区域内的高对比度部分。根据第一融合权重和第二融合权重，对每个目标主板图像中多个目标像素点进行加权平均和图像融合。这将生成对应的融合主板图像，其中高能量和高对比度区域将更加突出，有助于检测和分析目标主板的特征和缺陷。例如，假设服务器获取电路板的组件信息，包括焊点位置。服务器确定每个焊点周围的目标局部窗口，以分析焊点的质量。通过计算像素强度变化和灰度变化，服务器获得目标区能量指标和目标对比度显著指标。根据这些指标，服务器生成融合的图像，以突出高质量焊点并帮助检测问题焊点。这种方法有助于提高电路板制造的质量和可靠性。

在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：

（1）对融合主板图像进行图像分块，得到多个目标分块图像，并获取每个目标分块图像的多个目标像素区域；

（2）获取每个目标分块图像中多个目标像素区域的像素密度数据，并统计多个目标像素区域的最大像素密度以及最小像素密度；

（3）根据最大像素密度以及最小像素密度，对多个目标像素区域的像素密度数据进行归一化处理，得到每个目标像素区域的归一化像素密度；

（4）基于每个目标像素区域的归一化像素密度，分别计算多个目标分块图像之间的图像叠加权值；

（5）根据图像叠加权值，对多个目标分块图像进行子图像叠加，得到多个目标子图像。

具体的，将融合主板图像分割成多个目标分块图像，这可以通过图像分块技术来实现。每个目标分块图像将包含感兴趣的区域，以便进一步分析。对每个目标分块图像中的多个目标像素区域进行识别和提取。这可以通过目标检测算法或者基于颜色、形状等特征进行像素区域的标识来实现。接着，计算每个区域的像素密度数据。像素密度是指每个像素点的像素值，通常表示颜色或亮度。通过对像素密度数据进行统计，可以找到每个目标像素区域的最大像素密度和最小像素密度。根据最大像素密度和最小像素密度，对多个目标像素区域的像素密度数据进行归一化处理。归一化可以将不同区域之间的像素密度值映射到相同的尺度，以便进行比较和分析。一种常见的归一化方法是将像素密度值缩放到0到1之间。基于每个目标像素区域的归一化像素密度，可以计算多个目标分块图像之间的图像叠加权值。这些权值可以根据归一化像素密度的差异来计算，以便更重视具有高像素密度的区域。这些权值将用于控制不同分块图像的贡献度。根据图像叠加权值，对多个目标分块图像进行子图像叠加。这将生成多个目标子图像，其中各个分块图像根据其贡献度进行叠加。这些子图像将突出显示不同区域的特征，并有助于更好地理解和分析目标主板的特点和缺陷。例如，假设服务器将融合主板图像分成多个分块图像，然后使用计算机视觉技术识别每个焊点的位置。服务器提取每个焊点周围的目标像素区域，并计算像素密度数据。通过比较不同焊点区域的像素密度，服务器确定焊点质量的差异。服务器使用图像叠加权值将这些分块图像叠加在一起，以生成突出显示质量差异的子图像，帮助服务器更好地检测和分析焊点的问题。这种方法可以提高电路板焊点质量的控制和生产效率。

在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：

（1）分别将多个目标子图像输入预置的主板缺陷检测模型，其中，主板缺陷检测模型包括多个卷积网络以及全连接网络；

（2）通过多个卷积网络分别对每个目标子图像进行主板特征提取，得到每个目标子图像的卷积特征图；

（3）分别将每个目标子图像的卷积特征图输入全连接网络进行缺陷检测，得到每个目标子图像的初始主板缺陷检测结果；

（4）对每个目标子图像的初始主板缺陷检测结果进行结果融合输出，得到目标主板缺陷检测结果。

具体的，准备一个主板缺陷检测模型，这个模型通常是深度学习模型，包括多个卷积神经网络（CNN）和全连接网络。这个模型经过预训练，以便能够从输入的图像中提取特征并进行缺陷检测。将多个目标子图像分别输入主板缺陷检测模型。每个子图像代表主板的不同部分或多个不同视角的图像。这些子图像将通过模型的前向传播过程，经过多个卷积网络进行主板特征提取。每个卷积网络将对子图像进行特征提取，生成卷积特征图。这些卷积特征图将包含有关子图像的丰富信息，包括边缘、纹理和其他特征。将每个目标子图像的卷积特征图输入到全连接网络中，以进行缺陷检测。全连接网络将学习如何将卷积特征转化为缺陷检测结果。这一步骤将为每个子图像生成初始的主板缺陷检测结果。对每个目标子图像的初始主板缺陷检测结果进行结果融合。结果融合可以采用各种技术，例如投票法、加权平均或其他集成学习方法。这将产生最终的目标主板缺陷检测结果，以确定主板上的任何缺陷或问题。例如，假设服务器首先拍摄多个不同视角的目标主板图像，将它们分割成多个子图像。服务器将这些子图像送入预训练的主板缺陷检测模型中。每个子图像的卷积特征图会传递给全连接网络，该网络将生成初始的缺陷检测结果。服务器采用结果融合方法，如投票法，将所有子图像的检测结果结合在一起，以确定整个目标主板上的缺陷情况。这种方法可以提高电子制造过程中对目标主板质量的检测和控制。

上面对本发明实施例中主板图像的缺陷检测方法进行了描述，下面对本发明实施例中主板图像的缺陷检测系统进行描述，请参阅图5，本发明实施例中主板图像的缺陷检测系统一个实施例包括：

采集模块501，用于对待检测的目标主板进行多角度及多光源图像采集，得到多个初始主板图像，并对所述多个初始主板图像进行图像去噪处理，得到多个目标主板图像；

分解模块502，用于通过预置的多层级分解模型分别对每个目标主板图像进行特征分解，得到每个目标主板图像的多层特征图；

增强模块503，用于通过预置的脉冲耦合神经网络对所述多层特征图进行弱细节信息增强处理，得到每个目标主板图像的多层细节增强图像；

融合模块504，用于采用区能量和对比度显著的融合规则对每个目标主板图像的多层细节增强图像进行图像融合，生成对应的融合主板图像；

叠加模块505，用于对所述融合主板图像进行图像分块，得到多个目标分块图像，并对所述多个目标分块图像进行子图像叠加，得到多个目标子图像；

检测模块506，用于分别将所述多个目标子图像输入预置的主板缺陷检测模型进行主板缺陷检测，得到目标主板缺陷检测结果。

通过上述各个组成部分的协同合作，对目标主板进行多角度及多光源图像采集，得到多个初始主板图像并进行图像去噪处理，得到多个目标主板图像；进行特征分解，得到多层特征图；进行弱细节信息增强处理，得到多层细节增强图像；对每个目标主板图像的多层细节增强图像进行图像融合，生成融合主板图像；对融合主板图像进行图像分块，得到多个目标分块图像，并对多个目标分块图像进行子图像叠加，得到多个目标子图像；分别将多个目标子图像输入主板缺陷检测模型进行主板缺陷检测，得到目标主板缺陷检测结果，本发明通过使用多个光学图像传感器进行多角度及多光源图像采集，系统能够获取目标主板的高质量、全方位的图像信息，有助于提高后续处理的准确性和可靠性。采用高斯滤波等图像去噪处理方法，能够有效地减少图像中的噪声，提高图像的清晰度和质量，有助于后续处理对主板缺陷的准确检测。利用预置的多层级分解模型对目标主板图像进行特征分解，得到多层特征图。这有助于更好地理解图像的结构和细节，为后续的细节增强和缺陷检测提供更有信息量的输入。通过脉冲耦合神经网络对多层特征图进行弱细节信息增强，能够更好地捕捉和强调图像中的弱细节，提高对主板缺陷的敏感性和检测效果。采用区能量和对比度显著的融合规则对多层细节增强图像进行融合，能够更好地结合图像的局部信息，生成更具对比度和清晰度的融合主板图像，有助于提高缺陷的可视化检测效果。通过图像分块和子图像叠加的方式，系统能够生成多个目标子图像，使得缺陷检测更加精细和准确。这种方法有助于减少误检和漏检的情况。采用多个卷积网络和全连接网络进行主板缺陷检测，通过结果的融合输出，系统能够综合利用不同子图像的检测结果，提高整体缺陷检测的准确性和鲁棒性。

上面图5从模块化功能实体的角度对本发明实施例中的主板图像的缺陷检测系统进行详细描述，下面从硬件处理的角度对本发明实施例中主板图像的缺陷检测设备进行详细描述。

图6是本发明实施例提供的一种主板图像的缺陷检测设备的结构示意图，该主板图像的缺陷检测设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对主板图像的缺陷检测设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在主板图像的缺陷检测设备600上执行存储介质630中的一系列指令操作。

主板图像的缺陷检测设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的主板图像的缺陷检测设备结构并不构成对主板图像的缺陷检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种主板图像的缺陷检测设备，所述主板图像的缺陷检测设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述主板图像的缺陷检测方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述主板图像的缺陷检测方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。