基于改进神经网络的芯片缺陷智慧检测系统

技术领域

本发明涉及神经网络模型学习技术领域，具体涉及基于改进神经网络的芯片缺陷智慧检测系统。

背景技术

芯片是电子产品的核心组成部分，任何缺陷或不良都可能导致产品性能问题、故障甚至损坏。通过在制造过程中进行缺陷检测，可以识别并纠正缺陷，从而提高芯片的质量和可靠性。芯片的可靠性对于许多应用至关重要，尤其是在关键领域如医疗、航空航天和汽车等。未检测到的缺陷可能会导致设备故障，这可能对人们的生命和财产造成严重威胁。芯片缺陷检测有助于确保产品在长期使用中不会出现问题。随着芯片制造工艺的发展，芯片的集成度不断增加，因此需要更高效准确的检测方法来应对大批量芯片的检测需求。芯片缺陷检测是集成电路制造过程中的关键步骤，也即为芯片缺陷检测是芯片制造过程中的关键步骤，旨在识别和定位芯片上的缺陷或不良，以确保生产出高质量的芯片产品。

目前，深度学习方法如卷积神经网络被广泛应用于芯片缺陷检测。但由于芯片结构通常较为复杂且多样，某些缺陷区域与非缺陷区域的结构较为相近，会导致对于复杂结构中某些不明显的缺陷进行检测时，神经网络对其中特征的提取精度较低，进而导致对芯片中缺陷区域识别的准确性较低。

发明内容

为了解决由于某些缺陷区域与非缺陷区域的结构较为相近，导致神经网络对芯片中缺陷区域识别的准确性较低的技术问题，本发明的目的在于提供基于改进神经网络的芯片缺陷智慧检测系统，所采用的技术方案包括模块一下模块：

缺陷识别模块，用于获取待识别芯片图像，将待识别芯片图像输入训练好的识别网络，输出缺陷区域；

其中，识别网络的损失函数的更新过程为：根据缺陷区域分割训练集中含有缺陷区域的芯片图像，得到缺陷标注块和优选非标注块；分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图，匹配缺陷标注块的第一特征图和优选非标注块的第一特征图，筛选出缺陷标注块的部分第一特征图，作为区分特征图；输入缺陷标注块至识别网络，得到第二特征图；匹配第二特征图和区分特征图，筛选出部分第二特征图，作为目标特征图；输入芯片图像至识别网络中，得到第三特征图；匹配第三特征图和目标特征图，得到目标匹配度；基于目标匹配度，对识别网络的损失函数加权，更新损失函数。

优选的，所述根据缺陷区域分割训练集中含有缺陷区域的芯片图像，得到缺陷标注块和优选非标注块，包括：

获取训练集中任意芯片图像中的缺陷区域的最小外接矩形；将所有芯片图像中最大的外接矩形作为标准矩形，基于标准矩形对芯片图像进行分割，得到分割块，将含有缺陷区域的分割块为缺陷标注块；将未含有缺陷区域的分割块为待选非标注块；

保留与缺陷标注块相似的部分待选非标注块，作为优选非标注块。

优选的，所述保留与缺陷标注块相似的部分待选非标注块，作为优选非标注块，包括：

将缺陷标注块中的元素值按照预设排列顺序首尾相连转化为一维序列，作为缺陷标注序列；将待选非标注块中的元素值按照预设排列顺序首尾相连转化为一维序列，作为待选非标注块序列；

计算缺陷标注序列和每个待选非标注块序列的相似度，将相似度大于预设相似阈值时对应的待选非标注块序列，作为优选非标注块，其中预设相似阈值的取值为小于1的正数。

优选的，所述匹配缺陷标注块的第一特征图和优选非标注块的第一特征图，筛选出缺陷标注块的部分第一特征图，作为区分特征图，包括：

计算缺陷标注块对应的第一特征图和优选非标注块的第一特征图的差分图，记为第一差分图，并获取缺陷标注块对应的第一特征图和优选非标注块的第一特征图中，同一位置处像素点在两张第一特征图中的最大像素值，记为第一像素值；对于第一差分图中的任意像素点，计算该像素点的像素值和对应的该像素点在两张第一特征图中的第一像素值的比值，作为第一差分图对应的缺陷标注块和优选非标注块的第一特征图的第一边权值；基于第一边权值，对缺陷标注块的第一特征图和优选非标注块的第一特征图进行匹配，将匹配的第一边权值大于预设第一匹配阈值的缺陷标注块的第一特征图作为区分特征图。

优选的，所述匹配第二特征图和区分特征图，筛选出部分第二特征图，作为目标特征图，包括：

计算第二特征图和区分特征图的差分图，记为第二差分图，并获取第二特征图和区分特征图中，同一位置处像素点在第二特征图和区分特征图中的最大像素值，记为第二像素值；对于第二差分图中的任意像素点，计算该像素点的像素值和对应的该像素点在第二特征图和区分特征图中的第二像素值的比值，作为第二差分图对应的第二特征图和区分特征图的第二边权值；基于第二边权值，对第二特征图和区分特征图进行匹配，将匹配的第二边权值大于预设第二匹配阈值的第二特征图作为目标特征图。

优选的，所述匹配第三特征图和目标特征图，得到目标匹配度，包括：

将第三特征图中的像素值按照预设排列顺序首尾相连转化为一维序列，作为第三特征序列；将目标特征图中的像素值按照预设排列顺序首尾相连转化为一维序列，作为目标特征序列；将第三特征图的第三特征序列和每个目标特征图的目标特征序列的相似度中的最大值，作为第三特征图的目标匹配度。

优选的，所述基于目标匹配度，对识别网络的损失函数加权，更新损失函数，包括：

在识别网络中的每个卷积层添加卷积层的损失函数，卷积层的损失函数为第三特征图和目标特征图的均方差；对每个第三特征图的目标匹配度进行负相关归一化，将负相关归一化的结果值作为加权值，将卷积层中每个第三特征图的加权值作为权重，对每张第三特征图的均方差进行加权求和，将加权求和后的均方差作为识别网络中对应卷积层的损失函数。

优选的，训练集中含有缺陷区域的芯片图像中的缺陷区域是由人工标注出来的。

优选的，所述分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图，包括：

将缺陷标注块和优选非标注块输入至同一自编码网络中，得到每个隐藏层对应的第一特征图。

优选的，所述输入缺陷标注块至识别网络，得到第二特征图，包括：

将缺陷标注块输入至识别网络中，得到每个隐藏层对应的第二特征图。

本发明实施例至少具有如下有益效果：

本发明涉及神经网络模型学习技术领域。该系统包络缺陷识别模块，用于获取待识别芯片图像，将待识别芯片图像输入训练好的识别网络，输出缺陷区域；其中，识别网络的损失函数的更新过程为：根据缺陷区域分割训练集中芯片图像，得到缺陷标注块和优选非标注块，将训练集中的缺陷区域和非缺陷区域通过缺陷标注块和优选非标注块进行区分，后续通过提取缺陷区域和非缺陷区域的特征，提高识别网络的识别能力；分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图，匹配缺陷标注块的第一特征图和优选非标注块的第一特征图，筛选出缺陷标注块的部分第一特征图，作为区分特征图，区分特征图是从第一特征图中筛选出的更能代表特征不明显的缺陷区域的特征图，后续输入至识别网络，使自编码网络学习芯片图像中的不明显缺陷特征；输入缺陷标注块至识别网络，得到第二特征图；匹配第二特征图和区分特征图，筛选出部分第二特征图，作为目标特征图，更进一步的对缺陷标注块对应的第二特征图进行筛选得到目标特征图，匹配第二特征图和区分特征图使识别网络能够结合由自编码网络得到的区分特征，提高识别网络的识别准确性；输入芯片图像至识别网络中，得到第三特征图；匹配第三特征图和目标特征图，得到目标匹配度，芯片图像对应的第三特征图反映了芯片图像的特征，目标特征图反映了不明显缺陷特征，将这两者进行匹配得到的目标匹配度用于调节识别网络的损失函数；基于目标匹配度，对识别网络的损失函数加权，更新损失函数。本发明通过对缺陷区域进行标注，获取区分特征图，进而通过构建的损失函数使得识别网络提高对特征图的关注度，进而提高网络对较难识别缺陷的识别能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的识别网络的损失函数的更新过程的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于改进神经网络的芯片缺陷智慧检测系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例提供了基于改进神经网络的芯片缺陷智慧检测系统的具体实施方法，该方法适用于芯片缺陷检测场景。该场景下通过图像采集设备采集待识别芯片图像，图像采集设备可以为相机、可以为摄像机。为了解决由于某些缺陷区域与非缺陷区域的结构较为相近，导致神经网络对芯片中缺陷区域识别的准确性较低的技术问题。本发明通过对缺陷区域进行标注，获取缺陷区域与相近的非缺陷区域的区分特征图，进而通过构建的损失函数使得识别网络提高对区分特征图的关注度，进而提高网络对较难识别缺陷的识别能力。

下面结合附图具体的说明本发明所提供的基于改进神经网络的芯片缺陷智慧检测系统的具体方案。该系统包括以下模块：

缺陷识别模块，用于获取待识别芯片图像，将待识别芯片图像输入训练好的识别网络，输出缺陷区域。

首先用图像采集设备采集未进行缺陷识别的待识别芯片图像，进而判断待识别芯片图像中是否有缺陷区域，将获取到的待识别芯片图像输入训练好的识别网络，使得输出待识别芯片图像中的缺陷区域。

其中，在对识别网路的训练过程中，需要对识别网络的训练数据集中的每张芯片图像中的缺陷区域进行标注。需要说明的是，识别网络的训练数据集中的每张芯片图像均为含有缺陷区域的芯片图像。其中，对训练数据集中每张芯片图像中的缺陷区域进行标注的方法为人工标注。将训练数据集简称为训练集，也即训练集中含有缺陷区域的芯片图像中的缺陷区域是由人工标注出来的。且需要说明的是，为了便于后续的处理，在处理前对芯片图像进行裁剪缩放等操作，使得每张芯片图像上均只有一个缺陷区域。

请参阅图1，其示出了识别网络的损失函数的更新过程的步骤流程图，该步骤流程图包括以下步骤：

步骤S100，识别网络的损失函数的更新过程为：根据缺陷区域分割训练集中含有缺陷区域的芯片图像，得到缺陷标注块和优选非标注块。

获取每张训练集中芯片图像的缺陷区域，由于在芯片上缺陷可能不明显，会导致缺陷区域与部分非缺陷区域的相似度较大。

可以通过增强缺陷区域与相似度较大的非缺陷区域的差异，神经网络学习到更多的差异信息后，有助于提高识别能力。

由于神经网络的输入大小固定，因此首先需要得到缺陷区域和非缺陷区域对应的相同大小的块区域。

获取训练集中任意芯片图像中的缺陷区域的最小外接矩形；将所有芯片图像中最大的外接矩形作为标准矩形，基于标准矩形对芯片图像进行分割，得到分割块，将含有缺陷区域的分割块为缺陷标注块；将未含有缺陷区域的分割块为待选非标注块。

更具体的：以训练集中任意含有缺陷区域的芯片图像为例，通过凸包算法获得缺陷区域的最小外接矩形，将训练集中所有芯片图像中缺陷区域的最小外接矩形中面积最大的最小外接矩形作为标准矩形。当芯片图像中缺陷区域的最小外接矩形的面积小于标准矩形的面积时，以芯片图像中缺陷区域的最小外接矩形的中心点为基准点，将芯片图像中缺陷区域的最小外接矩形替换为标准矩形。需要说明的是，替换前后的两个矩形的中心点为同一个点。对于芯片图像，以标准矩形为中心，对芯片图像进行分割，得到多个与标准矩形大小相同的分割块，将标准矩形作为缺陷标注块；将除标准矩形之外的其他分割块作为待选非标注块。

在得到缺陷标注块和待选非标注块之后，保留与缺陷标注块相似的部分待选非标注块，作为优选非标注块。

具体的：将缺陷标注块中的元素值按照预设排列顺序首尾相连转化为一维序列，作为缺陷标注序列；将待选非标注块中的元素值按照预设排列顺序首尾相连转化为一维序列，作为待选非标注块序列；计算缺陷标注序列和每个待选非标注块序列的相似度，将相似度大于预设相似阈值时对应的待选非标注块序列，作为优选非标注块，其中预设相似阈值的取值为小于1的正数。在本发明实施例中预设相似阈值的取值为0.7，在其他实施例中由实施者根据实际情况调整该取值。需要说明的是，由于本发明是对芯片图像进行分析，故缺陷标注块和待选非标注块中的元素值均为像素值。

其中，预设排列顺序为：从标注块中的第一行中左侧的第一个像素值开始，由左至右遍历至第一行最右边的像素值，然后由标注块中的第二行中左侧的第一个像素值开始，由左至右遍历至第二行最右侧的像素值，将每行遍历得到的像素值进行首尾相连，以此类推，遍历至标注块中最后一行，从标注块中最后一行中左侧的第一个像素值，由左至右遍历至最后一行最右边的像素值。

其中，缺陷标注序列和每个待选非标注块序列的相似度为两个序列的余弦相似度。

步骤S200，分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图，匹配缺陷标注块的第一特征图和优选非标注块的第一特征图，筛选出缺陷标注块的部分第一特征图，作为区分特征图。

需要说明的是，本发明中有两个神经网络，一个是识别神经网络，用于识别缺陷类型，一个是自编码网络，用于特征提取。为了避免两个网络中特征图表示的不明确，将自编码网络得到的特征图记为第一特征图，凡不是第一特征图的特征图均不来自于自编码网络。与缺陷区域相似度大的非缺陷区域中的差异，如果识别神经网络能学到这种差异，便可以大大提高识别精度。由于自编码网络是一种输入输出相同的网络，因此如果两个相近的输入，同一隐藏层的特征图也相近，其中差异较大的特征图可以表示相近输入的差异信息。

以任意一张芯片图像中的缺陷标注块和某个待选非标注块为例，分别输入到同一个自编码网络中，得到每个隐藏层的第一特征图；也即将缺陷标注块和优选非标注块输入至同一自编码网络中，得到每个隐藏层对应的第一特征图。对同一隐藏层的多个第一特征图，计算相似度中该隐藏层与待选非标注块中该隐藏层的第一特征图的KM匹配。

基于自编码网络，将第i隐藏层中缺陷标注块的第一特征图和任意一个待选非标注块的第一特征图进行匹配。匹配缺陷标注块的第一特征图和优选非标注块的第一特征图，筛选出缺陷标注块的部分第一特征图，作为区分特征图，具体的：

现有的KM匹配算法是计算二分图的匹配，分为左侧节点和右侧节点。在本发明实施例中，将缺陷标注块的第一特征图作为左侧节点，将优选非标注块的第一特征图作为右侧节点。

其边权值的计算方法为：计算缺陷标注块对应的第一特征图和优选非标注块的第一特征图的差分图，记为第一差分图，并获取缺陷标注块对应的第一特征图和优选非标注块的第一特征图中，同一位置处像素点在两张第一特征图中的最大像素值，记为第一像素值；对于第一差分图中的任意像素点，计算该像素点的像素值和对应的该像素点在两张第一特征图中的第一像素值的比值，作为第一差分图对应的缺陷标注块和优选非标注块的第一特征图的第一边权值。

基于第一边权值，对缺陷标注块的第一特征图和优选非标注块的第一特征图进行匹配，将匹配的第一边权值大于预设第一匹配阈值的缺陷标注块的第一特征图作为区分特征图。

在本发明实施例中预设第一匹配阈值的取值为0.5，在其他实施例中由实施者根据实际情况调整该取值。

需要说明的是，由于识别网络中，本发明实施例是将芯片图像作为输入，芯片图像的大小为：M*N，即输入向量的大小为M*N，而每个块区域转化为向量后，向量长度远小于M*N，现在要做的是对自编码网络中得到的区分特征图在识别网络中进行后续操作。

步骤S300，输入缺陷标注块至识别网络，得到第二特征图；匹配第二特征图和区分特征图，筛选出部分第二特征图，作为目标特征图。

在识别网络中，对于任意一张芯片图像，将缺陷标注块作为网络输入，作为网络输入，可以得到每个隐藏层的多个第二特征图；也即将缺陷标注块输入至识别网络中，得到每个隐藏层对应的第二特征图。

匹配第二特征图和区分特征图，筛选出部分第二特征图，作为目标特征图，具体的：

也是将第二特征图和区分特征图进行KM匹配，将第二特征图作为左侧节点，将区分特征图作为右侧节点。获取左侧节点和右侧节点之间的边权值的方法和步骤S200中的方法一样。具体的：计算第二特征图和区分特征图的差分图，记为第二差分图，并获取第二特征图和区分特征图中，同一位置处像素点在第二特征图和区分特征图中的最大像素值，记为第二像素值；对于第二差分图中的任意像素点，计算该像素点的像素值和对应的该像素点在第二特征图和区分特征图中的第二像素值的比值，作为第二差分图对应的第二特征图和区分特征图的第二边权值；基于第二边权值，对第二特征图和区分特征图进行匹配，将匹配的第二边权值大于预设第二匹配阈值的第二特征图作为目标特征图。在本发明实施例中预设第二匹配阈值的取值为0.7，在其他实施例中可由实施者根据实际情况调整该取值。

进而可以得到每个隐藏层对应的目标特征图。

步骤S400，输入芯片图像至识别网络中，得到第三特征图；匹配第三特征图和目标特征图，得到目标匹配度；基于目标匹配度，对识别网络的损失函数加权，更新损失函数。

最后在识别网络中，每张芯片图像作为网络输入，可以得到每个隐藏层的多个第三特征图。先通过均值采样，将第三特征图的大小采样至同一隐藏层中目标特征图的大小，计算第三特征图与同一隐藏层中目标特征图的匹配情况，具体的：将第三特征图中的像素值按照预设排列顺序首尾相连转化为一维序列，作为第三特征序列；将目标特征图中的像素值按照预设排列顺序首尾相连转化为一维序列，作为目标特征序列；将第三特征图的第三特征序列和每个目标特征图的目标特征序列的相似度中的最大值，作为第三特征图的目标匹配度。

进一步的，基于目标匹配度，对识别网络的损失函数加权，更新损失函数。在识别网络中的每个卷积层添加卷积层的损失函数，卷积层的损失函数为第三特征图和目标特征图的均方差；对每个第三特征图的目标匹配度进行负相关归一化，将负相关归一化的结果值作为加权值，将卷积层中每个第三特征图的加权值作为权重，对每张第三特征图的均方差进行加权求和，将加权求和后的均方差作为识别网络中对应卷积层的损失函数。需要说明的是，卷积层是隐藏层的一部分，每个隐藏层中不同卷积层都有各自对应的特征图，所以，这里卷积层的损失函数为第三特征图和目标特征图的均方差，指的是由该卷积层得到的第三特征图和目标特征图的均方差。

在本发明实施例中先对目标匹配度进行归一化，然后对归一化后的目标匹配度进行负相关映射即可，将常数1减去归一化后的目标匹配度得到的结果值作为负相关归一化的结果值，也即作为加权值。

将加权求和后的均方差作为识别网络中卷积层的损失函数，将交叉熵损失函数作为识别网络的损失函数，由两个损失函数训练得到识别网络，也可以说是由识别网络中的卷积层的损失函数更新识别网络的损失函数。其中识别网络的结构为VGG-NET网络，其具体的训练过程为现有技术，不再赘述。需要说明的是，卷积层的输入不是整个网络的损失函数，而是作为中间特征传递给后续层来计算损失函数的一部分。

得到训练后的识别网络，使得待识别芯片图像输入训练好的识别网络，输出待识别芯片图像中的缺陷区域。

综上所述，该系统获取待识别芯片图像，将待识别芯片图像输入训练好的识别网络，输出缺陷区域。实现待识别芯片图像中的缺陷区域的获取。其中，识别网络的损失函数的更新过程为：根据缺陷区域分割训练集中含有缺陷区域的芯片图像，得到缺陷标注块和优选非标注块；分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图，匹配缺陷标注块的第一特征图和优选非标注块的第一特征图，筛选出缺陷标注块的部分第一特征图，作为区分特征图；输入缺陷标注块至识别网络，得到第二特征图；匹配第二特征图和区分特征图，筛选出部分第二特征图，作为目标特征图；输入芯片图像至识别网络中，得到第三特征图；匹配第三特征图和目标特征图，得到目标匹配度；基于目标匹配度，对识别网络的损失函数加权，更新损失函数。本发明通过对缺陷区域进行标注，获取缺陷区域与相近的非缺陷区域的区分特征图，进而通过构建的损失函数使得网络提高对区分特征图的关注度，进而提高网络对较难识别缺陷的识别能力。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。