一种基于图像分割的晶圆图混合缺陷模式识别方法及系统

技术领域

本发明涉及半导体技术领域，尤其涉及一种基于图像分割的晶圆图混合缺陷模式识别方法及系统。

背景技术

晶圆制造是半导体制造过程中的一道程序，它涉及数百个复杂的步骤。晶圆制造完成后，通过电流探针对每个晶圆的模具进行测试，晶圆图记录了每个芯片的测试结果。识别晶圆图中的缺陷模式有利于找到缺陷产生的原因，从而帮助工程师优化晶圆制造过程，提高产量。随着集成电路产业的发展，为了将更多电路集成到晶圆上，晶圆的制造过程越来越复杂，在晶圆上同时出现两种或更多缺陷模式的频率越来越高。混合缺陷模式的识别较为困难，最近的研究将深度学习应用到晶圆图的缺陷模式识别领域大大提高了混合缺陷模式的识别效率。

从数据的角度出发，目前对于混合缺陷模式的识别可大致分为两类。第一类是基于传统分类标签的分类模型，建立模型常用的是深度学习：集成学习的方法对每种缺陷分别训练一个卷积神经网络模型，根据多个模型的结果确定该晶圆图上存在几种缺陷；另一种方法通过卷积自编码器初始化卷积神经网络的权重，只使用单缺陷模式数据集进行训练；也有方法使用同时具有单缺陷模式和混合缺陷模式的数据集来训练卷积神经网络模型，同时可以识别单缺陷和混合缺陷模式。另一类基于像素级标签数据先分割再分类的方法，使用语义分割模型将各缺陷分割开，之后再使用分类模型去预测每种缺陷的类别。

但现有混合缺陷模式识别的方法主要有如下缺点：

第一类基于传统分类标签的分类模型，建立模型常用的是深度学习：集成学习的方法需要的资源过多；卷积自编码器初始化卷积神经网络权重后，模型只在单缺陷模式上进行了训练，对于单缺陷模式识别效果较好，然而对于混合缺陷模式的识别表现不好；使用包含单缺陷模式和混合缺陷模式的数据集训练模型的方法，虽然针对训练集中的缺陷类型识别较好，但是对于现实中未遇见过的混合缺陷组合不能很好识别。

第二类基于像素级标签数据先分割再分类的方法：语义分割的方法可以先将混合缺陷分割开，再单独识别，这种方法可以识别的缺陷组合不会仅局限于训练集中有的混合缺陷模式。然而，该方法在分割阶段所使用的标签并没有区分开不同缺陷，而是使用语义分割模型将各个缺陷分割出来以后将再使用卷积神经网络进行分类，步骤过于繁琐。

因此，亟需一种新的混合缺陷模式识别方法来解决上述问题。

发明内容

为此，本发明实施例提供了一种基于图像分割的晶圆图混合缺陷模式识别方法及系统，用于解决现有技术中晶圆图混合缺陷的识别效果不佳的问题。

为了解决上述问题，本发明实施例提供一种基于图像分割的晶圆图混合缺陷模式识别方法，该方法包括：

S1：选取单缺陷模式的晶圆图；

S2：判断所述晶圆图的缺陷类型，并根据所述晶圆图的缺陷类型提取所述晶圆图中不同区域；

S3：将提取的不同区域中缺陷点像素值设为不同数值，作为多个缺陷像素级标签；

S4：选取任一种缺陷类型的晶圆图与其他的缺陷像素级标签图进行混合，制作出混合缺陷晶圆图，同时选取不同缺陷像素级标签进行混合，制作出混合缺陷晶圆图像素级标签；

S5：根据所述混合缺陷晶圆图和所述混合缺陷晶圆图像素级标签得到混合型缺陷数据集，将单缺陷和混合型缺陷数据集划分为训练集和测试集；

S6：将所述训练集输入到提前构建好的语义分割模型中进行训练，得到模型参数，利用测试集评估模型的分类效果；

S7：根据训练后的语义分割模型对晶圆图中混合缺陷模式进行识别。

优选地，步骤S2中，判断所述晶圆图的缺陷类型，并根据所述晶圆图的缺陷类型提取所述晶圆图中不同区域包括：

当缺陷类型为Center或Loc时，则提取晶圆图中的最大四连通域；

当缺陷类型为Donut或Scratch时，则提取晶圆图中的最大八连通域；

当缺陷类型为NearFull或Random时，则提取晶圆图中所有像素点；

当缺陷类型为EdgeRing或EdgeLoc时，则提取晶圆图边缘区域为设定值个像素点宽度的圆环区域。

优选地，当缺陷类型为Center或Loc时，采用连通区域标记法提取晶圆图中的最大四连通域。

优选地，当缺陷类型为Donut或Scratch时，采用连通区域标记法提取晶圆图中的最大八连通域。

优选地，步骤S3中，将提取的不同区域中缺陷点像素值设为不同数值，作为缺陷像素级标签包括：

当缺陷类型为Center时，则将提取结果中缺陷点像素值设为1作为缺陷像素级标签；

当缺陷类型为Loc时，则将提取结果中缺陷点像素值设为5作为缺陷像素级标签；

当缺陷类型为Donut时，则将提取结果中缺陷点像素值设为2作为缺陷像素级标签；

当缺陷类型为Scratch时，则将提取结果中缺陷点像素值设为7作为缺陷像素级标签；

当缺陷类型为NearFull时，则将提取结果中缺陷点像素值设为6作为缺陷像素级标签；

当缺陷类型为Random时，则将提取结果中缺陷点像素值设为8作为缺陷像素级标签；

当缺陷类型为EdgeRing时，则将提取结果中缺陷点像素值设为4作为缺陷像素级标签；

当缺陷类型为EdgeLoc时，则提取圆环区域中面积大于预设值的连通域，将提取结果中缺陷点像素值设为3作为缺陷像素级标签。

优选地，步骤S4中，选取任一种缺陷类型的晶圆图与其他的缺陷像素级标签图进行混合，制作出混合缺陷晶圆图，所述混合缺陷晶圆图包括双混合缺陷晶圆图、三混合缺陷晶圆图以及四混合缺陷晶圆图。

优选地，步骤S4中，选取不同缺陷像素级标签进行混合，制作出混合缺陷晶圆图像素级标签，所述混合缺陷晶圆图像素级标签包括双混合缺陷标签、三混合缺陷标签、四混合缺陷标签。

本发明实施例还提供了一种基于图像分割的晶圆图混合缺陷模式识别系统，该系统包括：

选取模块，用于选取单缺陷模式的晶圆图；

区域提取模块，用于判断所述晶圆图的缺陷类型，并根据所述晶圆图的缺陷类型提取所述晶圆图中不同区域；

缺陷标签设置模块，用于将提取的不同区域中缺陷点像素值设为不同数值，作为多个缺陷像素级标签；

选取模块，用于选取任一种缺陷类型的晶圆图与其他的缺陷像素级标签图进行混合，制作出混合缺陷晶圆图，同时选取不同缺陷像素级标签进行混合，制作出混合缺陷晶圆图像素级标签；

数据集划分模块，用于根据所述混合缺陷晶圆图和所述混合缺陷晶圆图像素级标签得到混合型缺陷数据集，将单缺陷和混合型缺陷数据集划分为训练集和测试集；

模型训练模块，用于将所述训练集输入到提前构建好的语义分割模型中进行训练，得到模型参数，利用测试集评估模型的分类效果；

缺陷模式识别模块，用于根据训练后的语义分割模型对晶圆图中混合缺陷模式进行识别。

本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机软件产品，所述计算机软件产品包括的若干指令，用以使得一台计算机设备执行上述任意一项所述的方法。

本发明实施例提供一种网络装置，包括处理器、存储器和总线系统，所述处理器和存储器通过该总线系统相连，所述存储器用于存储指令，所述处理器用于执行存储器存储的指令，以实现上述任意一项所述的方法。

从以上技术方案可以看出，本发明申请具有以下优点：

本发明实施例提供一种基于图像分割的晶圆图混合缺陷模式识别方法及系统，本发明根据不同缺陷的特征，分别使用相应的连通域分析方法来提取缺陷制作像素级标签，根据不同的缺陷自动制作相应的标签并进行混合制作出具有像素级标签的单缺陷和混合型缺陷数据集；本发明在制作标签阶段就将不同缺陷区分开，使用该数据集训练出的语义分割模型，可以直接将晶圆图上的缺陷逐一分割并识别出来，对于混合型缺陷的识别有很好的效果；同时，使用本发明方法训练出的模型，对于训练中未遇到的混合缺陷组合也能有很好的识别效果。

附图说明

为了更清楚地说明本发明实施案例或现有技术中的技术方案，下边将对实施例中所需要使用的附图做简单说明，通过参考附图会更清楚的理解本发明的特征和优点，附图是示意性的而不应该理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：

图1为根据实施例中提供的一种基于图像分割的晶圆图混合缺陷模式识别方法的流程图；

图2为本发明的其中一种实施例的流程图；

图3(a)为晶圆图缺陷类型为Center、EdgeRing、Loc的效果图，图3(b)为将EdgeRing的晶圆图与Center、Loc的标签图叠加在一起，制作出包含Center、EdgeRing和Loc三种缺陷的晶圆图，图3(c)为将Center、EdgeRing和Loc的标签图混合制作出对应的像素级标签效果图；

图4为根据实施例中提供的一种基于图像分割的晶圆图混合缺陷模式识别系统的框图。

具体实施方式

为使本发明实施例的目的、技术方案与优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提出一种基于图像分割的晶圆图混合缺陷模式识别方法，该方法包括：

S1：选取单缺陷模式的晶圆图；

S2：判断所述晶圆图的缺陷类型，并根据所述晶圆图的缺陷类型提取所述晶圆图中不同区域；

S3：将提取的不同区域中缺陷点像素值设为不同数值，作为多个缺陷像素级标签；

S4：选取任一种缺陷类型的晶圆图与其他的缺陷像素级标签图进行混合，制作出混合缺陷晶圆图，同时选取不同缺陷像素级标签进行混合，制作出混合缺陷晶圆图像素级标签；

S5：根据所述混合缺陷晶圆图和所述混合缺陷晶圆图像素级标签得到混合型缺陷数据集，将单缺陷和混合型缺陷数据集划分为训练集和测试集；

S6：将所述训练集输入到提前构建好的语义分割模型中进行训练，得到模型参数，利用测试集评估模型的分类效果；

S7：根据训练后的语义分割模型对晶圆图中混合缺陷模式进行识别。

本发明根据不同缺陷的特征，分别使用相应的连通域分析方法来提取缺陷制作像素级标签；根据不同的缺陷自动制作相应的标签并进行混合制作出具有像素级标签的单缺陷和混合型缺陷数据集；本发明在制作标签阶段就将不同缺陷区分开来；使用该数据集训练出的语义分割模型，可以直接将晶圆图上的缺陷逐一分割并识别出来，对于混合型缺陷的识别有很好的效果；同时，使用本发明方法训练出的模型，对于训练中未遇到的混合缺陷组合也能有很好的识别效果。

下面结合附图和具体实施例对本发明做进一步说明。

如图2所示，首先选取单缺陷模式的晶圆图；接着判断晶圆图的缺陷类型，当缺陷类型为Center或Loc时，则采用连通区域标记法提取晶圆图中的最大四连通域；当缺陷类型为Donut或Scratch时，则连通区域标记法提取晶圆图中的最大八连通域；当缺陷类型为NearFull或Random时，则提取晶圆图中所有像素点；当缺陷类型为EdgeRing或EdgeLoc时，则提取晶圆图边缘区域为设定值个像素点宽度的圆环区域(本实施例中提取晶圆图边缘区域为四个像素点宽度的圆环)；然后当缺陷类型为Center时，则将提取结果中缺陷点像素值设为1作为缺陷像素级标签；当缺陷类型为Loc时，则将提取结果中缺陷点像素值设为5作为缺陷像素级标签；当缺陷类型为Donut时，则将提取结果中缺陷点像素值设为2作为缺陷像素级标签；当缺陷类型为Scratch时，则将提取结果中缺陷点像素值设为7作为缺陷像素级标签；当缺陷类型为NearFull时，则将提取结果中缺陷点像素值设为6作为缺陷像素级标签；当缺陷类型为Random时，则将提取结果中缺陷点像素值设为8作为缺陷像素级标签；当缺陷类型为EdgeRing时，则将提取结果中缺陷点像素值设为4作为缺陷像素级标签；当缺陷类型为EdgeLoc时，则提取圆环区域中面积大于预设值的连通域(本实施例中预设值为8)，将提取结果中缺陷点像素值设为3作为缺陷像素级标签。本发明根据晶圆图不同缺陷的特征，分别使用相应的连通域分析方法来提取缺陷制作像素级标签，本发明在制作标签阶段就将不同缺陷区分开来，有利于下一步的模型训练。

进一步地，选取Center、Loc、Donut、Scratch、EdgeRing、EdgeLoc中一种缺陷的晶圆图与其他缺陷的标签图混合，可制作出双混合缺陷晶圆图、三混合缺陷晶圆图、四混合缺陷晶圆图，同时选取Center、Loc、Donut、Scratch、EdgeRing、EdgeLoc中缺陷标签混合，可制作出对应的双混合缺陷标签、三混合缺陷标签、四混合缺陷标签。本发明根据不同的缺陷自动制作相应的标签并进行混合制作出具有像素级标签的单缺陷和混合型缺陷数据集。

如图3所示，图3(a)为晶圆图缺陷类型为Center、EdgeRing、Loc的效果图，图3(b)为将EdgeRing的晶圆图与Center、Loc的标签图叠加在一起，制作出包含Center、EdgeRing和Loc三种缺陷的晶圆图，图3(c)为将Center、EdgeRing和Loc的标签图混合制作出对应的像素级标签效果图。

进一步地，将制作完成的单缺陷和混合型缺陷数据集按7：3的比例随机划分训练集和测试集，将训练集输入到语义分割模型中进行训练，得到模型参数，利用测试集评估模型的分类效果；

其中，本发明使用的语义分割模型基于U-Net。U-Net对输入图像分别进行了四次下采样和四次上采样，整个操作过程如“U”形，故而称为U-Net。

四次下采样过程也被称为收缩路径，四次上采样过程被称为扩展路径。

第一步，输入一张64×64×3的图像，连续两次应用64个3×3的卷积核，每次卷积后应用ReLU函数，得到的第一层结果为64×64×64的特征图。

第二步，对该特征图应用步幅为2的2×2的最大池化，图片下采样为原来的一半，即32×32×64。

第三步，剩下的三次下采样过程与前两步类似，每层经过两次卷积，每次卷积后跟着一次ReLU激活，然后对特征图片进行减半的下采样，卷积核数目增加一倍，收缩路径的最终结果为4×4×1024的特征矩阵。

第四步，从收缩路径最后的4×4×1024特征矩阵开始，使用512个2×2的卷积核进行反卷积，将矩阵扩大为8×8×512的特征矩阵。

第五步，由于反卷积过程只是对图片进行扩大处理，为了减少数据损失，本发明将收缩路径的相应特征图拼接过来。这里本发明将第一次上采样的结果和相应特征图拼接后，得到8×8×1024的特征矩阵。

第六步，连续两次使用512个3×3卷积核进行卷积，得到8×8×512的特征图。

第七步，剩下的三次上采样过程与第四步到第六步类似，每层经过两次卷积，每次卷积后使用ReLU进行激活，每次进行上采样都会将图片扩大一倍，经过四次上采样最终得到64×64×64的特征图片。

第八步，使用1×1卷积将64个特征通道变成9个，即将图像分割为九种类别，其中包括八种单缺陷模式和背景类。

实验结果分析

本发明共进行五轮训练，每轮训练使用制作的数据集不同部分，分别为仅包含单缺陷和双缺陷的数据，仅包含单缺陷、双缺陷和三缺陷的数据，包含单缺陷、双缺陷、三缺陷和四缺陷的数据。下表1为包含相应数据种类的测试集准确率结果。

表1

下表2为使用前边五轮训练出模型对整个MixedWM38数据集进行预测的准确率，MixedWM38数据集包含单缺陷、双缺陷、三缺陷和四缺陷。

表2

/>

下表3为使用第五轮中包含单缺陷、双缺陷、三缺陷和四缺陷的数据训练出的模型在MixedWM38数据集上进行预测的单类预测评价结果。

表3

/>

综上所述，本发明提出的一种基于图像分割的晶圆图混合缺陷模式识别方法，为单一和混合类型的缺陷模式生成了像素级的标签，使用制作的数据集的训练集训练出的语义分割模型在测试集的准确率可以达到97％以上。本发明还用其他数据集进行了对照测试，当在该数据集上训练的模型只使用单一和双缺陷时，在同时具有单缺陷、双缺陷、三缺陷、四缺陷的数据集上可以达到93.1％的平均准确率。这证明了本发明的框架对于以前没有遇到过的混合缺陷组合可以有很好的识别。同时用所有缺陷类型训练的模型在对照数据集上可以达到96.53％的平均准确率。

如图4所示，本发明提供一种基于图像分割的晶圆图混合缺陷模式识别系统，该系统包括：

选取模块100，用于选取单缺陷模式的晶圆图；

区域提取模块200，用于判断所述晶圆图的缺陷类型，并根据所述晶圆图的缺陷类型提取所述晶圆图中不同区域；

缺陷标签设置模块300，用于将提取的不同区域中缺陷点像素值设为不同数值，作为多个缺陷像素级标签；

选取模块400，用于选取任一种缺陷类型的晶圆图与其他的缺陷像素级标签图进行混合，制作出混合缺陷晶圆图，同时选取不同缺陷像素级标签进行混合，制作出混合缺陷晶圆图像素级标签；

数据集划分模块500，用于根据所述混合缺陷晶圆图和所述混合缺陷晶圆图像素级标签得到混合型缺陷数据集，将单缺陷和混合型缺陷数据集划分为训练集和测试集；

模型训练模块600，用于将所述训练集输入到提前构建好的语义分割模型中进行训练，得到模型参数，利用测试集评估模型的分类效果；

缺陷模式识别模块700，用于根据训练后的语义分割模型对晶圆图中混合缺陷模式进行识别。

所述系统，用以实现上述所述的一种基于图像分割的晶圆图混合缺陷模式识别方法，为了避免冗余，在此不再赘述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。