基于5G技术的芯片表面缺陷智能识别方法

技术领域

本发明涉及缺陷识别技术领域，具体涉及基于5G技术的芯片表面缺陷智能识别方法。

背景技术

在芯片的制造和组装过程中，可能会出现许多类型的缺陷，例如杂质、裂纹、划痕、凸起或凹陷等，这些缺陷可能由于材料瑕疵、工艺问题、设备故障或操作误差等原因引起，这些缺陷如果不及时发现和处理，可能会影响芯片的品质、可靠性和性能，而随着芯片制造工艺的不断发展，芯片尺寸不断缩小，缺陷的检测和分类变得越来越困难，因此，进行准确的、自动化的芯片表面缺陷识别成为迫切需求。

而现今常用的芯片表面缺陷识别方法还存在着一定的弊端，现有技术的研发了诸多的机器学习模型进行芯片的表面缺陷检测，但是由于芯片不同场景生产样本数据小的问题，导致机器学习模型的泛化能力较弱，缺陷识别准确率无法得到保障，因此，对于芯片表面缺陷识别还存在着一定的可提升空间。

发明内容

本申请通过提供了基于5G技术的芯片表面缺陷智能识别方法，旨在解决现有技术中存在机器学习模型泛化能力较弱，缺陷识别准确率无法得到保障，并且芯片表面缺陷类型繁多、形态复杂，使得无法满足准确度和鲁棒性要求的技术问题。

鉴于上述问题，本申请提供了基于5G技术的芯片表面缺陷智能识别方法。

本申请公开的第一个方面，提供了基于5G技术的芯片表面缺陷智能识别方法，所述方法包括：将芯片加工工艺参数和芯片型号信息传输至工业互联网进行芯片缺陷关联性分析，获取关联缺陷类型；将所述关联缺陷类型和所述芯片型号信息传输至所述工业互联网进行负采样，获取多个缺陷样本图像，其中，所述多个缺陷样本图像为已检出缺陷的样本图像，且任意一个缺陷样本图像和一种关联缺陷类型唯一关联；遍历所述多个缺陷样本图像进行像素特征分析，获取多个缺陷区域像素梯度，其中，所述多个缺陷区域像素梯度表征缺陷区域和缺陷所属芯片正常区域的像素值偏差；遍历所述多个缺陷区域像素梯度，判断是否大于或等于像素梯度阈值；将所述多个缺陷区域像素梯度大于或等于所述像素梯度阈值的所述关联缺陷类型，添加进像素分割关联缺陷类型；将所述像素分割关联缺陷类型和所述芯片型号信息传输至所述工业互联网进行负采样，获取多个缺陷样本图像集合；基于所述多个缺陷样本图像集合对待检芯片图像进行缺陷比对，获取像素分割关联缺陷类型识别结果。

本申请公开的另一个方面，提供了基于5G技术的芯片表面缺陷智能识别系统，所述系统用于上述方法，所述系统包括：关联性分析模块，所述关联性分析模块用于将芯片加工工艺参数和芯片型号信息传输至工业互联网进行芯片缺陷关联性分析，获取关联缺陷类型；负采样模块，所述负采样模块用于将所述关联缺陷类型和所述芯片型号信息传输至所述工业互联网进行负采样，获取多个缺陷样本图像，其中，所述多个缺陷样本图像为已检出缺陷的样本图像，且任意一个缺陷样本图像和一种关联缺陷类型唯一关联；像素特征分析模块，所述像素特征分析模块用于遍历所述多个缺陷样本图像进行像素特征分析，获取多个缺陷区域像素梯度，其中，所述多个缺陷区域像素梯度表征缺陷区域和缺陷所属芯片正常区域的像素值偏差；像素梯度判断模块，所述像素梯度判断模块用于遍历所述多个缺陷区域像素梯度，判断是否大于或等于像素梯度阈值；关联类型添加模块，所述关联类型添加模块用于将所述多个缺陷区域像素梯度大于或等于所述像素梯度阈值的所述关联缺陷类型，添加进像素分割关联缺陷类型；样本图像获取模块，所述样本图像获取模块用于将所述像素分割关联缺陷类型和所述芯片型号信息传输至所述工业互联网进行负采样，获取多个缺陷样本图像集合；缺陷比对模块，所述缺陷比对模块用于基于所述多个缺陷样本图像集合对待检芯片图像进行缺陷比对，获取像素分割关联缺陷类型识别结果。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

进行芯片缺陷关联性分析获取关联缺陷类型，进行负采样获取多个缺陷样本图像，进行像素特征分析，获取多个缺陷区域像素梯度，表征缺陷区域和缺陷所属芯片正常区域的像素值偏差，遍历，判断是否大于或等于像素梯度阈值，将关联缺陷类型，添加进像素分割关联缺陷类型，进行负采样，获取多个缺陷样本图像集合，对待检芯片图像进行缺陷比对，获取像素分割关联缺陷类型识别结果。解决了现有技术中存在机器学习模型泛化能力较弱，缺陷识别准确率无法得到保障，并且芯片表面缺陷类型繁多、形态复杂，使得无法满足准确度和鲁棒性要求的技术问题，实现了借助5G技术的计算和通信能力，并基于小样本数据进行芯片缺陷识别，实现高速且精准的芯片表面缺陷检测和分类，达到提升芯片表面缺陷识别的效率、准确性和自动化程度的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例提供了基于5G技术的芯片表面缺陷智能识别方法流程示意图；

图2为本申请实施例提供了基于5G技术的芯片表面缺陷智能识别方法中获取尺寸分割关联缺陷类型识别结果可能的流程示意图；

图3为本申请实施例提供了基于5G技术的芯片表面缺陷智能识别方法中获取人工分割关联缺陷类型识别结果可能的流程示意图；

图4为本申请实施例提供了基于5G技术的芯片表面缺陷智能识别系统可能的结构示意图。

附图标记说明：关联性分析模块10，负采样模块20，像素特征分析模块30，像素梯度判断模块40，关联类型添加模块50，样本图像获取模块60，缺陷比对模块70。

具体实施方式

本申请实施例通过提供基于5G技术的芯片表面缺陷智能识别方法，解决了现有技术中存在机器学习模型泛化能力较弱，缺陷识别准确率无法得到保障，并且芯片表面缺陷类型繁多、形态复杂，使得无法满足准确度和鲁棒性要求的技术问题，实现了借助5G技术的计算和通信能力，并基于小样本数据进行芯片缺陷识别，实现高速且精准的芯片表面缺陷检测和分类，达到提升芯片表面缺陷识别的效率、准确性和自动化程度的技术效果。

在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。

实施例一

如图1所示，本申请实施例提供了基于5G技术的芯片表面缺陷智能识别方法，应用于芯片表面缺陷智能识别系统，所述系统基于5G技术和工业互联网通信连接，所述方法包括：

步骤S100：将芯片加工工艺参数和芯片型号信息传输至工业互联网进行芯片缺陷关联性分析，获取关联缺陷类型；

具体而言，本申请实施例提供的基于5G技术的芯片表面缺陷智能识别方法应用于芯片表面缺陷智能识别系统，所述芯片表面缺陷智能识别系统基于5G技术和工业互联网通信连接。

进一步而言，本申请步骤S100包括：

步骤S110：将所述芯片型号信息和所述芯片加工工艺参数传输至所述工业互联网，获取芯片表面缺陷检测记录数据，其中，所述工业互联网为多家芯片制造企业实现信息共享的私域网络；

步骤S120：根据所述芯片表面缺陷检测记录数据，获取缺陷检出记录类型和记录类型检出频率；

步骤S130：当所述记录类型检出频率大于或等于第一检出频率阈值时，将所述缺陷检出记录类型添加进所述关联缺陷类型；

具体而言，从生产线上获取芯片的加工工艺参数，包括温度、湿度、物料浓度等关键参数，同时，获取芯片的型号信息，例如生产批次、规格等，通过5G技术和工业互联网通信连接，将获取的芯片加工工艺参数和芯片型号信息传输至工业互联网平台，在工业互联网的私域网络中，使用所上传的芯片型号信息和加工工艺参数进行查询，并获取与该芯片相关的表面缺陷检测记录数据，其中，所述记录数据包括每个缺陷的检出记录和对应的属性信息。

对于每个缺陷的检出记录进行分类，例如对图像特征、位置、形状等进行分析和比较，以此确定不同类型的缺陷检出记录，统计每个记录类型在所有缺陷检出记录中的频率，通过计数每个记录类型出现的次数或占总记录数量的比例，得到每个记录类型的检出频率，通过缺陷检出记录类型和记录类型检出频率的获取，确定不同类型的缺陷在芯片制造过程中的出现情况，为质量控制和改进提供参考。

基于经验、需求或先前的数据分析结果，设定第一检出频率阈值，以此作为检出频率的判断标准，对于每个记录类型，判断其检出频率是否大于或等于第一检出频率阈，若大于或等于，说明对应检出频率满足判断标准，则将该记录类型添加进关联缺陷类型集合中，遍历所有记录类型后，将所有满足条件的记录类型添加进关联缺陷类型集合。

其中，获取缺陷检出记录类型和记录类型检出频率，

步骤S121：所述芯片表面缺陷检测记录数据包括第一企业缺陷检测记录数据、第二企业缺陷检测记录数据直到第N企业缺陷检测记录数据，其中，所述第一企业缺陷检测记录数据、所述第二企业缺陷检测记录数据直到所述第N企业缺陷检测记录数据的记录条数相同；

步骤S122：获取所述缺陷检出记录类型的第一检出频率、第二检出频率直到第N检出频率；

步骤S123：当所述第一检出频率、所述第二检出频率直到所述第N检出频率小于或等于第二检出频率阈值的数量大于或等于floor（0.7*N）时，将所述缺陷检出记录类型设为无关检出缺陷类型，其中，floor（）为向下取整函数；

步骤S124：当所述第一检出频率、所述第二检出频率直到所述第N检出频率小于或等于第二检出频率阈值的数量大于或等于floor（0.7*N）时，获取所述第一检出频率、所述第二检出频率直到所述第N检出频率的均值，设为所述缺陷检出记录类型的所述记录类型检出频率。

具体而言，通过合理的采样和统一的数据准备过程，采集、整理第一企业、第二企业直到第N企业的缺陷检测记录数据，确保这些记录数据都包含了相同数量的记录条数，将所有企业的缺陷检测记录数据合并在一起，得到一个完整的缺陷检测记录数据集。

根据完整的缺陷检出记录数据集，依次取出第一至第N个记录类型，N为缺陷检出记录数据集中记录类型的个数，例如共有25个记录类型，则N为25，分别统计每个记录类型在所有缺陷检出记录中的出现次数，计算每个出现次数与总次数的比值，获取第一检出频率、第二检出频率直到第N检出频率。

将获取的第一检出频率、所述第二检出频率直到所述第N检出频率按照从高到低进行排序，根据要求设置第二检出频率阈值，筛选出排序列表中小于所述第二检出频率阈值的所有检出频率，并进行数量统计。

floor（0.7*N）表示对0.7*N向下取整，例如N取25，则floor（0.7*N）=floor（0.7*25）=floor（17.5），即对17.5向下取整，表示小于等于17的整数，将计数结果与floor（0.7*N）进行比较，如果数量大于或等于floor（0.7*N），则说明满足条件的数量达到指定阈值，对于满足条件的数量所对应的缺陷检出记录类型，将其设定为无关检出缺陷类型。

对于满足条件的第一检出频率到第N检出频率的列表，计算其均值，将所得到的均值设定为缺陷检出记录类型的记录类型检出频率。

通过获取无关检出缺陷类型和记录类型检出频率，识别那些在整体数据中出现频率较低的、不具有重要性或相关性的缺陷检出记录，并对那些在整体数据中出现频率较低但仍然具有一定关联性的缺陷检出记录提供更准确的频率信息。

步骤S200：将所述关联缺陷类型和所述芯片型号信息传输至所述工业互联网进行负采样，获取多个缺陷样本图像，其中，所述多个缺陷样本图像为已检出缺陷的样本图像，且任意一个缺陷样本图像和一种关联缺陷类型唯一关联；

具体而言，通过5G技术和工业互联网通信连接，将数据传输到工业互联网平台，执行负采样操作，从已有的缺陷样本库中选择合适的图像作为缺陷样本，负采样是指从非目标类别样本中随机选择一部分样本作为训练样本，以便更好地训练分类模型。通过记录每个缺陷样本图像的关联缺陷类型信息，确保任何给定的缺陷样本图像都与一种关联缺陷类型唯一关联，这些样本图像的使用有助于训练和改进缺陷识别算法，提高芯片表面缺陷智能识别系统的性能。

步骤S300：遍历所述多个缺陷样本图像进行像素特征分析，获取多个缺陷区域像素梯度，其中，所述多个缺陷区域像素梯度表征缺陷区域和缺陷所属芯片正常区域的像素值偏差；

具体而言，针对每个缺陷样本图像，根据已知的缺陷和非缺陷标签，将图像分割成缺陷区域和正常区域，例如，使用图像处理和分割算法，如基于颜色、形状或深度学习的方法，对缺陷进行自动分割。对于已分割的每一个缺陷区域，通过计算像素值之间的欧氏距离，计算每个像素点与相应芯片正常区域像素值之间的差异，获取其像素梯度，梯度表示了像素值的变化率，用于表征缺陷区域和缺陷所属芯片正常区域的像素值偏差，重复该步骤，直到遍历完所有缺陷样本图像。通过该步骤获取的这些梯度，可以作为缺陷检测和分类算法的输入，帮助准确地区分缺陷区域和正常区域。

步骤S400：遍历所述多个缺陷区域像素梯度，判断是否大于或等于像素梯度阈值；

具体而言，定义一个像素梯度阈值，该阈值用于确定像素梯度是否足够大以被认为是一个缺陷，对于每个缺陷区域的像素梯度，将当前像素梯度与像素梯度阈值进行比较，如果当前像素梯度大于或等于像素梯度阈值，则视为缺陷；否则，视为正常，根据判断的结果，记录下哪些缺陷区域的像素梯度超过了阈值，重复该步骤，直至遍历完所有缺陷区域的像素梯度。

步骤S500：将所述多个缺陷区域像素梯度大于或等于所述像素梯度阈值的所述关联缺陷类型，添加进像素分割关联缺陷类型；

具体而言，创建一个像素分割关联缺陷类型的集合，用于存储与像素梯度超过阈值的缺陷区域相关联的缺陷类型，对于所述多个缺陷区域像素梯度，如果当前缺陷区域的像素梯度满足条件，并且与某种关联缺陷类型相关联，则将该关联缺陷类型添加到像素分割关联缺陷类型集合中，重复该步骤，直至遍历完所有缺陷区域的像素梯度，以此标识出与潜在缺陷区域相关联的缺陷类型，并为下一步的缺陷识别和分类提供有用的信息。

步骤S600：将所述像素分割关联缺陷类型和所述芯片型号信息传输至所述工业互联网进行负采样，获取多个缺陷样本图像集合；

具体而言，通过5G技术和工业互联网通信连接，将所述像素分割关联缺陷类型和所述芯片型号信息传输到工业互联网平台，执行负采样操作，根据像素分割关联缺陷类型和芯片型号信息，选择合适的图像作为缺陷样本，将所选的多个缺陷样本图像返回到芯片表面缺陷智能识别系统中，形成一个缺陷样本图像集合，这些图像可以用于训练、验证或测试缺陷识别算法。

步骤S700：基于所述多个缺陷样本图像集合对待检芯片图像进行缺陷比对，获取像素分割关联缺陷类型识别结果。

进一步而言，本申请步骤S700包括：

步骤S710：获取芯片概念图像，其中，所述芯片概念图像为标准芯片图像，所述芯片概念图像具有多个标识区域和多个特征像素，任意两个标识区域的特征像素偏差大于或等于所述像素梯度阈值；

步骤S720：基于所述多个标识区域，对所述多个缺陷样本图像集合的任意一个缺陷样本图像集合进行图像剪切，获取多组局部样本图像，其中，所述多组局部样本图像和所述多个标识区域一一对应；

步骤S730：基于所述多个标识区域，对所述待检芯片图像进行区域划分，获取多个待检区域图像；

具体而言，选择一个代表性的芯片图像作为标准芯片图像，这个芯片图像具有一些已知缺陷和正常区域，根据先验知识或领域专家的经验，选取多个标识区域，这些区域对应于已知缺陷或其他特定的目标，从任意两个标识区域提取特征像素，所述特征像素都为对应的区域的中值滤波像素值，其特征像素偏差大于或等于所述像素梯度阈值，也就是说，这两个标识区域具有足够的差异，以此将多个标识区域合并到标准芯片图像中，形成一个芯片概念图像作为参考。

对于每一个缺陷样本图像集合，遍历其多个标识区域，通过使用相应标识区域的位置和大小信息，对当前缺陷样本图像集合中的图像进行剪切操作，以保留与该标识区域相对应的局部样本图像，直到遍历完所有标识区域，生成多个与标识区域一一对应的局部样本图像组，即与每个标识区域对应的多组局部样本图像。

从数据源或其他来源获取待检测的芯片图像作为输入，对于每个标识区域，根据当前标识区域的位置和大小信息，在待检芯片图像中进行区域划分，例如，使用几何形状或边界框来确定待检区域的位置和范围，将待检芯片图像中与当前标识区域相对应的区域提取出来，形成一个待检区域图像，重复该步骤，直至遍历完所有的标识区域，得到多个待检区域图像，这些待检区域图像用于后续的区域生长和缺陷比对操作，以进一步分析和识别待检芯片图像中的缺陷。

步骤S740：根据所述多个特征像素，对所述多个待检区域图像进行区域生长，获取多个区域生长结果，其中，所述多个区域生长结果包括多个生长覆盖区域和多个生长未覆盖区域；

进一步而言，本申请步骤S740包括：

步骤S741：获取像素生长相似度阈值；

步骤S742：以所述多个待检区域图像的第i待检区域的第k像素点为初始生长像素点，以所述第i待检区域的边界为生长约束边界，获取所述初始生长像素点的相邻像素点；

步骤S743：遍历所述相邻像素点与所述初始生长像素点进行颜色相似度评估，获取颜色相似度；

步骤S744：将所述颜色相似度大于或等于所述像素生长相似度阈值的所述相邻像素点设为第一代生长像素点；

步骤S745：将所述颜色相似度小于所述像素生长相似度阈值的所述相邻像素点，添加进第i生长未覆盖区域；

步骤S746：基于所述第一代生长像素点进行重复生长，直到所述第i待检区域的像素点遍历完成时停止，获取第i生长覆盖区域；

步骤S747：将所述第i生长覆盖区域添加进所述多个生长覆盖区域，将所述第i生长未覆盖区域添加进所述多个生长未覆盖区域。

具体而言，基于实际需求和应用场景，确定像素生长相似度阈值的范围，该阈值用于评估像素颜色的相似性，应足够使得生长区域能够划分出连续且接近的颜色区域，同时避免把不相似的颜色像素归为同一区域。

根据待检区域图像的第i个待检区域，在该区域中选择第k个像素点作为初始生长像素点，其中，i和k分别代表待检区域和相似点中的任意一个，可以根据特定的策略或规则来选择一个代表性的像素点，例如中心点或随机选择，以第i个待检区域的边界作为生长约束边界，边界可以通过使用区域的边缘检测方法，如Canny算子来提取，对于所选的初始生长像素点，确定其相邻像素点，相邻像素点指的是与该像素点在空间上有直接连接关系的像素点，可采用不同的方式来定义相邻像素点，例如8连通或4连通，在8连通情况下，相邻像素点包括原像素点周围的8个像素；在4连通情况下，相邻像素点仅包括原像素点上、下、左、右四个方向上的像素。

遍历所选的相邻像素点，逐个与初始生长像素点进行比较和评估，例如，采用相关系数方法，计算它们之间的颜色相似度，这些相似度值将作为后续区域生长的依据。

判断颜色相似度是否大于或等于像素生长相似度阈值，如果颜色相似度满足条件，则将该相邻像素点设置为第一代生长像素点，这些第一代生长像素点将成为后续区域生长的起点，并为缺陷比对和像素分割关联缺陷类型识别提供基础，重复该步骤，对所有相邻像素点进行检查，直到完成所有的相邻像素点。

如果颜色相似度小于所述像素生长相似度阈值，说明颜色相似度不满足条件，则将该相邻像素点添加到第i个生长未覆盖区域，这些未覆盖的区域可能包含与其他已生长区域不够相似的像素点，可能是潜在的缺陷或新的生长部分，需要进一步进行处理和分析，重复该步骤，处理所有相邻像素点，直到遍历完成所有相邻像素点。

利用第一代生长像素点作为起点，根据各种生长准则和条件，如颜色相似度、连通性等，选择该像素点的相邻像素点进行扩展，计算并评估相邻像素点与当前区域的颜色相似性，确保相邻像素点满足生长准则以加入当前区域，将满足条件的相邻像素点添加到当前区域，并将其标记为已访问，重复该步骤，直到第i个待检区域的所有像素点都被遍历完成，最终产生的覆盖了所有相关像素点的区域即为第i个生长覆盖区域，其中包含了与初始生长像素点相连且颜色相似的所有像素点。

将第i生长覆盖区域添加到多个生长覆盖区域的集合中，以存储所有已生成的生长覆盖区域，这样，可以记录每个待检区域的所有生长覆盖区域结果；第i个生长未覆盖区域添加到多个生长未覆盖区域的集合中，以存储所有的生长未覆盖区域，这样，可以保留与生长未覆盖区域相关的信息，例如可能是潜在缺陷的区域或需要进一步处理和分析的部分。

步骤S750：基于所述多组局部样本图像，对所述多个生长未覆盖区域进行缺陷比对，获取所述像素分割关联缺陷类型识别结果。

进一步而言，本申请步骤S750包括：

步骤S751：获取第i生长未覆盖区域的比对特征像素；

步骤S752：获取第i待检区域对应的第i组局部样本图像的M个缺陷特征像素集；

步骤S753：获取所述M个缺陷特征像素集的像素值偏差极大值和像素值偏差极小值，构建像素偏差区间；

步骤S754：基于所述比对特征像素，遍历所述M个缺陷特征像素集进行像素值偏差计算，获取M个像素值偏差；

步骤S755：获取所述M个像素值偏差属于所述像素偏差区间的比例系数，当所述比例系数大于或等于比例系数阈值时，将所述第i生长未覆盖区域，设为所述多组局部样本图像对应的关联缺陷类型，添加进所述像素分割关联缺陷类型识别结果。

具体而言，在第i生长未覆盖区域中选择适当的位置来提取比对特征像素，这些位置可能是区域的中心点、边界上的关键像素点，或者根据先验知识和经验选择的其他重要位置，根据所选的位置，从第i生长未覆盖区域中提取相应的像素值或特征描述符，包括灰度像素值、颜色分量、纹理特征、边缘特征等，用于后续的缺陷比对。

针对第i待检区域，选择对应的第i组局部样本图像，对于该局部样本图像，根据实际需求和应用场景，确定需要提取的缺陷特征像素集的数量M，M可以根据缺陷的复杂程度、检测要求和算法性能等进行调整。在第i组局部样本图像中，选择合适的位置来提取M个缺陷特征像素集。

对于每个缺陷特征像素集，计算其与待检区域中对应位置的特征像素之间的像素值偏差，遍历M个缺陷特征像素集，分别记录像素值偏差的极大值，设为

对于每个缺陷特征像素集，与比对特征像素逐一进行像素值偏差的计算，例如采用欧几里得距离方法进行计算，获取像素值偏差，遍历M个缺陷特征像素集，将得到的像素值偏差记录下来，形成一个包含M个像素值偏差的集合。

统计M个像素值偏差中有多少个像素值偏差落在像素偏差区间

进一步而言，如图2所示，本申请还包括：

步骤S810：遍历所述多个缺陷样本图像进行尺寸分析，获取多个缺陷区域尺寸偏差；

步骤S820：当所述多个缺陷区域像素梯度小于所述像素梯度阈值时，基于所述多个缺陷区域尺寸偏差，判断是否大于或等于尺寸偏差阈值，其中，所述尺寸偏差阈值为尺寸分类器可以识别的最小尺寸偏差；

步骤S830：将所述多个缺陷区域像素梯度小于所述像素梯度阈值，且所述多个缺陷区域尺寸偏差大于或等于所述尺寸偏差阈值的所述关联缺陷类型，添加进尺寸分割关联缺陷类型；

具体而言，针对每个缺陷样本图像，进行尺寸分析，例如，测量缺陷区域的宽度、高度、面积或其他相关尺寸参数，对于每个缺陷样本图像，计算与参考尺寸之间的尺寸偏差，参考尺寸可以是预定义的标准尺寸、平均尺寸或其他可靠的参考值，根据偏差计算结果获取多个缺陷区域尺寸偏差。

检查多个缺陷区域的像素梯度是否小于像素梯度阈值，如果像素梯度小于阈值，则根据尺寸分类器的性能和准确度，设定一个尺寸偏差阈值作为能够被识别为缺陷的最小尺寸偏差，对于每个缺陷区域，检查其尺寸偏差是否大于或等于尺寸偏差阈值，如果是，则说明该缺陷区域存在显著的尺寸偏差，可以被认定为有缺陷的区域。

检查多个缺陷区域的像素梯度是否小于像素梯度阈值，如果满足条件，说明像素梯度差异较小，对于满足像素梯度小于阈值的缺陷区域，检查它们的尺寸偏差是否大于或等于尺寸偏差阈值，当像素梯度满足小于阈值且尺寸偏差大于或等于阈值时，将对应的关联缺陷类型添加到尺寸分割关联缺陷类型集合中，以此识别那些像素梯度较小但具有显著尺寸偏差的缺陷区域。

步骤S840：基于所述尺寸分割关联缺陷类型和所述芯片型号信息，训练尺寸分割模型对所述待检芯片图像进行缺陷识别，获取尺寸分割关联缺陷类型识别结果，包括：

步骤S841：基于所述尺寸分割关联缺陷类型和所述芯片型号信息，采集待检缺陷正样本图像和待检缺陷负样本图像，其中，所述待检缺陷负样本图像具有缺陷尺寸标识信息；

步骤S842：以所述待检缺陷正样本图像和所述待检缺陷负样本图像为输入数据，以所述缺陷尺寸标识信息为监督数据，基于卷积神经网络进行尺寸缺陷分类训练，获取所述尺寸分割模型。

具体而言，根据尺寸分割关联缺陷类型和芯片型号信息，确定需要检测和分类的缺陷类型，采集待检缺陷的正样本图像，这些图像包含目标缺陷并以图像形式进行标注，可以使用图像处理算法来生成；采集待检缺陷的负样本图像，这些图像具有缺陷尺寸标识信息，其中，负样本图像不包含与目标缺陷相似的特征，但带有用于表示缺陷尺寸的标识，以便训练模型能够学习正确的尺寸分类。

构建卷积神经网络（CNN）模型，该模型包含卷积层、池化层和全连接层，以提取和学习特征。使用正样本图像和负样本图像作为输入数据，并将缺陷尺寸标识信息作为监督数据，在卷积神经网络上进行训练，优化模型的参数，迭代训练，直到模型能够准确区分和分类不同尺寸的缺陷样本，获得所述尺寸分割模型。

完成模型训练后，利用训练好的尺寸分割模型对待检芯片图像进行缺陷识别，通过对图像应用分割算法，将图像中的缺陷区域标记出来，并预测其对应的尺寸分割关联缺陷类型，从尺寸分割模型输出中提取尺寸分割关联缺陷类型的识别结果，并依据芯片型号信息进行检查和验证。

进一步而言，如图3所示，本申请还包括：

步骤S910：将所述多个缺陷区域像素梯度小于所述像素梯度阈值，且所述多个缺陷区域尺寸偏差小于所述尺寸偏差阈值的所述关联缺陷类型，添加进人工分割关联缺陷类型；

步骤S920：当所述像素分割关联缺陷类型识别结果和所述尺寸分割关联缺陷类型识别结果的缺陷检出数量为零时，将所述待检芯片图像传输至人工质检通道进行所述人工分割关联缺陷类型的识别，获取人工分割关联缺陷类型识别结果。

具体而言，检查多个缺陷区域的像素梯度是否小于像素梯度阈值，并检查它们的尺寸偏差是否小于尺寸偏差阈值，当多个缺陷区域的像素梯度小于阈值且尺寸偏差小于阈值时，将这些缺陷区域与相关的关联缺陷类型添加到人工分割关联缺陷类型中，这些缺陷类型需要进一步进行人工处理和判断。

检查像素分割关联缺陷类型识别结果和尺寸分割关联缺陷类型识别结果的缺陷检出数量是否为零，如果两个结果的缺陷检出数量都为零，说明自动识别无法准确识别缺陷，将待检芯片图像传输至人工质检通道，由人工操作员进行缺陷识别和分类，包括使用人工分割技术、手动绘制缺陷区域等，通过人工操作，获得人工分割关联缺陷类型的识别结果。

通过以上步骤，当像素差异、尺寸差异都较小时，自动化的像素分割和尺寸分割可能无法准确检测缺陷，则利用人工分割通道进行缺陷识别，以确保较高的质量标准，实际上，大多数缺陷的像素值和其所属区域都具有较大差异，剩余的大多数属于尺寸偏差，极小的一部分属于此类，因此人工质检的工作量较少或没有，仅为辅助性检测。

综上所述，本申请实施例所提供的基于5G技术的芯片表面缺陷智能识别方法具有如下技术效果：

进行芯片缺陷关联性分析获取关联缺陷类型，进行负采样获取多个缺陷样本图像，进行像素特征分析，获取多个缺陷区域像素梯度，表征缺陷区域和缺陷所属芯片正常区域的像素值偏差，遍历，判断是否大于或等于像素梯度阈值，将关联缺陷类型，添加进像素分割关联缺陷类型，进行负采样，获取多个缺陷样本图像集合，对待检芯片图像进行缺陷比对，获取像素分割关联缺陷类型识别结果。

解决了现有技术中存在机器学习模型泛化能力较弱，缺陷识别准确率无法得到保障，并且芯片表面缺陷类型繁多、形态复杂，使得无法满足准确度和鲁棒性要求的技术问题，实现了借助5G技术的计算和通信能力，并基于小样本数据进行芯片缺陷识别，实现高速且精准的芯片表面缺陷检测和分类，达到提升芯片表面缺陷识别的效率、准确性和自动化程度的技术效果。

实施例二

基于与前述实施例中基于5G技术的芯片表面缺陷智能识别方法相同的发明构思，如图4所示，本申请提供了基于5G技术的芯片表面缺陷智能识别系统，所述系统基于5G技术和工业互联网通信连接，所述系统包括：

关联性分析模块10，所述关联性分析模块10用于将芯片加工工艺参数和芯片型号信息传输至工业互联网进行芯片缺陷关联性分析，获取关联缺陷类型；

负采样模块20，所述负采样模块20用于将所述关联缺陷类型和所述芯片型号信息传输至所述工业互联网进行负采样，获取多个缺陷样本图像，其中，所述多个缺陷样本图像为已检出缺陷的样本图像，且任意一个缺陷样本图像和一种关联缺陷类型唯一关联；

像素特征分析模块30，所述像素特征分析模块30用于遍历所述多个缺陷样本图像进行像素特征分析，获取多个缺陷区域像素梯度，其中，所述多个缺陷区域像素梯度表征缺陷区域和缺陷所属芯片正常区域的像素值偏差；

像素梯度判断模块40，所述像素梯度判断模块40用于遍历所述多个缺陷区域像素梯度，判断是否大于或等于像素梯度阈值；

关联类型添加模块50，所述关联类型添加模块50用于将所述多个缺陷区域像素梯度大于或等于所述像素梯度阈值的所述关联缺陷类型，添加进像素分割关联缺陷类型；

样本图像获取模块60，所述样本图像获取模块60用于将所述像素分割关联缺陷类型和所述芯片型号信息传输至所述工业互联网进行负采样，获取多个缺陷样本图像集合；

缺陷比对模块70，所述缺陷比对模块70用于基于所述多个缺陷样本图像集合对待检芯片图像进行缺陷比对，获取像素分割关联缺陷类型识别结果。

进一步而言，所述系统还包括：

遍历模块，用于遍历所述多个缺陷样本图像进行尺寸分析，获取多个缺陷区域尺寸偏差；

偏差判断模块，用于当所述多个缺陷区域像素梯度小于所述像素梯度阈值时，基于所述多个缺陷区域尺寸偏差，判断是否大于或等于尺寸偏差阈值，其中，所述尺寸偏差阈值为尺寸分类器可以识别的最小尺寸偏差；

尺寸分割关联类型添加模块，用于将所述多个缺陷区域像素梯度小于所述像素梯度阈值，且所述多个缺陷区域尺寸偏差大于或等于所述尺寸偏差阈值的所述关联缺陷类型，添加进尺寸分割关联缺陷类型；

模型训练模块，用于基于所述尺寸分割关联缺陷类型和所述芯片型号信息，训练尺寸分割模型对所述待检芯片图像进行缺陷识别，获取尺寸分割关联缺陷类型识别结果，包括：

样本图像获取模块，用于基于所述尺寸分割关联缺陷类型和所述芯片型号信息，采集待检缺陷正样本图像和待检缺陷负样本图像，其中，所述待检缺陷负样本图像具有缺陷尺寸标识信息；

分类训练模块，用于以所述待检缺陷正样本图像和所述待检缺陷负样本图像为输入数据，以所述缺陷尺寸标识信息为监督数据，基于卷积神经网络进行尺寸缺陷分类训练，获取所述尺寸分割模型。

进一步而言，所述系统还包括：

人工分割关联类型添加模块，用于将所述多个缺陷区域像素梯度小于所述像素梯度阈值，且所述多个缺陷区域尺寸偏差小于所述尺寸偏差阈值的所述关联缺陷类型，添加进人工分割关联缺陷类型；

人工分割关联类型识别模块，用于当所述像素分割关联缺陷类型识别结果和所述尺寸分割关联缺陷类型识别结果的缺陷检出数量为零时，将所述待检芯片图像传输至人工质检通道进行所述人工分割关联缺陷类型的识别，获取人工分割关联缺陷类型识别结果。

进一步而言，所述系统还包括：

记录数据获取模块，用于将所述芯片型号信息和所述芯片加工工艺参数传输至所述工业互联网，获取芯片表面缺陷检测记录数据，其中，所述工业互联网为多家芯片制造企业实现信息共享的私域网络；

检出频率获取模块，用于根据所述芯片表面缺陷检测记录数据，获取缺陷检出记录类型和记录类型检出频率；

记录类型添加模块，用于当所述记录类型检出频率大于或等于第一检出频率阈值时，将所述缺陷检出记录类型添加进所述关联缺陷类型；

其中，获取缺陷检出记录类型和记录类型检出频率，

记录数据说明模块，用于所述芯片表面缺陷检测记录数据包括第一企业缺陷检测记录数据、第二企业缺陷检测记录数据直到第N企业缺陷检测记录数据，其中，所述第一企业缺陷检测记录数据、所述第二企业缺陷检测记录数据直到所述第N企业缺陷检测记录数据的记录条数相同；

第N检出频率获取模块，用于获取所述缺陷检出记录类型的第一检出频率、第二检出频率直到第N检出频率；

无关检出类型获取模块，用于当所述第一检出频率、所述第二检出频率直到所述第N检出频率小于或等于第二检出频率阈值的数量大于或等于floor（0.7*N）时，将所述缺陷检出记录类型设为无关检出缺陷类型，其中，floor（）为向下取整函数；

均值计算模块，用于当所述第一检出频率、所述第二检出频率直到所述第N检出频率小于或等于第二检出频率阈值的数量大于或等于floor（0.7*N）时，获取所述第一检出频率、所述第二检出频率直到所述第N检出频率的均值，设为所述缺陷检出记录类型的所述记录类型检出频率。

进一步而言，所述系统还包括：

概念图像获取模块，用于获取芯片概念图像，其中，所述芯片概念图像为标准芯片图像，所述芯片概念图像具有多个标识区域和多个特征像素，任意两个标识区域的特征像素偏差大于或等于所述像素梯度阈值；

图像剪切模块，用于基于所述多个标识区域，对所述多个缺陷样本图像集合的任意一个缺陷样本图像集合进行图像剪切，获取多组局部样本图像，其中，所述多组局部样本图像和所述多个标识区域一一对应；

区域划分模块，用于基于所述多个标识区域，对所述待检芯片图像进行区域划分，获取多个待检区域图像；

区域生长模块，用于根据所述多个特征像素，对所述多个待检区域图像进行区域生长，获取多个区域生长结果，其中，所述多个区域生长结果包括多个生长覆盖区域和多个生长未覆盖区域；

缺陷比对模块，用于基于所述多组局部样本图像，对所述多个生长未覆盖区域进行缺陷比对，获取所述像素分割关联缺陷类型识别结果。

进一步而言，所述系统还包括：

阈值获取模块，用于获取像素生长相似度阈值；

相邻像素点获取模块，用于以所述多个待检区域图像的第i待检区域的第k像素点为初始生长像素点，以所述第i待检区域的边界为生长约束边界，获取所述初始生长像素点的相邻像素点；

遍历模块，用于遍历所述相邻像素点与所述初始生长像素点进行颜色相似度评估，获取颜色相似度；

第一代生长像素点获取模块，用于将所述颜色相似度大于或等于所述像素生长相似度阈值的所述相邻像素点设为第一代生长像素点；

相邻像素点添加模块，用于将所述颜色相似度小于所述像素生长相似度阈值的所述相邻像素点，添加进第i生长未覆盖区域；

重复生长模块，用于基于所述第一代生长像素点进行重复生长，直到所述第i待检区域的像素点遍历完成时停止，获取第i生长覆盖区域；

覆盖区域添加模块，用于将所述第i生长覆盖区域添加进所述多个生长覆盖区域，将所述第i生长未覆盖区域添加进所述多个生长未覆盖区域。

进一步而言，所述系统还包括：

比对特征像素获取模块，用于获取第i生长未覆盖区域的比对特征像素；

缺陷特征像素获取模块，用于获取第i待检区域对应的第i组局部样本图像的M个缺陷特征像素集；

偏差区间构建模块，用于获取所述M个缺陷特征像素集的像素值偏差极大值和像素值偏差极小值，构建像素偏差区间；

偏差计算模块，用于基于所述比对特征像素，遍历所述M个缺陷特征像素集进行像素值偏差计算，获取M个像素值偏差；

比例系数获取模块，用于获取所述M个像素值偏差属于所述像素偏差区间的比例系数，当所述比例系数大于或等于比例系数阈值时，将所述第i生长未覆盖区域，设为所述多组局部样本图像对应的关联缺陷类型，添加进所述像素分割关联缺陷类型识别结果。

本说明书通过前述对基于5G技术的芯片表面缺陷智能识别方法的详细描述，本领域技术人员可以清楚得知道本实施例中基于5G技术的芯片表面缺陷智能识别方法，对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述得比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。