基于人工智能的五金件缺陷分类识别方法

技术领域

本发明涉及五金件缺陷图像分析技术领域，具体涉及一种基于人工智能的五金件缺陷分类识别方法。

背景技术

五金件缺陷分类识别场景中，利用计算机视觉技术获得五金件图像，并通过人工智能检测技术实现缺陷分类识别能有效提升缺陷检测效率、节约人工成本，其往往通过五金件缺陷不同的类型的区域形态差别进行分类识别，但存在对于出现划痕与裂纹的情况时，其区域形态差别区分度不高的问题，造成分类结果误判。

发明内容

为了解决对五金件划痕与裂纹的缺陷类型分类识别不准确的技术问题，本发明的目的在于提供一种基于人工智能的五金件缺陷分类识别方法，所采用的技术方案具体如下：

获取五金件的待处理区域灰度图像；

获取所述待处理区域灰度图像中像素点的梯度幅值；从小到大依次选择预设上限阈值取值区间中的取值作为目标上限阈值；根据预设下限阈值和所述目标上限阈值以及像素点的梯度幅值获取所述待处理区域灰度图像的边缘线段；根据所述边缘线段上不同边缘点在整条边缘线段上边缘点的梯度幅值区间上的分布特征，获得所述目标上限阈值对边缘线段的影响程度参数；分析不同目标上限阈值对应的所述影响程度参数的波动特征，获取边缘线段对每个目标上限阈值的敏感程度参数；对所有边缘线段的所有所述敏感程度参数进行聚类，根据聚类结果获得待处理区域的敏感置信程度；

根据所述敏感置信程度对缺陷类型进行划分，获得待处理区域的缺陷类型。

进一步地，所述边缘线段的获取方法包括：

将梯度幅值小于预设下限阈值的像素点认为是非边缘点，将梯度幅值大于预设下限阈值小于目标上限阈值的像素点认为是弱边缘点，将梯度幅值大于目标上限阈值的像素点认定为是强边缘点，将强边缘点和弱边缘点作为边缘点，将相邻的边缘点相连构成边缘线段。

进一步地，所述影响程度参数的获取方法包括：

在强边缘点和弱边缘点之间任选一类作为待分析类别边缘点；根据所述边缘线段上每种梯度幅值的待分析类别边缘点的数量特征，获取边缘线段的偏离程度；

将每个待分析类别边缘点的梯度幅值归一化后与所述偏离程度相乘，将所有待分析类别边缘点的乘积求和后的均值通过

进一步地，所述边缘线段的偏离程度的获取方法包括：

获取每种梯度幅值对应的待分析类别边缘点数量；获取所有梯度幅值对应待分析类别边缘点数量的均值作为均值参数；获取所有梯度幅值对应待分析类别边缘点数量的标准差作为标准差参数；

获取每种梯度幅值对应的待分析类别边缘点数量与所述均值参数的差作为分子参数；将所述分子参数与所述标准差参数的比值的立方作为每种梯度幅值的偏离参数；将所有梯度幅值的偏离参数的均值作为所述边缘线段的偏离程度。

进一步地，所述敏感程度参数的获取方法包括：

获取所述边缘线段对应的上限阈值跨度参数；根据敏感程度参数计算公式获得每个目标上限阈值的敏感程度参数；所述敏感程度参数计算公式包括：

其中，

进一步地，所述敏感置信程度的获取方法包括：

选择聚类结果中数据最多的数据集作为优选数据集；将所述优选数据集中每个边缘线段的敏感程度参数均值作为每个边缘线段的敏感置信程度。

进一步地，所述缺陷类型的获取方法包括：

当所述敏感置信程度大于预设划分阈值时，认定缺陷类型为裂纹；当所述敏感置信程度小于等于预设划分阈值时，认定缺陷类型为划痕。

进一步地，所述梯度幅值的获取方法包括：

利用Sobel算子获取所述待处理区域灰度图像中像素点的梯度幅值。

进一步地，所述五金件的待处理区域灰度图像的获取方法包括：

利用相机获取五金件彩色图像，将彩色图像通过语义分割神经网络，识别出图像中的五金件区域，并完成对五金件缺陷类型的初步区分，获得初始裂纹区域图像和初始划痕区域图像，将初始裂纹区域图像和初始划痕区域图像都作为待处理图像，同时进行灰度化，获得待处理区域灰度图像。

进一步地，所采用的聚类方法为均值漂移算法。

本发明具有如下有益效果：

首先获取五金件的待处理区域灰度图像，去除图像分析过程中无关信息，减少识别方法的计算量，为后续精准区分缺陷类型做准备；进一步获得待处理区域灰度图像的边缘线段，确定缺陷所在的具体位置，便于后续分析边缘线段对阈值所表现出的敏感程度，区分缺陷类型；进一步获得目标上限阈值对边缘线段的影响程度参数，为目标上限阈值对边缘线段的影响程度提供参考依据，从而分析不同目标上限阈值下影响程度参数的波动变化，获得能够反映出边缘线段的敏感程度参数，为精准划分缺陷类型做准备；进一步将敏感程度参数进行聚类，避免同一缺陷类型边缘线段局部区域多变所产生的影响，根据聚类结果获得更准确的敏感置信程度；最后根据敏感置信程度对缺陷类型进行精确的划分，提高了五金件缺陷分类识别的准确性，保障缺陷信息的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的五金件缺陷分类识别方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的五金件缺陷分类识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的五金件缺陷分类识别方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的五金件缺陷分类识别方法的流程图，具体包括：

步骤S1：获取五金件的待处理区域灰度图像。

五金件生产过程中，实时产生的图像信息量巨大，并且五金件在空间上存在间隙，即获取的图像信息中存在无用信息，为了减少计算量，需要对五金件的图像先进行筛选，所以通过人工智能技术先识别出五金件区域，然后对缺陷类型进行初步区分，而裂纹和划痕的区域形态差别区分度不高，容易造成分类结果误判，需要进一步区分处理，所以将难以区分的缺陷类型的图像筛选出来，为进一步处理做准备。

在本发明一个实施例中，利用相机获取五金件彩色图像，将彩色图像通过语义分割神经网络，识别出图像中的五金件区域，并完成对五金件缺陷类型的初步区分，获得初始裂纹区域图像和初始划痕区域图像，将初始裂纹区域图像和初始划痕区域图像都作为待处理图像，同时进行灰度化，获得待处理区域灰度图像，为后续进行精准区分缺陷类型做准备。

需要说明的是，利用相机获取五金件图像和利用语义神经网络进行缺陷类型区分，识别和定位图像中的裂纹和划痕区域已是本领域技术人员所熟知的技术手段，在此不再进行赘述。

步骤S2：获取待处理区域灰度图像中像素点的梯度幅值；从小到大依次选择预设上限阈值取值区间中的取值作为目标上限阈值；根据预设下限阈值和目标上限阈值以及像素点的梯度幅值获取待处理区域灰度图像的边缘线段；根据边缘线段上不同边缘点在整条边缘线段上边缘点的梯度幅值区间上的分布特征，获得目标上限阈值对边缘线段的影响程度参数；分析不同目标上限阈值对应的影响程度参数的波动特征，获取边缘线段对每个目标上限阈值的敏感程度参数；对所有边缘线段的所有敏感程度参数进行聚类，根据聚类结果获得待处理区域的敏感置信程度。

不同缺陷类型的区域图像对不同边缘检测阈值所表现出的敏感程度不同，因此可以通过不同检测阈值对待处理区域图像进行处理，通过图像中细致形态结构的变化，获取缺陷类型的敏感置信程度，从而对缺陷类型进行精确区分。

在五金件工业生产过程中，存在划痕与裂纹这两种缺陷类型，其区域形态差别区分度不高，容易发生分类结果误判的情况，因此本发明实施例中以区分划痕和裂纹为例展开分析。

五金件出现划痕与裂纹时，在图像中呈现出边缘特征，即具有缺陷的区域与其他区域像素点相连的地方，像素灰度值急剧变化，因此图像中的边缘线段的变化即为图像中细致形态结构的变化，所以首先需要获取边缘线段。

优选地，在本发明一个实施例中，考虑到滞后阈值连接可以减少边缘线段的不连续性，提高对真实边缘的监测准确性，并且抑制了噪声，所以利用Sobel算子获取待处理区域灰度图像中像素点的梯度幅值，将梯度幅值小于预设下限阈值的像素点认为是非边缘像素点，将梯度幅值大于预设下限阈值小于目标上限阈值的像素点认为是弱边缘像素点，将梯度幅值大于目标上限阈值的像素点认定为是强边缘像素点，将强边缘点和弱边缘点作为边缘点，将相邻的边缘点相连构成边缘线段。

需要说明的是，在本发明一个实施例中，预设下限阈值为5，预设上限阈值的取值区间为[15,30]，并且由于不同阈值获取的结果之间没有影响，所以将步长设置为1，遍历上限阈值取值区间；由于滞后性强弱边缘点筛选的缘故，只有上限阈值高于某一边缘线的边缘点的梯度区间上限时才会使得边缘线段消失，且边缘线段不会发生形态上的改变，为了利用这一特性分析边缘线段上的细致变化，选择具有滞后阈值连接特征的Canny边缘检测算法。在本发明其他实施例中，实施者可以选择同样具有双阈值特征的拉普拉斯边缘检测，通过分析不同上限阈值下强边缘像素点的数量或面积变化速率，分析获得不同缺陷类型的敏感置信程度参数，进而对缺陷类型进行精确划分；也可以采用LoG（Laplacian ofGaussian）边缘检测这类单阈值算法，同样分析不同上限阈值下强边缘像素点的数量或面积变化速率，分析获得不同缺陷类型的敏感置信程度参数，进而对缺陷类型进行精确划分。

需要说明的是，预设阈值和阈值取值区间均可根据实际情况自行设定；所涉及的Canny边缘检测算法、拉普拉斯边缘检测、LoG边缘检测算法、Sobel算子均是本领域技术人员所熟知的技术手段，在此不再过多赘述。

由于滞后阈值相连导致边缘线段不会发生形态上的改变这一特征，边缘线段在上限阈值高于某一边缘线的边缘点的梯度区间上限之前不会消失，而每次改变目标上限阈值，均会导致边缘线段中强弱边缘点分布变化，因此可以通过分析边缘线段上不同边缘点在整条边缘线段上边缘点的梯度幅值区间上的分布特征，获得目标上限阈值对边缘线段的影响程度参数，以便在后续操作中分析不同目标上限阈值下影响程度参数的波动变化，分析缺陷区域的敏感特性。

优选地，在本发明一个实施例中，考虑到不同目标上限阈值获得的边缘线段中强弱边缘点的数量及其分布不同，偏度能够反映出边缘点的分布特征，而强弱边缘点之间的关系又是相对的，所以通过获取强边缘点的偏离程度来分析目标上限阈值对边缘线段的影响程度，获得影响程度参数，同时考虑到偏度小于零的情况，采用了

在强边缘点和弱边缘点之间任选一类作为待分析类别边缘点；根据边缘线段上每种梯度幅值的待分析类别边缘点的数量特征，获取边缘线段的偏离程度；

将每个边缘点的梯度幅值归一化后与偏离程度相乘，将所有边缘点的乘积求和后的均值通过

影响程度参数的计算公式包括：

其中，

影响程度参数的计算公式中，偏离程度越大，说明当前边缘点的分布越偏向于高梯度方向，目标上限阈值的影响程度参数就越大；待分析类别边缘点的梯度幅值越大，归一化结果也越大，待分析类别边缘点的边缘强度越高，目标上限阈值的影响程度参数就越大。

优选地，在本发明一个实施例中，边缘线段的偏离程度的获取方法包括：

获取每种梯度幅值对应的待分析类别边缘点数量；获取所有梯度幅值对应待分析类别边缘点数量的均值作为均值参数；获取所有梯度幅值对应待分析类别边缘点数量的标准差作为标准差参数；

获取每种梯度幅值对应的待分析类别边缘点数量与均值参数的差作为分子参数；将分子参数与标准差参数的比值的立方作为每种梯度幅值的偏离参数；将所有梯度幅值的偏离参数的均值作为边缘线段的偏离程度。偏离程度的计算公式包括：

其中，

偏离程度的计算公式，标准差参数用于标准化分子参数，分子参数与0的距离越大，说明待分析类别边缘点数量分布越不对称，偏离程度与0的偏离就越大。

在本发明一个实施例中，选择强边缘点作为待分析类别边缘点；在本发明其他实施例中，实施者也可以在偏度程度计算过程中将分母参数取绝对值，从而省去

需要说明的是，单独分析目标上限阈值对边缘线段的影响程度并没有意义，不能根据影响程度去区分不同的缺陷类型，影响程度参数只是为分析不同缺陷类型的敏感特征提供依据，还需要分析不同目标上限阈值导致的影响程度参数的波动，从而分析不同缺陷的敏感性进行区分。

优选地，在本发明一个实施例中，考虑到不同缺陷类型图像中的边缘线段对应的上限阈值的跨度不同，上限阈值跨度参数的大小也能够反映出缺陷类型对上限阈值的敏感特征，所以用上限阈值跨度参数和相邻目标上限阈值之间影响程度参数的差异分析敏感程度，基于此敏感程度参数的获取方法包括：

获取边缘线段对应的上限阈值跨度参数；根据敏感程度参数计算公式获得每个目标上限阈值的敏感程度参数；敏感程度参数计算公式包括：

其中，

敏感程度参数计算公式中，上限阈值跨度参数是边缘线段在上限阈值变化过程中，存在边缘检测结果即边缘线段保留情况所获得的，上限阈值跨度参数越大，说明边缘线段能够存在的上限阈值跨度越大，反映出滞后阈值的影响越大，边缘线段对应的敏感程度就越大；相邻目标上限阈值的影响程度参数的波动越大，说明边缘线段对上限阈值改变所发生的波动越大，边缘线段的敏感程度参数就越大。

至此获得了每个边缘线段的多个敏感程度参数，但由于从属于同一缺陷类型的边缘线段也会因为缺陷类型局部区域多变的特征存在差异，因此阈值敏感程度也存在些许差异，需要对敏感程度参数做进一步筛选，获得敏感置信程度。

优选地，在本发明一个实施例中，考虑到占据边缘线段多数且阈值敏感程度相近的边缘线段集合更能表示当前区域的缺陷类型特征，所以从聚类结果中数据最多的数据集合中获取敏感置信程度，获取方法包括：

选择聚类结果中数据最多的数据集作为优选数据集；将优选数据集中每个边缘线段的敏感程度参数均值作为每个边缘线段的敏感置信程度。

例如某一个边缘线段有10个敏感程度参数，而在优选数据集合中包含了4个，那么就用这4个敏感程度参数的均值作为敏感置信程度，如果有8个就用8个数据的均值；特殊情况下，聚类结果中一个敏感程度参数也没有时，将这个待检测区域灰度图像对应的彩色图像进行特殊标记，采用人工手段对标记图像进行视检分类。

在本发明其他实施例中，实施者可以根据聚类结果中，不同聚类簇内数据数量占总数量的比例获取比例权重，将不同聚类簇内边缘线段敏感程度的均值与各自对应的比例权重相乘，最后求和获得敏感置信程度。例如某一个边缘线段有10个敏感程度参数，聚类簇有A、B、C三个，比例权重分别为0.8、0.1、0.1，这10个敏感程度参数在三个聚类簇中分别有7个、2个、1个，那么敏感置信程度就为

在本发明一个实施例中，采用均值漂移算法作为聚类方法，在本发明其他实施例中，实施者可以算用k均值聚类等其他聚类方法，均值漂移算法和k均值聚类方法均是本领域技术人员所熟知的技术手段，在此不再进行赘述。

步骤S3：根据敏感置信程度对缺陷类型进行划分，获得待处理区域的缺陷类型。

经过步骤S2之后，获得了待处理区域灰度图像内缺陷对阈值变化敏感程度的敏感置信程度，为根据不同缺陷类型对阈值变化的敏感程度不同，精准识别缺陷类型做好准备。

优选地，在本发明实施例中，当敏感置信程度大于预设划分阈值时，认定缺陷类型为裂纹；当敏感置信程度小于等于预设划分阈值时，认定缺陷类型为划痕。

在本发明一个实施例中，预设划分阈值为0.52；在本发明其他实施例中，实施者可以自行设定。如果对裂纹和划痕有更高的分级需求，可以将识别区分后的图像再次调用步骤S2对应的算法过程，从而对划痕或裂纹进行分级；也可以将识别区分后的图像利用图像对比算法，对缺陷类型对具体信息进行进一步分析；如果需要划分多类缺陷类型，可以重复调用步骤S2中的操作，逐步分离不同缺陷类型。

识别出各类缺陷后，可以通过可视化显示到相应的显示器上，以便用户更加直观的查看五金件缺陷区域及相关信息，分析生产流程中是否存在异常，及时调整生产方案，提升生产质量。

综上所述，本发明面对裂纹和划痕的缺陷类型难以精确区分的技术问题，利用不同缺陷类型对边缘检测阈值表现出不同敏感程度的特征，首先获取经过初步划分缺陷类型后的区域灰度图像，进一步通过获取不同阈值对边缘线段的影响程度参数，进而分析影响程度参数的波动获得敏感程度参数，进一步筛选敏感程度参数，获得敏感置信程度，最后对不同缺陷类型进行精准区分，提高五金件缺陷分类的准确性，保障缺陷信息的可靠性，以便及时分析生产流程中是否存在异常，从而调整生产方案，提升生产质量。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。