一种基于人工智能的器件缺陷程度评估方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的器件缺陷程度评估方法及系统。

背景技术

目前，对零件进行气密性检测的方法中，比较常用的方式是利用液体检测的方式，观察器件表面是否出现气泡，来判断该器件是否出现泄漏情况。该方法基本过程是对密封性器件加压之后，将器件放入水中，通过观察气泡的有无来判断气密性的好坏，通过观察气泡的变化来获得泄露率等信息。

随着图像处理技术的发展，还出现了基于视觉感知的检测方法，代替人工或者其他方式观察水体中的气泡，使用相机对图像进行采集，经过图像处理，分析气泡的有无或者气泡的体积大小，来判定器件的是否泄漏或者泄漏等级。

上述方法在检测泄露孔体积较大的，且气泡平稳连续上升的情况时，较为准确。当因水体晃动、气压不稳或者几个较小的泄露孔距离较近时，气泡上升轨迹不平稳或者存在多气泡粘连，此时还采用连通域检测方式会存在较大误差，对器件气密性判断不准确。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的器件缺陷程度评估方法及系统，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于人工智能的器件缺陷程度评估方法，包括以下步骤：

获取待检测器件所处液体的液面静止时的初始帧图像，以及向器件加压后的后续帧图像；

将所述初始帧图像作为背景图，结合所述后续帧图像进行帧差法处理后，经过阈值分割获取气泡特征图，所述气泡特征图包括气泡的面积和中心点特征；

将多帧所述气泡特征图进行叠加后，进行图像处理，获取气泡上升轨迹的轨迹连通域及其数量；

获取所述轨迹连通域的最小外接矩形，计算每个所述气泡的中心点到所述最小外接矩形平行于气泡运动方向中心线的欧氏距离，获得所述轨迹连通域中气泡离散程度；

根据所述轨迹连通域中的气泡总面积与所述最小外接矩形的交并比以及气泡数量获得气泡遮盖程度，结合所述气泡离散程度获取所述轨迹连通域的气泡类型评价值；

根据所述气泡类型评价值结合阈值判定所述轨迹连通域中气泡分布类型，结合气泡特征和所述最小外接矩形获取所述轨迹连通域对应泄露孔宽度；

根据所述轨迹连通域数量以及每个所述轨迹连通域对应的泄露孔宽度结合所述器件的表面积，评估所述器件的泄漏程度。

优选的，所述的获取气泡上升轨迹的轨迹连通域及其数量，包括以下步骤：

利用图像处理去除所述多帧气泡特征图叠加后所获得的叠加图中细小噪声后，经过边缘检测提取气泡连通域边缘；

根据所述气泡连通域边缘获取所述轨迹连通域，并在所述叠加图中标记，获取所述轨迹连通域数量。

优选的，所述的获取所述轨迹连通域的气泡类型评价值的步骤包括：

以所述气泡离散程度为主要评价属性，赋予第一权值；以所述气泡遮盖程度为附加评价属性，赋予第二权值；其中，所述第一权值大于所述第二权值；

将主要评价属性与附加评价属性加权求和，获得气泡类型评价值。

优选的，所述的根据所述气泡类型评价值结合阈值判定所述轨迹连通域中气泡分布类型，结合气泡特征和所述最小外接矩形获取所述轨迹连通域对应泄露孔宽度，包括：

当所述气泡类型评价值小于第一阈值时，判定所述轨迹连通域中气泡竖直排列，将所述最小外接矩形的宽作为对应泄露孔的宽度；

当所述气泡类型评价值大于或等于第一阈值且小于或等于第二阈值时，判定所述轨迹连通域中气泡分布离散，根据气泡特征结合所述气泡离散程度获取对应泄露孔的宽度；

当所述气泡类型评价值大于第二阈值时，判定所述轨迹连通域中气泡密集且丰富，存在多个相邻细小泄露孔，将所述最小外接矩形的宽作为对应泄露孔的宽度。

优选的，评估所述器件的泄漏程度包括将每个连通域的宽度和所述器件的表面积输入气密性等级评估模型，得到所述器件泄露等级，所述气密性等级评估模型为L：

其中，W

第二方面，本发明另一个实施例提供了一种基于人工智能的器件缺陷程度评估系统，包括：

图像采集模块，用于获取待检测器件所处液体的液面静止时的初始帧图像，以及向器件加压后的后续帧图像；

气泡特征获取模块，用于将所述初始帧图像作为背景图，结合所述后续帧图像进行帧差法处理后，经过阈值分割获取气泡特征图，所述气泡特征图包括气泡的面积和中心点特征；

轨迹连通域获取模块，用于将多帧所述气泡特征图进行叠加后，进行图像处理，获取气泡上升轨迹的轨迹连通域及其数量；

离散程度获取模块，用于获取所述轨迹连通域的最小外接矩形，计算每个所述气泡的中心点到所述最小外接矩形平行于气泡运动方向中心线的欧氏距离，获得所述轨迹连通域中气泡离散程度；

气泡类型评价值获取模块，用于根据所述轨迹连通域中的气泡总面积与所述最小外接矩形的交并比以及气泡数量获得气泡遮盖程度，结合所述气泡离散程度获取所述轨迹连通域的气泡类型评价值；

气泡分布类型判定模块，用于根据所述气泡类型评价值结合阈值判定所述轨迹连通域中气泡分布类型，结合气泡特征和所述最小外接矩形获取所述轨迹连通域对应泄露孔宽度；

泄露程度获取模块，用于根据所述轨迹连通域数量以及每个所述轨迹连通域对应的泄露孔宽度结合所述器件的表面积，评估所述器件的泄漏程度。

优选的，轨迹连通域获取模块包括：

连通域边缘获取单元，用于利用图像处理去除所述多帧气泡特征图叠加后所获得的叠加图中细小噪声后，经过边缘检测提取气泡连通域边缘；

连通域获取单元，用于根据所述气泡连通域边缘获取所述轨迹连通域，并在所述叠加图中标记，获取所述轨迹连通域数量。

优选的，所述的气泡类型评价值获取模块包括气泡类型评价值获取单元，用于根据所述气泡离散程度和所述气泡遮盖程度获取气泡类型评价值，所述气泡类型评价单元包括：

加权子单元，用于以所述气泡离散程度为主要评价属性，赋予第一权值；以所述气泡遮盖程度为附加评价属性，赋予第二权值；其中，所述第一权值大于所述第二权值；

加权求和子单元，用于将主要评价属性与附加评价属性加权求和，获得气泡类型评价值。

优选的，所述的气泡分布类型判定模块包括：

第一类泄露孔宽度获取单元，用于当所述气泡类型评价值小于第一阈值时，判定所述轨迹连通域中气泡竖直排列，将所述最小外接矩形的宽作为对应泄露孔的宽度；

第二类泄露孔宽度获取单元，用于当所述气泡类型评价值大于或等于第一阈值且小于或等于第二阈值时，判定所述轨迹连通域中气泡分布离散，根据气泡特征结合所述气泡离散程度获取对应泄露孔的宽度；

第三类泄露孔宽度获取单元，用于当所述气泡类型评价值大于第二阈值时，判定所述轨迹连通域中气泡密集且丰富，存在多个相邻细小泄露孔，将所述最小外接矩形的宽作为对应泄露孔的宽度。

优选的，泄露程度获取模块包括气密性等级评估单元，用于将每个连通域的宽度和所述器件的表面积输入气密性等级评估模型，得到所述器件泄露等级，所述气密性等级评估模型为L：

其中，W

本发明至少具有如下有益效果：

本发明通过采集气泡图像，利用帧差法获取气泡特征图，经过叠加处理后获得气泡上升轨迹的轨迹连通域以及连通域数量。然后获取所述轨迹连通域的最小外接矩形，计算每个气泡中心点到所述最小外接矩形的宽度中心分割线的欧氏距离，获得距离均值，用于反映所述轨迹连通域中气泡的离散程度；根据距离均值结合气泡特征，获取所述轨迹连通域的气泡类型评价值。然后根据所述气泡类型评价值结合类型阈值区间判定气泡类型，获取所述轨迹连通域对应泄露孔宽度，最后结合所述器件的表面积评估所述器件的泄露程度。从而减小了在检测器件时因液体晃动或泄露孔距离较近等原因造成的误差，实现了对器件气密性等级准确的检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的器件缺陷程度评估方法示意图；

图2为本发明一个实施例所提供的一种基于人工智能的器件缺陷程度评估方法流程图；

图3为本发明一个实施例所提供的一种基于人工智能的器件缺陷程度评估方法中气泡上升轨迹类型示意图；

图4为本发明一个实施例所提供的一种基于人工智能的器件缺陷程度评估系统结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的器件缺陷程度评估方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的器件缺陷程度评估方法的具体方案。

请参阅图1，其示出了本发明一个实施例所提供的一种基于人工智能的器件缺陷程度评估方法示意图；图2示出了本发明一个实施例所提供的一种基于人工智能的器件缺陷程度评估方法流程图；图3示出了本发明一个实施例所提供的一种基于人工智能的器件缺陷程度评估方法中气泡上升轨迹示意图。

一种基于人工智能的器件缺陷程度评估方法，其流程图如图2所示，包括如下步骤：

步骤1：获取待检测器件所处液体的液面静止时的初始帧图像，以及向器件加压后的后续帧图像；

步骤2：将初始帧图像作为背景图，结合后续帧图像进行帧差法处理后，经过阈值分割获取气泡特征图，气泡特征图包括气泡的面积和中心点特征；

步骤3：将多帧气泡特征图进行叠加后，进行图像处理，获取气泡上升轨迹的轨迹连通域及其数量；

步骤4：获取轨迹连通域的最小外接矩形，计算每个气泡的中心点到最小外接矩形平行于气泡运动方向的欧氏距离，获得轨迹连通域中气泡离散程度；

步骤5：根据轨迹连通域中的气泡总面积与最小外接矩形的交并比以及气泡数量获得气泡遮盖程度，结合气泡离散程度获取轨迹连通域的气泡类型评价值；

步骤6：根据气泡类型评价值结合阈值判定轨迹连通域中气泡分布类型，结合气泡特征和最小外接矩形获取轨迹连通域对应泄露孔宽度；

步骤7：根据轨迹连通域数量以及每个轨迹连通域对应的泄露孔宽度结合器件的表面积，评估器件的泄漏程度。

综上所述，本发明通过采集气泡图像，利用帧差法获取气泡特征图，经过叠加处理后获得气泡上升轨迹的轨迹连通域以及连通域数量。然后获取轨迹连通域的最小外接矩形，计算每个气泡中心点到最小外接矩形的宽度中心分割线的欧氏距离，获得距离均值，用于反映轨迹连通域中气泡的离散程度；根据距离均值结合气泡特征，获取轨迹连通域的气泡类型评价值。然后根据气泡类型评价值结合类型阈值区间判定气泡类型，获取轨迹连通域对应泄露孔宽度，最后结合器件的表面积评估器件的泄露程度。从而减小了在检测器件时因液体晃动或泄露孔距离较近等原因造成的误差，实现了对器件气密性等级准确的检测。

具体的，在本实施例的步骤1中，采用正视角相机拍摄待检测器件在液体中的情况，获得初始帧图像和后续帧图像，正视相机位姿能够更方便观测气泡的轨迹，大小，宽度等相关特征。需要说明的，在本实施例中，采用间接排水法对器件进行气密性检测，恒定的气压能够使泄露孔露出气泡稳定均匀。

具体的，在本实施例的步骤2和步骤3中，由于在进行检测时，待检测器件上会附着气泡，对后续的气泡检测造成干扰，一般会采取震动操作去除物体表面的附着气泡，但是去除需要较长的等待时间，在本实施例中，采用帧差处理的方法也能够直接排除附着气泡的干扰。具体的：

(1)将初始帧图像作为背景图，结合后续帧图像进行帧差法处理获得帧差图像，具体的，初始帧图像为待检测器件放入液体中，充气加压之前采集的图像，后续帧图像为充气且开始气密性检测之后，连续采集的图像，具体帧差处理如下：

d

其中，d

(2)根据预设的气泡阈值对步骤(1)所获得的帧差图像进行二值化处理，获得气泡特征图。具体的，气泡阈值的设定用于判断出帧差图像中，后续帧图像与初始帧图像相比像素值变换较大的像素点，即目标气泡像素点，从而获得气泡特征图。二值化处理如下：

其中，D(x，y)为二值化处理后的气泡特征图在坐标(x，y)处的像素值，T为气泡阈值。

(3)将气泡特征图进行多帧叠加，获得气泡叠加图。需要说明的是，上述气泡特征图像包括散点气泡特征，对其进行叠加操作，构成气泡由器件表面至液面的气泡上升轨迹。

需要说明的是，在本实施例中，采用间接排水法对器件进行气密性检测，能够始终保持气压的稳定。当采用直接排水法时，需要考虑水温对压强的影响，从而影响气泡产生的速率。因此可以通过温度传感器感知检测液体的温度，根据液体的温度来调节后续帧图像的叠加提取的帧数。

(4)因为检测液体中存在杂质或者油污，步骤(3)所获得的气泡叠加图会存在离散的小点噪声。需要先对叠加图进行去噪处理，再进行图像处理获取轨迹连通域。具体的，在本实施例中，先对叠加图进行膨胀腐蚀操作，去除细小噪声。然后利用Canny算子对图像进行边缘检测，绘制气泡边缘；然后根据气泡边缘获取气泡上升轨迹的轨迹连通域。最后通过二值化处理过滤掉非闭合区域的噪声干扰。需要说明的是，在图像处理过程中，对得到的气泡连通域进行计数，并在图像中标记，得到轨迹连通域数量，即对应器件存在的疑似泄露孔数量。

需要说明的是，获取上述叠加图中气泡边缘信息的方式很多，可采用边缘检测、二阶导数算子等，在本实施例中，采用的Canny算子细节反应准确，定位精度高，具体的应用高阈值为0.1，低阈值为0.04时的Canny算子提取气泡连通域边缘。

具体的，在本实施例的步骤4中，绘制步骤3所获取的轨迹连通域的最小外接矩形，计算每个气泡中心点到最小外接矩形平行于气泡运动方向中心线的欧氏距离，获得轨迹连通域中气泡离散程度。具体的，在本实施例中，根据获取的每个气泡所对应的欧式距离，然后获取距离均值，利用距离均值反映轨迹连通域中气泡的离散程度。需要说明的是，当器件中存在多个细小气孔紧密聚集时，其漏出气泡可能会粘连上升，此时会将多个气孔的上升轨迹连通域绘制到同一个最小外接矩形中，这种情况也可能造成轨迹连通域中气泡的离散程度较大。

具体的，在本实施例的步骤5中，以气泡离散程度为主要评价属性，赋予第一权值w

ε＝w

其中，R为气泡离散程度，C为气泡遮盖程度。在本实施例中，第一权值与第二权值的比值为7:3。

具体的，在本实施例的步骤6中，根据气泡类型评价值判定气泡分布情况，如图3所示，在图像采集过程中，因水体晃动、气压不稳或者几个较小的泄露孔距离较近等原因，会造成轨迹连通域中气泡分布变化，图3中子图a为图像采集过程中，水体晃动或气压不稳等原因造成气泡分布离散的情况，此时第一最小外接矩形31的宽度明显大于泄露孔冒出气泡的宽度；子图b为理想情况下轨迹连通域中气泡的分布情况，呈竖直排列，此时第二最小外接矩形32接近泄露孔宽度；子图c为两个较小的泄露孔紧密相邻时轨迹连通域中气泡的分布状况，此时两列气泡相互粘连，划分到了同一轨迹连通域中，此时第三最小外接矩形33的宽度接近两列气泡对应泄露孔宽度之和。因此需要针对气泡的分布情况采取相应的图像处理方式，获取每个最小外接矩形所对应的泄露孔的宽度，具体的：

(1)当气泡类型评价值小于第一阈值时，判定轨迹连通域中气泡竖直排列，将轨迹连通域对应的最小外接矩形的宽作为对应泄露孔的宽度；需要说明的是，此时气泡在最小外接矩形中竖直排列，气泡的中心点与最小外接矩形平行于气泡运动方向中心线重合或者非常接近，并且大多数气泡会同时与最小外接矩形两条纵向边相切，离散程度较小。

(2)当气泡类型评价值大于或等于第一阈值且小于或等于第二阈值时，判定轨迹连通域中气泡分布离散，根据气泡特征结合气泡离散程度获取对应泄露孔的宽度；具体的：

以最小外接矩形框的横向底边作为横坐标，其左侧相邻边为纵坐标建立二维坐标系；

统计坐标(W，y)与坐标(0，y)之间直线与气泡的两个交点之间的距离，其中，W为最小外接矩形的宽度；

获取两个交点之间的距离的最大值，为分散气泡的泄露孔宽度。

(3)当气泡类型评价值大于第二阈值时，判定轨迹连通域中气泡密集且丰富，存在多个相邻细小泄露孔，将最小外接矩形的宽作为对应泄露孔的宽度。需要说明的是，当器件中存在多个较小泄露孔紧密聚集时，其漏出气泡可能会粘连上升，此时会将多个气孔的上升轨迹连通域绘制到同一个最小矩形中，而在本实施例中，通过每个气泡中心点与最小外接矩形平行于气泡运动方向中心线的欧氏距离的距离均值反映气泡的离散程度，所以这种情况也可能造成轨迹连通域中气泡的离散程度变大。并且此时轨迹连通域中的气泡分布密集且丰富，与单列分散气泡相比，附加评价属性较大，即此时的气泡类型评价值较大。需要进一步说明的是，因为此种情况为多个泄露孔紧密相连，此时多个泄露孔对器件气密性的影响不能再根据每个泄露孔去判定，其影响程度已经近似接近为一个较大的泄露孔，所以在本实施例中，在器件出现这种泄露情况时，将轨迹连通域对应的最小外接矩形的宽度作为对应泄露孔的宽度。

具体的，在本实施例的步骤7中，将每个连通域的宽度和器件的表面积输入气密性等级评估模型，得到器件泄露等级。为了消除量纲的影响且方便评价泄漏等级，本实施例将值域映射到[0,1]之间。具体的，气密性等级评估模型为L：

其中，W

在本实施例中，α＝100，需要说明的是，在本实施例中，上述器件泄露等级在

基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于人工智能的器件缺陷程度评估系统。

请参阅图4，该基于人工智能的器件缺陷程度评估系统100包括图像采集模块101、气泡特征获取模块102、轨迹连通域获取模块103、离散程度获取模块104、气泡类型评价值获取模块105、气泡分布类型判定模块106和泄露程度获取模块107。

具体的，图像采集模块用于获取待检测器件所处液体的液面静止时的初始帧图像，以及向器件加压后的后续帧图像。气泡特征获取模块用于将初始帧图像作为背景图，结合后续帧图像进行帧差法处理后，经过阈值分割获取气泡特征图，气泡特征图包括气泡的面积和中心点特征。轨迹连通域获取模块用于将多帧气泡特征图进行叠加后，进行图像处理，获取气泡上升轨迹的轨迹连通域及其数量。离散程度获取模块用于获取轨迹连通域的最小外接矩形，计算每个气泡的中心点到最小外接矩形平行于气泡运动方向中心线的欧氏距离，获得轨迹连通域中气泡离散程度。气泡类型评价值获取模块用于根据轨迹连通域中的气泡总面积与最小外接矩形的交并比以及气泡数量获得气泡遮盖程度，结合气泡离散程度获取轨迹连通域的气泡类型评价值。气泡分布类型判定模块用于根据气泡类型评价值结合阈值判定轨迹连通域中气泡分布类型，结合气泡特征和最小外接矩形获取轨迹连通域对应泄露孔宽度。泄露程度获取模块用于根据轨迹连通域数量以及每个轨迹连通域对应的泄露孔宽度结合器件的表面积，评估器件的泄漏程度。

进一步的，轨迹连通域获取模块包括连通域边缘获取单元和连通域获取单元。

具体的，连通域边缘获取单元用于利用图像处理去除多帧气泡特征图叠加后所获得的叠加图中细小噪声后，经过边缘检测提取气泡连通域边缘。连通域获取单元用于根据气泡连通域边缘获取轨迹连通域，并在叠加图中标记，获取轨迹连通域数量。

进一步的，气泡类型评价值获取模块包括气泡类型评价值获取单元，用于根据气泡离散程度和气泡遮盖程度获取气泡类型评价值，气泡类型评价单元包括加权子单元和加权求和子单元。

具体的，加权子单元用于以气泡离散程度为主要评价属性，赋予第一权值；以气泡遮盖程度为附加评价属性，赋予第二权值；其中，第一权值大于第二权值。加权求和子单元，用于将主要评价属性与附加评价属性加权求和，获得气泡类型评价值。

优选的，气泡分布类型判定模块包括第一类泄露孔宽度获取单元、第二类泄露孔宽度获取单元和第三类泄露孔宽度获取单元。

具体的，第一类泄露孔宽度获取单元用于当气泡类型评价值小于第一阈值时，判定轨迹连通域中气泡竖直排列，将最小外接矩形的宽作为对应泄露孔的宽度。第二类泄露孔宽度获取单元，用于当气泡类型评价值大于或等于第一阈值且小于或等于第二阈值时，判定轨迹连通域中气泡分布离散，根据气泡特征结合气泡离散程度获取对应泄露孔的宽度。第三类泄露孔宽度获取单元，用于当气泡类型评价值大于第二阈值时，判定轨迹连通域中气泡密集且丰富，存在多个相邻细小泄露孔，将最小外接矩形的宽作为对应泄露孔的宽度。

优选的，泄露程度获取模块包括气密性等级评估单元，用于将每个连通域的宽度和器件的表面积输入气密性等级评估模型，得到器件泄露等级，气密性等级评估模型为L：

其中，W

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。