基于机器视觉的SIM卡座缺陷识别方法

技术领域

本发明涉及图像处理技术领域，具体涉及基于机器视觉的SIM卡座缺陷识别方法。

背景技术

SIM是一种可移动的集成电路卡片，在移动通信中用于识别用户身份、存储用户数据、进行认证加密以及提供移动网络服务。SIM卡座是插入和固定SIM卡的部件结构，在移动通信设备中能够起到连接和固定SIM卡、传递数据、实现认证管理SIM状态的作用。当SIM卡座产生缺陷时，会直接影响SIM卡与移动通信设备的连接。由于SIM卡座中的弹簧片是SIM卡插拔时的主要接触部位，长时间的使用或频繁插拔都会导致弹簧片的磨损加剧，导致信号传输不稳定或无法正常连接的问题，所以，可以处理SIM卡座的图像，及时识别SIM卡座是否出现缺陷。

在处理SIM卡座的图像时，为了提升缺陷识别的精确度，需要对SIM卡座的图像进行增强，为了在图像增强处理的过程中减少噪声的引入、提升光照补偿效果，可使用SSR单尺度视网膜算法对SIM卡座的图像进行图像增强处理。但是，SSR单尺度视网膜算法对于尺度参数的依赖程度较大，不合适的尺度参数会导致图像增强效果不理想，从而导致SIM卡座缺陷识别效果不理想。

发明内容

本发明提供基于机器视觉的SIM卡座缺陷识别方法，以解决现有的SIM卡座缺陷识别效果不理想的问题，所采用的技术方案具体如下：

本发明一个实施例提供了基于机器视觉的SIM卡座缺陷识别方法，该方法包括以下步骤：

获取卡座图像，根据卡座图像获取弹簧片区域；

获取弹簧片区域内每个像素点对应的第一窗口，根据像素点对应的第一窗口获取像素点对应的磨损分布密度；

获取弹簧片区域内每个像素点对应的第一窗口内的光源点，获取弹簧片区域内的最外侧边缘和第一像素点，获取弹簧片区域内每个像素点对应的反射路径，获取光流点和光流相邻点，进而获取弹簧片区域内每个像素点对应的反射粗糙指数；获取光流点聚类簇，获取弹簧片区域内每个像素点对应的反射异常密度；根据弹簧片区域内每个像素点对应的反射粗糙指数和反射异常密度获取像素点对应的形变得分系数；

根据弹簧片区域内每个像素点对应的磨损分布密度和形变得分系数获取像素点对应的异常贡献度，根据每个像素点对应的异常贡献度获取弹簧片区域对应的自适应尺度，根据弹簧片区域对应的自适应尺度获取卡座增强图像，进而完成对SIM卡座的缺陷识别。

进一步，所述获取弹簧片区域内每个像素点对应的第一窗口，根据像素点对应的第一窗口获取像素点对应的磨损分布密度，包括的具体方法为：

分别以弹簧片区域内包含的每个像素点为中心建立以第一预设阈值为边长的窗口，将建立的窗口记为中心像素点的第一窗口；

获取弹簧片区域内的角点；

统计弹簧片区域内每个像素点对应的第一窗口内包含的角点数量；

获取第一窗口内每个角点对应的核密度估计值；

分别将第一窗口内每个角点作为待分析角点，将待分析角点与第一窗口内除待分析角点之外的所有角点之间的欧氏距离的均值记为待分析角点的角距；

将第一窗口内角点的核密度估计值与角点的角距之比记为角点对应的第一比值；

将弹簧片区域内像素点对应的第一窗口内包含的角点对应的第一比值之和记为弹簧片区域内像素点对应的磨损分布密度。

进一步，所述获取弹簧片区域内每个像素点对应的第一窗口内的光源点，包括的具体方法为：

分别将弹簧片区域内每个像素点作为待分析像素点，将待分析像素点对应的第一窗口内灰度值最大的像素点记为待分析像素点对应的光源点，当第一窗口内最大的灰度值有多个时，则将随机选择的灰度值最大的像素点的其中一个像素点记为待分析像素点对应的光源点。

进一步，所述获取弹簧片区域内的最外侧边缘和第一像素点，获取弹簧片区域内每个像素点对应的反射路径，获取光流点和光流相邻点，包括的具体方法为：

将卡座图像转为灰度图像，将获取的灰度图像记为卡座灰度图像；

对卡座灰度图像进行语义分割，获取弹簧片区域；

对卡座灰度图像进行边缘检测，获取弹簧片区域中的边缘；

统计弹簧片区域中每条边缘包含的像素点个数，将弹簧片区域中包含像素点个数最多的闭合边缘记为最外侧边缘；

将最外侧边缘上包含的像素点标记为第一像素点；

当待分析像素点对应的第一窗口内包含第一像素点时，将第一窗口内包含的每个第一像素点分别与待分析像素点对应的光源点连接，将连接获取的每个线段均记为待分析像素点对应的反射路径；

当待分析像素点对应的第一窗口内不包含第一像素点时，将第一窗口内与待分析像素点对应的光源点欧氏距离最大的像素点记为第二像素点，将第二像素点与待分析像素点对应的光源点连接的线段记为待分析像素点对应的反射路径；

从待分析像素点对应的反射路径的光源点一端出发，对反射路径上每个像素点进行编号；

分别将反射路径上每个像素点记为待分析路径点，将编号与待分析路径点的编号相邻且比待分析路径点的编号大的像素点记为待分析路径点的相邻路径点；

当待分析路径点的灰度值小于待分析路径点的相邻路径点的灰度值时，则标记待分析路径点的相邻路径点为待分析像素点对应的光流点，标记待分析路径点为待分析像素点对应的光流相邻点，同时，停止对待分析像素点对应的反射路径上像素点之间灰度值的比较。

进一步，所述获取弹簧片区域内每个像素点对应的反射粗糙指数，包括的具体方法为：

统计弹簧片区域内像素点对应的第一窗口内包含的反射路径的数量；

将弹簧片区域内像素点对应同一条反射路径上的光流相邻点的梯度值与光流点的梯度值的差值记为所述反射路径对应的第一差值；

将弹簧片区域内像素点对应的第一窗口内包含的所有反射路径对应的第一差值的和记为像素点对应的反射粗糙指数。

进一步，所述获取光流点聚类簇，获取弹簧片区域内每个像素点对应的反射异常密度，包括的具体方法为：

对所有光流点进行聚类，获取光流点聚类簇；

将所有光流点聚类簇内包含的光流点数量之和记为第一和值；

当待分析像素点对应的第一窗口包含的多个光流点对应不同光流点聚类簇时，选取第一窗口内包含的光流点对应的光流点聚类簇，将选取的光流点聚类簇中包含的光流点位于第一窗口内数量最多的光流点聚类簇记为待分析像素点对应的光流点聚类簇；

当待分析像素点对应的第一窗口包含的光流点对应同一光流点聚类簇时，则将对应的光流点聚类簇记为待分析像素点对应的光流点聚类簇；

将像素点对应的光流点聚类簇内包含的光流点数量与第一和值的比值记为像素点对应的第二比值；

将第二比值与第一调整因子的和记为像素点对应的第二和值；

将像素点对应的第一窗口内包含的光流点数量与第一窗口内包含的像素点数量之比与像素点对应的第二和值的乘积记为像素点对应的反射异常密度。

进一步，所述根据弹簧片区域内每个像素点对应的反射粗糙指数和反射异常密度获取像素点对应的形变得分系数，包括的具体方法为：

将弹簧片区域内每个像素点对应的反射粗糙指数和反射异常密度的乘积记为像素点对应的形变得分系数。

进一步，所述根据弹簧片区域内每个像素点对应的磨损分布密度和形变得分系数获取像素点对应的异常贡献度，包括的具体方法为：

将弹簧片区域内每个像素点对应的磨损分布密度与第一调整因子的和记为像素点对应的第三和值；

将弹簧片区域内每个像素点对应的形变得分系数与第一调整因子的和记为像素点对应的第四和值；

将像素点对应的第三和值与第四和值的乘积的线性归一化值记为像素点对应的异常贡献度。

进一步，所述根据每个像素点对应的异常贡献度获取弹簧片区域对应的自适应尺度，包括的具体方法为：

将弹簧片区域内包含的所有像素点对应的异常贡献度的均值与第二范围阈值的乘积记为弹簧片区域对应的第一乘积；

将第一范围阈值与所述弹簧片区域对应的第一乘积的差值的取整值记为弹簧片区域对应的自适应尺度。

进一步，所述根据弹簧片区域对应的自适应尺度获取卡座增强图像，进而完成对SIM卡座的缺陷识别，包括的具体方法为：

将每个弹簧片区域对应的自适应尺度作为尺度参数的取值，对卡座灰度图像中每个弹簧片区域分别使用图像增强算法进行处理，获取卡座增强图像；

将卡座增强图像输入神经网络，获取卡座增强图像对应的SIM卡座的缺陷类型。

本发明的有益效果是：

本发明从SIM卡座的图像中提取出易出现缺陷的弹簧片区域，首先，根据弹簧片产生变形、磨损等缺陷的位置的光反射现象与正常弹簧片差异较大的特征，对每个像素点对应的磨损分布密度进行评价；其次，根据弹簧片出现缺陷的位置边缘出现光流带的特征，对每个像素点对应的形变得分系数进行评价；然后，根据弹簧片区域内每个像素点对应的磨损分布密度和形变得分系数获取像素点对应的异常贡献度，得到对SIM卡座弹簧片区域内每个像素点位置异常程度的准确评价，即每个像素点位置应进行增强的强度，提升后续对SIM卡座缺陷识别的精度；根据每个像素点对应的异常贡献度获取弹簧片区域对应的自适应尺度，根据弹簧片区域对应的自适应尺度获取卡座增强图像，提升对SIM卡座的图像进行图像增强的效果，解决图像质量不佳导致的缺陷识别精度不足的问题，进而根据卡座增强图像完成对SIM卡座的缺陷识别，进一步提高SIM卡座缺陷识别的准确性，解决现有的SIM卡座缺陷识别效果不理想的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的基于机器视觉的SIM卡座缺陷识别方法流程示意图；

图2为反射路径示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的基于机器视觉的SIM卡座缺陷识别方法流程图，该方法包括以下步骤：

步骤S001、获取卡座图像，根据卡座图像获取弹簧片区域。

设置CCD相机，使CCD相机可以实现从上到下进行俯视拍摄，使用CCD相机获取SIM卡座的图像。对SIM卡座的图像使用小波变换进行去噪，避免SIM卡座的图像中的噪声干扰，将去噪后的SIM卡座的图像记为卡座图像，卡座图像为RGB图像。将卡座图像转为灰度图像，将获取的灰度图像记为卡座灰度图像。其中，使用小波变换对SIM卡座的图像去噪为公知技术不再赘述。

将卡座灰度图像输入PSPNet多尺度语义分割网络，获取弹簧片区域，弹簧片区域即为SIM卡座弹簧片在卡座灰度图像中对应的区域。其中，PSPNet多尺度语义分割网络的损失函数选用交叉熵损失函数，优化算法选用RMSProp，PSPNet多尺度语义分割网络的构建和训练过程为公知技术，不再赘述。

至此，获取弹簧片区域。

步骤S002、获取弹簧片区域内每个像素点对应的第一窗口，根据像素点对应的第一窗口获取像素点对应的磨损分布密度。

SIM卡座金属部分中的弹簧片容易产生变形、磨损等缺陷，当弹簧片区域出现磨损或变形时，光源下获取的弹簧片区域中出现缺陷的位置的光反射现象会与正常的光反射现象有较大的差异，出现明显的较亮的部分，以此对弹簧片区域内每个像素点进行分析。

对卡座灰度图像使用Harris角点检测，获取弹簧片区域内的角点。

分别以弹簧片区域内包含的每个像素点为中心建立以第一预设阈值为边长的窗口，将建立的窗口记为中心像素点的第一窗口，其中，第一预设阈值的经验值为5。统计弹簧片区域内每个像素点对应的第一窗口内包含的角点数量。使用KDE核密度估计方法，获取第一窗口内每个角点对应的核密度估计值。其中，核密度估计的核函数选择高斯核函数，核函数带宽为3*3，KDE核密度估计方法为公知技术，不再赘述。

分别将第一窗口内每个角点作为待分析角点，将待分析角点与第一窗口内除待分析角点之外的所有角点之间的欧氏距离的均值记为待分析角点的角距。

根据上述数据，获取弹簧片区域内每个像素点对应的磨损分布密度。

式中，

式中，将第一窗口内包含的角点对应的角距分之一作为角点对应的核密度估计值的权重，获取角点对中心像素点对应的磨损分布密度的贡献值。

当弹簧片区域内像素点对应的第一窗口内包含的角点数量小于等于1时，像素点对应的磨损分布密度为0。

当像素点对应的第一窗口内包含的角点对应的核密度估计值越大时，则角点周围分布的其他角点越多，则角点处越可能为磨损区域，即像素点越可能处于磨损区域，像素点对应的磨损分布密度越大，对像素点位置的细节增强程度应越大。

至此，获取弹簧片区域内每个像素点对应的磨损分布密度。

步骤S003、获取弹簧片区域内每个像素点对应的第一窗口内的光源点，获取弹簧片区域内的最外侧边缘和第一像素点，获取弹簧片区域内每个像素点对应的反射路径，获取光流点和光流相邻点，进而获取弹簧片区域内每个像素点对应的反射粗糙指数；获取光流点聚类簇，获取弹簧片区域内每个像素点对应的反射异常密度；根据弹簧片区域内每个像素点对应的反射粗糙指数和反射异常密度获取像素点对应的形变得分系数。

弹簧片在正常状态下表面较为光滑，光线会在其表面发生镜面反射现象。当弹簧片出现缺陷导致表面形变时，弹簧片表面不再光滑，在形变区域的边缘会产生一条光流带。同时，弹簧片表面缺陷越为明显时，弹簧片表面光滑程度越小，光流带区域越大。

对卡座灰度图像使用Canny边缘检测算子，获取弹簧片区域中的边缘。其中，Canny边缘检测为公知技术，不再赘述。统计弹簧片区域中每条边缘包含的像素点个数，将弹簧片区域中包含像素点个数最多的闭合边缘记为最外侧边缘。将最外侧边缘上包含的像素点标记为第一像素点。

分别将弹簧片区域内每个像素点作为待分析像素点，将待分析像素点对应的第一窗口内灰度值最大的像素点记为待分析像素点对应的光源点。当第一窗口内最大的灰度值有多个时，则随机选择灰度值最大的像素点的其中一个像素点，将随机选择的像素点记为待分析像素点对应的光源点。

当待分析像素点对应的第一窗口内包含第一像素点时，将第一窗口内包含的每个第一像素点分别与待分析像素点对应的光源点连接，将连接获取的每个线段均记为待分析像素点对应的反射路径。当待分析像素点对应的第一窗口内不包含第一像素点时，将第一窗口内与待分析像素点对应的光源点欧氏距离最大的像素点记为第二像素点，将第二像素点与待分析像素点对应的光源点连接的线段记为待分析像素点对应的反射路径。反射路径示意图如图2所示。

获取待分析像素点对应的反射路径，从反射路径的光源点一端出发，对反射路径上每个像素点进行编号。分别将反射路径上每个像素点记为待分析路径点，将编号与待分析路径点的编号相邻且比待分析路径点的编号大的像素点记为待分析路径点的相邻路径点。当待分析路径点的灰度值小于待分析路径点的相邻路径点的灰度值时，则标记待分析路径点的相邻路径点为待分析像素点对应的光流点，标记待分析路径点为待分析像素点对应的光流相邻点，同时，停止对待分析像素点对应的反射路径上像素点之间灰度值的比较。获取光流点和光流相邻点的梯度值。光流点即为弹簧片区域内出现光反射异常情况的位置。

获取弹簧片区域内每个像素点对应的反射粗糙指数。

式中，

当弹簧片区域内像素点对应的第一窗口内反射路径上的光流相邻点与光流点的梯度值差异越大时，光流点处的光线反射程度越大，像素点对应的反射粗糙指数越大，即像素点的光线反射异常程度越高，弹簧片表面像素点位置越不光滑，越应该对像素点位置的细节特征进行增强。

使用DBSCAN聚类算法，以5为临域半径，以5为邻域中最小样本点个数，对所有光流点进行聚类，获取多个光流点聚类簇。统计每个光流点聚类簇内包含的光流点个数。

当待分析像素点对应的第一窗口包含的多个光流点对应不同光流点聚类簇时，选取第一窗口内包含的光流点对应的光流点聚类簇，将选取的光流点聚类簇中包含的光流点位于第一窗口内数量最多的光流点聚类簇记为待分析像素点对应的光流点聚类簇。当待分析像素点对应的第一窗口包含的光流点对应同一光流点聚类簇时，则将对应的光流点聚类簇记为待分析像素点对应的光流点聚类簇。

获取弹簧片区域内每个像素点对应的反射异常密度。

式中，

当像素窗口内的光流点个数越多时，像素点对应的第一窗口的光反射异常情况越严重，像素点越有可能对应SIM卡座的形变区域，此时，像素点对应的反射异常密度越大。当像素点对应的光流点聚类簇内包含的光流点数量与所有光流点聚类簇内包含的光流点数量之和的比值越大时，像素点对应的第一窗口的光反射异常情况越严重，像素点越有可能对应SIM卡座的形变区域，此时，像素点对应的反射异常密度越大。

根据弹簧片区域内每个像素点对应的反射粗糙指数和反射异常密度获取像素点对应的形变得分系数。

式中，

当弹簧片区域内像素点对应的反射粗糙指数和反射异常密度越大时，像素点对应的形变得分系数越大，即像素点处的光线反射异常情况越为严重，像素点越有可能对应SIM卡座的形变区域。

至此，获取弹簧片区域内每个像素点对应的形变得分系数。

步骤S004、根据弹簧片区域内每个像素点对应的磨损分布密度和形变得分系数获取像素点对应的异常贡献度，根据每个像素点对应的异常贡献度获取弹簧片区域对应的自适应尺度，根据弹簧片区域对应的自适应尺度获取卡座增强图像，进而完成对SIM卡座的缺陷识别。

获取弹簧片区域内每个像素点对应的异常贡献度。

式中，

当像素点对应的磨损分布密度越大时，则像素点越可能位于SIM卡座的磨损位置，此时，像素点对应的异常贡献度越大，即越应该对像素点位置进行更为精细的细节增强。当像素点对应的形变得分系数越大时，则像素点位置的光线反射异常程度越高，此时，像素点对应的异常贡献度越大，即像素点所在位置越有可能是弹簧片的形变区域，越应该增强该像素点处的细节信息。

在使用SSR单尺度视网膜算法对图像进行处理时，尺度参数的经验取值范围一般为

式中，

当弹簧片区域内包含的所有像素点对应的异常贡献度的均值越大时，则弹簧片区域对应的自适应尺度越大，对弹簧片区域中低照度问题改善效果越为显著。

将每个弹簧片区域对应的自适应尺度作为尺度参数的取值，对卡座灰度图像中每个弹簧片区域分别使用SSR单尺度视网膜算法进行图像增强，获取卡座增强图像。其中，使用SSR单尺度视网膜算法进行图像增强为公知技术，不再赘述。

将卡座增强图像输入ResNet神经网络模型，获取卡座增强图像对应的SIM卡座的缺陷类型，其中，ResNet神经网络模型的损失函数采用交叉熵损失函数，优化算法采用Adam，标签数据通过人为标注，标签包括磨损、形变、无缺陷等。其中，ResNet神经网络模型的搭建和训练过程为公知技术，不再赘述。

至此，完成对SIM卡座的缺陷识别。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。