一种缺损的数字字符的图像分割与匹配方法

技术领域

本发明属于汽车保险盒自动化组装生产线中的智能质量检测设备技术领域，具体涉及一种在汽车保险盒自动化组装生产线上的智能质量检测设备中应用的一种数字字符图像分割与匹配方法。

背景技术

汽车电路中通常设计有保险盒这类电路保护装置，里面大部分是一类在表面印刷有标识数字字符的电子器件，在保险盒组装生产时，需要依靠对这些数字字符的图像匹配来完成质量检测。主要关注的质量问题包括器件缺失、器件多余、器件种类不符等情况，一旦不合格的保险盒装配上车，将对汽车的行车安全造成隐患。目前，由于光照条件变化、器件表面受光不均匀、字符缺损或污渍、字符印刷质量不好等原因，会导致标识字符成像不完整，采用传统的基于字符轮廓的图像匹配方法很难准确地匹配缺损的标识字符，致使检测设备复检率高，生产效率低。因此，亟待研发既能包容由于系统误差和字符缺损造成的同类器件的相似度波动，又能准确地区分异类器件的方法，提高检测设备的检测准确度。

发明内容

本发明提出了一种缺损的数字字符的图像分割与匹配方法，主要包含以下内容：

步骤一、使用工业相机拍摄标准保险盒图像，通过调节光源保证每个应检的电子元器件表面的字符完整且清晰地成像。

步骤二、在标准保险盒图像中逐个手动截取应检的器件图像并将其灰度化，记录位置坐标信息。

首先，通过手动拖拽鼠标左键逐个利用矩形框确定器件的图像位置坐标，记录为位置信息集合RECT＝{rect(x

步骤三、基于改进的显著性检测方法设计字符灰度域计算函数，并根据函数值对标准器件的灰度图像g

器件表面印刷的图案存在两种典型情况，分别为字符灰度小于背景灰度(如白底黑字)和字符灰度大于背景灰度(如黑底白字)。为了提高设备的智能性，简化后续图像处理方法，利用改进的显著性检测方法，设计了字符灰度域计算函数，自动识别印刷字符与背景的灰度大小关系，其返回值赋给F

然后，将图像g

步骤四、分割图像g

默认情况下，直接利用OTSU法分割图像g

特殊情况下，若针对标准器件灰度图像g

步骤五、在二值图像b

步骤六、基于线宽w

步骤七、基于字符骨架图像

设标准字符骨架图像

取步长为1，将距离分为1至

步骤八、创建先验信息库。

经过上述图像处理过程，获取了器件的关键参数，即位置坐标信息rect(x

步骤九、通过工业相机拍摄待测保险盒图像，根据先验的标准器件位置信息RECT，自动地逐个截取相应的待测器件图像，并将其灰度化。设某个待测器件的灰度图像为g

步骤十、根据先验的字符灰度域函数值F

步骤十一、提取待测器件的字符骨架图像

步骤十二、根据步骤七所述方法求取待测器件字符骨架的颜色自相关图

步骤十三、基于动态规整(DTW)算法，构建标准器件和待测器件的颜色自相关图

然后通过DP算法在矩阵中寻找一条从序列起始点对(1，1)到终止点对

步骤三中基于改进的显著性检测方法设计字符灰度域计算函数，自动识别印刷字符与背景的灰度大小关系的实现过程如下：

1)先利用LC算法计算灰度图像g

设图像g

然后，将全部像素的显著值归一化至[0～255]，生成显著性图

计算显著性图

f

LC算法在计算全局对比度的过程中会导致稀有灰度等级占优，也就是稀有灰度等级会具有较高的显著值，而在实际检测过程中由于光照条件、材质反光等原因，会造成孤立的亮度较高的噪声。因此，显著像素不一定是字符，也可能是噪声。

2)通过与灰度图像的灰度域对比，去除噪声。

计算灰度图像g

统计显著像素中两类像素的占比情况。设显著像素中灰度值高的一类的像素占比Rate

根据Rate

由于噪声的像素占比远小于字符，当显著像素集合中灰度值高的一类的像素占比Rate

步骤五、在二值图像b

所述利用二次张氏图像细化(zhang-suen)算法提取标准器件的数字字符骨架图像

1)使用张氏图像细化(zhang-suen)算法提取图像b

2)设二值图像b

3)针对二值图像b

其中，

4)再次使用张氏图像细化算法提取图像

为二值图像/>

优选地，所述步骤六中基于线宽w

1)确定字符ROI区域和稳定的背景区域。基于线宽w

对字符骨架图像

2)在灰度图像g

所述步骤十一中根据先验的经验分割阈值T

首先，针对规范化后的待测图像g

设ΔN

若ΔN

|ΔN

若不成立，则令j＝j+1，重新计算sum

若ΔN

|ΔN

若不成立，则令j＝j-1，重新计算sum

然后，使用最优分割灰度T分割图像g

所述步骤十三中设计了矩阵元素D[u][v]描述标准器件

在动态规整(DTW)算法中，通过DP算法在距离矩阵中寻找一条从序列起始点对(1，1)到终止点对

正常检测时，由于系统误差的影响，即使是同一个器件在反复测试时也不能保证标准器件和待测器件的颜色自相关图数据序列完全相同。因此，将微小的距离波动范围定义为正常的畸变距离Δd，正常畸变范围内的索引差异在估计差异程度时可以忽略不计，即无差异；将3×Δd设为允许的最大畸变距离，超出此范围的索引差异因索引差值过大，对应的数据项几乎不存在相关性，因此，无需参与差异程度的计算，直接将点对的差异程度置为+∞，避免其成为最优路径上的点对。但是，由于噪声的干扰或字符骨架缺损会造成颜色相关图增长或缩短，当两个序列长度相差超过3×Δd，即使是相同器件，也会造成差异程度已被置为+∞的点对成为最优路径上的点，导致相似距离D

设矩阵元素D[u][v]的索引差值为d

d

针对d

其中，peak为标准器件

若上述条件同时满足,说明待测序列较短，且数据项可以忽略，D[u][v]置0。否则，D[u][v]保持+∞。

综上所述，D[u][v]的计算公式如下：

其中，f(d

当距离d

f(value

首先观察u,v对应数据项的差值是否满足下面的条件，若满足，说明值差异很小，为正常波动，故认为二者相同，置f(value

否则，分别考察畸变区域内、外的对应数据项的平均差值，判断以下条件：

其中，Δvalue2为经验阈值。若同时满足上面条件时，即考察区域内差值很小，为正常波动，故认为二者在畸变区域内中完全相同，则有f(value

最后，对上述条件都不满足的点对(u,v)，f(value

f(value

遍历矩阵所有点对(u,v)，按上述规则建立距离矩阵

output[u][j]＝Min(output[u-1][v-1],output[u][v-1],output[u-1][v])+distance[u][v]

参数peak为标准器件

1.计算标准器件

设序列

按下式对梯度G

得到梯度序列

2.计算每个数据项的梯度的显著值，并去除特征不显著的数据项。

首先，利用LC显著性检测方法计算梯度序列

本发明的有益效果：本发明通过机器视觉，针对汽车保险盒中表面印刷标识数字字符的器件，设计了一种缺损数字字符的图像分割和匹配方法，既能排除由于系统误差和字符缺损造成的相似度的波动干扰，又能准确地区分异类器件，有效地提高了检测设备的检测准确度。

附图说明

图1为本发明方法的技术路线图；

图2为两种典型的字符与背景的灰度关系对比图像；

图3为器件规范化图像；

图4为标准器件、同类待测器件、异类待测器件的字符骨架图像，其中(a)为二次张氏细化算法提取的标准器件字符骨架，(b)和(c)为基于改进的P-Tile方法提取的待测器件字符骨架；

图5为颜色相关图、颜色相关图梯度及颜色相关图梯度显著值；

图6为七种典型的标准器件图像和待测器件图像实例，其中，(a)为标准器件，(b)为待测器件。

具体实施方式

下面结合附图及具体实施方法对本发明做进一步的说明，并不是对本发明保护范围的限制。

本发明涉及一种缺损的数字字符的图像分割与匹配方法，完整的步骤如下所述：

步骤一、使用工业相机拍摄标准保险盒图像，通过调节光源保证每个应检的电子元器件表面的字符完整且清晰地成像。

步骤二、在标准保险盒图像中逐个手动截取应检的器件图像并将其灰度化，记录位置坐标信息。

首先，通过手动拖拽鼠标左键逐个利用矩形框确定器件的图像位置坐标，记录为位置信息集合RECT＝{rect(x

步骤三、基于改进的显著性检测方法设计字符灰度域计算函数，并根据函数值对标准器件的灰度图像g

器件表面印刷的图案存在两种典型情况，分别为字符灰度小于背景灰度(如白底黑字)和字符灰度大于背景灰度(如黑底白字)。图2中列举了两种典型的字符与背景的灰度关系对比图像。为了提高设备的智能性，简化后续图像处理方法，利用改进的显著性检测方法，设计了字符灰度域计算函数，自动识别印刷字符与背景的灰度大小关系，其返回值赋给F

1)先利用LC算法计算灰度图像g

设图像g

然后，将全部像素的显著值归一化至[0～255]，生成显著性图

计算显著性图

f

LC算法在计算全局对比度的过程中会导致稀有灰度等级占优，也就是稀有灰度等级会具有较高的显著值，而在实际检测过程中由于光照条件、材质反光等原因，会造成孤立的亮度较高的噪声。因此，显著像素不一定是字符，也可能是噪声。

2)通过与灰度图像的灰度域对比，去除噪声。

计算灰度图像g

统计显著像素中两类像素的占比情况。设显著像素中灰度值高的一类的像素占比Rate

根据Rate

由于噪声的像素占比远小于字符，当显著像素集合中灰度值高的一类的像素占比Rate

然后，将图像g

图3中列举了与图2对应的两种典型的规范化图像。

步骤四、分割图像g

默认情况下，直接利用OTSU法分割图像g

步骤五、在二值图像b

1)先针对二值图像b

张氏图像细化(zhang-suen)算法基于像素的邻域像素点的灰度情况，判断该像素是否为前景的轮廓像素，通过迭代逐渐删除轮廓像素，直至骨架像素，达到细化前景的目的。由原始二值图像b

表1

在第一次子迭代中，如果轮廓像素P

其中，

第二次子迭代删除了轮廓像素中的西北边界点和东南角点。

以上两个子迭代为一次迭代计算，直至图中剩下的像素点中没有点满足被删除的条件，则迭代结束，这些剩下的点即为二值图像细化后的骨架，得到首次骨架图像

2)设二值图像b

3)针对二值图像b

其中，[…]为向下取整符号。将闭运算结果记为图像

4)再次使用张氏图像细化(zhang-suen)算法提取图像

步骤六、基于线宽w

1)确定字符ROI区域和稳定的背景区域。基于线宽w

对字符骨架图像

2)在灰度图像g

步骤七、基于字符骨架图像

设标准字符骨架图像

取步长为1，将距离分为1至

步骤八、创建先验信息库。

经过上述图像处理过程，获取了器件的关键参数，即位置坐标信息rect(x

步骤九、通过工业相机拍摄待测保险盒图像，根据先验的标准器件位置信息RECT，自动地逐个截取相应的待测器件图像，并将其灰度化。设某个待测器件的灰度图像为g

步骤十、根据先验的字符灰度域函数值F

步骤十一、提取待测器件的字符骨架图像

1)根据先验的经验分割阈值T

设ΔN

若ΔN

|ΔN

若不成立，则令j＝j+1，重新计算sum

若ΔN

|ΔN

若不成立，则令j＝j-1，重新计算sum

然后，使用阈值T分割图像g

2)基于先验的字符线宽w

步骤十二、求取待测器件字符骨架的颜色自相关图

步骤十三、基于动态规整(DTW)算法，构建标准器件和待测器件的颜色自相关图

在动态规整(DTW)算法中，通过DP算法在距离矩阵中寻找一条从序列起始点对(1，1)到终止点对

正常检测时，由于系统误差的影响，即使是同一个器件在反复测试时也不能保证标准器件和待测器件的颜色自相关图数据序列完全相同。因此，将微小的距离波动范围定义为正常的畸变距离Δd，正常畸变范围内的索引差异在估计差异程度时可以忽略不计，即无差异；将3×Δd设为允许的最大畸变距离，超出此范围的索引差异因索引差值过大，对应的数据项几乎不存在相关性，因此，无需参与差异程度的计算，直接将点对的差异程度置为+∞，避免其成为最优路径上的点对。但是，由于噪声的干扰或字符骨架缺损会造成颜色相关图增长或缩短，当两个序列长度相差超过3×Δd，即使是相同器件，也会造成差异程度已被置为+∞的点对成为最优路径上的点，导致相似距离D

设矩阵元素D[u][v]的索引差值为d

d

针对上述相似距离D

1)计算标准器件

按下式对梯度G

2)计算每个数据项的梯度的显著值，并去除特征不显著的数据项。利用LC显著性检测方法计算梯度序列

然后，针对d

其中，Δvalue1为经验阈值。若上述两个条件同时满足，说明待测序列较长，且数据项可以忽略，D[u][v]置0。否则，继续判断下式：

若上述条件同时满足，说明待测序列较短，且数据项可以忽略，D[u][v]置0。否则，D[v][v]保持+oo。

综上所述，D[u][v]的计算公式如下：

其中，f(d

当距离d

f(value

首先观察u，v对应数据项的差值是否满足下面的条件，若满足，说明值差异很小，为正常波动，故认为二者相同，置f(value

否则，分别考察畸变区域内、外的对应数据项的平均差值，判断以下条件：

其中，Δvalue2为经验阈值。若同时满足上面条件时，即考察区域内差值很小，为正常波动，故认为二者在畸变区域内中完全相同，则有f(value

最后，对上述条件都不满足的点对(u，v)，f(value

f(value

遍历矩阵所有点对(u，v)，按上述规则建立距离矩阵

output[u][j]＝Min(output[u-1][v-1]，output[u][v-1]，output[u-1][v])+distance[u][v]

图6列举了一组七种典型的标准器件图像和待测器件图像实例，后三种颜色较亮或较暗的器件最易受环境干扰，造成字符缺损，检测难度大。

实验中取138张器件图像，其中缺损图片14张，同类器件共检测2608次，异类器件共检测16298次，相关参数Δvaluel设为0.04，Δvalue2设为0.04。表2列举了七种典型的数字字符器件的标准器件和待测器件相似距离D

表2标准器件与待测器件的相似距离D

以上结合附图对本发明的实施做了详细说明，本文虽通过特定的术语进行说明，但不能以此限定本专利的保护范围，熟悉此领域的人士可在了解本专利的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖与专利要求范围所界定范畴内。