一种笔记本内结构图像矫正方法

技术领域

本发明涉及图像矫正领域，特别涉及一种笔记本内结构图像矫正方法。

背景技术

在现代工业生产中，对产品品质的检测基本都是100％全检，笔记本电脑内结构中的螺丝是否有漏拧/滑丝；配件如内存/网卡/扬声器/以及其他排线或插头是否正确连接等器件也是全检。这样繁重的检测工作传统方法一直依赖人工目视进行，既给工厂增加巨大的人工成本和管理成本，又无法满足产品高速、在线、高精度和“零缺陷”的要求。因此，对笔记本电脑内结构采用机器视觉方式的检测进行应用研究具有实际应用价值。但采用机器视觉方式进行图像采集时，由于来料姿态多样，导致相机采集到的图片会产生歪斜。因后续步骤需按照预先制作好的模板对指定区域裁剪元器件，图片出现歪斜后，会造成裁剪得到的图片中元器件不全，从而影响笔记本内机构缺陷检测的结果。因此，对笔记本电脑内结构图像进行自动倾斜校正时非常有必要的。

目前存在的倾斜校正方法主要有：基于Hough变换的方法、基于投影的方法以及K近邻方法。基于Hough的方法将直角坐标系的目标点映射到参数坐标系，图像空间中同一条直线上的点变换到参数空间下对应的正弦曲线将相交于一点，即可确定图像中的直线。Hough变换具有良好的抗噪特性且可以容忍直线的不连续性，但是算法实现复杂开销较大，结果不精确；基于投影的方法是最常用的倾斜校正的方法，它是对文本在不同的角度下进行投影，得到若干投影图，根据投影图的某些统计特性计算倾斜角度，但是其需要对整张图进行投影且投影方向多，需要大量的计算，且随着图像尺寸以及图像复杂度的增加，出错几率大大增加；K近邻聚类法通过找出所有连通区中心的K个最临近点，计算每对近邻的矢量方向并统计生成直方图，直方图的峰值即为图像的倾角，由于内结构图像连通域多，所以此方法比较耗时且精度不佳。

因此，如何解决上述问题，是本领域技术人员需要研究的内容。为此，我们提出一种笔记本内结构图像矫正方法，针对现有技术的弊端，提出基于融合加速鲁棒特征以及形状特征的内结构图像校正方法，实现对笔记本内结构图倾斜校正，不仅检测结果稳定，而且能够对多种机型进行纠偏校正，通用性强。

发明内容

本发明的主要目的在于提供一种笔记本内结构图像矫正方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种笔记本内结构图像矫正方法，包括以下步骤：

步骤一：制作第一次出现机型的内结构模板图，在模板图上选取两个特征明显的定位区域，分别命名为定位区域1以及定位区域2，输入待处理图像、模板图像以及定位区域1和定位区域2；否则可跳过此步骤；

步骤二：缩放模板图，计算模板图的SURF特征，同时计算待处理图像的SURF特征，进行特征匹配并计算仿射变换矩阵1；

步骤三：计算定位区域1和定位区域2处的形状特征，在待处理图像上寻找相匹配的形状特征，根据匹配结果得分进行排序，计算出仿射变换矩阵2；

步骤四：对仿射变换矩阵1和仿射变换矩阵2进行加权融合；

步骤五：对待处理图像使用融合后的仿射矩阵变换进行图像倾斜校正，完成对结构图像的纠偏。

进一步的，所述步骤一的具体步骤为：首先，采集带检测机型的整版图片；然后，进行人工校正旋转，并对整图中的背景区域进行裁剪，对内结构整版图部分进行保留；然后，在裁剪完成后的整图上，选取两个特征明显的定位区域1和定位区域2进行辅助纠偏。

进一步的，所述步骤二中计算模板图的SURF特征流程为：首先，提取特征点；然后，在尺度空间实现特征点定位；接着确定特征点方向；最后构建特征描述子实现特征提取。

进一步的，所述计算模板图的SURF特征流程中的提取特征点

具体过程为：通过Hessian矩阵行列式对特征点进行检测，每个像素点都能够求出一个Hessian矩阵：Hessian矩阵行列式的最终简化为：

det(H)＝D

其中det(H)表示点X附近区域的盒式滤波响应值，它用来检测极点，为了平衡使用盒式滤波器近似带来的误差，在D

det(H)＝D

盒式滤波器对图像的滤波转化成计算图像上不同区域间像素和的加减运算；

所述计算模板图的SURF特征流程中的在尺度空间实现特征点定位的具体过程为：SURF特征点的定位是在不同尺度特征点的响应图像上采用邻域非极大值抑制，将每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，选出特征点候选点；再利用三维线性插值法对候选点进行定位，获得亚像素级别的特征点，由此完成特征点的提取；

所述确定特征点方向具体过程为：统计特征点领域内的Haar小波特征，即在特征点的领域内，统计60度扇形内所有点的水平Haar小波特征和垂直Haar小波特征总和，这样一个扇形就得到了一个响应值，将响应值分别加起来，形成矢量，选择其中最长的矢量方向，作为最终特征点的主方向；

所述构建特征描述子实现特征提取具体过程为：在特征点确定之后，根据特征点构建描述子，是在特征点周围取一个4*4的矩形区域块，所取得矩形区域方向是沿着特征点的主方向，每个子区域统计25个像素的水平方向和垂直方向的Haar小波特征，把Haar小波值作为每个子块区域的特征向量，所以一共有4*4*4＝64维向量作为SURF特征的描述子。

进一步的，所述步骤二中的模板图和待处理图进行特征匹配的具体操作为：通过计算两个特征点间的欧式距离来确定匹配度，实现匹配，然后根据特征匹配点计算单应性矩阵(Homography Matrix)，即可得到仿射变换矩阵1。

进一步的，所述步骤二中图像缩放的具体步骤为：将图像尺寸同一缩放至1024*1024。

进一步的，所述步骤三中计算形状特征采用的方法为Hausdorff距离，然后根据Hausdorff距离匹配结果得分进行排序，并计算单应性矩阵，得到仿射变换矩阵2。

进一步的，所述Hausdorff距离是描述两组点集之间相似程度的一种量度，假设有两组集合A＝{a

H(A,B)＝max(h(A,B),h(B,A))

其中，

h(A,B)＝max(a∈A)min(b∈B)||a-b||

h(B,A)＝max(b∈B)min(a∈A)||b-a||

||·||是点集A和B点集间的距离范式，H(A,B)为双向Hausdorff距离，是Hausdorff距离的最基本形式；h(A,B)和h(B,A)分别称为从A集合到B集合和从B集合到A集合的单向Hausdorff距离，即h(A,B)实际上首先对点集A中的每个点a

进一步的，所述步骤四中加权融合的具体过程为：仿射变换矩阵M1的权重为0.8，仿射变换矩阵M2的权重设为0.2，融合后仿射变换矩阵M即为：

M＝0.8*M1+0.2*M2。

进一步的，所述步骤五中图像倾斜校正的具体操作为：

其中(t

与现有技术相比，本发明具有如下有益效果：

1、将surf特征匹配和形状特征匹配两种方法集合在一起，同时采用了一种加权仿射矩阵融合方法，重点突出了surf特征匹配方法，也将形状特征匹配作为辅助纠偏方法，提高了内结构图像纠偏的精确率；

2、通过不同机型制作不同的模板，选择不同的定位区域，能够对多种机型进行纠偏校正，本发明方法具有普适性，通用性强。

附图说明

图1为本发明一种笔记本内结构图像矫正方法的内结构图像纠偏的流程示意图；

图2为本发明一种笔记本内结构图像矫正方法的SURF特征描述子构建示意图。

具体实施方式

下面结合具体实施方式对本发明作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。

如图1-2所示，一种笔记本内结构图像矫正方法，包括以下步骤：

步骤一：制作第一次出现机型的内结构模板图，在模板图上选取两个特征明显的定位区域，分别命名为定位区域1以及定位区域2，输入待处理图像、模板图像以及定位区域1和定位区域2；否则可跳过此步骤；

步骤二：缩放模板图，计算模板图的SURF特征，同时计算待处理图像的SURF特征，进行特征匹配并计算仿射变换矩阵1；

步骤三：计算定位区域1和定位区域2处的形状特征，在待处理图像上寻找相匹配的形状特征，根据匹配结果得分进行排序，计算出仿射变换矩阵2；

步骤四：对仿射变换矩阵1和仿射变换矩阵2进行加权融合；

步骤五：对待处理图像使用融合后的仿射矩阵变换进行图像倾斜校正，完成对结构图像的纠偏。

步骤一的具体步骤为：首先，采集带检测机型的整版图片；然后，进行人工校正旋转，并对整图中的背景区域进行裁剪，对内结构整版图部分进行保留；然后，在裁剪完成后的整图上，选取两个特征明显的定位区域1和定位区域2进行辅助纠偏。

步骤二中计算模板图的SURF特征流程为：首先，提取特征点；然后，在尺度空间实现特征点定位；接着确定特征点方向；最后构建特征描述子实现特征提取。

计算模板图的SURF特征流程中的提取特征点具体过程为：通过Hessian矩阵行列式对特征点进行检测，每个像素点都能够求出一个Hessian矩阵：Hessian矩阵行列式的最终简化为：

det(H)＝D

其中det(H)表示点X附近区域的盒式滤波响应值，它用来检测极点，为了平衡使用盒式滤波器近似带来的误差，在D

det(H)＝D

盒式滤波器对图像的滤波转化成计算图像上不同区域间像素和的加减运算；

计算模板图的SURF特征流程中的在尺度空间实现特征点定位的具体过程为：SURF特征点的定位是在不同尺度特征点的响应图像上采用邻域非极大值抑制，将每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，选出特征点候选点；再利用三维线性插值法对候选点进行定位，获得亚像素级别的特征点，由此完成特征点的提取；

确定特征点方向具体过程为：统计特征点领域内的Haar小波特征，即在特征点的领域内，统计60度扇形内所有点的水平Haar小波特征和垂直Haar小波特征总和，这样一个扇形就得到了一个响应值，将响应值分别加起来，形成矢量，选择其中最长的矢量方向，作为最终特征点的主方向；

构建特征描述子实现特征提取具体过程为：在特征点确定之后，根据特征点构建描述子，是在特征点周围取一个4*4的矩形区域块，所取得矩形区域方向是沿着特征点的主方向，每个子区域统计25个像素的水平方向和垂直方向的Haar小波特征，把Haar小波值作为每个子块区域的特征向量，所以一共有4*4*4＝64维向量作为SURF特征的描述子。

步骤二中的模板图和待处理图进行特征匹配的具体操作为：通过计算两个特征点间的欧式距离来确定匹配度，实现匹配，然后根据特征匹配点计算单应性矩阵(HomographyMatrix)，即可得到仿射变换矩阵1。

步骤二中图像缩放的具体步骤为：将图像尺寸同一缩放至1024*1024。

步骤三中计算形状特征采用的方法为Hausdorff距离，然后根据Hausdorff距离匹配结果得分进行排序，并计算单应性矩阵，得到仿射变换矩阵2。

Hausdorff距离是描述两组点集之间相似程度的一种量度，假设有两组集合A＝{a

H(A,B)＝max(h(A,B),h(B,A))

其中，

h(A,B)＝max(a∈A)min(b∈B)||a-b||

h(B,A)＝max(b∈B)min(a∈A)||b-a||

||·||是点集A和B点集间的距离范式，H(A,B)为双向Hausdorff距离，是Hausdorff距离的最基本形式；h(A,B)和h(B,A)分别称为从A集合到B集合和从B集合到A集合的单向Hausdorff距离，即h(A,B)实际上首先对点集A中的每个点a

步骤四中加权融合的具体过程为：仿射变换矩阵M1的权重为0.8，仿射变换矩阵M2的权重设为0.2，融合后仿射变换矩阵M即为：

M＝0.8*M1+0.2*M2。

步骤五中图像倾斜校正的具体操作为：

其中(t

通过采用上述技术方案：将surf特征匹配和形状特征匹配两种方法集合在一起，同时采用了一种加权仿射矩阵融合方法，重点突出了surf特征匹配方法，也将形状特征匹配作为辅助纠偏方法，提高了内结构图像纠偏的精确率，通过不同机型制作不同的模板，选择不同的定位区域，能够对多种机型进行纠偏校正，本发明方法具有普适性，通用性强。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。