一种麦克风收音孔缺陷检测方法

技术领域

本发明涉及一种针对手机麦克风防尘网的缺陷检测方法，该技术属于缺陷检测、深度学习、图像处理、计算机视觉领域。

背景技术

如今电子设备诸如智能手机、录音笔、只能音响等均含有麦克风，通过麦克风采集声音信号实现录音、通话、交互等功能。麦克风IC上有一个收音孔，用于采集声音信号。随着设备的小型化，麦克风也越来越小，收音孔也越来越小，生产过程中落入其中的灰尘就可能会严重影响声音信号的采集效果。加工过程中收音孔还会出现偏心、溢胶、毛丝等缺陷。不同的缺陷之间结构差异大，背景区域变化大，缺陷区域在灰度信息、形状信息、尺寸大小方面呈现多样化，与背景区域的对比度也存在着差异，同时缺陷出现的位置也差异较大，这些因素都增加了对于工件缺陷进行正确检测的难度。

如今生产环境中，通常是投入大量人力在显微镜下对麦克风进行检查，检测效率非常低,无法满足生产需求。

针对目前麦克风收音孔缺陷的检测，主要有以下几个缺点：主观性强,人工检测评判标准因人而异，对工件缺陷有不一样的判断。鲁棒性差,人工检测存在人眼、大脑疲劳的问题，长时间的检测可能会引起漏判错判。由于器件体积较小，人工检测的速度会比较慢，只能进行抽测。

本发明目的是提供一种麦克风缺陷检测方法，能够对麦克风进行快速检测，且能够适应不同型号的麦克风器件，提高麦克风缺陷检测效率进而提高产品良品率。

发明内容

本申请提供一种麦克风检测方法。所述麦克风检测方法可以设置在麦克风的生产线上，用于检测麦克风的收音孔内是否存在异物、是否偏心等，从而判断生产出来的麦克风是否合格。若判断为麦克风合格，不做任何处理，若判断为麦克风不合格，则需要对不合格的麦克风进行剔除处理。本发明提供的方法能够提高麦克风缺陷检测效率进而提高产品良品率。本发明的技术方案如下。

首先需要到现场采集麦克风图像，利用颜色特征截取麦克风收音孔区域图像，对麦克风收音孔上的好孔、溢胶孔、毛丝、灰尘、色块等目标进行标记制作数据集。构建YoloV4深度学习缺陷检测网络，使用数据集进行迭代训练，将训练好的Yolo V4模型用于服务器缺陷检测模块中。

调用工业摄像头拍摄麦克风元件托盘上的元件图像，对图像进行清晰度检测。通过待测元件颜色特征，将RGB空间彩色图像转到CMYK空间，针对黄色通道Y进行平滑滤波，滤波后图像极值点即为收音孔近似中心位置。对收音孔区域进行清晰度检测，若清晰度小于阈值则调整摄像头参数重复拍摄直至得到清晰的图像或者拍摄次数达到阈值。

利用归一化相关系数法获取的清晰的待测器件图像与模板图像进行模板匹配用于确定收音孔圆环区域，截取该区域子图使用模板图像对待测图像进行模板匹配，确定收音孔圆环区域并截取子图。将所得子图输入到深度学习模型进行缺陷检测，利用深度学习训练的网络模型识别定位好孔、溢胶孔、灰尘、色块、毛丝等目标。

利用深度学习模块检测出的好孔与溢胶孔位置信息生成二值图像，将该二值图像与输入的二值模板进行精确匹配，用于确认深度学习检测出的所有孔的相对位置，与二值模板图像做对比，以进一步确认防尘网的偏心度、排除部分深度学习检测过程出现的误检。

利用深度学习检测得到的结果与模板匹配的结果对待测麦克风进行综合评估，判别待测件是否存在缺陷。

附图说明

图1为几种麦克风常见缺陷示意图。

图2是本发明针对麦克风收音孔缺陷检测的流程示意图。

图3是深度学习检测模块的训练流程示意图。

具体实施方案

本申请使用到了深度学习来对缺陷和正常的网孔进行检测，首先需要到现场采集麦克风图像用于深度学习模型的训练。因为随着产品迭代，麦克风收音孔的也会发生较大变化，所以需要采集多种型号的麦克风图像来提高深度学习检测的泛化能力。

本申请的深度学习检测模块使用了Yolo v4网络，该网络输入的图像尺寸必须是32的倍数，输入图像的尺寸越大消耗的时间也就越长，输入的图像过小，麦克风收音孔中较小的灰尘、溢胶孔这些较小的目标的检测率就会急剧下降。在实际使用中采用了200万像素工业镜头，待检测区域尺寸约为600像素左右，所以最终深度学习网络的输入尺寸选择了608*608。

根据深度学习网络的输入尺寸，将用于训练的图像的待检测区域通过其颜色特征提取出来用于制作数据集。数据集分为两类，一类是用于检测收音孔滤网上正常孔的，另一类是用于检测各种缺陷。将所需检测的目标使用软件labelImg框选出来并打上对应标签，生成与之对应的xml文件。然后将制作好的数据集分别用于好孔检测与缺陷检测两个网络的训练，其中90%样本用于训练，10%样本用于测试。由于缺陷样本较少，所以还要对数据增强，主要方法有将图像随机旋转一定角度、微调图像对比度、亮度等。根据测试结果优化网络参数、扩充数据集，不断对网络进行迭代，直至测试结果达到最优。

从各个不同型号的麦克风元件中分别筛选出质量较好且拍摄清晰的图像，以收音孔为中心截取出尺寸为608*608的子图作为模板，根据具体的型号设置具体的参数。将待测区用矩形框框选并记为R1，将收音孔防尘网区域使用圆框选出来并记为C1。将模板图中防尘网的每个孔都框选出来，生成一个尺寸为608*608的二值网孔模板。

调整相机焦距使获取的图像清晰度满足检测需求。受限于相机镜头景深较短，待测元件离镜头距离稍微发生一点变化就可能导致拍摄的图像待测区域不清晰，因此需要根据具体情况调节相机的焦距。首先相机运动至初始位置拍摄一张麦克风元件图像。由于收音孔防尘网是黄色的，所以采用颜色特征确定待检测区域范围。将所拍摄图像由RGB空间转到CMYK空间，Y通道像素值越高则说明越接近黄色。采用尺寸为矩形R1高和宽的平均值大小的滤波器对通道Y进行平滑滤波。将平滑后的图像的极大值点作为待测区域的中心点，并以之截取高宽为608的子图作为待测图像。

针对待测图像进行清晰度检测：模糊估计分为两个步骤：首先是边缘检测，然后是 模糊确定。边缘检测是通过计算当前像素点与领域内像素点均值之差来确定。我们用

当

将模板图像和待测图像的待测区域利用颜色信息进行二值化，用

将二值化后的模板图像与待测图像采用归一化相关系数法进行模板匹配：

匹配结果的最大值作为收音孔的中心区域，从而进一步确定收音孔圆环位置。

以上步骤确定的圆环圆心为中心截取608*608图像进行深度学习缺陷检测过程。将截取的图像分别进行缺陷目标的识别和好孔的识别，对网络的输出结果进行非最大化抑制，然后置信度低于阈值的目标剔除。

利用深度学习检测出来的好孔与溢胶孔的位置信息生成一个二值图，用该二值图像与模板图像生成的二值模板进行模板匹配。此步骤目的是将模板图像与待测图像防尘网进行孔到孔的对应匹配，因此还需要考虑到图像的旋转。从-45度之+45度采用归一化相关系数法进行匹配，可以得出最佳匹配位置及图像的旋转角度。

将模板图像旋转与待测图像匹配，通过深度学习检测出来的好孔与溢胶孔和模板图像进行进一步确认。若出现溢胶孔和好孔位置重叠的区域可视为好孔，若好孔或者溢胶孔的位置对应于模板图像区域没有孔。此步操作可以去除部分深度学习过程误检的情况。

另外根据以上精确匹配的位置信息可以确认待测图像中防尘网中心的实际位置，利用此位置信息与待测区域收音孔外圆环的位置可以得出防尘网的偏心度。

综合以上检测结果，如果图像清晰度过低、偏心度过大、检测到毛丝、检测出有灰尘且灰尘位于收音孔中心位置、溢胶孔位于中心位置、溢胶孔位于边缘但数量超过阈值、检测出色块，则直接判断该麦克风为缺陷件。

至此本发明的具体案例结束，该实例并不限制与本发明。凡是在不脱离本发明原理的前提下做出一定的改进，这些改进也应视为本发明的保护范围。