一种金丝键合工艺的外观检测方法及系统
文献发布时间:2023-06-19 19:33:46
技术领域
本发明涉机器视觉技术领域,特别是涉及一种金丝键合工艺的外观检测方法及系统。
背景技术
作为光通信接收端产品的核心组件光电探测器,每年出货量在千万只量级。为应对规模化生产,主流工艺均已实现全自动化生产。然而,在辅助工序如检验还是处于人工目检,效率不仅低,而且还存在因人员差异、视觉疲劳等原因出现漏检。机器视觉在半导体行业和PCB(Printed Circuit Board,印制电路板)行业应用于缺陷检测较为成熟,然而,这些技术直接应用于光通信产品却出现误报率和漏报率高,产品检测程序适应性差的特点。究其原因是光通信产品工艺、材料变异比较大,如同一种产品的元件高度差异大,存在多家备选元件,材料色差公差都不一致;产品背景纹理复杂干扰大,金线对比度差;线弧种类多且弯曲拐点波动性大,而这些变化正是机器视觉检测装置和方法比较敏感的地方,因此,需要针对光通信产品的特点来定制检测系统和方法。
鉴于此,克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
发明内容
本发明要解决的技术问题是提供一种金丝键合工艺的外观检测方法及系统,解决现有机器视觉检测方法直接应用在光通信产品缺陷检测上时,由于产品背景纹理复杂干扰大,获取的金线对比度差,对金线进行检测时,缺陷误报率和漏报率高问题。
第一方面,本发明提供一种金丝键合工艺的外观检测方法,包括:
通过第一光源模式获取金线的基准图片,根据背景对象的类型切换复合光源2的光源模式以获取至少一张背景图片,其中,基准图片和背景图片均包含金线和背景对象;
在所述基准图片中,根据金线与背景对象的对比度设置切分线;
根据切分线将所述基准图片中的金线分割为多个金线段,对于每一个金线段,从所述背景图片和所述基准图片中选取对比度最高的金线段,将选取的金线段进行拼接得到符合对比度要求的待测金线;
对所述待测金线进行缺陷检测。
进一步地,所述背景对象包括引线框架3、芯片4和电容5;所述复合光源2包括同轴光24、上环形光23、中环形光22和下环形光21,所述上环形光23、所述中环形光22和所述下环形光21依次层叠设置;
所述通过第一光源模式获取金线的基准图片,根据背景对象的类型切换复合光源2的光源模式以获取至少一张背景图片包括:
采用中环形光22和下环形光21组合打光的方式获取金线的基准图片,以提高金线、焊点和背景对象之间的对比度;
当背景对象为芯片4时,采用同轴光24获取背景图片,以提高金线与芯片4之间的对比度;
当背景对象为电容5时,采用同轴光24和上环形光23组合打光的方式获取背景图片,以提高金线与电容5之间的对比度;
当背景对象为引线框架3时,采用同轴光24和下环形光21组合打光的方式获取背景图片,以提高金线与引线框架3之间的对比度。
进一步地,所述在所述基准图片中,根据金线与背景对象的对比度设置切分线包括:
对所述基准图片进行分析得到金线与背景对象的对比度;
将对比度小于设定对比度阈值的位置作为切分线。
进一步地,对所述待测金线进行缺陷检测包括:
根据切分线对所述待测金线做金线粗定位,得到初始金线区域;
通过灰度阈值和对比度阈值对所述初始金线区域进行来精确定位,得到目标金线区域,并提取目标金线区域的骨架生成金线中心线;
通过金线中心线的几何特征和灰度信息判断金线的缺陷。
进一步地,所述根据切分线对所述待测金线做金线粗定位,得到初始金线区域包括:
获取所述待测金线的首端焊点和尾端焊点;
依次获取每个切分线之前的目标点,将该目标点与尾端焊点连接得到过渡线;其中,对于最靠近首端焊点的切分线而言,该切分线之前的目标点为首端焊点,其他切分线所对应的目标点为位于该切分线之前的定位点;
获取过渡线与该切分线的交点,以该交点作过渡线的法线,在该法线上取至少一个过渡点;
将所述过渡点分别与目标点和尾端焊点连接,以分别建立第一图像区域和第二图像区域,分别计算第一图像区域的灰度g(A1)和第二图像区域的灰度g(A2),根据灰度g(A1)和灰度g(A2)计算该过渡点的平均灰度gm;
将平均灰度gm满足预设条件的过渡点作为所述待测金线的定位点;
依次连接首端焊点、全部的定位点和尾端焊点,形成初始金线区域。
进一步地,所述将所述过渡点分别与目标点和尾端焊点连接,以分别建立第一图像区域和第二图像区域,分别计算第一图像区域的灰度g(A1)和第二图像区域的灰度g(A2),根据灰度g(A1)和灰度g(A2)计算该过渡点的平均灰度gm包括:
以过渡点与定位点之间的连线距离作为第一长轴,以过渡点与尾端焊点之间的连线距离作为第二长轴;
以第一长轴作为矩形区域的长,以金线的宽度做为矩形区域的宽,建立第一图像区域;以第二长轴作为矩形区域的长,以金线的宽度做为矩形区域的宽,建立第二图像区域;
分别计算第一图像区域的灰度g(A1)和第二图像区域的灰度g(A2),分别计算第一图像区域的面积A1和第二图像区域的面积A2,获取灰度g(A1)和灰度g(A2)的灰度和,获取面积A1和面积A2的面积和,将灰度和与面积和之间的比值作为过渡点的平均灰度gm。
进一步地,所述将平均灰度gm满足预设条件的过渡点作为所述待测金线的定位点包括:
当过渡点的平均灰度值gm大于或等于灰度阈值gt时,获取前一个过渡点的平均灰度值gm-1以及后一个过渡点的平均灰度值gm+1;
如果平均灰度值gm与平均灰度值gm-1之间的差值以及平均灰度值gm与平均灰度值gm+1之间的差值均大于设定的对比度阈值gc,则将该过渡点作为所述待测金线的定位点。
进一步地,所述通过灰度阈值和对比度阈值对所述初始金线区域进行来精确定位,得到目标金线区域,并提取目标金线区域的骨架生成金线中心线包括:
沿初始金线区域生成搜索区,依据不同分段的待测金线图像,选择亮区域或者暗区域作为目标区域,在目标区域中确定待测金线的骨架,对骨架进行处理后,得到精定位的金线中心线。进一步地,所述通过金线中心线的几何特征和灰度信息判断金线的缺陷包括:
对所述待测金线进行分组,依次对各组的金线中心线求交集,如果交集状态不满足预设要求,则判断所述待测金线交叉异常;
根据所述待测金线的分组,依次计算出各组的金线中心线之间的距离,如果距离不满足预设值,则判断所述待测金线间距异常;
沿金线中心线生成待测金线的图像区域,再生成两条平行于待测金线的首端焊点和尾端焊点之间直线的公差线,如果图像区域与公差线相交,则判断所述待测金线弯曲异常;
计算金线中心线长度,如果长度不满足预设要求,则判断所述待测金线断线;
计算所述待测金线在首端焊点和尾端焊点内的金线中心线长度,如果此长度不满足预设要求,则判断所述待测金线断线;
计算首尾两端附近的环形区域和金线区域的交集,提取该区域内的金线轮廓并判断该轮廓的灰度和特征,不满足预设要求,判断为金线断线异常。
第二方面,本发明还提供一种金丝键合工艺的外观检测系统,所述外观检测系统用于执行第一方面的所述外观检测方法,所述外观检测系统包括视觉检测模块和控制器,所述视觉检测模块包括相机1和复合光源2,所述复合光源2包括同轴光24、上环形光23、中环形光22和下环形光21,所述上环形光23、所述中环形光22和所述下环形光21依次层叠设置;
所述复合光源2用于提供不同的光源模式;
所述控制器用于根据检测对象的类型切换所述复合光源2的光源模式;
所述相机1用于在第一光源模式下,获取金线的基准图片,在背景对象所对应光源模式下,获取至少一张背景图片;
所述控制器用于在所述基准图片中,根据金线与背景对象的对比度设置切分线;还用于根据切分线将所述基准图片中的金线分割为多个金线段,对于每一个金线段,从所述背景图片和所述基准图片中选取对比度最高的金线段,将选取的金线段进行拼接得到符合对比度要求的待测金线,以对所述待测金线进行缺陷检测。
本发明实施例通过不同光源模式获取金线的基准图片和多张背景图片,在所述基准图片中,根据金线与背景对象的对比度设置切分线,根据切分线将所述基准图片中的金线分割为多个金线段,对于每一个金线段,从所述背景图片和所述基准图片中选取对比度最高的金线段,将选取的金线段进行拼接得到符合对比度要求的待测金线;并按照设定的检测需求,对所述待测金线进行间距、弯曲、交叉和断线等缺陷检测。本发明通过灵活的光源配置和检测方法来实现光通信产品的全自动机器视觉检测,具有高的检测适应性和抗干扰强的特点,检测稳定性和产品检出率良好,实现了金线键合工艺的自动化检验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种金丝键合工艺的外观检测方法的流程示意图;
图2是本发明实施例提供的一种金丝键合工艺的外观检测方法的待测产品结构示意图;图3是本发明实施例提供的一种金丝键合工艺的外观检测系统的结构示意图;
图4是本发明实施例提供的一种金丝键合工艺的外观检测方法中步骤101的具体流程示意图;
图5是本发明实施例提供的一种金丝键合工艺的外观检测方法的金线切分示意图;
图6是本发明实施例提供的一种金丝键合工艺的外观检测方法中步骤104的具体流程示意图;
图7是本发明实施例提供的一种金丝键合工艺的外观检测方法中步骤1041的具体流程示意图;
图8是本发明实施例提供的一种金丝键合工艺的外观检测方法的金线粗定位示意图;
图9是本发明实施例提供的外观检测方法中步骤10414的具体流程示意图。
其中附图标记为:相机1;复合光源2;下环形光21;中环形光22;上环形光23;同轴光24;引线框架3;芯片4;电容5。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作,因此不应当理解为对本发明的限制。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
参阅图1,本发明实施例1提供了一种金丝键合工艺的外观检测方法:
步骤101:通过第一光源模式获取金线的基准图片,根据背景对象的类型切换复合光源2的光源模式以获取至少一张背景图片,其中,基准图片和背景图片均包含金线和背景对象。
步骤102:在所述基准图片中,根据金线与背景对象的对比度设置切分线。
步骤103:根据切分线将所述基准图片中的金线分割为多个金线段,对于每一个金线段,从所述背景图片和所述基准图片中选取对比度最高的金线段,将选取的金线段进行拼接得到符合对比度要求的待测金线。
步骤104:对所述待测金线进行缺陷检测。
在本实施例中,通过不同光源模式获取金线的基准图片和多张背景图片,在所述基准图片中,根据金线与背景对象的对比度设置切分线,根据切分线将所述基准图片中的金线分割为多个金线段,对于每一个金线段,从所述背景图片和所述基准图片中选取对比度最高的金线段,将选取的金线段进行拼接得到符合对比度要求的待测金线;并按照设定的检测需求,对所述待测金线进行间距、弯曲、交叉和断线等缺陷检测。本发明通过灵活的光源配置和检测方法来实现光通信产品的全自动机器视觉检测,具有高的检测适应性和抗干扰强的特点,检测稳定性和产品检出率良好,实现了金线键合工艺的自动化检验。
为了获取对比度较好基准图片和背景图片,需要根据不同的背景对象进行针对性的打光拍照,如图2所示,所述背景对象包括引线框架3、芯片4和电容5;结合图3,所述复合光源2包括同轴光24、上环形光23、中环形光22和下环形光21,所述上环形光23、所述中环形光22和所述下环形光21依次层叠设置。
考虑到产品元件种类较多、金线线弧曲率多变和背景对象纹理复杂等因素,结合图4,步骤101具体包括:
步骤1011:采用中环形光22和下环形光21组合打光的方式获取金线的基准图片,以提高金线、焊点和背景对象之间的对比度。
步骤1012:当背景对象为芯片4时,采用同轴光24获取背景图片,以提高金线与芯片4之间的对比度。
步骤1013:当背景对象为电容5时,采用同轴光24和上环形光23组合打光的方式获取背景图片,以提高金线与电容5之间的对比度。
步骤1014:当背景对象为引线框架3时,采用同轴光24和下环形光21组合打光的方式获取背景图片,以提高金线与引线框架3之间的对比度。
在可选的实施例中,所述下环形光21为红光,下环形光21设置在所述复合光源2的最下层,距离待测产品高度为1mm,入射角度为20°,下环形红光可以将金线的反射光投射到镜头中便于相机1成像;所述中环形光22为蓝光,中环形光22设置在下环形光21上方,入射角度为45°;所述上环形光23为上环形白光,上环形光23设置在中环形光22上方,入射角度为60°;所述同轴光24为白光,设置在上环形光23上方。其中,前述只是提供了较优的高度、角度的数值,在其他实施例中可以根据被测产品做适应性调整。
在步骤1011中,金线采用中环形光22和下环形光21组合打光的方式,可以使金线形成对比度良好的基准图片;在步骤1012中,背景对象为芯片4,由于芯片4为镜面,且芯片4内部一般具有纹理,采用同轴光24打光的方式,可清晰看出芯片4的纹理;在步骤1013中,背景对象为电容5,由于电容5有镜面也有粗糙面,但没有纹理,采用同轴光24和上环形光23组合打光的方式,可以形成电容5边界成像清晰且和其他背景有明显的对比度的背景图片;在步骤1014中,背景对象为引线框架3,由于引线框架3上纹理较多,此时采用同轴光24和下环形光21组合打光的方式,可以均匀化引线框架3的纹理。而且,所述复合光源2的亮度是可调节的,可根据实际情况对复合光源2的亮度进行调节。通过上述针对不同背景对象进行打光拍照的手段,可以得到对比度更好图像,便于后期机器视觉检测。
需要说明的是,在同轴光24参与打光的情况下,拍摄出来的背景图片中金线会显示为灰度值较低的黑色;在同轴光24不参与打光的情况下,即在各类同轴光24进行组合打光的情况下,拍摄出的基准图片中金线显示为灰度值较高的白色。
为了获取对比度良好的金线图像,所述在所述基准图片中,根据金线与背景对象的对比度设置切分线包括:
对所述基准图片进行分析得到金线与背景对象的对比度;将对比度小于设定对比度阈值的位置作为切分线。
由于金线具有一定的弯曲和跨距,曲率的变化导致光线反射不到相机1里面,金线无法整段被打亮,金线的跨距导致金线背景干扰很多,这些都导致在一张图片里难以获取对比度良好的完整金线图像,因此需要在基准图片中针对金线路径的对比度差异做多段切分,针对每个切分段,选择出基准图片和背景图片中金线对比度良好的图像进行拼接,进而得到完整的对比度良好的金线图像,切分线可以根据基准图像和背景图像手动指定,可也以由程序进行选择。例如图5所示,所述金线被切分线划分为4段(切分段11、切分段12、切分段14、切分段15),切分段11和切分段15更靠近芯片4或电容5,切分段12和切分段14上背景包含胶水。
例如,当基准图片中的金线段对比度良好时,此金线段就可以选择基准图片;当金线段处于芯片4上方时,由于芯片4会使光线形成镜面反射,当采用同轴光24照明时,芯片4是亮的,金线是暗的,因此步骤1012形成的背景图片中,金线颜色较暗,呈黑色,灰度值较低,芯片4颜色较亮,呈白色,灰度值较高,使得金线具有良好的对比度,因此经过芯片4上方的金线段就可以选择步骤1012形成的背景图片;当金线背景有胶水时,在上环形光23结合同轴光24打光时,胶水会被打亮,金线成暗色,金线颜色较暗,呈黑色,灰度值较低,背景颜色较亮,呈白色,灰度值较高,因此背景有胶水的金线段可以选择步骤1013形成的背景图;即各金线段采用背景图片和基准图片中对比度较好的部分,再进行拼接,进而得到对比度较好的金线图像,在此金线图像中,部分金线显示为白色,部分金线显示为黑色。
在本实施例中,所述外观检测方法还包括焊点的定位和缺陷检测,在对待测金线进行缺陷检测前,对待测焊点进行定位和缺陷检测。具体的,先匹配待测元件,再获取焊点基准为待测元件的焊点,根据焊点相对待测元件的坐标对待测焊点进行搜索进而得到待测焊点;得到待测焊点后,根据待测焊点的直径、偏移距离判断待测焊点是否存在缺陷。
在搜索焊点时,以矩形搜索框的形式对焊点进行搜索,并矩形搜索框搜索到可能存在焊点的区域时,对该区域进行灰度特征计算、阈值化分割、形态学处理和拟合成外接圆的处理,再根据拟合的外接圆面积和圆度做判断是否为焊点。
在匹配待测元件时,根据预设的匹配方式对待测元件进行匹配,有图纹元件选用形状匹配,如芯片4;无图纹元件由于存在尺寸公差问题需要选用带缩放的边缘匹配,如电容5。
元件信息、焊点信息和金线信息都储存在视觉检测模板中,视觉检测模板根据产品的编号独立存档,可供所述外观检测方法对不同产品进行检测时调用。
元件信息储存有元件的坐标和匹配方式,供待测元件匹配使用;焊点信息储存有焊点基准和焊点所属元件其中,焊点基准包括焊点跟随的元件和焊点相对于元件的坐标,用于根据待测元件对待测焊点进行搜索;焊点信息还储存有焊点直径和焊点偏移允许范围,用于判断待测焊点是否存在缺陷;金线信息包括金线配对信息,金线配对信息中包含金线的首端焊点和尾端焊点信息;金线信息还包括金线分组信息,便于将金线分组进行缺陷判断;金线信息还包括金线间距、金线弯曲范围、金线交叉信息,用于判断金线是否存在缺陷。
在本实施例中,结合图6,对所述待测金线进行缺陷检测进行检测的具体过程包括:
步骤1041:根据切分线对所述待测金线做金线粗定位,得到初始金线区域。
步骤1042:通过灰度阈值和对比度阈值对所述初始金线区域进行来精确定位,得到目标金线区域,并提取目标金线区域的骨架生成金线中心线。
步骤1043:通过金线中心线的几何特征和灰度信息判断金线的缺陷。
结合图7,步骤1041具体包括如下过程:
步骤0411:获取所述待测金线的首端焊点和尾端焊点。
步骤0412:依次获取每个切分线之前的目标点,将该目标点与尾端焊点连接得到过渡线;其中,对于最靠近首端焊点的切分线而言,该切分线之前的目标点为首端焊点,其他切分线所对应的目标点为位于该切分线之前的定位点。
步骤0413:获取过渡线与该切分线的交点,以该交点作过渡线的法线,在该法线上取至少一个过渡点。
步骤0414:将所述过渡点分别与目标点和尾端焊点连接,以分别建立第一图像区域和第二图像区域,分别计算第一图像区域的灰度g(A1)和第二图像区域的灰度g(A2),根据灰度g(A1)和灰度g(A2)计算该过渡点的平均灰度gm。
步骤0415:将平均灰度gm满足预设条件的过渡点作为所述待测金线的定位点。
步骤0416:依次连接首端焊点、全部的定位点和尾端焊点,形成初始金线区域。
具体的,结合图8,图中有A、B和C三条切分线,图中P1为首端焊点,P2为尾端焊点;首先将P1和P2连接,得到过渡线P2P1;和P1对应的切分线为切分线A,取过渡线P2P1和切分线A的交点Pm1,过Pm1做过渡线P2P1的法线,取Pm1为过渡点;将Pm1分别与P1和P2连接,建立第一图像区域和第二图像区域;分别计算第一图像区域的灰度g(A1)和第二图像区域的灰度g(A2),根据灰度g(A1)和灰度g(A2)计算该过渡点Pm1的平均灰度gm;并将该平均灰度值和过渡点坐标记录到灰度值集合中,判断当前过渡点Pm1的位置是否满足预设条件,将满足预设条件的过渡点作为定位点Pc1,否则过渡点Pm1沿着法线在过渡线一侧移动,一次移动一个像素单位,同时计算过渡点Pm1对于过渡线的对称点Pm1',且每次取Pm1或者Pm1'中平均灰度值较大的值进行比较,直到当前过渡点Pm1或者Pm1'的位置满足预设条件;如果移动了预定次数后,还没有找到定位点,则在灰度值集合中取最大的平均灰度值对应的过渡点作为定位点。
在找到Pc1后,将Pc1和P2连接,得到过渡线P2Pc1;取过渡线P2Pc1和切分线B的交点Pm2,过Pc1做过渡线P2Pc1的法线,取Pm2为过渡点;将Pm2分别与P1和P2连接,建立第一图像区域和第二图像区域;Pm2沿法线移动,并判断第一图像区域的灰度g(A1)和第二图像区域的灰度g(A2)的平均灰度是否满足要求,直到求出Pc2;Pc3的求法同上述Pc1和Pc2的求法,不再赘述。
结合图9,步骤0414具体包括如下过程:
步骤4141:以过渡点与定位点之间的连线距离作为第一长轴,以过渡点与尾端焊点之间的连线距离作为第二长轴。
步骤4142:以第一长轴作为矩形区域的长,以金线的宽度做为矩形区域的宽,建立第一图像区域;以第二长轴作为矩形区域的长,以金线的宽度做为矩形区域的宽,建立第二图像区域。
步骤4143:分别计算第一图像区域的灰度g(A1)和第二图像区域的灰度g(A2),分别计算第一图像区域的面积A1和第二图像区域的面积A2,获取灰度g(A1)和灰度g(A2)的灰度和,获取面积A1和面积A2的面积和,将灰度和与面积和之间的比值作为过渡点的平均灰度gm。
结合图8,将Pm1分别与P1和P2连接后,得到直线P1Pm1和P2Pm1;建立以P1Pm1为长边、宽度为待测金线宽度的矩形区域,作为第一图像区域,建立以P1Pm2为长边、宽度为待测金线宽度的矩形区域,作为第二图像区域;
通过第一图像区域的灰度g(A1)和第二图像区域的灰度g(A2)、第一图像区域的面积A1和第二图像区域的面积A2计算过渡点的平均灰度gm,计算过渡点的平均灰度gm,具体公式表示为:
gm=(g(A1)+g(A2))÷(A1+A2)
步骤0415中,将平均灰度gm满足预设条件的过渡点作为所述待测金线的定位点的过程包括:
当过渡点的平均灰度值gm大于或等于灰度阈值gt时,获取前一个过渡点的平均灰度值gm-1以及后一个过渡点的平均灰度值gm+1;如果平均灰度值gm与平均灰度值gm-1之间的差值以及平均灰度值gm与平均灰度值gm+1之间的差值均大于设定的对比度阈值gc,则将该过渡点作为所述待测金线的定位点。同时,灰度阈值gt并不是一个定值,其是由待测金线图像决定的,可以由程序设定,也可以手动设定。
步骤1042中,通过灰度阈值和对比度阈值对所述初始金线区域进行来精确定位,得到目标金线区域,并提取目标金线区域的骨架生成金线中心线包括:
沿初始金线区域生成搜索区,依据不同分段的待测金线图像,根据待测金线图像中金线颜色的变化选择亮区域或者暗区域作为目标区域,在目标区域中确定待测金线的骨架,对骨架进行处理后,得到精定位的金线中心线。具体的,因为金线中心线可能在初始金线区域的上方或者下方,所以需要以初始金线区域为中心,增加初始金线区域的宽度到一定范围,生成扩大后的搜索区域,在扩大后的搜索区域内对金线中心线进行精定位。
因为同轴白光打光时,金线显示为黑色,灰度值较低,背景显示为白色,灰度值较高;环形光组合打光时,金线显示为白色,灰度值较高,背景显示为黑色,灰度值较低;待测金线图像由多张图像拼合而成,一部分金线显示为黑色,一部分金线显示为白色,因此在金线精定位时,需要根据待测金线图像中金线颜色的变化,选择亮区域或者暗区域作为目标区域,进行金线骨架的搜索,骨架为金线的中心线轮廓,具体的,当金线颜色较暗,为黑色时,选择暗区域作为目标区域,当金线颜色较亮,为白色时,选择亮区域作为目标区域,这样便能在待测金线的图像中获取金线中心线的图像轮廓。
在确定目标区域后,由于金线图像区域和背景图片的对比度差异较大,同时目标区域中越靠近金线中心线的部位,其和背景图片的对比度差异越大;通过目标区域图像和背景图片对比度的比较,可以获得目标区域中金线中心线的图像轮廓;在获得金线中心线的图像轮廓后,对金线中心线的图像轮廓进行筛选和平滑处理,得到精定位的金线中心线。
在本实施例中,通过金线中心线的几何特征和灰度信息判断金线的缺陷,其中,缺陷类型包括金线较差交叉异常、金线间距异常、金线弯曲异常、金线断线、金线少线等,各个缺陷类型的检测方式如下:
对所述待测金线进行分组,依次对各组的金线中心线求交集,如果交集状态不满足预设要求,则判断所述待测金线交叉异常。
根据所述待测金线的分组,依次计算出各组的金线中心线之间的距离,如果距离不满足预设值,则判断所述待测金线间距异常。
沿金线中心线生成待测金线的图像区域,再生成两条平行于待测金线的首端焊点和尾端焊点之间直线的公差线,如果图像区域与公差线相交,则判断所述待测金线弯曲异常。
计算金线中心线长度,如果长度不满足预设要求,则判断所述待测金线断线。
计算所述待测金线在首端焊点和尾端焊点内的金线中心线长度,如果此长度不满足预设要求,则判断所述待测金线断线。如果首端焊点和尾端焊点内的金线中心线长度满足要求,则计算所述待测金线中间段的长度,如果待测金线中间段长度不满足预设要求,则判断所述待测金线断线。
计算首尾两端附近的环形区域和金线区域的交集,提取该区域内的金线轮廓并判断该轮廓的灰度和特征,不满足预设要求,判断为金线断线。
待测金线提取不出中心线时,判断所述待测金线缺失,金线少线。
具体的,可以按照待测金线提取出的金线中心线计算各金线中心线之间的距离和交叉关系,进而判断待测金线之间的间距和交叉关系是否满足要求,将待测金线进行分组的优点在于,只需在组内判断金线中心线的交叉关系和间距,不需要将一条待测金线和其他全部待测金线进行比较,进而提升判断缺陷的效率。
判断待测金线弯曲状态是否异常时,根据金线中心线生成待测金线的图像轮廓,设置两条公差线,如果待测金线的图像轮廓触碰到公差线,则认为待测金线弯曲异常。
判断待测金线是否断线时,主要通过待测金线的金线中心线的长度来判断,如果金线中心线长度不满足长度要求,则认为待测金线断线。分开进行待测金线的首端焊点、尾端焊点和中间部分的断线判别的原因在于,金线在焊点端和中心端容易发生断线的情况,分开判断虽然增加了金线断线判别的复杂度,但提高了缺陷检测的准确性。
判断金线少线时,虽然待测金线能完成粗定位,但完成不了金线的精定位,即在首端焊点和尾端焊点之间提取不出金线的中心线,此时可以直接判断金线少线。
实施例2:
本实施例2提供一种金丝键合工艺的外观检测系统,所述外观检测系统用于执行实施例1的所述外观检测方法,所述外观检测系统包括视觉检测模块和控制器图中未示出,如图3所示,所述视觉检测模块包括相机1和复合光源2,所述复合光源2包括同轴光24、上环形光23、中环形光22和下环形光21,所述上环形光23、所述中环形光22和所述下环形光21依次层叠设置。
所述复合光源2用于提供不同的光源模式;所述控制器用于根据检测对象的类型切换所述复合光源2的光源模式;所述相机1用于在第一光源模式下,获取金线的基准图片,在背景对象所对应光源模式下,获取至少一张背景图片。
所述控制器用于在所述基准图片中,根据金线与背景对象的对比度设置切分线;还用于根据切分线将所述基准图片中的金线分割为多个金线段,对于每一个金线段,从所述背景图片和所述基准图片中选取对比度最高的金线段,将选取的金线段进行拼接得到符合对比度要求的待测金线,以对所述待测金线进行缺陷检测。
其中,相机1采用黑白CCD,需要检测最小缺陷1.5μm,相机1像素为1500万,相机1镜头景深不少于0.4mm,放大倍率为1倍。所述下环形光21为红光,下环形光21设置在所述复合光源2的最下层,距离待测产品高度为1mm,入射角度为20°,下环形红光可以将金线的反射光投射到镜头中便于相机1成像;所述中环形光22为蓝光,中环形光22设置在下环形光21上方,入射角度为45°;所述上环形光23为上环形白光,上环形光23设置在中环形光22上方,入射角度为60°;所述同轴光24为白光,设置在上环形光23上方。所述复合光源2中的同轴光24、上环形光23、中环形光22和下环形光21可以任意组合,亮度和入射角度都可以调节,用于根据检测对象灵活使用合适的光源组合获得较高的图像对比度。
采用中环形光22和下环形光21组合打光的方式,可以使金线形成对比度良好的基准图片;背景对象为芯片4时,由于芯片4为镜面,且芯片4内部一般具有纹理,采用同轴光24打光的方式,可清晰看出芯片4的纹理;背景对象为电容5时,由于电容5有镜面也有粗糙面,但没有纹理,采用同轴光24和上环形光23组合打光的方式,可以形成电容5边界成像清晰且和其他背景有明显的对比度的背景图片;背景对象为引线框架3时,由于引线框架3上纹理较多,此时采用同轴光24和下环形光21组合打光的方式,可以均匀化引线框架3的纹理;且所述复合光源2的亮度是可调节的,可根据实际情况对复合光源2的亮度进行调节。通过针对不同背景对象采用不同光源组合进行打光拍照的手段,可以得到对比度更好图像,便于后期机器视觉检测。
所述外观检测系统还包括自动进料模块、自动分拣模块和自动出料模块,所述控制器控制自动进料模块、自动分拣模块和自动出料模块中的运动机构执行全自动进出料。
其中,外观检测方法的具体实现方式详见实施例1的描述,在此不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
- 用于自动金丝键合机上的工装安装、键合方法
- 一种金丝键合的工艺方法