基于光度立体3D重建的芯片锡球三维高度检测方法及系统

技术领域

本发明属于半导体检测技术领域，特别涉及一种基于光度立体3D重建的芯片锡球三维高度检测方法及系统。

背景技术

带有多锡球的BGA芯片产品多种多样，锡球的大小、高度是否统一直接影响BGA芯片的质量。现有生产过程中工艺误差会导致锡球的高度不统一，甚至会造成锡球质量缺陷，因此需要对BGA芯片锡球高度进行检测。

现有技术有以下几种检测方案：

1、2D视觉检测，通过不同光源照射下锡球反映在照片上的形态对锡球缺陷分类，判断是否属于高度缺陷。

2、双目立体视觉检测，通过两张二维图片找到锡球各自的最高点，计算视差进而得到锡球高度值。

3、激光三角测量，将一条单线细激光光线投射到BGA芯片表面，由于芯片表面高度发生变化，使得激光线发生了弯曲，根据这个线的变形，可以计算出芯片表面三维轮廓进而获得锡球高度。

4、结构光3D成像，与激光三角测量类似，将一定模式的结构光投射在BGA芯片表面，在芯片表面形成被测物体表面形状所调制的光条三维图像，利用相机采集结构光的二维畸变图像，重建BGA芯片表面三位轮廓，进而获得锡球高度。

现有技术有以下技术缺陷：

1、普通的2D检测手段无法判断锡球高度，也无法从高度层面判断锡球的质量缺陷，误检率漏检率较高，无法满足客户需求。

2、双目立体视觉检测无法精确匹配锡球的最高点，因此无法满足较高精度的要求。

3、对于BGA锡球的金属表面近乎全反射的特性，激光三角测量和结构光测量会出现光线无法有效地反射到相机内，或者出现二次甚至多次反射，进而增加三维重建难度，影响三维重建效果。

发明内容

针对上述问题，本发明提供一种基于光度立体3D重建的芯片锡球三维高度检测方法及系统。

一种基于光度立体3D重建的芯片锡球三维高度检测方法，包括：通过多个不同方向的光源组件、相机组件和工控机搭建检测模型；其中，光源组件包括平行光源和/或点光源；工控机从相机组件获取不同方向的光源组件照射下的多张图像，并结合光源组件的方向数据通过光度立体算法重建待测芯片锡球的三维模型，根据重建的待测芯片锡球的三维模型，获得待测芯片每个锡球的高度值。

进一步的，通过光度立体算法重建待测芯片锡球的三维模型包括以下步骤：对多张图像进行处理，获得多张图像中每个对应像素点的灰度值，多张图像中同一位置的像素点对应待测芯片中的同一点；根据每个像素点的灰度值计算每个像素点的光强；通过光源方向矩阵和每个像素点的光强计算图片上每个像素点的法向量；根据每个像素点的法向量，获得每个像素点的三维高度，重建获得待测芯片锡球的三维模型。

进一步的，多个光源组件包括第一光源组件、第二光源组件、第三光源组件和第四光源组件。

进一步的，还包括以下步骤：工控机获取光源组件方向数据具体为：对第一光源组件、第二光源组件、第三光源组件、第四光源组件的位置坐标进行归一化处理，根据归一化后的第一光源组件、第二光源组件、第三光源组件、第四光源组件的位置坐标，获得光源方向矩阵。

进一步的，根据每个像素点的灰度值计算每个像素点的光强包括以下步骤：根据光源方向矩阵和每个像素点灰度值组成的灰度值矩阵，获得变量矩阵；根据变量矩阵计算得出每个像素点的光强。

进一步的，工控机从相机组件获取不同方向的光源组件照射下的多张图像包括以下步骤：工控机控制不同方向的光源组件依次打开，每打开一个光源组件，工控机控制相机组件采集一张待测芯片的图像，相机组件将采集到的多张待测芯片图像发送给工控机。

进一步的，检测模型中的光源组件以相机组件为中心周向阵列设置。

本发明还提供一种基于光度立体3D重建的芯片锡球三维高度检测系统，包括多个光源组件、相机组件和工控机，光源组件包括平行光源和/或点光源；其中，光源组件，用于发射光束对待测芯片进行照射；相机组件，用于分别采集待测芯片在不同方向的光源组件照射下的多张图像，并将多张图像发送给工控机；工控机，用于从相机组件获取不同方向的光源组件照射下的多张图像，并结合光源组件的方向数据通过光度立体算法重建待测芯片锡球的三维模型，根据重建的待测芯片锡球的三维模型，获得待测芯片每个锡球的高度值。

进一步的，检测系统还包括光学平板；其中，相机组件、多个光源组件均固定在光学平板上，多个光源组件围绕相机组件为中心周向阵列设置。

进一步的，光源组件包括第一支撑架、三角连接块、转接板、光源转接件、光源和第一L型固定板；其中，第一支撑架底部通过第一L型固定板与光学平板固定连接，三角连接块一端与第一支撑架滑动连接，三角连接块另一端与转接板第一端连接，转接板第二端与光源转接件转动连接，光源转接件与光源连接。

本发明的有益效果：

1、本发明的检测模型结构简单没有繁琐的机械结构的设计。

2、本发明检测模型的光源系统，可以改变光源类型，也可增加光源数量或者调整光源角度，满足具有不同特性的待测芯片的测量。

3、本发明可兼容多种BGA芯片和多种锡球。

4、本发明针对BGA芯片锡球测量设计的光度立体检测算法，能够弥补2D检测算法无法通过高度检测锡球缺陷的空缺。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的基于光度立体3D重建的芯片锡球三维高度检测系统的结构示意图；

图2示出了根据本发明实施例的光源组件的安装示意图；

图3示出了根据本发明实施例的光源组件的结构示意图；

图4示出了根据本发明实施例的相机组件的安装示意图；

图5示出了根据本发明实施例的基于光度立体3D重建的芯片锡球三维高度检测方法的流程示意图；

图6示出了根据本发明实施例的光源组件与相机组件的安装示意图；

图7示出了根据本发明实施例的光源组件光束与待测芯片角度示意图；

图8示出了根据本发明实施例的光源组件与相机组件的位置关系示意图；

图9示出了根据本发明实施例四张不同角度光源照射下的待测芯片图像；

图10示出了根据本发明实施例的待测芯片锡球的三维重建模型图；

图11示出了根据本发明实施例获得的锡球高度示意图。

图中：1、光学平板；21、第一光源组件；22、第二光源组件；23、第三光源组件；24、第四光源组件；3、相机组件；4、待测芯片；211、第一支撑架；212、三角连接块；213、转接板；214、光源转接件；215、光源；216、第一L型固定板；2111、第一凹台；2112、第一腰孔；2121、第一凸台；2122、第二螺纹孔；2131、第二腰孔；2132、第一通孔；2133、第三螺纹孔；2141、第二通孔；2142、弧形孔；2143、第三腰孔；31、第二支撑架；32、相机转接板；33、相机；34、第二L型固定板；311、第二凹台；312、第四腰孔；321、第二凸台。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例使用的方位词如“上、下、左、右”通常是针对附图所示的方向而言的；同样地，为便于理解和描述，“内、外”是指相对于各部件本身的轮廓的内、外。术语“第一”、“第二”和“第三”等仅用于描述目的。

本发明实施例针对现有技术中无法准确判断BGA芯片锡球高度的问题，提供一种基于光度立体3D重建的芯片锡球三维高度检测方法及系统，基于光度立体3D重建技术，利用锡球金属表面反光的特性，通过不同角度的光强计算锡球高度，降低漏检率与误检率。

为了便于对本发明是实施例的理解，下面对光度立体3D重建技术做简单介绍：

光度立体3D重建技术是使用多个光源方向估计表面几何形状的方法，这种方法可以重建出物体表面的法向量和物体不同表面点的反射率，进而重建三维模型和测量物体三维高度。

请参阅图1，图1示出了根据本发明实施例的基于光度立体3D重建的芯片锡球三维高度检测系统的结构示意图。

一种基于光度立体3D重建的芯片锡球三维高度检测系统，包括光学平板1、多个光源组件和相机组件3。

相机组件3、多个光源组件均固定在光学平板1上，多个光源组件围绕相机组件3为中心周向阵列设置。

示例的，光源组件可以设置4个，分别为第一光源组件21、第二光源组件22、第三光源组件23和第四光源组件24。

请参阅图2，图2示出了根据本发明实施例的光源组件的安装示意图。

需要说明的是，多个光源组件结构相同，以第一光源组件21的结构为例进行具体说明。

第一光源组件21包括第一支撑架211、三角连接块212、转接板213、光源转接件214、光源215和第一L型固定板216，第一支撑架211底部通过第一L型固定板216与光学平板1固定连接，三角连接块212一端与第一支撑架211滑动连接，三角连接块212另一端与转接板213第一端连接，转接板213第二端与光源转接件214转动连接，光源转接件214与光源215连接，用于固定光源215，其中，三角连接块212能够沿着第一支撑架211上下直线滑动，便于光源215的高度调节，光源转接件214能够以其与转接板213的连接点为中心旋转，便于光源215与待测芯片4的角度调节。

请参阅图3，图3示出了根据本发明实施例的光源组件的结构示意图。

示例的，第一支撑架211中间设置第一凹台2111，三角连接块212一端设置有第一凸台2121，第一凹台2111中间设置有第一腰孔2112，第一凸台2121上设置有第一螺纹孔，第一凸台2121与第一凹台对接，第一凸台2121能够沿着第一凹台2111上下直线滑动，当三角连接块212滑动到需要的高度时，通过螺栓穿过第一腰孔2112与第一凸台2121上的第一螺纹孔连接，将三角连接块212固定在第一支撑架211上。

三角连接块212一侧设置有多个第二螺纹孔2122，转接板213第一端设置有第一通孔2132和第二腰孔2131，多个第二螺纹孔2122分三组，每组第二螺纹孔2122呈直线分布，三组第二螺纹孔2122中心点的连线与三角连接块212侧边呈一定倾角，第二组第二螺纹孔2122设置在三角连接块212一侧的中间，转接板213第一端的第一通孔2132的数量和位置与第二组第二螺纹孔2122对应设置。第一组第二螺纹孔2122、第三组第二螺纹孔2122设置在第二组第二螺纹孔2122的两侧，转接板213第一端设置有两个第二腰孔2131，第二腰孔2131的位置与第一组第二螺纹孔2122、第三组第二螺纹孔2122位置对应设置。

通过在三角连接块212上设置多个第二螺纹孔2122，可以实现转接板213的位置调节，转接板213第一端设置第二腰孔2131，方便在对转接板213的定位进行调节，便于安装和多工况的使用。

示例的，转接板213第二端设置有多个第三螺纹孔2133，光源转接件214第一端设置有第二通孔2141和弧形孔2142，光源转接件214第一端的两个弧形孔2142设置在第二通孔2141的两侧，第三螺纹孔2133可以设置三个，将光源转接件214第一端与转接板213第二端连接时，转接板213第二端中间位置的第三螺纹孔2133与第二通孔2141位置对应，光源转接件214第一端的两个弧形孔2142与转接板213第二端上的另外两个第三螺纹孔2133对应。光源转接件214第二端设置有两个第三腰孔2143，用于与光源215可拆卸连接。

通过在光源转接件214上设置弧形孔2142，当需要调整光源215角度时，可以将光源转接件214以中间位置的第三螺纹孔2133为中心旋转，调整到设定角度后，使用螺栓穿过弧形孔2142与另外两个第三螺纹孔2133连接，即可实现光源215的固定。光源转接件214第二端设置第三腰孔2143，便于安装位置的调节。

请参阅图4，图4示出了根据本发明实施例的相机组件的安装示意图。

具体的，相机组件3包括第二支撑架31、相机转接板32、相机33和第二L型固定板34，第二支撑架31底部通过第二L型固定板34与光学平板1固定连接，相机转接板32一端与第二支撑架31滑动连接，相机转接板32第二端固定有相机33，其中，相机转接板32能够沿着第二支撑架31上下直线滑动，便于相机33高度的调节。

示例的，第二支撑架31中间设置第二凹台311，相机转接板32一端设置有第二凸台321，第二凹台311中间设置有第四腰孔312，第二凸台321上设置有第四螺纹孔，第二凸台321与第二凹台311对接，第二凸台321能够沿着第二凹台311上下直线滑动，当相机转接板32滑动到需要的高度时，通过螺栓穿过第四腰孔312与第二凸台321上的第四螺纹孔连接，将相机转接板32固定在第二支撑架31上。

进一步的，检测系统还包括工控机，工控机与多个光源组件、相机组件3连接，工控机用于获取多个光源组件方向数据；工控机还用于根据多个光源组件方向数据和多张图像，通过光度立体算法重建待测芯片锡球的三维模型，根据重建的待测芯片锡球的三维模型，获得待测芯片每个锡球的高度值。

请参阅图5，图5示出了根据本发明实施例的基于光度立体3D重建的芯片锡球三维高度检测方法的流程示意图。

基于上述基于光度立体3D重建的芯片锡球三维高度检测系统，本发明实施例还提供一种基于光度立体3D重建的芯片锡球三维高度检测方法，包括以下步骤：

S1、固定相机组件3和多个光源组件的位置，将相机组件3、多个光源组件与工控机连接，搭建检测模型。

本实施例中，将多个光源组件，以相机组件3为中心周向阵列设置，将多个光源组件与光学平板1的角度调整至设定值。

示例的，多个光源组件可以为平行光源，使用平行光源由于光度立体理论上假设投射到被测物体上每一点的光线方向都是相同的，在此假设的基础上进行计算，因此用平行光源更符合理论条件，获取的3D数据相对更加准确。

示例的，可以在多个平行光源的基础上增加水平或垂直方向不同角度的点光源以使得锡球球形更丰满，降低计算误差，提高精度。

示例的，光源组件还可以是多层多角度的LED点光源。

本发明实施例以使用平行光源进行示例性说明，需要说明的是，光源组件可以根据需要设置，可以设置4个，也可以设置8个，还可以设置12个。

本发明实施例的检测模型通过特殊的光源系统，包含4至12个平行光源或点光源组成，可以改变光源类型，也可增加光源数量或者调整光源角度，满足具有不同特性的待测芯片4的测量。

请参阅图6和图7，图6示出了根据本发明实施例的光源组件与相机组件的安装示意图，图7示出了根据本发明实施例的光源组件光束与待测芯片角度示意图。

以光源组件设置4个进行示例性说明，在光学平板1固定相机组件3后，在相机组件3正方向即相机组件3拍摄图片的正上方设置第三光源组件23，以相机组件3的中心为圆心顺时针旋转90°、180°、270°依次设置第四光源组件24、第一光源组件21和第二光源组件22，然后根据测试需要，将多个光源组件与光学平板1的角度调整α至设定值，需要说明的是，测试时待测芯片4与光学平板1平行，角度α即为多个光源组件与光学平板1的角度。

S2、工控机获取多个光源组件方向数据。

具体的，工控机根据多个光源组件的位置、相机组件3的位置以及多个光源组件与光学平板1的角度，搭建直角坐标系，光源组件在直角坐标系中的坐标即为光源组件方向数据。

以第一光源组件21、第二光源组件22、第三光源组件23、第四光源组件24和相机组件3的位置关系进行示例性说明。

请参阅图8，图8示出了根据本发明实施例的光源组件与相机组件的位置关系示意图。

将相机组件3的位置正下方的光学平板1上定义为待测芯片4放置点，以待测芯片4的位置为原点搭建直角坐标系，设定第二光源组件22和第四光源组件24的中轴线为x轴，设定第一光源组件21和第三光源组件23的中轴线为y轴，设定待测芯片4与第一光源组件21、第二光源组件22、第三光源组件23、第四光源组件24高度方向为z轴，设定第一光源组件21、第二光源组件22、第三光源组件23、第四光源组件24光线方向与光学平板1平面的角度α为60°，此时第一光源组件21、第二光源组件22、第三光源组件23、第四光源组件24与待测芯片4相对的位置参数如表1：

表1平行光源位置坐标

S21、对第一光源组件21、第二光源组件22、第三光源组件23、第四光源组件24的位置坐标(X、Y、Z)进行归一化，具体如下：

式中，X、Y、Z代表原始坐标值，X’、Y’、Z’代表归一化后坐标值。

表2平行光源位置归一化后坐标

S22、根据归一化后的第一光源组件21、第二光源组件22、第三光源组件23、第四光源组件24的位置坐标，获得光源方向矩阵L

S3、相机组件3分别采集待测芯片4在不同方向的多个光源组件照射下的多张图像，并将多张图像发送给工控机。

具体的，将待测芯片4放置在相机组件3的正下方，工控机控制不同方向的多个光源组件依次打开，每打开一个光源组件，工控机控制相机组件3采集一张待测芯片的图像，相机组件3将采集到的多张待测芯片图像发送给工控机。

本实施例中，按照第一光源组件21、第二光源组件22、第三光源组件23、第四光源组件24的顺序依次点亮，每点亮一个光源组件，相机组件3拍摄待测芯片4的一张图像，总共获得四张待测芯片4图像。

S4、工控机根据多个光源组件方向数据和多张图像，通过光度立体算法重建待测芯片锡球的三维模型，根据重建的待测芯片锡球的三维模型，获得待测芯片每个锡球的高度值。

利用光度立体技术重建芯片锡球三维模型并检测锡球高度。能够弥补2D检测算法无法通过高度检测锡球缺陷的空缺。

具体的，工控机根据多个光源组件方向数据和多张图像，通过光度立体算法重建待测芯片锡球的三维模型包括以下步骤：

S41、对多张图像进行处理，获得多张图像中每个对应像素点的灰度值，多张图像中同一位置的像素点对应待测芯片中的同一点。

请参阅图9，图9示出了根据本发明实施例四张不同角度光源照射下的待测芯片图像。

需要说明的是，获取到的多张图像中多张图像的像素点的数量以及像素点的排列方式均相同，不同的是，由于是在不同平行光源的照射下拍摄的图像，因此，同一位置的像素点的灰度值可能会不同。

示例的，对四张待测芯片图像进行处理，获得四张像素数量为N*M的灰度图片，假设第n张图片上第i行第j列的像素灰度值为I

S42、根据每个像素点的灰度值计算每个像素点的光强，具体如下：

S421、根据光源方向矩阵和灰度值矩阵，获得变量矩阵b，具体如下：

L

式中，L

S422、根据变量矩阵计算得出每个像素点的光强，具体如下：

式中，k＝1，2，3…N×M，b

计算得出每个像素点的光强后，组成光度矩阵ρ

S43、通过光源方向矩阵和每个像素点的光强计算图片上每个像素点的法向量，具体如下：

n

式中，n

计算图片上每个像素点的法向量后，获得芯片每个位置的单位法向量矩阵n

S44、根据每个像素点的法向量，获得每个像素点的三维高度，重建获得待测芯片锡球的三维模型。

请参阅图10和图11，图10示出了根据本发明实施例的待测芯片锡球的三维重建模型图，图11示出了根据本发明实施例获得的锡球高度示意图。

本步骤中，法向量到三维高度是通过两次傅里叶变换和一次反傅里叶变换得到的。

S44步骤中重建获得待测芯片锡球的三维模型具体如下：

S441、根据单位法向量矩阵，计算获得矩阵p和q。

S442、根据矩阵p和q计算获得每个像素点的三维高度Z，具体如下：

式中，

本实施例中，只需要拍摄四张不同角度照射下的芯片图片，检测速度快。本发明实施例针对BGA芯片锡球测量设计专用的光度立体检测算法，能够弥补2D检测算法无法通过高度检测锡球缺陷的空缺。

另外本发明实施例的检测系统结构简单，检测系统和检测方法可兼容多种BGA芯片和多种锡球，基于不同BGA芯片的区别，本发明实施例实现兼容的具体方案如下：

1、对于BGA芯片上锡球的分布不同，本发明实施例可以对相机整个视野范围内的物体进行3D重建计算，所以不会受BGA锡球分布的影响。

2、对于BGA芯片的大小不同，如果BGA芯片较大，本发明实施例可以灵活更换不同大小的平行光源，抬高相机调节相机视野或者更换视野更大的镜头，只要BGA芯片可以被光源完全覆盖且相机可以拍全BGA芯片，该方案就可以对其进行三维重建。

3、对于锡球的大小不同，本发明实施例可以根据锡球大小灵活换用不同精度的相机，高精度相机计算的结果精度相应更高，能检测的锡球可以更小。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。