基于深度学习的集成电路芯片封装缺陷检测系统

系统领域

本发明涉及集成电路芯片封装技术领域，具体为一种基于深度学习的集成电路芯片封装缺陷检测系统。

背景系统

半导体封装是指安装半导体芯片用的外壳。在集成电路芯片中，集成电路封装具有多种作用：它容纳包裹半导体元器件，提供冲击和划伤保护以及散热作用。

在国内，对半导体的缺陷检测的研究工作起步相对较晚，在初始阶段，最主要还是字符和引脚的检测，发展到后面重心便开始转向封装后半导体的缺陷检测。字符检测是对半导体产品上的文字或图案进行检测，这些文字包含了产品的尺寸、品牌、封装类型等相关信息；引脚检测内容包括检测引脚的尺寸、形状、数量、位置等信息；半导体芯片在封装后主要检测其外观是否存在缺陷，其中最常见的也就是划伤和脏污这一类的缺陷，实际上，封装后的半导体产品缺陷可达数十种，每一种缺陷都会或多或少影响到产品的性能，因而封装后的外观检测则显得十分重要。

然而，传统的人工计数方法效率低、人工成本高、精度低，且容易遗漏。机器学习方法在芯片封装体表面缺陷检测中也被广泛应用，但大多数算法需要人工提取特征并进行分类，这种方法特征提取复杂、泛化性能不足，易造成误判与漏判。

发明内容

本发明的目的在于提供一种基于深度学习的集成电路芯片封装缺陷检测系统，以解决上述背景系统中提出现有传统的人工计数方法效率低、人工成本高、精度低，以及大多数机器学习方法的特征提取复杂、泛化性能不足，易造成误判与漏判的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的集成电路芯片封装缺陷检测系统，包括机械传动设备、图像采集设备与上位机软件。

在机械传动部分，该系统需要实现芯片的上料、传动、检测处理和报警提示功能。

接着，在图像采集设备部分，需要对相机、镜头与光源进行选型，配合机械设备进行布局设计，采集清晰的芯片表面图像有利于后续的检测处理。

最后，在上位机软件中会有简单的控制功能，并对采集到的样本图像通过所设计的面向芯片表面缺陷的改进YOLOX网络模型进行检测，可视化检测过程与结果，完成整体检测并对检测数据进行整理与存档，并对检查测到的缺陷产品进行报警提示。帮助企业实现准确、高效的芯片封装信息反馈，降低企业总体成本，提升生产效益。

附图说明

图1为本发明的系统整体框架图；

图2为芯片封装缺陷检测场景示意图示意图；

图3为图像采集系统示意图；

图4为上位机软件系统示意图；

图5为整体检测流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的系统方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通系统人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在机械传动设备的设计上，请参阅图2芯片封装缺陷检测场景示意图。将切好片的芯片封装产品待检样品装载到XY轴移动平台上内，设备正常工作后，光纤传感器记录芯片待检样品进入XY轴移动平台的初始位置，接着电动机驱动平台带动芯片待检样品开始在机械传动设备上传送检测，然后芯片待检样品经过图像采集设备部分，图像采集设备部分中的CMOS高速相机对待检样品上表面进行图像采集，并通过串口传送至电脑端上位机软件进行处理分析。

电脑端的缺陷检测软件在对接收到的待检样品的表面图像，通过上位机软件中部署好的检测模型进行检测后，若系统检测到缺陷，电脑端即时将控制信号发送至报警提示系统，并保存记录缺陷出现的位置及其类别。若待检样品没有检测到存在缺陷，设备正常运行。。

针对芯片封装产品表面缺陷检测的实际应用场景，对光源与相机的结构进行设计后的效果，请参阅图3图像采集系统示意图，可以看出图像采集模块主要包括CMOS高速相机、镜头、光源等硬件设备。

针对不同的工业产品及其系统指标，图像采集设备的选型与设计一般是不同的，硬件的不同组合会直接决定最终的图像质量、从而影响整个检测系统。因此需要设计并搭配好能够显著突出芯片表面缺陷特征的图像采集设备。

在相机部分，通过相机采集芯片封装产品的表面图像，不仅仅要考虑有效像素的高低，还要考虑其信噪比、灵敏度、抗晕光及拖尾能力。按照芯片类型分类，主要分为CMOS相机与CCD相机。CMOS相机的工作原理是将光信号转换成模拟信号电压，然后将模拟信号电压串行扫描，相较于CCD相机有着更好的抗晕光和拖尾能力，同时信噪比和灵敏度也不差。结合性能以及经费的预算，CMOS相机性价比更高。

在镜头部分，传统的镜头会因为被测量的物体表面距离镜头的距离不一致，从而造成放大倍率的不同，同时镜头的畸变也大。但是针对芯片封装产品整幅图像的边缘同样包含待检测目标。同时不同芯片品种的厚度也不尽相同的情况，所以传统的镜头不满足本项目的需求。远心镜头可以很好地解决上述问题，它能够在拍摄不同高度上的物体时，保持放大倍率不变，同时畸变也非常小，可以采集好清晰且不失真的图像。

在光源部分，光源的选择，主要是考虑其能否显著突出封装表面缺陷的特征。传统的光源在工业产品的质检场景下大多不能很好地完成任务。例如条形光源通常是较大物体的首选光源，但由于其直线型照明角度并不能消除物体表面不平整导致的阴影，所以不适用于芯片检测。同轴光源可以很好地弥补条形光源的不足，但其光源颜色单一，使得光线照射下的物体表面同色部位区分度不明显，而芯片胶色种类较多，容易发生上述的情况，所以同轴光源也不适用于封装检测。针对封装尺寸小且表面易反光的特点，本项目选择采用多光谱环形光源，能突出显示封装产品的形状光泽和多品种方面具有独特能力。此外，通过安装偏光附件或圆顶形附件，可获取更加均匀的目标图像。

整个硬件部分还必须需要光源控制器来给光源持续供电、调整光源的各项参数以及触发信号实现光源的频闪来延长光源的寿命。同时也得需要线缆来保证图像或者视频流的传输可靠性。

在上位机软件的开发上，请参阅图4上位机软件系统示意图。整个上位机检测软件是由功能设置模块、检测显示模块和日志记录模块组成的。各部分具体功能如下：

功能设置模块：检测流程开始前，需要根据不同的需求选择检测源，例如抽检过程大多选择本地图像，而初检过程大多选择视频流。接着，针对不同封装的特点，合理地调整光源的亮度和参数。然后，根据企业对整批产品的品质严格程度，设置不同的置信度。最后，开始检测流程，加载改进的深度学习缺陷检测模型。

检测显示模块：检测过程中，需要将CMOS相机采集到的待检封装样品图像以及模型预测出的检测结果图像显示在相对应的区域。同时，检测信息框中还将显示已检样品数量、缺陷产品数量和类别信息。

日志记录模块：检测结束后，本地指定目录下xls格式的文件中存有检测总体统计信息、检测批次图像信息和单个缺陷信息，主要包含检测的启停时间、载入的模型、已检样品数量和缺陷样品数量等，同时子文件夹下存放了所检批次的缺陷样本图像。

在整体检测流程的设计上，请参阅图5整体检测流程示意图。检测软件启动后，首先默认设置上次运行的各项参数，接着加载迁移网络的训练模型，完成整个设备的初始化。然后当光纤传感器感知到芯片样品时，同步获取CMOS高速相机拍摄中的视频流，选择帧图像或本地图像送入检测网络模型中。通过检测网络模型快速判断出是否存在缺陷并输出检测结果图像，如果存在缺陷，检测结果图像会标记出缺陷的位置和种类，检测信息栏中同步地显示出缺陷的数量、类别和置信度等信息，同时报警提示系统收到控制信号后，会将带缺陷的的芯片缺陷样品的位置信息及缺陷种类信息进行播报。如果不存在缺陷，设备正常运行，快速地进入下一帧图像的检测。

尽管已经示出和描述了本发明的实施例，对于本领域的普通系统人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。