一种电子元器件生产流水线故障信息识别方法

技术领域

本发明涉及数据识别技术领域，且更确切地涉及一种电子元器件生产流水线故障信息识别方法。

背景技术

电子元器件是电子元件和小型的机器、仪器的组成部分，其本身常由若干零件构成，可以在同类产品中通用，常指电器、无线电、仪表等工业的某些零件，是电容、晶体管、游丝、发条等电子器件的总称，常见的有二极管、三极管等，三极管全称应为半导体三极管，也称双极型晶体管、晶体三极管，是一种控制电流的半导体器件，其作用是把微弱信号放大成幅度值较大的电信号，也用作无触点开关，电子元器件生产过程中，比如三极管电子元器件过程中会出现以下问题：

1、通常工业生产流水线中对于三极管此类带有插腿的电子元器件，这种插腿的电子元器件很容易出现插腿缺失、或则贴片丢失等问题；生产流水线过程中的显示屏缺字；

2、生产流水线过程中，还容易出现电子元器件生产停滞问题，或者在生产过程中遇到生产流水线运行异常，导致电子元器件生产流水线故障信息无法精准识别。

生产线就是产品生产过程所经过的路线，即从原料进入生产现场开始，经过加工、运送、装配、检验等一系列生产生产线活动所构成的路线。生产线是按对象原则组织起来的，完成产品工艺过程的一种生产组织形式，即按产品专业化原则，配备生产某种产品(零、部件)所需要的各种生产流水线运行状态和各工种的工人，负责完成某种产品(零、部件)的全部制造工作，对相同的劳动对象进行不同工艺的加工。而随着生产线功能和结构越来越复杂，其发生故障可能出现的概率就越高，所带来的风险就越大，还会带来如超负荷运载、漏电、电线短路等诸多意外事故。因此如何实现电子元器件生产流水线故障信息识别就成为亟待解决的技术问题。

发明内容

针对上述技术的不足，本发明一种电子元器件生产流水线故障信息识别方法，能够实现电子元器件生产过程中故障识别和诊断能力，及时提示管理人员预警，以提高电子元器件生产过程中故障识别和诊断能力。

为了实现上述技术效果，本发明采用以下技术方案：

一种电子元器件生产流水线故障信息识别方法，其中包括：

（S1）在电子元器件生产流水线上方设置监控装置；

在本步骤中，监控装置包括主控模块与所述主控模块连接的监控组件、图像处理模块、视频驱动模块和视频存储模块，其中监控组件包括图像获取单元和视频获取单元，所述图像获取单元和视频获取单元在电子元器件生产流水线上方交错设置，监控组件设置有外部接口模块，所述图像获取单元为CCD无线摄像机，所述图像获取单元设置有定位模块，所述定位模块通过故障识别实现纠偏；定位模块采用激光定位实现电子元器件在生产流水线中的定位；

其中纠偏方法为：

通过CCD无线摄像机在流水线上各种角度和已知距离之间的几何关系校正数据参数，CCD无线摄像机每个参数关系为：

公式（1）中，α

CCD摄像机在电子元器件生产流水线的参照高度

公式（2）中，

在公式（3）和（4）中，

（S2）通过监控装置获取电子元器件生产流水线运行状态数据信息，并提取电子元器件的外观数据信息特征；

在本步骤中，通过卷积分方法提取电子元器件的外观数据信息特征；

（S3）故障识别，

在本步骤中，故障识别包括电子元器件外观故障识别和生产流水线生产状态故障识别；

通过模板匹配法将获取的电子元器件生产流水线信息与模板数据库内的电子元器件信息比对，当对比一致，则电子元器件无外观故障信息，当对比不一致，则电子元器件存在外观故障信息。

通过EMD混合分布算法实现生产流水线生产状态的故障识别。

作为本发明进一步的技术方案，所述主控模块为基于STM32F103RCT6单片机的控制模块。

作为本发明进一步的技术方案，视频获取单元为基于TMS320DM8168芯片的视频采集单元。

作为本发明进一步的技术方案，卷积分方法提取电子元器件图像信息通过以下步骤：

步骤一、构建CNN结构模型，将CNN结构模型划分为数据输入模块、卷积模块、CNN结构模型和数据输入模块，其中数据输入模块的输出端与卷积模块的输入端连接，卷积模块与CNN结构模型交替设置，所述CNN结构模型的输出端与数据输入模块的输入端连接；

步骤二、将CNN结构模型中每一个电子元器件样本数据用二维形式进行表示，经过卷积核照射到隐层，隐层主要由卷积层C层与降采样层S层组成，C层与S层交替重复；

步骤三、图像分割，将输入CNN结构模型中的电子元器件样本数据分成很多小图像 模块，其中CNN结构模型中的C层是对输入神经元数据局部特征的提取，C层的每一个平面表 示一个特征矩阵，并且平面上的卷积核相等，有并行学习的特征，不同平面对应着不同的卷 积核，卷积核多表示特征提取更充分，前一层输入的特征矩阵

公式（5）中，

步骤四、卷积计算，CNN结构模型中的S层使用上一层输入的电子元器件数据，并对 数据进行缩小或放大，直到能够照射到相应的数据维度上，进行对相关特征提取，利用均值 池化等降采样法，输入、输出和池化矩阵维度满足

公式（6）中，CNN结构模型输出层采用线性全连接的softmax分类方法进行分类，其中k表示电子元器件数据信息特征提取影响因子。

作为本发明进一步的技术方案，EMD混合分布算法包括以下方法：

步骤（1）、生产流水线运行状态信息转换；

在本步骤中，通过EMD算法将生产流水线运行状态模拟数据划分出不同的方程量，输出函数表示为：

公式(7)中，

步骤（2）、在N段时间内将电子元器件生产流水线运行状态的数据量转换为函数方程，N大于4小时；然后通过函数表达式拟合不同电子元器件生产流水线运行状态，计算出流水线运行状态最大变化数据量和最小数据变化量，通过将N个时间段内的状态数据信息求均值，则均值函数输出如公式（8）所示：

在公式（8）中 其中

公式（9）中：

公式(9)中，

作为本发明进一步的技术方案，模板匹配法包括分类器，所述分类器为在决策树内加入搜索引擎的分类器，以提高分类能力的模板匹配方法。

本发明有益的积极效果在于：

区别于常规技术，本发明能够实现电子元器件生产流水线电子元器件和流水线运行故障信息的采集、提取、分析和监控。通过设置监控装置，能够提高图像数据信息的采集与分析，其中包括图像获取单元和视频获取单元，所述图像获取单元和视频获取单元在电子元器件生产流水线上方交错设置，监控组件设置有外部接口模块，所述图像获取单元为CCD无线摄像机，所述图像获取单元设置有定位模块，所述定位模块通过故障识别实现纠偏；定位模块采用激光定位实现电子元器件在生产流水线中的定位。在定位模块通过故障识别实现纠偏；提高了故障识别能力。并通过监控装置获取电子元器件生产流水线运行状态数据信息，并提取电子元器件的外观数据信息特征；通过模板匹配法将获取的电子元器件生产流水线信息与模板数据库内的电子元器件信息比对，当对比一致，则电子元器件无外观故障信息，当对比不一致，则电子元器件存在外观故障信息，通过EMD混合分布算法实现生产流水线生产状态的故障识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，其中：

图1为本发明整体流程示意图；

图2为本发明中监控装置结构示意图；

图3为本发明中视频监控电路原理图；

图4为本发明中纠偏方法示意图；

图5为本发明中卷积分模型示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，一种电子元器件生产流水线故障信息识别方法，包括：

（S1）在电子元器件生产流水线上方设置监控装置；

在本步骤中，监控装置包括主控模块与所述主控模块连接的监控组件、图像处理模块、视频驱动模块和视频存储模块，其中监控组件包括图像获取单元和视频获取单元，所述图像获取单元和视频获取单元在电子元器件生产流水线上方交错设置，监控组件设置有外部接口模块，所述图像获取单元为CCD无线摄像机，所述图像获取单元设置有定位模块，所述定位模块通过故障识别实现纠偏；定位模块采用激光定位实现电子元器件在生产流水线中的定位；

其中纠偏方法为：

如图2和图4所示，通过CCD无线摄像机在流水线上各种角度和已知距离之间的几何关系校正数据参数，CCD无线摄像机每个参数关系为：

公式（1）中，α

CCD摄像机在电子元器件生产流水线的参照高度

公式（2）中，

在公式（3）和（4）中，

（S2）通过监控装置获取电子元器件生产流水线运行状态数据信息，并提取电子元器件的外观数据信息特征；

在本步骤中，通过卷积分方法提取电子元器件的外观数据信息特征；

（S3）故障识别，

在本步骤中，故障识别包括电子元器件外观故障识别和生产流水线生产状态故障识别；

通过模板匹配法将获取的电子元器件生产流水线信息与模板数据库内的电子元器件信息比对，当对比一致，则电子元器件无外观故障信息，当对比不一致，则电子元器件存在外观故障信息，

通过EMD混合分布算法实现生产流水线生产状态的故障识别；

在上述实施例中，如图3所示，所述主控模块为基于STM32F103RCT6单片机的控制模块。

在具体实施例中，本申请现场集中控制器中使用了STM32F103RCT6单片机，独立式无线报警器中使用STM8L151K4T6单片机。由于现场集中控制器的单片机具有低功耗待机功能，维持其最小系统工作时待机电流仅1~2微安，考虑到待机功耗问题和电路简化，采用了STM32F103RCT6单片机作为核心处理芯片。最大时钟频率为72MHz，RAM大小为32768B，FLASH内存容量为262144B，引脚数目为64，拥有51个高速输入输出端口，工作电压为DC2V~DC3.6V，工作温度为-40℃-85℃。

如图3所示，在上述实施例中，视频获取单元为基于TMS320DM8168芯片的视频采集单元。

本申请多通道的数字视频采集生产流水线运行状态的主控芯片采用TMS320DM8168芯片，支持视频数据进行本地硬盘存储、本地实时显示和回放功能，作为核心控制模块对其他模块进行协同控制。主控芯片内部集成了多个处理核，包括ARM子系统、高清视频处理子系统、编解码子系统和DSP子系统，ARM子系统要负责对其他外围电路的配置和控制，高清视频处理子系统负责对视频数据进行压缩编码、滤波和格式转换等工作，DSP子系统负责视频数据的管理工作。视频采集模块使用TVP5158芯片，负责水电站多路视频的采集，将采集到的视频数据发送给主控模块进行相应的处理。视频采集模块采用多路视频复用可同时对四路模拟视频信号转换为数字视频信号，将采集到的水电站视频数据首先需要通过AD转换器，然后分离视频图像的色度信号和亮度信号，经过滤波将视频信号进行整合，再经过定标器处理制定视频信号的格式，然后根据系统对水电站视频图像的需求将数字视频格式发送到后端视频处理器的输入接口上

在上述实施例中，卷积分方法提取电子元器件图像信息通过以下步骤：

步骤一、构建CNN结构模型，将CNN结构模型划分为数据输入模块、卷积模块、CNN结构模型和数据输入模块，其中数据输入模块的输出端与卷积模块的输入端连接，卷积模块与CNN结构模型交替设置，所述CNN结构模型的输出端与数据输入模块的输入端连接；

步骤二、将CNN结构模型中每一个电子元器件样本数据用二维形式进行表示，经过卷积核照射到隐层，隐层主要由卷积层C层与降采样层S层组成，C层与S层交替重复；

步骤三、图像分割，如图5所示，在具体实施例中，设置光照和摄像头，将输入CNN结 构模型中的电子元器件样本数据分成很多小图像模块，其中CNN结构模型中的C层是对输入 神经元数据局部特征的提取，C层的每一个平面表示一个特征矩阵，并且平面上的卷积核相 等，有并行学习的特征，不同平面对应着不同的卷积核，卷积核多表示特征提取更充分，前 一层输入的特征矩阵

公式（5）中，

步骤四、卷积计算，CNN结构模型中的S层使用上一层输入的电子元器件数据，并对 数据进行缩小或放大，直到能够照射到相应的数据维度上，进行对相关特征提取，利用均值 池化等降采样法，输入、输出和池化矩阵维度满足

公式（6）中，CNN结构模型输出层采用线性全连接的softmax分类方法进行分类，其中k表示电子元器件数据信息特征提取影响因子。

利用卷积神经网络（(convolutional neural network，CNN）进行对调度交换网故障的判断，在上述方法中，图像中不同数据窗口的数据和卷积核（一个滤波矩阵）作内积的操作叫做卷积。其计算过程又称为滤波（filter)，本质是提取图像不同频段的特征。卷积核也称为滤波器filter，带着一组固定权重的神经元，通常是n*m二维的矩阵，n和m也是神经元的感受野。n*m 矩阵中存的是对感受野中数据处理的系数。一个卷积核的滤波可以用来提取特定的特征（例如可以提取物体轮廓、颜色深浅等）。通过卷积层从原始数据中提取出新的特征的过程又成为feature map(特征映射)。filter_size是指filter的大小，例如3*3； filter_num是指每种filter_size的filter个数，通常是通道个数，在具体应用中，多个滤波器叠加便成了卷积层。如果我们有1000x1000像素的图像，有1百万个隐层神经元，那么他们全连接的话（每个隐层神经元都连接图像的每一个像素点），就有1000x1000x1000000=10^12个连接，也就是10^12个权值参数。图像每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样，我们就可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数。通过神经网络模型和结构，能够将获取的数据信息训练成容易识别的数据信息。

在上述步骤中，EMD混合分布算法包括以下方法：

步骤（1）、生产流水线运行状态信息转换；

在本步骤中，通过EMD算法将生产流水线运行状态模拟数据划分出不同的方程量，输出函数表示为：

公式(7)中，

步骤（2）、在N段时间内将电子元器件生产流水线运行状态的数据量转换为函数方程，N大于4小时；然后通过函数表达式拟合不同电子元器件生产流水线运行状态，计算出流水线运行状态最大变化数据量和最小数据变化量，通过将N个时间段内的状态数据信息求均值，则均值函数输出如公式（8）所示：

在公式（8）中 其中

公式（9）中：

公式(9)中，

在具体实施例中，对于电子元器件生产流水线图像的采集以及监控算法方面，为了提高电子元器件生产流水线视频数据信息的分析效率，本研究采用EMD混合分布算法，该方法能够将采集到的生产流水线运行状态故障数据信息宏观数据进行微观化处理，转换为微观数据进行详细的分析。

模板匹配法包括分类器，所述分类器为在决策树内加入搜索引擎的分类器，以提高分类能力的模板匹配方法。

循环计算待测样本和训练集中已知样本之间的距离，比较所有的距离值，找出与待测样本最近的已知样品，其中所对应的样本所属的类别就是待测样本X所属的类别。在另一种实施例中，为一副已知的小图像，而模板匹配就是在一副大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，通过一定的算法可以在图中找到目标，确定其坐标位置。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。