基于视觉检测的配件分拣系统及方法

技术领域

本发明涉及电子产品视觉识别与分拣技术领域，尤其涉及基于视觉检测的配件分拣系统及方法。

背景技术

近年来，随着人工智能和自动化水平的快速发展，越来越多的工厂迫切需要实现智能化，以此来提高生产效率和产品质量。随着计算机视觉理论的快速发展，其在工业上的应用也越来越广。零件识别分拣是计算机与模式识别在机械工业领域中的一个重要应用，作为机械加工自动化的基础，它将人们从繁重的劳动中解放出来，不但降低了工业生产成本，而且提高了工业生产效率。

目前，劳动力的成本越来越高，工人对工作环境的舒适度和劳动强度的要求也逐渐提高，工业现场中的识别分拣流程越来越多的采用机器视觉识别分拣方案，即利用一定的图像采集设备拍摄分拣目标，利用图像处理方法进行分析，自动输出识别分拣结果，结合自动化控制器系统，自动剔除不合格的产品，有效的降低工人的劳动强度，同时还可以提高分拣的准确率。在显示器配件识别分拣工序中无论是人工分拣还是自动化分拣，都存在着机械零件种类繁多、数量庞大、传统的分类环境单一且分类精度不高的问题，影响产品的分拣质量和增加生产成本。因此，提高显示器生产线的配件分拣效率和生产质量是迫切需要解决的一个关键问题。

发明内容

本发明的目的在于克服现有技术分类单一、分类精度不高、分拣效率低的问题，提供基于视觉检测的配件分拣系统及方法。

本发明的目的是通过以下技术方案来实现的：基于视觉检测的配件分拣系统，系统具体包括：图像采集单元，用于采集传输带上待分拣配件的图像信息；图像处理单元，用于根据接收的待分拣配件的图像信息进行图像分类处理；控制单元，用于根据接收的图像分类处理结果发出对应的控制信息；执行单元，用于响应控制单元的控制信息执行相应的分拣动作。

作为一选项，所述图像处理单元还包括：第一预先配置模块，用于预存配件图像的特征信息，进而为待分拣配件图像配置待识别信息，待识别信息包括颗粒特征和颜色特征。第二预先配置模块，用于预配置配件图像的特征信息，进而根据每一个待分拣配件图像的特征信息为其配置相应的检测任务信息。

作为一选项，所述图像采集单元包括图像采集器和光源。

作为一选项，所述系统还包括位置检测单元，用于获取待分拣配件与图像采集单元之间的位置信息；所述位置检测单元输出端与控制单元连接，所述控制单元输出端与图像采集单元连接。

作为一选项，所述系统还包括报警单元，所述报警单元与控制单元输出端连接。

作为一选项，所述系统还包括图像预处理单元，所述图像采集单元、图像处理单元经图像与处理的单元连接。

作为一选项，所述执行单元包括导向装置、推动装置以及用于停止传输带的停止开关。

需要进一步说明的是，上述系统中各选项对应的技术特征可以相互组合或替换构成新的技术方案。

本发明还包括一种基于视觉检测的配件分拣方法，方法包括以下步骤：

采集传输带上待分拣配件的图像信息；根据待分拣配件的图像信息进行图像分类处理；根据图像分类处理结果发出对应的控制信息；根据控制信息执行相应的分拣动作。

作为一选项，所述图像分类处理包括样本集训练步骤和分类步骤；

所述样本集训练步骤包括：配置分类器的参数，确定训练过程中对各类配件样本进行分类时所依据的特征向量，设置特征提取过程参数，完成配件样本集的训练；

所述分类步骤包括：计算待分拣配件图像与样本集中配件样本图像之间的曼哈顿距离，并按曼哈顿距离进行排序，选取与待分拣配件图像距离最近的多个相邻配件样本图像；计算多个相邻配件样本图像所属类别的频率，频率最高的类别即为待分拣配件图像的类别，并根据分类识别率判断所述待分拣配件是否合格。

作为一选项，所述图像分类处理步骤前还包括预处理步骤：

采样大量各种姿态的配件样本图像，通过中值滤波和高斯算子对样本图像进行预处理，确定需要训练的配件样本集。

需要进一步说明的是，上述分拣方法中各选项对应的技术特征可以相互组合或替换构成新的技术方案。

与现有技术相比，本发明有益效果是：

(1)本发明通过图像采集单元采集传输带上待分拣配件的图像信息，经图像处理单元对待分拣配件进行图像分类，即待分拣配件具体所属的配件类别，若该待分拣配件不属于上述任意一类，则表示该待分拣配件为不合格配件，进而控制单元发出控制信息控制当前待分拣配件的导向、停止传输并剔除或推出传输带的分拣动作，分拣效率高，能够适应多种类配件的准确分拣，分拣精度高。

(2)本发明图像处理单元的第一预先配置模块为待分拣配件配置待识别信息，待识别信息包括颗粒特征和颜色特征，第二预先配置模块为每一个待分拣配件配置相应的检测任务信息，以提升图像分类的速度，保证了配件分拣效率。

(3)本发明图像采集单元包括图像采集器和光源，光源用于提高待分拣配件的亮度，克服环境光干扰，保证图像的稳定性，形成最有利于图像分类处理的成像效果，针对每个特定的应用场景，可调节相应的光源色彩和强度。

(4)本发明系统还包括位置检测单元，用于获取待分拣配件与图像采集单元之间的位置信息并传输至控制单元，以在待分拣配件与图像采集器之间距离最短时控制图像采集器采集待分拣配件的图像信息，采集到最清晰的待分拣配件图像，保证图像分类的精准度。

(5)本发明系统还包括报警单元，用于提示工作人员当前待分拣配件不合格或者不属于所需分类产品。

(6)本发明系统还包括图像预处理单元，用于对图像进行预处理，以降低图像处理单元的工作量。

(7)本发明执行单元包括导向装置、推动装置以及用于停止传输带的停止开关，实现对不同待分拣配件的分拣操作。

(8)本发明分拣方法通过采集传输带上待分拣配件的图像信息并进行分类处理，即待分拣配件具体所属的配件类别，若该待分拣配件不属于上述任意一类，则表示该待分拣配件为不合格配件，进而控制单元发出控制信息控制当前待分拣配件的导向、停止传输并剔除或推出传输带的分拣动作，分拣效率高，能够适应多种类配件的准确分拣，分拣精度高。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明实施例1的系统框图；

图2为本发明实施例1的相机采集的显示器配件原始图像；

图3为本发明实施例2的方法流程图；

图4是本发明实施例2相较于现有分类算法分类准确率第一组仿真示意图；

图5是本发明实施例2相较于现有分类算法分类准确率误差第一组仿真示意图；

图6是本发明实施例2相较于现有分类算法分类准确率第二组仿真示意图；

图7是本发明实施例2相较于现有分类算法分类准确率误差第二组仿真示意图；

图8是本发明实施例2相较于现有分类算法分类准确率第三组仿真示意图；

图9是本发明实施例2相较于现有分类算法分类准确率误差第三组仿真示意图。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图所述的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，属于“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明在于解决现有技术中配件分类单一、分类精度不高、分拣效率低的问题，提供了一种基于视觉检测的配件分拣系统，可应用于任何产品的零部件分拣。在本发明实施例部分，以显示器配件为例进行说明，且在本发明实施例部分，显示器配件包括线材、底座和支柱。

实施例1

如图1所示，在实施例1中，基于视觉检测的配件分拣系统，具体包括顺次连接的图像采集单元、图像处理单元、控制单元和执行单元。图像采集单元用于采集传输带上待分拣配件的图像信息；图像处理单元用于根据接收的待分拣配件的图像信息进行图像分类处理；控制单元用于根据接收的图像分类处理结果发出对应的控制信息；执行单元用于响应控制单元的控制信息执行相应的分拣动作。本发明通过图像采集单元采集传输带上待分拣配件的图像信息，经图像处理单元对待分拣配件进行图像分类，即待分拣配件具体所属的配件类别，若该待分拣配件不属于上述任意一类，则表示该待分拣配件为不合格配件，进而控制单元发出控制信息控制当前待分拣配件的导向、停止传输并剔除或推出传输带的分拣动作，分拣效率高，能够适应多种类配件的准确分拣，分拣精度高。

具体地，控制单元具体为单片机或PLC控制器，计算能力强，成本低。传输带具体为皮带传输线。

进一步地，图像处理单元具体为工业计算器(工控机)，包括图像分类模块，用于对待分拣配件图像进行分类，即用于判断当前显示器配件具体为线材、底座还是支柱，若不属于上述任意类别，即判断为不合格配件。具体地，图像处理单元即工控机包括分类模块和查找模块；分类模块用于计算各个样本特征向量的值并按照K邻近分类方法对待分拣样本进行归类；查找模块用于根据待分拣配件图像的特征信息，在训练的分类器中查找，查找与当前待分拣物体特征信息相对应的配件样本信息。图像处理单元还包括第一预先配置模块和第二预先配置模块；第一预先配置模块用于预存配件图像的特征信息，进而为待分拣配件图像配置待识别信息，待识别信息包括颗粒特征和颜色特征。第二预先配置模块用于预配置配件图像的特征信息，进而根据每一个待分拣配件图像的特征信息为其配置相应的检测任务信息，检测任务信息包括颗粒特征和颜色特征，通过两个预先配置模块能够进一步提升图像分类的速度，保证了配件分拣效率。

进一步地，图像采集单元包括图像采集器和光源。图像采集器具体为高清相机，用于获取待分拣配件的高清图像信息；具体地，可针对显示器配件的特点和工业的包装工艺，在识别分拣区域设置一台或多台相机，实现精准拍摄待分拣配件如图2所示。光源可为任意一种灯，作为一选项，光源为LED灯，设于传输带一边且位于相机与待分拣配件垂直线上，用于提高待分拣配件的亮度，克服环境光干扰，保证图像的稳定性，形成最有利于图像分类处理的成像效果，针对每个特定的应用场景，可调节相应的光源色彩和强度。

进一步地，系统还包括位置检测单元，用于获取待分拣配件与图像采集单元之间的位置信息并传输至控制单元，以在待分拣配件与图像采集器之间距离最短时控制图像采集器采集待分拣配件的图像信息，采集到最清晰的待分拣配件图像，保证图像分类的精准度。具体地，位置检测单元输出端与控制单元连接，控制单元输出端与图像采集单元连接。作为一选项，位置检测单元为距离检测传感器，用于检测图像采集单元与待分拣配件之前的距离信息并传输至控制单元，当检测到图像采集单元与待分拣配件之间的距离等于预设距离(图像采集单元与待分拣配件的垂直距离)时，控制单元控制图像采集单元采集待分拣配件的图像信息，以采集到最清晰的待分拣配件图像，保证图像分类的精准度。作为一选项，位置检测单元为红外装置，具体包括发射器和接收器，可将发射器设于传输带一边，接收器设于传输带另一边，且发射器与接收器相对设置，位于同一轴线，以使传输带上无待分拣配件通过时，接收器能够接受到发射器发射的红外光。需要说明的是，相机与发射器、接收器设于同一轴线，以使接收器无法接受发射器的红外光时，相机与待分拣配件之间的距离最短。

进一步地，系统还包括报警单元，用于提示工作人员当前待分拣配件不合格或者不属于所需分类产品，报警单元通与控制单元输出端有线连接。作为一选项，报警单元可以为LED灯和/或蜂鸣器，实现声光报警。

进一步地，系统还包括图像预处理单元，用于对图像进行预处理，以降低图像处理单元的工作量。图像采集单元、图像处理单元经图像与处理的单元连接，且图像处理单元与图像预处理单元双向连接。作为一选项，图像预处理单元具体为装有视觉处理器的图像采集卡，用于加速视觉处理速度。

进一步地，执行单元包括导向装置、推动装置以及用于停止传输带的停止开关。实现对不同待分拣配件的分拣操作。作为一选项，导向装置可以具体为设于传送带末端的分流传输带，或者是多个分流传输带+机械臂，以实现不同配件的导向，进而实现不同配件的自动分拣；推动装置可以为机械臂或者液压机构，用于将不合格或者不属于当前分类的待分拣配件推出传输带外；停止开关可以为控制传输带工作启停的开关，通过该停止开关使传输带停止运动，工人人员手动将不合格或者不属于当前分类(显示器配件)的待分拣配件分拣出来。

本发明通过红外装置或距离检测传感器检测相机与待分拣配件的距离，当显示器配件随着皮带输送线到达指定位置(相机与待分拣配件的最小距离)时，即配件正对相机时拍照，相机开始采集当前分拣区域内的配件的外观图像，将采集到的图像传输至图像预处理单元，待采集的图像进行预处理后将图像信号传输至图像处理单元，图像处理单元将当前的实际图像与系统中存储的分类器的输出结果进行分析计算，如有识别成功的配件，则输出此配件的图像信息并传输至控制器，最后由控制器控制执行机构完成配件的实时分拣；如果未识别成功的配件，则输出此配件异常信息，进而将该信息反馈至控制单元，控制单元控制报警单元报警，并控制停止开关或推动器的一种处理该不合格配件。

实施例2

本发明与实施例1具有相同的发明构思，基于实施例1提供了一种基于视觉检测的配件分拣方法，如图3所示，方法包括以下步骤：

S01：采集传输带上待分拣配件的图像信息；具体地，通过高清相机采集待分拣配件的实时外观图像信息，在采集待分拣配件的实时外观图像信息，需将相机、光源设置于实施例1中所述的安装位置，并调节相机的焦距和光源的强度。

S02：根据待分拣配件的图像信息进行图像分类处理；具体地，根据待分拣配件的图像的特征信息进行判断，具体为显示器配件的线材、底座还是支柱，并判断该配件是否合格，如配件有缺角即为不合格。

S03：根据图像分类处理结果发出对应的控制信息；具体地，当判断当前待分拣配件具体为线材时，发出导向的控制信息，将线材配件导向至线材分流传输带；同理，当判断当前待分拣配件为底座或支柱时，进行与线材相同的操作，将底座或支柱导向至不同的分流擦传输带。需要进一步说明的是，当判断当前待分拣配件为不合格配件时，发出移除该待分拣配件的控制信息。

S04：根据控制信息执行相应的分拣动作。具体地，如控制器信息为导向控制信息，当前待分拣配件为线材时为例，执行单元根据该导向控制信息启动机械臂工作，当线材与线材分流传输带对准时，机械臂将该待分拣配件拨至对线材分流传输带，以实现线材的分拣。同理，当控制信息为移除控制信息时，执行单元根据停止开关使传输带停止传输配件，此时，工人将不合格或者不符合当前分类的待分拣配件移除。

本发明分拣方法通过采集传输带上待分拣配件的图像信息并进行分类处理，即待分拣配件具体所属的配件类别，若该待分拣配件不属于上述任意一类，则表示该待分拣配件为不合格配件，进而控制单元发出控制信息控制当前待分拣配件的导向、停止传输并剔除或推出传输带的分拣动作，分拣效率高，能够适应多种类配件的准确分拣，分拣精度高。

进一步地，步骤S02中图像分类处理具体包括分类器根据确定分类的配件的样本信息，去调取对应的图像算法工具，然后对当前的实时图像进行算法工具分析，利用二值图像和颗粒分析，根据各配件图像分析工具设置的实际参数，分析当前的配件外观图像是否匹配，如果未能成功识别，则输出异常信息，进而将信息反馈至控制器，此时报警装置将会报警，并控制停止开关或推动器的一种处理该不合格配件，如果识别成功，则输出此配件图像信息并传输至控制器，最后由控制器控制执行机构完成分拣。当有配件到位后，再次循环此工作流程；否则，整个工作流程结束。更为具体地，图像分类处理具体包括样本集训练步骤和分类步骤；

样本集训练步骤包括：配置分类器的参数，确定训练过程中对各类配件样本进行分类时所依据的特征向量，设置特征提取过程参数，完成配件样本集的训练；需要进一步说明的是，样本训练主要用于提取显示器配件样本的特征向量值、分类信息和分类器参数配置。具体地，基于样本颗粒特征的各种属性参数有助于快速准确地针对二值处理后的分类识别任务进行特征提取。图像的特征提取方法多样，而图像特征描述的核心问题则是鲁棒性和可区分性。根据训练和分类过程对目标尺度不变性、旋转不变性和镜像对称不变性的要求，样本的特征提取向量可由基于样本的点、线、边界和Hu不变矩特征参数的颗粒特征和颜色特征构成，将样本图像的这些特征作为提取特征值以提高系统的鲁棒性。本发明引入平均类标准差

上式中，T表示矩阵的转置。

针对配件样本集合中训练每一类的L个样本，将属于同类的样本用类标签j标记，因此配件样本集合可用以下的N×L矩阵表示：

N×L矩阵的均值可由下式表示：

计算样本特征矩阵中第n行元素的标准差

为了定量表示配件样本集中的类标准差并直接反映样本矩阵的分散程度，利用下式可以得到类样本矩阵中的平均类标准差

两类的特征向量均值M

d

其中，每两个类之间的距离d

利用上述样本集训练步骤计算得到的显示器配件样本集平均类标准差和类间距离如表1和表2所示：

表1配件类标准差

表2配件类距离表

由表1可以看出，对显示器的三个配件分别采集50个样本图像，计算得到的平均标准差较小，说明配件样本较集中，分类准确度较高；由表2可以看出不同配件之间的特征向量平均值距离均大于1，同一种配件的特征向量平均距离均为0，说明不同类之间分离度较大，同一种配件较为集中。综上通过计算配件样本的平均标准差

进一步地，分类步骤包括：计算待分拣配件图像与样本集中配件样本图像之间的曼哈顿距离，并按曼哈顿距离进行排序，选取与待分拣配件图像距离最近的多个相邻配件样本图像；计算多个相邻配件样本图像所属类别的频率，频率最高的类别即为待分拣配件图像的类别，并根据分类识别率判断所述待分拣配件是否合格。具体地，对分类器进行训练和输出结果的评测，并将分类器的输出结果保存至目录，以便后续实时分拣过程的使用，具体的分类算法步骤如下：

(1)构建训练样本集T；

(2)设定k的初始值；

(3)在训练样本集中选出与测试样本最相似的k个样本，这里相似标准定义为曼哈顿距离。若所有样本属于n维空间R

(4)对于测试样本(X

其中。当a＝b时δ(a,b)＝1；否则δ(a,b)＝0。

(5)使用多数投票法作为待测样本的预测值。

在显示器配件分类识别过程中，利用分类准确率和识别准确率两个指标来衡量目标分类系统的优劣。分类准确率是指被检测样本归属某类时比归类到其他分类结果的程度，可表示为：

其中，d是被检测样本与它被归类到的类之间归一化距离，d

识别准确率＝(1-d)×100％

本发明还引入识别准确率误差e进行误差判断以说明本发明算法的稳定性，具体计算公式如下：

其中，y

进一步地，图像分类处理步骤前还包括预处理步骤：

采样大量各种姿态的配件样本图像，通过中值滤波和高斯算子对样本图像进行预处理，确定需要训练的配件样本集。更为具体地，采集的大量各种姿态的配件样本图像可经千兆以太网传输至图像预处理模块进行预处理操作。

具体地，采用邻域大小为3×3的非线性低通中值滤波对采集的配件图像样本进行滤波处理，最大限度地保留图像目标中的有效边缘，并消除噪声和去除孤立亮点或暗点，公式表示如下：

其中，μ是像素P

由于本发明是基于3×3邻域对图像进行N阶非线性低通滤波，所以中值滤波的阶次可由以下计算公式计算：

实验结果表明：当K＝3，N＝4时,图像中孤立的亮点或暗点、椒盐噪声将被有效滤除，而其他区域则保持不变。然后，采用卷积核为3×3的高斯滤波可以削弱配件样本图像像素的灰度变化，从而滤除样本图像中的高频噪声，使图像表面光滑柔和，高斯算子滤波表示如下：

其中，a、b、c、d为正整数，选择x的取值大于1，且大于算子中任何其他因子(各因子的大小以x为中心呈正态分布)。

更为具体地，预处理步骤还包括：

配置分类器的参数，确定训练过程对样本进行分类时所依据的特征向量，设置特征提取过程的参数，完成配件样本集的训练；

对分类器输出结果进行评测，并将分类器的输出结果保存至目录里，以便后续实时分拣过程的使用。

需要进一步说明的是，本发明通过上述非线性低通中值滤波将采集的图像中的噪声、孤立亮点和暗点进行消除，采用卷积核3×3的高斯算子削弱图像像素灰度变化和滤除图像中的高频噪声，使其图像表面光滑和柔和，提高了分类精度；其次，使用样本集对监督学习分类器进行6次训练；最后，利用监督学习二值图像的分类识别算法对显示器配件进行分类识别；能够在样本集维度较高时，具有较高的分类效率。为进一步说明本发明分类方法的性能，现对现有的分类方法进行性能对照试验，试验结果如表3、表4、图4-图9所示：

表3分类算法识别率对比表

表4显示器配件分类准确率

基于实验对比结果表明：本文方法采用图像的预处理+分类算法解决了因噪声影响而导致分类识别精度下降的不足，在实时性和鲁棒性方面明显优于其他三种分类识别方法，完成分类识别时间仅需12.9ms，每一种配件的识别准确率达到96％以上，分类准确率达到100％，本发明算法满足显示器配件分类识别的工程应用及实时分拣需求。

实施例3

本实施例提供了一种存储介质，与实施例2具有相同的发明构思，其上存储有计算机指令，所述计算机指令运行时执行实施例2中所述的基于视觉检测的配件分拣方法的步骤。

基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

实施例4

本实施例还提供一种终端，与实施例2具有相同的发明构思，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行实施例2中所述的基于视觉检测的配件分拣方法的步骤。处理器可以是单核或者多核中央处理单元或者特定的集成电路，或者配置成实施本发明的一个或者多个集成电路。

在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。