一种基于机器视觉的金属件分拣方法及系统

技术领域

本发明涉及分拣系统技术领域，尤其涉及一种基于机器视觉的金属件分拣方法及系统。

背景技术

在当前工业生产中，零件质量的要求也越来越高，其中金属部件分类分拣准确性是衡量产业智能化的一个重要指标。由于视觉优势，机器视觉技术已占据重要地位，它极大地推动了工业发展的智能化进程。它与生物视觉不同的是，机器视觉主要由视觉传感器组成。首先，它代替人眼获取图像，然后将图像传输给计算机，经过处理和分析，最后将有用信息用于实际检测、测量和控制中。

金属件分拣是传统工业制造的重要环节，该环节通常使用人工检测并分拣。人工检测通常需要大量人力，不仅耗费时间和精力，还会增加成本并存在主观判断影响精度。与此相比，视觉检测能够有效地代替人工检测，大大降低成本，提高效率。与传统的接触式测量方式相比，视觉测量通过相机采集零件图像完成测量，可以避免对零件的表面造成划痕与损伤，影响工件的质量。而且，相比传统的零件检测方式，机器视觉检测方法可以很大程度的缩短单个工件的检测时间，提高生产效率，满足现代工业生产需求。

此外，对于金属零部件的检测还有基于Canny算法、surf算法或Blob分析的识别检测算法。但此类算法均并未达到亚像素精度，且在阈值判断时难以确定相对灰度阈值，故仅适用于结构形状单一简单的金属件分类，对复杂结构的金属件难以识别。

因此，亟需提供一种基于机器视觉的金属件分拣方法及系统，其能够适用于结构形状复杂的金属件分拣。

发明内容

基于以上所述，本发明的目的在于一种基于机器视觉的金属件分拣方法及系统，其能够适用于结构形状复杂的金属件分拣。

为达上述目的，本发明采用以下技术方案：

本申请的第一方面提供了一种基于机器视觉的金属件分拣方法，包括：

输送工件至图像采集区域，并触发图像采集触发信号，所述工件包括若干待分拣的金属件；

基于图像采集触发信号，通过相机对所述图像采集区域内的工件进行图像采集，并获得工件图像；

对所述工件图像进行图像处理和分析，获得所述工件图像中金属件的特征信息，所述特征信息包括尺寸特征、基于图像识别确定的位置坐标信息；

输送所述图像采集区域的工件至分拣区域，并触发分拣触发信号；

基于分拣触发信号和所述特征信息，通过机械臂分拣剔除所述工件中的各金属件；

其中，所述对所述工件图像进行图像处理和分析包括基于SOT-OTSU算法，通过对所述工件图像的图像灰度值进行分析，将所述工件图像分割成前景和背景两个部分，以突出所述工件图像中用于分析获得所述特征信息的各个目标区域，所述目标区域为所述金属件所在区域，所述SOT-OTSU算法通过SOA海鸥寻优算法对OTSU算法进行优化后获得。

在一些实施方式中，所述基于图像采集触发信号，通过相机对所述图像采集区域内的工件进行图像采集，并获得工件图像包括：

在背光源条件下，通过工业相机的变焦镜头，对不同形态、不同种类的金属件进行拍摄采集并得到工件图像；

将所述工件图像存储在工件数据库中。

在一些实施方式中，所述对所述工件图像进行图像处理和分析包括：

对所述工件图像进行多边滤波非线性降噪处理。

在一些实施方式中，所述对所述工件图像进行图像处理和分析，获得所述工件图像中金属件的特征信息，包括：

对每一个所述目标区域进行Blob二值化分析，得到每个所述目标区域的特征信息，所述特征信息还包括周长、面积、重心。

在一些实施方式中，所述基于分拣触发信号和所述特征信息，通过机械臂分拣剔除所述工件中的各金属件包括：

将各金属件的位置坐标信息转换到所述通过机械臂的末端系统内表示，得到分拣坐标信息；

将分拣坐标信息带入运动学方程进行逆解运算，得到机械臂的每一个关节的关节转角；

使用Arduino Mega2560控制器控制所述机械臂，通过控制机械臂的电磁铁得失电，对各金属件进行分拣剔除。

在一些实施方式中，所述对所述工件图像进行图像处理和分析，获得所述工件图像中金属件的特征信息，包括：

基于将三维空间中的物体映射到二维图像上的几何成像模型，获得相机采集的工件图像中不同形态、不同种类的金属件的位置坐标信息。

在一些实施方式中，所述几何成像模型对世界坐标系、相机坐标系、图像坐标系与像素坐标系之间进行转换，所述转换如下：

通过旋转矩阵R与平移矩阵T表示世界坐标系与相机坐标系的转换关系，如下式(1)：

将相机坐标系中的三维点通过透视投影映射到二维平面上，从而得到对应的图像坐标系中的二维点。设透镜的焦距为f，其转换关系如下式(2)：

图像物理坐标系与像素坐标系的转换关系如下式(3)和(4)：

在一些实施方式中，所述SOA海鸥寻优算法包括迁徙行为和攻击行为，所述迁徙行为满足避免碰撞、向最优个体靠拢、与最优代理保持密切联系；

其中，所述SOA-OTSU算法根据金属件的图像灰度直方图信息，对所述SOA海鸥寻优算法进行初始化，使用类间的离散度测度作为适应度函数，对海鸥进行迁移和攻击操作，不断更新群体，使群体中的个体不断进行优化，最终获得使类间方差最大的最优分割阈值。

在一些实施方式中，所述迁徙行为的公式(5)如下：

C

式中A代表海鸥在给定搜索空间中的迁徙行为，A的大小通过f

A＝f

最终A的大小根据迭代次数，从2到0呈线性下降；

在保证海鸥个体之间不会发生碰撞之后，令所有海鸥向着最佳海鸥靠拢，用Ms表示个体向最佳海鸥的收敛方向，如下式(7)所示：

M

在计算出每个海鸥的收敛方向后可以得到海鸥的新位置数据D

D

其中，海鸥在搜索食物时，采用螺旋形式的下降攻击行为，通过不断变换角度和半径在三维空间中移动，攻击行为的公式(9-12)如下：

x＝r*cos(θ)，(9)；

y＝r*sin(θ)，(10)；

z＝r*θ，(11)；

本申请的第二方面提供了一种基于机器视觉的金属件分拣系统，其采用如上所述的基于机器视觉的金属件分拣方法进行金属件分拣。

本发明的有益效果为：

本发明的基于机器视觉的金属件分拣方法中，所述对所述工件图像进行图像处理和分析包括基于SOT-OTSU算法通过对所述工件图像的图像灰度值进行分析，将所述工件图像分割成前景和背景两个部分，以突出所述工件图像中用于分析获得所述特征信息的各个目标区域，所述目标区域为所述金属件所在区域，从而能够更好地进行后续的工件的分类和测量。而所述SOT-OTSU算法是通过SOA海鸥寻优算法对OTSU算法进行优化后获得的。采用SOT-OTSU算法对工件图像进行阈值分割，分割后的形状较为平整规则，能够更好的适用于结构形状复杂的金属件的分拣；使用SOA海鸥寻优算法对OTSU算法进行优化，提高了算法的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1为本申请提供的实施例中基于机器视觉的金属件分拣系统的示意图；

图2为本申请提供的实施例中基于机器视觉的金属件分拣方法的流程示意图；

图3为本申请提供的实施例基于机器视觉的金属件分拣方法中SOA-OTSU算法的适应度值曲线图；

图4为本申请提供的实施例基于机器视觉的金属件分拣方法中SOT-OTSU算法阈值分割后的图像；

图5为本申请提供的另一实施例基于机器视觉的金属件分拣方法的流程示意图。

图中：

1、传动带；2、三轴机械臂；3、环形光源；4、CCD相机；5、计算机；6、通讯连接线；7、工件。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，除非另有明确的规定和限定，术语“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本实施例的描述中，术语“上”、“下”、“左”、“右”、等方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述和简化操作，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅仅用于在描述上加以区分，并没有特殊的含义。

参考图1-2，本申请的实施方式提供了一种基于机器视觉的金属件分拣方法，采用该基于机器视觉的金属件分拣方法进行金属件分拣的分拣系统。参考图1，基于机器视觉的金属件分拣方法包括输送带、机械臂、相机、中控器和信号线。输送带可以是传送工件7的传送带1，机械臂可以是三轴机械臂2，相机可以是带有环形光源3的CCD相机4，中控器可以是计算机5，信号线可以是通讯连接线6。机械臂、输送带、相机和中控器通过信号线，实现信号传输。参考图2，为了能够适用于结构形状复杂的金属件分类，本申请的基于机器视觉的金属件分拣方法包括：

S100、输送工件至图像采集区域，并触发图像采集触发信号，所述工件包括若干待分拣的金属件；其中，触发图像采集触发信号可以采用位置传感器感测触发或者相机检测识别触发。

S200、基于图像采集触发信号，通过相机对所述图像采集区域内的工件进行图像采集，并获得工件图像。

S300、对所述工件图像进行图像处理和分析，获得所述工件图像中金属件的特征信息，所述特征信息包括尺寸特征、基于图像识别确定的位置坐标信息；其中，所述对所述工件图像进行图像处理和分析包括基于SOT-OTSU算法，通过对所述工件图像的图像灰度值进行分析，将所述工件图像分割成前景和背景两个部分，以突出所述工件图像中用于分析获得所述特征信息的各个目标区域，所述目标区域为所述金属件所在区域，所述SOT-OTSU算法通过SOA海鸥寻优算法对OTSU算法进行优化后获得。

S400、输送所述图像采集区域的工件至分拣区域，并触发分拣触发信号。触发分拣触发信号可以采用位置传感器感测触发或者相机检测识别触发。

S500、基于分拣触发信号和所述特征信息，通过机械臂分拣剔除所述工件中的各金属件。

本申请的实施方式通过S100至S500实现了对工件中金属件的检测、图像采集分析处理以及金属件的分拣。其中，所述SOT-OTSU算法是通过SOA海鸥寻优算法对OTSU算法进行优化后获得的。采用SOT-OTSU算法对工件图像进行阈值分割，分割后的形状较为平整规则，能够更好的适用于结构形状复杂的金属件的分拣；传统的OTSU算法运算复杂且耗时，使用SOA海鸥寻优算法对OTSU算法进行优化，提高了算法的效率。

进一步地，在一些实施方式中，在S300的对所述工件图像进行图像处理和分析，获得所述工件图像中金属件的特征信息的步骤中，包括：

基于将三维空间中的物体映射到二维图像上的几何成像模型，获得相机采集的工件图像中不同形态、不同种类的金属件的位置坐标信息。

进一步地，在一些实施方式中，在S300中，所述几何成像模型对世界坐标系、相机坐标系、图像坐标系与像素坐标系之间进行转换，所述转换如下：

通过旋转矩阵R与平移矩阵T表示世界坐标系与相机坐标系的转换关系，如下式(1)：

将相机坐标系中的三维点通过透视投影映射到二维平面上，从而得到对应的图像坐标系中的二维点。设透镜的焦距为f，其转换关系如下式(2)：

图像物理坐标系与像素坐标系的转换关系如下式(3)和(4)：

在一些实施方式中，在S300中，SOA海鸥寻优算法包括迁徙行为和攻击行为，所述迁徙行为满足避免碰撞、向最优个体靠拢、与最优代理保持密切联系；其中，所述SOA-OTSU算法根据金属件的图像灰度直方图信息，对所述SOA海鸥寻优算法进行初始化，使用类间的离散度测度作为适应度函数，对海鸥进行迁移和攻击操作，不断更新群体，使群体中的个体不断进行优化，最终获得使类间方差最大的最优分割阈值。

更进一步地，在一些实施方式中，所述迁徙行为的公式(5)如下：

C

式中A代表海鸥在给定搜索空间中的迁徙行为，A的大小通过f

A＝f

最终A的大小根据迭代次数，从2到0呈线性下降；

在保证海鸥个体之间不会发生碰撞之后，令所有海鸥向着最佳海鸥靠拢，用Ms表示个体向最佳海鸥的收敛方向，如下式(7)所示：

M

在计算出每个海鸥的收敛方向后可以得到海鸥的新位置数据D

D

其中，海鸥在搜索食物时，采用螺旋形式的下降攻击行为，通过不断变换角度和半径在三维空间中移动，攻击行为的公式(9-12)如下：

x＝r*cos(θ)，(9)；

y＝r*sin(θ)，(10)；

z＝r*θ，(11)；

参考图3-4所示，图3为实施例中基于机器视觉的金属件分拣方法中SOA-OTSU算法的适应度值曲线图；由图3可以看到优化后的SOT-OTSU算法完成了收敛，并且减少了迭代的次数。所以，SOT-OTSU算法加快了阈值分割的速度。图4为实施例基于机器视觉的金属件分拣方法中SOT-OTSU算法阈值分割后的图像；可以看见金属件经过SOT-OTSU算法分割后，其形状较为平整规则，故SOT-OTSU适合复杂结构的金属件的检测。

在一些实施方式中，在S200中，基于图像采集触发信号，通过相机对所述图像采集区域内的工件进行图像采集，并获得工件图像包括：

在背光源条件下，通过工业相机的变焦镜头，对不同形态、不同种类的金属件进行拍摄采集并得到工件图像；

将所述工件图像存储在工件数据库中。

在一些实施方式中，在S300的对所述工件图像进行图像处理和分析的步骤中包括：

对所述工件图像进行多边滤波非线性降噪处理。

其中，多边滤波非线性降噪处理的实现过程中，使用多边滤波非线性降噪处理模板内像素点之间的距离以及像素点之间的灰度值差异，避免像素点之间的相互影响，提高了滤波器的效率和准确性。该方法同时集成图像的空间数据和灰度相似性数据，高效保护了复杂结构金属件边缘的信息，进而提升对金属件的定位精度。

在一些实施方式中，在S300的对所述工件图像进行图像处理和分析，获得所述工件图像中金属件的特征信息的步骤中包括：

对每一个所述目标区域进行Blob二值化分析，得到每个所述目标区域的特征信息，所述特征信息还包括周长、面积、重心。

在一些实施方式中，在S500的基于分拣触发信号和所述特征信息，通过机械臂分拣剔除所述工件中的各金属件的步骤中包括：

将各金属件的位置坐标信息转换到所述通过机械臂的末端系统内表示，得到分拣坐标信息；

将分拣坐标信息带入运动学方程进行逆解运算，得到机械臂的每一个关节的关节转角；

使用Arduino Mega2560控制器控制所述机械臂，通过控制机械臂的电磁铁得失电，对各金属件进行分拣剔除。

在一些实施方式中，机械臂由底座、腰部、大臂、小臂与电磁铁组成，且存在3个关节位。机械臂的腰部可以平行于水平面做旋转运动，其大臂与小臂可以实现垂直于水平面做仰俯运动。在小臂的末端即臂爪处安装一个电磁铁，通过控制电磁铁的得失电来对金属件进行抓取与放置。在S500的基于分拣触发信号和所述特征信息，通过机械臂分拣剔除所述工件中的各金属件步骤中，包括：

机械臂两相邻大臂和小臂坐标系的转换关系如下式，根据公式求取机械臂运动学正解，可以得到小臂的末端与基座的转换矩阵。

当完成对工件的检测后，工件随着传送带运动到机械臂抓取范围内时，传送带停止转动。此时，结合相机拍摄是确定的位置坐标信息，通过坐标转换便可得到工件的位置坐标pxpypz，只需要知道工件的位置坐标pxpypz，便可根据上述方程得到机械臂每个关节的转动角度，然后将其转换为每个步进电机的步行量，并通过串口通讯的方式将数据发送至系统，控制机械臂对工件进行抓取。

更具体的，参考图5，图5为本申请提供的另一实施例基于机器视觉的金属件分拣方法的流程示意图。结合所述实施例的介绍，图5所示的另一实施例的步骤为：

Start：开启分拣系统，传送带将带有金属件的工件运输到图像采集区域，并触发图像采集触发信号。

摄像头图像采集：相机具有摄像头，摄像头进行图像采集获得工件图像；

多边滤波：对工件图像进行多边滤波处理；

SOT-OTSU阈值分割：对工件图像进行SOT-OTSU阈值分割处理，通过对所述工件图像的图像灰度值进行分析，将所述工件图像分割成前景和背景两个部分，以突出所述工件图像中用于分析获得所述特征信息的各个目标区域，所述目标区域为所述金属件所在区域，所述SOT-OTSU算法通过SOA海鸥寻优算法对OTSU算法进行优化后获得；

Blob分析：对每一个所述目标区域进行Blob二值化分析，得到每个所述目标区域的特征信息，所述特征信息还包括周长、面积、重心；

机械臂步行量：将各金属件的位置坐标信息转换到所述通过机械臂的末端系统内表示，得到分拣坐标信息；将分拣坐标信息带入运动学方程进行逆解运算，得到机械臂的每一个关节的关节转角，也即步行量；

Arduino系统：使用Arduino Mega2560控制器控制所述机械臂；

金属件分拣：通过控制机械臂的电磁铁得失电，对各金属件进行分拣剔除；

结束：分拣完成，系统结束工作。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。