基于机器视觉的手套左右手识别方法

技术领域

本发明涉及手套左右手识别技术领域，具体涉及一种基于机器视觉的手套左右手识别方法。

背景技术

在手套生产领域，很多手套的生产都具有左右手之分。如医用手套的生产，基于医生在手术时手套与其手部曲线的贴合度考虑，生产出来的医用手套手指是略微弯曲有弧度的，存在左右手的区分，以增加医生手部的舒适度及其手指活动的灵活性。而为了提高便利性和安全性，通常会采用单只手套单独包装的包装方式，且包装时需要区分左右手。目前在此包装过程中依靠的是人工识别和手动分拣，将手套拇指一面向上，人眼识别手套拇指的朝向，拇指在左边就是左手，拇指在右边就是右手。手套生产线手模数量多，手模安装时候容易出现手模安装反的情况，造成生产线上手模的左右手分布是无规律的。在进行分拣时，分拣工人长时间的人工分拣容易产生视觉疲劳，造成分拣错乱，进入包装环节后更是难以分辨。

现有的手套识别技术，多是针对手套表面是否缺陷，手套是否合格作出的自动检测，如公开号为：CN113834814A，名称为“一种手套表面缺陷检测的装置”的文件。基于以上情况，需要一种手套左右手识别方法，识别生产线上或其他场景中的手套为左手还是右手，发送给后端的包装机构信号，分拣手套左右手，满足业务需求，提升包装效率。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种基于机器视觉的手套左右手识别方法。

本发明为解决其技术问题所采用的技术方案为：基于机器视觉的手套左右手识别方法，包括以下步骤：

信息采集：获取手套图像；在手套生产线的适当位置设置拍摄装置，基于拍摄装置进行拍摄作业，获取手套图像信息；

图像处理：对手套图像进行轮廓提取，获得单个手套的轮廓信息；

获取特征图集：提取手套轮廓图像中的特征点，获得对应的手套左右手的特征图集；

手套左右手识别：基于获得手套左右手的特征图集进行手套左右手的识别。

本发明设置先用拍摄装置将手套生产线上的手套拍照，获取手套的图像信息，随后对图像信息进行手套轮廓提取，获得手套轮廓图像，由于左右手的手套对应的特征不同，针对左右手手套的不同特征进行提取，得到对应的特征图，随后对要进行分拣的手套与特征图进行比较，从而识别手套的左右手。

每一个手套对应唯一一个ID，所述信息采集中将获取的手套图像中的手套与其ID对应。如此设置将识别结果与手套对应，在后续分拣装置分拣时能够正确分拣。

所述图像处理中包括以下子步骤：

2-1：识别手套图像中完整轮廓的手套，进行整体框选；

2-2：在整体框选的完整轮廓的手套图像中识别单个手套进行框选裁剪，得到单个手套的轮廓图像信息。

所述获取特征图集包括以下子步骤：

3-1：在单个手套的轮廓图像中标注对应的特征信息，特征信息包括手套的左右手类别、正反面类别及手指关键点信息；

3-2：建立数据集，所述数据集中包括若干已标注特征的单个轮廓图像信息；

3-3：对数据集中数据进行预处理及归一化操作，得到特征图集。

所述3-1中手指关键点信息包括手套上至少两个手指的位置信息和/或手套中线与至少一个手指的位置信息。

所述3-3中预处理包括随机翻转和/或暗度变换对数据进行增强操作。

所述手套左右手识别中，将待识别手套与特征图集进行对照，判定待识别手套的左右手。

所述手套左右手识别中以特征图集作为训练集搭建深度学习模型，基于深度学习模型进行待识别手套左右手的识别判断。

所述深度学习模型搭建时利用损失函数计算得到损失值，使用反向传播算法进行梯度翻转，更新现用模型的权重值，进行多次迭代训练直到达到预设条件为止。

获取手套图像时基于下述两种场景的任一场景获取：

场景一：手套套在手模上，随手模输送线运行过程中获取；

场景二：手套在气检机上进行充气检查后，在充气状态下获取。

分拣设备可基于上述识别结果，进行自动分拣作业，代替人工作业，提高分拣正确率。

与现有技术相比，本发明具有以下有益效果：

本发明提供一种基于机器视觉的手套左右手识别方法，代替原有人工识别分拣左右手套的方式，实现对手套的自动化识别，降低识别分拣的错误，提升包装效率，实现降本增效，节约成本，解放劳动力。

附图说明

图1是本发明手模方案的图像分析流程图。

图2是本发明手模方案手套正面朝向分析示意图。

图3是本发明手模方案手套反面朝向分析示意图。

图4是本发明手模方案手套正面朝向分析情况一示意图。

图5是本发明手模方案手套正面朝向分析情况二示意图。

图6是本发明手模方案手套正面朝向分析情况三示意图。

图7是本发明手模方案手套正面朝向分析情况四示意图。

图8是本发明手模方案手套正面朝向分析情况五示意图。

图9是本发明手模方案手套正面朝向分析情况六示意图。

图10是本发明手模方案手套反面朝向分析情况一示意图。

图11是本发明手模方案手套反面朝向分析情况二示意图。

图12是本发明手模方案手套反面朝向分析情况三示意图。

图13是本发明基于气检机正面拍照方案的图像分析流程图。

图14是本发明气检机正面拍照方案手套正面朝向分析示意图。

图15是本发明气检机正面拍照方案手套反面朝向分析示意图。

图16是本发明气检机正面拍照方案手套正面朝向分析情况一示意图。

图17是本发明气检机正面拍照方案手套正面朝向分析情况二示意图。

图18是本发明气检机正面拍照方案手套正面朝向分析情况三示意图。

图19是本发明气检机正面拍照方案手套正面朝向分析情况四示意图。

图20是本发明气检机正面拍照方案手套正面朝向分析情况五示意图。

图21是本发明气检机正面拍照方案手套正面朝向分析情况六示意图。

图22是本发明气检机正面拍照方案手套反面朝向分析情况一示意图。

图23是本发明气检机正面拍照方案手套反面朝向分析情况二示意图。

图24是本发明气检机正面拍照方案手套反面朝向分析情况三示意图。

图25是本发明气检机正面拍照方案手套反面朝向分析情况四示意图。

图26是本发明气检机正面拍照方案手套反面朝向分析情况五示意图。

图27是本发明气检机正面拍照方案手套反面朝向分析情况六示意图。

图28是本发明基于气检机侧面拍照图像分析流程图。

具体实施方式

下面结合附图对本发明实施例做进一步描述：

实施例1

如图1至图28所示，基于机器视觉的手套左右手识别方法包括如下步骤：

信息采集：获取手套图像；本申请基于上述手套运行的两种状态，在相应位置设置拍摄装置进行有关手套的图像采集作业。获取手套被填充时的图像信息，基于该图像信息进行分析识别更为准确。拍摄装置与工控机通讯连接，由工控机进行数据处理分析。

图像处理：对手套图像进行轮廓提取，获得单个手套的轮廓信息；

所述图像处理中包括以下子步骤：

2-1：识别手套图像中完整轮廓的手套，进行整体框选；

2-2：在整体框选的完整轮廓的手套图像中识别单个手套进行框选裁剪，得到单个手套的轮廓图像信息。

具体地说，参照图1及图2，本申请中拍摄装置在拍摄图像时拍摄的一张图像中可能存在1个或多个手套，因此工控机接收到手套图像信息后，将这些完整轮廓的手套通过预选框整体框选，随后在框选出的完整轮廓中，分别对单个手套进行单独框选，基于单独框选出的单个手套逐一进行裁剪，进而提取单个手套的轮廓图像信息。

获取特征图集：提取手套轮廓图像中的特征点，获得对应的手套左右手的特征图集；

所述获取特征图集包括以下子步骤：

3-1：在单个手套的轮廓图像中标注对应的特征信息，特征信息包括手套的左右手类别、正反面类别及手指关键点信息；所述3-1中手指关键点信息包括手套上至少两个手指的位置信息和/或手套中线与至少一个手指的位置信息。

3-2：建立数据集，所述数据集中包括若干已标注特征的单个轮廓图像信息；

3-3：对数据集中数据进行预处理及归一化操作，得到特征图集。所述3-3中预处理包括随机翻转和/或暗度变换对数据进行增强操作。

手套左右手识别：基于获得手套左右手的特征图集进行手套左右手的识别。

所述手套左右手识别中，将待识别手套与特征图集进行对照，判定待识别手套的左右手。

所述手套左右手识别中以特征图集作为训练集搭建深度学习模型，基于深度学习模型进行待识别手套左右手的识别判断。

所述深度学习模型搭建时利用损失函数计算得到损失值，使用反向传播算法进行梯度翻转，更新现用模型的权重值，进行多次迭代训练直到达到预设条件为止。

具体地说，在模型训练时，定义损失函数，用于衡量模型预测结果与真实标签之间的差异，对比每个训练样本，将模型的输出结果与真实标签结果进行比较，并使用损失函数计算损失值；使用反向传播算法计算损失函数对于模型权重参数的梯度，梯度表示损失函数相对于权重参数的变化率，指导模型如何更新参数；使用梯度下降算法，将梯度乘上学习率进行更新梯度，学习率用来控制每次更新的步长；每一批样本重复执行以上步骤，训练样本与模型预测结果之间差异逐渐变小，直到模型训练达到设定的训练轮数或根据损失值的变化情况停止训练，得到最终训练的模型。

工控机基于上述识别方法识别后，将识别结果发送至分拣设备，由分拣设备进行有关分拣作业。

获取手套图像时可基于下述两种场景的任一场景获取：

场景一：手套套在手模上，随手模输送线运行过程中获取；

场景二：手套在气检机上进行充气检查后，在充气状态下获取。

实施例2

在实施例1的基础上，每一个手套对应唯一一个ID，所述信息采集中将获取的手套图像中的手套与其ID对应。如此设置将识别结果与手套对应便于后续分拣装置的正确分拣作业。具体地说，工控机在进行后续分析识别后，将手套的ID及对应的判定结果发送至分拣设备，控制分拣设备将该手套分拣到对应区域。

实施例3

在实施例1或实施例2的基础上，参照图1-图12为拍摄装置从侧面拍取手模上的手套图像方案分析，及图28基于气检机侧面拍照图像分析，此两种情况拍摄装置正对手套手背面或手掌面。

参照图2及图3，上述两种情况，获取的图像整个手部是伸开的状态，先确定图像显示的是手掌面还是手背面，随后无论是左手还是右手统一将手套的大拇指至小指依次标记为1，2，3，4，5，基于手指的位置，确定左右手。

参照图4-图9，手套为手掌面时，在进行手套识别判断时，存在以下6种情况：

情况一：识别出拇指1及中指3，基于拇指1与中指3的相对位置，确定该手套为左手还是右手，如图4所示；

情况二：识别出中指3及小指5，基于中指3与小指5的相对位置，确定该手套为左手还是右手，如图5所示；

情况三：识别出拇指1及小指5，基于拇指1及小指5的相对位置，确定该手套为左手还是右手，如图6所示；

情况四：仅识别出拇指1，确定手套的中线，基于拇指1与手套的中线的相对位置，确定该手套为左手还是右手，如图7所示；

情况五：仅识别出小指5，确定手套的中线，基于小指5与手套的中线的相对位置，确定该手套为左手还是右手，如图8所示；

情况六：未识别出手指，则无法进行判断，如图9所示。

本申请中基于手套是伸开的状态下进行的，因此，若存在弯曲等导致工控机无法进行图像分析识别或识别失败的情况，则不做处理。分拣设备不进行分拣作业。可由人工进行人为分拣。

参照图10-图12，手套为手背面时，通常手套的拇指部分被遮住，则在进行识别判断时，存在以下3种情况：

情况一：识别出中指3及小指5，基于中指3与小指5的相对位置，确定该手套为左手还是右手，如图10所示；

情况二：仅识别出小指5，确定手套的中线，基于小指5与手套的中线的相对位置，确定该手套为左手还是右手，如图11所示；

情况三：未识别出手指，则无法进行判断如图12所示。

实施例4

参照图13-图27，与实施例3不同之处在于，本实施例为采用气检机将手套充气随后正面拍照后获取手套图像信息的方案。或者可以将拍摄装置置于手套生产线手模上的手套正面进行拍照，此两种情况拍摄装置正对手套的手指指尖。

参照图14及图15，手套大拇指的位置与其他四根手指并不在一条直线上，基于此判断手套的掌心朝向。

参照图16-图21，手套掌心朝上在进行手套左右手识别判断时，存在以下6种情况：

情况一：识别出拇指1及中指3，基于拇指1与中指3的相对位置，确定该手套为左手还是右手，如图16所示；

情况二：识别出中指3及小指5，基于中指3与小指5的相对位置，确定该手套为左手还是右手，如图17所示；

情况三：别出拇指1及小指5，基于拇指1及小指5的相对位置，确定该手套为左手还是右手，如图18所示；

情况四：仅识别出拇指1，确定手套的中线，基于拇指1与手套的中线的相对位置，确定该手套为左手还是右手，如图19所示；

情况五：仅识别出小指5，确定手套的中线，基于小指5与手套的中线的相对位置，确定该手套为左手还是右手，如图20所示；

情况六：未识别出手指，则无法进行判断，如图21所示。

参照图22-图27，手套掌心朝下时在进行手套左右手识别判断时，存在以下6种情况：

情况一：识别出拇指1及中指3，基于拇指1与中指3的相对位置，确定该手套为左手还是右手，如图22所示；

情况二：识别出中指3及小指5，基于中指3与小指5的相对位置，确定该手套为左手还是右手，如图23所示；

情况三：识别出拇指1及小指5，基于拇指1及小指5的相对位置，确定该手套为左手还是右手，如图24所示；

情况四：仅识别出拇指1，确定手套的中线，基于拇指1与手套的中线的相对位置，确定该手套为左手还是右手，如图25所示；

情况五：仅识别出小指5，确定手套的中线，基于小指5与手套的中线的相对位置，确定该手套为左手还是右手，如图26所示；

情况六：未识别出手指，则无法进行判断，如图27所示。