基于深度学习和机器视觉的单件分离系统、方法及其装置

技术领域

本发明涉及智能物流技术领域，尤其涉及基于深度学习和机器视觉的单件分离系统、方法及其装置。

背景技术

随着我国物流行业的快速发展，对智能物流的要求也越来越高，而对物品信息的采集、分析是整个智能物流的基础。采集信息主要靠工业相机对物品表面的条码信息进行读取，再反馈给系统，进而形成智能分拣的下一步动作。但快递行业高速发展，单日包裹量早已过亿，给各快递分拣中心造成巨大压力。虽已大规模使用自动化设备提升效率，但是自动化分拣都是单件作业，也就是说其分拣的包裹必须是单件分离后供到分拣机上的，目前这一环节主由人工来完成。这种人工上包(供件)的模式有利于将面单统一向上摆放以实现读码器的顺利识读，但是人工容易疲劳，效率也有限。包裹散件流亟待自动化设备来提升效率，否则会严重制约后端分拣机的效率。同时，称重装置、扫描仪等自动化处理设备也需要包裹必须是单件分离的，因此，高效的单件分离技术对于提升快递枢纽转运中心的效率以及减少人工操作至关重要。

为了有效地解决这一问题，本发明提出了一种基于深度学习和机器视觉的单件分离系统，可以快速的将大波快递进行分离。

发明内容

本发明的目的是针对现有技术的缺陷，提供了基于深度学习和机器视觉的单件分离系统、方法及其装置。

为了实现以上目的，本发明采用以下技术方案：

基于深度学习和机器视觉的单件分离系统，包括：

采集模块，用于采集置于传送带上的包裹图像，并将采集到的图像输入深度学习模块中；

深度学习模块，用于接收采集模块输入的图像，并将接收到的图像输入神经网络模型中进行训练，得到位置识别模型；

识别模块，用于采集当前置于传送带上的包裹图像，并将采集到的当前包裹图像输入至位置识别模型中，位置识别模型输出当前包裹的位置，并向控制模块发送包裹位置信息；

控制模块，用于接收识别模块发送的包裹位置信息，并根据包裹位置信息向执行模块发送控制指令；

执行模块，用于接收控制模块发送的控制指令，并通过传送带将包裹进行单件分离。

进一步的，所述采集模块和识别模块中均还包括将采集到的包裹图像通过LabelImg工具进行标注。

进一步的，所述深度学习模块具体包括：

第一处理模块，用于将标注后的包裹图像输入VGG-16卷积神经网络中进行特征提取，输出包裹图像特征图；

第二处理模块，用于将输出的包裹图像特征图输入至RPN网络中进行处理，输出特征图的目标候选区域；

第三处理模块，用于将输出的目标候选区域和图像特征图输入ROI Pooling网络中进行处理，输出目标候选区域内包裹的精确位置。

进一步的，所述控制模块中接收识别模块发送的包裹位置信息，并根据包裹位置信息向执行模块发送控制指令是通过PLC接收并发送信息的。

进一步的，所述执行模块中的传送带通过伺服电机控制，所述伺服电机通过PLC控制。

相应的，还提供基于深度学习和机器视觉的单件分离方法，包括：

S1.采集置于传送带上的包裹图像；

S2.将采集到的图像输入神经网络模型中进行训练，得到位置识别模型；

S3.采集当前置于传送带上的包裹图像，并将采集到的当前包裹图像输入至位置识别模型中，位置识别模型输出当前包裹的位置；

S4.根据包裹位置信息向传送带发送控制指令；

S5.通过传送带将包裹进行单件分离。

进一步的，所述步骤S1和S3中均还包括将采集到的包裹图像通过LabelImg工具进行标注。

进一步的，所述步骤S2中具体包括：

S21.将标注后的包裹图像输入VGG-16卷积神经网络中进行特征提取，输出包裹图像特征图；

S22.将输出的包裹图像特征图输入至RPN网络中进行处理，输出特征图的目标候选区域；

S23.将输出的目标候选区域和图像特征图输入ROI Pooling网络中进行处理，输出目标候选区域内包裹的精确位置。

相应的，还提供基于深度学习和机器视觉的单件分离装置，包括第一传送带、第二传送带、第三传送带以及龙门架；第二传送带分别与第一传送带、第三传送带连接，龙门架设置于第一传送带上方；所述龙门架上设置有工业相机、照明系统。

进一步的，还包括第四传送带、第五传送带；所述第五传送带分别与第一传送带、第四传送带连接；所述第五传送带与第一传送带的连接处设置有光电传感器。

与现有技术相比，本发明的有益效果包括：

1、本系统采用的时深度学习算法进行的包裹位置判断，随着包裹图像的增加、训练学习批次的增多，包裹位置判断准确率越高；

2、可实时采集待分离的包裹图像，传送给包裹位置识别网络模型，针对当前待分类输送的包裹图像输出识别结果，识别结果自动传输到plc控制部分，进而控制不同的传送带进行传动，整个过程自动化程度高；

3、本系统能达到6000件/小时的分拣速度，大大提高包裹输送过程中的传送效率。

附图说明

图1是实施例一提供的单件分离装置的结构俯视图；

图2是实施例一提供的单件分离装置的结构主视图；

图3是实施例二提供的基于深度学习和机器视觉的单件分离系统结构图；

图4是实施例二提供的Faster-RCNN网络模型架构图；

图5实施例二提供的包裹位置识别模型验证样本示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明的目的是针对现有技术的缺陷，提供了基于深度学习和机器视觉的单件分离系统、方法及其装置。

实施例一

本实施例提供基于深度学习和机器视觉的单件分离装置，如图1-2所示，包括第一传送带3、第二传送带6、第三传送带7、第四传送带1、第五传送带2以及龙门架5；第二传送带6分别与第一传送带3、第三传送带7连接，第五传送带2分别与第一传送带3、第四传送带1连接，龙门架5设置于第一传送,3上方；龙门架上设置有工业相机4、照明系统9；第五传送带2与第一传送带3的连接处设置有光电传感器8。

第四传送带1和第三传送带7分别用于输入包裹和输出包裹。第五传送带2主要将粘连通过的包裹拉开少许间距，用于优化单件分离的分离效果，且防止包裹拥堵时卡包，也能使图像标注过程更加简便。第一传送带3由8*4个传送带组成，通过plc控制伺服电机使得第一传送带中的某些传送带停转以及通过PLC控制某些传送带的速度，将并排的包裹进行分离，实现包裹前后通过。第二传送带6主要将靠边包裹进行居中处理，确保包裹通过时在传送带正中间，为之后的工作进行准备，同时也可起到拉包效果；照明系统9用于为工业相机提供光源；光电传感器8用于检测待分离的包裹是否到达指定位置时，并发送信号给工业相机4；工业相机4用于对置于第一传送带3上的包裹进行拍摄，获取包裹图像。

本实施例的单间分离装置的具体操作流程为：

启动所有设备，将带分离的包裹都放置于第四传送带1上，此时随着第四传送带的传动带动包裹移动带第五传送带2上，第五传送带2将粘连通过的包裹拉开少许间距，将包裹一个一个通过，随着第五传动带2的转动带动包裹移动到第一传送带3上，此时当包裹到达第一传送带3的位置时，光电传感器8检测到了包裹的信号，光电传感器8将检测到的信号发送给工业相机4，工业相机获取处于第一传送带3上的包裹的图像，将采集到的图像传送至深度学习模块、识别模块进行处理，最后输出当前包裹的位置信息，此时控制模块中的PLC控制设置于第一传送带3上的伺服电机，使得第一传送带3上的某些传送带停转，将并排的包裹进行分离，实现包裹前后通过，此时包裹移动至第二传送带6上，第二传送带6将靠边包裹进行居中处理，最后将包裹移动至第三传送带7上，进而将包裹输出。

本实施例大大提高包裹输送过程中的传送效率。

实施例二

本实施例提供基于深度学习和机器视觉的单件分离系统，如图3所示，包括：

采集模块11，用于采集置于传送带上的包裹图像，并将采集到的图像输入深度学习模块中；

深度学习模块12，用于接收采集模块输入的图像，并将接收到的图像输入神经网络模型中进行训练，得到位置识别模型；

识别模块13，用于采集当前置于传送带上的包裹图像，并将采集到的当前包裹图像输入至位置识别模型中，位置识别模型输出当前包裹的位置，并向控制模块发送包裹位置信息；

控制模块14，用于接收识别模块发送的包裹位置信息，并根据包裹位置信息向执行模块发送控制指令；

执行模块15，用于接收控制模块发送的控制指令，并通过传送带将包裹进行单件分离。

需要说明的是，本实施例提供的基于深度学习和机器视觉的单件分离系统是基于实施例一的分离装置实现的。

在采集模块11中，采集置于传送带上的包裹图像，并将采集到的图像输入深度学习模块中。

通过工业相机对现场包裹图像进行采集，并用LabelImg工具对采集到的图像进行标注。现场采集图像时应注意包裹的种类要多。标注时，应注意主要标注包裹的上表面，如无法区分上表面和侧面，则全部标注。

在本实施例中，采集图像时应注意包裹的种类要多，要包括各种软包、硬包等，可以有效提高深度学习后识别的准确率。

在深度学习模块12，接收采集模块输入的图像，并将接收到的图像输入神经网络模型中进行训练，得到位置识别模型。

深度学习模块基于Tensorflow平台(Python≥3.0)，采用Faster-RCNN网络模型，Faster-RCNN网络模型架构图如附图4所示。

具体包括：

第一处理模块，用于将标注后的包裹图像输入VGG-16卷积神经网络中进行特征提取，输出包裹图像特征图；

第二处理模块，用于将输出的包裹图像特征图输入至RPN网络中进行处理，RPN网络分类层采用soft max函数获得检测目标和图像背景；RPN网络回归层获得目标候选区域；

第三处理模块，用于将输出的目标候选区域和图像特征图输入ROI Pooling网络中进行处理，输出目标候选区域内包裹的精确位置。

在本实施例中，对于深度学习，具体步骤如下：

1、将标注后的图像文件按7：3的比例划分为训练集和测试集；其中训练集用于模型训练，测试集用于结果验证；

2、本训练采用Faster-RCNN网络模型进行训练学习，其中训练次数设置为3000；学习率设置为0.002，衰减因子设置为0.1。训练过程中的最小批设置为32；

3、迭代训练3000次，结束训练学习，输出包裹位置识别模型和训练评价参数。

本次模型训练评价如表1所示，包裹位置识别模型验证样本示意图如图5所示。

表1迭代训练3000次结果

在识别模块13中，采集当前置于传送带上的包裹图像，并将采集到的当前包裹图像输入至位置识别模型中，位置识别模型输出当前包裹的位置，并向控制模块发送包裹位置信息。

包裹进入第一传送带时触发光电传感器后，此时工业相机获取置于第一传送带上的包裹图像，并将获取到的图像输入至训练得到的位置识别模型中进行识别，位置识别模型将输出包裹的具体位置信息。

在控制模块14中，接收识别模块发送的包裹位置信息，并根据包裹位置信息向执行模块发送控制指令。

控制模块采用PLC控制，包括计算机、单片机和控制器；当计算机通过深度学习模块判断各个包裹的位置，然后将包裹位置输送给单片机，单片机与第一传送带的控制器进行信号通讯，最后控制器控制第一传送带中的某些传送带停转，实现单件分离。其中，如图5所示，计算机判断出各个包裹的位置后，选定其中最靠前的一个，发送信号给单片机控制控制器使得选定包裹下方与前方的m*n(m为包裹下方的传送带行数，n为包裹下方与前方的传送带列数)条传送带保持1.5m/s速度运动，其余包裹下方的传送带都停转，其他的传送带全部按0.5m/s的速度运动，直至包裹移出相机视场后，在选定下一个包裹进行重复操作。

在本实施例中，每一个传送带的传动都由伺服电机提供，plc控制伺服电机按照一定速度运动，包裹经过时，plc控制其中一部分传送带停转、一部分按0.5m/s转动、剩下一部分按1.5m/s转动。

plc首先通过计算机将每个包裹的位置结果输送给单片机，其次单片机对控制器发送信号，控制器对传送带的伺服电机进行控制，将包裹一件件分开。

在执行模块15中，接收控制模块发送的控制指令，并通过传送带将包裹进行单件分离。

当包裹移动至第二传送带上时，第二传送带将靠边包裹进行居中处理，最后将包裹移动至第三传送带上，进而将包裹输出，实现单件分离。

本实施例的分离系统具体为：首先通过采集物流运输线上的包裹图像，然后将采集到的图像进行标注汇总，再输送到深度学习部分进行训练学习；其次将训练结果与机器视觉部分相整合，来判断当前不同包裹的位置；最终机器视觉部分根据包裹的位置发送指令给plc控制部分，plc控制部分根据指令进行传送带控制，实现单件分离。

与现有技术相比，本实施例的有益效果包括：

1、本系统采用的时深度学习算法进行的包裹位置判断，随着包裹图像的增加、训练学习批次的增多，包裹位置判断准确率越高；

2、可实时采集待分离的包裹图像，传送给包裹位置识别网络模型，针对当前待分类输送的包裹图像输出识别结果，识别结果自动传输到plc控制部分，进而控制不同的传送带进行传动，整个过程自动化程度高；

3、本系统能达到6000件/小时的分拣速度，大大提高包裹输送过程中的传送效率；

4、当快递进入时，设置了一个包裹分散传送装置，可以提高判断准确率；当快递完成单件分离后，设置了一个包裹居中传送装置，方便后面的检测。

实施例三

本实施例提供基于深度学习和机器视觉的单件分离方法，包括：

S1.采集置于传送带上的包裹图像；

S2.将采集到的图像输入神经网络模型中进行训练，得到位置识别模型；

S3.采集当前置于传送带上的包裹图像，并将采集到的当前包裹图像输入至位置识别模型中，位置识别模型输出当前包裹的位置；

S4.根据包裹位置信息向传送带发送控制指令；

S5.通过传送带将包裹进行单件分离。

进一步的，所述步骤S1和S3中均还包括将采集到的包裹图像通过LabelImg工具进行标注。

进一步的，所述步骤S2中具体包括：

S21.将标注后的包裹图像输入VGG-16卷积神经网络中进行特征提取，输出包裹图像特征图；

S22.将输出的包裹图像特征图输入至RPN网络中进行处理，输出特征图的目标候选区域；

S23.将输出的目标候选区域和图像特征图输入ROI Pooling网络中进行处理，输出目标候选区域内包裹的精确位置。

需要说明的是，本实施例提供的基于深度学习和机器视觉的单件分离方法与实施例二类似，在此不多做赘述。

与现有技术相比，本实施例的有益效果包括：

1、采用的时深度学习算法进行的包裹位置判断，随着包裹图像的增加、训练学习批次的增多，包裹位置判断准确率越高；

2、可实时采集待分离的包裹图像，传送给包裹位置识别网络模型，针对当前待分类输送的包裹图像输出识别结果，识别结果自动传输到plc控制部分，进而控制不同的传送带进行传动，整个过程自动化程度高。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。