一种用于烟草包装机的硬条盒自动上料系统

技术领域

本发明属于烟草包装技术领域，具体涉及一种用于烟草包装机的硬条盒自动上料系统。

背景技术

目前，硬条盒上料大都采用人工进行，操作人员依据机器运行的情况手工拆开装有硬条盒成品的纸箱，并去除掉纸箱内衬的防潮塑料薄膜纸，同时确定每堆料正面底面，朝向左右的姿态正确，最后各个最后取出硬条盒依次摞好摆放在装填机输送皮带上。当烟草包装机速度不高时、产能不高时，1-2名操作人员不间断地进行上料可满足生产需要。

传统的硬条盒上料方式需要配备1-2名操作人员在现场不间断的上料，效率低、劳动强度大、而且上料现场混乱。在现场工作中，发现整堆料中存在料左右反装和正反倒装的现场，操作人员容易忽略这些错误，严重影响下一步的自动包装的效率。硬条盒具有鲜明的特征进行提取，使用深度学习方式，利用卷积神经网络对特征进行学习和方向区分是一种高效的解决方案。同时，硬条盒上料速度需要与主机的上料速度相匹配，采用人工上料会出现上料不及时、人员负担重、上料位置误差较大而导致设备停机等问题；而且硬条盒上料的数量主要靠岗位工定时记录，工作量大，准确性差。此外，在以往的生产过程中，一台设备需要专门配备1-2名工人进行上料，人工的学习和使用成本也比较高。硬条盒人工上料方式已经制约了烟草包装机组的自动化、智能化的发展。

发明内容

本发明的目的在于提供一种用于烟草包装机的硬条盒自动上料系统，以代替人工对硬条盒堆进行正面度底面和朝向判断、数量统计以减少人工成本；解决人工上料时现场混乱、物料摆放不整齐问题；并适应烟草包装机各种生产速度要求；辅助烟草包装设备进行自动化和智能化的升级改造。

为实现上述发明目的，是通过以下技术方案实现的：

一种用于烟草包装机的硬条盒自动上料系统，包括物料转移模块、物料存储模块及物料输送模块，所述物料转移模块设置于物料输送模块的前端，用于将物料存储模块的硬条盒转移至物料输送模块上；

所述物料转移模块包括机器人安装柜、机器人升降柱模块、机器人模块、吸盘及3D视觉模块；所述机器人安装柜用于安装固定机器人升降柱模块，所述机器人模块安装在升降柱模块上，所述吸盘及3D视觉模块安装在机器人模块的末端；

所述物料存储模块设置于机器人模块的两侧，包括硬条盒物料存储托盘和隔板纸物料存储托盘；

所述物料输送模块包括物料输送带和阻挡定位装置，所述阻挡定位装置安装在物料输送带的前端，包括一对导杆气缸及与导杆气缸连接的挡板。

进一步的，所述物料转移模块还包括废料剔除模块、电气控制柜及连接件，所述废料剔除模埠固定在所述电气控制柜的上面，所述电气控制柜通过连接件与机器人安装柜连接。

进一步的，隔板纸物料存储托盘中存储隔板纸，所述隔板纸包括6个单元格，硬条盒以15个为一组，排列在隔板纸的6个单元格中，每个硬条盒物料存储托盘摆放10层硬条盒物料。

进一步的，基于深度学习的硬条盒视觉检测和定位系统，包括以下步骤：

S1、使用深度相机采集实际生产车间硬条盒堆上料的图片；

S2、将步骤S1采集到的图片按照8：1：1的比例分为训练数据集、验证数据集及测试数据集；

S3、训练数据集数据标注，对正面朝上即包含烟盒品牌、条形码、二维码和产地信息的面四个边角进行连接，标签设置为box；对底面朝上的四个边角进行连接，标签设置为reverse box；对正面朝上，将香烟品牌、条形码和二维码这三个部分所在的外部硬条盒的外框作为一个整体进行连接，标签设为box head；

S4、建立基于的Mask R-CNN网络的硬条盒识别网络模型，以Resnet50+FPN作为主干神经网络，区域建议网络RPN作为特征图进行卷积，最终以包围框，类别和掩膜作为输出，生成硬条盒网络识别模型；

S5、实现单个的正面朝上的硬条盒的朝向的判断，对正面朝上的硬条盒，在利用深度学习硬条盒识别网络后，单个条形盒出现两个识别标签box和box head，同时得到各自中心点在图像中的位置坐标，求解从box head到box的方向角，得到朝向判断，存入box的角度属性中；

S6、实现硬条盒堆计数判断，以图像原点为起点，以距离原点最近的box的中心点为第一组起点，然后同理计算距离为第一组起点最近的box的中心点，计算两个中心点的距离进行判断满足阈值，相邻的box的记为新的起点，直至图像中各个硬条盒被分到每个组中；

S7、每个组朝向一致性的判断和确定每堆的最终抓取姿态，对每个组中的各个硬条盒的角度方向进行判断，当角度偏差超过阈值则判断朝向不一致，记为剔除组，记入组的属性中去，当朝向一致时，取各个的条形烟盒的角度的中位数作为整体吸取的角度；

S8、确定每组的抓取中心，求取每组的各个硬条盒在图像的平均x,y的值作为每组的中心位置。

进一步的，在物料输送带两侧设置一对阻挡定位装置，当机器人模块将抓取的一组硬条盒物料放上物料输送带时，阻挡定位装置关闭，阻挡装置给予摆放到输送带上的一组硬条盒物料沿X方向的支撑力。

进一步的，工艺流程为：烟草包装机向系统发送要料信号，机器人升降柱模块升到指定拍照位，3D视觉模块对某一侧硬条盒物料存储托盘上的一层硬条盒物料进行拍照，剔除不能识别的物料；接着，抓取剩余单元格中符合要求的物料，并移动到物料输送模块的输送带的上方，阻挡定位装置闭合挡住一组硬条盒物料，使硬条盒物料稳定的竖立在输送带上；然后，吸盘松开这一组硬条盒物料，阻挡定位装置张开，这一组硬条盒物料便跟随着输送带输送至烟草包装机内部；

当一层硬条盒物料中的6个单元格物料都抓完后，3D视觉模块对隔板纸进行拍照，将隔板纸抓取到隔板纸物料存储托盘；当一侧托盘的硬条盒物料抓取完成后，机器人紧接着去抓另一侧托盘的硬条盒物料，同时，系统发送物料请求信号，人工或者AGV小车将空的硬条盒物料存储托盘拖走更换为满摞的硬条盒物料存储托盘。

与现有技术相比，本发明的有益效果是：

1)本发明能够实现硬条盒物料的自动上料，代替人工给烟草包装机上料，节省了人工作业的成本，提高了上料效率，自动化程度高。

2)本发明能够保证上料现场的整洁与秩序，实现物料在上料过程中平稳、高效、迅速，能够将物料整齐无误地摆放到输送皮带上，相对于人工上料而言，效率和连续性高，避免了因上料问题而引起的包装机停机，提高了设备工作的稳定性和安全性。

3)本发明设计的一套硬条盒机器人自动上料系统可以根据包装机设备的需求调整上料的节拍，能够智能化地适应设备不同的上料速度需求，具有灵活性强、适用性广的特点。

附图说明

图1为本发明硬条盒机器人自动上料系统。

图2为本发明物料转移模块结构示意图。

图3为本发明物料存储模块结构示意图。

图4为硬条盒结构示意图。

图5为隔纸板结构示意图。

图6为一层硬条盒物料示意图。

图7为物料输送模块结构示意图。

图8a和图8b分别为阻挡定装置关闭及阻挡装置打开状态结构示意图。

图9为基于深度学习的硬条盒视觉检测和定位系统原理图。

图10为阻挡装置作用力示意图。

附图标记说明：

1、物料转移模块；2、物料存储模块；3、物料输送模块；11、机器人安装柜；12、机器人升降柱模块；13、机器人模块；14、吸盘及3D视觉模块；15、废料剔除模块；16、电气控制柜；17、连接件；21、硬条盒物料存储托盘；22、隔板纸物料存储托盘；31、物料输送带；32、阻挡定位装置；321、导杆气缸；322、挡板；4、硬条盒；5、隔板纸。

具体实施方式

以下结合附图对本发明的技术方案进行详细的说明，以下的实施例仅是示例性的，仅能用来解释和说明本发明的技术方案，而不能解释为是对本发明技术方案的限制。

如图1所示，本申请提供一种硬条盒机器人自动上料系统，用于运送硬条盒物料至烟草包装机的输送带上，包括物料转移模块1、物料存储模块2及物料输送模块3，物料转移模块1设置于物料输送模块3的前端，用于将物料存储模块2的硬条盒4转移至物料输送模块3上。

如图2所示，物料转移模块1包括机器人安装柜11、机器人升降柱模块12、机器人模块13、吸盘及3D视觉模块14；机器人安装柜11用于安装固定机器人升降柱模块12，机器人模块13安装在机器人升降柱模块12上，并可沿Z方向上下移动，吸盘及3D视觉模块14安装在机器人模块13的末端；还包括废料剔除模块15固定在电气控制柜16的上面，用于存放未被识别的物料，机器人安装柜11与电气控制柜16通过连接件17连接，可保证整体模块的稳定性。

如图3至图6所示，物料存储模块2，摆放在物料转移模块1的两侧，由硬条盒物料存储托盘21和隔板纸物料存储托盘22组成，其中硬条盒4如图4所示，隔板纸5如图5所示，隔纸板5被划分为6个单元格；硬条盒4以15个为一组，排列在隔板纸的6个单元格中，形成一层硬条盒物料，如图6所示，每个硬条盒物料存储托盘21可以摆放10层硬条盒物料。当机器人模块取走一层6个单元格中的硬条盒物料后，再将隔板纸5取放到隔板纸物料存储托盘22上面。

如图7、图8a和图8b所示，物料输送模块3，用于输送由所述机器人模块13取放的硬条盒物料，由物料输送带31和阻挡定位装置32组成，如图7所示。物料输送带31可将机器人模块13抓取的一组硬条盒物料输送到烟草包装机内部，一组硬条盒物料按如图7所示的摆放方式摆放在物料输送带上，并沿X方向运动；物料输送带31是烟草包装机上的组件，其具体连接方式及结构均为现有技术，在此不进行详细说明；阻挡定位装置32安装在物料输送带31沿X方向的前端，由一对导杆气缸321控制挡板322的伸出与缩回，两种状态如图8a和图8b所示。

本申请的系统基于深度学习的硬条盒视觉检测和定位系统，包括以下步骤：

S1、使用深度相机将实际生产车间硬条盒堆上料的图片进行采集。需采集不同拍照高度、不同时间段、不同正面底面、不同朝向的硬条盒堆。

S2、将步骤S1采集到的图片按照8：1：1的比例分为训练数据集、验证数据集及测试数据集。

S3、训练集数据标注。对正面朝上即包含烟盒品牌、条形码、二维码和产地信息的面四个边角进行连接，标签设置为box。对黄色底面朝上的四个边角进行连接，标签设置为reverse box。对对正面朝上，将香烟品牌、条形码和二维码这三个部分所在的外部硬条盒的外框作为一个整体进行连接，标签设为box head。

S4、建立基于的Mask R-CNN网络的硬条盒识别网络模型。由于检测目标单一，优选以Resnet50+FPN作为主干神经网络(backbone)，区域建议网络(RPN)作为特征图进行卷积，最终三分支(three branches)以包围框，类别和掩膜作为输出,生成硬条盒网络识别模型。经过测试集的测试，置信度大于0.8的情况下，识别成功率达99％。

S5、实现单个的正面朝上的硬条盒的朝向的判断。对正面朝上的硬条盒，在利用深度学习硬条盒识别网络后，单个条形盒出现两个识别标签box和box head，同时得到各自中心点在图像中的位置坐标。求解从box head到box的方向角，得到朝向判断，存入box的角度属性中去。

S6、实现硬条盒堆计数判断。根据现场硬条盒的排列特点，每15个为一组被略低于烟盒高度隔板纸分在每一个小格子中。由于隔板纸的厚度小，每组硬条盒的间隙小，吸取位姿容易出现偏差，因此需要进行计数判断。以图像原点为起点，以距离原点最近的box的中心点为第一组起点，然后同理计算距离为第一组起点最近的box的中心点，计算两个中心点的距离进行判断满足阈值，满足则为计数加1，直至满足数量15。当不满足阈值，则表明存在一组不满指定数量的硬条盒，记为剔除组。相邻的box的记为新的起点，直至图像中各个硬条盒被分到每个组中。

S7、每个组朝向一致性的判断和确定每堆的最终抓取姿态。对每个组中的各个硬条盒的角度方向进行判断，当角度偏差超过阈值则判断朝向不一致，记为剔除组，记入组的属性中去。当朝向一致时，取各个的条形烟盒的角度的中位数作为整体吸取的角度。

S8、确定每组的抓取中心，求取每组的各个硬条盒在图像的平均x,y的值作为每组的中心位置。由上，可以确定每组硬条盒在图像中的中心抓取位姿，最后通过图像坐标系到相机坐标系到机器人坐标系再到工具坐标系的转化，实现吸盘吸取位姿的确定。当一组硬条盒中存在左右方向不一致、反向等有问题的物料时，机器人模块会将问题物料抓取到废料剔除模块；所述吸盘及3D视觉模块集成在机器人模块的最末端，提高了设备的美观性和安全性；物料移动模块采用模块化设计，方便了维修、运输和拆装。

物料存储模块排列在物料移动模块的两边，可充分利用机器人的工作空间和烟草包装机旁的闲置空间，且不占用操作工的操作空间，空间利用率提高；此外，硬条盒物料存储托盘分别布置在机器人的两侧，当机器人抓完一侧托盘的硬条盒物料后，可紧接着去抓另一侧托盘的硬条盒物料，保证了上料的连续性，提高了效率。

物料输送带两侧增加一对阻挡定位装置，当机器人模块将抓取的一组硬条盒物料放上物料输送带时，阻挡定位装置关闭，阻挡装置给予摆放到输送带上的一组硬条盒物料沿X方向的支撑力，如图10所示，可保证物料经所述机器人模块摆放到所述物料输送带上瞬时的稳定性；当一组硬条盒物料稳定地立于物料输送带后，阻挡定位装置张开，一组硬条盒物料便跟随着物料输送带运送至烟草包装机内部。

硬条盒机器人自动上料系统的工艺流程为：

烟草包装机给硬条盒机器人自动上料系统发送要料信号，机器人升降柱模块升到指定拍照位，3D视觉模块对某一侧硬条盒物料存储托盘上的一层硬条盒物料进行拍照，剔除不能识别的物料；接着，抓取剩余单元格中符合要求的物料，并移动到物料输送模块输送带的上方，阻挡定位装置闭合挡住一组硬条盒物料，使硬条盒物料稳定的竖立在输送带上；然后，吸盘松开这一组硬条盒物料，阻挡定位装置张开，这一组硬条盒物料便跟随着输送带输送至烟草包装机内部。当一层硬条盒物料中的6个单元格物料都抓完后，3D视觉模块对隔板纸进行拍照，将隔板纸抓取到隔板纸物料存储托盘。当一侧托盘的硬条盒物料抓取完成后，机器人紧接着去抓另一侧托盘的硬条盒物料，同时，硬条盒机器人自动上料系统发送物料请求信号，人工或者AGV小车将空的硬条盒物料存储托盘拖走更换为满摞的硬条盒物料存储托盘。

机器人模块的上料速度可根据烟草包装机的运行速度进行调整，适应烟草包装机各种生产速度要求；此外，机器人模块可准确记录并计算出每个班次硬条盒的上料数量以及问题硬条盒的剔除数量，方便生产管理。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、同等替换、改进等，均应包含在本发明的保护范围之内。