一种基于树莓派和深度学习的快递自动分拣装置及方法

技术领域

本发明涉及图像识别技术领域，具体而言，涉及一种基于树莓派和深度学习的快递自动分拣装置及方法。

背景技术

计算机技术在近几年飞速发展，各种基于计算机的智能处理技术已经应用在很多领域中。在现代制造业中，机器视觉技术发生了翻天覆地的变化，成为现代制造业不可替代的一个环节。基于深度学习的机器视觉技术在机械、包装、运输等领域得到广泛的应用。如在医学图像处理技术领域上，机器视觉技术可以对各种医学图像做诊断，辅助医生对病人进行快速诊断。又如在自动驾驶技术领域上，机器视觉技术可以识别汽车行驶过程中周围复杂的情况，并将这些信息反馈到计算机进行处理，以达到自动驾驶的目的；再如在工业制造技术领域上，可以通过机器学习等技术实现对产品的检测。

在最近发表的一些专利中发现了一些比较新颖的快递分拣方法，其利用工业控制器配合机械手或者通过螺旋环快递分拣装置对快递进行分拣。这两种方法虽然能够实现对快递的快速分拣，但其成本高昂，不适合在中小型快递企业推广使用。

发明内容

基于此，为了现有技术中利用工业控制器配合机械手或者通过螺旋环快递分拣装置对快递进行分拣，其成本高昂而不适合在中小型快递企业推广使用的问题，本发明提供了一种基于树莓派和深度学习的快递自动分拣装置，其具体技术方案如下：

一种基于树莓派和深度学习的快递自动分拣装置，其包括：

采集模块，用于采集待分拣快递包装的标签图像；

树莓派，与所述采集模块通信连接，接收并对采集到的所述待分拣快递包装的标签图像进行预处理，根据预处理后的所述待分拣快递包装的标签图像，获取所述待分拣快递包装的地址文字信息，并生成与所述待分拣快递包装的地址文字信息相对应的动作指令；

分拣机构，与所述树莓派通信连接，接收所述动作指令，根据所述动作指令实现快递包装的分拣。

树莓派具有体积小、价格便宜且可扩展功能强大的优点，其稳定性在一定范围内是可控的，适合用于工控领域控制，在价格方面具有足够的优势。相对于现有技术利用工业控制器配合机械手或者通过螺旋环快递分拣装置实现快递的分拣而言，利用上述所述的基于树莓派和深度学习的快递自动分拣装置来实现快递包装的分拣，可以大大降低工厂的生产成本，其具有成本低廉的优点，适合在中小型快递企业推广使用。

可选的，所述采集模块为摄像头。

可选的，所述摄像头与所述树莓派通过USB接口通信连接，所述分拣机构与所述树莓派通过串口通信连接。

可选的，所述基于树莓派和深度学习的快递自动分拣装置还包括可移动式外壳以及散热风扇，所述树莓派固定安装在所述可移动式外壳中，所述散热风扇固定安装在所述可移动式外壳的侧面。

可选的，所述分拣机构为机械臂。

相应地，本发明还提供一种基于树莓派和深度学习的快递自动分拣方法，其包括如下步骤：

采集待分拣快递包装的标签图像；

对采集到的所述待分拣快递包装的标签图像进行预处理，根据预处理后的所述待分拣快递包装的标签图像，获取所述待分拣快递包装的地址文字信息，并生成与所述待分拣快递包装的地址文字信息相对应的动作指令；

根据所述动作指令实现快递包装的分拣。

可选的，对采集到的所述待分拣快递包装的标签图像进行预处理的具体方法包括：

对采集到的所述待分拣快递包装的标签图像进行去模糊处理；

对去模糊处理后的所述待分拣快递包装的标签图像中的地址文字信息区域进行定位裁剪，获取感兴趣地址文字信息区域；

对所述感兴趣地址文字信息区域进行灰度转换处理；

对灰度转换处理后的所述感兴趣地址文字信息区域进行图像增强处理；

对图像增强处理后的所述感兴趣地址文字信息区域进行归一化处理；

将归一化处理后的所述感兴趣地址文字信息区域转换成深度卷积神经网络所需要的像素大小。

可选的，根据预处理后的所述待分拣快递包装的标签图像，获取所述待分拣快递包装的地址文字信息的具体方法包括：

利用样本数据对神经网络进行训练；

利用训练好的神经网络对预处理后的所述待分拣快递包装的标签图像进行特征提取；

根据所述待分拣快递包装的标签图像的特征，获取所述待分拣快递包装的地址文字信息。

可选的，所述神经网络为基于长短期记忆网络的循环神经网络，所述循环神经网络包括输入层、隐含层以及输出层，所述隐含层依次包括两层LSTM层、一层全连接层、两层Softmax层以及一层CTC层。

相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时实现如上述所述的基于树莓派和深度学习的快递自动分拣方法。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明一实施例中一种基于树莓派和深度学习的快递自动分拣装置的整体结构示意图；

图2是本发明一实施例中一种基于树莓派和深度学习的快递自动分拣方法的整体流程示意图；

图3是本发明一实施例中对采集到的待分拣快递包装的标签图像进行预处理的具体方法的流程示意图；

图4是本发明一实施例中根据预处理后的待分拣快递包装的标签图像，获取待分拣快递包装的地址文字信息的具体方法的流程示意图；

图5是本发明一实施例中一种基于树莓派和深度学习的快递自动分拣方法的LSTM块的结构示意图；

图6是本发明一实施例中一种基于树莓派和深度学习的快递自动分拣装置的可移动式外壳的结构示意图。

附图标记说明：

1、可移动式外壳；2、散热风扇；3、显示屏；4、卡扣；5、开口；6摄像头。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明。应当理解的是，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明中所述“第一”、“第二”不代表具体的数量及顺序，仅仅是用于名称的区分。

计算机技术在近几年飞速发展，各种基于计算机的智能处理技术已经应用在很多领域中。在现代制造业中，机器视觉技术发生了翻天覆地的变化，成为现代制造业不可替代的一个环节。基于深度学习的机器视觉技术在机械、包装、运输等领域得到广泛的应用。如在医学图像处理技术领域上，机器视觉技术可以对各种医学图像做诊断，辅助医生对病人进行快速诊断。又如在自动驾驶技术领域上，机器视觉技术可以识别汽车行驶过程中周围复杂的情况，并将这些信息反馈到计算机进行处理，以达到自动驾驶的目的；再如在工业制造技术领域上，可以通过机器学习等技术实现对产品的检测。

目前在快递行业中，快递中转站、服务网点等快递的分拣很多都是靠人工识别来完成的。由人工识别来完成快递分拣，会带来的一系列问题，如分拣速度慢、分拣错误率高、人工成本高等。对于这种消耗大量人力物力、效率低下的分拣方式，迫切需要对其进行升级。

与传统的分拣方法不同，基于深度学习的识别分拣方法可以大大提高快递的分拣效率，同时也可以节省很多人力成本和材料成本。该方法是新型的快递分拣方法，可以准确根据快递信息进行精准分拣投放。该方法的灵感来源于人体的视觉功能，其可以通过对图像进行从局部到全局的识别检测，然后通过分析图像中一些有用信息，比如颜色，轮廓，亮度，纹理等，来完成对图像进行检测。

目前，对于快递自动化分拣生产线的分拣方式很多小型企业都还是以人工分拣为主。而一些大型的自动化程度高的快递公司会采购大型基于云平台技术的工控机设备实现快递的分拣工作，但是这种布局整套工控机配套的价格非常昂贵，动辄需要十几万，这制约了很多中小型快递企业快递分拣业务的发展。

在最近发表的一些专利中发现了一些比较新颖的快递分拣方法，其利用工业控制器配合机械手或者通过螺旋环快递分拣装置对快递进行分拣。这两种方法虽然能够实现对快递的快速分拣，但是工业控制器以及工业机器手的搭建需要较高的运营成本，其成本高昂，不适合在中小型快递企业推广使用。

如图1所示，本发明一实施例中的一种基于树莓派和深度学习的快递自动分拣装置，其包括采集模块、树莓派以及分拣机构。

所述采集模块用于采集待分拣快递包装的标签图像；所述树莓派与所述采集模块通信连接，用于接收并对采集到的所述待分拣快递包装的标签图像进行预处理，根据预处理后的所述待分拣快递包装的标签图像，获取所述待分拣快递包装的地址文字信息，并生成与所述待分拣快递包装的地址文字信息相对应的动作指令；所述分拣机构与所述树莓派通信连接，用于接收所述动作指令，根据所述动作指令实现快递包装的分拣。

使用树莓派作为所述快递自动分拣装置的控制中心，是因为树莓派体积小，价格便宜，且可扩展功能强大，其稳定性在一定范围内是可控的，适合用于工控领域控制。目前工控领域工控机价格动辄成千上万，其高昂价格使得很多中小型型快递企业都没有铺开快递产品的自动化分拣生产线。而树莓派在价格方面具有足够的优势，利用树莓派搭建所述快递自动分拣装置的硬件系统，其费用比工控机便宜几百倍，其完全能够在中小型快递企业中推广使用。相对于现有技术利用工业控制器配合机械手或者通过螺旋环快递分拣装置实现快递的分拣而言，利用上述所述的基于树莓派和深度学习的快递自动分拣装置来实现快递包装的分拣，可以大大降低工厂的生产成本，其具有成本低廉的优点，适合在中小型快递企业推广使用。

在其中一个实施例中，所述采集模块为普通的高清摄像头，用来对快递包装地址文字信息进行实时图像采集。由于所述快递自动分拣装置所需要的摄像头不需要像工业CCD那样具有超高清分辨率，其仅需对快递包装地址文字信息的识别，无需对快递的所有部分进行处理，这大大节省了购买昂贵设备的费用。

根据摄像头具体型号，可以单独给摄像头供电，也可以通过树莓派的电源输出端给摄像头供电。

在其中一个实施例中，所述摄像头与所述树莓派通过USB接口通信连接，所述分拣机构与所述树莓派通过串口通信连接。所述树莓派生成的动作指令通过其输出串口引脚输出至分拣机构，通过控制分拣机构的动作来实现快递包装精准的自动分拣投放。

在其中一个实施例中，所述树莓派连接有显示屏以及WiFi通信模块，所述显示屏为人机交互界面。

在其中一个实施例中，所述树莓派包括包括软件部分，该软件部分包括人机交互界面程序，所有的计算机处理过程和结果都可集成在人机交互界面程序中，以方便操作者的统一操作。人机交互界面程序的开发是使用python语言在Eric6编辑器中编写，相对于其他语言，python语言具有较强的稳定新和快速性。在人机交互界面中集成系统程序，使得人机交互界面与软件程序一体化，可以简化系统结构。

在其中一个实施例中，人机交互界面中分为三个区域，分别为控制区域、图像显示区域和处理信息显示区域。所述控制区域是操作人员的信息输入区域，显现了人机交互中人对系统操作功能。

控制区域包括摄像头启动/停止按钮、文字定位及预处理按钮、快递信息识别按钮以及相关的工作灯。当点击摄像头启动/停止按钮，树莓派会接收到一个信号，然后调用OpenCV库API接口开启摄像头以对快递包装地址文字信息图像进行实时采集。树莓派接收到地址文字信息图像时，屏幕上的信号灯亮起，摄像头工作正常。通过调节快递传输速度，可以截取实时快递的地址文字信息图像。通过树莓派中python编辑器中的opencv库实现对摄像头的图像信息接收，可以实时对产品进行图像采集，其结构简单，易于实现。

图像显示区域包括两个子显示区域，一个子显示区域用来显示经模糊处理后的实时采集到的快递包装图像，另一个子显示区域用来显示经过裁剪后的快递包装的地址文字图像。将流水线上的快递包装图像实时显示在人机交互界面上，可以方便操作着对所述快递自动分拣装置进行调试。两个子显示区域都是随着摄像头采集快递包装图像进行实时更新的，具有较高的时效性。

处理信息显示区域用于已分发快递数量、分发失败快递数量以及分发成功率。

在其中一个实施例中，如图6所示，所述基于树莓派和深度学习的快递自动分拣装置还包括可移动式外壳1以及散热风扇2，所述树莓派7固定安装在所述可移动式外壳1中，所述散热风扇2固定安装在所述可移动式外壳1的侧面。

在其中一个实施例中，如图6所示，所述可移动式外壳1的外侧面还安装有卡扣4，以便于将所述可移动式外壳1安装在操作台上。所述可移动式外壳1安装在快递包装分拣流水线的正上方，所述可移动式外壳正对快递包装分拣流水线的底面设有开口5，所述摄像头7安装在所述开口中。

在其中一个实施例中，如图6所示，所述显示器3安装在所述可移动式外壳1的外侧面。

通过利用所述卡扣4将可移动式外壳1安装在操作台上，并将摄像头7、显示屏3以及树莓派7安装在可移动式外壳上，可以简化所述快递自动分拣装置的结构，使得其便于携带，可以适用于不同中小型企业的不同快递分拣流水线。

在其中一个实施例中，所述分拣机构为机械臂，例如五轴机械臂或者六轴机械臂。由于机械臂的具体结构为本领域常规技术手段，故而在此不再赘述。

在其中一个实施例中，本发明还提供一种基于树莓派和深度学习的快递自动分拣方法，其包括如下步骤：

采集待分拣快递包装的标签图像；

对采集到的所述待分拣快递包装的标签图像进行预处理，根据预处理后的所述待分拣快递包装的标签图像，获取所述待分拣快递包装的地址文字信息，并生成与所述待分拣快递包装的地址文字信息相对应的动作指令；

根据所述动作指令实现快递包装的分拣。

在其中一个实施例中，对采集到的所述待分拣快递包装的标签图像进行预处理的具体方法包括：

利用约束最小二乘法滤波对采集到的所述待分拣快递包装的标签图像进行去模糊处理。

利用基于分水岭思想的最大稳定极值区域方法对去模糊处理后的所述待分拣快递包装的标签图像中的地址文字信息区域进行定位裁剪，获取感兴趣地址文字信息区域；

对所述感兴趣地址文字信息区域进行灰度转换处理；由于单通道图像信息可以不丢失过多原彩色图像结构信息，对所述感兴趣地址文字信息区域进行灰度转换处理，可以很好地减少图像信息，提高数据的处理速度，减少树莓派对图像数据的处理时间。

用过直方图正则化对灰度转换处理后的所述感兴趣地址文字信息区域进行图像增强处理，以便神经网络能够更加准确地获取快递包装地址文字信息的特征；

对图像增强处理后的所述感兴趣地址文字信息区域进行归一化处理；

将归一化处理后的所述感兴趣地址文字信息区域转换成深度卷积神经网络所需要的像素大小。

在一般情况下，某些因素或变换对图像一些性质的影响可通过归一化处理得到消除或减弱，从而可以被选作测量图像的依据。在神经网络中，归一化不改变图像的信息，只是对像素进行0到1的压缩，这是为了匹配训练好的深度卷积神经网络。在深度卷积神经网络的训练阶段，归一化能够归纳统一样本的统计分布性，加快训练网络的收敛性。深度卷积神经网络是以样本在事件中的统计分布几率来进行训练(概率计算)和预测的，归一化是同一在0-1之间的统计概率分布；当所有样本的输入信号都为正值时，与第一隐含层神经元相连的权值只能同时增加或减小，从而导致学习速度很慢。为了避免出现这种情况，加快网络学习速度，可以对输入信号进行归一化，使得所有样本的输入信号其均值接近于0或与其均方差相比很小。如公式

在其中一个实施例中，根据预处理后的所述待分拣快递包装的标签图像，获取所述待分拣快递包装的地址文字信息的具体方法包括：

利用样本数据对神经网络进行训练。具体而言，对摄像头采集到的快递包装图像中的地址文字信息进行标签标注，并将快递包装图像及其对应的标签作为样本数据，样品数据经过预处理后可以作为进行训练和测试数据的划分；

利用训练好的神经网络对预处理后的所述待分拣快递包装的标签图像进行特征提取；

根据所述待分拣快递包装的标签图像的特征，获取所述待分拣快递包装的地址文字信息。

在其中一个实施例中，所述神经网络为基于LSTM网络(Long Short Term Memory，长短期记忆)的循环神经网络，其结合CTC(Connectionist Temporal Classifier，联结时间分类器)对不定长文字进行识别。利用循环神经网络结合CTC对不定长文字进行识别，其具有很好鲁棒性，使用范围广阔，该方法该还可适用于其他神经网络框架。

所述循环神经网络包括输入层、隐含层以及输出层，所述隐含层依次包括两层LSTM层、一层全连接层、两层Softmax层以及一层CTC层。LSTM层用于对输入层的数据做特征提取，特征融合和信息传递。LSTM层包含40个LSTM块和tanh激活函数层。输出层可以将特征融合，输出对应的标签。

在其中一个实施例中，所述输入层用于将样本数据输入神经网络。所述隐含层使用LSTM块作为隐含层中的传递块，LSTM块的具体结构如图5所示。

在其中一个实施例中，LSTM块的公式包括：

c(t)＝z(f)·c(t-1)+z(i)·z 公式6

h(t)＝z(o)·tanh(c(t)) 公式7

y(t)＝sigmoid(h(t)) 公式8

在其中一个实施例中，LSTM内部包括忘记阶段、选择记忆阶段以及输出阶段。

忘记阶段主要是对上一个节点传进来的输入x(t)进行选择性丢弃。通过非线性变换得到z(f)作为忘记门的控制信号，控制上一个状态的c(t-1)哪些需要保留或者那些需要忘记。

选择记忆阶段是将输入有选择性地进行保留，使用一定的权重比对输入的x(t)进行重要部分选择记忆，计算选择门的控制信号z(i)，控制当前的输入内容z。

输出阶段是筛选出当前状态输出部分y(t)，主要通过z(o)、c(t)进行控制计算。

在其中一个实施例中，输出层，用于判断二值输出结果对应的标签和解决图像对齐问题，其采用softmat作为输出函数，该输出函数为

通过Softmax函数就可以将多分类的输出值转换为范围在[0，1]，总和为1的概率分布。在快递分拣系统中，C设置为不定长文字个数。

在其中一个实施例中，神经网络使用交叉熵作为损失函数(Loss Function)，即

在其中一个实施例中，使用优化器对隐含层中的卷积权值和阈值进行更新处理，使用的优化器为Adam(Adaptive Moment Estimation)。

经过训练阶段后的神经网络可以应用于快递的实时检测与分拣。在应用阶段，需要将训练好的神经网络模型集成到软件部分里，这里使用Eric6做界面的编程，使用Pyinstaller库对软件程序打包，然后将打包好的程序部署在树莓派中。树莓派通过输出串口脉冲控制分拣机构的工作状态，其中快递包装的分拣机构可以是流水线上的推动气阀、快递挡板、机械手等。

由于循环神经网络能够对快递包装的文本数据进行前后语句关系联系特征提取，融合更多的特征，其有利于提高识别的准确性。通过本发明所述的快递自动分拣装置，可以实现对快递包装地址的自动识别，然后通过树莓派控制分拣机构自动将快递分拣到不同的区域地方。

使用神经网络方法对快递包装做自动识别和自动分拣相对传统的手持式人工分拣，可以节约更多的时间，提高快递分拣的工作效率，使得本发明所述快递自动分拣装置具备了广泛的实际使用场景。而基于神经网络的识别方法不仅在识别准确率上优于传统方法，而且在识别速度上也比传统方法快，适用于快递的实时分拣。

在其中一个实施例中，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时实现如上述所述的基于树莓派和深度学习的快递自动分拣方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。