一种基于深度学习方法的木皮颜色分拣系统及装置

技术领域

本发明涉及工业智能制造技术领域，特别涉及一种基于深度学习方法的木皮颜色分拣系统及装置。

背景技术

随着数字化时代的到来，越来越多的企业开始走向数字化转型之路，通过数字化转型来提升运营效率、改变运作方式以提升在未来的市场中的竞争力，传统木地板行业也跟随数字化浪潮进行智慧工厂的打造，在木地板行业，地板生产厂商会依据不同的订单来对木板的木皮按照颜色或纹理进行分拣，然后根据订单需求确定使用什么类型的木皮进行地板的生产。

目前对木皮进行合格品、不合格品的分拣，以及按照颜色分拣为不同的类别的工作主要是采用人工分拣的方法，在人工分拣模式下存在着许多不规范的地方，不同的人分拣标准是有一定差异性的，并且长时间身处同一个环境下依赖眼睛进行工作会造成视觉疲劳，导致木皮分拣结果不稳定，品质的持续性差，同时工厂的工作环境比较开放，自然光线对人眼造成的影响，同样会降低木皮分拣质量。

现阶段在木皮生产领域，大多数人在装修的时候会重点关注木板的颜色、花纹以及不同色号木板的搭配，所以木地板生产厂商单纯的对木皮划分不同的等级明显不能满足用户的需求，因此就需要在对木皮进行等级划分、不合格品过滤品后再进行色号的划分，从而满足不同用户的需求，木皮色号的划分一般会受到不同树种的影响，对于同一树种的木皮还会划分为不同的厚度、不同的级别，对于厚度不同、级别不同的木皮，相同色号也是有一定色差的，而且同一厚度、同一级别下的木皮会划分为若干色号，相邻色好的木皮之间颜色差异很小，因此对算法精度要求很高，而现有的颜色分拣方法大多是对成品地板的颜色分拣或者是对木皮做简单的颜色分类，并不适用于木皮种类繁多且相邻色号色差小的分类场景。

发明内容

一种基于深度学习的木皮颜色分拣装置，包括第一传送装置、第一视觉检测装置、第一翻转机、第二传送装置、第二视觉检测装置、第二翻转机、第三传送装置，所述第二传送装置设置在第一传送装置与第三传送装置之间的后侧，且位于第一传送装置的下方，第三传送装置的上方。所述第一传送装置与第二传送装置之间设有第一翻转机，所述第二传送装置与第三传送装置之间设有第二翻转装置，所述第一视觉检测装置设置在第一传送装置的中部，且所述第一传送装置穿过第一视觉检测装置，所述第二视觉检测装置设置在第二传送装置的中部，且所述第二传送装置穿过第二视觉检测装置，所述第一传送装置的右端设有M毫米厚度木皮下料处，所述第二传送装置的右端设有N毫米厚度木皮第一下料处，所述第三传送装置的右端设有N毫米厚度木皮第二下料处。

优选的，所述第一视觉检测装置包括外壳体、照相机、遮光板、补光灯，传感器、工控机、算法模块，所述照相机有两个且设置在外壳体内腔的顶面，所述遮光板设置在外壳体的前后侧，所述补光灯设置在外壳体内腔的左右两侧，所述传感器、工控机、算法模块均设置在外壳体内腔的下方，所述传感器通过信号传输线与照相机电连接，所述工控机通过网口与两台照相机电连接，所述第二视觉检测装置的结构与所述第一视觉检测装置的结构相同。

一种基于深度学习的木皮颜色分拣方法，包括以下步骤：

(1)采集待分类木皮图片并划分为训练集、验证集和测试集，利用所划分木皮图片的训练集和验证集训练木皮颜色分类模型，将所述待分类木皮图片测试集输入到所述木皮颜色分类模型中，得到木皮的颜色类别C。

(2)第一传送装置将分拣木皮输送至第一视觉检测装置内。

(3)第一视觉检测装置内的传感器会发出信号控制照相机采集待分拣木皮的图片数据，并将图片上传至工控机可存储位置保存。

(4)第一视觉检测装置内的算法模块加载图片信息并通过木皮颜色分类模型进行类别识别，获得颜色类别C

(5)当木皮厚度为M毫米时，木皮运输至M毫米厚度木皮下料处下料；当木皮厚度N毫米时，木皮经由第一翻转机输送至第二传送装置并反面朝上。

(6)木皮经第二传送装置进入第二视觉检测装置，第二视觉检测装置内的传感器会发出信号控制照相机采集待分拣木皮的图片数据，并将图片上传至工控机可存储位置保存。

(7)第二视觉检测装置内的算法模块加载图片信息并通过木皮颜色分类模型进行类别识别，获得颜色类别C

(8)对比木皮正面与反面的分值，当S

本发明所达到的有益效果是：

1、通过第一传送装置将厚度为M毫米或N毫米的木皮输送入第一视觉检测装置内，并通过第一视觉检测装置对其进行颜色类别识别，当为M毫米厚度时，将其通过M毫米厚度木皮下料处下料，当为N毫米厚度时，该木皮通过第一翻转机翻转至反面向上后继续经过第二视觉检测装置对该木皮的另一面的颜色类别进行识别，并根据所需要的一面的颜色类别，选择下料处，当需要反面的颜色类别时，通过N毫米厚度木皮第一下料处下料，当需要正面的颜色类别时，通过N毫米厚度木皮第二下料处下料，相较于人工分拣，其颜色类别更准确、一致，色号分拣质量高，能够准确的分拣出多种颜色相差不大的色号，同时能够避免人工分拣给分拣人员带来的视觉疲劳，并能够显著提高分拣效率，进一步的，能够应用在木皮种类不同、色号相差较小、木皮厚度不同的情况下，应用面广泛。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1是本发明实施例木皮分拣装置的结构示意图；

图2是图1的俯视示意图；

图3是本发明实施例中视觉检测装置的结构示意图；

图4是图3的侧视示意图；

图5是图3的俯视示意图；

图6是木皮颜色模型的示意图。

图中：1、第一传送装置；2、第一视觉检测装置；201、外壳体；202、照相机；203、遮光板；204、补光灯；205、传感器；206、工控机；207、算法模块；3、M毫米厚度木皮下料处；4、第一翻转机；5、第二传送装置；6、第二视觉检测装置；7、N毫米厚度木皮第一下料处；8、第二翻转机；9、第三传送装置；10、N毫米厚度木皮第二下料处。

具体实施方式

以下将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1-6所示，本发明提供了一种基于深度学习方法的木皮颜色分拣系统及装置，参照图1-5，分拣装置包括第一传送装置1、第一视觉检测装置2、第一翻转机4、第二传送装置5、第二视觉检测装置6、第二翻转机8、第三传送装置9，第二传送装置5设置在第一传送装置1和第三传送装置9之间，第一传送装置1穿过第一视觉检测装置2，第二传送装置5穿过第二视觉检测装置6，第一翻转机4设置在第一传送装置1和第二传送装置5之间，第二翻转机8设置在第二传送装置5和第三传送装置9之间，第一传送装置1的右端设有M毫米厚度木皮下料处3，第二传送装置5的右端设有N毫米厚度木皮第一下料处7，第三传送装置9的右端设有N毫米厚度木皮第二下料处10，第一视觉检测装置2包括外壳体201，外壳体201内腔顶面固定安装有两个照相机202，第一传送装置1位于外壳体201内腔的中部，外壳体201的前后侧面固定安装有位于第一传送装置1上方的遮光板203，外壳体201内腔的两侧固定安装有补光灯204，外壳体201的内腔中固定安装有位于第一传送装置下方的传感器205、工控机206、算法模块207，工控机206通过网口与两台照相机202电连接，传感器205通过信号传输线与照相机202电连接。

分拣方法包括以下步骤：

(1)采集待分类木皮图片并划分为训练集、验证集和测试集，利用所划分木皮图片的训练集和验证集训练木皮颜色分类模型，将所述待分类木皮图片测试集输入到所述木皮颜色分类模型中，得到木皮的颜色类别C。

(2)第一传送装置1将分拣木皮输送至第一视觉检测装置2内。

(3)第一视觉检测装置2内的传感器205会发出信号控制照相机采集待分拣木皮的图片数据，并将图片上传至工控机206可存储位置保存。

(4)第一视觉检测装置2内的算法模块207加载图片信息并通过木皮颜色分类模型进行类别识别，获得颜色类别C

(5)当木皮厚度为M毫米时，木皮运输至M毫米厚度木皮下料处下料3；当木皮厚度N毫米时，木皮经由第一翻转机4输送至第二传送装置5并反面朝上。

(6)木皮经第二传送装置5进入第二视觉检测装置6，第二视觉检测装置6内的传感器205会发出信号控制照相机202采集待分拣木皮的图片数据，并将图片上传至工控机206可存储位置保存。

(7)第二视觉检测装置内6的算法模块207加载图片信息并通过木皮颜色分类模型进行类别识别，获得颜色类别C

(8)对比木皮正面与反面的分值，当S

参照图6，木皮分类模型整体是由三个大层次，N(N>5)个阶段构成的端到端算法，木皮图像I首先进入第一个层次进行浅层特征提取，然后进入第二个层次进行木皮特征融合，最后由第三个层次进行分类输出。

第一个层次视为阶段1，包含浅层特征提取模块用于木皮浅层特征提取以增强模型的泛化能力，由m(m≥1)个卷积层，激活函数层以及池化层构成。具体流程如下所示：

(1)首先图像I经过m个卷积层得到特征图I

I

其中Conv.(*)

(2)进一步地，(1)中得到的特征图I

其中ReLU.(*)表示对*进行激活操作，具体激活函数为修正线性单元。

(3)进一步地，(2)中得到的特征

其中Maxpool(*)为对*进行池化操作，具体为最大池化。

第二个层次中整体包含若干特征融合模块，并划分为第2到第N-1阶段，分别使用K

(1)第一阶段的输出特征I′作为该特征融合模块的输入，首先经过卷积，分组卷积，卷积以及激活函数的结构进行特征提取，得到特征图I

I

其中Conv.(*)表示对*进行卷积操作；GConv

(2)进一步的，由(1)中得到的特征图I

ω＝Sig.(Conv.(ReLU.(Conv.(AdaApool.(I

其中Sig.(*)表示对*进行激活操作，具体激活函数为Sigmoid函数；AdaApool.(*)表示对*进行池化操作，具体池化类型为自适应平均池化。

(3)进一步的，由(2)中得到的特征

(4)I

第三个层次视为阶段N，主要功能是利用分类模块进行特征映射及分类结果的输出。由池化层，批量标准化层以及全连接层构成。具体流程如下：

(1)输入I″首先经过池化层进行维度变换得到I

I

(2)进一步的，(1)中得到的特征I

其中BN.(*)表示对*进行批量标准化操作。

(3)进一步的，(2)中得到的特征

其中FC.(*)表示将*作为全连接层的输入。

(4)对于训练阶段：

已知模型对于图像I的输出矩阵C以及作为监督信息的对应真实类矩阵Label，该模型使用Adam优化器及如下木皮分类损失函数I

其中，N

(5)对于测试阶段：

已知模型对于图像I的输出矩阵C，使用Softmax函数计算图像I的预测类别值。

其中，对于M毫米厚度木皮，以将木皮颜色分为9个色号为例训练木皮颜色分类模型，训练过程包括以下步骤：

S1、当传送带将木皮运输到指定位置时，由安装在视觉检测装置底部的传感器发出信号控制照相机拍摄木皮图片，进而将其存储到工控机中保存。

S2、训练木皮颜色分类模型。准备大量已经完成色号分类的木皮图片，每种色号的木皮都准备多张图片，若木皮色号划分为9个类别，则每个类别准备200张图片，共计1800张图片，对准备的图片进行预处理，即进行图片拼接、裁剪等操作获取模型需要的图片形式。通过对图片进行预处理，提升木皮颜色分类模型的精度，将预处理后的1800张图片通过编程并按照7:3的比例随机生成训练集(1260张)和测试集(540张)。

S3、首先经过第一视觉检测装置2，采集木皮第一面图像并裁剪为480x480的图像I

首先进入第一个层次进行浅层特征提取，然后进入第二个层次进行木皮特征融合，最后由第三个层次进行分类输出。

S3.1第一个层次视为阶段1，包含浅层特征提取模块用于木皮浅层特征提取以增强模型的泛化能力，由1个含有64个大小为7x7的卷积核，步长为2，补齐3个像素的卷积层，激活函数层以及池化层构成。

具体流程如下所示：

S3.1.1首先图像I经过卷积层得到特征图I

I

其中Conv.(*)表示对*进行1次卷积操作。

S3.1.2进一步地，S3.1.1中得到的特征图I

其中ReLU.(*)表示对*进行激活操作，具体激活函数为修正线性单元。

S3.1.3进一步地，S3.1.2中得到的特征

其中Maxpool(*)为对*进行池化操作，具体为最大池化，滑动窗口大小为3x3，步长为2。

S3.2第二个层次中整体包含16个特征融合模块，并划分为第2到第5阶段，分别使用3，4，6，3个上述模块进行多尺度木皮特征深层提取及融合。每个特征融合模块是由5个卷积层，1个池化层及两种共3个激活函数构成的，基于注意力机制的残差学习模块。

以第二个阶段的第一个特征融合模块为例具体流程如下：

S3.2.1第一阶段的输出特征I′作为该特征融合模块的输入，首先经过卷积层a，分组卷积，卷积层b以及激活函数的结构进行特征提取，得到特征图I

I

其中Conv.(*)表示对*进行卷积操作，上标a，b分别表示卷积层a与卷积层b，其中卷积层a为128通道，卷积核大小为1x1，步长为1；卷积层b为256通道，卷积核大小为1x1，步长为1；GConv

S3.2.2进一步的，由S3.2.1中得到的特征图I

ω＝Sig.(Conv

其中Sig.(*)表示对*进行激活操作，具体激活函数为Sigmoid函数；AdaApool.(*)表示对*进行池化操作，具体池化类型为自适应平均池化；Conv.(*)表示对*进行卷积操作，上标c，d分别表示卷积层c与卷积层d，其中卷积层c为16通道，卷积核大小为1x1，步长为1；卷积层d为256通道，卷积核大小为1x1，步长为1。

S3.2.3进一步的，由S3.32.2中得到的特征

S3.2.4I

具体参数如下：

(1)阶段2中，共3个特征融合模块：卷积a，b，c，d的通道数分别为128，256，16，256；分组卷积通道数为128。

(2)阶段3中，共4个特征融合模块：卷积a，b，c，d的通道数分别为256，512，32，512；分组卷积通道数为256。

(3)阶段4中，共6个特征融合模块：卷积a，b，c，d的通道数分别为512，1024，64，1024；分组卷积通道数为512。

(4)阶段5中，共3个特征融合模块：卷积a，b，c，d的通道数分别为1024，2048，128，2048；分组卷积通道数为1024。

第二个层次最后一个模块的输出I″，将作为第三个层次的输入。

S3.3第三个层次视为阶段N，主要功能是利用分类模块进行特征映射及分类结果的输出。由池化层，批量标准化层以及全连接层构成。具体流程如下：

S3.3.1输入I″首先经过池化层进行维度变换得到I

I

S3.3.2进一步的，S3.3.1中得到的特征I

其中BN.(*)表示对*进行批量标准化操作，归一化后维度为2048。

S3.3.3进一步的，S3.3.2中得到的特征

其中FC.(*)表示将*作为全连接层的输入，输出为8维即最终分类数为8。

S3.3.4对于训练阶段：

已知模型对于图像I的输出矩阵C以及作为监督信息的对应真实类矩阵Label，该模型使用如下木皮分类损失函数I

其中，N

S3.3.5对于测试阶段：

已知模型对于图像I的输出矩阵C，使用Softmax函数计算图像I的各类别得分S

其中，对于N毫米厚度木皮，准备大量已经完成色号分类的木皮图片，每种色号的木皮都准备多张图片，若木皮色号划分为9个类别，则每个类别准备200张图片，共计1800张图片，对准备的图片进行预处理，即进行图片拼接、裁剪等操作获取模型需要的图片形式。通过对图片进行预处理，提升木皮颜色分类模型的精度，将预处理后的1800张图片通过编程并按照7:3的比例随机生成训练集(1260张)和测试集(540张)。

首先经过第一视觉检测装置2，采集木皮第一面图像并裁剪为480x480的图像I

然后通过对于M毫米厚度木皮的全部训练流程可得到图像I

综上所述，在对所需木皮进行分拣时，首先判断其厚度为M毫米或N毫米，当其厚度为M毫米时，首先将该木皮放置在第一传送装置1上，第一传送装置1带动其运动进入第一视觉检测装置2中，通过传感器205控制照相机202对木皮进行拍照，并通过木皮颜色分类模型进行类别识别，获得颜色类别C

需要说明的是，在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。