基于编解码结构的轻量型茶叶嫩梢分割方法、装置和介质

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种基于编解码结构的轻量型茶叶嫩梢分割方法、装置和介质。

背景技术

茶叶产业属于劳动密集型产业，尤其是在采摘过程需要花费大量的劳动力进行人工采摘。近年来，劳动力老龄化日趋明显，用工难、人工成本高已经成为茶叶产业不得不面临的关键问题，因此有必要开展基于先进技术的智能采茶技术发展的研究。

传统的茶叶机械化采摘主要采用往复切割的方法，进行无差别的茶叶采摘，容易引起茶叶完整率较低、导致芽叶破损、茶叶漏采、茶叶误采等现象。

因此，部分技术基于计算机视觉识别茶树上的嫩叶，然后通过采摘设备有针对性的对茶叶进行采摘，以保证茶叶的完整性。但是，传统的视觉识别方法，所提取的特征比较单一，受光照影响比较明显，且识别的精度非常依赖所选取的特征，导致识别精度较低。并且传统的编解码结构往往采用多个卷积池化操作进行下采样特征提取，然后采用插值法或者转置卷积法进行图像恢复，这些操作需要耗费更多的参数和计算量，不能满足在实时场景应用下的要求。

有鉴于此，申请人在研究了现有的技术后特提出本申请。

发明内容

本发明提供了一种基于编解码结构的轻量型茶叶嫩梢分割方法、装置和介质，以改善上述技术问题中的至少一个。

第一方面、

本发明实施例提供了一种基于编解码结构的轻量型茶叶嫩梢分割方法，其包含步骤S1和步骤S2。

S1、获取初始图像，并进行预处理。

S2、将预处理后的图像输入预先训练好的轻量型分割模型，获取茶叶嫩芽的识别图像。

轻量型分割模型包括依次连接的多个编码模块、依次连接的多个解码模块、用以连接最后一个编码模块和第一个解码模块的ASPP模块。编码模块和解码模块之间一一对应，并通过注意力门模块进行跨层连接。注意力门模块用以将编码模块和解码模块输出的特征进行融合，以获取更加显著的特征。第一个注意力门用以将最后一个编码模块和ASPP模块输出的特征进行融合。

第二方面、

本发明实施例提供了一种基于编解码结构的轻量型茶叶嫩梢分割装置，其包含：

初始图像获取模块，用于获取初始图像，并进行预处理。

图像识别模块，用于将预处理后的图像输入预先训练好的轻量型分割模型，获取茶叶嫩芽的识别图像。

轻量型分割模型包括依次连接的多个编码模块、依次连接的多个解码模块、用以连接最后一个编码模块和第一个解码模块的ASPP模块。编码模块和解码模块之间一一对应，并通过注意力门模块进行跨层连接。注意力门模块用以将编码模块和解码模块输出的特征进行融合，以获取更加显著的特征。第一个注意力门用以将最后一个编码模块和ASPP模块输出的特征进行融合。

第三方面、

本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如第一方面任意一段所说的基于编解码结构的轻量型茶叶嫩梢分割方法。

通过采用上述技术方案，本发明可以取得以下技术效果：

本发明实施例的轻量型茶叶嫩梢分割方法计算量小且识别精度高，能够提供更高的实时性，同时具有较高的准确率，以满足实时场景下茶叶嫩梢采摘的机械化操作，为自动化采摘茶叶提供了基础，具有很好的实际意义。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是轻量型茶叶嫩梢分割方法的流程示意图。

图2是轻量型分割模型的框架图。

图3是编码模块的结构图。

图4是ASPP模块的结构图。

图5是注意力门模块的结构图。

图6是解码模块的结构图。

图7是轻量型茶叶嫩梢分割装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一、

请参阅图1至图6，本发明第一实施例提供一种基于编解码结构的轻量型茶叶嫩梢分割方法，

其可由基于编解码结构的轻量型茶叶嫩梢分割设备来执行(以下简称：轻量型茶叶嫩梢分割设备)。特别地，由轻量型茶叶嫩梢分割设备中的一个或多个处理器来执行，以实现步骤S1和步骤S2。

S1、获取初始图像，并进行预处理。

在上述实施例的基础上，本发明的一个可选地实施例中，步骤S1具体包括步骤S11和步骤S12。

S11、获取初始图像。

S12、对初始图像进行填充和大小调整，获取预设尺寸大小的图像。

可以理解的是，所述轻量型茶叶嫩梢分割设备可以是便携笔记本计算机、台式机计算机、服务器、智能手机或者平板电脑等具有计算性能的电子设备。

S2、将预处理后的图像输入预先训练好的轻量型分割模型，获取茶叶嫩芽的识别图像。

轻量型分割模型包括依次连接的多个编码模块、依次连接的多个解码模块、用以连接最后一个编码模块和第一个解码模块的ASPP模块。编码模块和解码模块之间一一对应，并通过注意力门模块进行跨层连接。注意力门模块用以将编码模块和解码模块输出的特征进行融合，以获取更加显著的特征。第一个注意力门用以将最后一个编码模块和ASPP模块输出的特征进行融合。

如图2和图3所示，在上述实施例的基础上，本发明的一个可选地实施例中，编码模块包括依次连接的第一卷积层、第一批量归一化层、第一激活层、第二卷积层、第二批量归一化层、第二激活层和第一相加层。其中，第一相加层用以将输入第一卷积层的特征和第二激活层输出的特征相加。

优选地，轻量型分割模型包括四个编码模块。第一卷积层和第二卷积层的卷积核3*3。第一卷积层的步长为2。第一激活层和第二激活层为Relu层。

具体的，编码结构中包含四个编码模块每个编码模块由步长为2的3*3卷积层、批处理(BN)层、Relu激活层、3*3卷积层、批处理(BN)层、Relu激活层构成的残差模块。原始的输入图像用X表示，经过四层下采样操作分别得到四个编码层输出特征图X1、X2、X3和X4。

通过四个编码模块(Encode Layer)提取特征图。编码模块采用步长为2的卷积结构代替传统的卷积池化模块进行下采样。大幅减少网络参数和计算量，更好的满足应用场景中的实时性要求。

如图2和图4所示，在上述实施例的基础上，本发明的一个可选地实施例中，ASPP模块(空洞空间卷积池化金字塔)包括用以输出特征的第八卷积层、连接于第八卷积层的第二拼接层、平行设置且分别连接于第二拼接层的图像池化层、第四卷积层、第五卷积层、第六卷积层、第七卷积层。

优选地，第四卷积层、第五卷积层和第六卷积层的卷积核为3*3。第四卷积层的扩张率为18。第五卷积层的扩张率为12。第六卷积层的扩张率为6。第七卷积层和第八卷积层的卷积核为1*1。

具体的，将最底层的编码层的输出特征图X4，经过ASPP模块。ASPP模块包括五个平行模块，分别为图像池化模块、conv(1*1)模块，conv(3*3)(dilation rate＝(6,12,18))模块，将五个模块的输出进行拼接以及卷积操作后，进一步融合丰富的语义特征，得到新的融合特征X5。

编码模块的底部连接了ASPP模块，增大网络的感受野，获得融合特征图。增加分割网络获得多尺度上下文的能力。进一步融合丰富的语义特征，提升网络的准确度

如图2和图5所示，在上述实施例的基础上，本发明的一个可选地实施例中，注意力门模块包括平行设置的第九卷积层和第十卷积层、连接于第九卷积层和第十卷积层的第三相加层、连接于第三相加层的第四激活层、连接于第四激活层的第十一卷积层、连接于第十一卷积层的第五激活层、连接于第五激活层的重采样层和连接于重采样层的第一相乘层。

优选地，第九卷积层、第十卷积层和第十一卷积层的卷积核为1*1。第四激活层为Relu层。第五激活层为Sigmoid层。

具体的，连接编码模块和解码模块的跳跃连接的末端引入了注意力门单元。注意力门单元用于将对应编码层的输出特征图如X4和融合特征图如X5(需经过卷积操作恢复为与X4同一尺寸)融合，然后经过Relu操作和通道降维(1*1的卷积)后，对结果进行Sigmoid的操作，得到注意力权重，赋予对应的编码层特征图X4，得到融合注意力的低层语义特征图X4*(显著的编码层特征图)。

如图2所示，在本实施例中，多个解码模块依次连接，多个编码模块依次连接的，编码模块和解码模块之间一一对应，并且通过跳越连接层进行连接。在跳越连接层末端引入注意力门，编码模块和解码模块所输出的特征图通过注意力门模块获得显著的编码层特征图。其中，“编码模块和解码模块”指的是注意力门输出端连接的解码模块所对应的编码模块，以及注意力门输出端连接的解码模块的前一个解码模块。

如图2和图6所示，在上述实施例的基础上，本发明的一个可选地实施例中，解码模块包括依次连接的第一亚像素卷积层、第一拼接层、第三卷积层、第三批量归一化层、第三激活层和第二相加层。第一亚像素卷积层用以对上一个解码模块输出的特征进行上采样。第一拼接层用以拼接注意力门输出的特征和第一亚像素卷积层输出的特征。第二相加层用以将第一拼接层输出的特征和第三激活层输出的特征相加。

在上述实施例的基础上，本发明的一个可选地实施例中，轻量型分割模型包括四个解码模块。第三卷积层的卷积核3*3。第三激活层为Relu层。

具体的，解码模块中包括亚像素卷积上采样模块，以及由3*3卷积层、BN层和Relu层构成的残差模块。将特征图X5通过亚像素卷积进行上采样，图像尺寸扩大两倍，得到解码层输出D4。将上述融合注意力的编码层特征图X4*和上采样得到对应的特征图D4进行拼接，然后经过包含3*3卷积层、BN层、Relu层的残差模块，得到融合上下文特征的解码层输出特征图D4*；

该亚像素卷积模块是一个不需要额外计算量的隐式卷积层，用于对特征图进行整合，恢复图像尺度。解码模块先通过卷积操作学习图像特征，得到r2个通道的特征张量，再通过周期性改组操作把尺寸为H*W*C*r2的张量重组为rH*rW*C大小的张量，逐步恢复分割图像的分辨率，得到解码特征图。这里r设置为2。

将融合特征图经过四个解码模块(Decode Layer)进行图像恢复，最终恢复成与输入图像尺寸一致的分割图像。每个解码模块采用亚像素卷积进行图像上采样。经过注意力门提升后的显著的编码层特征图与对应的解码模块输出的特征图进行拼接融合。

本发明实施例的基于编解码结构的轻量型茶叶嫩梢分割方法通过四个步长为2的编码模块进行下采样，得到编码层特征图。然后，通过ASPP模块增大网络的感受野，增加分割网络获得多尺度上下文的能力，获得融合后的特征图。跳跃连接末端引入注意力门，并通过注意力门获取更为显著的编码层特征图。在四个解码模块中，采用亚像素卷积进行特征图尺度恢复。显著的编码层特征图与对应解码层特征图拼接后，经过亚像素卷积模块继续上采样，最终恢复成与原始输入图像尺寸大小一致的分割图像。

本发明实施例的轻量型茶叶嫩梢分割方法计算量小且识别精度高，能够提供更高的实时性，同时具有较高的准确率，以满足实时场景下茶叶嫩梢采摘的机械化操作，为自动化采摘茶叶提供了基础，具有很好的实际意义。

在上述实施例的基础上，本发明的一个可选地实施例中，轻量型分割模型的训练步骤包括步骤A1至A5。

A1、构建初始模型。

具体的，初始模型的网络结构如图2所示。

A2、获取原始图像集。其中，原始图像为包含茶叶嫩芽的图像。

具体的，原始图像可以通过网络爬虫等方式进行获取，本发明对原始图像的获取方法不做限定。

A3、获取原始图像集的标注文件，并和原始图像集组成原始数据集。

具体的，对采集到的原始的茶叶嫩芽图像，采用Labelme标注工具进行人工标注形成标注文件。将标注文件存在对应的文件夹中，与茶叶嫩芽图像构成原始数据集。最后，根据7:3的比例将原始数据集划分为训练集和测试集。

A4、对原始数据集进行预处理。在上述实施例的基础上，本发明的一个可选地实施例中，步骤A4具体包括步骤A41和步骤A42。

A41、将原始数据集的原始图像与对应的标注文件进行随机裁剪，随机剪裁后进行像素值归一化，然后再进行填充，获取尺寸大小一致的图像与标准文件。

A42、将尺寸大小一致的图像与标准文件根据0.5的概率进行强度变换和/或进行两个轴向的随机翻转并仿射变换。

具体的，通过预处理进行数据增强。从而增加训练的数据量，提高模型的泛化能力。

A5、将预处理后的原始数据集输入初始模型，并通过计算损失进行训练，获取轻量型分割模型。

具体的，根据初始模型的预测结果与标注文件计算损失，经过多轮训练，获得最优的茶叶嫩芽分割网络；其中，损失为分割损失函数(DiceLoss)和交叉熵损失函数(二元交叉熵损失函数，BCELoss)以1:1的比例进行融合。

二元交叉熵损失函数为：

式中，y

分割损失函数为：

式中，X和Y分别为分割的标签和预测值，smooth为平滑系数，起到防止分母为0的作用。

在模型训练好后，对测试集进行预处理，并将预处理后的测试集输入训练好的轻量型分割模型中检验模型的质量。

具体的，对测试集的茶叶嫩芽图像进行填充和大小调整，获得尺寸大小与训练集大小一致的图像。然后将预处理后的测试集输入到训练好的模型中进行识别。将识别结果和标注文件进行比对检验模型的质量。

实施例二、

本发明实施例提供了一种基于编解码结构的轻量型茶叶嫩梢分割装置，其包含：

初始图像获取模块1，用于获取初始图像，并进行预处理。

图像识别模块2，用于将预处理后的图像输入预先训练好的轻量型分割模型，获取茶叶嫩芽的识别图像。

轻量型分割模型包括依次连接的多个编码模块、依次连接的多个解码模块、用以连接最后一个编码模块和第一个解码模块的ASPP模块。编码模块和解码模块之间一一对应，并通过注意力门模块进行跨层连接。注意力门模块用以将编码模块和解码模块输出的特征进行融合，以获取更加显著的特征。第一个注意力门用以将最后一个编码模块和ASPP模块输出的特征进行融合。

实施例三、

本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如实施例一任意一段所说的基于编解码结构的轻量型茶叶嫩梢分割方法。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些内容以外的顺序实施。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。