一种基于卷积神经网络的果实生长形态视觉辨识方法

技术领域

本发明涉及卷积神经网络技术领域，尤其涉及一种基于卷积神经网络的果实生长形态视觉辨识方法。

背景技术

我国是一个农业大国，水果产业是种植业中位列粮食、蔬菜之后的第三大产业。近年来，我国的水果产业发展尤为迅速，种植面积和产量快速扩张，水果产业已然形成规模优势，并在不断壮大。但目前大部分水果采摘仍然主要靠手工完成，耗时费力，劳动强度大；再者，随着人口老龄化和农业劳动力的减少，手工采摘费用也相应提高，由此影响水果的市场竞争力。因此果园果实适时高效采收、降低采摘成本尤为重要。基于机器视觉的果蔬采摘机器人可充分利用其信息感知能力对果实进行识别采摘，提高采摘效率，从而提升经济效益，增加农民收入，已经成为国内外智能农机装备领域的研究热点。然而目前采摘机器人实用化产品很少，鲜有大量应用，其主要原因是智能化程度还比较低。鉴于以上情况，开展果实采摘机器人相关技术研究，实现果园果实的机械自动智能化采摘具有重大现实意义。

果蔬的生长形态多种多样，不同生长形态的果蔬对于采摘机器人来说其采摘机制应当是不同的，由此在果蔬采摘机器人作业中，其工作的首要任务是能够视觉辨识出不同生长形态的果蔬，然后机器人才能选用相应方法来完成不同生长形态果蔬的顺利采摘。但是目前大多数研究关注的是单类生长形态果蔬的辨识问题，而针对不同生长形态果蔬的一体化辨识还少有系统研究，然其却是最终必须要解决的必要环节。目前在国内外现有文献中，少有果蔬生长形态视觉辨识方面的专题研究，而只是在果实辨识研究的过程中对单一重叠遮挡和枝叶遮挡果实的生长形态判定略有涉及。中国农业大学张亚静等人通过确定单个果实面积阈值，计算采集图像分割后每个区域的面积来判定是否为多果重叠情况。江苏大学蔡健荣等人则是通过分割后的柑橘果实图像中最小外接矩形边长阈值a/b>1.4来判断果实是否存在重叠。中国农业大学荀一等人约定如果两个或多个苹果果实拟合圆重叠部分大于其中最小圆的1/2时，认为一个苹果果实由于枝叶遮挡被分割成几个不同的目标，将其算作枝叶遮挡形态果实。而在采摘机器人多生长形态果蔬辨识方法研究方面，申请号CN201310188346.4专利，提出基于几何计算与区域映射相结合的方法由粗到精来进行辨识。上述文献多只是单一果蔬生长形态的判定，而又过于简单化；而本团队前期所研究多生长形态果蔬辨识方法则传统繁杂，适用性有限，总之至今尚无一个完善较为成熟的不同生长形态果蔬的辨识方法。

发明内容

本发明所要解决的技术问题是：基于深度学习搭建网络，来实现苹果果实生长形态的辨识，使得采摘机器人能够自动视觉辨识果实生长形态，为进一步对其选用相应的采摘机制奠定基础。

本发明所采用的技术方案：一种基于卷积神经网络的果实生长形态视觉辨识方法，包括以下步骤：

S1、图像采集：使用单反拍摄若干果园不同形态的果实图像，并对图像进行标注，不同形态的果实图像共有四种形态，包括：无枝茎遮挡单个果实、枝茎遮挡单个果实、无枝茎遮挡重叠果实和枝茎遮挡重叠果实；

S2、图像增强：将采集到的果实图像进行数据增强以扩充数据集，数据增强方法包括饱和度调整、对比度调整、翻转以及清晰度调整，并随机将图像按6：2：2的比例划分为训练集、验证集和测试集；

S3、搭建卷积神经网络模型：通过1个图像预处理模块、12个卷积模块、1个空间金字塔池化层、4个上采样模块、8个特征融合块、12个C3模块和1个检测模块组成，网络首先经过4个卷积模块进行下采样，在第二次和第三次下采样后，图像难免会降低一些关键信息的质量，为了提高网络性能，在第二个和第三个卷积模块后均添加9个C3网络，其余卷积模块后均添加3个C3网络；经过下采样处理后送入空间金字塔池化层，并在池化层后插入3个C3网络；然后开始进行上采样操作，上采样操作主要包括2个卷积模块来调整通道数，2个上采样模块来增强语义信息，同时在每个上采样模块后也插入了3个C3网络；完成上采样后重复下采样和上采样的操作，再通过2个卷积模块进行下采样，每个卷积模块后面插入3个C3网络；随后经过2个上采样模块，每个上采样模块后面同样插入3个C3网络和3个卷积模块，3个卷积模块作用是调整通道数；随后再经过两个下采样模块，每个下采样模块后插入3个C3网络；最后送入检测模块进行检测，在12个卷积模块中通过混合激活函数来提高神经网络对模型的表达能力；

模型检测模块通过计算3种模型损失值来评估训练模型的优劣，分别是分类损失和回归损失，其中分类损失模型又分为：正样本的分类损失和正负样本的前景背景预测的分类损失；其中回归损失使用CIOU_Loss计算，分类损失分别使用BECLoss和BCEWithLogitsLoss进行计算，最后将这三个损失值相加作为评估模型优劣的指标，损失值越小，模型训练越优秀，直到损失值不再变化得到最优模型；

混合激活函数公式如下：

f(x)＝(p

f(x)＝xσ(x) (2)

其中，σ是sigmoid函数，p1,p2和β使用的是三个可学习参数来自适应调整，其中，公式(1)为ACON-C激活函数，公式(2)为SiLu激活函数；

式(1)较目前应用最为广泛的ReLU函数来说，拥有不饱和、光滑、非单调性的特征，且在更深的神经网络上拥有更高的计算精度；为了节省训练时间，同时也避免训练过拟合，本发明在下采样里的3×3卷积模块里使用式(1)激活函数，在调整通道的1×1卷积模块里使用式(2)激活函数；

S4、卷积神经网络模型训练：通过训练集对卷积神经网络模型进行训练，使用SGD优化器对卷积神经网络的权重参数、偏置参数和批归一化的权重参数进行优化，每一次迭代计算mini-batch的梯度，然后使用学习率朝着梯度相反方向去更新模型的每个参数，随着迭代的步骤增多，学习率逐渐减小，直至模型收敛；

S5、果实生长形态辨识：将测试集图像送入步骤4训练完的卷积神经网络最优模型进行前向传播，返回预测框的具体格式为：中心点+长宽+置信度+分类结果，随后进行NMS操作，设置置信度阈值和IOU阈值，将预测框的中心点和长宽变为：左下角坐标+右上角坐标，最后保存预测结果。

本发明产生的有益效果是：

基于深度学习技术提出了果实生长形态的辨识方法，该方法与Faster-RCNN、YOLOv3和YOLOv4算法相比，有更高的识别准确率和更快的识别速度，同时模型参数量也更少；并且本发明丰富了目前农业智能化在果蔬生长形态辨识这一研究方向的技术。

附图说明

图1是本发明基于卷积神经网络的果实生长形态视觉辨识方法流程图；

图2是本发明网络结构图；

图3是本发明C3网络的结构图；

图4是本发明特征处理网络结构图；

图5是本发明利用形态辨识模型识别果实生长形态效果图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示，本发明实例提供了一种基于卷积神经网络的果实生长形态视觉辨识方法，

S1、图像采集：使用单反拍摄若干果园不同形态的果实图像，并对图像进行标注，其中不同形态包括无枝茎遮挡单个果实、枝茎遮挡单个果实、无枝茎遮挡重叠果实和枝茎遮挡重叠果实，使用标注软件对所采集的果实图像进行分类标注，其中对像素区域不足或不清晰的样本不进行标记，以防止神经网络的过拟合；在靠近图像边缘的情况下，对图像边缘面积小于15％的目标也不进行标记，因为不能准确判别其具体特征。

S2、图像增强：对于果园中果实生长形态的辨识，由于一天的天气和光照条件变化较大，卷积神经网络能否处理不同光照条件下采集到的果蔬图像，取决于训练数据集的完整性；同时考虑到训练数据太少会导致近似值不佳，使得模型缺少约束从而出现过拟合问题，所以为了增强实验数据集的丰富性，对采集到的图像进行了饱和度、对比度、翻转以及清晰度方面的数据增强；

人类的视觉系统可以感知在光照条件变化和成像条件变化下目标物体颜色的不变性，但是拍摄设备对于环境的变化是极其敏感的，对于不同光照条件的影响，拍摄图像与真实图像难免会存在一些色差；采用对比度和饱和度的调整，来对图像的色彩鲜艳程度和明暗区域的对比程度进行改变，以增强神经网络的泛化能力，其中饱和度提高50％，对比度的增强因子设置为1.5；

为了进一步扩充数据集，对原始图像进行180°旋转，以提高神经网络的检测性能；由于相机取景时距离过长或者选取了不正确的焦距，以及相机的移动，都有可能导致获取到的图像不清晰，而模糊图像也可能会影响神经网络的检测性能；因此，本发明随机选择部分原始图像添加了方差为0.1的椒盐噪声，以模仿不清晰的图像，利用模糊图像作为样本进一步增强了检测模型的鲁棒性；除此之外，还对部分原始图像进行锐化，设置增强因子为0.5，补偿图像的轮廓，增强图像的边缘部分，使图像变得更加清晰，对数据增强后的图像按6：2：2的比例随机划分为训练集、验证集和测试集。

S3、搭建卷积神经网络模型，创建的网络总共包含39个处理模块，网络的具体结构如图2所示；在将待训练图像送入卷积神经网络之前，为了增加小目标的数量，同时让网络的鲁棒性更好，使用随机缩放、随机裁剪、随机排布的方式将四张图像进行拼接；考虑到本发明目标是提高识别率的同时还要保持实时检测效率，在图像预处理模块本发明借鉴深度可分离卷积原理来对图像进行切片操作，以减少模型参数量的计算。

在对图像进行简要处理之后，送入特征提取模块来拟合果实生长形态，首先使用三次卷积对图像进行下采样操作；本发明在每个卷积操作后面插入3个C3网络，C3网络的具体结构如图3所示，C3模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证准确率；同时C3网络中还添加残差组件，可以增强层与层之间反向传播的梯度值，避免因为网络加深而带来的梯度消失，从而提取到更细粒度的特征而不必担心网络退化；在进行下采样过后，为了将任意尺度图像的卷积特征转化成相同维度，本发明引进了空间金字塔池化层来进行处理，这不仅可以让卷积神经网络处理任意尺度的图像，还可以避免网络出现过拟合。

对于小目标而言，其具有的像素信息较少，在进行下采样过程中难免会造成信息丢失，导致大小物体的检测性能差异较高；因此本发明在下采样操作过后随即进行上采样，使用两个上采样模块来最大程度地保留特征图的语义信息；随后继续进行下采样来将低层的强定位特征传递上去，该部分的具体结构如图4所示；如果三条路线之间输入和输出是同一层结点，则在中间添加一条额外的边进行融合，在不增加消耗的同时融合更多的特征；本发明重复进行上采样和下采样步骤来加深网络以此更好地拟合果实形态特征；在利用主干网络对果实形态特征进行提取之后，送入检测模块对验证集进行检测并计算三种模型损失值和map，损失值包括分类损失和回归损失，其中分类损失又分：正样本的分类损失和正负样本的前景背景预测的分类损失；其中回归损失使用CIOU_Loss计算，分类损失分别使用BECLoss和BCEWithLogitsLoss进行计算，最后将这三个损失值相加作为评估模型优劣的指标。

S4、卷积神经网络模型训练：通过训练集对卷积神经网络模型进行训练，通过SGD优化器对卷积神经网络的权重参数、偏置参数和批归一化的权重参数进行优化来获取最优模型；

S5、加载训练出来的最优模型，将测试集图像送入模型进行前向传播，返回预测框的具体格式为：中心点+长宽+置信度+分类结果，随后进行NMS操作，设置置信度阈值和IOU阈值，将预测框的中心点和长宽变为：左下角坐标+右上角坐标，最后保存预测结果，效果如图5所示，图中每个类别后的数字表示对应类别的置信度。

本发明基于深度学习技术提出了果实生长形态的辨识方法，该方法与Faster-RCNN、YOLOv3和YOLOv4算法相比，有更高的识别准确率和更快的识别速度，同时模型参数量也更少；并且本发明丰富了目前农业智能化在果蔬生长形态辨识这一研究方向的技术。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。