一种基于神经网络和模糊决策的果树剪枝方法及系统

技术领域

本发明涉及果树剪枝技术领域，尤其涉及一种基于神经网络和模糊决策的果树剪枝方法及系统。

背景技术

在果实的生长周期中，需要进行修冠及整形这两个步骤，这两个步骤看似简单，却在果树的生长周期内，扮演举足轻重的角色，需要专业的技术和经验才能完成。

目前农业上虽有整形剪枝机器人的应用，但是都具有一定的局限性，采购及维护成本颇高，使用条件的及地形限制。

AR(增强现实)相关技术，能将虚拟的信息应用到真实世界，其在现实生活中被广泛应用到旅游和导览、娱乐和商业、装配和装修等领域，未来农业技术和AR交互技术必然会有良好的发展空间和前景。

深度学习算法发展迅速，但是其计算资源需求太大和内存消耗严重使得成本较高，而轻量化网络它能尽可能保证模型精度的前提下，降低模型的计算复杂度和空间复杂度，从而使得深度神经网络可以被部署在计算性能和存储空间有限的嵌入式边缘设备上。

Mask R-CNN是一个两阶段的实例分割模型，虽然具有分割准确、结构简单等优点，但是网络模型过于复杂会产生较大的参数量和计算量，可能会导致网络的速度很慢。

发明内容

针对现有算法的不足，本发明系统克服了艰难的地形带来的影响，保证在地势险要的地方仍然能够正常作业，灵活完成AR智能识别剪枝点；还克服了一般深度学习神经网络模型需要大量训练集、计算量大、对计算机硬件要求高，识别精度不够高缺点。

本发明所采用的技术方案是：一种基于神经网络和模糊决策的果树剪枝方法及系统包括以下步骤：

步骤一、通过AR眼镜采集果树枝干图像；

步骤二、对果树枝干图像进行对暗光增强和曝光纠正；

进一步的，暗光增强和曝光纠正是通过一个逆映射函数F,将sRGB图像映射到对应的raw-RGB空间上，通过调整ISP过程中的关键参数，动态调整图像亮度。

进一步的，关键参数包括：gamma数值、白平衡和相关色彩矩阵；

步骤三、采用ShuffleNetV2的基本单元及网络结构，卷积层部分融入ResNet101的层级分割，对图像进行枝干分割，输出影响果树剪枝决策的特征；

进一步的，采用ShuffleNetV2的基本单元及网络结构，卷积层部分融入ResNet101的层级分割具体包括：六个卷积层，分别为1、9、12、69、9、1个卷积；其中，第六卷积层包含一个1x1卷积，用来混合通道特征，将特征图尺寸相同的层进行整合，将卷积层输出特征分成五个阶段。

进一步的，果树剪枝决策的特征包括：树枝纵向高度Δh，树枝径向长度Δr，树枝生长角度Δα，树枝平均直径

进一步的，步骤三还包括：将ShuffleNetV2-ResNet结构的S3、S4中用于下采样模块的左侧分支3x3深度卷积替换成卷积核为3x3、扩张率为2的深度空洞卷积，左右分支步长均为2；将S5中下采样模块左侧分支也使用空洞卷积代替了原来的3x3卷积，左右分支步长均为1。

步骤四、将果树剪枝决策的特征输入TSK模糊神经网络，输出枝条的类别；

进一步的，TSK模糊神经网络的模糊规则为：

IF x

Then f(x)＝p

k＝1，2，...，K

其中，IF语句为模糊规则的前件部分，THEN语句为模糊规则的后件部分，K表示TSK模糊规则规则库的模糊规则数量，A

进一步的，枝条的类别包括：背上枝、向心枝和竞争枝。

基于神经网络和模糊决策的果树剪枝方法的系统，包括：视觉系统、AR显示屏、集成线路单元、主控装置和通信模块，主控装置通过集成线路单元分别与视觉系统、AR显示屏连接，主控装置还与通信模块连接，视觉系统用于农业生产者所观察画面中果树枝干场景图像的采集；AR显示屏用于显示视觉系统所采集的图像和果树剪枝点的决策结果；集成线路单元用于连接主控装置、视觉系统、AR显示屏和通信模块；主控装置用于控制AR智能眼镜设备的运行与启停；通信模块用于AR智能眼镜设备和剪枝决策的数据传输。

进一步的，还包括：图像识别处理模块和果树剪枝点决策模块，图像识别处理模块用于对视觉系统采集的图像进行预处理和分割，使得图像中只剩下果树枝干图像并计算出果树枝干的特征；果树剪枝点决策模块根据图像识别处理模块得到的果树枝干特征判断枝条类别并标出剪枝点。

本发明的有益效果：

1、克服地形影响，保证在地势险要的地方仍然能够正常作业，灵活完成AR智能识别,同时方便部署在计算性能和存储空间有限的嵌入式边缘设备上；

2、克服一般深度学习神经网络模型需要大量训练集、计算量大、计算时间长、对计算机硬件要求高，识别精度不够高等缺点，使用轻量化网络结构，大大减少了模型训练的参数量；

3、使用AR眼镜系统来实时决策果树剪枝点，应用AR的作用原理和果树剪枝规则，将这两项相互配合，实现人机相辅相成，相互协助，能更智能、高效的执行剪枝这一目的；

4、完成对果树枝干暗光增强和曝光纠正，将非正常光照下摄影得到的图像，通过逆映射函数F,将sRGB图像映射到其对应的raw-RGB空间上，使最终的预测图像接近正常光照环境下的摄影图像；

5、将5个桃树枝干形态特征值的输入层，10个节点的隐藏层，1个节点的输出层的TSK模糊神经网络模型，判断出需要剪的枝条类型，TSK模糊神经网络模型具有强大的学习能力和较好的可解释性的。

附图说明

图1是本发明的系统连接图；

图2中(a)是shufflenetv2和resnet结合后的结构中S3和S4的下采样模块；图2(b)是shufflenetv2和resnet结合后的结构中S5中下采样模块；

图3是本发明的TSK型模糊系统框架示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示，一种基于神经网络和模糊决策的果树剪枝系统，果树剪枝智能决策的应用于农业生产的AR智能设备中，包括：AR智能眼镜设备和AI剪枝决策模块，AR智能眼镜设备包括视觉系统、AR显示屏、主控装置和通信模块，主控装置采用高通XR1 8核，集成线路单元采用STM32集成线路，视觉系统、AR显示屏、集成线路单元、主控装置、通信模块均安装在AR智能眼镜中，主控装置通过集成线路单元分别与视觉系统、AR显示屏、通信模块连接；其中，视觉系统用于农业生产者所观察画面中果树枝干场景图像的采集；AR显示屏用于显示视觉系统所采集的图像被AI剪枝决策模块处理而反馈的果树剪枝点的决策结果；集成线路单元用于连接主控装置、视觉系统、AR显示屏和通信模块；主控装置用于控制AR智能眼镜设备中所有元件的运行与启停；通信模块用于AR智能眼镜设备和AI剪枝决策模块数据传输。

视觉系统采用FOV77度广角镜头，F2.0大光圈，1.4um*1.4um感光单元，AR显示屏采用阵列光波导模组，透光性、对比度、颜色准确度达到一定的标准，剪枝点逼真叠加显示在AR眼镜中，AR显示屏具有40°超宽视角，识别范围广，一次性可以识别多个果树枝干目标，继而对多个目标同时进行工作，提高果树剪枝效率。

AI剪枝决策模块包括图像识别处理模块和果树剪枝点决策模块，AI剪枝决策模块与通信模块连接，用于AR智能眼镜设备和AI剪枝决策模块之间的通信，将采集图像和识别结果交换传输；图像识别处理模块用于对视觉系统采集的图像进行预处理和分割，使得图像中只剩下果树枝干图像并计算出果树枝干的特征；果树剪枝点决策模块根据图像识别处理模块得到的果树枝干特征判断枝条类别并标出剪枝点。

AI剪枝决策模块中的图像识别处理模块解决自然场景存在的不良光照场景下对视觉任务的影响，完成对果树枝干暗光增强和曝光纠正的任务；图像识别处理模块也完成对果树枝干的分割并计算影响果树剪枝决策的一些特征：树枝纵向高度Δh，树枝径向长度Δr，树枝生长角度Δα，树枝平均直径

为了克服存在的不良光照场景下对视觉任务的影响，完成对果树枝干暗光增强和曝光纠正的任务，通过一个逆映射函数F,将sRGB图像映射到对应的raw-RGB空间上，这样做的好处是还原到raw-RGB空间上面后，通过调整ISP过程中的关键参数：gamma数值、白平衡和相关色彩矩阵，来动态调整图像亮度，让最终的预测图像尽量接近正常光照环境下的摄影图像。

为了实现果树枝干分割任务，采用改进的MaskR-CNN作为目标检测的主体算法，将改进的ResNet101作为骨干网络，当输入为x时，ResNet101学习到的特征为H(x)，学习到的残差为F(x)＝H(x)-x，则输出特征是F(x)+x；残差块resNet大大降低了神经网络学习特征提取的难度；采用ShuffleNetV2的基本单元及网络结构，卷积层部分融入ResNet101的层级分割方式，使网络包含六组卷积层，分别包含1、9、12、69、9、1个卷积，其中，最后一组仅包含一个1x1卷积，用来混合通道特征，将特征图尺寸相同的层进行整合，将卷积层分成五个阶段，分别命名为S1、S2、S3、S4、S5；其中，将第六组的1x1卷积也加入S5。

ShuffleNetV2-ResNet 101网络结构

如图2为了进一步提升实例分割的精度，引入空洞卷积模块，结合FPN，运用到基于MaskR-CNN的实例分割任务中；将ShuffleNetV2-ResNet结构S3、S4中用于下采样模块的左侧分支3x3深度卷积替换成卷积核为3x3、扩张率为2的深度空洞卷积，左右分支步长均为2；将S5中下采样模块左侧分支也使用空洞卷积代替了原来的3x3卷积，左右分支步长均为1，进一步降低网络计算量和模型参数量。

果树剪枝点决策模块是将图像识别处理模块计算得到的果树枝干特征，输入TSK模糊神经网络模型，得到对每个树枝的分类判断，并将剪枝点框出返回AR显示屏中显示。

如图3，果树剪枝点决策模块主要依赖于树枝的形态特征，干扰果树正常生长的干扰枝大体上分为绝对干扰枝和相对干扰枝；相对干扰枝的判别标准模糊且无统一原则，对果树生长影响较小甚至有一定益处；绝对干扰枝严重压制果树正常营养运输和分配；本发明分析对象为桃树的绝对干扰枝，绝对干扰枝主要有3种，分别是背上枝、向心枝和竞争枝，TSK模糊神经网络由输入层、隐藏层、输出层组成，以5个特征值作为TSK模糊神经网络模型的输入层形态特征值，包括：树枝纵向高度Δh，树枝径向长度Δr，树枝生长角度Δα，树枝平均直径

IF x

Then f(x)＝p

k＝1，2，...，K

其中，IF语句为模糊规则的前件部分，THEN语句为模糊规则的后件部分，K表示TSK模糊规则规则库的模糊规则数量,A

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。