一种基于Mask R-CNN、小波变换和F-RNet检测和鉴别茶树病虫害的方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于Mask R-CNN、小波变换和F-RNet检测和鉴别茶树病虫害的方法。

背景技术

茶树（

近年来，随着计算机视觉的兴起，高通量表型技术在作物病虫害识别中应用的越来越多。随着深度学习的发展，在特征提取、识别和分类方面取得了较好的进展，尤其是卷积神经网络（CNN）在特征提取、识别和分类中得到了广泛的应用。但对于茶树的云纹叶枯病和轮斑病，CNN却难以进行直接区分，需要从图像中提取更加详细的特征。为了解决上述问题，我们需要对受到病虫害胁迫的茶树叶片图像进行分割提取、特征增强和识别分类，以达到精准识别。

发明内容

本发明提供了一种基于Mask R-CNN、小波变换和F-RNet检测和鉴别茶树病虫害的方法。本发明首先利用Mask R-CNN模型，将病斑和虫斑从叶片中分割出来。然后，利用二维离散小波变换，对病斑和虫斑图像的特征进行增强处理，从而得到四个频率的图像。最后，四个频率的图像被同时输入四通道残差网络（F-RNet）对病虫害进行识别。

为实现上述发明目的，本发明采用以下技术方案予以实现：

本发明提供了一种基于Mask R-CNN、小波变换和F-RNet检测和鉴别茶树病虫害的方法，包括以下步骤：

S1：采集病虫害胁迫下的茶树叶部图像；

S2：将步骤S1的茶树叶片病虫害胁迫下的图像进行预处理；

S3：结合预处理后的病虫害图像利用Mask R-CNN网络从茶树叶片中提取病斑和虫斑对其进行分割和第一次分类；

S4：将分割后的病斑图像通过小波变换进行增强处理，提取茶树叶部病斑的特征信息；

S5：将经过小波变换处理后得到的低频和高频图像利用F-RNet网络对病虫斑图像进行分类。

进一步的，所述步骤S1采集病虫害胁迫下的茶树叶部图像的步骤为：

采用佳能EOS 6D数码相机在自然光条件下拍摄，且拍摄角度和拍摄距离随机。采集的病虫害胁迫下的茶树叶部图像以JPG格式保存，分辨率为6000*4000。

进一步的，所述步骤S2中预处理茶树叶片病虫害胁迫下的图像的步骤为：

S21：利用Labelme软件对病虫害胁迫下的茶树叶部图像进行手动标记；

S22：用不同的颜色对病虫害危害的症状区域进行标记，并用不同颜色的标签对每种症状区域进行分类；

S23：标签数据保存在与原始照片对应的JSON文件中；

S24：将标签数据的JSON格式转换为COCO数据集格式，并将其输入神经网络进行训练。

进一步的，所述步骤S3的步骤为：

S31：采用ResNet50与特征金字塔（FPN）相结合作为主干架构对茶树叶片病斑和虫斑图像进行特征提取；

S32：使用区域候选网络接收主干结构提取到的特征图，将图像分为两类：病虫斑和背景；然后，通过尽可能适合病虫斑大小的框来选择病虫斑；

S33：通过ROIAlign接收来自区域候选网络中的感兴趣区域；

S34：通过感兴趣区域（ROI）分类器和边框回归器对目标病斑和虫斑进行识别；

S35：对目标病斑图像进行分割，最终将分割掩膜（Mask）生成网络产生的掩膜图像与识别结果相结合，得到1张包含目标病斑类别和分割掩膜的图像。

进一步的，所述步骤S4的步骤为：

S41：将病斑图像通过小波变换转换为信号；

S42：将转换完成后的图像按低频率和高频率进行分离，从而得到四个分量：LL、HL、LH、HH；

S43：将分离后的四张图像同时输入到四通道残差网络（F-RNet）来分类病斑和虫斑，同时重载imagefolder函数，以十折交叉验证的方式选取图片作为训练集和测试集来训练网络并调整参数。

进一步的，所述步骤S5的步骤为：

S51：将经过小波变换处理后得到的低频和高频图像，输入到四通道卷积神经网络来提取图像特征；

S52：重载imagefolder函数，以十折交叉验证的方式选取图片作为训练集和测试集来训练网络并调整参数。

与现有技术相比，本发明具有的优点和有益效果是：

1、本发明利用Mask R-CNN、小波变换和F-RNet对茶树病虫害胁迫进行检测和鉴别，解决了卷积神经网络（CNN）对于茶树的云纹叶枯病和轮斑病难以进行直接区分的问题，实现了利用计算机视觉和深度学习的方法准确快速识别危害叶片的病虫害症状，并能从图像中提取更加详细的特征，对采取有效的防控措施具有重要意义。

2、本实验框架可以准确的将特征相似的茶树叶部病斑进行分割识别，这不仅对于茶树病虫害的精准鉴定具有重要意义，而且对进一步利用人工智能开展茶树病虫害的综合防治具有重要价值。

附图说明

图1 为本发明的一种基于Mask R-CNN、小波变换和F-RNet检测和鉴别茶树病虫害胁迫的方法的流程图。

图2 茶树叶片采集原始图像。

图3 茶树叶部病害的分割过程。（A）原始图像（B）识别的图像（C）分割后的图像。

具体实施方式

结合以下具体实例对本发明的技术方案作进一步详细的说明。

实施例1

一种基于Mask R-CNN、小波变换和F-RNet检测和鉴别茶树病虫害的方法，流程图见图1，包括如下步骤：

步骤一、茶树病虫害图像采集。

2021年4月，在中国山东省日照市茶叶研究所（35°40′N，119°33E，23米以上）采集了病虫害胁迫下的茶树叶部图像。图像是由佳能EOS 6D数码相机在自然光条件下拍摄，且拍摄角度和拍摄距离随机。图像以JPG格式保存，分辨率为6000*4000。本研究选择了四种发病率较高的病虫害胁迫下的茶树叶部图像，即云纹叶枯病（BB）、轮斑病（TS）、茶煤病（TC）和绿盲蝽危害的叶片（AL）。图2显示了我们收集的5种类型的图像，总共约1200幅图像。

步骤二、获取到的茶树病虫害的图像进行预处理。

利用Labelme软件对病虫害胁迫下的茶树叶部图像进行手动标记。首先，用不同的颜色对病虫害危害的症状区域进行标记，并用不同颜色的标签对每种症状区域进行分类。其中黄色、绿色、红色和蓝色分别代表BB，TS，TC和AL，任何超出标记的区域都视作背景。然后，标签数据保存在与原始照片对应的JSON文件中。最后，将标签数据的JSON格式转换为COCO数据集格式，并将其输入神经网络进行训练。

步骤三、Mask R-CNN分割茶树叶部的病斑和虫斑。

（1）Mask R-CNN模型的训练

将采集的1200张图像按照5折交叉验证的方式分为训练集和测试集。采用的学习率为0.001，epoch为20，momentum为0.9。

（2）Mask R-CNN对整体病斑和虫斑区域的分割

采用 ResNet50与特征金字塔（FPN）相结合作为主干架构对茶树叶片病斑和虫斑图像进行特征提取；使用区域候选网络接收主干结构提取到的特征图，将图像分为两类：病虫斑和背景；然后，通过尽可能适合病虫斑大小的框来选择病虫斑；通过ROIAlign接收来自区域候选网络中的感兴趣区域；利用感兴趣区域（ROI）分类器和边框回归器对目标病斑和虫斑进行识别；最后对目标病斑图像进行分割，最终将分割掩膜（Mask）生成网络产生的掩膜图像与识别结果相结合，得到1张包含目标病斑类别和分割掩膜的图像。

对检测结果中病斑虫斑（DSIS）和非病斑虫斑（NDSIS）两个类别进行分析，表1显示了Mask R-CNN对整体的病斑虫斑的检测结果。结果如表1所示，模型的精准率为94.8%，召回率为98.7%，F1分数为96.7%。说明本模型可以很好的区分出病斑虫斑和非病斑虫斑，并且能识别几乎所有的病斑和虫斑区域。

表1 Mask R-CNN对整体的病斑区域的检测结果

（3）Mask R-CNN分类四种病斑和虫斑

对四种病斑和虫斑的识别结果进行了比较分析，如表2。结果表明，本模型对于茶煤病（TC）和绿盲蝽危害的叶片（AL）的识别取得了较好的效果。该模型识别茶煤病（TC）和绿盲蝽危害的叶片（AL）的F1分数分别是88.3%和95.3%，说明本模型的可以很好的区分茶煤病和绿盲蝽危害的叶片。但是云纹叶枯病（BB）和轮斑病（TS）的F1分数分别为61.1%和66.6%，而且识别的精准率都低于60%，说明本模型对这两种病害不能进行有效区分。图3为茶树叶部危害症状的分割过程。

表2 Mask R-CNN模型对四种病虫危害症状的检测结果

步骤四、F-RNet模型分类茶树叶部病斑和虫斑

（1）F-RNet模型的训练

将分割后的图像进行数据扩增，即旋转，水平翻转和竖直翻转。F-RNet模型以十折交叉验证的方式选取病斑图像作为训练集和测试集来训练网络，并调整参数。

（2）F-RNet模型分类病斑和虫斑

基于ResNet18网络搭建一个四通道残差网络（F-RNet），利用F-RNet网络将MaskR-CNN模型分割的病斑和虫斑图像进行细致的分类。

（3）为了验证改进的模型是否能够提高网络的性能，将F-RNet网络与其他的网络（SVM、AlexNet、VGG16和ResNet18）在相同的测试环境中对相同的测试集进行了试验。表3显示了茶树的病斑和虫斑图像在不同的网络模型的测试精度。其中，SVM模型的分类精度是为65%，是5个模型中最差的，这说明深度学习的方法要明显优于传统机器学习的方法。其次，ResNet18的分类精度为82%，这说明残差网络模型要优于传统的CNN模型，这与之前的研究结果一致[26]。我们提出的F-RNet模型的分类精度是为88%，是5个模型中分类精度最高的模型，而ResNet18的分类精度为82%，这说明，改进的网络模型泛化能力得到了提升。这说明，F-RNet模型在识别特征复杂且相似的病斑方面具有巨大的潜力。

表3 茶树的病斑和虫斑图像在不同的网络模型的测试精度

本发明是一种基于Mask R-CNN、小波变换和F-RNet检测和鉴别茶树病虫害的方法。近年来，随着计算机视觉的兴起，不同的网络模型在茶树病斑和虫斑图像识别上应用越来越多。随着深度学习的发展，在特征提取、识别和分类方面取得了较好的进展。但对于茶树的云纹叶枯病和轮斑病，却难以进行直接区分，需要从图像中提取更加详细的特征。因此，本发明利用Mask R-CNN、小波变换和F-RNet对茶树病虫害胁迫进行检测和鉴别，实现了利用计算机视觉和深度学习的方法准确快速识别危害叶片的病虫害症状。但对于茶树的云纹叶枯病和轮斑病，CNN却难以进行直接区分，需要从图像中提取更加详细的特征。结果表明，Mask R-CNN模型的查准率是94.8%，召回率是98.7%；F-RNet模型的准确率是88%，高于其他模型（SVM、AlexNet、VGG16和ResNet18）的准确率。因此，本实验框架可以准确的将特征相似的茶树叶部病斑进行分割识别，这对于茶树病害的综合防治具有重要价值。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。