一种植物病害早期诊断方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种植物病害早期诊断方法、装置、电子设备及存储介质。

背景技术

植物病害已成为全球粮食安全的主要威胁。植物病害影响水果、蔬菜、谷物、豆类的品质，给生产造成重大损失。植物病害每年造成全球作物收成10-16％的损失，造成的损失估计为2200亿美元。而大量使用杀菌剂、杀真菌剂、杀线虫剂等化学药剂防治植物病害，对农业生态系统造成了不利影响。目前，为了粮食安全和农业生态系统的可持续性，需要有效的早期病害检测技术来控制植物病害。

传统的植物病害诊断方法通常是基于人工观察和专业知识，这些传统的人眼诊断通常需要等到病害发展到一定程度才能被察觉，错过了早期防控的最佳时机，且容易受到主观因素的影响，不同人员之间可能存在差异性，具有诊断准确度低、速度慢、成本高等缺点，难以满足大规模、高效、精准的植物病害早期诊断需求；或使用病原分离鉴定法，但这种方法比较繁琐、费时，而且存在破坏性大、不能反映样品视觉外观的缺点；或使用传统数字图像处理法进行诊断，缺点是植物健康区域和患病区域之间的颜色对比不明显，且受噪声影响，测量结果不够准确；或使用单模态图像数据进行诊断，但某些病害类型可能具有多种不同的症状和病征，单纯依靠单模态植物图像可能难以分辨出复杂的病害类型，需要结合其它图像数据来源进行分析。

使用多种图像模态可以获取植物不同方面的信息，如可见光图像可以提供植物外观和颜色信息，红外图像可以提供植物热量分布信息，高光谱图像可以提供植物的光谱特征信息。这些多维度信息的融合可以提高病害诊断的准确性和可靠性。因此，如何具体的基于多模态的植物图像数据诊断植物早期的病害原因，是一个亟待解决的技术问题。

发明内容

有鉴于此，有必要提供一种植物病害早期诊断方法、装置、电子设备及存储介质，用以提高植物病害早期诊断效率。

为了解决上述问题，第一方面，本发明提供一种植物病害早期诊断方法，包括：

获取基于时间序列的多模态植物图像数据集；

对所述多模态植物图像数据集进行预处理，并基于预处理后的图像进行特征提取，得到融合图像集，对所述融合图像集进行划分，得到训练集、验证集和测试集；

分别对所述训练集中的第一融合图像子集和所述验证集中的第二融合图像子集进行标注，得到每一多模态植物图像的病害等级；

构建初始诊断模型，将所述第一融合图像子集和第一融合图像子集对应的第一病害等级输入所述初始诊断模型进行训练，得到第一诊断模型，并将所述第二融合图像子集和第二融合图像子集对应的第二病害等级输入所述第一诊断模型进行验证，得到训练完备的诊断模型，其中，所述初始诊断模型为融合Transformer算法的CNN模型；

获取所述测试集中待标注的第三融合图像子集，将所述待标注的第三融合图像子集输入训练完备的诊断模型中，输出第三融合图像子集对应的第三病害等级。

进一步的，多模态植物图像包括高光谱图像、叶绿素荧光图像、热红外图像和RGB图像，所述获取基于时间序列的多模态植物图像数据集，包括：

构建基于高光谱成像相机、叶绿素荧光成像相机、热红外成像相机和可见光相机的成像系统；

基于所述成像系统采集病菌组植物全病程期间的第一多模态图像数据集和健康组植物全病程期间的第二多模态图像数据集，并将所述第一多模态图像数据集和所述第二多模态图像数据集组合为所述基于时间序列的多模态植物图像数据集。

进一步的，所述对所述多模态植物图像数据集进行预处理，包括：

对RGB图像进行高斯去噪处理，得到去噪图像；

对所述去噪图像在RGB空间进行第一阈值分割，并转换到HSV空间进行第二阈值分割，得到植物冠层掩码；

将所述植物冠层掩码与该植物其他模态图像进行与运算，得到植物冠层图像；

对所述植物冠层图像进行去除噪声、填补空洞及平滑边缘操作，得到预处理后的图像。

进一步的，所述预处理后的图像包括预处理后的高光谱图像、预处理后的叶绿素荧光图像、预处理后的热红外图像和预处理后的RGB图像；所述基于预处理后的图像进行特征提取，得到融合图像集，包括：

对预处理后的高光谱图像进行降维处理、计算预处理后的叶绿素荧光图像的叶绿素荧光参数、计算预处理后的热红外图像的温差和发射率；

基于预设的融入方法将降维后的高光谱图像、包括叶绿素荧光参数的叶绿素荧光图像、包括温差和发射率的热红外图像，及预处理后的RGB图像在三维层面进行特征融合，得到所述融合图像。

进一步的，所述叶绿素荧光参数包括最大光化学效率、有效光量子利用率、非光化耗散、电子传递速率、第一非光化学猝灭、第二非光化学猝灭、非调节性能量耗散的量子产量及调节性能量耗散的量子产量。

进一步的，所述初始诊断模型中的CNN网络结构包括两个卷积层、激活函数及一个全局平均池化层；

所述初始诊断模型中的Transformer网络结构包括多个Transformer编码器层和一个全连接层，其中，每一Transformer编码器层包括多头自注意力机制和前馈神经网络。

进一步的，所述将所述待标注的第三融合图像子集输入训练完备的诊断模型中，输出第三融合图像子集对应的第三病害等级，包括：

基于CNN网络中的两个卷积层及激活函数提取第三融合图像子集中的空间信息和空间特征；

将所述空间信息和所述空间特征输入所述多个Transformer编码器层中，基于所述多头自注意力机制学习各空间特征之间的关联性，并基于所述前馈神经网络组成提取第三融合图像子集的高级语义特征；

将所述高级语义特征输入全连接层中，基于全连接层已学习的输入特征与输出标注之间的关系，输出第三融合图像子集对应的第三病害等级。

第二方面，本发明还提供一种植物病害早期诊断装置，包括：

数据集获取模块，用于获取基于时间序列的多模态植物图像数据集；

数据集预处理模块，用于对所述多模态植物图像数据集进行预处理，并基于预处理后的图像进行特征提取，得到融合图像集，对所述融合图像集进行划分，得到训练集、验证集和测试集；

标注模块，用于分别对所述训练集中的第一融合图像子集和所述验证集中的第二融合图像子集进行标注，得到每一多模态植物图像的病害等级；

模型训练模块，用于构建初始诊断模型，将所述第一融合图像子集和第一融合图像子集对应的第一病害等级输入所述初始诊断模型进行训练，得到第一诊断模型，并将所述第二融合图像子集和第二融合图像子集对应的第二病害等级输入所述第一诊断模型进行验证，得到训练完备的诊断模型，其中，所述初始诊断模型为融合Transformer算法的CNN模型；

模型预测模块，用于获取所述测试集中待标注的第三融合图像子集，将所述待标注的第三融合图像子集输入训练完备的诊断模型中，输出第三融合图像子集对应的第三病害等级。

第三方面，本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述植物病害早期诊断方法中的步骤。

第四方面，本发明还提供一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述植物病害早期诊断方法中的步骤。

采用上述实施例的有益效果是：

本发明充分利用不同模态图像对病害区域描述的互补性，对多模态图像进行标注得到植物患病程度标签，获取基于时间序列的植物多模态图像数据集；然后对图像数据集中的植物图像进行预处理和特征融合，通过保留了各模态图像独有的特征，便于训练模型；最后构建网络模型，利用训练集和验证集对网络模型进行训练和验证，得到训练完备的网络模型；获取待标注的多模态植物图像，根据训练完备的网络模型和待标注多模态植物图像，预测得到植物是否患病以及患病程度，以识别健康植物和患病植物之间的差异和病害的早期迹象，提高了植物病害早期诊断效率。为植物病害早期诊断的融合分析提供更全面、准确的信息增强病害检测的能力，提高防控的效果。

附图说明

图1为本发明提供的一种植物病害早期诊断方法的一实施例的流程示意图；

图2为本发明一实施例提供的一种多模态图像数据集采集方式示意图；

图3为本发明一实施例提供的一种标注为健康的植物图像；

图4为本发明一实施例提供的一种标注为感染危害的植物图像；

图5为本发明一实施例提供的一种结合CNN和Transformer网络模型的结构示意图；

图6为本发明一实施例提供的一种输入待标注的植物多模态图像及输出结果示意图；

图7为本发明提供的植物病害早期诊断装置的一实施例的结构示意图；

图8为本发明提供的电子设备的一实施例的结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明提供了一种植物病害早期诊断方法、装置、电子设备及存储介质，本发明建立基于四种成像系统，分别是高光谱成像相机、叶绿素荧光成像相机、热红外成像相机和可见光相机，对接种了致病菌和对照组(健康)植物进行全病程期间各模态图像采集，充分利用不同模态图像对病害区域描述的互补性，对多模态图像进行标注得到植物患病程度标签，获取基于时间序列的植物多模态图像数据集；构建网络模型，利用数据集对网络模型进行训练，得到训练完备的网络模型；获取待标注的多模态植物图像，根据训练完备的网络模型和待标注多模态植物图像，预测得到植物是否患病以及患病程度，以识别健康植物和患病植物之间的差异和病害的早期迹象。本发明提供的基于多模态图像数据的植物病害早期诊断方法可以为植物病害早期诊断的融合分析提供更全面、准确的信息增强病害检测的能力，提高防控的效果，并支持农业管理决策的制定。

以下分别对具体实施例进行详细说明：

请参阅图1，图1为本发明提供的一种植物病害早期诊断方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种植物病害早期诊断方法，包括：

步骤S101：获取基于时间序列的多模态植物图像数据集；

步骤S102：对多模态植物图像数据集进行预处理，并基于预处理后的图像进行特征提取，得到融合图像集，对融合图像集进行划分，得到训练集、验证集和测试集；

步骤S103：分别对训练集中的第一融合图像子集和验证集中的第二融合图像子集进行标注，得到每一多模态植物图像的病害等级；

步骤S104：构建初始诊断模型，将第一融合图像子集和第一融合图像子集对应的第一病害等级输入初始诊断模型进行训练，得到第一诊断模型，并将第二融合图像子集和第二融合图像子集对应的第二病害等级输入第一诊断模型进行验证，得到训练完备的诊断模型，其中，初始诊断模型为融合Transformer算法的CNN模型；

步骤S105：获取测试集中待标注的第三融合图像子集，将待标注的第三融合图像子集输入训练完备的诊断模型中，输出第三融合图像子集对应的第三病害等级。

本发明充分利用不同模态图像对病害区域描述的互补性，对多模态图像进行标注得到植物患病程度标签，获取基于时间序列的植物多模态图像数据集；然后对图像数据集中的植物图像进行预处理和特征融合，通过保留了各模态图像独有的特征，便于训练模型；最后构建网络模型，利用训练集和验证集对网络模型进行训练和验证，得到训练完备的网络模型；获取待标注的多模态植物图像，根据训练完备的网络模型和待标注多模态植物图像，预测得到植物是否患病以及患病程度，以识别健康植物和患病植物之间的差异和病害的早期迹象，提高了植物病害早期诊断效率。为植物病害早期诊断的融合分析提供更全面、准确的信息增强病害检测的能力，提高防控的效果。

在本发明的一个实施例中，多模态植物图像包括高光谱图像、叶绿素荧光图像、热红外图像和RGB图像，获取基于时间序列的多模态植物图像数据集，包括：

构建基于高光谱成像相机、叶绿素荧光成像相机、热红外成像相机和可见光相机的成像系统；

基于成像系统采集病菌组植物全病程期间的第一多模态图像数据集和健康组植物全病程期间的第二多模态图像数据集，并将第一多模态图像数据集和第二多模态图像数据集组合为基于时间序列的多模态植物图像数据集。

可以理解的是，通过建立基于四种成像系统，分别是高光谱成像相机、叶绿素荧光成像相机、热红外成像相机和可见光相机，利用该系统对接种了致病菌和对照组健康的植物进行全病程期间各模态图像采集，可以在不同光谱范围内获取图像，以捕捉感病与健康植物的不同特征和异常情况。通过充分利用不同模态图像对病害区域描述的互补性，获取基于时间序列的植物多模态图像数据集。

更具体的，本发明一实施例中还提供了一种具体的采集方式，请参阅图2，图2为本发明一实施例提供的一种多模态图像数据集采集方式示意图，包括以下步骤：

步骤1：选取植物品种；

步骤2：种植植物；

步骤2.1：在温室条件下，将植物样品采用盆栽方式进行单株种植；

步骤3：将植株分为接种植物病菌处理组和未接种植物病菌处理组，并做多次重复实验；

步骤4：每天记录接种和未接种病菌植物的植物多模态图像数据；

步骤4.1：记录高光谱图像数据；

步骤4.1.1：设置高光谱成像相机参数，包括波段范围、采样率、曝光时间等；

步骤4.1.2：使用高光谱成像相机记录植物的高光谱图像数据，实验前对高光谱图像进行黑白校正来保证实验结果的准确性；

步骤4.1.3：将种有植物的盆栽放在设备中间，固定不动；

步骤4.1.4：将仪器对准目标物体，并按下采集按钮开始采集图像。保持相机的稳定以避免模糊或抖动的图像；

步骤4.2：记录叶绿素荧光、热红外图像和RGB图像数据；

步骤4.2.1：设置叶绿素荧光成像相机、热红外成像相机和可见光相机参数；

步骤4.2.2：将种有植物的盆栽放在设备中间，固定不动；

步骤4.2.3：将仪器对准目标物体，并按下采集按钮开始采集图像；

步骤4.2.4：转动相机镜头，使用另一种相机镜头进行拍摄，并重复步骤4.2.3。

可以理解的是，对于高光谱成像相机、叶绿素荧光成像相机、热红外成像相机和可见光相机都可以安装在同一个仪器中。这样的仪器被称为多模态成像系统，它结合了多种不同类型的成像技术，可以同时获取多种信息，多模态成像系统通常包含多个相机模块，每个模块负责不同的成像任务。不像传统的方法中需要将植物放入不同模态的仪器中进行拍摄，传统的方法会使图像的拍摄角度以及拍摄位置发生变化。而多模态成像系统不同改变植物的位置与方向，只需要转动相机的镜头即可选择不同模态的相机进行图像的采集。通过提供了一种转动镜头对多模态数据拍摄的方法使每种模态的图像尺寸大小相等，且拍摄角度完全相同，更方便图像的预处理以及特征提取。请参阅图3，图3为本发明一实施例提供的一种标注为健康的植物图像；请参阅图4，图4为本发明一实施例提供的一种标注为感染危害的植物图像。

在本发明的一个实施例中，对多模态植物图像数据集进行预处理，包括：

对RGB图像进行高斯去噪处理，得到去噪图像；

对去噪图像在RGB空间进行第一阈值分割，并转换到HSV空间进行第二阈值分割，得到植物冠层掩码；

将植物冠层掩码与该植物其他模态图像进行与运算，得到植物冠层图像；

对植物冠层图像进行去除噪声、填补空洞及平滑边缘操作，得到预处理后的图像。

需要说明的是，对多模态植物图像数据集进行预处理后的图像仍是多模态图像，预处理操作是为了便于后续的特征提取。具体的，

首先对植物RGB图像进行高斯去噪处理，得到去噪图像，然后对去噪图像先在RGB空间进行第一阈值分割，然后转换HSV空间进行第二阈值分割，得到植物冠层掩码。其中，RGB空间转HSV空间公式如下：

V＝max(R,G,B)

if H<0 then H＝H+360.On output 0≤V≤1,0≤S≤1,0≤H≤360。

然后通过植物冠层掩码与植物其他模态图像进行与运算的结果，得到植物冠层图像，最后对植物冠层图像进行后处理，包括去除噪声、填补空洞、平滑边缘等操作，以提高分割结果的准确性和平滑度。

在本发明的一个实施例中，预处理后的图像包括预处理后的高光谱图像、预处理后的叶绿素荧光图像、预处理后的热红外图像和预处理后的RGB图像；基于预处理后的图像进行特征提取，得到融合图像集，包括：

对预处理后的高光谱图像进行降维处理、计算预处理后的叶绿素荧光图像的叶绿素荧光参数、计算预处理后的热红外图像的温差和发射率；

基于预设的融入方法将降维后的高光谱图像、包括叶绿素荧光参数的叶绿素荧光图像、包括温差和发射率的热红外图像，及预处理后的RGB图像在三维层面进行特征融合，得到融合图像。

同理，需要说明的是，对预处理后的图像进行特征融合后得到的融合图像仍是多模态图像，多模态融合图像中保留了各模态图像独有的特征。

可以理解的是，由于预处理后的高光谱图像含有大量的冗余波段，所以需要对预处理后的植物高光谱图像进行降维处理，需要选择一个相对于本数据集特征相符的降维方法，常见的降维方法有主成分分析、线性判别分析和随机投影等；对于预处理后的叶绿素荧光图像需要计算叶绿素荧光参数，根据预处理后的叶绿素荧光图像计算叶绿素荧光参数的目的是获取植物光合作用的相关信息和生理状态；其中，叶绿素荧光参数包括最大光化学效率、有效光量子利用率、非光化耗散、电子传递速率、第一非光化学猝灭、第二非光化学猝灭、非调节性能量耗散的量子产量及调节性能量耗散的量子产量。叶绿素荧光参数的计算公式，包括：

最大光化学效率：

本发明将多种模态图像数据进行融合，多模态图像数据包含了不同类型的信息，例如高光谱图像数据可以提供光谱信息，叶绿素荧光图像可以提供植物光合作用信息，RGB图像数据可以提供色彩信息，热红外图像数据可以提供温度信息等。将这些信息结合起来，可以提高植物病害的诊断精度。将从不同模态的图像中提取的特征进行融合，以获取更全面、准确的信息。融合方法可以采用简单的加权平均或更复杂的多模态深度学习模型。

在本发明的一个实施例中，初始诊断模型中的CNN网络结构包括两个卷积层、激活函数及一个全局平均池化层；

初始诊断模型中的Transformer网络结构包括多个Transformer编码器层和一个全连接层，其中，每一Transformer编码器层包括多头自注意力机制和前馈神经网络。

可以理解的是，通过基于Transformer算法以CNN网络为框架构建初始植物病害早期诊断网络模型。CNN主要用于处理空间信息，而Transformer则擅长处理时间序列数据。其中，CNN由两个卷积层、激活函数及一个全局平均池化层组成；Transformer层包含多个Transformer编码器层，每个层包括多头自注意力机制和前馈神经网络，用于对特征进行进一步的编码和处理。请参阅图5，图5为本发明一实施例提供的一种结合CNN和Transformer网络模型的结构示意图。

本发明的网络模型以CNN作为基本架构，融合Transformer模型使得本网络可以输入基于时间序列的数据，并使用3D卷积核替换原有的2D卷积核，3D卷积核可以考虑到相邻帧或切片之间的关联性，还能够在时间维度上进行卷积操作，从而提取更丰富的空间信息以及捕捉时序的特征和模式。本模型的生成器以基于时间序列的植物多模态图像作为输入，以生成的植物患病程度作为输出。

病害早期预测则是利用病害位置的不变性结合时间序列，植物病害在早期阶段出现，并在后续发展过程中位置保持相对稳定。这意味着通过观察和分析多模态图像这些位置的早期病害迹象，从而使得在肉眼看到病害之前就可以对病害进行诊断。

需要说明的是，本发明网络模型采用triplet loss函数，并添加正则化项和使用dropout技术以提高模型的泛化能力。具体的，损失函数公式：L＝max(d(a,p)-d(a,n)+margin,0)，其输入是一个三元组，包括锚示例、正示例和负示例，通过优化锚示例与正示例的距离小于锚示例与负示例的距离，实现样本之间的相似性计算。a：anchor，锚示例；p：positive，与a是同一类别的样本；n：negative，与a是不同类别的样本；margin是一个大于0的常数。最终的优化目标是拉近a和p的距离，拉远a和n的距离。

还需要说明的是，在本发明的一个实施例中，将多模图像数据集按照6:2:2的比例划分为训练集、验证和测试集，基于训练集对植物多模态图像的植物病害早期诊断模型进行训练，得到预设的植物病害早期诊断网络模型；基于预设的植物病害早期诊断网络模型，使用验证集对模型进行验证；验证集的作用可以防止模型的过拟合，也就是防止模型在训练集上表现良好，但在新数据上的泛化能力较差；以及利于调整模型参数，使得模型的泛化能力更强。

在本发明的一个实施例中，将待标注的第三融合图像子集输入训练完备的诊断模型中，输出第三融合图像子集对应的第三病害等级，包括：

基于CNN网络中的两个卷积层及激活函数提取第三融合图像子集中的空间信息和空间特征；

将空间信息和空间特征输入多个Transformer编码器层中，基于多头自注意力机制学习各空间特征之间的关联性，并基于前馈神经网络组成提取第三融合图像子集的高级语义特征；

将高级语义特征输入全连接层中，基于全连接层已学习的输入特征与输出标注之间的关系，输出第三融合图像子集对应的第三病害等级。

可以理解的是，测试集用于评估模型在未见过的数据上的性能表现，可以计算模型的预测准确度、精度、召回率等性能指标；将融合的植物图像数据输入到模型中进行处理和分析。通过CNN网络的两个卷积层、激活函数，提取植物图像中的空间信息和特征。将CNN网络提取的特征送入多个Transformer编码器层中。每个Transformer编码器层由多头自注意力机制和前馈神经网络组成，用于对特征进行进一步的编码和处理。多头自注意力机制可以学习特征之间的关联性，前馈神经网络可以进一步提取高级语义特征。然后输入到全局平均池化层，最后将特征编码后的数据输入到一个全连接层(或多个全连接层)中，进行分类任务的预测。全连接层通过学习输入特征与输出标签之间的关系，将特征映射到植物是否患病的分类结果上。最终输出植物是否患病的分类结果，以进行植物病害早期诊断。图6为本发明一实施例提供的一种输入待标注的植物多模态图像及输出结果示意图。

霜霉病患病严重程度分级

结合霜霉病患病严重程度分级表，可知本次输出为患病等级1。

本发明利用植物病害位置的不变性以及十几天的植物多模态图像数据，分析多模态图像数据找到病害位置，病害在肉眼不可见时就进行了诊断；结合CNN与Transformer算法构建并训练得到植物病害早期诊断网络模型，提供了一种植物病害无损测定方法。相对于传统人工观察方法，传统的人工观察方法可能因为专业人员的经验和视角不同而产生误差，而使用本方法可以消除这些误差，提高了诊断的可靠性。本方法可以实现自动化的检测和诊断，提高了诊断效率。

为了更好实施本发明实施例中的植物病害早期诊断方法，在植物病害早期诊断方法基础之上，对应的，请参阅图7，图7为本发明提供的植物病害早期诊断装置的一实施例的结构示意图，本发明实施例提供了一种植物病害早期诊断装置700，包括：

数据集获取模块701，用于获取基于时间序列的多模态植物图像数据集；

数据集预处理模块702，用于对多模态植物图像数据集进行预处理，并基于预处理后的图像进行特征提取，得到融合图像集，对融合图像集进行划分，得到训练集、验证集和测试集；

标注模块703，用于分别对训练集中的第一融合图像子集和验证集中的第二融合图像子集进行标注，得到每一多模态植物图像的病害等级；

模型训练模块704，用于构建初始诊断模型，将第一融合图像子集和第一融合图像子集对应的第一病害等级输入初始诊断模型进行训练，得到第一诊断模型，并将第二融合图像子集和第二融合图像子集对应的第二病害等级输入第一诊断模型进行验证，得到训练完备的诊断模型，其中，初始诊断模型为融合Transformer算法的CNN模型；

模型预测模块705，用于获取测试集中待标注的第三融合图像子集，将待标注的第三融合图像子集输入训练完备的诊断模型中，输出第三融合图像子集对应的第三病害等级。

这里需要说明的是：上述实施例提供的装置700可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。

基于上述植物病害早期诊断方法，本发明实施例还相应的提供一种电子设备，包括：处理器和存储器以及存储在存储器中并可在处理器上执行的计算机程序；处理器执行计算机程序时实现如上述各实施例的植物病害早期诊断方法中的步骤。

图8中示出了适于用来实现本发明实施例的电子设备800的结构示意图。本发明实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文的处理装置801，存储器可以包括下文中的只读存储器(ROM)802、随机访问存储器(RAM)803以及存储装置808中的至少一项，具体如下所示：

如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM802被安装。在该计算机程序被处理装置801执行时，执行本发明实施例的方法中限定的上述功能。

基于上述植物病害早期诊断方法，本发明实施例还相应的提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述各实施例的植物病害早期诊断方法中的步骤。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。