结合多光谱和地表语义的作业规划方法、装置及设备

技术领域

本申请涉及图像技术领域，尤其涉及一种结合多光谱和地表语义的作业规划方法、装置及设备。

背景技术

近年来，随着科技发展，无人飞行器的应用越来越广泛。

目前，可以通过无人飞行器航拍获得地表区域的多光谱图像，并通过多光谱图像对地表对象进行诊断。由于地表区域中既包括了需要诊断的对象，例如农田，也可能包括不需要诊断的对象，例如道路，并且需要诊断的所有对象中有的对象可能存在问题，有的可能不存在问题，因此在获得地表区域的诊断结果之后，用户需要对照多光谱图像对应的彩色图像进一步确定诊断结果对应的区域，以及针对该区域的作业规划。

上述处理方式，在根据多光谱图像对地表对象进行诊断之后，需要人工确定诊断结果对应的区域，以及针对该区域的作业规划，人力成本较高。

发明内容

本申请实施例提供一种结合多光谱和地表语义的作业规划方法、装置及设备，用以解决现有技术中需要人工确定诊断结果对应的区域，以及针对该区域的作业规划，人力成本较高的技术问题。

第一方面，本申请实施例提供一种结合多光谱和地表语义的作业规划方法，包括：

获得地表目标区域的多光谱图像；

根据所述多光谱图像，获得所述地表目标区域的诊断信息和包含地表语义信息的第一特征图；

根据所述诊断信息和所述第一特征图，生成所述地表目标区域的作业规划。

第二方面，本申请实施例提供结合多光谱和地表语义的作业规划装置，包括：处理器和存储器；所述存储器，用于存储程序代码；所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获得地表目标区域的多光谱图像；

根据所述多光谱图像，获得所述地表目标区域的诊断信息和包含地表语义信息的第一特征图；

根据所述诊断信息和所述第一特征图，生成所述地表目标区域的作业规划。

第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行上述第一方面任一项所述的方法。

第四方面，本申请实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述第一方面任一项所述的方法。

第五方面，本申请实施例提供一种农业无人机，所述农业无人机基于第一方面所述的方法获得的作业规划，在所述目标区域执行作业。

第六方面，本申请实施例提供一种无人机，搭载有多光谱图像获取装置，所述无人机包括处理器和存储器，所述存储器中包含有指令，当所述无人机在目标区域飞行时调用所述指令以执行如下步骤：

获得地表目标区域的多光谱图像；

根据所述多光谱图像，获得所述地表目标区域的诊断信息和包含地表语义信息的第一特征图；

根据所述诊断信息和所述第一特征图，生成所述地表目标区域的作业规划。

第七方面，本申请实施例提供一种地面端设备，用于与搭载有多光谱图像获取装置的无人机通信连接，所述无人机在目标区域飞行并获得地表目标区域的多光谱图像；

所述地面端设备具有存储器和处理器，所述存储器中存储有指令，所述指令被调用以执行如下步骤：

根据所述多光谱图像，获得所述地表目标区域的诊断信息和包含地表语义信息的第一特征图；

根据所述诊断信息和所述第一特征图，生成所述地表目标区域的作业规划。

本申请实施例提供一种结合多光谱和地表语义的作业规划方法、装置及设备，通过根据地表目标区域的多光谱图像，获得地表目标区域的诊断信息和包含地表语义信息的第一特征图，并根据诊断信息和第一特征图，生成地表目标区域的作业规划，实现了结合地表目标区域的诊断信息和地表语义进行作业规划的处理方式，使得用户能够直接获得与诊断信息对应的作业规划，与需要人工确定诊断结果对应的区域，以及需要人工确定针对诊断结果对应区域的作业规划相比，节约了人力成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的结合多光谱和地表语义的作业规划方法的应用场景示意图；

图2为本申请一实施例提供的结合多光谱和地表语义的作业规划方法的流程示意图；

图3为本申请另一实施例提供的结合多光谱和地表语义的作业规划方法的流程示意图；

图4为本申请一实施例提供的作业位置与作业量的关系示意图一；

图5为本申请一实施例提供的作业位置与作业量的关系示意图二；

图6为本申请又一实施例提供的结合多光谱和地表语义的作业规划方法的框图；

图7为本申请一实施例提供的结合多光谱和地表语义的作业规划装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的结合多光谱和地表语义的作业规划方法可以应用于需要诊断地表对象的场景，该方法具体可以由结合多光谱和地表语义的作业规划执行。该方法的应用场景可以如图1所示，具体的，结合多光谱和地表语义的作业规划装置11可以从其他装置/设备12获得多光谱图像，并对多光谱图像采用本申请实施例提供的结合多光谱和地表语义的作业规划方法进行处理。对于结合多光谱和地表语义的作业规划装置11与其他装置/设备12通讯连接的具体方式，本申请可以不做限定，例如可以基于蓝牙接口实现无线通讯连接，或者基于RS232接口实现有线通讯连接。

需要说明的是，对于包括作业规划装置11的设备的类型，本申请实施例可以不做限定，该设备例如可以为台式机、一体机、笔记本电脑、掌上电脑、平板电脑、智能手机、带屏遥控器、无人机、地面端设备等。

需要说明的是，图1中以作业规划装置11从其他装置或设备获得多光谱图像为例，可替换的，作业规划装置11可以通过其他方式获得多光谱图像，示例性的，作业规划装置11可以拍摄获得多光谱图像。

本申请实施例提供的结合多光谱和地表语义的作业规划方法，通过根据地表目标区域的多光谱图像，获得地表目标区域的诊断信息和包含地表语义信息的第一特征图，并根据诊断信息和第一特征图，生成地表目标区域的作业规划，实现了结合地表目标区域的诊断信息和地表语义进行作业规划的处理方式，节约了人力成本。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图2为本申请一实施例提供的结合多光谱和地表语义的作业规划方法的流程示意图，本实施例的执行主体可以为结合多光谱和地表语义的作业规划装置，具体可以为该作业规划装置的处理器。如图2所示，本实施例的方法可以包括：

步骤201，获得地表目标区域的多光谱图像。

本步骤中，所述地表目标区域是指需要进行对象诊断的地表区域，地表目标区域中包括待诊断对象。根据诊断场景不同，待诊断对象可以不同。示例性的，当为农田诊断场景时，待诊断对象可以为农田。当为树木诊断场景时，待诊断对象可以为树木。

所述多光谱图像是由多个波段对所述地表目标区域进行反复拍摄而得到的图像，该多个波段包括可见光波段和临近可见光的波段。需要说明的是，所述多光谱图像的波段数可以为几个、十几个、几十个、几百个甚至上千个。当多光谱图像的波段数较多时，即波段的分辨率较高时，多光谱图像也可以理解为高光谱图像。

需要说明的是，对于获得多光谱图像的具体方式，本申请不做限定。可选的，可以通过无人机上搭载的多光谱相机，拍摄获得所述多光谱图像。

步骤202，根据所述多光谱图像，获得所述地表目标区域的诊断信息和包含地表语义信息的第一特征图。

本步骤中，由于地表区域中地表对象在不同状态下对部分光谱的反射存在差异，因此根据多光谱图像中部分光谱的信息能够对地表对象进行诊断。示例性的，所述根据所述多光谱图像，获得所述地表目标区域的诊断信息具体可以包括：根据所述多光谱图像的部分光谱信息，计算地表目标区域的诊断信息。

示例性的，可以根据所述多光谱图像的部分光谱信息，按照预设植被因子计算公式计算得到地表目标区域的诊断信息。例如，可以根据多光谱图像的近红外波段与红外波段的信息，按照预设植被指数计算公式，计算归一化植被指数(Normalized VegetationIndex，NDVI)。其中，归一化植被指数是反映农作物长势和营养信息的重要参数之一，例如根据归一化植被指数,可以获得农作物对氮的需求量的诊断信息，对合理施用氮肥具有重要的指导作用。

需要说明的是，诊断信息的类型可以根据需求灵活实现。示例性的，诊断信息具体可以包括营养元素含量的诊断信息，例如氮元素含量的诊断信息。示例性的，诊断信息具体可以包括病虫害分布的诊断信息。

第一特征图的尺寸可以与所述多光谱图像的尺寸相同，例如，均为100乘200。示例性的，第一特征图包含地表语义信息的具体方式可以为特征图中的像素值可以表征对应像素的地表语义，其中，地表语义可以包括能够识别出的地表对象类别。

其中，能够识别出的地表对象类别包括待诊断对象对应的类别，例如农田。可选的，能够识别出的地表对象类别还可以包括待诊断对象之外的其他类别，例如道路、建筑物、电线杆等。

例如，假设像素值为1可以表示农田、像素值为2可以表示道路、像素值为3可以表示建筑物，则根据多光谱图像所得到的第一特征图中，像素值为1的像素位置即为识别为农田的像素位置，像素值为2的像素位置即为识别为道路的像素位置，像素值为3的像素位置即为识别为建筑物的像素位置。

示例性的，可以基于地表对象的特征，对多光谱图像进行处理，识别出不同类别的地表对象，从而获得第一特征图。

步骤203，根据所述诊断信息和所述第一特征图，生成所述地表目标区域的作业规划。

本步骤中，由于第一特征图中包含了地表语义信息，因此根据第一特征图可以确定待诊断对象对应的区域，进一步结合地表目标区域的诊断信息从而能够待诊断对象对应区域的诊断信息。由于待诊断对象对应区域的诊断信息能够表征待诊断对象的问题状态，例如是否缺乏氮元素以及氮元素的需求程度，因此基于待诊断对象对应区域的诊断信息，能够确定针对诊断信息的作业规划。

需要说明的是，作业规划的具体类型可以根据需求灵活实现。

本实施例中，通过根据地表目标区域的多光谱图像，获得地表目标区域的诊断信息和包含地表语义信息的第一特征图，并根据诊断信息和第一特征图，生成地表目标区域的作业规划，实现了结合地表目标区域的诊断信息和地表语义进行作业规划的处理方式，使得用户能够直接获得与诊断信息对应的作业规划，与需要人工确定诊断结果对应的区域，以及需要人工确定针对诊断结果对应区域的作业规划相比，节约了人力成本。

图3为本申请另一实施例提供的结合多光谱和地表语义的作业规划方法的流程示意图，本实施例在图2所示实施例的基础上，主要描述了根据所述诊断信息和所述第一特征图，生成所述地表目标区域的作业规划的可选实现方式。如图3所示，本实施例的方法可以包括：

步骤301，获得地表目标区域的多光谱图像。

需要说明的是，步骤301与步骤201类似，在此不再赘述。

步骤302，根据所述多光谱图像，获得所述地表目标区域的诊断信息和包含地表语义信息的第一特征图。

本步骤中，示例性的，所述根据所述多光谱图像获得所述地表目标区域的诊断信息，具体可以包括：使用预训练的第一神经网络模型处理所述多光谱图像，以生成表征所述地表目标区域各个位置点的诊断信息的第二特征图。

第二特征图的尺寸可以与所述多光谱图像的尺寸相同，例如，均为100乘200。示例性的，第二特征图表征地表目标区域各个位置点的诊断信息的具体方式可以为特征图中的像素值可以表征对应像素的诊断信息，以氮元素为例像素值可以表征氮元素含量，以病虫害为例像素值可以表征病虫害状态。

示例性的，使用预训练的第一神经网络模型处理所述多光谱图像，以生成表征所述地表目标区域各个位置点的诊断信息的第二特征图，具体可以包括如下步骤A1和步骤A2。

步骤A1，将所述多光谱图像输入所述第一神经网络模型，得到所述第一神经网络模型的模型输出结果。

其中，所述第一神经网络模型的模型输出结果可以包括多个输出通道分别输出的置信度特征图，该多个输出通道可以与根据诊断信息的取值范围确定的多个目标取值(取值子范围)一一对应，单个的置信度特征图的像素值用于表征像素的诊断信息是所述目标取值的概率。例如，假设诊断信息的取值范围为1至10，多个通道可以分别与数值1至数值10一一对应，且对应数值i的输出通道输出置信度特征图i，i等于1、2、……10，则置信度特征图i中的像素值可以表征像素的诊断信息是i的概率。

步骤B2，根据所述第一神经网络模型的模型输出结果，得到所述第二特征图。

示例性的，可以将与该多个输出通道一一对应的多个置信度特征图中，同一像素位置像素值最大的置信度特征图对应的目标取值，作为所述像素位置的诊断信息，以得到第二特征图。

假设，所述第一神经网络模型的输出通道的个数为10，10个置信度特征图分别为置信度特征图1至置信度特征图10，且置信度特征图1对应目标取值i。例如，当置信度特征图1中像素位置(100,100)的像素值是70，置信度特征图2中像素位置(100,100)的像素值是50，置信度特征图3中像素位置(100,100)的像素值是20，置信度特征图4至置信度特征图10中像素位置(100,100)的像素值均是20时，可以确定像素位置(100,100)对应取值1，即像素位置(100,100)的诊断信息取值1。

由于第一神经网络模型能够以像素级粒度确定诊断信息，因此通过使用第一神经网络模型处理多光谱图像以生成地表目标区域的诊断信息，有利于提高获得诊断信息的精度。

示例性的，所述第一神经网络模型具体可以为卷积神经网络(ConvolutionalNeural Networks，CNN)模型。

示例性的，所述根据所述多光谱图像获得包含地表语义信息的第一特征图，具体可以包括：使用预训练的第二神经网络模型处理所述多光谱图像，获得包含地表语义信息的第一特征图。示例性的，使用预训练的第二神经网络模型处理所述多光谱图像，获得包含地表语义信息的第一特征图具体可以包括如下步骤B1和步骤B2。

步骤B1，将所述多光谱图像输入所述第二神经网络模型，得到所述第二神经网络模型的模型输出结果。

其中，所述第二神经网络模型的模型输出结果可以包括多个输出通道分别输出的置信度特征图，该多个输出通道可以与多个地表对象类别一一对应，单个地表对象类别的置信度特征图的像素值用于表征像素是所述地表对象类别的概率。例如，假设能够识别3个地表对象类别，分别为农田、道路和建筑物，且对应农田的输出通道输出置信度特征图1、对应道路的输出通道输出置信度特征图2、对应建筑物的输出通道输出置信度特征图3，则置信度特征图1中的像素值可以表征像素是农田的概率，置信度特征图2中的像素值可以表征像素是道路的概率，置信度特征图3中的像素值可以表征像素是建筑物的概率。

步骤B2，根据所述第二神经网络模型的模型输出结果，得到所述第一特征图。

示例性的，可以将与该多个输出通道一一对应的多个置信度特征图中同一像素位置像素值最大的置信度特征图对应的地表对象类别，作为所述像素位置的地表对象类别，从而得到所述第一特征图。

假设，所述第二神经网络模型的输出通道的个数为4，4个置信度特征图分别为置信度特征图1至置信度特征图4，且置信度特征图1对应农田、置信度特征图2对应道路、置信度特征图3对应建筑物、置信度特征图4对应“其他”。例如，当置信度特征图1中像素位置(100,100)的像素值是70，置信度特征图2中像素位置(100,100)的像素值是50，置信度特征图3中像素位置(100,100)的像素值是20，置信度特征图4中像素位置(100,100)的像素值是20时，可以确定像素位置(100,100)是农田。又例如，当置信度特征图1中像素位置(100,80)的像素值是20，置信度特征图2中像素位置(100,80)的像素值是30，置信度特征图3中像素位置(100,80)的像素值是20，置信度特征图4中像素位置(100,80)的像素值是70时，可以确定像素位置(100,80)是其他，即不是农田、道路和建筑物中的任意一种。

示例性的，所述第二神经网络模型具体可以为卷积神经网络模型。

示例性的，所述根据所述多光谱图像，获得包含地表语义信息的第一特征图，具体可以包括：根据所述多光谱图像中的部分光谱信息，获得包含地表语义信息的第一特征图。例如，使用预训练的第二神经网络模型处理所述多光谱图像中的部分光谱信息，获得包含地表语义信息的第一特征图。通过根据多光谱图像中的部分光谱信息获得第一特征图，可以减少计算量，节省计算资源。示例性的，用于获得第一特征图的所述部分光谱信息可以包括红(red，R)光谱、绿(green，G)光谱和蓝(blue，B)光谱的信息。

示例性的，所述根据所述多光谱图像，获得包含地表语义信息的第一特征图，具体可以包括：根据所述多光谱图像以及所述地表目标区域的深度图(Depth Map)，获得包含地表语义信息的第一特征图。通过在获得第一特征图时基于地表目标区域的深度图，可以实现在进行地表对象类别识别时考虑地表对象的高度因素，以提高识别的准确性，例如，根据深度图可以区分树木和草地。

步骤303，根据所述诊断信息和所述第一特征图，确定作业位置与作业量的对应关系。

本步骤中，作业位置用于表征地表目标区域中需要进行农机作业的待诊断对象的位置点，例如农业无人机进行农药喷洒作业的位置点。由于第一特征图中的像素点能够与地表目标区域中的位置点对应，因此作业位置可以与第一特征图的像素点对应。

需要说明的是，地表目标区域的诊断信息可以包括地表目标区域中待诊断对象对应位置点的诊断信息，还可以包括其他地表对象对应位置的诊断信息，由于第一特征图包含了地表语义信息，能够区分出待诊断对象和其他地表对象，因此将地表目标区域的诊断信息和第一特征图结合可以获得待诊断对象的诊断信息，从而能够确定出作业位置与作业量的对应关系。

在所述诊断信息包括至少一个区域分别的诊断信息时，示例性的，步骤303具体可以包括如下步骤C1和步骤C2。

步骤C1，根据所述至少一个区域分别的诊断信息以及所述第一特征图，确定作业位置与诊断信息的对应关系。

其中，所述至少一个区域可以包括待诊断对象所在的区域，还可以包括其他地表对象所在的区域。由于第一特征图包含了地表语义信息，因此将至少一个区域的诊断信息与第一特征图结合，能够获得待诊断对象的位置点(即，作业位置)与诊断信息的对应关系。

示例性的，步骤C1具体可以包括：从第一特征图中筛选出地表对象类别为待诊断对象的目标像素点，建立所述目标像素点对应的作业位置与所述目标像素点所属区域的诊断信息的对应关系，得到作业位置与诊断信息的对应关系。

步骤C2，根据作业位置与诊断信息的对应关系以及不同诊断信息等级与作业量的对应关系，按照作业量线性过渡的策略，得到作业位置与作业量的对应关系。

示例性的，步骤C2具体可以包括：将作业位置对应的诊断信息与不同诊断信息等级与作业量的对应关系进行匹配，建立作业位置与其对应诊断信息所匹配的作业量的对应关系，以得到初始的作业位置与作业量的对应关系，按照作业量线性过渡策略对初始的作业位置与作业量的对应关系进行调整，得到最终的作业位置与作业量的对应关系。

具体的，根据一个诊断信息可以确定其所属的诊断信息等级，进一步的根据其所属的诊断信息等级以及不同诊断信息等级与作业量的对应关系可以确定其对应的作业量。

其中，对诊断信息的取值范围可以划分程度等级，即划分诊断信息等级。以氮元素含量为例，可以将氮元素含量的取值范围划分为4个子范围，分别对应4个等级，例如氮元素含量子范围1对应极端缺乏等级，氮元素含量子范围2对应严重缺乏等级，氮元素含量子范围3对应较缺乏等级，氮元素含量子范围4对应健康等级。以病虫害状态为例，可以将病虫害状态的取值范围划分为4个子范围，分别对应4个等级，例如病虫害状态子范围1对应极端严重等级，病虫害状态子范围2对应严重等级，病虫害状态子范围3对应较严重等级，病虫害状态子范围4对应健康等级。需要说明的是，对于获得诊断信息等级的划分方式，本申请不做限定，例如可以预设诊断信息等级的划分，或者由用户划分诊断信息等级。

对不同诊断信息等级可以设置对应的作业量。以氮元素含量为例，极端缺乏等级对应的作业量可以为每平米100克氮肥，严重缺乏等级对应的作业量可以为每平米70克氮肥，较缺乏等级对应的作业量可以为每平米40克氮肥。健康等级对应的作业量可以为每平米0克氮肥。需要说明的是，这里的氮肥作业量仅为举例说明，不作为农业生产依据，具体施肥量需要农作物实际需求设置。需要说明的是，对于不同诊断信息等级与作业量的对应关系，本申请不做限定，例如可以预设诊断信息等级与作业量的对应关系，或者由用户设置诊断信息等级与作业量的对应关系。

通过作业量线性过渡的策略，可以使得相邻作业位置之间的作业量线性过渡，避免相邻作业位置之间作业量的较大变化。假设作业位置之间的相邻关系如图4所示，且作业位置1-作业位置5属于一个区域，作业位置6-作业位置10属于另一个区域。当不采用作业量线性过渡的策略时，如图4所示，作业位置1-作业位置5的作业量为100，作业位置6-作业位置10的作业量为60。当采用作业量线性过渡的策略时，如图5所示，作业位置1至作业位置9的作业量依次递减5，实现了作业量线性的线性过渡。需要说明的是，图5仅作为线性过渡策略的举例说明。

由于农机在作业过程中通常无法及时响应作业量的较大变化，通过按照作业量线性过渡的策略得到作业位置与作业量的对应关系，能够避免作业量的较大变化，提高了作业规划的合理性。

在所述诊断信息为表征所述地表目标区域各个位置点的诊断信息的第二特征图时，示例性的，步骤303具体可以包括如下步骤D1和步骤D2。

步骤D1，根据所述第一特征图以及所述第二特征图，确定作业位置与诊断信息的对应关系。

其中，由于所述第二特征图能够表征所述地表目标区域各个位置点的诊断信息，第一特征图包含了地表语义信息，因此将第二特征图与第一特征图结合，能够获得待诊断对象的位置点(即，作业位置)与诊断信息的对应关系。

示例性的，步骤D1具体可以包括：从第一特征图中筛选出地表对象类别为待诊断对象的目标像素点，建立所述目标像素点对应的作业位置与第二特征图中所述目标像素点对应的诊断信息的对应关系，从而得到了作业位置与诊断信息的对应关系。

步骤D2，根据所述作业位置与诊断信息的对应关系以及不同诊断信息与作业量的对应关系，得到作业位置与作业量的对应关系。

示例性的，步骤D2具体可以包括：将作业位置对应的诊断信息，与不同诊断信息与作业量的对应关系进行匹配，建立作业位置与其对应诊断信息所匹配的作业量的对应关系，从而得到了作业位置与作业量的对应关系，

其中，不同诊断信息与作业量之间存在对应关系，通过不同诊断信息与作业量的对应关系，实现了诊断信息粒度的作业量对应，与诊断信息等级粒度的作业量对应相比，能够提高作业量的精度。需要说明的是，对于不同诊断信息与作业量的对应关系，本申请不做限定，例如可以预设诊断信息与作业量的对应关系，或者由用户设置诊断信息与作业量的对应关系。

需要说明的是，步骤D1和步骤D2是采用先将第一特征图与诊断信息结合，然后确定作业量的方式，可替换的，也可以先根据诊断信息确定作业量，然后再与第一特征图结合。

步骤304，根据所述作业位置与作业量的对应关系，生成所述地表目标区域的作业规划。

本步骤中，示例性的，步骤304具体可以包括：在目标图像中标注所述作业位置与作业量的对应关系，生成所述地表目标区域的作业规划图。示例性的，所述目标图像包括下述中的一种或多种：全黑图像、全白图像、所述多光谱图像或所述多光谱图像中部分光谱信息对应的图像。其中，全黑图像可以为各像素的R值、G值和B值均为0的图像，全白图像可以为各像素的R值、G值和B值均为255的图像。所述多光谱图像中部分光谱信息对应的图像具体可以为多光谱图像对应的RGB图像。

通过在目标图像中标注所述作业位置与作业量的对应关系，生成所述地表目标区域的作业规划图，实现了通过作业规划图的方式直观表示出地表目标区域的作业位置与作业量的对应关系。

示例性的，所述诊断信息包括病虫害分布的诊断信息，所述作业规划图为施药规划图。通过作业规划图可以帮助用户对地表对象(例如农田)进行精准作业，解决了用多少农药的问题，一方面可以降低农药使用量，减低生产成本，另一方面能够避免由于过量使用农药对环境的污染。

示例性的，所述诊断信息包括营养元素含量的诊断信息，所述作业规划图为施肥规划图。通过作业规划图可以帮助用户对地表对象(例如农田)进行精准作业，解决了用多少肥料的问题，一方面可以降低肥料使用量，减低生产成本，另一方面能够避免由于过量使用肥料对环境的污染。

示例性的，步骤304具体可以包括：根据所述作业位置与作业量的对应关系，生成规划的作业路线以及所述作业路线对应的作业参数。实现了自动化规划作业路线及作业参数，有利于进一步节约人力能本。对于农业无人机而言，作业路线具体可以为飞行路线，作业参数除了包括作业量还可以包括飞行高度、飞行速度等。

示例性的，本实施例的方法还可以包括：将所述作业规划发送至农业无人机。通过将作业规划发送至农业无人机，使得农业无人机能够根据所生成的作业规划进行作业。

示例性的，本实施例的方法还可以包括：展示所述作业规划。通过展示作业规划使得用户通过包括作业规划装置11的设备的显示屏获知地表目标区域的作业规划，提高了用户获知作业规划的便利性。

本实施例中，通过根据地表目标区域的多光谱图像，获得地表目标区域的诊断信息和包含地表语义信息的第一特征图，根据所述诊断信息和所述第一特征图，确定作业位置与作业量的对应关系，根据所述作业位置与作业量的对应关系，生成所述地表目标区域的作业规划，实现了结合地表目标区域的诊断信息和地表语义进行作业规划的处理方式，使得用户能够直接获得与诊断信息对应的作业规划，节约了人力成本。

上述作业规划图也可以理解为针对待诊断对象所存在问题的处方图，即作业处方图，以诊断信息包括营养元素含量或病虫害状态，且待诊断对象为农作物为例。如图6所示，第一步，可以获取数据，例如可以利用无人机挂载多光谱相机对农作物进行测绘，获得农作物的多光谱信息，然后通过图像拼接得到整块农田完整的多光谱图像，另外，根据无人机测绘还可以得到深度图。第二步，利用多光谱图像和深度图，输入到训练好的第二卷积神经网络模型中，预测农田、道路、地面、水面等类别和其可信度得分(相当于前述的置信度特征图)，将两者融合能够得到最终的农田语义地图(相当于前述的第一特征图)，从而解决了到哪些区域施肥打药的问题。第三步，将多光谱图像输入到训练好的第一卷积神经网络模型得到植物营养元素或病虫害分布的诊断信息，或者也可以通过植被因子计算公式得到。第四步，将农田语义地图和植物营养元素或病虫害相结合，得到农田区域的营养元素图或病虫害图，之后划分等级，以病虫害分布为例，分为极端严重、严重、较轻和健康四个等级，每个等级设置对应的农药用量，生成最终的农田施肥/施药处方图。

农田施肥/施药处方图还可以用于农田喷洒区域的分割。在一个可选的实施例中，根据多光谱获得农田施肥/施药处方图，将作业区域分割为若干块，并根据分块的情况来规划农业无人机作业情况。例如，根据所述处方图得到农田作业区域中各个分块所需喷洒的农药/肥料品种和用量，然后规划农业无人机进行作业的，作业可以是单台农业无人机通过负载不同的药箱实现，也可以通过多台无人机负载不同的药箱实现。在作业时，可以控制多台无人机协同作业，例如控制两台无人机的作业区域重叠，以加重某个区域的喷洒药量。

需要说明的是，第二步和第三步并没有先后顺序的限制。

图7为本申请一实施例提供的结合多光谱和地表语义的作业规划装置的结构示意图，如图7所示，该装置700可以包括：处理器701和存储器702。

所述存储器702，用于存储程序代码；

所述处理器701，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获得地表目标区域的多光谱图像；

根据所述多光谱图像，获得所述地表目标区域的诊断信息和包含地表语义信息的第一特征图；

根据所述诊断信息和所述第一特征图，生成所述地表目标区域的作业规划。

本实施例提供的结合多光谱和地表语义的作业规划装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。

另外，本申请实施例还提供一种农业无人机，所述农业无人机基于上述结合多光谱和地表语义的作业规划方法获得的作业规划，在所述目标区域执行作业。

本申请实施例还提供一种无人机，搭载有多光谱图像获取装置，所述无人机包括处理器和存储器，所述存储器中包含有指令，当所述无人机在目标区域飞行时调用所述指令以执行如下步骤：

获得地表目标区域的多光谱图像；

根据所述多光谱图像，获得所述地表目标区域的诊断信息和包含地表语义信息的第一特征图；

根据所述诊断信息和所述第一特征图，生成所述地表目标区域的作业规划。

本申请实施例还提供一种地面端设备，用于与搭载有多光谱图像获取装置的无人机通信连接，所述无人机在目标区域飞行并获得地表目标区域的多光谱图像；

所述地面端设备具有存储器和处理器，所述存储器中存储有指令，所述指令被调用以执行如下步骤：

根据所述多光谱图像，获得所述地表目标区域的诊断信息和包含地表语义信息的第一特征图；

根据所述诊断信息和所述第一特征图，生成所述地表目标区域的作业规划。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。