基于植被指数和遥感影像的作物分类方法、装置及设备

技术领域

本发明涉及作物分类技术领域，尤其是涉及一种基于植被指数和遥感影像的作物分类方法、装置及设备。

背景技术

基于遥感影像的农作物识别方法具有识别范围广、实时、高效、成本较低的特点，已经广泛应用于粮食普查和受灾统计、农作物资产评估等业务，可以在粮食安全、应急管理、农村数字普惠金融工作中发挥着重要作用。

目前基于遥感影像的农作物识别方法包括：基于遥感影像植被指数的传统机器学习方法，包括支持向量机、随机森林等；基于遥感影像时序数据的深度学习方法，包括TempConv,ConvLSTM等。其中，基于遥感影像植被指数的传统机器学习方法是以对象为中心学习方法，由于使用的模型参数较少，需要在不同地势、不同物候区(乡镇/县级)分别构建不同的模型，泛化性比较差，大范围的作物识别训练、推理成本比较高；基于遥感影像时序数据的语义分割方法以像元为中心，利用循环神经网络或者通道注意力机制进行作物表征学习，但是由于网络结构简单以及循环神经网络无法并行等特点，导致训练较慢并且需要占用较大的显存，同时也没有很好的利用传统机器学习方法中的植被指数。

发明内容

有鉴于此，本发明的目的在于提供一种基于植被指数和遥感影像的作物分类方法、装置及设备，可以充分利用植被指数和遥感影像，提高全局作物识别模型的泛化能力和精度，本发明实施例具有推理范围广、推理速度快、模型精度高、泛化能力强等特点。

第一方面，本发明实施例提供了一种基于植被指数和遥感影像的作物分类方法，包括：

获取研究区域的遥感影像时序数据，并基于所述遥感影像时序数据确定多个指定时期对应的目标遥感影像数据和目标植被指数数据；

通过预先训练得到的全局作物识别模型，基于每个所述指定时期对应的所述目标遥感影像数据和所述目标植被指数数据，确定所述研究区域对应的作物分类结果；

其中，训练所述全局作物识别模型采用的训练数据集包括训练遥感影像数据、训练植被指数数据和伪训练标签，所述伪训练标签是基于局部作物识别模型针对所述训练植被指数数据输出的第一预测结果确定得到的。

在一种实施方式中，所述全局作物识别模型的训练步骤，包括：

将所述研究区域划分为多个子区域，并基于所述子区域对应的所述遥感影像时序数据或历史遥感影像时序数据，确定所述子区域对应的训练遥感影像数据、训练植被指数数据和初始训练标签；

利用所述子区域对应的所述训练植被指数数据和所述初始训练标签，对所述子区域对应的局部作物识别模型进行训练，以利用训练后的所述局部作物识别模型针对所述子区域对应的所述训练植被指数数据输出第一预测结果；

基于所述第一预测结果确定所述子区域对应的伪训练标签；

利用各个所述子区域对应的所述训练遥感影像数据、所述训练植被指数数据和所述伪训练标签，对所述全局作物识别模型进行训练，直至满足预设条件。

在一种实施方式中，基于所述第一预测结果确定所述子区域对应的伪训练标签，包括：

基于预设过渡带宽度，从所述子区域对应的所述训练遥感影像数据中确定图像边缘和非图像边缘；

将所述图像边缘中包含的像素数量与所述训练遥感影像数据中包含的像素数量之间的比例作为平滑指数；

将所述第一预测结果作为硬标签，并利用所述平滑指数对所述图像边缘处的所述硬标签进行边缘标签平滑处理，得到所述图像边缘处的软标签；

基于所述非图像边缘处的所述硬标签和所述图像边缘处的软标签，构建所述子区域对应的伪训练标签。

在一种实施方式中，利用所述平滑指数对所述图像边缘处的所述硬标签进行边缘标签平滑处理的步骤，包括：

按照如下公式对所述图像边缘处的所述硬标签进行边缘标签平滑处理：

其中，K表示作物分类，α表示平滑指数，y

在一种实施方式中，利用各个所述子区域对应的训练遥感影像数据、所述训练植被指数数据和所述伪训练标签，对所述全局作物识别模型进行训练的步骤，包括：

对各个所述子区域对应的所述训练遥感影像数据和所述训练植被指数数据进行量纲统一处理；

通过全局作物识别模型，基于量纲统一处理后的所述训练遥感影像数据和所述训练植被指数数据，确定第二预测结果；

基于所述第二预测结果、所述非图像边缘处的所述硬标签和所述图像边缘处的软标签，对所述全局作物识别模型的模型参数进行调整。

在一种实施方式中，基于所述第二预测结果、所述非图像边缘处的所述硬标签和所述图像边缘处的软标签，对所述全局作物识别模型的模型参数进行调整的步骤，还包括：

对于所述研究区域内每个样本，如果该样本位于图像边缘，则基于所述软标签和所述第二预测结果，确定该样本对应的交叉熵损失值；如果该样本位于非图像边缘，则基于所述硬标签和所述第二预测结果，确定该样本对应的交叉熵损失值；

将所有所述样本对应的所述交叉熵损失值的均值，确定为目标交叉熵损失值；

基于所述第二预测结果、所述非图像边缘处的所述硬标签和所述图像边缘处的软标签，确定DiceLoss损失值；

对所述目标交叉熵损失值和所述DiceLoss损失值进行加权求和得到总损失值，并利用所述总损失值对所述全局作物识别模型的模型参数进行调整。

在一种实施方式中，所述方法还包括：

基于所述第二预测结果、所述非图像边缘处的所述硬标签和所述图像边缘处的软标签，确定所述研究区域内每种作物对应的评估指标；

如果所述作物对应的所述评估指标低于预设阈值，则调整所述训练数据集中包含该作物类别对应的所述训练遥感影像数据和所述训练植被指数数据的数量，并继续对所述局部作物识别模型和所述全局作物识别模型进行训练，直至每种作物对应的所述评估指标均高于所述预设阈值。

第二方面，本发明实施例还提供一种基于植被指数和遥感影像的作物分类装置，包括：

数据获取模块，用于获取研究区域的遥感影像时序数据，并基于所述遥感影像时序数据确定多个指定时期对应的目标遥感影像数据和目标植被指数数据；

作物识别模块，用于通过预先训练得到的全局作物识别模型，基于每个所述指定时期对应的所述目标遥感影像数据和所述目标植被指数数据，确定所述研究区域对应的作物分类结果；

其中，训练所述全局作物识别模型采用的训练数据集包括训练遥感影像数据、训练植被指数数据和伪训练标签，所述伪训练标签是基于局部作物识别模型针对所述训练植被指数数据输出的第一预测结果确定得到的。

第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。

本发明实施例提供的基于植被指数和遥感影像的作物分类方法、装置及设备，首先获取研究区域的遥感影像时序数据，然后基于所述遥感影像时序数据确定多个指定时期对应的目标遥感影像数据和目标植被指数数据，最后通过预先训练得到的全局作物识别模型，基于每个所述指定时期对应的所述目标遥感影像数据和所述目标植被指数数据，确定所述研究区域对应的作物分类结果。其中，训练所述全局作物识别模型采用的训练数据集包括训练遥感影像数据、训练植被指数数据和伪训练标签，所述伪训练标签是基于局部作物识别模型针对所述训练植被指数数据输出的第一预测结果确定得到的。上述方法综合了遥感影像以及植被指数作为输入，可以弥补训练标签不足的问题，充分利用遥感影像的纹理特征和植被指数的语义特征，可以使全局作物识别模型收敛更快、精度更高；另外，上述方法在开发流程上使用有限的、含有噪声的标注数据，在局部范围内，使用局部作物识别模型的第一预测结果进行伪训练标签制作，可以降低标注成本和缩短开发周期。因此，本发明实施例可以充分利用植被指数和遥感影像，提高全局作物识别模型的泛化能力和精度，具有推理范围广、推理速度快、模型精度高、泛化能力强等特点。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于植被指数和遥感影像的作物分类方法的流程示意图；

图2为本发明实施例提供的一种河北某区块遥感影像时序数据的示意图；

图3为本发明实施例提供的一种待推理区域的数据示意图；

图4为本发明实施例提供的一种某区域遥感图像和其对应预测结果示意图；

图5为本发明实施例提供的另一种基于植被指数和遥感影像的作物分类方法的流程示意图；

图6为本发明实施例提供的一种基于植被指数和遥感影像的作物分类装置的结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，基于遥感影像植被指数的传统机器学习方法存在泛化性比较差，大范围的作物识别训练、推理成本比较高等问题；基于遥感影像时序数据的语义分割方法存在训练较慢并且需要占用较大的显存，同时也没有很好的利用传统机器学习方法中的植被指数等问题。基于此，本发明实施提供了一种基于植被指数和遥感影像的作物分类方法、装置及设备，可以充分利用植被指数和遥感影像，提高全局作物识别模型的泛化能力和精度，本发明实施例具有推理范围广、推理速度快、模型精度高、泛化能力强等特点。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于植被指数和遥感影像的作物分类方法进行详细介绍，参见图1所示的一种基于植被指数和遥感影像的作物分类方法的流程示意图，该方法主要包括以下步骤S102至步骤S104：

步骤S102，获取研究区域的遥感影像时序数据，并基于遥感影像时序数据确定多个指定时期对应的目标遥感影像数据和目标植被指数数据。

其中，遥感影像时序数据也即多个时期的遥感影像，指定时期可以为研究作物的关键物候期，目标遥感影像数据可以包括研究作物的关键物候期内的遥感影像，目标植被指数数据是基于目标遥感影像数据计算得到的NDVI数据。

在一种实施方式中，在数据准备阶段需要下载和选取对应研究区域的哨兵2瓦片作为遥感影像时序数据，然后根据研究作物的关键物候期以及瓦片有效值比率对遥感影像时序数据进行筛选，同时对遥感影像时序数据进行坐标、分辨率对齐处理，得到关键物候期内的处理后遥感影像(可以为栅格形式的遥感影像)，再从各个月份中分别选择一期处理后遥感影像作为各个月份对应的目标遥感影像数据，并根据目标遥感影像数据中指定波段的数值计算目标植被指数数据。

步骤S104，通过预先训练得到的全局作物识别模型，基于每个指定时期对应的目标遥感影像数据和目标植被指数数据，确定研究区域对应的作物分类结果。

其中，训练全局作物识别模型采用的训练数据集包括训练遥感影像数据、训练植被指数数据和伪训练标签，伪训练标签是基于局部作物识别模型针对训练植被指数数据输出的第一预测结果确定得到的，伪训练标签包括图像边缘处的软标签和非图像边缘处的硬标签，硬标签也即第一预测结果，软标签为对第一预测结果(硬标签)进行边缘标签平滑处理后的结果。

在一种实施方式中，在模型训练阶段，可以将研究区域划分为多个子区域，每个子区域均对应有一个局部作物识别模型，利用训练植被指数数据和初始训练标签对各个局部作物识别模型进行训练，从而通过训练后的局部作物识别模型针对训练植被指数数据输出第一预测结果并制作伪训练标签，进而利用训练遥感影像数据、训练植被指数数据和伪训练标签，对整个研究区域对应的全局作物识别模型进行训练。当模型训练阶段结束后，即可利用训练得到的全局作物识别模型针对目标遥感影像数据和目标植被指数数据输出作物分类结果。

本发明实施例提供的基于植被指数和遥感影像的作物分类方法，综合了遥感影像以及植被指数作为输入，可以弥补训练标签不足的问题，充分利用遥感影像的纹理特征和植被指数的语义特征，可以使全局作物识别模型收敛更快、精度更高；另外，在开发流程上使用有限的、含有噪声的标注数据，在局部范围内，使用局部作物识别模型的第一预测结果进行伪训练标签制作，可以降低标注成本和缩短开发周期。因此，本发明实施例可以充分利用植被指数和遥感影像，提高全局作物识别模型的泛化能力和精度，具有推理范围广、推理速度快、模型精度高、泛化能力强等特点。

为便于理解，本发明实施例提供了一种基于植被指数和遥感影像的作物分类方法的具体实施方式。

对于前述步骤S102，本发明实施例提供了一种获取研究区域的遥感影像时序数据，并基于遥感影像时序数据确定多个指定时期对应的目标遥感影像数据和目标植被指数数据的实施方式。具体的：

在一例中，本发明实施例主要采用的是10m分辨率的哨兵2遥感影像时序数据，以河北某区块为例，参见图2所示的一种河北某区块遥感影像时序数据的示意图，图2中的(a)为对齐后所有哨兵2瓦片的所有时序数据，图2中的(b)为时序数据筛选、插值、外推处理后的结果。

首先，在数据准备阶段需要下载和选取对应研究区域的哨兵2瓦片。

然后，根据研究作物的关键物候期以及瓦片有效值比率对时序数据进行筛选。在实际应用中，由于卫星扫描条带的关系，部分瓦片只有部分有效值，可以保留有效值比率高于预设比率的时序数据，并剔除有效值比率低于预设比率的时序数据。

同时，对时序数据进行坐标、分辨率对齐，得到关键物候期的处理后遥感影像，诸如得到4月到10月的处理后遥感影像。

最后，对于每个月份，从该月份对应的多个处理后遥感影像中，选择一期处理后遥感影像数据作为目标遥感影像数据。另外，部分数据月份无有效数据，此时可以通过插值或者线性外推获取该月份的目标遥感影像数据。

在此基础上，即可基于获取的目标遥感影像数据计算相应的目标植被指数数据。

在执行前述步骤S104之前，需要预先对全局作物识别模型进行训练。本发明实施例提供了一种训练全局作物识别模型的实施方式，参见如下步骤1至步骤4：

步骤1，将研究区域划分为多个子区域，并基于子区域对应的遥感影像时序数据或历史遥感影像时序数据，确定子区域对应的训练遥感影像数据、训练植被指数数据和初始训练标签。

在实际应用中，可以从上述遥感影像时序数据中确定训练所需的训练遥感影像数据、训练植被指数数据和初始训练标签，也可以从以往年份的历史遥感影像时序数据确定训练所需的训练遥感影像数据、训练植被指数数据和初始训练标签。

本发明实施例以遥感影像时序数据为例，提供了一种确定子区域对应的训练遥感影像数据、训练植被指数数据和初始训练标签的实施方式。具体的：

有监督方法需要一部分标签数据，主要方法是在待推理区域(也即，子区域)进行512x512切片，从切片的遥感影像时序数据中随机选择其中的20％作为训练遥感影像数据，然后对训练遥感影像数据中的部分作物做少量对象标注，在标注过程中需要覆盖训练遥感影像数据内所有待研究作物类别，如图3标注对象(行3-2)所示，如果有历史作物标签可以作为标注参考(行3-1)，以得到所需的初始训练标签。其中，图3为一种待推理区域的数据示意图，行1-2为时序数据，行3-1为参考标签，行3-2为对象标注，行3-3为预测结果。

在一例中，可以由哨兵2时序遥感影像数据计算得到的植被指数NDVI，该植被指数NDVI即为训练植被指数数据。

步骤2，利用子区域对应的训练植被指数数据和初始训练标签，对子区域对应的局部作物识别模型进行训练，以利用训练后的局部作物识别模型针对子区域对应的训练植被指数数据输出第一预测结果。

在一种实施方式中，步骤2的目的在于：在局部范围基于植被指数的机器学习模型进行作物识别训练。具体的，这一步使用的传统机器学习作物识别方法，输入是由哨兵2时序遥感影像数据计算得到的植被指数NDVI(也即，上述训练植被指数数据)。以市县区为单位进行区域划分，划分得到的每个子区域对应一个局部作物识别模型(诸如，随机森林、XGBoost等机器学习模型)。对于每个子区域，将该子区域对应的训练植被指数数据，输入至该子区域对应的局部作物识别模型，以使局部作物识别模型输出相应的预测结果，基于该预测结果和该子区域对应的初始训练标签确定损失值，以对该子区域对应的局部作物识别模型进行训练。

可选的，各个局部作物识别模型的训练步骤可并行执行。

进一步的，在每个子区域对应的局部作物识别模型均训练完成后，可以对前述选择的512x512验证切片，并使用局部作物识别模型按区域进行推理，以得到第一预测结果。

步骤3，基于第一预测结果确定子区域对应的伪训练标签。这一步是图像分割深度学习模型的训练数据准备阶段，首先对选择的512x512验证切片，并使用第三步的机器学习模型按区域进行推理，并对第一预测结果(如图3行3-3)做边缘标签平滑，作为伪训练标签。边缘标签平滑通过经验划分难易样本区域，对难样本采用软标签方法进行一定程度的镇定。其中，难样本可以理解为图像边缘处的样本。

在具体实现时，可以参见如下步骤3.1至步骤3.4：

步骤3.1，基于预设过渡带宽度，从子区域对应的训练遥感影像数据中确定图像边缘和非图像边缘。

在一例中，在图像分割任务中，每个像素的分类结果很大程度依赖于周围像素，图像中不同像素预测的难易程度是不同的，经验证图像在边界和分类边缘区域的预测置信度更低，也更容易出错。划分图像边界和不同作物类别交界的区域设置宽度为w的过渡带，定义为图像边缘，图像边缘U

步骤3.2，将所述图像边缘中包含的像素数量与所述训练遥感影像数据中包含的像素数量之间的比例作为平滑指数，也即平滑指数：图像边缘包含的像素数量/图像包含的所有像素数量(等价于图像边缘的面积/图像的面积)。

在一例中，边缘标签平滑处理的平化程度取决于标签中边缘区域像素占总输入像素的比例α，该比例α也即平滑指数。

步骤3.3，将第一预测结果作为硬标签，并利用平滑指数对图像边缘处的硬标签进行边缘标签平滑处理，得到图像边缘处的软标签。

在一例中，对于非图像边缘处的硬标签，本发明实施例不对其进行处理；对于图像边缘处的硬标签，需要对其作标签平滑处理形成“软标签”，具体的，可以按照如下公式对图像边缘处的硬标签进行边缘标签平滑处理：

其中，K表示作物分类，α表示平滑指数，y

步骤3.4，基于非图像边缘处的硬标签和图像边缘处的软标签，构建子区域对应的伪训练标签。

本发明实施例通过对图像边缘处的硬标签进行边缘标签平滑处理，可以有效提高全局作物识别模型的精度。

步骤4，利用各个子区域对应的训练遥感影像数据、训练植被指数数据和伪训练标签，对全局作物识别模型进行训练，直至满足预设条件。这一步是图像分割深度学习模型的模型训练阶段，使用步骤3获取的有噪声标签数据进行监督训练，将4月-10月的训练遥感影像数据(伪彩色数据，主要包括近红外波段8，红色波段4，绿色波段3以及蓝色波段2)和训练植被指数数据作为输入，加入植被指数一定程度上引入了专家知识，使得模型收敛更快，而且使得语义信息更加丰富，平均精度(mF1)提升3％。

在具体实现时，可以参见如下步骤4.1至步骤4.3：

步骤4.1，对各个子区域对应的训练遥感影像数据和训练植被指数数据进行量纲统一处理。

在一例中，需要指出这里输入数据是4x7x512x512的矩阵，各通道分别表示波段、物候、数据切片长度、宽度。植被指数NDVI和原始遥感影像数据的量纲不一致，NDVI的取值范围是[-1,1]，但是原始遥感影像数据DN取值范围是[0,19k],所以对两种数据采取不同的归一化方案。具体地，输入哨兵B2348(波段2,3,4,8)数据，首先计算NDVI＝(DN

步骤4.2，通过全局作物识别模型，基于量纲统一处理后的训练遥感影像数据和训练植被指数数据，确定第二预测结果。

其中，全局作物识别模型框架采用UPerNet，ConvNeXt-base作为backbone，因为ConvNeXt是对标Swin-transformer而设计的一种全卷积特征提取器，具有卷积的效率优势，又可以媲美transformer的精度，事实上，使用A40显卡，ConvNeXt对哨兵10m分辨率数据的推理可以达到32.6km2/s的速度，非常高效。ConvNeXt中采用的可分离卷积设计方式deepwise-convolution可以很好的进行像素特征的选择(物理空间)，且pointwise-convlution擅长通道信息的提取(时间物候)。

将步骤4.1获取的训练遥感影像数据和训练植被指数数据输入至上述全局作物识别模型，即可得到全局作物识别模型输出的第二预测结果。

步骤4.3，基于第二预测结果、非图像边缘处的硬标签和图像边缘处的软标签，对全局作物识别模型的模型参数进行调整。具体可参见如下(1)至(4)：

(1)对于研究区域内每个样本，如果该样本位于图像边缘，则基于软标签和第二预测结果，确定该样本对应的交叉熵损失值；如果该样本位于非图像边缘，则基于硬标签和第二预测结果，确定该样本对应的交叉熵损失值。具体的，可以按照如下公式确定目标交叉熵损失值H(y,p)：

其中，δ

(2)将所有样本对应的交叉熵损失值的均值，确定为目标交叉熵损失值。

(3)基于第二预测结果、非图像边缘处的硬标签和图像边缘处的软标签，确定DiceLoss损失值。在具体实现时，可参见现有技术对DiceLoss损失值的解释，本发明实施例对此不再进行赘述。

(4)对目标交叉熵损失值和DiceLoss损失值进行加权求和得到总损失值，并利用总损失值对全局作物识别模型的模型参数进行调整。

在实际应用中，农作物长势样本中因为受地理气候条件影响，“同物异谱”，“异物同谱”现象比较严重，采用OHEMPixelSampler的困难样本在线挖掘方法避免过拟合。采用CrossEntropyLoss(CE，交叉熵损失函数)和DiceLoss损失函数加权和作为损失函数，双损失函数可以使训练更稳定，更大程度的保留类别竞争性的同时保留区块信息，其中在边缘的难样本因为采用了标签平滑，所以等效于Soft-CrossEntropyLoss(SCE)、DiceLoss同时采用软-损失可以缓解对错误标签的过拟合。

在一例中，可以重复执行上述步骤1至步骤4，以实现对局部作物识别模型和全局作物识别模型进行迭代训练。在迭代训练过程中，还可以对部分表现较差作物补充标注，包括：(a)基于第二预测结果、非图像边缘处的硬标签和图像边缘处的软标签，确定研究区域内每种作物对应的评估指标；(b)如果某种作物对应的评估指标低于预设阈值，则调整训练数据集中包含该作物类别对应的训练遥感影像数据和训练植被指数数据的数量，并继续对局部作物识别模型和全局作物识别模型进行训练，直至每种作物对应的评估指标均高于预设阈值。

示例性的，可以计算第二预测结果的准确率，如果准确率低于预设阈值，则确定需要对该类别作物进行补充标注，实现对训练数据集中样本对应的训练遥感影像数据和训练植被指数数据的数量的调整，继续利用调整后的训练遥感影像数据和训练植被指数数据，按照前述步骤1至步骤4对局部作物识别模型和全局作物识别模型进行迭代训练，直至每种作物的准确率均高于预设阈值，即可停止迭代训练；或者直至精度不可提升，也可停止迭代训练。这一步会根据各农作物的精度表现决定是否需要补充样本，以及补充样本类型，进而提高模型的整体精度，防止模型过拟合，整体提升全部作物的识别精度。

在利用前述步骤1至步骤4对全局作物识别模型进行训练之后，即可将目标遥感影像数据和目标植被指数数据输入至全局作物识别模型，以通过该全局作物识别模型对研究区域内包含的作物类型进行推理，完成在研究区域的模型预测以及农作物类型矢量化，效果如图4所示的一种某区域遥感图像和其对应预测结果示意图。

综上所述，本发明实施例是一种基于遥感影像时序数据和植被指数的作物识别方法，综合了遥感影像时序数据以及植被指数作为输入，采用UPerNet的编解码框架，使用当前最先进的卷积神经网络之一ConvNeXt提取特征，解码器得到概率图获取作物类别,该方法具有推理范围广、推理速度快、模型精度高、泛化能力强等优点；另外，在开发流程上，使用了有限的、含有噪声的标注数据，在局部范围内，使用基于植被指数的传统机器学习方法的预测结果，并使用边缘标签平滑的方法制作伪标签，可以极大的加快语义分割需要的全量要素训练样本的标注，缩短开发周期。

进一步的，本发明实施例还提供了一种基于植被指数和遥感影像的作物分类方法的应用示例，参见图5所示的另一种基于植被指数和遥感影像的作物分类方法的流程示意图，包括：

(一)模型开发阶段：获取遥感时序数据；部分作物标注；区域划分；根据遥感时序数据计算得到的植被指数进行区域模型(也即，局部作物识别模型)训练；区域模型推理；伪标签制作；根据遥感时序数据计算得到的植被指数进行分割模型(也即，全局作物识别模型)训练；分割模型评估；针对评估结果较差作物再次进行作物标注。

(二)模型推理阶段：获取遥感时序数据；将遥感时序数据及根据遥感时序数据计算得到的植被指数输入至分割模型；作物识别。

在此基础上，本发明实施例提供了一种实验结果，表1记录了详尽的实验和结果。实验标签是机器学习模型推理的结果，在采样点上的验证精度约为78.72％，即约为21.28％的噪声。其中ELS表示边缘标签平滑损失，SCE表示平滑标签损失，均是“软标签”的代表。从中可以看出“软标签”SCE+Dice相对“硬标签”CE+Dice，有1.08个点的提升，边缘平滑ELS+Dice有1.1个点的提升，充分说明了边缘标签平滑在有噪声标签训练中的有效性。同时也证明了双标签损失函数的有效性；双标签损失(ELS vs ELS+Dice)有0.35个点的提升，说明了双损失函数的有效性；NDVI替换哨兵B2数据，有3个点的提升，证明加入作物指数方法的有效性。

表1

其中第二行为Baseline,F1列括号中数字表示相对Baseline的增长情况，加粗数字表示最优结果。

与现有技术的方式相比，本发明实施例具有以下至少一种优点：

1、使用遥感影像以及植被指数作为输入，可以弥补训练样本标签数据不足的问题，充分利用影像地块的纹理特征和植被指数的语义特征，模型收敛更快、精度更高；

2、机器学习方法进行伪标签制作作为一个前置步骤，可以降低标注成本，同时使用边缘标签平滑的方法可以避免边缘错误噪声干扰，同时可以迭代，动态补充少量标签的完成模型精度提升；

3、本发明实施例整体将先进的基于ConvNeXt的图像分割方案应用于基于物候时序的农作物识别中，充分发掘了深度可分离卷积的时空特征提取能力，完成对作物进行全要素分类，ConvNeXt是一种采用可深度可分离卷积设计的全卷积特征提取器，具有更小的参数与运算，推理速度快，可以在大范围进行推理。

具体的，(1)相较于相关专利《基于CNN-LSTM的县级尺度农作物估产方法》，本发明实施例与该专利的区别在于该专利除了利用遥感数据，也利用了其他影响作物的环境数据，另一方面它利用直方图统计的方法提取县域作物的更多特征并转化为张量作为深度网络CNN-LSTM的输入，输入更复杂，而且深度学习模型CNN-LSTM与本方案也不同；(2)相较于相关专利《基于遥感时序数据的旱地作物识别方法》，本发明实施例与该专利的区别在于该专利只是利用了传统的植被指数，结合旱地作物的植被指数特征，构造了完全基于环境以及待研究对象的植被指数，需要大量的专家知识，并且要根据地域调整阈值，可推广性比较差，而且精度相对深度学习方法不是很高；(3)相较于相关专利《遥感图像分类方法及装置》，本发明实施例与该专利的区别在于该专利本质是一种多模型融合的方案，针对不同的研究区域选取有针对性的机器学习模型，而且依赖在比较细粒度(区、县)区域划分上进行地物纯净区域、混合区域、非目标区域划分，也需要根据地域进行一些阈值调试，不是直接数据驱动的，不适用大规模推广应用；(4)相较于相关专利《基于高光谱遥感图像的分类方法及装置》，本发明实施例与该专利的区别在于该专利的输入是高光谱数据，并且需要利用一些作物的光谱特征，不如基于物候数据的植被指数的精度高，而且高光谱下不太容易标注作物信息，不适用于工业应用；(5)相较于相关专利《农田与机耕道边界线提取方法及系统》，本发明实施例与该专利的区别主要是该专利虽然也使用了ConvNeXt,主要进行道路解译，而且其输入还是可见光数据，没有使用到物候信息。

在前述实施例的基础上，本发明实施例提供了一种基于植被指数和遥感影像的作物分类装置，参见图6所示的一种基于植被指数和遥感影像的作物分类装置的结构示意图，该装置主要包括以下部分：

数据获取模块602，用于获取研究区域的遥感影像时序数据，并基于遥感影像时序数据确定多个指定时期对应的目标遥感影像数据和目标植被指数数据；

作物识别模块604，用于通过预先训练得到的全局作物识别模型，基于每个指定时期对应的目标遥感影像数据和目标植被指数数据，确定研究区域对应的作物分类结果；

其中，训练全局作物识别模型采用的训练数据集包括训练遥感影像数据、训练植被指数数据和伪训练标签，伪训练标签是基于局部作物识别模型针对训练植被指数数据输出的第一预测结果确定得到的。

本发明实施例提供的基于植被指数和遥感影像的作物分类方法，综合了遥感影像以及植被指数作为输入，可以弥补训练标签不足的问题，充分利用遥感影像的纹理特征和植被指数的语义特征，可以使全局作物识别模型收敛更快、精度更高；另外，在开发流程上使用有限的、含有噪声的标注数据，在局部范围内，使用局部作物识别模型的第一预测结果进行伪训练标签制作，可以降低标注成本和缩短开发周期。因此，本发明实施例可以充分利用植被指数和遥感影像，提高全局作物识别模型的泛化能力和精度，具有推理范围广、推理速度快、模型精度高、泛化能力强等特点。

在一种实施方式中，还包括训练模块，用于：

将研究区域划分为多个子区域，并基于子区域对应的遥感影像时序数据或历史遥感影像时序数据，确定子区域对应的训练遥感影像数据、训练植被指数数据和初始训练标签；

利用子区域对应的训练植被指数数据和初始训练标签，对子区域对应的局部作物识别模型进行训练，以利用训练后的局部作物识别模型针对子区域对应的训练植被指数数据输出第一预测结果；

基于第一预测结果确定子区域对应的伪训练标签；

利用各个子区域对应的训练遥感影像数据、训练植被指数数据和伪训练标签，对全局作物识别模型进行训练，直至满足预设条件。

在一种实施方式中，训练模块还用于：

基于预设过渡带宽度，从所述子区域对应的所述训练遥感影像数据中确定图像边缘和非图像边缘；

将所述图像边缘中包含的像素数量与所述训练遥感影像数据中包含的像素数量之间的比例作为平滑指数；

将第一预测结果作为硬标签，并利用平滑指数对图像边缘处的硬标签进行边缘标签平滑处理，得到图像边缘处的软标签；

基于非图像边缘处的硬标签和图像边缘处的软标签，构建子区域对应的伪训练标签。

在一种实施方式中，训练模块还用于：

按照如下公式对图像边缘处的硬标签进行边缘标签平滑处理：

其中，K表示作物分类，α表示平滑指数，y

在一种实施方式中，训练模块还用于：

对各个子区域对应的训练遥感影像数据和训练植被指数数据进行量纲统一处理；

通过全局作物识别模型，基于量纲统一处理后的训练遥感影像数据和训练植被指数数据，确定第二预测结果；

基于第二预测结果、非图像边缘处的硬标签和图像边缘处的软标签，对全局作物识别模型的模型参数进行调整。

在一种实施方式中，训练模块还用于：

对于研究区域内每个样本，如果该样本位于图像边缘，则基于软标签和第二预测结果，确定该样本对应的交叉熵损失值；如果该样本位于非图像边缘，则基于硬标签和第二预测结果，确定该样本对应的交叉熵损失值；

将所有样本对应的交叉熵损失值的均值，确定为目标交叉熵损失值；

基于第二预测结果、非图像边缘处的硬标签和图像边缘处的软标签，确定DiceLoss损失值；

对目标交叉熵损失值和DiceLoss损失值进行加权求和得到总损失值，并利用总损失值对全局作物识别模型的模型参数进行调整。

在一种实施方式中，还包括样本调整模块，用于：

基于所述第二预测结果、所述非图像边缘处的所述硬标签和所述图像边缘处的软标签，确定所述研究区域内每种作物对应的评估指标；

如果所述作物对应的所述评估指标低于预设阈值，则调整所述训练数据集中包含该作物类别对应的所述训练遥感影像数据和所述训练植被指数数据的数量，并继续对所述局部作物识别模型和所述全局作物识别模型进行训练，直至每种作物对应的所述评估指标均高于所述预设阈值。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。

图7为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器70，存储器71，总线72和通信接口73，所述处理器70、通信接口73和存储器71通过总线72连接；处理器70用于执行存储器71中存储的可执行模块，例如计算机程序。

其中，存储器71可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线72可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器71用于存储程序，所述处理器70在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器70中，或者由处理器70实现。

处理器70可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71，处理器70读取存储器71中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。