森林生态状况的监测方法、装置、电子设备及存储介质

技术领域

本申请属于图像分析技术领域，尤其涉及一种森林生态状况的监测方法、装置、电子设备及存储介质。

背景技术

目前对森林生态的勘察和检测主要是采用人工勘察和检测为主。而森林环境的地形、地势、地貌和气候等条件复杂，尤其是面对秦岭这种人迹罕至、山风凛冽的地貌、气候特点的环境尤其如此。人工勘察和检测变得辛苦、不便甚至危险。因此，需要一种能够自动检测森林生态状况的方法。

发明内容

本申请实施例提供了一种森林生态状况的监测方法、装置、电子设备及存储介质，可以自动检测森林生态状况。

第一方面，本申请实施例提供了一种森林生态状况的监测方法，包括：

获取第一时刻的第一关键帧；所述第一关键帧为针对目标林地的图像帧，所述图像帧中包含采用多组拍摄参数采集的图像集，所述第一关键帧与前一帧的相似度不满足第一相似条件；

确定与所述第一关键帧同一树种的目标样本帧序列，所述目标样本帧序列包含一年时间跨度的多个历史关键帧；

确定所述目标样本帧序列中与所述第一关键帧相似度满足第二相似条件的目标样本帧；

若所述第一时刻与目标时刻的时间差超过预设时间阈值，则生成预警信息，所述目标时刻为采集所述目标样本帧的时刻。

应理解，由于关键帧是与前一帧的相似度不满足第一相似条件的帧，其可以体现树木随时间发生状态跳变的情况；又基于森林的生长周期较长，同一节气等条件下，现时关键帧与的历史同期的关键帧应相差不大的规律，通过在第一关键帧对应第一时刻与目标样本帧对应的目标时刻之间的时间差超过预设时间阈值时，确定树木的状态跳变的时间规律发生了较大变化，生成预警信息，实现自动监测森林的生态状况。

第二方面，本申请实施例提供了一种森林生态状况的监测装置，包括：

第一关键帧获取模块，用于获取第一时刻的第一关键帧；所述第一关键帧为针对目标林地的图像帧，所述图像帧中包含采用多组拍摄参数采集的图像集，所述第一关键帧与前一帧的相似度不满足第一相似条件；

目标样本帧序列确定模块，用于确定与所述第一关键帧同一树种的目标样本帧序列，所述目标样本帧序列包含一年时间跨度的多个历史关键帧；

目标样本帧确定模块，用于确定所述目标样本帧序列中与所述第一关键帧相似度满足第二相似条件的目标样本帧；

预警信息生成模块，用于若所述第一时刻与目标时刻的时间差超过预设时间阈值，则生成预警信息，所述目标时刻为采集所述目标样本帧的时刻。

第三方面，本申请实施例提供了一种电子设备，包括：

存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的方法步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面所述的方法步骤。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种森林生态状况的监测方法的流程示意图；

图2是本申请一实施例提供的一种森林生态状况的监测方法的样本帧回溯示意图；

图3是本申请另一实施例提供的一种森林生态状况的监测方法的流程示意图；

图4是本申请一实施例提供的一种获取预设聚类中心流程示意图；

图5是本申请一实施例提供的一种森林生态状况的监测方法植物结构的图像分割示意图；

图6是本申请另一实施例提供的确定第一关键帧对应的目标树种的流程示意图；

图7是本申请一实施例提供的植物结构图像特征图提取网络和树种分类网络示意图；

图8是本申请另一实施例提供的一种森林生态状况的监测方法的流程示意图；

图9是本申请另一实施例提供的一种森林生态状况的监测方法的流程示意图；

图10示出了本申请实施例提供的一种采集关键帧序列的流程示意图；

图11是本申请实施例提供的一种森林生态状况的监测装置的结构示意图；

图12是本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

目前对森林生态的勘察和检测主要是采用人工勘察和检测为主。而森林环境的地形、地势、地貌和气候等条件复杂，尤其是面对秦岭这种人迹罕至、山风凛冽的地貌、气候特点的环境尤其如此。人工勘察和检测变得辛苦、不便甚至危险。因此，需要一种能够自动检测森林生态状况的方法。

为解决以上问题，本申请实施例提供了一种森林生态状况的监测方法。图1示出的是本申请实施例提供的一种森林生态状况的监测方法的流程示意图。

如图1所示，该方法包括步骤S110至S140。各个步骤的具体实现原理如下：

S110，获取第一时刻的第一关键帧；所述第一关键帧为针对目标林地的图像帧，所述图像帧中包含采用多组拍摄参数采集的图像集，所述第一关键帧与前一帧的相似度不满足第一相似条件。

其中，目标林地是作为当前森林生态状况检测对象的林地。

其中，第一时刻可以是实时处理数据方式下，获取第一关键帧的当前时刻；也可是离线处理数据的方式下，获取第一关键帧的时刻。第一时刻可以是多个图像拍摄设备，分别采用多组拍摄参数，同时采集第一关键帧中的各个图像时的时刻；第一时刻也可以是多个图像拍摄设备拍摄第一关键帧中的各个图像时的开始时刻、中点时刻或终止时刻之一，在拍摄设备不能准确同步拍摄时刻的情况下，可以根据本申请实施例的指导选择开始时刻、中点时刻或终止时刻之一作为第一时刻。

其中，多组拍摄参数可以包括但不限于拍摄角度、焦距、距离、光圈等拍摄参数的组合。在一个具体的示例中，根据镜头放大缩小的范围，采用不同焦距的拍摄设备在距离目标林地不同的拍摄位置对目标林地进行拍摄，具体的焦距和距离目标林地的距离的取值，可以采用表1中取值的一个或多个的组合，其中，分割点为拍摄地点距离目标林地的取值点。

表1：

在一个具体的示例中，多个拍摄角度可以为根据拍摄设备镜头转动的角度的范围，横向为x，纵向为y，构建成为圆空间的网络，以10°乘10°为网格点进行图像采集。

应理解，一般而言被监控林地的森林生态状况，随时间，尤其是季节、节气、天气等变化而变化。例如，在若干个连续图像采集时刻，目标林地一直处于树叶未萌发的状态，在某一个采集时刻开始，树叶呈现明显的萌发状态。树叶呈现明显萌发的状态，第一时刻采集的这一组针对目标林地的图像，即作为第一关键帧，采集第一关键帧的时刻即树木生长状态出现明显跳变的时刻，作为上述的第一时刻。

在一些实施例中，第一关键帧是针对目标林地的图像帧，本申请中的图像帧是指采用多组拍摄参数采集的一组图像的集合。通过将当前帧与前一帧的图像进行比对，若当前帧中的图像与前一帧中对应的图像相似度不满足第一相似条件，则将当前帧作为第一关键帧。前一帧为第一时刻的前一时刻的图像帧。在一些实施例中，预先确定第一图像相似度阈值，两图像帧的相似度大于或等于该阈值，则认为两图像帧的相似度较高；两图像帧的相似度小于该阈值，则认为两图像帧的相似度较低。第一相似条件可以设置为前后两个时刻的两图像帧相似度大于或等于预设第一图像相似度阈值；应理解，两图像帧相似度小于预设第一图像相似度阈值，则判定两组图像不满足第一相似条件。

计算两组图像的相似度，可以将两组图像进行分别的单独比对，获得相似度值后进行平均；也可以采用两组图像进行分别的单独比对，取最小值相似的值。在本申请的各个实施例中，计算两图像的相似度，可以采用包括但不限于采用结构相似性(StructuralSimilarity，SSIM)、余弦相似度、互信息相似度、基于直方图相似度等方法。

S120，确定与所述第一关键帧同一树种的目标样本帧序列，所述目标样本帧序列包含一年时间跨度的多个历史关键帧。

在一些实施例中，预先保存针对多个树种的多个样帧序列，每个树种的样本帧序列包含一年时间跨度的多个历史关键帧。样本帧序列中的每个历史关键帧是以时间顺序保存。

在一些实施例中，在获得第一关键帧后，通过预设的识别模型识别第一关键帧中包含目标植物结构的图像，确定第一关键帧对应的目标树种。在预先保存的多个树种的样本帧序列中，提取与所述目标树种相同的树种对应的样本帧序列，并将与所述目标树种相同的树种对应的样本帧序列作为与第一关键帧同一树种的目标样本帧序列。

在一些实施例中，在确定与第一关键帧同一树种的目标样本帧序列前，还包括将第一关键帧中的图像进行二值化处理。

S130，确定所述目标样本帧序列中与所述第一关键帧相似度满足第二相似条件的目标样本帧。

在一些实施例中，所述确定所述目标样本帧序列中与所述第一关键帧相似度满足第二相似条件的目标样本帧，包括：根据所述第一时刻，确定采集所述目标样帧序列的采集周期中的第二时刻，所述第一时刻与所述第二时刻具有以年为周期的对应关系；若所述第二时刻对应的第二样本帧与所述第一关键帧不满足第二相似条件，则基于所述第二时刻在所述目标样本帧序列进行前后回溯，若查找到与所述第一关键帧的相似度满足第二相似条件的第三样本帧，则将所述第三样本帧作为所述目标关键帧。

在一些实施例中，预先确定第二图像相似度阈值，两图像帧的相似度大于或等于该阈值，则认为两图像帧的相似度较高；两图像帧的相似度小于该阈值，则认为两图像帧的相似度较低。第二相似条件可以设置为两图像帧相似度大于或等于预设第二图像相似度阈值；应理解，两图像帧相似度小于预设第二图像相似度阈值，则判定两组图像不满足第二相似条件。计算两组图像的相似度，可以将两组图像进行分别的单独比对，获得相似度值后进行平均；也可以采用两组图像进行分别的单独比对，取最小值相似的值。计算两图像的相似度，可以采用包括但不限于采用结构相似性(Structural Similarity，SSIM)、余弦相似度、互信息相似度、基于直方图相似度等方法。

在一个具体的示例中，如图2所示，当前处理的第一关键帧211处于Ta时间轴，采集第一关键帧的时刻为ta1。根据ta1在确定采集目标样帧序列的采集周期中的第二时刻th1。例如，ta1为2021年8月15日12时，采集目标样帧序列的采集周期为2020年1月1日0时至2020年12月31日24时。第一时刻与所述第二时刻具有以年为周期的对应关系，那么，th1为2020年8月15日12时。也就是说，根据所述第一时刻，确定采集所述目标样帧序列的采集周期中的第二时刻，可以为根据第一时刻确定采集目标样本帧序列年份中的同一天的同一时刻。

如图2所示，若所述第二时刻th1对应的第二样本帧221与所述第一关键帧211不满足第二相似条件，在目标样本帧序列220中，基于第二时刻th1，同时向箭头231指示的第二时刻以前时刻的样本帧进行回溯，和向箭头232指示的第二时刻以后时刻的样本帧进行回溯。这里的回溯是指自第二样本帧221开始，将各个时刻的样本帧与逐个第一关键帧进行相似度比对，若查找到与第一关键帧的相似度满足第二相似条件的第三样本帧，例如样本帧222，则将该第三样本帧作为目标关键帧。

若第一关键帧与第二样本帧的满足第二相似条件，则说明第一时刻的森林生态状况与历史同期的接近的，没有太大的变化，不需要进行预警。若第一关键帧与第二样本帧的相似度不满足第二相似条件，则说明第一时刻的森林生态状况与历史同期有较大差异，需要进一步的从时间跨度来评价这种差异是否达到需要预警的程度，为了获得时间跨度，首先需要确定在第二时刻前后与第一关键帧相似度满足第二相似条件的样本帧。

S140，若所述第一时刻与目标时刻的时间差超过预设时间阈值，则生成预警信息，所述目标时刻为采集所述目标样本帧的时刻。

在一些实施例中，预警信息可以包含第一时刻、时间差和第一关键帧中的图像。

在一些实施例中，预设的时间阈值可以根据经验或生态监控的指标来确定森林植物生长变化的最大可容忍时间差。例如，前后两个年度的春季，树叶萌发状态的时间一般是在同一节气前后，两个年份间同一节气前后时间差不会相差太久，这个时间差一般认为是可容忍的最大时间差。当然，也可以根据实际情况对这个可容忍的最大时间差进行调整。如果超过这个时间差则说明树叶萌发过早或者过晚，森林植被有可能遭遇旱、涝或虫害等灾害，需要进行预警。

应理解，由于关键帧是与前一帧的相似度不满足第一相似条件的帧，其可以体现树木随时间发生状态跳变的情况；又基于森林的生长周期较长，同一节气等条件下，现时关键帧与的历史同期的关键帧应相差不大的规律，通过在第一关键帧对应第一时刻与目标样本帧对应的目标时刻之间的时间差超过预设时间阈值时，确定树木的状态跳变的时间规律发生了较大变化，生成预警信息，实现自动监测森林的生态状况。

在上述图1所示的森林生态状况的监测方法的实施例的基础上，步骤S120，确定与所述第一关键帧同一树种的目标样本帧序列，如图3所示，包括步骤S121至S124：

S121，基于预设聚类中心，去除所述第一关键帧中不包含目标植物结构的图像，得到第二关键帧；所述目标植物结构包括树叶、树干和树形至少之一。

在一些实施例中，如图4所示包括，所述预设聚类中心是采用以下步骤S410至S440获取的：

S410，选取原始图像库中第一数量的原始图像；所述原始图像为针对所述目标林地，在多个时间点，以多组拍摄参数采集的图像。

在一个具体的示例中，针对目标林地在一年的拍摄周期内，重点根据天气变化，例如晴、多云、雨、雪，采集图像信息。根据树木生长特殊的节气采集信息，例如在立春、雨水、惊蛰、春分、清明、谷雨、立夏、小满、芒种、夏至、小暑、大暑、立秋、处暑、白露、秋分、寒露、霜降、立冬、小雪、大雪、冬至、小寒、大寒等节气采集图像信息。在采集针对目标林地的图像信息时，可以采集多焦距、多拍摄角度、不同天气条件、不同节气条件的四个层次的图片信息，构成原始图像库。

S420，提取各个所述原始图像的特征向量，组成聚类样本集。

在一些实施例中，可以在原始图像库随机抽取n个(第一数量)原始图像，采用图像特征提取算法提取这n个图像的特征向量，组成聚类样本集。其中n为正整数。在一个示例中，n大于等于拍摄时间节点数，以保证样本可以覆盖一年中大部分的节气和天气变化。

S430，将第二数量的预设特征向量作为初始聚类中心；所述预设特征向量为预先指定的图像的特征向量，所述预先指定的图像包含所述目标植物结构；第二数量由目标植物结构的数量确定。

在一些实施例中，预先选取k个(第二数量)具有代表性的图像，将这k个图像的特征向量作为初始的聚类中心，{μ

以目标植物结构包括树叶、树干和树形至少之一为例，需要选取7个具有代表性的图像，这些图像包括分别是只包含树叶、树干和树形的图像，包含树叶、树干和树形两两组合的图像，以及包含树叶、树干和树形的图像。计算这7副图像的特征向量作为聚类中心。

S440，基于所述初始聚类中心，对聚类样本集中的样本进行迭代聚类，获得目标聚类中心，将所述目标聚类中心作为所述预设聚类中心。

基于所述初始聚类中心，对聚类样本集中的样本进行迭代聚类，获得目标聚类中心，根据聚类中心重新为每个样本划分类簇；在将全部样本重新划分类簇后，在根据类簇内的各个样本，重新计算每个类簇的聚类中心；返回到根据聚类中心重新为每个样本划分类簇的步骤，直到迭代次数超过预设次数，或划分类簇后的分配代价小于预设代价，则停止迭代；将停止迭代时确定的目标聚类中心作为预设聚类中心。

在得到k个类簇的中心向量后，对样本集中的每个样本分配它所属的类簇，对于任一大类分配方式如下：

χ

重新为每个样本划分类簇后，再根据类簇内的各个样本，重新计算每个类簇的中心向量，对于任一大类，计算方式如下：

示例性的，采用如下评估函数Cost计算分配代价：

其中，Cost(j)表示第j个簇的平均代价，f

在一些实施例中，所述基于预设聚类中心，去除所述第一关键帧中不包含目标植物结构的图像，得到第二关键帧，包括：针对所述第一关键帧中的每个第一图像，计算所述第一图像的特征向量到每个预设聚类中心的聚类距离；若所述第一图像的每个所述聚类距离均不满足预设分类条件，则将所述第一图像在所述第一关键帧中去除。

其中，预设分类条件可以是聚类距离大于预设的聚类距离阈值。特征向量到每个预设聚类中心的聚类距离，可以采用计算向量距离的方法，例如，可以是计算特征向量到每个预设聚类中心的欧氏距离，还可以是计算特征向量到每个预设聚类中心的夹角余弦。

以目标植物结构包括树叶、树干和树形至少之一为例，不包含目标植物结构的图像可以理解为，该图像中没有包含树叶、树干和树形任意一种植物结构。

S122，对所述第二关键帧中的各个图像进行分割，提取目标植物结构图像，由各个所述目标植物结构图像组成第三关键帧。

在一些实施例中，第二关键帧中的各个图像中可能包含一种或多种植物结构。例如，一个图像中包含树叶、树干；一个图像中包含树叶、树干和树形。目标植物结构图像是只包含一种植物结构的图像，例如，图像中只包含树叶，图像中只包含树干，或图像中只包含树形。

在一些实施例中，可以采用预先训练得到的分割模型对第二关键帧中的各个图像进行分割。可以采用一个经过预先训练的分割模型对提取全部目标植物结构图像，也可以针对每种目标植物结构图像，预先训练针对此种植物结构的分割模型。分割模型可以采用深度学习网络，深度学习网络包括但不限于全卷积网络(Fully Convolutional Network，FCN)，SegNet网络，或U型分割网络(U-Net)。

应理解，直接对树木进行拍摄获得的图像中很可能包含多种植物结构，直接对包含多种植物结构的图像进行识别的识别准确度比较低。如图5所示，本申请实施例采用经过预先训练的到的分割模型，将包含多种植物结构的图像510中包含的树叶、树干和树形从第一关键帧中分割出来，获得单独包含树叶的树叶图像511、单独包含树干的图像512和单独包含树形的图像513，将单独的植物结构图像用于对树种的识别，可以提高识别的准确度。

S123，对所述第三关键帧中的各个所述目标植物结构图像进行识别，确定所述第一关键帧对应的目标树种。

在一些实施例中，可以采用预先训练得到的树种识别网络对目标植物结构图像进行识别，确定所述第一关键帧对应的目标树种。

在一些实施例中，预先训练得到多个卷积网络，每个所述卷积网络对应所述目标植物结构中的一种植物结构。具体的，针对目标植物结构中的每一个植物结构，预先训练用于提取该植物结构的特征图的卷积神经网络，卷积神经网络的卷积层用于输出每个植物结构图像的特征图。卷积神经网络的训练数据可以在原始图像库中挑选包含植物结构的图像组成训练样本。

对所述第三关键帧中的各个目标植物结构图像进行识别，确定所述第一关键帧对应的目标树种，如图6所示，包括步骤S1231至S1233：

S1231，针对所述第三关键帧中目标植物结构图像中的每个植物结构图像，利用与所述植物结构图像的种类对应的所述卷积网络，提取所述植物结构图像的特征图。

在一些实施例中，与植物结构图像的种类对应的卷积网络可以包含一个或多个卷积层，每个卷积层输出与其卷积核对应的特征图。

在一个具体的示例中，如图7所示，每种植物结构图像对应的卷积网络具有4个卷积层，每个卷积层输出一个针对该植物结构图像的特征图。

S1232，对各个所述植物图像的所述特征图按预设融合规则进行融合，获得融合特征图。

在一些实施例中，针对不同植物结构的卷积网络输出的全部特征图进行融合获得第一融合特征图；针对不同植物结构的卷积网络输出的特征图进行两两融合获得第二融合特征图。融合规则可以是，获得第一融合特征图；也可是，获得第二融合特征图；还可以是，将第一融合特征图和第二特征图进行融合获得第三融合特征图；又可以是，将第三融合特征图与各个卷积网络输出的特征图进行融合获得第四融合特征图。特征图的融合方式包括但不限于采用差分法、遗传算法、蚁群算法、小波分析法等算法进行融合，本领域技术人员可以在本申请的教导下根据实际情况选择特征图的融合方式。

在一个具体的示例中，如图7所示，每种植物结构图像对应的卷积网络具有4个卷积层，每个卷积层输出一个针对该植物结构图像的特征图。在一些实施例中，每个卷积层还连接一个池化层。为了增加对于树种的识别准确率，树叶、树干、树形等分别构建四个卷积层输出的4个特征图进行融合，不仅树叶、树干、树形单独融合，而且两两融合得到融合图2，最终三种特征融合得到融合图3，所用融合特征图汇聚到分类网络，从而将12个卷积神经网络模型连接在一起。

如图7所示，特征融合方法可以表述为，定义模式空间Ω＝{ω

以VGG16网络为例，分别采用树叶、树干、树形训练样本数据集同时进行训练，然后融合后至分类网络进行分类，将融合函数定义为：

f:х

式中：х

融合算法采用级联融合算法，级联融合函数如下：

y

保留了4个特征图的结果，这种融合函数通常在全连接层。并将融合后的特征图的通道数变为原特征图的四倍，表示为：

其中，y∈R

S1233，基于所述融合特征图，利用预先训练的到的分类网络进行分类，确定所述第一关键帧对应的所述目标树种。

在一些实施例中，可以通过迁移学习的方法训练全连接神经网作为分类网络，该网络接收步骤S1232输出的融合后的特征图，根据融合后的特征图输出第一关键帧对应的目标树种。

S124，在预先保存的多个树种的样本帧序列中，提取与所述目标树种相同的树种对应的样本帧序列，并将所述与所述目标树种相同的树种对应的样本帧序列作为与所述第一关键帧同一树种的目标样本帧序列。

应理解，森林中的树木外观会随季节甚至节气而变化，传统的针对单一树叶、树干或树形的识别，会因树木的生长状态变化的影像导致识别的准确率下降。另外，单拍摄点或单角度采集树木图像的方式，也会因为树木的生长变化或环境因素导致采集到的图像中的树木特征不明显，进而导致识别准确率下降。本申请实施例通过采用多组拍摄参数，例如多角度、多焦距等，获得第一关键帧，通过对第一关键帧的处理将树木的单一植物结构提取出来，分别采用卷积网络输出特征图，并对特征图进行融合的方法在单一特征的基础上，实现两两交互，三合一的特征融合，实现由微见大的目标识别，提高了对树种识别的准确率。

在上述图1所示的森林生态状况的监测方法的实施例的基础上，如图8所示，所述监测方法还包括步骤S810至S840：

S810，获取第一时刻的多个点位的光谱图像集；所述光谱图像集为针对所述目标林地，由光谱相机拍摄的图像组成。

其中，光谱相机包括多光谱相机、高光谱相机，也称叶绿素相机。

在一些实施例中，针对目标林地，布设多个点位的光谱相机。例如，可以在不同间距，不同角度布设多个光谱相机。其中，第一时刻与步骤S110中的第一时刻为同一时刻。

S820，根据所述光谱图像集确定第一叶绿素指标。

在一些实施例中，计算光谱图像集中每个光谱图像的第一叶绿素含量，并对各个第一叶绿素含量进行线性拟合，基于线性拟合的结果确定第一叶绿素指标。

在一个具体的示例中，采用光谱分析技术，提取光谱图像集中单个光谱图像中的叶绿素含量。计算每个光谱图像中叶绿素含量的平均值，根据预设的误差阈值，删除叶绿素含量偏离平均值较大，也就是误差较大的图像。将其余的光谱图像的叶绿素含量线性拟合，其中线性回归的决定系数R2(也称为判定系数，拟合优度)需要大于90％，才证明拟合的准确性。计算不同点位与拟合线之间的垂直距离，进行距离求平均，将处于平均距离的点位记为第一叶绿素含量。

在一些实施例中，在根据所述光谱图像集确定第一叶绿素指标后，若线性拟合后，线性回归的决定系数R2(也称为判定系数，拟合优度)小于90％，也进行预警处理，生成预警信息。其中预警信息包括但不限于光谱图像、第一关键帧中的图像和第一叶绿素指标，以及线性回归的决定系数R2。

S830，基于预设的图像颜色特征与叶绿素的对应关系，根据所述第一关键帧中的图像，确定第二叶绿素指标。

在一些实施例中，目前的研究显示RGB色彩中的蓝色强度与叶绿素含量呈现强的正相关关系，可以基于目前的研究结果，提前计算好不同颜色特征与叶绿素之间的对应关系。示例性的，可以通过转换算公式或转换关系表来表达这种对应关系。其中，颜色特征包括色调、饱和度和强度。

在一些实施例中，根据第一关键帧中的各个图像，基于颜色特征与叶绿素之间的对应关系，计算每个图像的叶绿素含量，并对每个图像的叶绿素含量进行线性拟合，基于线性拟合的结果确定第二叶绿素指标。

在一些实施例中，利用上述实施例中的预设聚类中心，保留第一关键帧中包含树叶的树叶图像，基于颜色特征与叶绿素之间的对应关系，计算每个树叶图像的叶绿素含量，并对每个树叶图像的叶绿素含量进行线性拟合，基于线性拟合的结果确定第二叶绿素指标。具体的，基于预设聚类中心，保留第一关键帧中包含树叶的树叶图像，可以采用以下方式：确定预设聚类中心仅含树叶的图像的树叶聚类中心，计算每个第一关键帧中的图像的第一特征向量，计算每个第一特征向量到树叶聚类中心的聚类距离，剔除聚类距离大于预设聚类距离的第一关键帧中的图像。

在一些实施例中，针对第一关键帧的图像或树叶图像，计算每个图像中叶绿素含量的平均值，根据预设的误差阈值，删除叶绿素含量偏离平均值较大，也就是误差较大的图像。将其余的图像的叶绿素含量线性拟合，其中线性回归的决定系数R2(也称为判定系数，拟合优度)需要大于90％，才证明拟合的准确性。计算不同点位与拟合线之间的垂直距离，进行距离求平均，将处于平均距离的点位记为第二叶绿素含量。

S840，若所述第一叶绿素指标与所述第二叶绿素指标的差异超过预设叶绿素指标阈值，则生成预警信息。

在一些实施例中，预先设定叶绿素指标阈值，该叶绿素指标阈值用于表示通过两种不同的设备获取的叶绿素指标可容忍的差异，可以通过有限次的实验确定。通过将第一叶绿素指标与第二叶绿素指标做差后的差值与预设叶绿素指标阈值进行比较，如果该差值超过预设叶绿素指标阈值，也就是说大于预设叶绿素指标阈值，则是说明两种图像采集设备获取的图像中树叶的实际状态已经不再是设备差异导致的，很可能是树叶本身的状态导致的，因此需要进行预警。

其中，预警信息包括但不限于第一时刻的多个点位的光谱图像集中的光谱图像、第一关键帧中的图像、第一叶绿素指标和第二叶绿素指标，以及上述差值。

如图9所示，本申请实施例提供了通过第一关键帧与历史同期数据进行比对，若第一时刻与目标时刻的时间差超过预设时间阈值，则生成预警信息的检测方式。同时，还结合了基于光谱相机和第一关键帧之间叶绿素指标的比较，生成预警信息的检测方式。应理解，本申请实施例基于关键帧、融合算法、光谱识别等相互融合与相互对比并存，实现整个流程的多级确认，进一步提高了对森林生态状况识别的准确率。

图10示出了本申请实施例提供的一种采集关键帧序列的流程示意图，如图10所示，在实施本申请图1所示的实施例之前，本申请实施例提供的森林生态状况的监测方法，还包括步骤S1010至S1050，用以预先保存针对多个树种的多个样帧序列。

S1010，在一年的拍摄周期内，针对多个树种的林地以多组拍摄参数，在多个节气，分别拍摄多种天气条件下的第一关键帧。

在一些实施例中，以选定的时间t1作为时间基准，例如选定摄像设备安装年份的某一天，从t1开始，采集满一年的图像。在一些实施例中，采用和上述示例中采集第一关键帧相同的拍摄参数，例如与上述示例相同的焦距、距离、拍摄角度的组合进行拍摄，获取历史关键帧。在一年的拍摄周期内，重点根据天气变化，例如在晴、多云、雨、雪等天气条件下采集信息。根据树木生长特殊的节气采集信息，例如立春、雨水、惊蛰、春分、清明、谷雨、立夏、小满、芒种、夏至、小暑、大暑、立秋、处暑、白露、秋分、寒露、霜降、立冬、小雪、大雪、冬至、小寒、和大寒等节气。也就是说，采集多焦距、多拍摄角度、不同天气条件、不同节气条件的四个层次的图片信息。

在一些实施例中，在采集样本帧序列的过程中，通过将当前获取的图像帧与前一时刻获取的图像帧进行相似度比对，如果两组图像帧不满足第一相似度条件，则将当前帧作为第一关键帧。

S1020，基于预设聚类中心，去除第一关键帧中不包含目标植物结构的图像，得到第二关键帧；所述目标植物结构包括树叶、树干和树形至少之一。

其中，预设聚类中心以及获取预设聚类中心的方式可以参考以上示例。

S1030，对第二关键帧中的各个图像进行分割，提取目标植物结构图像，由各个目标植物结构图像组成第三关键帧。

在一些实施例中，采用预先训练的到的图像分割模型，提取目标植物结构图像，由各个目标植物结构图像组成第三关键帧。具体的实施方式可以参考以上示例。

S1040，对所述第三关键帧中的各个所述目标植物结构图像进行识别，确定第一关键帧对应的目标树种。

在一些实施例中，可以参考上述实施例中的步骤S1231至S1233确定第一关键帧对应的目标树种。

S1050，将所述第一关键帧作为历史关键帧保存在目标树种对应的样本帧序列。

在一些实施中，采用数据库的形式将所述第一关键帧作为历史关键帧保存在目标树种对应的样本帧序列。预先保存针对多个树种的多个样本帧序列，每个树种的样本帧序列包含一年时间跨度的多个历史关键帧。在一些实施例中，在将所述第一关键帧作为历史关键帧保存在目标树种对应的样本帧序列前，还包括将第一关键帧中的图像进行二值化处理。

对应于上述图1所示的森林生态状况的监测方法，图11示出的是本申请实施例提供的一种森林生态状况的监测装置M100，包括：

第一关键帧获取模块M110，用于获取第一时刻的第一关键帧；所述第一关键帧为针对目标林地的图像帧，所述图像帧中包含采用多组拍摄参数采集的图像集，所述第一关键帧与前一帧的相似度不满足第一相似条件。

目标样本帧序列确定模块M120，用于确定与所述第一关键帧同一树种的目标样本帧序列，所述目标样本帧序列包含一年时间跨度的多个历史关键帧。

目标样本帧确定模块M130，用于确定所述目标样本帧序列中与所述第一关键帧相似度满足第二相似条件的目标样本帧。

预警信息生成模块M140，用于若所述第一时刻与目标时刻的时间差超过预设时间阈值，则生成预警信息，所述目标时刻为采集所述目标样本帧的时刻。

可以理解的是，以上实施例中的各种实施方式和实施方式组合及其有益效果同样适用于本实施例，这里不再赘述。

图12为本申请一实施例提供的电子设备的结构示意图。如图12所示，该实施例的电子设备D10包括：至少一个处理器D100(图12中仅示出一个)处理器、存储器D101以及存储在所述存储器D101中并可在所述至少一个处理器D100上运行的计算机程序D102，所述处理器D100执行所述计算机程序D102时实现上述任意各个方法实施例中的步骤。

所述电子设备D10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器D100、存储器D101。本领域技术人员可以理解，图12仅仅是电子设备D10的举例，并不构成对电子设备D10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器D100可以是中央处理单元(Central Processing Unit，CPU)，该处理器D100还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器D101在一些实施例中可以是所述电子设备D10的内部存储单元，例如电子设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述电子设备D10的外部存储设备，例如所述电子设备D10上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器D101还可以既包括所述电子设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。