一种基于神经网络获取海草面积的方法、装置及设备

技术领域

本发明涉及海洋图像处理技术领域，具体为一种基于神经网络获取海草面积的方法、装置及设备。

背景技术

图像处理广泛应用到各行业的数据处理和提取中，用以获取丰富的信息。图像的语义分割是图像处理中的一种手段，语义分割指的是计算机根据图像的语义（内容本体）进行分割处理，目的是在图像中分配像素级标签。神经网络的蓬勃发展极大地促进语义分割的性能的各种突破，在许多应用需求领域中都得到了快速的发展。

海洋是近些年研究重点领域，海草不仅是海洋生态系统的重要研究主体，其作为一种碳源更是大气环境研究的重要主体。在以往研究当中，常通过实地勘测标记出海草床的面积，进而获取海草床的碳汇量，但这种方法耗时费力，成本较高。

海洋图像获取已是一种成熟技术，海洋图像处理可为海洋资源调查和海洋环境监测等研究提供巨大便利。

发明内容

本发明的目的提供了一种基于神经网络获取海草面积的方法、装置及设备。

本发明技术方案如下：

本发明提供一种基于神经网络获取海草面积的方法，包括如下操作：

步骤一：获取海草图像数据集，使用短期密集连接网络与双向分割网络的融合网络对海草图像数据集进行初始分割，得到初始的海草床分割图像；

步骤二：所述初始的海草床分割图像依次经过分割头处理、分割损失处理、细节提取头处理和细节提取损失处理，得到细化的海草床分割图像：

步骤三：所述细化的海草床分割图像进行细节引导处理，得到精细的海草床分割图像；

步骤四：基于所述精细的海草床分割图像，得到海草面积。

如上所述的方法，所述海草面积S可通过以下计算公式得到：

S为海草面积，f（x）为映射坐标点位的所对应基础值，x为映射坐标点位，

如上所述的方法，步骤二中，所述初始的海草床分割图像依次经过分割头处理、分割损失处理、细节提取头处理和细节提取损失处理，具体为依次通过分割头函数、分割损失函数、细节提取头函数和细节损失函数实现。

如上所述的方法，步骤三中，所述细节引导处理，具体为通过语义分割处理所述细化的海草床分割图像生成二进制细节，将所述二进制细节转换为带有边、角信息的图像，即得到所述精细的海草床分割图像。

如上所述的方法，所述短期密集连接网络与双向分割网络的融合网络中，设有后采样处理模块，所述后采样处理模块的采样比为8。

本发明提供一种基于神经网络获取海草面积的装置，包括：

融合网络模块：对海草图像数据集进行初始分割，得到初始的海草床分割图像；

再细化分割模块：对所述初始的海草床分割图像依次进行分割头处理、分割损失处理、细节提取头处理和细节提取损失处理，得到细化的海草床分割图像；

细节引导模块；对所述细化的海草床分割图像进行细节引导处理，得到精细的海草床分割图像；

海草面积生成模块：基于所述精细的海草床分割图像，得到海草面积。

如上所述的装置，融合网络模块是通过以下方式构建的：

将UNET++网络与短期密集连接模块连接，得到短期密集连接网络，经过训练后，得到海草识别模型，将所述海草识别模型与双向分割网络进行融合，得到所述融合网络模块。

如上所述的装置，所述再细化分割模块包括：

分割头模块：用于处理初始的海草床分割图像，得到第一再分割图像；

分割损失处理：用于处理所述第一再分割图像，得到第二再分割图像；

细节提取头处理：用于处理所述第二再分割图像，得到第一再细化图像；

细节提取损失处理：用于处理所述第一再细化图像，得到所述细化的海草床分割图像。

本发明提供一种基于图像处理获取海草面积的设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的一种基于神经网络获取海草面积的方法。

本发明提供一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的一种基于神经网络获取海草面积的方法。

本发明的有益效果在于：

本发明提供的一种基于神经网络获取海草面积的方法，使用短期密集连接网络与双向分割网络获得处理速度快，分割性能损失小的融合网络，将海草图像数据集经融合网络处理，然后又经过分割头处理、分割损失处理、细节提取头处理和细节提取损失处理，最后又经细节引导处理，有利于铺捉到海草图像数据集当中更多的特征细节信息，有利于获取细节丰富的海草床分割图像，有利于获取高精度的海草分割图像，然后基于高精度的海草分割图像得到海草面积，有利于提升海草面积结果的准确性；

本发明提供的一种基于神经网络获取海草面积的方法，基于海草分割图像得到高准确度的海草面积，该方法基于软件计算海草图像数据集，相比于人工实地测绘，具有省时省力的优点，且获得的海草面积具有较高的准确度，可大力推广使用。

附图说明

通过阅读下文优选实施方式的详细描述，本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

在附图中：

图1为实施例中方法的流程示意图；

图2为实施例中短期密集连接模块的结构示意图，a图为短期密集连接模块总体结构的示意图，b图为普通STDC模块的示意图，c图为步幅为3的STDC模块的示意图；

图3为实施例中海草分割模型的结构示意图，a图为海草分割网络的结构示意图，b图为再分割细化模块的结构示意图，c图为细节引导模块的结构示意图；

图4为实施例中装置的结构示意图；

图5为实施例中设备的结构示意图。

具体实施方式

下面将结合附图更详细地描述本公开的示例性实施方式。

本实施例提供一种基于神经网络获取海草面积的方法，参见图1，包括如下操作：

步骤一：获取海草图像数据集，使用短期密集连接网络与双向分割网络的融合网络对海草图像数据集进行初始分割，得到初始的海草床分割图像；

步骤二：所述初始的海草床分割图像依次经过分割头处理、分割损失处理、细节提取头处理和细节提取损失处理，得到细化的海草床分割图像：

步骤三：所述细化的海草床分割图像进行细节引导处理，得到精细的海草床分割图像；

步骤四：基于所述精细的海草床分割图像，得到海草面积。

具体为：

1 获取融合网络

在本实施例中，将UNET++网络与短期密集连接模块连接起来，获取图像信息处理速度更快，分割性能损失小的短期密集连接网络，然后将海草识别模型和双向分割网络（Bilateral Segmentation Network，BiseNet）进行融合，获得融合网络。

1.1 UNET++网络

UNET++网络是UNET网络的升级。UNET网络中存在网络最优深度未知的问题，处理效率较低。针对该问题，UNET++网络做出了以下优化：利用不同深度UNET的有效集成（这些UNET共享一个编码器），通过监督学习来搜索最优深度；重新设计跳跃连接（skipconnection），使得解码器的子网络可以聚合不同尺度的特征，更加灵活；利用剪纸技术来提高网络的推理速度。简单来说，UNET++网络是一种综合长链接与短链接架构的网络，它能够抓取不同层次的特征，并将它们通过特征叠加的方式进行整合，且加入更浅的U-Net结构，使得融合时的特征图尺度差异更小。

1.2 短期密集连接模块

参见图2，短期密集连接模块能够将多个不同的连续相应层的图像特征连接起来，实现了图像的多尺度特征表示，有利于提升了信息处理速度，并且还可以有效减少分割性能损失。

图2中a图为短期密集连接模块总体结构、图2中b图为短期密集连接模块总体结构中的普通短期密集级联模块（Short-Term Dense Concatenate，STDC），图2中的c图为步幅为3的STDC模块，即本实施例中使用的STDC模块。

M是输入特征图通道数，N是输出特征图通道数；ConvX操作也是Conv BN ReLU，包含三个操作，分别为卷积操作、批归一化操作（Batch Normalization，BN）和ReLU激活函数激活操作，其中，

参见图2中的a图，短期密集连接模块总体结构包含了6个阶段（以下阶段简称Stage），Stage1和Stage2用于表层特征提取，Stage3、Stage4和Stage5用于实施特征图下采样工作，Stage6是输出。

关于特征图，需要解释的是，因在每个卷积层中，数据都是以三维形式存在的，可以将其看成许多个二维图片叠在一起，其中每一个图片称为一个特征图。在输入层，如果是灰度图片，那就只有一个特征图；如果是彩色图片，则有3个颜色分别为红、绿、蓝的特征图。卷积层层与层之间会有若干个卷积核（kernel），上一层以及每个特征图跟每个卷积核做卷积，都会产生下一层的一个特征图。

参见图2中的c图，STDC模块中，第一个块的卷积核尺寸为1×1，其余块的卷积核尺寸大小为3×3，可使特征图的处理效果最好，效率最高，提取到的数据更加精确。

同时，STDC模块的最终输出通道数为N，除最后一个块外，第i个块的输出通道数为(

为了能够更高效率地综合图像特征，以便于能够高质量地勾勒出图像并作标记。基于计算效率的前提之下，将所有块的融合计算都串联起来。因此便推得短期密集连接模块的参数公式为：

短期密集连接模块的最终输出是：

1.3 获得短期密集连接网络

将短期密集连接模块与UNet++网络耦合便得到了短期密集连接网络，可极大程度上提升图像识别与计算面积任务中的性能。

具体为，在UNet++网络上下采样之间连接短期密集连接模块，即在UNET++网络上采样结束之后，融合下采样的特征图的位置，无缝衔接进来了短期密集连接网络模块。UNET++网络与短期密集连接模块相互影响，相互控制。

1.4获得海草识别模型

利用遥感卫星等途径获取目标研究区域的海草图像数据集，并利用海草图像数据集训练短期密集连接网络，以获取训练参数，将训练参数导入短期密集连接网络后，获得海草识别模型。

1.5 融合海草识别模型和双向分割网络

将海草识别模型和双向分割网络（Bilateral Segmentation Network，BiseNet）进行融合，获得分割效果好的融合网络，即海草分割网络。

具体为，将海草识别模型与双向分割网络融合，BiseNet网络作为海草识别模型的底层框架，形成海草分割网络，参见如图3中a图所示的海草分割网络框架。在分割处理得过程中，海草识别模型表现为作为分割海草图像数据集的编码器，而BiseNet网络可对海草图像数据集中的上下文信息进行编码。BiseNet网络中包含空间路径和上下文路径，可将空间信息保存和接受域提供的功能解耦成两条路径，且BiseNet网络中设有特征融合模块（Feature Fusion Module，FFM）和注意细化模块（Attention refinement module，ARM），可进一步提高分割精度。

2 获取初始的海草分割图像

为获取带有标记信息（不同颜色）的海草床图像，以便后续进行海草面积计算，将海草图像数据集输入至海草分割网络中，针对输入的海草图像数据集，分割模型中的短期密集连接模块开始进行分割处理，Stage1和Stage2用于提取表层特征，接着Stage3、Stage4和Stage5进行下采样操作，下采样率分别为1/8、1/16、1/32。

在本实施例中，为了减少计算量，提高分割效率，Stage1和Stage2中使用1个卷积层，Stage3、Stage4和Stage5中均使用2个卷积块。

经Stage3处理后的下采样信息，会和Stage5处理后得到的一部分下采样信息直接进入FFM模块中进行进一步的特征信息提取，而经Stage4处理后的下采样信息和Stage5处理后的另一部分下采样信息，会先进入ARM模块中进行注意细化处理，然后再进入FFM模块中进行充分的融合。

其中，ARM模块中采用了全局池化层方法（Global Average Pooling，GAP）来捕获全局上下文，并计算一个注意向量来指导特征学习，这种设计可以细化上下文路径中每个阶段的输出特性，且无需上采样操作，可轻松集成全局上下文信息，在提高细化处理的基础上，能够获得更丰富的信息。

经FFM模块融合后的信息，再经过后采样模块的后采样处理后，输出可得初始的海草床分割图像。

在本实施例中，为得到分割效果更好，细节更丰富的初始的海草床分割图像，在后采样处理后当中，设置采样比为8。

3 获取细化的海草分割图像

为捕捉到海草床数据集当中更多的空间特征细节信息，因此需要将初始的海草床分割图像进行再分割细化处理，以获取细化的海草床分割图像。

在本实施例中，为达到上述目的，参见图3中b图，在海草分割网络的基础上加入再分割细化模块，具体为，在海草分割网络之后接入再分割细化模块，用其处理初始的海草床分割图像，可获得信息较初始的海草床分割图像更丰富的数据，即获得细化的海草床分割数据。

再分割细化处理的操作包括再分割处理和再细化处理，具体为，再分割处理包括将分割头处理和分割损失处理，再细化处理的操作中包括细节提取头处理和细节提取损失处理。

初始的海草床分割图像依次经过分割头处理和分割损失处理后，再依次经细节提取头处理和细节提取损失处理，可以达到捕捉到更多空间特征细节信息，获得细节更丰富的数据，即获得细化的海草床分割图像的目的。

分割头处理，可通过分割头函数（Seg Head函数）实现，Seg Head函数为

分割损失处理，可通过分割损失函数（Seg Loss函数）实现，Seg Loss函数为

细节提取头处理，可通过细节提取头函数（Detail Head函数）实现，Detail Head函数为

细节损失处理，可通过细节损失函数（Detail Loss函数）实现，Detail Loss函数为

为删除掉细化的海草床分割图像中可能存在的多余信息，获取有用信息，提高后续处理速度，在本实施例中，分割头处理和细节提取头处理的操作中均采用3×3的卷积层处理、批归一处理、ReLU激活和1×1的卷积层处理。

4 获取精细的海草分割图像

为进一步丰富细化的海草床分割图像中的信息，使其能够清楚反映出海草特征，本实施例中，在再分割细化模块的基础上加入细节引导模块，参见如图3中的c图，用其处理细化的海草分割图像，可获得信息相比细化的海草床分割数据更丰富的海草图像，即获得精细的海草床分割图像。

具体为，在再分割细化模块的之后接入细节引导模块，可实现对细化的海草床分割图像进行细节引导处理。细节引导处理时通过语义分割处理细化的海草床分割图像生成二进制细节，然后将二进制细节转换为带有边、角信息的图像，得到精细的海草床分割图像

具体为，细节引导处理通过其内部的细节聚合模块（Detail Aggregationmodule）对细化的海草床分割图像中地面实况（ground-truth）进行语义分割，生成二进制细节，该操作可通拉普拉斯核的二维卷积核（初始算子为1，拉普拉斯附加算子为-8）和一个可训练的1×1卷积实现，最后再采用阈值0.1将二进制细节转换为带有边、角信息的图像，输出即获得了精细的海草床分割图像。

5 获取海草面积

在本实施例中，利用Matlab中的蒙特卡罗算法对精细的海草床分割图像进行面积计算，从而求得海草面积。

即通过在图像中特定区域内随机选取大量像素点，统计像素点落在蒙特卡罗函数区域内的频率，以此频率速算海草面积。

海草面积S计算公式如下：

f（x）为蒙特卡罗算法，表示为映射坐标点位的所对应基础值，x为映射坐标点位，a为落入像素点对应的最小横坐标，b分别为落入像素点对应的最大横坐标，n为海草总数量，i为坐标点位。

本实施例提供一种基于神经网络获取海草面积的装置，参见图4，包括：

融合网络模块：对海草图像数据集进行初始分割，得到初始的海草床分割图像；

再细化分割模块：对初始的海草床分割图像依次进行分割头处理、分割损失处理、细节提取头处理和细节提取损失处理，得到细化的海草床分割图像；

细节引导模块；对细化的海草床分割图像进行细节引导处理，得到精细的海草床分割图像；

海草面积生成模块：基于精细的海草床分割图像，得到海草面积。

其中，融合网络模块是通过以下方式构建的：将UNET++网络与短期密集连接模块连接，得到短期密集连接网络，经过训练后，得到海草识别模型，将海草识别模型与双向分割网络进行融合，得到融合网络模块。

另外，再细化分割模块包括：

分割头模块：用于处理初始的海草床分割图像，得到第一再分割图像；

分割损失处理：用于处理第一再分割图像，得到第二再分割图像；

细节提取头处理：用于处理第二再分割图像，得到第一再细化图像；

细节提取损失处理：用于处理第一再细化图像，得到细化的海草床分割图像。

本实施例提供一种基于图像处理获取海草面积的设备，参见图5，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的一种基于神经网络获取海草面积的方法。

本发明提供一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的一种基于神经网络获取海草面积的方法。

本实施例提供的一种基于神经网络获取海草面积的方法，使用短期密集连接网络与双向分割网络获得处理速度快，分割性能损失小的融合网络，将海草图像数据集经融合网络处理，然后又经过分割头处理、分割损失处理、细节提取头处理和细节提取损失处理，最后又经细节引导处理，有利于铺捉到海草图像数据集当中更多的特征细节信息，有利于获取细节丰富的海草床分割图像，有利于获取高精度的海草分割图像，然后基于高精度的海草分割图像得到海草面积，有利于提升海草面积结果的准确性；

本实施例提供的一种基于神经网络获取海草面积的方法，基于海草分割图像得到高准确度的海草面积，该方法基于软件计算海草图像数据集，相比于人工实地测绘，具有省时省力的优点，且获得的海草面积具有较高的准确度，可大力推广使用。