一种基于物联网感知的双特征融合的语义分割系统及方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于物联网感知的双特征融合的语义分割系统及方法。

背景技术

语义分割，旨在密集地将每个像素分配给相应的预定义类别，它逐渐成为计算机视觉领域研究越来越具有有吸引力的方向。由于深度学习方法具有强大的表示学习能力，语义分割领域的研究在自动驾驶、糖尿病视网膜病变和图像分析等许多物联网应用中取得了良好的性能。其中，特征融合的方式和网络的复杂性这两个重要因素显著地决定了语义分割方法的性能。具体而言，要精确地解析资源限制的物联网(Internet of Things,IoT)环境下的复杂场景，以一种高效而有效的方式编码鲁棒的多层次特征和不同的上下文信息，以实现准确、快速和轻量级的性能是极其重要和具有挑战性的。

现有的语义分割方法可以大致分为两类：面向精度的和面向效率的方法。在早期，以前的大多数工作都过于关注单一的视角：算法的识别准确性或算法的执行效率速度。在第一类方法中，语义分割模型的设计思路主要关注于如何集成多样化的特征，通过设计一个复杂的框架来实现高精度的分割性能。例如，研究学者提出金字塔式结构，空洞空间金字塔池化模块(ASPP)或上下文金字塔模块(CPM)，在骨干网络ResNet101(2048个特征图)尾端编码多尺度上下文信息，用于处理目标的多尺度变化问题。此外，U-型网络通过长跳连接操作直接融合层次特征，尽可能地提取不同层次的空间信息，从而实现精确的像素分割。另一方面，一种典型的非对称解码器结构也获得学者的广泛研究。ENet和ESPNet网络通过剪枝操作大幅度压缩网络规模，以非常快的速度在线处理大规模图像。为了提高语义分割方法的整体性能，近期语义分割文献在编码多层次特征和多尺度上下文信息时，呈现出统一兼顾分割网络高效性和有效性的趋势。具体地说，ERFNet在解码器部分大量采用具有不同膨胀率的分解卷积，使参数减少冗余，同时扩大了感受野。此外，研究者还提出了BiSenet、CANet和ICNet，可以通过几个轻量级子网络单独处理输入图像，然后将多层特征或深度上下文信息融合在一起。在近期研究中，CIFReNet通过引入特征细化和上下文集成模块来编码多层和多尺度信息，以实现准确和高效的场景分割。

虽然现有的研究在高精度或快速度方面取得了较好的分割性能，但目前的方法至少存在如下问题：1)在多层次信息融合过程中，依赖更多的时间与计算复杂度来完成特征提取的过程，导致模型学习效率低下且计算成本较高；2)通过元素级加法或级联操作直接融合多源信息的方法很少考虑如何缩小多层特征之间的语义性差距。因此，多种信息源之间的交互受到阻碍，导致分割精度不理想。

发明内容

针对现有技术中存在的上述问题，本发明提出一种基于物联网感知的双特征融合的语义分割系统及方法，实现精度、速度、存储与计算复杂度四方面综合性能的均衡。

一种基于物联网感知的双特征融合的语义分割方法，包括步骤:

S1、输入原图像，利用骨干网络对原图像进行特征编码，以获得不同尺度的特征；S2、通过两个注意力细化块对不同尺度的特征进行学习，以获取多级融合特征；

S3、对多级融合特征进行降维，以得到降维特征；

S4、用不同卷积尺度的深度可分解卷积分别对降维特征进行上下文编码，以获得不同尺度的局部特征；

S5、用全局均值池化层对降维特征进行全局池化，以获得全局特征；

S6、将全局特征以及不同尺度的局部特征进行通道拼接融合，以获得多尺度上下文融合特征；

S7、将降维特征、多尺度上下文融合特征进行通道拼接融合，以获得拼接特征；

S8、将拼接特征降维并进行上采样，以获得最终输出。

作为优选方案，步骤S1中具体为：

利用骨干网络对原图像进行特征编码，以获得第一、第二、第三特征，其中第一特征尺度为原图像尺度的1/4，第二特征尺度为原图像尺度的1/8，第三特征尺度为原图像尺度的1/16。

作为优选方案，步骤S2中包括以下步骤：

S2.1、通过第一注意力细化块对第一特征、第二特征进行融合，以输出语义特征；

S2.2、通过第二注意力细化块对语义特征以及第三特征进行融合，以获得多级融合特征。

作为优选方案，步骤S2.1中具体包括以下步骤：

S2.1.1、通过降采样层将第一特征映射至尺度与第二特征一致，以得到第一尺度特征；

S2.1.2、通过第一1*1卷积层将第一尺度特征的通道维度映射至与第二特征通道维数一致，以获得第一通道特征；

S2.1.3、将第一尺度特征与第二特征进行通道拼接融合，以获取第一融合特征；

S2.1.4、将第一融合特征分别输入第一自适应均值池化层和第一自适应最大池化层，以分别输出第一注意力向量、第二注意力向量；

S2.1.5、通过第一多层感知层对第一注意力向量、第二注意力向量进行非线性映射以输出第一混合注意力向量、第二混合注意力向量，将第一混合注意力向量、第二混合注意力向量进行融合，以输出第一融合混合注意力向量；

S2.1.6、对第一融合混合注意力向量做归一化处理，以获取第一归一化混合注意力向量；

S2.1.7、用第一归一化混合注意力向量加权映射第一通道特征；

S2.1.8、融合第二特征以及加权后的第一通道特征，以输出语义特征。

作为优选方案，步骤S2.2中具体包括以下步骤：

S2.2.1、通过上采样层将第三特征映射至尺度与第二特征一致，以得到第二尺度特征；

S2.2.2、通过第二1*1卷积层将第二尺度特征的通道维度映射至与第二特征通道维数一致，以获得第二通道特征；

S2.2.3、将第二尺度特征与语义特征进行通道拼接融合，以获取第二融合特征；

S2.2.4、将第二融合特征分别输入第二自适应均值池化层和第二自适应最大池化层，以分别输出第三注意力向量、第四注意力向量；

S2.2.5、通过第二多层感知层对第三注意力向量、第四注意力向量进行非线性映射以输出第三混合注意力向量、第四混合注意力向量，将第三混合注意力向量、第四混合注意力向量进行融合以输出第二融合混合注意力向量；

S2.2.6、对第二融合混合注意力向量做归一化处理，以获取第二归一化混合注意力向量；

S2.2.7、用第二归一化混合注意力向量加权映射第二通道特征；

S2.2.8、融合语义特征以及加权后的第二通道特征，以获得多级融合特征。

作为优选方案，步骤S2.1.4中所述的将第一融合特征分别输入第一自适应均值池化层和第一自适应最大池化层，以分别输出第一注意力向量、第二注意力向量，具体采用以下公式：

V

V

其中，V

作为优选方案，步骤S2.2.4中所述的将第二融合特征分别输入第二自适应均值池化层和第二自适应最大池化层，以分别输出第三注意力向量、第四注意力向量，具体采用以下公式：

V

V

其中，V

作为优选方案，步骤S2.1.5中所述通过第一多层感知层对第一注意力向量、第二注意力向量进行非线性映射以输出第一混合注意力向量、第二混合注意力向量，将第一混合注意力向量、第二混合注意力向量进行通道拼接融合，以输出第一融合混合注意力向量，具体采用以下公式：

V

步骤S2.2.5中所述通过第二多层感知层对第三注意力向量、第四注意力向量进行非线性映射以输出第三混合注意力向量、第四混合注意力向量，将第三混合注意力向量、第四混合注意力向量进行融合以输出第二融合混合注意力向量，具体采用以下公式：

V

其中，V

作为优选方案，步骤：S2.1.6、对第一融合混合注意力向量做归一化处理，以获取第一归一化混合注意力向量，S2.1.7、用第一归一化混合注意力向量加权映射第一通道特征，S2.1.8、融合第二特征以及加权后的第一通道特征，以输出语义特征，具体采用以下公式：

步骤：S2.2.6、对第二融合混合注意力向量做归一化处理，以获取第二归一化混合注意力向量，S2.2.7、用第二归一化混合注意力向量加权映射第二通道特征，S2.2.8、融合语义特征以及加权后的第二通道特征，以获得多级融合特征，具体采用以下公式：

其中，L

相应地，还提供一种基于物联网感知的双特征融合的语义分割系统，包括相连的多层特征融合模块以及轻量级语义金字塔模块；

多层特征融合模块包括骨干网络单元、校对单元；

轻量级语义金字塔模块包括第一降维单元、第二降维单元、第三降维单元、上下文编码单元、全局池化单元、第一通道拼接融合单元、第二通道拼接融合单元、上采样单元；

其中骨干网络单元与校对单元相连，校对单元分别与第一降维单元、第二降维单元相连，第一降维单元分别与上下文编码单元、全局池化单元相连，上下文编码单元、全局池化单元均与第一通道拼接融合单元相连，第二降维单元、第一通道拼接融合单元均与第二通道拼接融合单元相连，第二通道拼接融合单元还与第三降维单元相连，上采样单元与第三降维单元相连；

所述骨干网络单元，用于利用骨干网络对原图像进行特征编码，以获得不同尺度的特征；

所述校对单元，用于通过两个注意力细化块对不同尺度的特征进行学习，以获取多级融合特征；

第一降维单元以及第二降维单元均用于对多级融合特征进行降维，以分别输出第一降维特征、第二降维特征，第一降维特征以及第二降维特征两者相同；

上下文编码单元，用于通过不同卷积尺度的深度可分解卷积分别对第一降维特征进行上下文编码，以获得不同尺度的局部特征；

全局池化单元，用于通过全局均值池化层对第一降维特征进行全局池化，以获得全局特征；

第一通道拼接融合单元，用于对全局特征以及不同尺度的局部特征进行通道拼接融合，以获得多尺度上下文融合特征；

第二通道拼接融合单元，用于将第二降维特征、多尺度上下文融合特征进行通道拼接融合，以获得拼接特征；

第三降维单元，用于对拼接特征进行降维；

上采样单元，用于对降维后的拼接特征进行上采样，以获得最终输出。

本发明的有益效果是：

(1)提出了一个多层次特征融合模块(MFFM)，该模块采用两个递归的注意力细化块(ARBs)来有效地提高多层次特征融合的有效性。在可件计算成本可控的条件下，所提出的ARB通过利用高阶特征的抽象语义信息校对低阶特征中的空间细节信息，从而缓解多层次特征之间的语义差异性。

(2)提出了一种轻量级语义金字塔模块(LSPM)，该模块对卷积算子进行分解从而降低上下文信息编码的计算开销。此外，该模块将多级融合特征与多尺度上下文特诊进行融合，丰富信息的表示，从而提升了识别精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所述一种基于物联网感知的双特征融合的语义分割方法的流程图；

图2是本发明所述一种基于物联网感知的双特征融合的语义分割系统的结构示意图；

图3是本发明所述注意力细化块的结构示意图。

具体实施方式

以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

实施例一：

参照图1、2、3，本实施例提供了一种基于物联网感知的双特征融合的语义分割方法，包括步骤:

S1、输入原图像，利用骨干网络对原图像进行特征编码，以获得不同尺度的特征；

S2、通过两个注意力细化块对不同尺度的特征进行学习，以获取多级融合特征；

S3、对多级融合特征进行降维，以得到降维特征；

S4、用不同卷积尺度的深度可分解卷积分别对降维特征进行上下文编码，以获得不同尺度的局部特征；

S5、用全局均值池化层对降维特征进行全局池化，以获得全局特征；

S6、将全局特征以及不同尺度的局部特征进行通道拼接融合，以获得多尺度上下文融合特征；

S7、将降维特征、多尺度上下文融合特征进行通道拼接融合，以获得拼接特征；

S8、将拼接特征降维并进行上采样，以获得最终输出。

其中，步骤S1中具体为：

利用骨干网络对原图像进行特征编码，以获得第一、第二、第三特征，其中第一特征尺度为原图像尺度的1/4，第二特征尺度为原图像尺度的1/8，第三特征尺度为原图像尺度的1/16。

骨干网络的每一层都具有不同的特征表达能力。较浅的层包含更多的空间细节，但缺乏语义信息；而较深的层保留了丰富的语义信息，但丢失了大量的空间信息。直观地说，将多层信息融合在一起对学习区分性和综合性特征表示具有增益的效果。

基于上述观察，我们首先从骨干网络中获得不同尺度特征依次记为I

T’

T”

其中，GAP

虽然上述特征融合操作有利于多层次特征之间的互补信息的相互利用，但由于多层次阶段存在语义差异性，将低层次特征与高层次特征直接集成可能并非是有效和全面的。为了解决这个问题，本发明设计了一种特征细化策略，称为注意校对块(ARB)。两者都侧重于多层次融合特征的信道间关系建模。通过这种方法，当前通道位置包含有价值信息的特征时，模型可以强调与目标对象高度相关的神经元的权值。

即步骤S2中包括以下步骤：

S2.1、通过第一注意力细化块对第一特征、第二特征进行融合，以输出语义特征；

S2.2、通过第二注意力细化块对语义特征以及第三特征进行融合，以获得多级融合特征。

进一步地，步骤S2.1中具体包括以下步骤：

S2.1.1、通过降采样层将第一特征映射至尺度与第二特征一致，以得到第一尺度特征；

S2.1.2、通过第一1*1卷积层将第一尺度特征的通道维度映射至与第二特征通道维数一致，以获得第一通道特征；

S2.1.3、将第一尺度特征与第二特征进行通道拼接融合，以获取第一融合特征；

S2.1.4、将第一融合特征分别输入第一自适应均值池化层(AAP)和第一自适应最大池化层(AMP)，以分别输出第一注意力向量、第二注意力向量；自适应均值池化层(AAP)和自适应最大池化层(AMP)均通过为多级融合特征的所有通道赋予权重来建模各个特征通道的重要程度。当前特征通道的重要性越高，则该层所对应的权值越大。

S2.1.5、通过第一多层感知层对第一注意力向量、第二注意力向量进行非线性映射以输出第一混合注意力向量、第二混合注意力向量，用于提升特征的非线性和鲁棒性，将第一混合注意力向量、第二混合注意力向量进行融合，以输出第一融合混合注意力向量；

S2.1.6、对第一融合混合注意力向量做归一化处理，以获取第一归一化混合注意力向量；

S2.1.7、用第一归一化混合注意力向量加权映射第一通道特征；

S2.1.8、融合第二特征以及加权后的第一通道特征，以输出语义特征。

进一步地，步骤S2.2中具体包括以下步骤：

S2.2.1、通过上采样层将第三特征映射至尺度与第二特征一致，以得到第二尺度特征；

S2.2.2、通过第二1*1卷积层将第二尺度特征的通道维度映射至与第二特征通道维数一致，以获得第二通道特征；

S2.2.3、将第二尺度特征与语义特征进行通道拼接融合，以获取第二融合特征；

S2.2.4、将第二融合特征分别输入第二自适应均值池化层和第二自适应最大池化层，以分别输出第三注意力向量、第四注意力向量；

S2.2.5、通过第二多层感知层对第三注意力向量、第四注意力向量进行非线性映射以输出第三混合注意力向量、第四混合注意力向量，将第三混合注意力向量、第四混合注意力向量进行融合以输出第二融合混合注意力向量；

S2.2.6、对第二融合混合注意力向量做归一化处理，以获取第二归一化混合注意力向量；

S2.2.7、用第二归一化混合注意力向量加权映射第二通道特征；

S2.2.8、融合语义特征以及加权后的第二通道特征，以获得多级融合特征。

进一步地，步骤S2.1.4中所述的将第一融合特征分别输入第一自适应均值池化层和第一自适应最大池化层，以分别输出第一注意力向量、第二注意力向量，具体采用以下公式：

V

V

其中，V

步骤S2.2.4中所述的将第二融合特征分别输入第二自适应均值池化层和第二自适应最大池化层，以分别输出第三注意力向量、第四注意力向量，具体采用以下公式：

V

V

其中，V

进一步地，步骤S2.1.5中所述通过第一多层感知层对第一注意力向量、第二注意力向量进行非线性映射以输出第一混合注意力向量、第二混合注意力向量，将第一混合注意力向量、第二混合注意力向量进行通道拼接融合，以输出第一融合混合注意力向量，具体采用以下公式：

V

步骤S2.2.5中所述通过第二多层感知层对第三注意力向量、第四注意力向量进行非线性映射以输出第三混合注意力向量、第四混合注意力向量，将第三混合注意力向量、第四混合注意力向量进行融合以输出第二融合混合注意力向量，具体采用以下公式：

V

其中，V

进一步地，步骤：S2.1.6、对第一融合混合注意力向量做归一化处理，以获取第一归一化混合注意力向量，S2.1.7、用第一归一化混合注意力向量加权映射第一通道特征，S2.1.8、融合第二特征以及加权后的第一通道特征，以输出语义特征，具体采用以下公式：

步骤：S2.2.6、对第二融合混合注意力向量做归一化处理，以获取第二归一化混合注意力向量，S2.2.7、用第二归一化混合注意力向量加权映射第二通道特征，S2.2.8、融合语义特征以及加权后的第二通道特征，以获得多级融合特征，具体采用以下公式：

其中，L

从技术上讲，ARB的设计可以看作是一种信息校对策略，两种基于注意力的路径以互补的方式预测每个通道的重要性，从而将更多的语义信息转移到低级特征中，以缓解不同层次特征之间的语义差异性，从而实现有效的特征融合。以下部分的实验结果验证了该设置的有效性。值得注意，ARB总共只有0.03M参数量，并且整个多级特征融合保持了轻量级的计算规模。

进一步的，为了加强上下文提取模块的计算效率，本发明提出了深度可分解卷积(DFC)操作来取代标准的卷积层。受到深度可分离卷积与分解卷积的启发，一种主要的轻量化特征提取思路是整合上述两种技术的思想。首先，利用正则化层与激活函数作为两步预处理步骤来提升卷积层的正则性；其次，对3×3的深度卷积进行分解，分别获得尺度为3×1与1×3两组一维的深度可分离卷积层。通过上述方式，所有通道上密集的卷积核将一致地保持稀疏性，从而降低了卷积的计算复杂度与资源开销。最终，将所有尺度的局部特征与全局特征进行融合获得多尺度上下文融合特征。

在对多尺度上下文进行编码后，进一步利用降维后的多级融合特征与全局特征以及不同尺度的局部特征进行结合，预测最终分割结果。上述设计有两个优点：一方面，多层次的信息和多尺度的上下文信息都被集成在一个统一的系统中，以实现更有效的特征表示；另一方面，采用跳跃连接可以鼓励前层多级信息的信息传递与梯度传导，从而提高识别的效率。

本发明的技术关键点在于：

(1)发明了一种新颖的面向物联网的双特征融合实时语义分割网络(DFFNet)。与先进的方法相比，DFFNet降低了约2.5倍的FLOPs并提升了1.8倍的模型执行速度，同时获得了更好的精度。

(2)提出了一个多层次特征融合模块(MFFM)，该模块采用两个递归的注意校对块(ARBs)来有效地提高多层次特征融合的有效性。在可件计算成本可控的条件下，所提出的ARB通过利用高阶特征的抽象语义信息校对低阶特征中的空间细节信息，从而缓解多层次特征之间的语义差异性。

(3)提出了一种轻量级语义金字塔模块(LSPM)，该模块对卷积算子进行分解从而降低上下文信息编码的计算开销。此外，该模块将多级融合特征与多尺度上下文特诊进行融合，丰富的信息的表示，从而提升了识别精度。

进一步地，本实施例还在多个数据集上与现有方法进行对比以验证本发明的有效性。

数据集：本发明所使用的数据集为公认的标准场景感知数据集Cityscapes，由25000张带注释的2048×1024张分辨率图像组成。注释集包含30个类，其中19个类用于训练和评估。在本发明的实验中，只使用了5000张带精细注释的图像。有2975张图像用于训练，500张图像用于验证，还有1525张图像用于测试。

参数设置：所有实验都在NVIDIA1080TiGPU卡。我们对图像进行0.5到1.5倍的随机缩放，并对所有训练集随机采用随机左右翻转操作。此外，将初始学习率设置为0.005，并使用poly策略对学习率进行衰减。利用随机梯度降优化算法，通过最小化像素交叉熵损失来训练网络，其中动量为0.9，权重衰减为5e-4。最后，在所有常规卷积层或扩张卷积层之前应用批处理归一化层，以实现快速收敛。

评价指标：本发明采用语义分割领域公认的四种评价指标：分割精度，推理速度，网络参数和计算复杂度。

多级特征融合模块消融实验：

如表1所示，本发明将四种多层次特征融合模型与基准模型进行了比较：元素加法融合(EAF)、平均池注意力细化(AAR)、最大化注意力细化(MAR)以及联合使用AAR和MAR。如表所述，EAF的性能仅比基准网络高1.12％，这表明直接融合多层次特征是一种次优方案。与基准网络相比，AAR和MAR实现了2.61％的mIoU和2.54％的mIoU性能提升，这说明建模通道之间的相互依赖关系可以缩小多层次特征之间的语义差异性。本发明所提的双边池化注意力策略对显著性信息与全局性信息进行了相互补偿。因此，与AAR和MAR相比，MFFM实现了0.55％mIoU和0.62％mIoU的进一步提升。另外，所提出的MFFM增加的额外计算可以忽略不计(只有0.06M参数和0.11GFLOPs)，上述结果验证了所提出的模块的高效性和有效性。

表1多级特征融合模块的消融学习

轻量级语义金字塔模块的消融实验：

该试验评估了轻量级语义金字塔模块的性能。SC-SPM、FC-SPM、DC-SPM和DFC-SPM分别表示具有四个语义金字塔模块的方法，这些模块分别建立在常规卷积、分解卷积、深度卷积和深度可分解卷积之上。如表2所示，1)与基准模型EAF相比，具有语义金字塔模块的语义分割方法可以提高约1.11％-2.70％的mIOU分割精度，表明提取局部和全局上下文信息可以显著提高模型的学习能力。2)尽管SC-SPM、FC-SPM、DC-SPM和DFC-SPM实现了相似的精度性能，但构建基于高效卷积的语义金字塔模块比构建基于常规卷积的模块实现了更优的效率(更快的速度和更少的计算复杂度)。DFC-SPM获得71.02％IU，只增加了0.05M额外参数与0.20G FLOPs。3)LSPM通过设计一个短距离特征学习操作集成上下文信息和多层次特征信息，用于鼓励前层多级信息的信息传递与梯度传导。因此，DFC-SPM方法的精度性能从71.02％mIoU提高到71.65％mIoU。上述结果证明了所提的LSPM的高效性和有效性。

表2轻量级语义金字塔模块的消融学习

在基准数据集上的评估：

在Cityscapes数据集上，将DFFNet与其他现有语义分割方法进行了比较。“-”表示方法没有公布相应的性能值。

表3在Cityscapes数据集上本章方法与对比方法的综合性能

如表3所示，SegNet和ENET以牺牲分割精度为代价通过大幅度压缩模型规模来提高速度。LW-Refine Net和ERFNet设计一种非对称编解码器结构以保持精确和效率的平衡。BeSiNet、CANet和ICNet采用多分支结构，在精度和速度之间取得良好的均衡，但引入了更多的额外学习参数。相反，DFFNet实现了更好的准确性和效率性能，尤其体现在网络参数(1.9M参数量)和计算复杂度(3.1GFLOPs)的减少。此外，FCN和Dilation10使用计算高成本的VGG骨干网络(例如VGG16和VGG19)作为特征提取器，处理图像需要2秒以上。DRN、DeepLabV2、RefinineNet和PSPNet采用深ResNet骨干网络(例如ResNet50和ResNet101)以增强多尺度特征表示，需要大量的计算成本和内存使用。与这些以精度为导向的方法相比，本发明方法处理640×360分辨率的图像仅需12ms，同时实现了71.0％mIoU的分割精度。

综上所述，本发明方法在精度和效率(推理速度、网络参数和计算复杂度)实现了综合的分割性能，这使其在资源有限的物联网设备上具有较大的部署潜力。

实施例二：

参照图3,本实施例提供了一种基于物联网感知的双特征融合的语义分割系统，包括相连的多层特征融合模块以及轻量级语义金字塔模块；

多层特征融合模块包括骨干网络单元、校对单元；

轻量级语义金字塔模块包括第一降维单元、第二降维单元、第三降维单元、上下文编码单元、全局池化单元、第一通道拼接融合单元、第二通道拼接融合单元、上采样单元；

其中骨干网络单元与校对单元相连，校对单元分别与第一降维单元、第二降维单元相连，第一降维单元分别与上下文编码单元、全局池化单元相连，上下文编码单元、全局池化单元均与第一通道拼接融合单元相连，第二降维单元、第一通道拼接融合单元均与第二通道拼接融合单元相连，第二通道拼接融合单元还与第三降维单元相连，上采样单元与第三降维单元相连；

所述骨干网络单元，用于利用骨干网络对原图像进行特征编码，以获得不同尺度的特征；

所述校对单元，用于通过两个注意力细化块对不同尺度的特征进行学习，以获取多级融合特征；

第一降维单元以及第二降维单元均用于对多级融合特征进行降维，以分别输出第一降维特征、第二降维特征，第一降维特征以及第二降维特征两者相同；

上下文编码单元，用于通过不同卷积尺度的深度可分解卷积分别对第一降维特征进行上下文编码，以获得不同尺度的局部特征；

全局池化单元，用于通过全局均值池化层对第一降维特征进行全局池化，以获得全局特征；

第一通道拼接融合单元，用于对全局特征以及不同尺度的局部特征进行通道拼接融合，以获得多尺度上下文融合特征；

第二通道拼接融合单元，用于将第二降维特征、多尺度上下文融合特征进行通道拼接融合，以获得拼接特征；

第三降维单元，用于对拼接特征进行降维；

上采样单元，用于对降维后的拼接特征进行上采样，以获得最终输出。

需要说明的是，本实施例提供的一种基于物联网感知的双特征融合的语义分割系统，与实施例一类似，在此不多做赘述。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。