一种遥感图像目标检测方法、系统、设备以及存储介质

技术领域

本发明实施例涉及图像处理技术领域，具体是一种遥感图像目标检测方法、系统、设备以及存储介质。

背景技术

在图像处理技术中，随着深度学习的不断发展，将卷积神经网络方法应用在图像处理中取得了很好的效果。目标检测任务是深度学习这一领域非常重要的一部分，将其应用在遥感图像上，对于海域监测、城市规划、资源调查、监控海运交通、水域监管、保护领土安全等都有非常重要的意义。

目标检测的主要任务是对图像中出现的目标物体进行分类和定位，检测方法主要分为两大类：Anchor-based和Anchor-free。

其中，Anchor-based的方法分为两种，一种是两步检测法，另外一种是单步检测法。两步检测法需要先将图像输入进卷积神经网络去提取相应的特征得到特征图，然后利用一个小的RPN网络去预设先验框Anchor，对先验框Anchor进行目标与背景的二分类以及粗略的位置调整，将微调后的框与特征图送入后续的网络提取框内部的特征向量，进行多类别的分类和位置调整，通过对网络的不断训练降低损失，得到最终的检测结果。两步检测法有两次的位置调整过程，对于目标的定位比较准确，但是非常的耗时、速度不够快。单步检测法是同样预设先验框，但只有一次的位置调整过程，虽然检测的速度比较快，但是精度较低，定位不够准确。

另外，Anchor-free的方法是不需要预设先验框Anchor，直接检测图像中目标的关键点，通过关键点之间的匹配即可以定位目标位置，并判断目标的类别，如2018年Hei Law、Jia Deng等人在ECCV上发表的‘CornerNet:Detecting Objects as Paired Keypoints’文章，检测属于目标左上角点和右下角点的概率，通过一定的匹配机制对角点进行匹配得到检测框的位置；2019年，Kaiwen Duan、Song Bai、Lingxi Xie等人在CVPR上发表的‘CenterNet:Keypoint Triplets for Object Detection’，除了检测目标的左上角点和右下角点，还增加了中心点检测，进一步提升了检测的精度。关键点检测的方法没有先验框的预设，因此减少了一些超参数的配置，同时也缓解了引入先验框Anchor所造成的正负样本不均衡的问题，但检测效果还需要进一步的提高。

尽管目标检测技术在自然场景图像中已经取得了不错的成果，但是将其直接应用在遥感图像上会存在一定的问题，这些问题是由于自然场景图像与遥感图像中目标特点不一致所造成的。首先，遥感图像的拍摄视角是从上至下的俯视角度，图像的分辨率一般较大，一些类别的目标如车辆，在图像中的比例较小，这就对检测造成了一定的难度；其次，部分目标如船舶，可能会密集排列在一起，会极大影响检测的精度；另外，遥感图像的背景信息比较复杂，图像中存在许多不重要的冗余信息，在检测过程中网络会对冗余信息产生不必要的响应，从而弱化了重要的、感兴趣的区域信息；最后，遥感图像中的目标一般是方向多变的，不能只依赖于普通的水平框检测，需要根据目标的方向多变性采用旋转框检测的方法来定位目标。

发明内容

本发明实施例的目的在于提供一种遥感图像目标检测方法、系统、设备以及存储介质，以解决上述背景技术中提出的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种遥感图像目标检测方法，所述方法包括以下步骤：

将待处理图像输入进残差网络，提取4种不同尺度的特征图；低尺度的特征上采样至上一层特征图的尺寸大小，其与上一层特征图均按照通道平分成两份，每一份分别进行逐像素相加融合，融合后的特征图再按照通道拼接起来，送入后续网络；得到4个不同尺度融合特征，在每个尺寸上分别进行分类和定位；

融合后的特征图输入进注意力机制模块，通过卷积操作，得到概率显著特征图，将其与原始融合特征图每个通道的特征逐像素相乘，得到目标显著的特征；

在每个不同尺寸的目标显著特征图上预设不同尺寸的先验框；对先验框做二分类和回归，定位回归得到微调的检测框；在第二次分类和回归之前，对微调的检测框内的信息进行调整，通过双线性插值的方式融合周围的位置特征信息，引入至新的特征图；

将新的特征图以及微调后的检测框坐标结合起来，进行多类别分类和第二次回归，得到最终的预测框。

作为本发明实施例技术方案的进一步限定，在所述将图像输入进ResNet网络提取4个不同尺寸的特征图的步骤之前，所述方法还包括：

对待处理图像进行预处理，所述预处理的方式包括翻转、平移、颜色变换以及Mixup中的至少一种。

作为本发明实施例技术方案的进一步限定，所述与上一层特征图均按照通道平分成两份，每一份分别进行逐像素相加融合的步骤具体包括：

将不同尺寸的特征图均按照通道均分成两部分；

浅层特征的前半部分通道信息与深层特征的前半部分通道信息通过逐像素相加的方式进行融合；

浅层特征的后半部分通道信息与深层特征的后半部分通道信息通过逐像素相加的方式进行融合；

将上述融合后的两个特征图按照通道拼接的方式得到最终用于识别和定位的融合特征图。

作为本发明实施例技术方案的进一步限定，所述通过卷积操作，得到概率显著特征图的具体步骤包括：

采用两种不同尺寸的卷积核分别对特征图进行进一步的特征提取，得到感受野大小不同的特征图，将其按通道组合在一起；

通过1x1卷积得到两通道的概率显著特征图，采用公式如下：

F

其中，F是中融合后的特征图，F

作为本发明实施例技术方案的进一步限定，所述将其与原始融合特征图每个通道的特征逐像素相乘，得到目标显著的特征的步骤具体包括：

取出前景概率对应的通道，此概率值与原始特征图按像素相乘，非目标点经过概率乘积之后像素值降低，目标点经过概率乘积之后像素值提升，使得目标的边界相较于之前更加清晰，从而达到弱化复杂背景信息的作用；采用公式如下：

F

其中，F′是概率显著特征图与融合后特征图的对应位置像素相乘之后的结果；H是特征图的高，W是特征图的宽。

作为本发明实施例技术方案的进一步限定，所述通过双线性插值的方式融合周围的位置特征信息的步骤包括：

采用双线性差值的方法对检测框的五个主要特征点重新计算，五个特征点即检测框的四个角点和中心点，采用公式如下：

f(x，y)＝f(x1，y1)×(x2-x)×(y2-y)+f(x2，y1)×(x-x1)×(y2-y)+f(x1，y2)×(x2-x)×(y-y1)+f(x2，y2)×(x-x1)×(y-y1)

其中，(x，y)代表插值中心点坐标，(x1，y1)、(x2，y1)、(x1，y2)、(x2，y2)分别代表插值中心点周围距离最近的左上角点、右上角点、左下角点、右下角点这四个点的位置坐标，f(*，*)代表前面融合后特征图(*，*)位置的特征像素值。

作为本发明实施例技术方案的进一步限定，所述引入至新的特征图的步骤包括：

对上述五个特征点的新特征向量进行权重分配，计算其加权和，替换掉原来的特征向量，将位置信息引入至新的特征向量中，用于后续的回归，采用公式如下：

fv＝ρ×f

其中，f

一种遥感图像目标检测系统，所述系统包括：

跨通道特征融合模块，用于将待处理图像输入进残差网络，提取4种不同尺度的特征图；低尺度的特征上采样至上一层特征图的尺寸大小，其与上一层特征图均按照通道平分成两份，每一份分别进行逐像素相加融合，融合后的特征图再按照通道拼接起来，送入后续网络；得到4个不同尺度融合特征，在每个尺寸上分别进行分类和定位；

去除冗余信息模块，用于融合后的特征图输入进注意力机制模块，通过卷积操作，得到概率显著特征图，将其与原始融合特征图每个通道的特征逐像素相乘，得到目标显著的特征；

位置信息修正模块，用于在每个不同尺寸的目标显著特征图上预设不同尺寸的先验框；对先验框做二分类和回归，定位回归得到微调的检测框；在第二次分类和回归之前，对微调的检测框内的信息进行调整，通过双线性插值的方式融合周围的位置特征信息，引入至新的特征图；

正负样本筛选模块，用于将新的特征图以及微调后的检测框坐标结合起来，进行多类别分类和第二次回归，得到最终的预测框。

一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述遥感图像目标检测方法的步骤。

一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述遥感图像目标检测方法的步骤。

与现有技术相比，本发明实施例的有益效果是：

本发明的益处在于根据遥感图像的目标特点，弱化冗余无关的背景信息，提高小目标的检测性能，并在前向传播过程中，对于目标的位置信息进行了处理，引入到相应的特征图中，提升目标检测技术的定位性能，可以很好的将检测的结果应用于后续的其他图像处理领域或者工程应用中。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为遥感图像目标检测方法的网络整体结构图。

图2为遥感图像目标检测方法中的跨通道信息融合结构图。

图3为遥感图像目标检测方法中的注意力机制结构图。

图4为遥感图像目标检测方法的步骤流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明属于图像处理中目标检测技术领域，是目标检测在遥感图像上的应用，涉及图像处理、深度学习的相关知识。首先，对遥感图像数据进行预处理，做常规的数据增广；然后，采用ResNet残差网络提取多尺度的特征图，根据目标特点采用跨通道信息融合的方式，将多尺度的特征进行融合，增强特征的语义信息以及特征的丰富性得到融合以后的多尺度特征图；其次，在融合后的特征图上引入一种注意力机制，生成概率显著特征图，弱化遥感图像中冗余的背景信息，增强目标的显著性；最后，将第一次回归之后的检测框各个关键点位置信息引入，重新构建带有位置信息的特征图，进行最终的多类别分类和定位预测。本发明的优势在于从遥感图像的目标特点出发，能够处理遥感图像中目标尺寸比较小、背景信息复杂以及定位不够准确的情况，可以应用在遥感图像领域的其他技术研究和工程应用中。

图1示出了遥感图像目标检测方法的网络整体结构图。网络整体结构包括：ResNet残差网络、特征融合模块、注意力机制模块、class+box子模块和位置信息调整模块。

本发明要解决的技术问题是：对于遥感图像中，目标较小且排列较为密集的情况，提升其检测的精度；不仅如此，该发明还要能够处理复杂的背景信息，通过弱化无关的冗余信息来增强检测效果；另外，将位置信息引入到原来的特征图中，增强目标的定位能力，对于网络训练过程中正负样本的划分进行优化。

如图4所示，在本发明实施例提供的遥感图像目标检测方法的步骤流程图中，实现流程包括：输入图像；图片预处理；ResNet残差网络提取多尺度的特征图；跨通道特征融合得到融合后的特征图；经过注意力机制降低背景信号干扰；二分类和第一次回归；位置信息修正得到包含位置重构特征图；多类别分类和第二次回归。

具体的，所述方法包括：

将待处理图像输入进残差网络，提取4种不同尺度的特征图；低尺度的特征上采样至上一层特征图的尺寸大小，其与上一层特征图均按照通道平分成两份，每一份分别进行逐像素相加融合，融合后的特征图再按照通道拼接起来，送入后续网络；得到4个不同尺度融合特征，在每个尺寸上分别进行分类和定位；

融合后的特征图输入进注意力机制模块，通过卷积操作，得到概率显著特征图，将其与原始融合特征图每个通道的特征逐像素相乘，得到目标显著的特征；

在每个不同尺寸的目标显著特征图上预设不同尺寸的先验框；对先验框做二分类和回归，定位回归得到微调的检测框；在第二次分类和回归之前，对微调的检测框内的信息进行调整，通过双线性插值的方式融合周围的位置特征信息，引入至新的特征图；

将新的特征图以及微调后的检测框坐标结合起来，进行多类别分类和第二次回归，得到最终的预测框。

跨通道特征融合。特征融合是一种常用的提升小目标检测效果的方法，这种方法被广泛应用于图像处理的很多领域，如目标检测、目标分割、目标分类等。在特征提取的过程中，通常会经过多层卷积神经网络下采样，而浅层的特征尺寸比较大，一般包含图像的边缘、纹理信息；深层特征尺寸比较小，一般包含更加丰富的语义信息。因此，将两种信息融合在一起相较于单一的只采用某一层特征而言，检测效果更好。

另外，对于同一尺寸的特征图，其不同通道所包含的特征信息也是不同的，本发明即采用跨通道特征融合的方式，首先将不同尺寸的特征图均按照通道均分成两部分，对于浅层特征的前半部分通道信息与深层特征的前半部分通道信息，通过逐像素相加的方式进行融合，浅层特征的后半部分通道信息与深层特征的后半部分通道信息同样以该方式进行融合。然后将上述融合后的两个特征图按照通道拼接的方式得到最终用于识别和定位的融合特征图。

相较于一般的特征融合方法，跨通道融合不仅能够满足纹理边缘信息和语义信息的结合，还可以将不同通道的多样信息整合在一起，更加丰富了目标特征信息的多样性。

注意力机制去除冗余信息。遥感图像中，由于由上而下的俯视视角拍摄，地面上的物体非常的复杂，对需要检测的目标造成干扰，可以采用注意力机制使目标的边界更加清晰，弱化冗余背景信息。

如图3所示，首先采用两种不同尺寸的卷积核分别对特征图进行进一步的特征提取，得到感受野大小不同的特征图，将其按通道组合在一起。然后通过1x1卷积得到两通道的概率显著特征图，代表了原特征图上每个像素点为目标的概率。

F

其中，F是步骤(1)中融合后的特征图，F

如图2所示，在本实施例中，取出前景概率对应的通道，此概率值与原始特征图按像素相乘，非目标点经过概率乘积之后像素值降低，目标点经过概率乘积之后像素值提升，使得目标的边界相较于之前更加清晰，从而达到弱化复杂背景信息的作用。

F

其中，F′是概率显著特征图与融合后特征图的对应位置像素相乘之后的结果，H是特征图的高，W是特征图的宽。

位置信息修正。两步检测方法中，通常有对检测框的二次回归过程，用于对目标的预测位置进行精修。在第二次回归时，由于采用的特征向量依旧是第一次回归之前的感兴趣区域特征向量，因此造成了特征不匹配的问题，导致预测位置不够准确。

本发明采用双线性差值的方法对检测框的五个主要特征点重新计算，五个特征点即检测框的四个角点和中心点：

f(x，y)＝f(x1，y1)×(x2-x)×(y2-y)+f(x2，y1)×(x-x1)×(y2-y)+f(x1，y2)×(x2-x)×(y-y1)+f(x2，y2)×(x-x1)×(y-y1)

其中，(x，y)代表插值中心点坐标，(x1，y1)、(x2，y1)、(x1，y2)、(x2，y2)分别代表插值中心点周围距离最近的左上角点、右上角点、左下角点、右下角点这四个点的位置坐标，f(*，*)代表前面融合后特征图(*，*)位置的特征像素值。距离插值中心点越近，其权重越大，像素值的贡献程度越高；距离插值中心点越远，其权重越小，像素值的贡献程度越低。通过双线性插值的方式，对特征信息进行调整，将该特征点周围的信息做了很好的整合。对检测框的五个特征点均采用该方式进行插值计算，得到新的特征向量。

对上述五个特征点的新特征向量进行权重分配，计算其加权和，替换掉原来的特征向量，将位置信息引入至新的特征向量中，用于后续的回归：

fv＝ρ×f

其中，f

这种方法不仅为第二次回归提供了更准确的位置信息，同时通过分配权重的方式引入了不同位置特征点信息的贡献程度，能够保证第二次回归所采用的特征向量信息更加丰富和准确，提高定位能力。

正负样本筛选。构建好网络之后即开始网络训练，在网络训练的过程中，需要筛选出一部分预测框用于反向传播损失函数的训练，而筛选预测框的原则方法通常是根据预测框与真值框的交并比(1oU)，即预测框与真值框的重合程度，设置IoU阈值，高于阈值的为正样本，低于阈值的为负样本。

本发明采用的筛选正负样本的方法是将第二次回归之前和第二次回归之后的检测框与真值框的交并比结合起来，同样采取二者加权的方式进行计算，确定筛选的阈值。采取该方式的原因在于可以避免一部分高质量的样本丢失，例如一个检测框回归前的交并比比较高，说明其和真值框比较接近，但其回归后的交并比反而比较低，此时网络会将其判定为负样本，影响网络的收敛性能。

θ＝μ×R

其中，μ为权重，R

具体的，在本发明实施例中，所述方法的步骤具体实现中：

步骤1:对图像数据进行预处理，预处理的方式采用翻转、平移、颜色变换以及Mixup等数据增广技术。

步骤2:将预处理后的图像输入进ResNet网络提取4个不同尺寸的特征图，所述ResNet网络即残差网络。

步骤3:从最小尺寸的特征图开始，对其进行上采样，上采样后的尺寸与其上一层的特征图尺寸相同。

步骤4:提取出上采样后的特征图前半部分通道特征，以及上一层特征图的前半部分通道特征，将二者通过逐像素相加的方式融合得到特征图F1。后半部分通道特征图以相同的方式处理得到特征图F2。

步骤5:将F1和F2按照通道进行拼接得到融合后的特征图F。

步骤6:将新特征图F输入进注意力机制模块，降低背景信息干扰，得到用于第一次分类和回归的特征图F′。

步骤7:在特征图F′上预设先验框，并进行二分类和第一次检测框回归修正。

步骤8:特征图F′和一次回归后的检测框坐标信息结合，通过双线性插值计算检测框五个特征点的特征向量，然后将这五个特征向量通过加权的方式结合起来得到新的特征向量，生成用于最终预测的特征图Fm。

步骤9:在特征图Fm上进行多目标分类和位置预测。

步骤10:4个不同尺度的特征图均按照上述进行操作，实现多尺度的预测。

本发明实施例还公开了一种遥感图像目标检测系统，所述系统包括：

跨通道特征融合模块，用于将待处理图像输入进残差网络，提取4种不同尺度的特征图；低尺度的特征上采样至上一层特征图的尺寸大小，其与上一层特征图均按照通道平分成两份，每一份分别进行逐像素相加融合，融合后的特征图再按照通道拼接起来，送入后续网络；得到4个不同尺度融合特征，在每个尺寸上分别进行分类和定位；

去除冗余信息模块，用于融合后的特征图输入进注意力机制模块，通过卷积操作，得到概率显著特征图，将其与原始融合特征图每个通道的特征逐像素相乘，得到目标显著的特征；

位置信息修正模块，用于在每个不同尺寸的目标显著特征图上预设不同尺寸的先验框；对先验框做二分类和回归，定位回归得到微调的检测框；在第二次分类和回归之前，对微调的检测框内的信息进行调整，通过双线性插值的方式融合周围的位置特征信息，引入至新的特征图；

正负样本筛选模块，用于将新的特征图以及微调后的检测框坐标结合起来，进行多类别分类和第二次回归，得到最终的预测框。

步骤11:根据新的正负样本划分原则，筛选正负样本进行训练，反向传播计算。

另外，在本发明提供的另一种优选实施方式中，还提供了一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中所提供的遥感图像目标检测方法的步骤。

进一步的，在本发明提供的再一种优选实施方式中，还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中所提供的遥感图像目标检测方法的步骤。

本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述网上商城的商品推荐方法的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信号以及软件分发介质等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。