一种遥感图像的变化检测标注方法

技术领域

本发明涉及图像检测技术领域，尤其涉及一种遥感图像的变化检测标注方法。

背景技术

遥感图像处理是指利用遥感技术获取的卫星、飞机或其他传感器采集的图像数据，进行数字图像处理和分析以提取地理、环境或资源信息的过程。遥感图像处理在许多领域都有广泛的应用，包括土地管理、农业、环境保护、资源管理、城市规划、气象预测等。通过遥感图像处理，可以获得更多的地理信息，从而帮助人们更好地理解和管理地球的表面。遥感图像的变化检测标注具有重要性，因为它为多个领域提供了有关地表变化的关键信息，这对于环境监测、资源管理、城市规划和应急响应等方面具有广泛的应用。现在针对变化目标主流的标注方式为：通过人工对两个不同时像中的建筑、环境等遥感数据进行肉眼对比，找到两者的不同并绘制轮廓将其标记，而这一过程需要大量专业人士进行专业操作。

现有的遥感图像的变化检测手段往往采用人工手动标注的方式，耗时耗力并且效率不高，其主要由于任务的性质、成本、精确度和可扩展性等因素存在着下述的多种缺陷：

1.人力劳动密集：手动标注通常需要大量的人力资源，尤其是对于大规模数据集。这会导致高成本和较长的标注时间，特别是对于大型项目。

2.限制可扩展性：手动标注不容易扩展到大规模数据集，因此在许多情况下，数据的数量有限，这可能会限制深度学习模型的性能。

3.时间成本高：标注大规模数据集需要大量时间，这会延迟项目的进展，并可能导致在竞争激烈的市场中失去竞争力。

4.难以标注复杂任务：对于某些复杂的任务，如水土保持等，手动标注可能需要专业知识，这会增加标注成本。

5.隐私和安全问题：某些地图数据包含敏感信息，手动标注可能涉及到隐私和安全风险，特别是在外包标注任务时。

6.样本偏差和标注质量不一致：在手动标注的过程中，标注者的主观偏好可能会导致数据样本偏差，这可能会影响模型的泛化能力。此外，标注人员的水平和经验不同，可能会导致标注质量的不一致性，这对于监督学习算法来说是一个问题。

7.主观性和不一致性：不同标注人员可能对同一数据集产生不同的外轮廓标注结果，因为标注是主观的过程。这会导致数据的不一致性，从而影响了模型的性能。

基于此，急需设计一种针对遥感图像的变化检测标注方法，从而提高遥感图像中变化检测的标注效率、准确性和一致性，并且减少对手动标注的依赖，缓解一些手动标注的缺点。

发明内容

(一)要解决的技术问题

基于上述问题，本发明提供了一种遥感图像的变化检测标注方法，利用模型量化、迁移学习等人工智能图像处理技术，从而提高遥感图像中变化检测的标注效率、准确性和一致性，并且减少对手动标注的依赖，从而缓解一些手动标注的缺点，以便于进行遥感图像变化对象的批量标注工作。

(二)技术方案

基于上述的技术问题，本发明提供一种遥感图像的变化检测标注方法，输入两幅目标场景在不同时像的遥感图像，在选择自动标注方式后，对所述遥感图像中所选择的标注目标提取目标的轮廓，以通过AI模型生成数据标签；

所述AI模型在原有的CDNET网络结构的编码器和解码器之间设置了加权注意力机制，所述加权注意力机制由通道注意力模块、空间注意力模块和尺度注意力模块依次串联组成；所述加权注意力机制中，F为输入特征图，F^为输出特征图，C为输入特征图的通道数；

所述通道注意模块中，首先使用最大池化和平均池化对F的全局空间信息进行压缩，生成大小为1×1×C的两个特征图，然后通过多层感知得到两个一维特征图，对两个一维特征图进行归一化处理，得到加权特征图一；所述空间注意模块中，将加权特征图一输入1×1×1卷积模块激活F，并将结果输入Sigmoid函数，得到加权特征图二；所述尺度注意力模块中，首先对加权特征图二进行全局池化，接着进行全连接操作，并将结果输入线性整流激活函数，将输出结果再一次进行全连接操作，最后输出到Sigmoid激活函数，得到加权特征图三；

所述加权特征图一、加权特征图二和加权特征图三依次通过元素求和串行连接，再执行Sigmoid激活函数后得到输出特征图F^。

进一步的，所述AI模型的编解码结构具体为：输入图片通过两个3*3的卷积得到输出的特征图1，特征图1经过一次下采样，再通过两次3*3的卷积得到特征图2，重复三次3*3卷积和下采样操作依次可得到特征图3、4、5，然后将特征图5的线性投影降维处理后通过编解码结构Transformer，并送入到所述加权注意力模块得到特征图6，所述特征图6与特征图4融合后通过两次3*3的反卷积和上采样得到得到特征图7，所述特征图7与特征图3融合后通过两次3*3的反卷积和上采样得到特征图8，所述特征图8与特征图2融合后通过两次3*3的反卷积和上采样得到特征图9，所述特征图9与特征图1融合后通过两次3*3的反卷积即可得到处理后的输出图片。

进一步的，所述遥感图像的变化检测标注方法还包括手动标注方式，在选择手动标注方式后，采用Labelme标注方式对所述遥感图像手动进行标注得到数据标签。

进一步的，所述AI模型的训练数据集为大型数据集ImageNet，利用迁移学习将针对ImageNet数据集训练得到的编码和解码的特征信息迁移到所述AI模型上。

进一步的，所述遥感图像的变化检测标注方法在PyQt图形设计框架下开发，并采用QScrollArea配合QPainter实现遥感图像的显示和标注功能。

进一步的，选择所述标注目标的方式具体包括在遥感图像中通过方框选中目标和/或直接点击目标。

本发明也公开了一种遥感图像的变化检测标注系统，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行所述的遥感图像的变化检测标注方法。

(三)有益效果

本发明的上述技术方案具有如下优点：

(1)本发明设计了针对遥感图像变化检测数据集的ai辅助标注软件，利用模型量化、迁移学习等人工智能技术来辅助实现遥感图像变化对象的外轮廓自动标注，以提高图像的批量标注效率、准确性和一致性，并且减少对手动标注的依赖，从而缓解一些手动标注的缺点。

(2)针对复杂的遥感图像，为了在目标显著性图中再现高分辨率特征图，本发明选择性的改进了CDNET网络结构，在编码器和解码器之间设置了特殊加权注意力机制，从而能有效提取出遥感图像中建筑和水体环境等复杂对象的轮廓特征，得到了一种新的图像轮廓分割算法Remotecdnet，利用该算法实现在遥感影像上的实时分割，Remotecdnet算法将加权注意力机制连接到Transformer结构后，能够很好地增强通道、空间和尺度信息的关注度，且依然保持图像处理结构整体的简洁性和对称性，针对彩色高分辨率图像分割的计算处理速度较快，能够很好在批量图像中进行快速的自动标注。此外，本发明还使用了迁移学习来加快模型的训练速度，基于CDNET改进的新的分割算法Remotecdnet的训练数据集为ImageNet，利用迁移学习将针对该数据集训练的算法中编码和解码的特征信息迁移到新的分割算法Remotecdnet上，以提高模型的精度。

(3)经过试验可知，本发明的自动标注系统可以与手动标注系统可相互结合使用，即如果自动标注得到的标注框合适则可确认标注，如果对比不同时间的两幅图后发现标注框不太合适，则还可以选择通过手动标注方式来对未能识别的遥感图像的变化对象进行自由标注。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明中遥感图像的变化检测标注方法的技术方案示意图；

图2是本发明中用于遥感图像自动标注的AI模型结构图，图中蓝色箭头为编码器中的卷积或解码器中的反卷积操作，红色箭头为解码器中的上采样或者编码器中的下采样操作；

图3是本发明AI模型中的加权注意力机制结构示意图；

图4是本发明实施例中不同时像下的两幅图像效果图；

图5是本发明实施例中两幅图像同时局部放大效果图；

图6是本发明实施例中两幅图像同时全局缩小效果图；

图7是本发明实施例中手动标注结果图；

图8是本发明实施例中AI辅助标注方式一结果图；

图9是本发明实施例中AI辅助标注方式二结果图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

由于遥感图像的变化检测标注对象往往比较复杂，且要求标注的遥感图像往往分辨率较高，为了提高标注的处理效率、准确性和一致性，并且减少对手动标注的依赖，缓解手动标注的缺点，本发明改进设计一种遥感图像的变化检测标注方法。

如图1所示，本发明的遥感图像的变化检测标注方法包括手动和自动标注的方案，首先根据输入两幅目标场景在不同时像的遥感图像T1和T2(即同一地区由不同时间所获得的遥感图像)。操作人员根据图像中变化区域选择手动标注方式或者自动标注方式，如果选择手动标注，则采用labelme标注方式手动进行标注得到数据标签，如选择自动标注时，通过AI辅助标注方式来提取目标的轮廓，则通过圆点点击目标或方框选择标注目标，通过AI模型生成数据标签。

自动标注方式中使用的AI模型如图2所示，该AI模型为基于CDNET网络结构改进的图像分割算法Remotecdnet，在保持CDNET网络能再现高分辨率特征图优点的情况下，Remotecdnet可以利用该算法实现在复杂遥感影像上的实时精准分割。

现有技术中，原有的CDNET为具有跳跃连接的编码器-解码器的架构，编码器网络的作用是通过保持对象的结构信息，从输入图像中获得抽象的特征映射。另一方面，解码器网络旨在从编码器网络获得的低分辨率目标显著性图中再现高分辨率特征图，获得精细化的对象级传输图。CDNET由五个编码器块和五个解码器块组成，每个编码器块由卷积层、归一化层和激活函数组成。每个解码器块由反卷积层、退出层、归一化层、跳跃连接层和激活函数组成，整个网络中为卷积层和反卷积的规格为3×3，卷积层和反卷积层的步长为2。

参见图2所示，在原有的CDNET架构基础上，本发明在CDNET的编码器和解码器之间设置了特殊加权注意力机制，从而能有效提取出遥感图像中建筑和水体环境等复杂对象的轮廓特征。具体的，输入图片通过两个3*3的卷积得到输出特征图1，特征图1经过一次下采样，再通过两次3*3的卷积得到特征图2，重复三次3*3卷积和下采样操作依次可得到特征图3、4、5。然后将特征图5的线性投影降维处理后通过编解码结构Transformer，并送入到加权注意力模块得到特征图6。特征图6与特征图4融合后通过两次3*3的反卷积和上采样得到特征图7，特征图7与特征图3融合后通过两次3*3的反卷积和上采样得到特征图8，特征图8与特征图2融合后通过两次3*3的反卷积和上采样得到特征图9，特征图9与特征图1融合后通过两次3*3的反卷积即可得到处理后的输出图片，即在解码器中只需重复反卷积和上采样操作并于对应的特征图跳跃连接相融合可得到最后的预测图。

图3所示为本发明CDNET中新增的加权注意力机制，加权注意力机制包括通道注意力模块、空间注意力模块和尺度注意力模块。与其他注意机制相比，本发明的加权注意力机制可以同时关注信道、空间信息和尺度信息，从而针对高分辨率遥感图的多种复杂图像特征进行有效提取。具体的，加权注意力机制由通道注意力模块、空间注意力模块和尺度注意力模块依次串联组成。编码器中卷积层的输出结果首先经过通道注意力模块得到加权结果，然后经过空间注意力模块和尺度注意力模块得到最终的加权结果。

加权注意力机制中三部分的具体结构和关系如图3所示，图中F为最后一层编码器输出的输入特征图(即特征图5变换后的特征图)，H和W分别为特征图的高度和宽度，C为输入特征图的通道数。

在通道注意模块中，首先使用最大池化和平均池化对输入特征图F的全局空间信息进行压缩，生成大小为1×1×C的两个特征图。然后通过多层感知得到两个一维特征图，对两个一维特征图进行归一化处理，得到加权特征图一。即通道注意力模块能将特征图在空间维度上进行压缩，得到一维向量后再进行运算。

在空间注意模块中，将加权特征图一输入1×1×1卷积模块激活F，并将结果输入Sigmoid函数，得到加权特征图二。即空间注意模块是对信道进行压缩，在信道维度上分别进行平均池化和最大池化。

在尺度注意力模块中，首先对加权特征图二进行全局池化，接着进行全连接操作，并将结果输入线性整流激活函数，将输出结果再一次进行全连接操作，最后输出到Sigmoid激活函数，得到加权特征图三。

加权特征图一、加权特征图二和加权特征图三依次通过元素求和串行连接，再执行Sigmoid激活函数后得到输出特征图F^。

需要说明的是，本发明中位于特征图5和特征图6之间的加权注意力机制的总体计算量并不大，其能够很好地嵌入到原有的CDNET网络中，基于输入特征图F到输出特征图F^的三部加权计算虽然延长了编解码步骤长度，但是经过试验发现其不会过多影响图像分割处理的整体运行速度，且还能够很好地同时提取出遥感图像中的信道、空间信息和尺度信息，以便于快速精准的完成复杂遥感图像的自动标注任务。

此外，在Remotecdnet算法中，将加权注意力机制连接到Transformer结构后，还可使用迁移学习加快模型的训练速度，提高模型的精度。新的分割算法Remotecdnet的训练数据集为ImageNet，利用迁移学习将针对该数据集训练的算法中编码和解码的特征信息迁移到新的分割算法Remotecdnet上，且输出的遥感分割图像依然能够保持高分辨率。

如图4-9所示，为了验证本发明方法的优势，本发明还基于上述遥感图像的变化检测标注方法进行了以下实施例所示的试验：

本实施例设计了针对变化检测数据集的AI辅助标注软件，且所有实验均在Windows 11操作系统进行的，在导入两张图片或者两个文件夹后，能够在同时比较双时间图像的条件下进行标注，且能够同时对图片进行放大缩小、平移等操作，减少标注误差，节省标注时间。该软件在PyQt图形设计框架下开发，首先，该软件采用QScrollArea配合QPainter实现图片显示和标注功能，且关联这两个区域的缩放比例以及平移位置。其次，软件能够使用图2-3的AI模型协助标注工作者完成标注工作，该AI模型可具体在大型数据集Imagenet下训练下得到，模型参数少，推理速度快，检测精度高，在硬件条件有限的情况下也能很好的使用。最后，软件配套功能齐全，标注信息实时保存，标注形状丰富，能够更加便捷迅速的完成标注任务。

软件运行的效果图可参见图4-9，图4为同时打开基于遥感图像的目标场景在不同时像下的两幅图像效果图，图5为两幅图像同时局部放大效果图，图6为两幅图像同时全局缩小效果图，图7为手动标注效果图，图8为AI辅助标注方式一，通过点击目标，AI模型辅助自动生成标注框，如果标注框合适则确认标注。图9为AI辅助标注方式二，通过方框选中目标，AI模型辅助自动生成标注框，如果标注框合适则确认标注。参见图7可知，通过手动标注方式得到的建筑群范围的标注框准确率不够高，因为轮廓往往为手绘直线，易于覆盖到道路上，而实施例图8-9中基于AI模型自动标注方式得到的不规则边缘的水体和绿化带轮廓的识别较为准确，且图像处理的运算速度较快，适合对规则对象进行批量性的标注。

最后需要说明的是，上述的方法可以转换为软件程序指令，既可以使用包括处理器和存储器的检测系统来运行实现，也可以通过非暂态计算机可读存储介质中存储的计算机指令来实现。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。