基于相似度距离的小目标检测标签分配方法、系统及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于相似度距离的小目标检测标签分配方法、系统及设备。

背景技术

目标检测技术计算机视觉的重点研究对象，特别是随着深度神经网络的大规模应用，目标检测的准确率和速度都有了较大提高，尽管传统目标检测已经取得了重大进展，但是大部分方法面对微小目标对象时就会出现较大的性能下降。微小目标通常存在于由无人机、卫星等设备从高空捕捉到的图像中，他们的平均尺寸通常小于64像素，由于尺寸非常小，因此他们包含的有效信息也较少，对于基于先验的目标检测器来说，这些目标对象也更难获得正样本，进而导致检测正确率的下降。由于标签分配是目标检测过程中的核心环节之一，因此这也是解决小目标检测问题的重要突破口。

当前的针对小目标检测的标签分配方法主要从减小边界框对距离变化的敏感程度出发，进而增加他们的正样本数量。但是现有方法也存在一些问题，例如，现有的方法在计算边界框相似度时没有根据宽高进行归一化，从而导致他们无法适应不同尺寸的目标对象；此外，现有的有些方法没有完整地考虑位置相似度和形状相似度，导致度量不够准确；此外，在另一些现有方法中还包含需要调整的超参数，这会导致这些方法难以适应不同的数据集。

发明内容

本发明的目的在于提供一种基于相似度距离的小目标检测标签分配方法、系统及设备。

为实现上述发明目的，本发明提供一种基于相似度距离的小目标检测标签分配方法，包括以下步骤：

S1.将训练集中包含目标对象的输入图像送至区域建议网络中，并生成多个与所述输入图像中目标区域相关的候选框；

S2.计算所述目标区域与所述候选框之间的相似度距离，并获得相应的相似度距离结果；其中，所述相似度距离基于多个维度的相似度构建；

S3.基于所述相似度距离结果对所述候选框进行分类，其中，将所述相似度距离结果大于预设的正样本门限的所述候选框标记为正样本，将所述相似度距离结果小于预设的负样本门限的所述候选框标记为负样本。

根据本发明的一个方面，步骤S2中，所述相似度距离基于多个维度的相似度构建的步骤中，所述相似度距离基于所述目标区域与所述候选框之间的位置相似度和形状相似度所构建，其包括：

S21.获取用于计算所述目标区域与所述候选框之间位置相似度和形状相似度的参数；

S22.对所述参数进行归一化，并基于归一化的所述参数构建出所述相似度距离。

根据本发明的一个方面，所述相似度距离表示为：

其中，x

根据本发明的一个方面，所述参数的归一化系数分别表示为：

其中，M表示训练集中输入图像的个数，N

根据本发明的一个方面，步骤S3中，基于所述相似度距离结果对所述候选框进行分类的步骤中，若所述相似度距离结果处于所述正样本门限和所述负样本门限之间，则忽略所述候选框。

根据本发明的一个方面，步骤S3中，基于所述相似度距离结果对所述候选框进行分类的步骤中，若所述相似度距离结果均小于所述正样本门限，则获取所述相似度距离结果中的最大相似度距离结果，并判断所述最大相似度距离结果是否大于预设的最小正样本门限，若是，则将与所述最大相似度距离结果相对应的候选框标记为正样本。

为实现上述发明目的，本发明提供一种用于前述的小目标检测标签分配方法的系统，包括：

候选框生成模块，所述检测模块基于区域建议网络构建，其中，所述区域建议网络接收训练集中包含目标对象的输入图像，并生成多个与所述输入图像中目标区域相关的候选框；

相似度距离计算模块，用于计算所述目标区域与所述候选框之间的相似度距离，并输出相应的相似度距离结果；

标签分配模块，基于所述相似度距离结果对所述候选框进行分类，其中，将所述相似度距离结果大于预设的正样本门限的所述候选框标记为正样本，将所述相似度距离结果小于预设的负样本门限的所述候选框标记为负样本。

为实现上述发明目的，本发明提供一种应用于前述的小目标检测标签分配方法的设备，包括至少一个处理器、至少一个存储器和数据总线；

所述处理器与所述存储器通过所述数据总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用程序指令以执行所述小目标检测标签分配方法。

根据本发明的一种方案，本发明完整考虑了位置相似度和形状相似度，根据不同尺寸的边界框进行归一化，同时不包含任何超参数，使得传统目标检测器在小目标数据集上的检测正确率大大提高。

根据本发明的一种方案，本发明使用相似度距离来作为衡量两个边界框之间相似度的评价指标。该指标同时考虑两个边界框的距离相似度和形状相似度，使得评价结果更加精准。同时，相似度距离的公式中对不同尺寸的边界框进行了归一化操作，这样可以使相似度距离适应同一个数据集中不同尺寸的目标对象。与传统方法相比，本发明所采用的相似度距离在计算时不需要设置任何超参数，不需要针对不同数据集和模型进行参数调整，使得本方法适应性强，更便于运用。

附图说明

图1是示意性表示根据本发明的一种实施方式的小目标检测标签分配方法的步骤框图；

图2是示意性表示输入图像中目标区域与候选框的分布图；

图3是示意性表示传统标签分配方法与本发明的小目标检测标签分配方法在实际检测效果上的对比图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

如图1所示，根据本发明的一种实施方式，本发明的一种基于相似度距离的小目标检测标签分配方法，包括以下步骤：

S1.将训练集中包含目标对象的输入图像送至区域建议网络中，并生成多个与输入图像中目标区域相关的候选框；

S2.计算目标区域与候选框之间的相似度距离，并获得相应的相似度距离结果；其中，相似度距离基于多个维度的相似度构建；

S3.基于相似度距离结果对候选框进行分类，其中，将相似度距离结果大于预设的正样本门限的候选框标记为正样本，将相似度距离结果小于预设的负样本门限的候选框标记为负样本。

如图2所示，根据本发明的一种实施方式，步骤S1中，输入图像中可通过预先标注的方式对所包含的目标对象进行标记，例如，采用矩形框对目标对象进行标记，如图2中的实线矩形框。在本实施方式中，区域建议网络(RPN)可采用传统网络实现，其可根据区域建议算法产生3000个左右与目标区域相关联的候选框，如图2中的虚线矩形框A、B、C、D。其中，为便于分辨，对包围目标对象的目标区域(即图2中实线矩形框)称为ground truth(简称gt)，将候选框称为anchor。

根据本发明的一种实施方式，步骤S2中，相似度距离基于多个维度的相似度构建的步骤中，相似度距离(Similarity Distance，简称SimD)基于目标区域与候选框之间的位置相似度和形状相似度所构建，其包括：

S21.获取用于计算目标区域与候选框之间位置相似度和形状相似度的参数；

S22.对参数进行归一化，并基于归一化的参数构建出相似度距离。

根据本发明的一种实施方式，相似度距离表示为：

其中，x

根据本发明的一种实施方式，前述的参数的归一化系数是基于训练集中所有输入图像中的目标对象与候选框之间的水平距离之差的绝对值与宽度之和的平均值以及垂直距离之差的绝对值与高度之和的平均值所获得。进而，参数的归一化系数分别表示为：

其中，M表示训练集中输入图像的个数，N

通过上述设置，本发明所采用的相似度距离及归一化系数中不包含任何超参数(归一化系数来源于训练集)，同时可以适应各种数据集中不同尺寸的目标对象，具有有效的标签分配效果。

根据本发明的一种实施方式，步骤S3中，基于相似度距离结果对候选框进行分类的步骤中，预设的正样本门限可设置为0.7，预设的负样本门限可设置为0.3；进而，若获得的相似度距离结果大于0.7，则可将与之对应的候选框标记为正样本，例如，图2中候选框A的相似度距离结果为0.9，候选框B的相似度距离结果为0.75，进而，将候选框A、B标记为正样本。若获得的相似度距离结果小于0.3，则可将与之对应的候选框标记负样本，例如，图2中候选框C的相似度距离结果为0.28，进而，将候选框C标记为负样本。

在本实施方式中，步骤S3中，基于相似度距离结果对候选框进行分类的步骤中，若相似度距离结果处于正样本门限和负样本门限之间，则忽略候选框。例如，图2中候选框D的相似度距离结果为0.48，进而，将候选框D忽略。

根据本发明的一种实施方式，步骤S3中，基于相似度距离结果对候选框进行分类的步骤中，若相似度距离结果均小于正样本门限(即无法获得一个正样本)，则获取相似度距离结果中的最大相似度距离结果，并判断最大相似度距离结果是否大于预设的最小正样本门限，若是，则将与最大相似度距离结果相对应的候选框标记为正样本。在本实施方式中，最小正样本门限可设置为0.3。

根据本发明的一种实施方式，本发明的一种采用前述的小目标检测标签分配方法的系统，包括：

候选框生成模块，检测模块基于区域建议网络构建，其中，区域建议网络接收训练集中包含目标对象的输入图像，并生成多个与输入图像中目标区域相关的候选框；

相似度距离计算模块，用于计算目标区域与候选框之间的相似度距离，并输出相应的相似度距离结果；

标签分配模块，基于相似度距离结果对候选框进行分类，其中，将相似度距离结果大于预设的正样本门限的候选框标记为正样本，将相似度距离结果小于预设的负样本门限的候选框标记为负样本。

根据本发明的一种实施方式，本发明的一种应用于前述的小目标检测标签分配方法的设备，包括至少一个处理器、至少一个存储器和数据总线；在本实施方式中，处理器与存储器通过数据总线完成相互间的通信；在本实施方式中，存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行前述的小目标检测标签分配方法。

在本实施方式中，存储器可以是但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。

在本实施方式中，处理器可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

根据本发明的一种实施方式，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现前述的小目标检测标签分配方法。

为以进一步说明本方案的技术效果，对其进行进一步的试验验证。

在本实施方式中，在传统的目标检测器上应用传统的基于IoU的标签分配方法和基于本发明的小目标检测标签分配方法进行对比试验验证，参见图3所示，第一行是传统的基于IoU的标签分配方法，第二行是采用本发明的小目标检测标签分配方法改进后的效果，从图3中可以直观地发现，本发明的方法带来了极大的提升，使目标检测(特别是微小目标)的正确率大大提高。

进一步的，采用多种典型目标检测器分别结合传统标签分配方法和本方案的小目标检测标签分配方法进行分配正确率的对比，其中，采用统一的小目标检测基准数据集AI-TOD实现。通过相应的试验验证，其测试结果如表1所示。

由表1可知，与现有的最好的标签分配方法对比，本发明的平均正确率提高了1.8％，特别是对于极小的目标对象，本发明的正确率提高了4.1％。由此可见，本发明的方法很好地解决了小目标检测标签分配方面的问题。

上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。

以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。