一种基于对未知目标注意力的水上障碍物检测系统及方法

技术领域

本发明涉及本发明涉及机器视觉中的目标检测领域，尤其是涉及一种基于对未知目标注意力的水上障碍物检测系统及方法。

背景技术

近些年来，由于水上场景中工作环境较为恶劣且载人设备成本较高等问题，设计可靠的水上无人设备成为研究的热点，水上障碍物检测作为实现水上无人驾驶所需要的的核心技术之一，得到了广泛而深入的研究，现有的大部分水上障碍物检测方法主要集中在全监督学习上，即使用足够数量的图像数据驱动网络进行效率低的机械学习，然而，现有的可提供给陆上环境的数据集资源已经非常丰富且完善，基本包含了各种情况下的各类目标图像，相比于陆上环境，在水上领域，由于现有的水上数据集数量远远不够，而在水上获取足够大的数据集因为海上环境复杂、采集难度和设备成本较高，相较于陆地上的数据采集需要更大的人力财力成本，技术人员常常因为不能寻找到合适的数据集而无法得到较为理想的实验结果—这大大限制了这一领域的发展，同时，相较于陆地环境，水上可能存在的障碍物较为复杂且出现较少、较难采集，若将每个可能出现的物体都采集足够的数据让系统进行学习并不现实，这种情况下，采用现有的深度学习神经网络模型在实际场景中很难满足复杂和不断变化的需求，如何提高神经网络模型的训练效率，使用已有的较少的数据训练系统获得较好的识别准确率率成为了至关重要的难点。

当接收到新的视觉信息时，人类的好奇心常常驱使人们去更关注自己未知的事物，这使得相比于机器，人具有更为高效的学习能力，现有的目标检测方法中，神经网络模型的输出仅仅能够在设定好的有限种已知类别中进行选择，这种情况下，当输入数据集中没有的具有未知类别的图像是，模型的输出将强制赋予该未知类作为已知类中的一类，如用一个各种具有各种船的数据集对一目标检测模型进行训练，训练完成后，对该模型输入一张具有塑料瓶的图片，该模型将把塑料瓶归类为船的一种，这大大降低了神经网络模型的精度，同时，由于在实际应用中网络有很大的概率对其没见过的物体进行识别，这种错误也大大阻碍了深度学习算法在实际中的应用，因此急需一种能够解决该问题的系统和方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于对未知目标注意力的水上障碍物检测系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种基于对未知目标注意力的水上障碍物检测系统，该系统包括：

特征提取模块：用以对输入的训练图像进行特征提取并生成对应的特征图；

候选区域采集模块：用以从输入的特征图中选取具有目标存在可能性的候选区域；

特征池化模块：用以将各候选区域的输入特征转化为固定长度的特征向量；

加权模块：用以对特征池化模块得到的特征向量进行加权处理；

未知类聚类及识别模块：用以对加权后的特征向量进行聚类，进而识别未知类；

未知注意力权重生成模块：用以生成权重注意力矩阵对加权模块进行权值更新；

分类器模块：用以对未知类聚类及识别模块输入的特征向量进行分类，获取图像中的所有对象对应的位置方框和类别。

所述的未知类为已有的对网络进行训练的图像数据中所没有的类别，即没有输入检测神经网络模型的障碍物类别。

一种基于对未知目标注意力的水上障碍物检测系统的检测方法，包括以下步骤：

步骤1：运用数据增强方法获取水上图像，得到有关水上障碍物图片的数据集，并建立检测神经网络模型；

步骤2：基于Faster-RCNN方法选取并训练候选区域采集模块的候选区域采集网络，将数据集的图片数据输入特征提取骨干网络后提取图片的特征图；

步骤3：通过候选区域采集模块的候选区域采集网络从提取到的特征图中生成K个具有障碍物存在可能性的候选区域；

步骤4：通过特征池化模块将K个候选区域的输入特征分别转化为固定长度的特征向量，并将K个特征向量输送至加权模块和未知注意力权重生成模块；

步骤5：在加权模块中对特征向量进行加权处理，与初始化为1的注意力权重矩阵相乘；

步骤6：将加权后的特征向量输入未知类聚类及识别模块，采用聚类损失函数对特征向量进行聚类，强制降低类内差并增大类间差，使不同类的特征向量分离以识别检测神经网络模型未学习的未知类；

步骤7：在每完成设定的迭代次数I后，未知类聚类及识别模块更新并输出未知类对应的原型向量，并将其传输至未知注意力权重生成模块；

步骤8：未知注意力权重生成模块通过距离函数计算特征池化模块输出的K个特征向量与当前未知类对应的原型向量之间的距离，并通过未知注意力权重生成公式得到K个权重系数，所述的K个权重系数生成注意力权重矩阵传输至加权模块进行权值更新；

步骤9：对检测神经网络模型进行训练，将未知类聚类及识别模块得到的分离后的已知类和未知类的特征向量输入到分类器模块的分类器模型进行分类，根据损失函数计算误差并将误差反向传播至加权模块，进行权值更新，并重新计算误差，迭代直到输出误差小于设定值；

步骤10：检测神经网络模型训练完成后，进行障碍物检测并输出障碍物检测结果。

所述的步骤1中，数据增强方法包括图片去雾、去雨、图片清晰度增强、图片背景前景融合以及生成对抗网络生成虚拟图像，以获得丰富的水上图像数据。

所述的步骤6中，聚类损失函数在常规损失函数上叠加对比聚类函数，最小化损失函数以确保未知类特征向量的分离，强制降低类内差，增大类间差，聚类损失函数的公式为：

其中，p

所述的步骤6中，识别检测神经网络模型未学习的未知类的过程具体为：

不同类别的特征向量通过聚类损失函数进行聚类，并给定特征空间的特征向量对应的标签，对已知类和未知类两类特征向量的概率密度函数进行建模，将不同的概率密度函数作为区分已知类和未知类的依据，以判断数据是否属于未知类别。

所述的步骤7中，未知类对应的原型向量与已知类对应的原型向量构成原型集：

P＝{p

其中，P为原型集，p

所述的步骤8中，未知注意力权重生成公式的表达式为：

w

其中，D(p

所述的步骤9中，检测神经网络模型的误差计算方式、分类器模型和训练方式与Faster-RCNN一致。

所述的步骤10中，检测结果包括数据集中的属于已知类的障碍物类别和对应的位置方框以及未知类聚类及识别模块识别出的未知类的障碍物类别。

与现有技术相比，本发明具有以下优点：

本发明提出并引入了一种未知注意力机制使机器模仿人类具有的“好奇心”，通过训练机器，使其具有识别未学习过的未知障碍物的能力，进而让机器在后续学习中更加关注未知的障碍物而减少机械的低效学习，有效的提高神经网络模型的学习能力，适应多类别的小样本学习；本发明通过各种数据增强方法获取更多的水上图像，获得有关水上障碍物图片的数据集，有效解决在水上领域现有的可用数据集较少而水上环境复杂的问题；本发明为神经网络模型提供了一种“未知类”的选项，使网络不仅可以对已知类的障碍物进行检测，同时可以识别未知类别的障碍物。

附图说明

图1为本发明的功能模块示意图；

图2为本发明的检测方法流程图；

图3是本发明的输出的检测结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图1所示，本发明提供了一种基于对未知目标注意力的水上障碍物检测系统，该系统分为：特征提取模块、候选区域采集模块、特征池化模块，加权模块、未知类聚类及识别模块、未知注意力权重生成模块和分类器模块。

特征提取模块用以对输入的训练图像中进行特征提取，生成对应的特征图；

候选区域采集模块用以从输入的特征图中选取K个可能存在目标的候选区域；

特征池化模块用以将不同大小的输入特征转化为固定长度的特征向量；

未知类聚类及识别模块用以将候选区域采集模块所采集的特征进行聚类，使得未知类的障碍物特征与已知类的障碍物特征距离尽可能的分离，同一类别特征向量距离尽可能的靠近，并以此筛选出未知类别的特征向量；

未知注意力权重生成模块用以生成权重注意力矩阵，分别赋予该矩阵中已知类特征对应区域小的权重值而赋予未知类特征对应区域较高的权重值，促使检测神经网络模型在学习过程中更关注未知类特征；

分类器模块用以对未知类聚类及识别模块输入的特征向量进行分类，识别输入图片中每一个对象所处的类别并输出对象所对应的位置方框和类别。

未知类别是指已有的对网络进行训练的图像数据中所没有的类别，即没有输入神经网络模型的障碍物类别。

定义类的原型集包括已知类对应的原型向量和未知类对应的原型向量：

P＝{p

其中，p

已知类对应的原型向量为每个已知类的特征向量的平均值，未知类的原型向量为所有未知类特征向量的平均值。

如图2所示，该水上障碍物检测系统的方法的具体步骤如下：

步骤1：运用各种数据增强方法获取更多的水上图像并准备有关水上障碍物图片的数据集，数据增强方法包括通过图片去雾、去雨、图片清晰度增强、图片背景前景融合、生成对抗网络生成虚拟图像等方法，以获得丰富的水上图像数据；

步骤2：确定骨干网络结构，将数据集图片数据输入VGG16特征提取骨干网络，提取输入图片的特征图；

步骤3：根据Faster-RCNN方法选取并训练候选区域采集网络，通过候选区域采集网络从提取到的特征图中生成K个具有障碍物存在可能性的候选区域；

步骤4：通过特征池化模块将每个候选区域划分为M个区域块，对每一个区域块进行最大池化操作，进而得到固定长度为M的特征向量；

步骤5：将特征池化模块输出的K个特征向量与注意力权重矩阵相乘，得到加权后的特征向量，注意力权重矩阵初始化为1，以实现未知类的特征向量获得较大权重而已知类的特征向量获得小权重，进而使得检测神经网络模型对未知的类别具有更大的好奇心；

步骤6：将加权后的特征向量输入未知类聚类及识别模块，通过聚类损失函数进行聚类，将不同类别的特征向量分离，强制降低类内差，以增大类间差，使不同类的特征向量分离以识别神经网络模型未学习的未知类，聚类损失函数的公式为：

其中，p

步骤7：在每进行设定次数的迭代后，未知类聚类及识别模块输出未知类对应的原型向量，未知类对应的原型向量为所有未知类特征向量的平均值，并将此向量传输到未知注意力权重生成模块；

步骤8：未知注意力模块通过距离函数计算特征池化模块输出的K个特征向量与当前未知类对应的原型向量的距离，并通过未知注意力权重生成公式计算得到K个权重值，进而生成注意力权重矩阵，传输至加权模块进行权值的更新，未知注意力权重生成公式为：

w

其中，D(p

步骤9：对检测神经网络模型进行训练，将未知类聚类及识别模块得到的特征向量输入到分类器模型进行分类，根据损失函数计算误差并将误差反向传播，更新权值，重新计算输出，迭代直到输出误差小于设定值，检测神经网络模型的误差计算方式、分类器模型和训练方式同Faster-RCNN一致；

步骤10：输出训练好的检测神经网络模型，通过系统输出障碍物检测结果，检测结果包括数据集中的属于已知类的障碍物类别和对应的位置方框以及未知类聚类及识别模块识别出的未知类的障碍物类别。

未知类聚类及识别模块的聚类损失函数在常规损失函数上叠加对比聚类函数，最小化损失函数，可以确保隐藏层特征的分离，强制降低类内差而增大类间差，对所有的特征向量进行聚类后，拉开不同类别的特征向量的距离，给定特征空间的特征向量对应的标签，根据不同类别的特征向量的概率密度函数进行建模作为不同类别的区分，以判断样本数据是否属于未知类别。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。