一种改进的基于目标轮廓的实例分割方法

技术领域

本发明属于图像实例分割的技术领域，尤其涉及一种改进的基于目标轮廓的实例分割方法。

背景技术

实例分割是计算机视觉领域中的一个经典任务，它是目标检测与语义分割任务的组合，目标检测包括定位和分类两项任务，需要给出图像中每个对象的类别，并给出每个对象的位置，以矩形框或是质心的方式表示对象的位置。语义分割是针对输入图像每个像素的类别对图像中的对象进行类别划分。实例分割在语义分割的基础上对同一类别的对象区分不同实例，并提供不同的标签。

目前的实例分割大多采用基于检测框的方式对物体进行逐像素计算，在检测框内进行分割，对分割精度以及分割速度都有所影响，大大降低了实例分割的使用效率。

发明内容

针对上述基于检测框实例分割技术的问题，本发明的目的在于提供一种改进的基于目标轮廓的实例分割方法，以多边形为初始轮廓并对初始轮廓进行分段采样，输入提出的渐进式分割网络，并通过改进的基于向量的损失函数进行约束，提升模型的准确率。

为了解决上述技术问题，本发明通过以下技术方案来实现：

本发明提供一种改进的基于目标轮廓的实例分割方法，包括以下步骤：

步骤1：输入一张图像，通过目标检测网络得到物体位置信息和类别信息；

步骤2：通过位置信息得到菱形框；

步骤3：将菱形框输入渐进式分割网络进行特征处理，得到目标物体的四个极值点；

步骤4：以四个极值点为标准做矩形框，矩形框与极值点的四个交点将物体轮廓划分为四个轮廓段；

步骤5：对作为初始轮廓的矩形框进行均匀采样，并在每个轮廓段内，以初始轮廓上顶点的个数为标准，对每个轮廓段内物体轮廓进行均匀采样；

步骤6：将初始轮廓输入渐进式分割网络进行特征处理，得到预测的偏移量；

步骤7：将初始轮廓与偏移量进行计算得到新的物体轮廓；

步骤8：以得到的物体轮廓作为初始轮廓输入，进行迭代，得到最终的分割结果。

优选的，所述步骤2的具体步骤为：

步骤2.1：通过Centernet目标检测网络，得到物体的中心位置以及宽和高，以此做矩形框；

步骤2.2：取矩形框四个边的中点，连接得到菱形框。

进一步的，所述步骤3的具体步骤为：

步骤3.1：采用圆形卷积，设计渐进式分割模型，并以多尺度融合模块进行特征处理，同时采用基于向量的损失函数进行约束，输出偏移量；

步骤3.2：渐进式分割模型，分为粗割模块和精割模块，以圆形卷积为基础，分别采用不同的模块数量以及连接方式，使分割呈现渐进式的效果，提升模型的分割精度；

步骤3.3：多尺度融合模块，应用于渐进式分割网络中，对输入的特征分别采用不同卷积率的空洞卷积进行特征处理，以扩大感受野，再将不同感受野的特征进行融合；

步骤3.4：基于向量机的损失函数，通过将向量转化为交并比的方式进行损失约束；

步骤3.5：将菱形框输入渐进式分割网络，通过特征处理，得到四个偏移量，与四个边的中心点进行计算，得到目标物体的四个极值点。

可选的，所述步骤5的具体步骤为：

步骤5.1：对矩形框做N＝128的均匀采样；

步骤5.1：通过轮廓段的划分得出每个轮廓段上初始轮廓采样点的个数；

步骤5.2：对应所在轮廓段上初始轮廓的采样点个数，对该段物体轮廓进行同数量的重采样。

由上，本发明的改进的基于目标轮廓的实例分割方法至少具有如下有益效果：

1、使用分段式的初始轮廓构建方法，提升物体边缘分割曲线的贴合程度，提升分割精度；

2、使用渐进式的分割方法，更好地提取图像深层特征，加深网络的同时提升了分割精度；

3、使用多尺度的特征融合方法，扩大了模型感受野；

4、设计基于向量的损失函数，以交并比的方式使损失控制在一定范围内，更好的约束了模型的回归。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1是渐进式分割模型网络结构图；

图2是多尺度融合模块网络结构图；

图3是圆形卷积的结构图；

图4是预测偏移量的向量表示图；

图5是改进的基于目标轮廓的实例分割效果图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。

本发明旨在以无锚框的方式实现实例分割，提出了改进的基于目标轮廓的实例分割方法，通过Centernet目标检测网络确定图像中物体的位置信息，以此为基础分段式地构建初始轮廓，输入以圆形卷积构建的渐进式分割网络，在模型中以多尺度融合的方式进行特征处理，并设计基于向量的损失函数进行约束，得到轮廓的偏移量，通过偏移量重新计算初始轮廓，并进行迭代，此发明提升了实例分割精度。下面参照图1-5对本发明所述改进的基于目标轮廓的实例分割方法进行详细说明。

步骤1：输入一张图像，通过Centernet目标检测网络得到物体位置信息和类别信息；

步骤2：通过位置信息，即物体的中心点、宽和高，得到检测框，取矩形检测框四个边的中心点，记为{P

步骤3：对菱形框和目标物体进行均匀采样，并将采样后的菱形框输入渐进式分割网络，通过模型进行特征处理，得到四个偏移量，使P

步骤4：设计分段式的初始轮廓，可以更好向物体边缘回归，减少了初始轮廓与目标物体采样点的交错。以四个极值点为标准做矩形框，矩形框与极值点的四个交点将物体轮廓划分为四个轮廓段；

步骤5：对作为初始轮廓的矩形框进行均匀采样，并在每个轮廓段内，以初始轮廓上顶点的个数为标准，对每个轮廓段内物体轮廓进行均匀采样；

步骤6：将初始轮廓输入渐进式分割网络，如图1所示，进行特征处理，得到与轮廓采样点相同数量的偏移量。步骤6与步骤3采用相同的渐进式分割模型以及相同的流程，不同的是输入的初始轮廓形状以及顶点个数不同，得到不同数量的偏移量；

步骤7：将初始轮廓与偏移量进行计算，如计算公式(2)所示，得到新的物体轮廓；

x＝x’+Δx

y＝y’+Δy (2)

步骤8：以得到的物体轮廓作为初始轮廓再次输入渐进式分割网络，进行3次迭代，得到最终的分割结果。

具体的，所述步骤2中，包括：

步骤2.1：通过Centernet目标检测网络，采用热力图实现目标物体的检测，热力图的峰值即中心点，每个特征图的峰值点位置预测了目标信息的宽高信息，通过中心点和宽高信息做矩形预测框；

步骤2.2：取矩形框四个边的中点，连接得到菱形框，作为输入改进的基于目标轮廓的实例分割网络的起始轮廓。

具体的，所述步骤3中，包括：

步骤3.1：改进的基于目标轮廓的实例分割模型采用圆形卷积，设计了渐进式分割网络，并以多尺度融合模块进行特征融合扩大模型感受野，同时采用基于向量的损失函数进行约束，得到输出偏移量。

步骤3.2：圆形卷积如图3所示，是一种特殊的线性卷积，对比CNN卷积更适用于对本发明这种离散的轮廓点进行特征处理。将轮廓顶点视为一个离散的一维信号，f:Z→R

采用圆形卷积计算的周期特征，具体计算如公式(4)：

步骤3.3：渐进式分割模型如图1所示，以圆形卷积为基础，设计了渐进式的两个分割模块，粗割模块内部采用类似于ResNet的连接方式，连接5个Circonv-BN-Relu层，其中每个Circonv都是空洞圆形卷积；精割模块内部采用类似于DenseNet的连接方式，连接8个Circonv-BN-Relu层，通过这种连接方式可以更好的保留浅层特征，相较于粗割模型可以更好的提取轮廓上的特征值。分别采用不同的模块数量以连接方式，使得两段模型的分割效果呈现渐进式的效果，提升模型的分割精度。

步骤3.4：多尺度融合模块(Multi-scale fusion module)如图2所示，由多个圆形卷积组成，为了得到多尺度的上下文信息，本发明采用的是卷积率为1、3、5的空洞卷积分别提取特征，扩大感受野，防止经过粗割模块后大物体的特征丢失，将得到的不同感受野的特征进行拼接，通过1*1卷积进行融合，再通过1*1卷积输出作为精割模块的输入。如图1所示连接于分割模型，对输入的特征分别采用不同卷积率的空洞卷积进行特征处理，以扩大感受野，再将不同感受野的特征进行融合；

步骤3.5：基于向量机的损失函数，通过将向量转化为交并比的方式进行损失约束，以比值方式将偏差控制在[0,1]之间，使训练过程更加稳定。

(1)将预测偏移量和真实偏移量转化为预测向量和真实向量；

(2)将一个向量用四个分量表示，预测向量与真实向量表示方式相同，如图4所示，以预测向量为例，v

(3)基于向量的损失函数，如计算公式(5)：

步骤3.6：将菱形框输入渐进式分割网络，通过特征处理，得到四个偏移量，与四个边的中心点{P

x

y

其中步骤5的具体步骤为：

步骤5.1：对矩形框做N＝128的均匀采样；

步骤5.1：通过轮廓段的划分得出每个轮廓段上初始轮廓采样点的个数，不同物体不同轮廓段采样点的个数不同；

步骤5.2：对应所在轮廓段上初始轮廓的采样点个数，对该段物体轮廓进行同数量的重采样。

为证明本发明的实例分割效果，在Cityscapes数据集上进行验证，图5可以看出本发明的改进的基于目标轮廓的实例分割方法对图像中的目标物体进行了高精度的分割。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。