一种基于多边形回归的物体分割方法

技术领域

本发明涉及涉及图像处理领域，具体涉及一种基于多边形回归的物体分割方法。

背景技术

给定一张图像，物体分割的任务是，估计出其中物体和背景的区域。分割结果最常见的表达方式是二值图像，如图1中黑色表示背景，白色表示物体。

常见的物体分割方法有：基于水平集的方法、基于主动轮廓的方法、基于图割的方法、基于超像素的方法和基于深度学习的方法。其中早期的方法如基于水平集的方法和基于主动轮廓的方法采用轮廓来表示分割结果，较新的方法如基于图割的方法、基于超像素的方法和基于深度学习的方法采用Mask表示分割结果。

轮廓一般使用偏微分方程的形式表示，不容易嵌入到深度模型中，而Mask为矩阵形式，嵌入非常方便，因此在深度学习方法中成为主流。Mask虽然方便灵活，其对大物体的表示不够精细。基于深度学习的方法中使用的Mask分辨率一般为28×28，在二值化之前其占用空间为28×28×sizeof(float)。从图2中可以看出用28×28的Mask来表示一个224x224的物体，会导致细节丢失，提升图像或Mask的分辨率能在一定程度上解决28x28Mask引起的问题，但计算复杂度会呈平方增长。且在物体分割的很多下游任务中往往也需要多边形数据结构，Mask转换多边形也会引入额外计算、

另外，对于细长物体，模型预测的Mask容易断裂，如图3所示，影响下游任务，如：物尺寸测量、物体计数等。

发明内容

本发明的目的在于提供一种基于多边形回归的物体分割方法，以实现相较Mask更为精细的物体分割效果。

为解决上述技术问题，本发明提供了一种技术方案：一种基于多边形回归的物体分割方法，该方法包括模型训练阶段和实测阶段；

模型训练阶段中包括如下步骤；

建立物体分割模型；所述物体分割模型包括深度模型和回归层，深度模型用于提取输入图像的图像特征，回归层用于将图像特征回归为多边形；

进行预测与标注；将训练图像输入物体分割模型中，得到预测多边形，将训练图像进行标注得到标注多边形；

建立损失函数；损失函数包括多边形距离和周长差；

模型优化；

实测阶段中，将实测图像输入物体分割模型中，得到实测图像中被分割物体对应的多边形。

按上述方案，所述深度模型为CNN。

按上述方案，所述深度模型为Transformer。

按上述方案，多边形距离由预测多边形中的点到标注多边形的最短距离以及标注多边形中的点到预测多边形中的最短距离的总和。

按上述方案，周长差为预测多边形的周长与标注多边形的周长之间的差值。

一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上文所述基于多边形回归的物体分割方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上文所述基于多边形回归的物体分割方法的步骤。

一种用于实现上文所述基于多边形回归的物体分割方法的基于多边形回归的物体分割系统，该系统包括；

图像输入单元，用于输入训练图像、被标注的训练图像以及实测图像；

物体分割单元，设置有所述的物体分割模型，用于分割输入图像中的物体并输出被分割物体对应的多边形。

按上述方案，物体分割模型的深度模型为CNN或Transformer。

本发明的有益效果是：对于同一图像，采用多边形分割表示方法相较于Mask表示方法的分割效果更为精细，并且分割结果的所需存储量更小。并且当物体分割的下游任务中需要多边形数据时，直接采用多边形分割相比Mask分割节约了由Mask转化为多边形的额外计算过程。

附图说明

图1是Mask分割结果示意图；

图2是Mask分割结果采样后的结果示意图；

图3是针对细长物体的Mask分割结果示意图；

图4是本发明一实施例的基于多边形回归的物体分割方法流程图；

图5是本发明一实施例的基于多边形回归的物体分割方法原理示意图；

图6是本发明一实施例的预测多边形以及标注多边形中的各点、边以及法向量示意图；

图7是本发明一实施例的多边形分割结果图；

图8是本发明一实施例的引入周长差作为损失函数的约束条件的效果示意图；其中(a)为未引入周长差作为约束条件时的分割效果图，(b)为引入周长差作为约束条件时的分割效果图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

实施例一：

参见图4、图5，一种基于多边形回归的物体分割方法，该方法包括模型训练阶段和实测阶段；

模型训练阶段中包括如下步骤；

建立物体分割模型；所述物体分割模型包括深度模型(CNN或Transformer)和回归层，深度模型用于提取输入图像的图像特征，回归层用于将图像特征回归为多边形；

进行预测与标注；将训练图像输入物体分割模型中，得到预测多边形，将训练图像进行标注得到标注多边形；

建立损失函数；损失函数由多边形距离和周长差构成。

进一步地，其中多边形距离由预测多边形中的点到标注多边形的最短距离以及标注多边形中的点到预测多边形中的最短距离的总和。

进一步地，周长差为预测多边形的周长与标注多边形的周长之间的差值。

模型优化；重复迭代设置物体分割模型的参数，使多边形距离和周长差均到达最小值；

实测阶段中，将实测图像输入物体分割模型中，得到实测图像中被分割物体对应的多边形。

仅有多边形距离约束，不足以让预测结果X和标签Y完全一致。

进一步地，周长差表示为|length(X)-length(Y)|，其中length(X)、length(Y)分别表示预测多边形和标注多边形的周长。

参见图8，引入周长差作为约束条件时可以避免“套圈现象”；图8(a)中预测多边形的顶点虽然与标签基本重叠，但缺少周长约束，会随机出现环绕目标多圈的情况，图8(b)中引入了周长约束，预测多边形的顶点会严格拟合标注多边形。

进一步地，参见图6，所述多边形距离可以采用如下确定方式，

若预测多边形为多边形X，包含P个点和E条边；并且标注多边形为多边形Y，包含K个点和F条边；多边形X和多边形Y中的各点与各边均具有各自对应的法向量；

则对于多边形X中的每个点X

对于多边形Y中的每个点Y

多边形X与多边形Y之间的多边形距离为

本实施例生成的多边形分割结果参见图7，与图2所示的Mask分割结果采样后的图示相比较，本实施例的分割结果具有更多的图形细节，分割结果更为精细。并且对于同一图像，本实施例的分割结果占用空间为41×2×sizeof(float)，Mask分割结果占用空间为28×28×sizeof(float)，可见本实施例所采用的分割方法形成的分割结果占用空间更小。

实施例二：

本实施例与实施例一的区别在于：所述多边形距离具体确定方式如下，

若预测多边形为多边形X，标注多边形为多边形Y；在多边形X上密集采样Q

对于多边形X中的每个点X

对于多边形Y中的每个点Y

多边形X与多边形Y之间的多边形距离为

该实施例由于采用了“近似计算”，相较于实施例一所需的运算量更少。

在本发明的其他实施例中，对于多边形距离和周长差，采用其他的表示方法。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。