图像分割方法、装置、设备及存储介质

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种图像分割方法、装置、设备及存储介质。

背景技术

随着技术的发展，深度学习模型的应用越来越普遍，标注训练数据的质量和数量影响着深度学习模型的精度，目前，一般使用交互式图像分割方法进行数据标注，但是交互式图像分割方法依赖于密集的交互，需要对模型的分割结果进行判断，标注过程依赖密集的人为监管，数据标注效率和标注质量，导致训练出的图像分割模型分割准确度低。

发明内容

本发明的主要目的在于提供了一种图像分割方法、装置、设备及存储介质，旨在解决现有技术中图像分割模型的分割准确度低的技术问题。

为实现上述目的，本发明提供了一种图像分割方法，所述方法包括以下步骤：

获取待分割图像；

通过预设图像分割模型对所述待分割图像进行分割；

其中，所述预设图像分割模型是以原始图像的图像特征和所述原始图像的分割图像的图像提示点特征生成的分割结果作为模型输入进行模型训练得到的。

可选地，所述通过预设图像分割模型对所述待分割图像进行分割之前，还包括：

获取原始图像集；

通过通用分割模型对所述原始图像集中的原始图像进行分割，获得所述原始图像对应的第一分割图像；

根据所述第一分割图像确定所述原始图像的图像提示点；

将所述原始图像和所述图像提示点输入所述通用分割模型，并获取所述通用分割模型输出的第二分割图像；

通过所述第二分割图像对图像分割模型进行训练，并在训练后的图像分割模型符合预设结束条件时，获得预设图像分割模型。

可选地，所述根据所述第一分割图像确定所述原始图像的图像提示点，包括：

计算所述第一分割图像的倒角距离，获得所述第一分割图像对应的距离灰度图；

根据所述距离灰度图确定所述原始图像的图像提示点。

可选地，所述根据所述距离灰度图确定所述原始图像的图像提示点，包括：

对所述距离灰度图进行归一化处理，获得所述第一分割图像对应的采样权重图；

根据所述采样权重图和预设局部邻域确定所述第一分割图像的采样得分图；

根据所述采样得分图确定所述原始图像的图像提示点。

可选地，所述根据所述采样得分图确定所述原始图像的图像提示点，包括：

根据所述采样得分图进行像素排序，并根据像素排序结果确定所述原始图像的图像提示点。

可选地，所述通过所述第二分割图像对图像分割模型进行训练，并在训练后的图像分割模型符合预设结束条件时，获得预设图像分割模型，包括：

通过所述第二分割图像对图像分割模型进行训练，并通过训练后的图像分割模型对所述原始图像进行预测，获得第三分割图像；

确定所述第三分割图像与所述第二分割图像之间的交并比值；

在所述交并比值大于预设交并比值的情况下，结束对所述图像分割模型的训练，并获得预设图像分割模型。

可选地，所述确定所述第三分割图像与所述第二分割图像之间的交并比值之后，还包括：

在所述交并比值小于或等于预设交并比值的情况下，将所述第三分割图像作为第一分割图像，并继续执行所述根据所述第一分割图像确定所述原始图像的图像提示点的步骤。

此外，为实现上述目的，本发明还提出一种图像分割装置，所述装置包括：

获取模块，用于获取待分割图像；

分割模块，用于通过预设图像分割模型对所述待分割图像进行分割；

其中，所述预设图像分割模型是以原始图像的图像特征和所述原始图像的分割图像的图像提示点特征生成的分割结果作为模型输入进行模型训练得到的。

此外，为实现上述目的，本发明还提出一种图像分割设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分割程序，所述图像分割程序配置为实现如上文所述的图像分割方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像分割程序，所述图像分割程序被处理器执行时实现如上文所述的图像分割方法的步骤。

本发明获取待分割图像；通过预设图像分割模型对所述待分割图像进行分割；其中，所述预设图像分割模型是以原始图像的图像特征和所述原始图像的分割图像的图像提示点特征生成的分割结果作为模型输入进行模型训练得到的。本发明以原始图像的图像特征和对原始图像的分割图像进行提示点采样获得的图像提示点特征生成分割结果，将该分割结果作为模型输入进行模型训练获得预设图像分割模型，通过该预设图像分割模型对待分割图像进行分割，解决了现有技术中数据标注过程依赖密集的人为监管的技术问题，提高了数据标注效率的质量，从而提高了图像分割的准确度。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的图像分割设备的结构示意图；

图2为本发明图像分割方法第一实施例的流程示意图；

图3为本发明图像分割方法一实施例中通用分割模型的输入输出示意图；

图4为本发明图像分割方法第二实施例的流程示意图；

图5为本发明图像分割方法第三实施例的流程示意图；

图6为本发明图像分割方法一实施例中图像提示点采样及模型训练示意图；

图7为本发明图像分割装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像分割设备结构示意图。

如图1所示，该图像分割设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对图像分割设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像分割程序。

在图1所示的图像分割设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；处理器1001、存储器1005可以设置在图像分割设备中，所述图像分割设备通过处理器1001调用存储器1005中存储的图像分割程序，并执行本发明实施例提供的图像分割方法。

本发明实施例提供了一种图像分割方法，参照图2，图2为本发明图像分割方法第一实施例的流程示意图。

本实施例中，所述图像分割方法包括以下步骤：

步骤S10：获取待分割图像。

需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如平板电脑、个人电脑、手机等，或者是一种能够实现上述功能的电子设备、图像分割设备等。以下以图像分割设备为例，对本实施例及下述各实施例进行举例说明。

可以理解的是，待分割图像可以是需要将图像中的目标物体分割出来的图像，例如待分割图像包括但不限于包含人脸的图像、包含车辆的图像、包含道路的图像、包含建筑物的图像或其他图像，本实施例在此不作限制。

步骤S20：通过预设图像分割模型对所述待分割图像进行分割。

其中，所述预设图像分割模型是以原始图像的图像特征和所述原始图像的分割图像的图像提示点特征生成的分割结果作为模型输入进行模型训练得到的。

可以理解的是，预设图像分割模型可以是预先训练的用于对图像进行分割的模型；原始图像可以是原始图像集中包含的无标注的图像，图像特征可以是对原始图像进行特征提取获得的特征；分割图像可以是对原始图像进行图像分割后获得的图像，分割图像包括前景图像和背景图像，对原始图像进行分割的方式包括但不限于：通过阈值分割模型对原始图像进行图像分割、通过深度学习分割模型对原始图像进行图像分割。

应该理解的是，对原始图像的分割图像进行提示点采样获得图像提示点，对图像提示点进行特征提取获得图像提示点特征，图像提示点包括正提示点和负提示点，正提示点可以是在前景图像上采样获得的提示点，负提示点可以是在背景图像上采样获得的提示点；分割结果可以是二值图像，将该二值图像作为模型输入进行模型训练获得预设图像分割模型。

进一步地，为了提高图像分割模型的准确度，所述步骤S20之前，还包括：

步骤S01：获取原始图像集。

可以理解的是，原始图像集可以是包含无标注的原始图像的集合。

步骤S02：通过通用分割模型对所述原始图像集中的原始图像进行分割，获得所述原始图像对应的第一分割图像。

可以理解的是，通用分割模型为通用的用于进行图像分割的模型，通用分割模型包括但不限于：阈值分割模型、深度学习分割模型等；第一分割图像可以是原始图像集中的原始图像对应的分割图像，第一分割图像包括前景图像和背景图像，第一分割图像还可称为二值图像。

步骤S03：根据所述第一分割图像确定所述原始图像的图像提示点。

可以理解的是，对第一分割图像进行提示点采样，获得原始图像的图像提示点。

步骤S04：将所述原始图像和所述图像提示点输入所述通用分割模型，并获取所述通用分割模型输出的第二分割图像。

可以理解的是，第二分割图像可以是基于原始图像和图像提示点生成的分割图像；将原始图像和图像提示点的像素坐标和提示点标签输入通用分割模型，通用分割模型输出第二分割图像；提示点标签包括前景标签和背景标签，前景标签用于表征提示点位于前景图像，背景标签用于表征提示点位于背景图像。

步骤S05：通过所述第二分割图像对图像分割模型进行训练，并在训练后的图像分割模型符合预设结束条件时，获得预设图像分割模型。

可以理解的是，图像分割模型可以是未训练完成的模型；预设结束条件可以是预先设置的判断模型是否训练完成的条件；通过原始图像集中各原始图像对应的第二分割图像对图像分割模型进行训练。

在具体实施中，获取原始图像集，通过通用分割模型对原始图像集中的原始图像进行分割，获得原始图像对应的第一分割图像，对第一分割图像进行提示点采样，获得原始图像对应的图像提示点，将图像提示点像素坐标和提示点标签输入通用分割模型，通用分割模型的输入输出示意图可参照图3，将原始图像输入通用分割模型的图像编码器，图像编码器提取出原始图像对应的图像特征，将图像提示点的像素坐标和提示点标签输入通用分割模型的提示点编码器，提示点编码器输出提示点特征，通用分割模型的解码器根据提示点特征和图像特征输出第二分割图像，通过第二分割图像对图像分割模型进行训练，并在训练后的图像分割模型满足预设结束条件时，获得预设图像分割模型。

本实施例获取待分割图像；通过预设图像分割模型对所述待分割图像进行分割；其中，所述预设图像分割模型是以原始图像的图像特征和所述原始图像的分割图像的图像提示点特征生成的分割结果作为模型输入进行模型训练得到的。本实施例以原始图像的图像特征和对原始图像的分割图像进行提示点采样获得的图像提示点特征生成分割结果，将该分割结果作为模型输入进行模型训练获得预设图像分割模型，通过该预设图像分割模型对待分割图像进行分割，解决了现有技术中数据标注过程依赖密集的人为监管的技术问题，提高了数据标注效率的质量，从而提高了图像分割的准确度。

参考图4，图4为本发明图像分割方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，所述步骤S03包括：

步骤S031：计算所述第一分割图像的倒角距离，获得所述第一分割图像对应的距离灰度图。

可以理解的是，第一分割图像为二值图像，第一分割图像包括前景图像和背景图像；倒角距离(Chamfer Distance)可以是一种对于图像的距离变换(distancetransform)，对于一个有特征点和非特征点的二值图像，此距离变换就是求解每一个点到最近特征点的距离；距离灰度图可以是第一分割图像中各像素点对应的倒角距离组成的灰度图。

步骤S032：根据所述距离灰度图确定所述原始图像的图像提示点。

可以理解的是，根据距离灰度图中的倒角距离确定原始图像的图像提示点。

在具体实施中，计算第一分割图像中各像素点的倒角距离，各像素点的倒角距离组成距离灰度图，根据距离灰度图中各倒角距离的大小选取若干较大的倒角距离对应的像素点作为原始图像的图像提示点。

进一步地，为了提高提示点采样的准确度，所述步骤S032，包括：对所述距离灰度图进行归一化处理，获得所述第一分割图像对应的采样权重图；根据所述采样权重图和预设局部邻域确定所述第一分割图像的采样得分图；根据所述采样得分图确定所述原始图像的图像提示点。

可以理解的是，采样权重图可以是将距离灰度图中的倒角距离进行归一化处理后得到的各像素点对应的采样权重的分布图；预设局部邻域可以是预先设定的用于进行非极大值抑制的区域，预设局部邻域可根据具体场景设定。

应该理解的是，通过预设局部邻域对采样权重图进行处理，确定预设局部邻域中的极大采样权重值，并将极大采样权重值保留，对采样权重图中的所有采样权重处理完成后，获得采样得分图。

需要说明的是，采样权重图中采样权重值低的地方，比较临近前景图像和背景图像之间的界线，但是这个界线是不准确的，如果在这些地方进行提示点采样，容易导致正采样点落在背景图像内或负采样点落在前景图像内的错误，所以提示点应该放在采样权重图里采样权重值大的地方，但是采样权重值大的地方一般是整体连成一片的，如果直接按照采样权重图中的采样权重值做采样权重值排序来进行提示点采样，会导致获得的图像提示点聚集到某一区域，即图像提示点会扎堆，因此本实施例通过预设局部邻域对采样权重图进行处理，以对预设局部邻域内的数据做非极大值抑制，在预设局部邻域内只保留一个最大采样权重值，使得采样权重值较低一些的区域也有机会被采样，从而提高了提示点采样的准确度。

进一步地，为了提高图像提示点采样的准确度，所述根据所述采样得分图确定所述原始图像的图像提示点，包括：根据所述采样得分图进行像素排序，并根据像素排序结果确定所述原始图像的图像提示点。

可以理解的是，根据采样得分图中的采样得分将对应的像素进行排序，选取若干采样得分高的像素作为原始图像的图像提示点。

在具体实施中，计算第一分割图像中各像素点的倒角距离，各像素点的倒角距离组成距离灰度图，对距离灰度图中的倒角距离进行归一化处理，获得采样权重图，根据预设局部邻域对采样权重图中的数据进行非极大值抑制处理，从而保留每个预设局部邻域内的最大采样权重值，根据预设局部邻域对采样权重图处理完成后，获得采样得分图，根据采样得分图中采样得分的大小将对应的像素进行排序，选取采样得分较大的若干像素作为图像提示点。

本实施例计算所述第一分割图像的倒角距离，获得所述第一分割图像对应的距离灰度图；根据所述距离灰度图确定所述原始图像的图像提示点。本实施例根据倒角距离组成的距离灰度图确定图像提示点，能够降低图像提示点落在前景图像和背景图像分界线上的概率，提高了图像提示点采样的准确度。

参考图5，图5为本发明图像分割方法第三实施例的流程示意图。

基于上述各实施例，在本实施例中，所述步骤S05，包括：

步骤S051：通过所述第二分割图像对图像分割模型进行训练，并通过训练后的图像分割模型对所述原始图像进行预测，获得第三分割图像。

可以理解的是，通过原始图像集中基于各原始图像生成的第二分割图像对图像分割模型进行训练。

步骤S052：确定所述第三分割图像与所述第二分割图像之间的交并比值。

可以理解的是，可将第二分割图像作为伪真值，即可将第二分割图像作为真实结果，第三分割图像为分割结果；交并比值也可称为IoU(Intersection over Union)值，交并比值可以是分割结果与真实结果之间的交集与并集之比。

步骤S053：在所述交并比值大于预设交并比值的情况下，结束对所述图像分割模型的训练，并获得预设图像分割模型。

可以理解的是，预设交并比值可以是预先设定的用于判断是否结束模型训练的交并比值，预设交并比值可以根据具体场景设定。

在具体实施中，通过第二分割图像对图像分割模型进行训练，并通过训练后的图像分割模型对原始图像进行预测，获得第三分割图像，将第二分割图像作为伪真值，计算第二分割图像和第三分割图像之间的交并比值，在交并比值大于预设交并比值的情况下，判定模型训练完成，获得预设图像分割模型。

进一步地，为了提高模型精度，所述步骤S052之后，还包括：在所述交并比值小于或等于预设交并比值的情况下，将所述第三分割图像作为第一分割图像，并继续执行所述根据所述第一分割图像确定所述原始图像的图像提示点的步骤。

在具体实施中，参照图6，图6为图像提示点采样及模型训练示意图，获取无标注的原始图像集，对原始图像集中的原始图像进行分割，获得二值图像，该二值图像也可称为第一分割图像，通过通用分割模型的图像编码器提取原始图像的图像特征；计算二值图像的倒角距离，获得距离灰度图；对距离灰度图进行归一化处理，得到各像素点对应的采样权重，采样权重构成采样权重图，根据采样权重图计算采样得分图；根据采样得分图中的采样得分进行图像提示点采样；将采样的图像提示点的像素坐标值和标签输入通用分割模型的提示点编码器，获得图像提示点特征；将图像提示点特征和图像特征输入通用分割模型的解码器，获得分割结果；利用分割结果作为伪真值训练图像分割模型；通过训练后的图像分割模型对原始图像进行预测，获得分割结果；判断伪真值与预测的分割结果之间IOU值是否达到预设值；若是，则获得预设图像分割模型和已标注的数据集；若否，则将图像分割模型预测的分割结果作为二值图像，并继续执行计算二值图像的倒角距离，获得距离灰度图的步骤，本实施例中基于提示点采样进行图像分割，提高了标注效率，并且能够交替迭代标注质量和提高模型性能，系统地提高了数据标注效率和模型精度。

本实施例通过所述第二分割图像对图像分割模型进行训练，并通过训练后的图像分割模型对所述原始图像进行预测，获得第三分割图像；确定所述第三分割图像与所述第二分割图像之间的交并比值；在所述交并比值大于预设交并比值的情况下，结束对所述图像分割模型的训练，并获得预设图像分割模型。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像分割程序，所述图像分割程序被处理器执行时实现如上文所述的图像分割方法的步骤。

参照图7，图7为本发明图像分割装置第一实施例的结构框图。

如图7所示，本发明实施例提出的图像分割装置包括：

获取模块10，用于获取待分割图像；

分割模块20，用于通过预设图像分割模型对所述待分割图像进行分割；

其中，所述预设图像分割模型是以原始图像的图像特征和所述原始图像的分割图像的图像提示点特征生成的分割结果作为模型输入进行模型训练得到的。

本实施例获取待分割图像；通过预设图像分割模型对所述待分割图像进行分割；其中，所述预设图像分割模型是以原始图像的图像特征和所述原始图像的分割图像的图像提示点特征生成的分割结果作为模型输入进行模型训练得到的。本实施例以原始图像的图像特征和对原始图像的分割图像进行提示点采样获得的图像提示点特征生成分割结果，将该分割结果作为模型输入进行模型训练获得预设图像分割模型，通过该预设图像分割模型对待分割图像进行分割，解决了现有技术中数据标注过程依赖密集的人为监管的技术问题，提高了数据标注效率的质量，从而提高了图像分割的准确度。

基于本发明上述图像分割装置第一实施例，提出本发明图像分割装置的第二实施例。

在本实施例中，所述获取模块10，还用于获取原始图像集；通过通用分割模型对所述原始图像集中的原始图像进行分割，获得所述原始图像对应的第一分割图像；根据所述第一分割图像确定所述原始图像的图像提示点；将所述原始图像和所述图像提示点输入所述通用分割模型，并获取所述通用分割模型输出的第二分割图像；通过所述第二分割图像对图像分割模型进行训练，并在训练后的图像分割模型符合预设结束条件时，获得预设图像分割模型。

所述获取模块10，还用于计算所述第一分割图像的倒角距离，获得所述第一分割图像对应的距离灰度图；根据所述距离灰度图确定所述原始图像的图像提示点。

所述获取模块10，还用于对所述距离灰度图进行归一化处理，获得所述第一分割图像对应的采样权重图；根据所述采样权重图和预设局部邻域确定所述第一分割图像的采样得分图；根据所述采样得分图确定所述原始图像的图像提示点。

所述获取模块10，还用于根据所述采样得分图进行像素排序，并根据像素排序结果确定所述原始图像的图像提示点。

所述获取模块10，还用于通过所述第二分割图像对图像分割模型进行训练，并通过训练后的图像分割模型对所述原始图像进行预测，获得第三分割图像；确定所述第三分割图像与所述第二分割图像之间的交并比值；在所述交并比值大于预设交并比值的情况下，结束对所述图像分割模型的训练，并获得预设图像分割模型。

所述获取模块10，还用于在所述交并比值小于或等于预设交并比值的情况下，将所述第三分割图像作为第一分割图像，并继续执行所述根据所述第一分割图像确定所述原始图像的图像提示点的步骤。

本发明图像分割装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。