一种图像分割的方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像分割的方法、装置、电子设备及存储介质。

背景技术

图像分割即是把图像分成若干个特定的、具有独特性质的区域并提取出感兴趣目标的过程。提取出的目标可以应用于图像语义识别、图像搜索等领域。

相关技术中提供了一种以边缘检测为基础的图像分割方法，该方法的基本思想是利用区域之间的特征不一致性，检测图像中存在的边缘点，然后按照既定的策略将所有的点连接成线，直到构成闭合区域。

然而，当边缘较为复杂，特别是在图像背景比较复杂的情况下，容易将本来属于图像背景的像素点分割为目标对象的像素点，分割的准确度不高。

发明内容

本公开实施例至少提供一种图像分割的方法、装置、电子设备及存储介质，使图像边缘得到更精确的分割，分割的准确度较高。

第一方面，本公开实施例提供了一种图像分割的方法，所述方法包括：

对待分割图像进行特征提取，得到所述待分割图像的特征图；

对得到的所述特征图进行边缘特征提取，得到针对所述待分割图像的第一边缘特征和第二边缘特征；所述第一边缘特征对应的特征向量与所述第二边缘特征对应的特征向量的方向是不同的；

基于所述第一边缘特征、所述第二边缘特征以及所述待分割图像的特征图，确定所述待分割图像的图像分割结果。

采用上述图像分割的方法，在获取到待分割图像的情况下，可以对待分割图像进行特征提取，进而可以对提取得到的特征图进行边缘特征提取，得到特征向量的方向是不同的第一边缘特征和第二边缘特征。结合两个边缘特征(即第一边缘特征和第二边缘特征)以及待分割图像的特征图进行图像分割，可以便于从待分割图像中彰显出目标对象的边缘轮廓，从而提升图像分割的准确度。

在一种可能的实施方式中，对待分割图像进行特征提取，得到所述待分割图像的特征图，包括：

对待分割图像进行特征提取，得到原始多尺度特征图；所述原始多尺度特征图包括多个尺度的特征图；

从所述多个尺度的特征图中选取尺度最大的一个特征图，作为底层单尺度特征图；

所述对得到的所述特征图进行边缘特征提取，得到针对所述待分割图像的第一边缘特征和第二边缘特征，包括：

将所述原始多尺度特征图和所述底层单尺度特征图进行和值运算，得到第一和值特征图；

对所述第一和值特征图进行边缘特征提取，得到所述第一边缘特征和第二边缘特征。

这里所得到的原始多尺度特征图可以表征目标对象在各个尺度下的特征，针对不同大小的目标对象可以对应不同的尺度来最大可能性的提升分割准确度，除此之外，有关底层单尺度特征图可以反映较浅层次的图片特征，例如边缘。这里结合上述两个特征图的和值运算实现两个边缘特征的提取，特征表达能力较好。

在一种可能的实施方式中，所述对所述第一和值特征图进行边缘特征提取，得到所述第一边缘特征和第二边缘特征，包括：

基于所述第一和值特征图和所述原始多尺度特征图进行级联运算，得到级联特征图；

将所述级联特征图输入所述边缘压缩网络的不同卷积层进行边缘特征提取，得到方向不同的两个特征向量；

分别基于所述两个特征向量对所述第一和值特征图进行双线性插值运算，得到所述第一边缘特征和第二边缘特征。

这里，可以基于不同方向的两个特征向量以及第一和值特征图之间的双线性插值运算，实现两个边缘特征的提取，所提取的两个边缘特征中的一个可以突显有关膨胀操作，另一个可以突显有关腐蚀操作，进而使得目标对象的轮廓可以得以有效的提取，进一步提升后续分割结果的准确性。

在一种可能的实施方式中，所述基于所述第一边缘特征、所述第二边缘特征以及所述待分割图像的特征图，确定所述待分割图像的图像分割结果，包括：

将所述第一边缘特征、所述第二边缘特征以及所述原始多尺度特征图进行和值运算，得到第二和值特征图；

基于所述第二和值特征图对所述待分割图像进行图像分割，得到图像分割结果。

这里，结合两个边缘特征和原始多尺度特征图实现有关图像分割，由于边缘特征可以突显目标对象的轮廓，进而使得所确定的图像分割结果更为准确。

在一种可能的实施方式中，对得到的特征图进行边缘特征提取是由神经网络中的边缘压缩网络执行的；基于所述第二和值特征图对所述待分割图像进行图像分割是由所述神经网络中的主分割网络执行的；

按照如下步骤训练所述神经网络：

获取多个图像样本以及针对每个所述图像样本的原始标注信息；

对所述图像样本进行特征提取，得到样本特征图；

基于提取的所述样本特征图以及所述图像样本的原始标注信息对神经网络进行训练。

在一种可能的实施方式中，所述基于提取的所述样本特征图以及所述图像样本的原始标注信息对所述神经网络进行训练，包括：

利用所述神经网络对提取的所述样本特征图进行图像分割，输出图像分割结果，并将该图像分割结果与所述图像样本的原始标注信息进行对比；

基于所述对比结果，调整所述主分割网络以及所述边缘压缩网络中至少一个网络的网络参数值。

这里，可以基于主分割网络输出的图像分割结果与图像样本的原始标注信息之间的对比结果，实现网络调整，操作简单。

在一种可能的实施方式中，所述方法还包括：

基于每个所述图像样本的原始标注信息，确定所述图像样本中包括的目标对象的第一对象标注信息、第二对象标注信息以及第三对象标注信息；所述第一对象标注信息用于指示所述目标对象的边缘像素点的标注值与其它非边缘像素点的标注值不同，所述第二对象标注信息用于指示所述目标对象内对应腐蚀区域的标注值与其它非腐蚀区域的标注值不同，所述第三对象标注信息用于指示所述目标对象外对应膨胀区域的标注值与其它非膨胀区域的标注值不同；

所述神经网络还包括第一副分割网络、第二副分割网络和第三副分割网络；

所述基于提取的所述样本特征图以及所述图像样本的原始标注信息对所述神经网络进行训练，包括：

对所述样本特征图进行边缘特征提取，得到第一样本边缘特征和第二样本边缘特征；所述第一样本边缘特征对应的特征向量与所述第二样本边缘特征对应的特征向量的方向是不同的；

基于所述第一样本边缘特征、所述第二样本边缘特征、所述图像样本中包括的目标对象的第一对象标注信息、第二对象标注信息以及第三对象标注信息，对所述神经网络进行训练。

在一种可能的实施方式中，所述基于所述第一样本边缘特征、所述第二样本边缘特征、所述图像样本中包括的目标对象的第一对象标注信息、第二对象标注信息以及第三对象标注信息，对所述神经网络进行训练，包括：

将所述第一样本边缘特征和所述第二样本边缘特征进行和值运算，将得到的和值边缘特征输入到所述第一副分割网络，得到所述第一副分割网络输出的针对目标对象的第一对象分割结果，并将该第一对象分割结果与所述图像样本中包括的目标对象的第一对象标注信息进行对比；以及，

将第一样本边缘特征输入到所述第二副分割网络，得到所述第二副分割网络输出的针对目标对象的第二对象分割结果，并将该第二对象分割结果与所述图像样本中包括的目标对象的第二对象标注信息进行对比；以及，

将第二样本边缘特征输入到所述第三副分割网络，得到所述第三副分割网络输出的针对目标对象的第三对象分割结果，并将该第三对象分割结果与所述图像样本中包括的目标对象的第三对象标注信息进行对比；

若各副分割网络及所述主分割网络对应的任一对比结果不一致，则调整所述主分割网络、所述边缘压缩网络、以及三个所述副分割网络中至少一个网络的网络参数值，直至对比结果一致，得到训练好的神经网络。

这里，可以结合副分割网络的联合训练实现网络训练。这里的副分割网络从目标对象的边缘像素点、目标对象外对应膨胀区域以及目标对象外对应腐蚀区域进行了约束，从而可以辅助主分割网络能够将目标对象从图像样本中准确的分割出来，分割准确度较高。

在一种可能的实施方式中，所述神经网络还包括目标检测网络；所述基于提取的所述样本特征图以及所述图像样本的原始标注信息对所述神经网络进行训练，包括：

利用所述目标检测网络对提取的所述样本特征图进行目标检测，输出目标检测结果，并将该目标检测结果与所述图像样本的原始标注信息进行对比；

基于所述对比结果，调整所述主分割网络、所述边缘压缩网络以及所述目标检测网络中至少一个网络的网络参数值。

在一种可能的实施方式中，所述对所述图像样本中进行特征提取，得到样本特征图，包括：

从所述图像样本中提取多个尺度的样本特征图；

所述基于提取的所述样本特征图以及所述图像样本的原始标注信息对所述神经网络进行训练，包括：

从所述多个尺度的样本特征图中选取尺度最大的一个样本特征图；以及，基于所述图像样本中目标对象的预先标注尺度从所述多个尺度的样本特征图中选取对应的一个样本特征图；

基于选取的两个所述样本特征图以及所述图像样本的原始标注信息对所述神经网络进行训练。

第二方面，本公开实施例还提供了一种图像分割的装置，所述装置包括：

第一提取模块，用于对待分割图像进行特征提取，得到所述待分割图像的特征图；

第二提取模块，用于对得到的所述特征图进行边缘特征提取，得到针对所述待分割图像的第一边缘特征和第二边缘特征；所述第一边缘特征对应的特征向量与所述第二边缘特征对应的特征向量的方向是不同的；

分割模块，用于基于所述第一边缘特征、所述第二边缘特征以及所述待分割图像的特征图，确定所述待分割图像的图像分割结果。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的图像分割的方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的图像分割的方法的步骤。

关于上述图像分割的装置、电子设备、及计算机可读存储介质的效果描述参见上述图像分割的方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种图像分割的方法的流程图；

图2(a)示出了本公开实施例所提供的图像分割的方法中，边缘特征提取具体方法的流程图；

图2(b)示出了本公开实施例所提供的图像分割的方法中，边缘特征提取具体方法的流程图；

图3示出了本公开实施例所提供的一种图像分割的方法中，网络训练具体方法的流程图；

图4示出了本公开实施例所提供的一种图像分割的装置的示意图；

图5示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，相关技术中提供的以边缘检测为基础的图像分割方法的基本思想是利用区域之间的特征不一致性，检测图像中存在的边缘点，然后按照既定的策略将所有的点连接成线，直到构成闭合区域。

然而，当边缘较为复杂，特别是在图像背景比较复杂的情况下，容易将本来属于图像背景的像素点分割为目标对象的像素点，分割的准确度不高。

基于上述研究，本公开提供了一种图像分割的方法、装置、电子设备及存储介质，使图像边缘得到更精确的分割，分割的准确度较高。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像分割的方法进行详细介绍，本公开实施例所提供的图像分割的方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像分割的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的图像分割的方法的流程图，方法包括步骤S101～S103，其中：

S101：对待分割图像进行特征提取，得到待分割图像的特征图；

S102：对得到的特征图进行边缘特征提取，得到针对待分割图像的第一边缘特征和第二边缘特征；第一边缘特征对应的特征向量与第二边缘特征对应的特征向量的方向是不同的；

S103：基于第一边缘特征、第二边缘特征以及待分割图像的特征图，确定待分割图像的图像分割结果。

为了便于理解本公开实施例提供的图像分割的方法，接下来首先对该方法的应用场景进行说明。上述图像分割的方法主要可以应用于计算机视觉技术领域，例如以视频应用为基础的视频安防、工业视觉，医疗、智能驾驶视觉等。在相关技术领域中，图像分割的要求在于对场景和人物进行准确的边缘定位，并根据任务的要求对场景里面的类别进行分类。

然而，对于一些边缘较为复杂，特别是在图像背景比较复杂的情况下，相关技术中的图像分割方案容易将本来属于图像背景的像素点分割为目标对象的像素点，分割的准确度不高。

正是为了解决上述问题，本公开实施例才提供了一种结合边缘特征和自身的图像特征进行图像分割的方案，该方案从图像腐蚀和图像膨胀两个层面彰显了目标对象的边缘轮廓，提升了分割的准确度。

这里的待分割图像可以是在上述各种应用场景下获取的图像，不同的应用场景所获取的待分割图像也不同，例如，可以是具有天空和飞机元素的相关图像，也可以是具有人物和草坪的相关图像。

针对待分割图像，本公开实施例可以利用各种特征提取方法进行特征图的提取。例如，可以通过图像处理，从待分割图像中提取出特征，再如可以利用训练好的特征提取网络进行特征图的提取。

考虑到特征提取网络可以挖掘更深层次的图像特征，本公开实施例中可以采用特征提取网络提取特征图。这里的特征提取网络可以是卷积神经网络(ConvolutionalNeural Networks,CNN)。在具体应用中，可以采用特征图金字塔网络(Feature PyramidNetworks,FPN)这种CNN模型来高效提取图片中各维度特征的方法实现特征图的提取。

本公开实施例中，基于边缘压缩网络可以提取到两个向量方向不同的边缘特征。在实际应用中，上述两个边缘特征(第一边缘特征和第二边缘特征)可以是利用边缘压缩网络(Boundary Compression Network，BCN)提取的，所对应的特征向量的方向可以是相反的，以对目标对象的边缘位置处的特征进一步进行增强，例如，这两个边缘特征可以分别由从外向内和从内向外这两个方向进行压缩。

可知的是，本公开实施例通过边缘压缩网络学习两个不同方向的特征向量的方式，把图像的边缘特征进行压缩，这样结合待分割图像的特征图所实现的分割可以有效的找到目标对象的边界，也即可以得到目标对象大致的轮廓，从而显著提升图像分割的性能。

本公开实施例在进行特征图的提取过程中，可以基于上述FPN提取得到原始多尺度特征图，该原始多尺度特征图包括多个尺度的特征图。这里的FPN可以包括多个相连的卷积层以及与每个卷积层对应的池化层。

在将待分割图像输入到FPN的情况下，可以得到多个相连的卷积层分别输出的样本卷积特征，这样，针对每个池化层，基于该池化层的上一个池化层输出的池化特征以及该池化层对应的卷积层输出的卷积特征，确定该池化层输出的池化特征，最后基于针对每个池化层输出的池化特征，确定待分割图像的特征图。

针对卷积层可以形成自下至上的通路，对应的可以是自底至上逐层浓缩表达特征的一个过程。其中，较底层反映较浅层次的图片信息特征，例如边缘等，较高层则反映较深层次的图片特征，例如像物体轮廓、乃至类别等；针对池化层，可以形成自上至下的通路，在处理每一池化层的信息时会参考上一层的高层次信息作为输入，以得到各种尺度的特征图(对应原始多尺度特征图)。

这里，为了可以在一定程度上提升后续进行边缘特征提取的准确度，还可以从多个尺度的特征图中选取尺度最大的一个特征图作为底层单尺度特征图，这主要是考虑到底层单尺度特征图可以表征的是较浅层次的图片信息特征，例如边缘特征，进而便于实现边缘特征的提取。

在得到原始多尺度特征图和底层单尺度特征图的情况下，可以首先进行和值运算，而后基于得到的第一和值特征图以及训练好的边缘压缩网络实现边缘特征的提取，具体可以通过如下步骤来实现：

步骤一、基于第一和值特征图和原始多尺度特征图进行级联运算，得到级联特征图；

步骤二、将级联特征图输入边缘压缩网络的不同卷积层进行边缘特征提取，得到方向不同的两个特征向量；

步骤三、分别基于两个特征向量对第一和值特征图进行双线性插值运算，得到第一边缘特征和第二边缘特征。

这里，首先可以基于第一和值特征图和原始多尺度特征图的级联运算，得到级联特征图，而后利用边缘压缩网络的不同卷积层确定方向不同的两个特征向量，最后基于双线性插值运算，得到两个插值后特征，并作为两个边缘特征。

其中，上述级联运算可以是在通道上的级联，这与上述和值运算不同，上述和值运算可以是对应维度的特征值的相加融合操作。

为了便于进一步说明上述边缘特征的提取过程，接下来可以结合图2(

如图2(a)所示，原始多尺度特征图F

如图2(b)所示，卷积后的第一和值特征图F’

这里，在将第一边缘特征、第二边缘特征以及原始多尺度特征图进行和值运算之后，基于得到的第二和值特征图可以实现对于待分割图像的图像分割，得到图像分割结果。在具体应用中，上述图像分割的过程可以是利用主分割网络实现的。

在具体应用中，可以是先进行第一边缘特征和第二边缘特征之间的和值运算，得到和值边缘特征F

考虑到各网络的训练过程对于本公开实施例提供的图像分割方法的关键作用，接下来可以着重对各网络的训练过程进行说明。

这里，可以将上述边缘压缩网络以及主分割网络均作为神经网络的子网络，一同实现神经网络的训练。

有关神经网络的训练过程可以通过如下步骤来实现：

步骤一、获取多个图像样本以及针对每个图像样本的原始标注信息；

步骤二、对图像样本进行特征提取，得到样本特征图；

步骤三、基于提取的样本特征图以及图像样本的原始标注信息对神经网络进行训练。

这里，可以先获取带有原始标注信息的图像样本，而后对各个图像样本进行特征提取以得到样本特征图。这样，可以通过提取的样本特征图以及针对图像样本的原始标注信息进行网络训练，即可以得到训练好的主分割网络以及边缘压缩网络。

其中，有关图像样本可以是结合具体的应用场景获取的图像，具体可以参照上述待分割图像的获取操作，在此不再赘述。

本公开实施例中，有关样本特征图的提取也可以是利用特征提取网络提取得到的，同理，可以从图像样本中提取多个尺度的样本特征图。在神经网络训练的过程中，本公开实施例可以结合区域特征聚集方式实现有关样本特征图的提取。

这里的区域特征聚集方式对应的可以是ROI Align方式，该方式作为ROI Pooling方法的改进方式，该方式取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像特征值，从而将整个特征聚集过程转化为一个连续的操作。这里，可以基于目标对象的预先标注尺度从上述多个尺度的样本特征图中选取对应尺度的一个样本特征图，进而可以结合最大尺度的样本特征图实现神经网络的训练。

本公开实施例中，上述有关主分割网络和边缘压缩网络的网络训练过程可以通过如下步骤来实现：

步骤一、利用神经网络对提取的样本特征图进行图像分割，输出图像分割结果，并将该图像分割结果与图像样本的原始标注信息进行对比；

步骤二、基于对比结果，调整主分割网络以及边缘压缩网络中至少一个网络的网络参数值。

这里可以基于主分割网络输出的图像分割结果和图像样本的原始标注信息之间的对比结果来调整网络参数值。

本公开实施例中，考虑到两个边缘特征对于分割结果准确度的关键影响，可以通过不同的监督信号增强上述边缘特征的影响。在训练主分割网络和边缘压缩网络的过程中，可以同步训练神经网络中的三个副分割网络，通过这三个副分割网络的联合作用，进一步提升主分割网络的分割准确度。

在进行三个副分割网络的联合训练之前，可以基于每个图像样本的原始标注信息，确定图像样本中包括的目标对象的第一对象标注信息、第二对象标注信息以及第三对象标注信息。

其中，第一对象标注信息用于指示目标对象的边缘像素点的标注值与其它非边缘像素点的标注值不同，第二对象标注信息用于指示目标对象内对应腐蚀区域的标注值与其它非腐蚀区域的标注值不同，第三对象标注信息用于指示目标对象外对应膨胀区域的标注值与其它非膨胀区域的标注值不同。

而后，可以按照如下步骤进行包括有各个子网络的神经网络的训练：

步骤一、对样本特征图进行边缘特征提取，得到第一样本边缘特征和第二样本边缘特征；第一样本边缘特征对应的特征向量与第二样本边缘特征对应的特征向量的方向是不同的；

步骤二、基于第一样本边缘特征、第二样本边缘特征、图像样本中包括的目标对象的第一对象标注信息、第二对象标注信息以及第三对象标注信息，对神经网络进行训练。

这里，有关针对样本特征图进行边缘特征提取的过程可以参见上述有关特征图的边缘特征提取过程，在此不再赘述。

本公开实施例中可以按照如下步骤基于提取的两个样本边缘特征以及三个对象标注信息实现各网络的训练：

步骤一、将第一样本边缘特征和第二样本边缘特征进行和值运算，将得到的和值边缘特征输入到第一副分割网络，得到第一副分割网络输出的针对目标对象的第一对象分割结果，并将该第一对象分割结果与图像样本中包括的目标对象的第一对象标注信息进行对比；以及，将第一样本边缘特征输入到第二副分割网络，得到第二副分割网络输出的针对目标对象的第二对象分割结果，并将该第二对象分割结果与图像样本中包括的目标对象的第二对象标注信息进行对比；以及，将第二样本边缘特征输入到第三副分割网络，得到第三副分割网络输出的针对目标对象的第三对象分割结果，并将该第三对象分割结果与图像样本中包括的目标对象的第三对象标注信息进行对比；

步骤二、若各副分割网络及主分割网络对应的任一对比结果不一致，则调整主分割网络、边缘压缩网络、以及三个副分割网络中至少一个网络的网络参数值，直至对比结果一致，得到训练好的神经网络。

这里，可以结合不同的对象标注信息实现针对不同副分割网络的约束。针对第一副分割网络而言，可以通过第一样本边缘特征和第二样本边缘特征之间的和值边缘特征所对应第一副分割网络输出的第一对象分割结果与突显边缘像素点的第一对象标注信息之间的对比结果来进行约束；针对第二副分割网络而言，可以通过第一样本边缘特征所对应第二副分割网络输出的第二对象分割结果与突显目标对象内对应腐蚀区域的第二对象标注信息之间的对比结果来进行约束；针对第三副分割网络而言，可以通过第二样本边缘特征所对应第三副分割网络输出的第三对象分割结果与突显目标对象外对应膨胀区域的第三对象标注信息之间的对比结果来进行约束。

这里，不管是各副分割网络及主分割网络中的哪个网络所对应的对比结果不一致，均可以实现各网络的调整，最终可以得到训练好的神经网络。

在将待分割图像输入到训练好的边缘压缩网络的情况下，可以得到两个边缘特征。利用主分割网络即可以结合边缘特征以及待分割图像的特征图实现快速且准确的图像分割。

本公开实施例中的神经网络还包括有目标检测网络，这样在进行网络训练的过程中，可以利用目标检测网络对提取的样本特征图进行目标检测，输出目标检测结果，并将该目标检测结果与图像样本的原始标注信息进行对比，基于这一比对结果可以调整主分割网络、边缘压缩网络以及目标检测网络中至少一个网络的网络参数值。

需要说明的是，本公开实施例提供的图像分割的方法中有关神经网络的训练可以是联合多个子网络的训练，具体调整哪一个或哪几个子网络，调整的网络参数值具体为多少等信息均可以基于特定的训练需要来确定，在此不做具体的限制。

为了便于进一步理解上述网络训练的过程，接下来可以结合图3进一步进行说明。

如图3所示的样本特征图，在经过特征提取网络以及RoIAlign操作之后，可以得到样本特征图的原始多尺度特征图F

将两个样本边缘特征求和之后，可以得到和值边缘特征F

本公开实施例中，在进行图像分割任务的同时，还可以同时进行目标检测任务。这里可以基于训练好的目标检测网络对特征图进行目标检测，确定待分割图像中的目标对象的检测信息。这里的检测信息可以是以目标框的形式来体现，从而可以确定出目标对象在待分割图像中的位置、大小等信息。

这里的目标检测网络可以是在训练上述主分割网络和边缘压缩网络的过程中同步训练的，如图3所示，可以确定目标对象的预测框(对应第五损失函数值Ldet)，将该预测框与真实框进行比对，继而可以实现目标检测网络的训练。

需要说明的是，本公开实施例提供的图像分割的方法可以应用直接应用在一些分割任务的应用场景中，例如人像分割和抠图。除此以外，本公开实施例中的边缘压缩网络可以单独应用在任何语义分割和实例分割模型上，以进一步提升分割效果。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与图像分割的方法对应的图像分割的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像分割的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图4所示，为本公开实施例提供的一种图像分割的装置的示意图，装置包括：第一提取模块401、第二提取模块402、分割模块403；其中，

第一提取模块401，用于对待分割图像进行特征提取，得到待分割图像的特征图；

第二提取模块402，用于对得到的特征图进行边缘特征提取，得到针对待分割图像的第一边缘特征和第二边缘特征；第一边缘特征对应的特征向量与第二边缘特征对应的特征向量的方向是不同的；

分割模块403，用于基于第一边缘特征、第二边缘特征以及待分割图像的特征图，确定待分割图像的图像分割结果。

采用上述图像分割的装置，在获取到待分割图像的情况下，可以对待分割图像进行特征提取，进而可以对提取得到的特征图进行边缘特征提取，得到特征向量的方向是不同的第一边缘特征和第二边缘特征。结合两个边缘特征(即第一边缘特征和第二边缘特征)以及待分割图像的特征图进行图像分割，可以便于从待分割图像中彰显出目标对象的边缘轮廓，从而提升图像分割的准确度。

在一种可能的实施方式中，第一提取模块401，用于按照以下步骤对待分割图像进行特征提取，得到待分割图像的特征图：

对待分割图像进行特征提取，得到原始多尺度特征图；原始多尺度特征图包括多个尺度的特征图；

从多个尺度的特征图中选取尺度最大的一个特征图，作为底层单尺度特征图；

第二提取模块402，用于按照以下步骤对得到的特征图进行边缘特征提取，得到针对待分割图像的第一边缘特征和第二边缘特征：

将原始多尺度特征图和底层单尺度特征图进行和值运算，得到第一和值特征图；

对第一和值特征图进行边缘特征提取，得到第一边缘特征和第二边缘特征。

在一种可能的实施方式中，第二提取模块402，用于按照以下步骤对第一和值特征图进行边缘特征提取，得到第一边缘特征和第二边缘特征：

基于第一和值特征图和原始多尺度特征图进行级联运算，得到级联特征图；

将级联特征图输入边缘压缩网络的不同卷积层进行边缘特征提取，得到方向不同的两个特征向量；

分别基于两个特征向量对第一和值特征图进行双线性插值运算，得到第一边缘特征和第二边缘特征。

在一种可能的实施方式中，分割模块403，用于按照以下步骤基于第一边缘特征、第二边缘特征以及待分割图像的特征图，确定待分割图像的图像分割结果：

将第一边缘特征、第二边缘特征以及原始多尺度特征图进行和值运算，得到第二和值特征图；

基于第二和值特征图对待分割图像进行图像分割，得到图像分割结果。

在一种可能的实施方式中，对得到的特征图进行边缘特征提取是由神经网络中的边缘压缩网络执行的；基于第二和值特征图对待分割图像进行图像分割是由神经网络中的主分割网络执行的；还包括训练模块404；

训练模块404，用于按照如下步骤训练神经网络：

获取多个图像样本以及针对每个图像样本的原始标注信息；对图像样本进行特征提取，得到样本特征图；基于提取的样本特征图以及图像样本的原始标注信息对神经网络进行训练。

在一种可能的实施方式中，训练模块404，用于按照如下步骤基于提取的样本特征图以及图像样本的原始标注信息对神经网络进行训练：

利用神经网络对提取的样本特征图进行图像分割，输出图像分割结果，并将该图像分割结果与图像样本的原始标注信息进行对比；

基于对比结果，调整主分割网络以及边缘压缩网络中至少一个网络的网络参数值。

在一种可能的实施方式中，神经网络还包括第一副分割网络、第二副分割网络和第三副分割网络；训练模块404，用于按照如下步骤基于提取的样本特征图以及图像样本的原始标注信息对神经网络进行训练：

基于每个图像样本的原始标注信息，确定图像样本中包括的目标对象的第一对象标注信息、第二对象标注信息以及第三对象标注信息；第一对象标注信息用于指示目标对象的边缘像素点的标注值与其它非边缘像素点的标注值不同，第二对象标注信息用于指示目标对象内对应腐蚀区域的标注值与其它非腐蚀区域的标注值不同，第三对象标注信息用于指示目标对象外对应膨胀区域的标注值与其它非膨胀区域的标注值不同；以及，

对样本特征图进行边缘特征提取，得到第一样本边缘特征和第二样本边缘特征；第一样本边缘特征对应的特征向量与第二样本边缘特征对应的特征向量的方向是不同的；

基于第一样本边缘特征、第二样本边缘特征、图像样本中包括的目标对象的第一对象标注信息、第二对象标注信息以及第三对象标注信息，对神经网络进行训练。

在一种可能的实施方式中，训练模块404，用于按照如下步骤基于第一样本边缘特征、第二样本边缘特征、图像样本中包括的目标对象的第一对象标注信息、第二对象标注信息以及第三对象标注信息，对神经网络进行训练：

将第一样本边缘特征和第二样本边缘特征进行和值运算，将得到的和值边缘特征输入到第一副分割网络，得到第一副分割网络输出的针对目标对象的第一对象分割结果，并将该第一对象分割结果与图像样本中包括的目标对象的第一对象标注信息进行对比；以及，

将第一样本边缘特征输入到第二副分割网络，得到第二副分割网络输出的针对目标对象的第二对象分割结果，并将该第二对象分割结果与图像样本中包括的目标对象的第二对象标注信息进行对比；以及，

将第二样本边缘特征输入到第三副分割网络，得到第三副分割网络输出的针对目标对象的第三对象分割结果，并将该第三对象分割结果与图像样本中包括的目标对象的第三对象标注信息进行对比；

若各副分割网络及主分割网络对应的任一对比结果不一致，则调整主分割网络、边缘压缩网络、以及三个副分割网络中至少一个网络的网络参数值，直至对比结果一致，得到训练好的神经网络。

在一种可能的实施方式中，神经网络还包括目标检测网络；训练模块404，用于按照如下步骤基于提取的样本特征图以及图像样本的原始标注信息对神经网络进行训练：

利用目标检测网络对提取的样本特征图进行目标检测，输出目标检测结果，并将该目标检测结果与图像样本的原始标注信息进行对比；

基于对比结果，调整主分割网络、边缘压缩网络以及目标检测网络中至少一个网络的网络参数值。

在一种可能的实施方式中，训练模块404，用于按照以下步骤基于提取的样本特征图以及图像样本的原始标注信息对神经网络进行训练：

从图像样本中提取多个尺度的样本特征图；

从多个尺度的样本特征图中选取尺度最大的一个样本特征图；以及，基于图像样本中目标对象的预先标注尺度从多个尺度的样本特征图中选取对应的一个样本特征图；

基于选取的两个样本特征图以及图像样本的原始标注信息对神经网络进行训练。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图5所示，为本公开实施例提供的电子设备结构示意图，包括：处理器501、存储器502、和总线503。存储器502存储有处理器501可执行的机器可读指令(比如，图4中的装置中第一提取模块401、第二提取模块402、分割模块403对应的执行指令等)，当电子设备运行时，处理器501与存储器502之间通过总线503通信，机器可读指令被处理器501执行时执行如下处理：

对待分割图像进行特征提取，得到待分割图像的特征图；

对得到的特征图进行边缘特征提取，得到针对待分割图像的第一边缘特征和第二边缘特征；第一边缘特征对应的特征向量与第二边缘特征对应的特征向量的方向是不同的；

基于第一边缘特征、第二边缘特征以及待分割图像的特征图，确定待分割图像的图像分割结果。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像分割的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像分割的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。