基于图像的着装区域分割和着装替换方法、装置及设备

技术领域

本申请涉及图像处理领域，具体而言，本申请涉及一种基于图像的着装区域分割和着装替换方法、装置及设备，还涉及一种计算机可读存储介质。

背景技术

随着人工智能尤其是深度学习的快速发展，语义分割已经成为一个具有广泛应用场景的重要研究课题。着装分割是指将图像中的着装区域分割出来，然后通过相关后处理实现着装变色和着装更换等功能。

在相关技术中，通常采用预测着装的具体关键点位置，如上身着装的左领、右领、左袖、右袖、左下摆和右下摆，共6个坐标点；对于下身着装有左腰围、右腰围、左下摆、右下摆，共4个坐标点；对于全身着装有左领、右领、左袖、右袖、左腰围、右腰围、左下摆和右下摆，共8个坐标点。使用这些关键点，确定用户着装区域。然而，使用识别出关键点只能对着装区域进行粗糙分割，无法准确地分割出衣服轮廓以及衣服中间存在遮挡等特殊情况，导致分割精度不准确，使得分割效果差。

发明内容

本申请的目的旨在至少解决上述技术缺陷之一，特别是分割准确度低的问题。

第一方面，本申请实施例提供一种基于图像的着装区域分割方法，包括以下步骤：

获取待分割的原始图像；

将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像；

根据所述概率图像对所述原始图像的着装区域进行分割。

在其中一个实施例中，所述将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量的步骤包括：

将所述第一图像特征输入到所述着装分割网络的特征提取模块的语义特征提取分支进行处理，得到所述原始图像的语义特征向量；

将所述第一图像特征输入到所述着装分割网络的特征提取模块的空间特征提取分支进行处理，得到所述原始图像的空间特征向量；其中，所述语义特征向量的感受野大于所述空间特征向量的感受野；

将所述语义特征向量和所述空间特征向量进行逐个像素相加，得到总特征向量。

在其中一个实施例中，所述将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像的步骤包括：

将所述总特征向量输入到所述着装分割网络的特征上采样模块逐层进行网络运算，提取得到第二图像特征；

根据所述第二图像特征还原得到与输入的所述待分割图像的分辨率一致的特征图像。

在其中一个实施例中，所述特征下采样模块包括多个第一卷积单元，每个所述第一卷积单元包括多次堆叠的第一常规卷积、批归一化、ReLU激活函数、第二常规卷积、批归一化和ReLU激活；

所述语义特征提取分支包括十个第一卷积模块组成；其中，第一、三和七个所述卷积模块的卷积步长为2；

所述空间特征提取分支包括堆叠的两个第二卷积模块，其中，所述第二卷积模块的卷积步长均设置为1，所述第二卷积模块的卷积层采用通道可分离卷积，每个所述第二卷积模块由分组卷积、批归一化、ReLU激活函数、1×1常规卷积、批归一化和ReLU激活函数堆叠而成；

所述特征上采样卷积块由双线性插值函数、常规卷积、批归一化和ReLU激活函数堆叠而成的。

在其中一个实施例中，所述根据所述特征图像得到所述原始图像的概率图像的步骤包括：

利用Sigmoid函数将所述特征图像转换成所述特征图像对应的概率图像；其中，所述特征图像为与所述原始图像等尺寸的单通道图像。

空间特征提取分支在其中一个实施例中，在训练所述着装分割网络的过程中，还包括：

利用所述着装分割网络的全局池化和全连接层对所述原始图像进行分类，并根据所述全局池化和全连接层输出的分类结果判断所述原始图像是否存在着装区域；其中，所述全局池化和全连接层设置在所述着装分割网络的语义特征提取分支的倒数第二个卷积模块中。

在其中一个实施例中，图像的着装区域分割方法还包括：

根据所述分类结果通过交叉熵损失函数约束训练所述着装分割网络。

第二方面，本申请实施例提供一种基于图像的着装替换方法，包括：

获取用户所选择的目标着装样式；

确定原始图像的着装区域，其中，所述着装区域通过将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像所确定；

将所述目标着装样式融合到所述着装区域，生成目标图像。

第三方面，本申请实施例提供一种基于图像的着装区域分割装置，包括：

原始图像获取模块，用于获取待分割的原始图像；

概率图像输出模块，用于将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像；

着装区域分割模块，用于接收所述概率图像，根据所述概率图对所述原始图像的着装区域进行分割。

第四方面，本申请实施例提供一种基于图像的着装替换装置，包括：

着装样式获取模块，用于获取用户所选择的目标着装样式；

着装区域确定模块，用于确定原始图像的着装区域，其中，所述着装区域通过将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像所确定；

目标图像生成模块，用于将所述目标着装样式融合到所述着装区域，生成目标图像。

第五方面，本申请实施例提供一种电子设备，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据第一方面所述的基于图像的着装区域分割方法或第二方面所述的着装替换方法。

第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的基于图像的着装区域分割方法或第二方面所述的着装替换方法。

上述实施例提供的基于图像的着装区域分割和着装替换方法、装置及设备，通过将原始图像输入着装分割网络，利用着装分割网络的特征下采样模块提取原始图像的第一图像特征，将第一图像特征输入到着装分割网络的特征提取模块得到原始图像中具有不同感受野的特征向量，将特征向量输入到着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据特征图像得到原始图像的概率图像，根据概率图像对原始图像的着装区域进行分割，其中，着装分割网络为经过预先训练好的卷积神经网络，部署在客户端，能够实现在客户端上对图像中的着装区域进行精准分割，性能稳定，处理速度快。同时，将用户选择的目标着装样式融合到着装区域，生成目标图像，实现在客户端上对着装样式的更换，运算量小且运行稳定，满足用户的需求。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例提供的基于图像的着装区域分割处理所涉及的应用系统框架示意图；

图2是本申请实施例提供的一种基于图像的着装区域分割方法的流程图；

图3是本申请实施例提供的一种基于图像的着装替换方法的流程图；

图4是本申请一实施例提供的基于图像的着装替换的实现原理图；

图5是本申请一实施例提供的基于图像的着装区域分割装置的结构示意图；

图6是本申请一实施例提供的基于图像的着装替换装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面对本申请实施例涉及的应用场景进行说明。

本申请实施例应用于对图像中的着装进行效果变换的场景，具体可以应用于图像，对图像中的着装区域进行识别和分割，并将原来的着装通过衣服款式变换、颜色变换方式等替换为目标着装样式。

例如，客户端部署有对图像的着装区域进行识别和分割的着装分割网络，通过该着装分割网络确定着装区域，获取到用户选择的目标着装样式，将图像中的原始着装用目标着装样式进行更换，将目标着装样式融合到原始图像中进行展示，从而提高图像的展示效果，让图像更具有吸引力。

基于上述的应用场景，则需要着装分割网络能够执行于客户端，且能够精确分割出着装区域才能更好地提高图像的展示效果。当然，本申请实施例提供的技术方案还可以应用于其他的定位场景，在此不再一一列举。

为了更好地阐述本申请的技术方案，下面示出本方案所可以适用的某一应用环境。图1是本申请实施例提供的基于图像的着装区域分割处理所涉及的应用系统框架示意图，如图1所示，该应用系统10包括客户端101和服务端102，客户端101与服务端102之间通过有线网络或者无线网络建立通信连接。

客户端101可以为智能手机、智能相机、掌上电脑、平板电脑、电子书以及笔记本电脑等便携式设备，对此并不做限定，可以具有拍照、图像处理功能等功能，实现基于图像的着装区域分割和特效处理。可选的，客户端101具有触摸屏，客户端获取到相关的原始图像，用户可以通过在客户端101的触摸屏上进行相应的操作以实现对原始图像的着装分割、图像处理、特效合成等功能后，得到目标图像，将目标图像上传到服务器102，以通过服务端102将目标图像下发到其他的客户端进行展示。

服务端102包括为电子设备，如客户端101提供后台服务的后台服务器，可以用独立服务器或多个服务器组成的服务器集群来实现。在一实施例中，该服务器可以为图像共享平台。用户拍摄好原始图像后，对原始图像进行相应处理，比如着装变换、人物美化、背景替换等处理后，将处理后的目标图像上传到服务端102，再由服务端102向其他客户端推送目标图像，从而使其他用户能够看到该用户的制作好的目标图像。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

在相关的图像处理技术中，可以通过用户在客户端设置相关参数，以通过性能更好的服务器识别出图像中的指定区域，如着装区域，将着装区域按照用户设置的参数进行样式变换后，生成处理后的图像再推送到各客户端。

在这个过程中，需要客户端和服务端在连网状态下进行，借助服务器的高性能进行神经网络模型的训练，由于相关技术中的基于深度学习的神经网络模型的运算量较大，无法部署在客户端，无法实现离线状态下的基于神经网络模型的图像处理。即便有些改进后的着装分割方法能够执行于客户端，但其他进行图像分割的准确性低，导致分割效果，影响图像处理效果。

在一些相关技术中，例如通过深度学习的着装分割网络来预测图像中的着装相关的关键点位置来进行着装区域分割。通常的，相关技术中的着装分割网络包括特征提取模块、服装语义信息提取模块和服装分割预测模块。其中语义信息提取模块包括一个卷积层和两个全连接层，这两个全连接层分别预测服装关键点位置信息和关键点的可见性；服装分割预测模块包含一个全连接层，一个softmax模块和一个regression模块。其中softmax模块输出类别的概率，regression模块输出上身服装、下身服装、全身服装的具体关键点位置。由于上述着装分割网络分为多个阶段并使用大量的全连接层，运算量非常大，难以部署在手机端运行。同时，根据这些关键点位置圈定着装区域，只能对着装区域进行粗糙分割，无法准确地分割出衣服轮廓以及衣服中间存在遮挡等特殊情况，导致分割精度不准确，使得分割效果差。

本申请提供的基于图像的着装区域分割及着装替换方法、装置、设备及计算机可读存储介质，旨在解决现有技术的如上技术问题。

图2是本申请实施例提供的一种基于图像的着装区域分割方法的流程图，该基于图像的着装区域分割方法可应用于基于图像的着装区域分割设备，如客户端。下面以移动终端作为客户端为例进行说明。

S210、获取待分割的原始图像。

在本实施例中，可以是通过手机相机等设备拍摄获取到原始图像，还可以是通过从本地存储设备或外置存储设备中获取原始图像，再可以是从服务器下载原始图像。可选的，原始图像可以是任意图像，原始图像可以包含着装特征图像，也可以是不包含着装特征的图像。

在一实施例中，可以通过对原始图像进行预处理，如对原始图像进行粗筛，从原始图像初步筛选出包含着装特征的原始图像，从而减少后续进行图像的着装区域分割的数据处理量。在另一实施例中，若获取到不包含着装特征的原始图像，则可能在后续的处理中进一步识别出其为不包含着装特征的原始图像，将其进行删除，或者无需进行后续的天空分割或特效处理。

S220、将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像。

在卷积神经网络中，感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图像(feature map)上的像素点在输入图像上映射的区域大小。再通俗点的解释是，特征图像上的一个点对应输入图像上的区域。

由于原始图像中的服装存在空洞间隙，原始图像中的人物抬手时腋下区域出现一些阴暗处，衣服与裤子或其他服饰经常出现颜色和纹理相似等情况，导致容易出现误检的情况，在本实施例中，通过计算原始图像的浅层特征，确定浅层特征中不同感受野的特征向量，确定原始图像的语义信息和空间信息，从而有利于提高原始图像的像素分类的准确性和边缘分割精度。

在本实施例中，着装分割网络包括特征下采样模块、特征提取模块和特征上采样模块。特征下采样模块包括多个第一卷积单元，例如三个堆叠的第一卷积单元，每个所述第一卷积单元包括多次堆叠的第一常规卷积、批归一化、ReLU激活函数、第二常规卷积、批归一化和ReLU激活。其中，第一常规卷积的步长设置为2以实现下采样，第二常规卷积实现输出通道数翻倍。

所述语义特征提取分支包括十个第一卷积模块组成；其中，第一、三和七个所述卷积模块的卷积步长为2，用以扩大提取到的语义特征的感受野，使得提取到的图像特征拥有更加丰富的语义信息。由于包含三个步长为2的卷积模块，最终特征提取模块输出的特征图像的分辨率为输入的特征图像的1/8。

所述空间特征提取分支包括堆叠的两个第二卷积模块，其中，所述第二卷积模块的卷积步长均设置为1，从而不对输出的特征图像的分辨率进行减少，使得空间特征提取分支输出的特征图像拥有更加丰富的空间信息，所述第二卷积模块的卷积层采用通道可分离卷积，每个所述第二卷积模块由分组卷积、批归一化、ReLU激活函数、1×1常规卷积、批归一化和ReLU激活函数堆叠而成；

所述特征上采样卷积块由双线性插值函数、常规卷积、批归一化和ReLU激活函数堆叠而成的。特征上采样模块包含三个上采样卷积块，从而将输出的特征图像的分辨率逐渐恢复到与输入的原始图像的分辨率一致，且输出的特征图像的通道数为1。

在一实施例中，步骤S220中的将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，包括以下步骤：

S2201、将所述第一图像特征输入到所述着装分割网络的特征提取模块的语义特征提取分支进行处理，得到所述原始图像的语义特征向量。

S2202、将所述第一图像特征输入到所述着装分割网络的特征提取模块的空间特征提取分支进行处理，得到所述原始图像的空间特征向量；

其中，所述语义特征向量的感受野大于所述空间特征向量的感受野。

S2203、将所述语义特征向量和所述空间特征向量进行逐个像素相加，得到总特征向量。

在本实施例中，着装分割网络的特征提取模块包括网络主分支以及由网络主分支分解成的语义特征提取分支和空间特征提取分支。将原始图像输入到着装分割网络，以通过着装分割网络的特征提取模块的网络主分支的三层卷积单元(Conv+BN+ReLU，其中卷积层设置成步长为2，通道数加倍)进行处理，提取原始图像的第一图像特征。

进一步的，将网络主分支分解成语义特征提取分支和空间特征提取分支分别对网络主分支提取的第一图像特征进行分析处理，输出不同感受野的特征向量，其中，语义特征提取分支学习到的特征向量，即语义特征向量感受野较大，具有更丰富的语义信息，有利于提高原始图像中的像素分类的准确性。空间特征提取分支学习到的特征向量，即空间特征向量的感受野较小，具有更丰富的空间信息，有利于提高原始图像中的各个不同区域的分割精度。

在本实施例中，将语义特征提取分支输出的语义特征向量和空间特征提取分支输出的空间特征向量逐个像素相加处理后，得到总特征向量。

在一实施例中，步骤S220中的将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的第一特征图像的步骤包括：

S2204、将所述总特征向量输入到所述着装分割网络的特征上采样模块逐层进行网络运算，提取得到第二图像特征。

在本实施例中，将总特征向量输入到着装分割网络的特征上采样模块，经过特征上采样模块的多个上采样卷积模块的处理，逐步增加输出的第二图像特征的分辨率，直至输出的第二图像特征的分辨率与输入的原始图像的分辨率一致。

在本实施例中，上采样卷积模块通过采用双线性插值逐层加倍增加第二图像特征的分辨率，以使得当最后一个上采样卷积模块处理输出的第二图像特征的分辨率与输入的原始图像的分辨率一致，得到该原始图像相对应的特征图像。

该特征图像和输入的原始图像的图像分辨率相同，为单通道图像。单通道图像，俗称灰度图，每个像素点只能有一个值表示颜色，它的像素值在0到255之间，0是黑色，255是白色，中间值是一些不同等级的灰色。

将原始图像输入到着装分割网络，对原始图像进行语义分割处理，输出原始图像对应的特征图像，该特征图像的分辨率与输入的原始图像一致，为单通道图像，即特征图像的像素值范围为0～255。

进一步的，步骤S220中的根据所述特征图像得到所述原始图像的概率图像的步骤包括：

S2205、利用Sigmoid函数将所述特征图像转换成所述特征图像对应的概率图像。

Sigmoid函数的值域在0和1之间，Sigmoid函数具有非常好的对称性。在本实施例中，将像素值范围在0～255的特征图像利用Sigmoid函数进行转换，输出得到特征图像对应的概率图像的取值范围为0～1。

Sigmoid函数为：

其中，x为特征图像的像素值，f(x)为特征图像的像素点对应的在概率图像的取值。

S230、根据所述概率图像对所述原始图像的着装区域进行分割。

着装分割网络对原始图像进行语义分割后，输出对应的概率图像，概率图像中的各个像素的取值范围为0～1，根据像素值确定着装分割区域，如像素值255为白色，白色区域为着装区域。

在本实施例中，按照着装分割网络输出的概率图像对原始图像的着装区域进行分割处理。在其他一些实施例中，还可以对概率图像进行后续处理，比如导向滤波，以优化着装区域的分割精度，或者帧间均值平滑处理，以得到更精准的概率图像等，从而进一步提高图像的着装区域的分割效果。

本实施例提供的基于图像的着装区域分割方法，通过获取原始图像；将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像，根据概率图像对原始图像的着装区域进行分割，其中，着装分割网络为经过预先训练好的卷积神经网络，部署在客户端，能够实现在客户端上对图像中的着装区域进行精准分割，性能稳定，处理速度快，满足用户的需求。

需要说明的是，在相关技术中，着装分割实现方案，如基于关键点识别进行处理，普遍具有运算量大，若直接将相关技术中的神经网络，如Unet网络移植到客户端，导致着装分割的处理速度较慢甚至死机无法工作，从而造成卡端，另一方面由于着装特性，如存在空洞间隙等，容易导致着装区域识别错误，分割精度低。本申请方案是基于轻量级着装分割网络进行图像的天空分割，能够部署在客户端，且能够实时精确的分割出天空区域，保证分割精度的同时避免卡顿。

在一实施例中，本申请方案提供的基于图像的着装区域分割方法还包括：训练着装分割网络。

可选的，在训练着装分割网络的过程中，利用所述着装分割网络的全局池化和全连接层对所述原始图像进行分类，并根据所述全局池化和全连接层输出的分类结果判断所述原始图像是否存在着装区域；其中，所述全局池化和全连接层设置在所述着装分割网络的语义特征提取分支的倒数第二个卷积模块中。

在本实施例中，在着装分割网络的语义特征提取分支的倒数第二个卷积模块中添加一个全局池化+全连接层，用于对原始图像是否存在着装区域进行分区，其中，若全局池化+全连接层输出的分类结果为数值0表示该原始图像不存在着装区域，若全局池化+全连接层输出的分类结果为数值1，则表示该原始图像存在着装区域。

在一实施例中，根据分类结果通过交叉熵损失函数约束着装分割网络的训练过程，交叉熵损失函数计算公式如下：

其中，

在本实施例中，上述提供的在着装分割网络的语义特征提取分支的倒数第二个卷积块中添加一个全局池化+全连接层，用于对原始图像是否存在着装区域进行分类的步骤执行于训练阶段，在预测阶段不需要加进去进行计算，因此不会增加额外的计算量。

图3是本申请实施例提供的一种基于图像的着装替换方法的流程图，该基于图像的着装替换方法可应用于着装替换设备，如客户端。

具体的，如图3所示，基于图像的着装替换方法可以包括以下步骤：

S410、获取用户所选择的目标着装样式。

在本实施例中，客户端本地预先下载有着装样式素材，用户通过点击客户端的显示界面上的相关按钮，触发弹出着装样式素材的面板，通过面板展示不同的着装样式素材，这些着装样式素材可以是系统预先配置的着装样式素材，也可以是用户自定义的着装样式素材。

用户通过选择面板上的着装样式素材中的一个或多个，作为后续处理的目标着装样式。

S420、确定原始图像的着装区域。

其中，所述着装区域通过将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像所确定。

在本实施例中，将所述原始图像输入着装分割网络，利用所述着装分割网络得到所述原始图像中的具有不同感受野的特征向量，并根据所述特征向量输出所述原始图像的概率图像。

在卷积神经网络中，感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图像(feature map)上的像素点在输入图像上映射的区域大小。再通俗点的解释是，特征图像上的一个点对应输入图像上的区域。

由于原始图像中的服装存在空洞间隙，原始图像中的人物抬手时腋下区域出现一些阴暗处，衣服与裤子或其他服饰经常出现颜色和纹理相似等情况，导致容易出现误检的情况，在本实施例中，通过计算原始图像的浅层特征，确定浅层特征中不同感受野的特征向量，确定原始图像的语义信息和空间信息，从而有利于提高原始图像的像素分类的准确性和边缘分割精度。

在本实施例中，着装分割网络包括特征下采样模块、特征提取模块和特征上采样模块。特征下采样模块包括多个第一卷积单元，例如三个堆叠的第一卷积单元，每个所述第一卷积单元包括多次堆叠的第一常规卷积、批归一化、ReLU激活函数、第二常规卷积、批归一化和ReLU激活。其中，第一常规卷积的步长设置为2以实现下采样，第二常规卷积实现输出通道数翻倍。

所述语义特征提取分支包括十个第一卷积模块组成；其中，第一、三和七个所述卷积模块的卷积步长为2，用以扩大提取到的语义特征的感受野，使得提取到的图像特征拥有更加丰富的语义信息。由于包含三个步长为2的卷积模块，最终特征提取模块输出的特征图像的分辨率为输入的特征图像的1/8。

所述空间特征提取分支包括堆叠的两个第二卷积模块，其中，所述第二卷积模块的卷积步长均设置为1，从而不对输出的特征图像的分辨率进行减少，使得空间特征提取分支输出的特征图像拥有更加丰富的空间信息，所述第二卷积模块的卷积层采用通道可分离卷积，每个所述第二卷积模块由分组卷积、批归一化、ReLU激活函数、1×1常规卷积、批归一化和ReLU激活函数堆叠而成；

所述特征上采样卷积块由双线性插值函数、常规卷积、批归一化和ReLU激活函数堆叠而成的。特征上采样模块包含三个上采样卷积块，从而将输出的特征图像的分辨率逐渐恢复到与输入的原始图像的分辨率一致，且输出的特征图像的通道数为1。

在本实施例中，着装分割网络的特征提取模块包括网络主分支以及由网络主分支分解成的语义特征提取分支和空间特征提取分支。将原始图像输入到着装分割网络，以通过着装分割网络的特征提取模块的网络主分支的三层卷积单元(Conv+BN+ReLU，其中卷积层设置成步长为2，通道数加倍)进行处理，提取原始图像的第一图像特征。

在一实施例中，将第一图像特征输入到着装分割网络的特征提取模块的语义特征提取分支进行处理，得到所述原始图像的语义特征向量。将第一图像特征输入到着装分割网络的特征提取模块的空间特征提取分支进行处理，得到所述原始图像的空间特征向量；其中，语义特征向量的感受野大于空间特征向量的感受野。将语义特征向量和空间特征向量进行逐个像素相加，得到总特征向量。

在本实施例中，将网络主分支分解成语义特征提取分支和空间特征提取分支分别对网络主分支提取的第一图像特征进行分析处理，输出不同感受野的特征向量，其中，语义特征提取分支学习到的特征向量，即语义特征向量感受野较大，具有更丰富的语义信息，有利于提高原始图像中的像素分类的准确性。空间特征提取分支学习到的特征向量，即空间特征向量的感受野较小，具有更丰富的空间信息，有利于提高原始图像中的各个不同区域的分割精度。

在本实施例中，将语义特征提取分支输出的语义特征向量和空间特征提取分支输出的空间特征向量逐个像素相加处理后，得到总特征向量。

在一实施例中，将总特征向量输入到所述着装分割网络的特征上采样模块逐层进行网络运算，提取得到第二图像特征。

在本实施例中，将总特征向量输入到着装分割网络的特征上采样模块，经过特征上采样模块的多个上采样卷积模块的处理，逐步增加输出的第二图像特征的分辨率，直至输出的第二图像特征的分辨率与输入的原始图像的分辨率一致。

在本实施例中，上采样卷积模块通过采用双线性插值逐层加倍增加第二图像特征的分辨率，以使得当最后一个上采样卷积模块处理输出的第二图像特征的分辨率与输入的原始图像的分辨率一致，得到该原始图像相对应的特征图像。

该特征图像和输入的原始图像的图像分辨率相同，为单通道图像。单通道图像，俗称灰度图，每个像素点只能有一个值表示颜色，它的像素值在0到255之间，0是黑色，255是白色，中间值是一些不同等级的灰色。

将原始图像输入到着装分割网络，对原始图像进行语义分割处理，输出原始图像对应的特征图像，该特征图像的分辨率与输入的原始图像一致，为单通道图像，即特征图像的像素值范围为0～255。

进一步的，利用Sigmoid函数将所述特征图像转换成所述特征图像对应的概率图像。

Sigmoid函数的值域在0和1之间，Sigmoid函数具有非常好的对称性。在本实施例中，将像素值范围在0～255的特征图像利用Sigmoid函数进行转换，输出得到特征图像对应的概率图像的取值范围为0～1。

Sigmoid函数为：

其中，x为特征图像的像素值，f(x)为特征图像的像素点对应的在概率图像的取值。

着装分割网络对原始图像进行语义分割后，输出对应的概率图像，概率图像中的各个像素的取值范围为0～1，根据像素值确定着装分割区域，如像素值255为白色，白色区域为着装区域。

在本实施例中，按照着装分割网络输出的概率图像对原始图像的着装区域进行分割处理。在其他一些实施例中，还可以对概率图像进行后续处理，比如导向滤波，以优化着装区域的分割精度，或者帧间均值平滑处理，以得到更精准的概率图像等，从而进一步提高图像的着装区域的分割效果。

S430、将所述目标着装样式融合到所述着装区域，生成目标图像。

将目标着装样式覆盖在原始图像的着装区域上，或者删除原始图像原本的着装样式，更换上用户所选择目标着装样式，将目标着装样式融合到原始图像中，得到目标图像，例如，将白色T恤变更为红色T恤，将格子衬衫变更为纯色衬衫等。

本实施例提供的基于图像的着装替换方法，通过获取用户所选择的目标着装样式；利用预先训练好的轻量化的着装分割网络对原始图像进行语义分割处理，得到原始图像对应的概率图像；根据概率图像确定原始图像的着装区域并进行分割，将目标着装样式融合到着装区域，生成目标图像，实现在客户端上进行原始图像的着装区域的精准分割与着装样式的更换，运算量小且运行稳定，满足用户的需求。

为了更清楚地阐述本方案，下面结合图4对本方案的实现过程进行示例性说明。图4是本申请一实施例提供的基于图像的着装替换的实现原理图。

如图4所示，获取输入的原始图像，将原始图像输入到预先训练好的着装分割网络中进行语义分割，利用着装分割网络的网络主分支提取原始图像的浅层特征，之后利用着装分割网络的语义特征提取分支基于该浅层特征学习感受野较大的语义特征向量，利用着装分割网络的空间特征提取分支基于该浅层特征学习感受野较小的空间特征向量，同时，在语义特征提取分支的倒数第二个卷积模块中添加一个全局池化+全连接层，用于对输入的原始图像是否存在着装区域进行分类，并通过交叉熵损失函数约束训练过程，从而使得着装分割网络的训练越稳定，分割精度越高。将语义特征提取分支输出的语义特征向量和空间特征提取分支输出的空间特征向量相加处理，恢复得到原始图像的概率图像，根据概率图像对着装区域进行分割，并将用户所选择的目标着装样式融合到原始图像的着装区域，达到换衣或者换色的效果。

在本实施例中，利用背景分类损失函数语义特征提取分支中添加的全局池化层+全连接层进行分类结果以及着装分割网络输出的概率图像进行约束训练，有利于提高着装分割网络训练的稳定性和边缘分割精度。

以上示例仅用于辅助阐述本公开技术方案，其涉及的图示内容及具体流程不构成对本公开技术方案的使用场景的限定。

下面对基于图像的着装区域分割装置和着装替换装置的相关实施例进行详细阐述。

图5是本申请一实施例提供的基于图像的着装区域分割装置的结构示意图，基于图像的着装区域分割装置可执行于基于图像的着装区域分割设备，如客户端。

具体的，如图5所示，该基于图像的着装区域分割装置200包括：原始图像获取模块210、概率图像输出模块220以及着装区域分割模块。

其中，原始图像获取模块210，用于获取待分割的原始图像；概率图像输出模块220，用于将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像；着装区域分割模块230，用于接收所述概率图像，根据所述概率图对所述原始图像的着装区域进行分割。

本实施例提供的基于图像的着装区域分割装置，部署在客户端，能够实现在客户端上进行图像的着装区域的精准分割，性能稳定，处理速度快。

在一实施例中，概率图像输出模块220包括：语义特征向量得到单元、空间特征向量得到单元和总特征向量得到单元；

语义特征向量得到单元，用于将所述第一图像特征输入到所述着装分割网络的特征提取模块的语义特征提取分支进行处理，得到所述原始图像的语义特征向量；

空间特征向量得到单元，用于将所述第一图像特征输入到所述着装分割网络的特征提取模块的空间特征提取分支进行处理，得到所述原始图像的空间特征向量；其中，所述语义特征向量的感受野大于所述空间特征向量的感受野；

总特征向量得到单元，用于将所述语义特征向量和所述空间特征向量进行逐个像素相加，得到总特征向量。

在一实施例中，概率图像输出模块220包括：第二图像特征提取单元和特征图像得到单元；

第二图像特征提取单元，用于将所述总特征向量输入到所述着装分割网络的特征上采样模块逐层进行网络运算，提取得到第二图像特征；

特征图像得到单元，用于根据所述第二图像特征还原得到与输入的所述待分割图像的分辨率一致的特征图像。

在一实施例中，所述特征下采样模块包括多个第一卷积单元，每个所述第一卷积单元包括多次堆叠的第一常规卷积、批归一化、ReLU激活函数、第二常规卷积、批归一化和ReLU激活；

所述语义特征提取分支包括十个第一卷积模块组成；其中，第一、三和七个所述卷积模块的卷积步长为2；

所述空间特征提取分支包括堆叠的两个第二卷积模块，其中，所述第二卷积模块的卷积步长均设置为1，所述第二卷积模块的卷积层采用通道可分离卷积，每个所述第二卷积模块由分组卷积、批归一化、ReLU激活函数、1×1常规卷积、批归一化和ReLU激活函数堆叠而成；

所述特征上采样卷积块由双线性插值函数、常规卷积、批归一化和ReLU激活函数堆叠而成的。

在一实施例中，概率图像输出模块220包括：概率图像得到单元，用于利用Sigmoid函数将所述特征图像转换成所述特征图像对应的概率图像。

在一实施例中，在训练所述着装分割网络的过程中，基于图像的着装区域分割装置200还包括：着装区域判断模块，用于利用所述着装分割网络的全局池化和全连接层对所述原始图像进行分类，并根据所述全局池化和全连接层输出的分类结果判断所述原始图像是否存在着装区域；其中，所述全局池化和全连接层设置在所述着装分割网络的语义特征提取分支的倒数第二个卷积块中。

在一实施例中，基于图像的着装区域分割装置200还包括：分割网络训练模块，用于根据所述分类结果通过交叉熵损失函数约束训练所述着装分割网络。

本公开实施例的基于图像的着装区域分割装置可执行本公开的实施例所提供的基于图像的着装区域分割方法，其实现原理相类似，本公开各实施例中的基于图像的着装区域分割装置中的各模块所执行的动作是与本公开各实施例中的基于图像的着装区域分割方法中的步骤相对应的，对于基于图像的着装区域分割装置的各模块的详细功能描述具体可以参见前文中所示的对应的基于图像的着装区域分割方法中的描述，此处不再赘述。

图6是本申请一实施例提供的基于图像的着装替换装置的结构示意图，基于图像的着装替换装置可执行于基于图像的着装替换设备，如客户端。

具体的，如图6所示，基于图像的着装替换装置400包括：着装样式获取模块410、着装区域确定模块420以及目标图像生成模块。

其中，着装样式获取模块410，用于获取用户所选择的目标着装样式；

着装区域确定模块420，用于确定原始图像的着装区域，其中，所述着装区域通过将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像所确定；

目标图像生成模块430，用于将所述目标着装样式融合到所述着装区域，生成目标图像。

本实施例提供的基于图像的着装替换装置，部署在客户端，能够实现在客户端上进行图像的着装区域的精准分割和着装样式变换处理，性能稳定，处理速度快，满足用户的需求。

本公开实施例的基于图像的着装替换装置可执行本公开的实施例所提供的基于图像的着装替换方法，其实现原理相类似，此处不再赘述。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一实施例中的基于图像的着装区域分割方法或着装替换方法。

上述提供的计算机设备执行上述任意实施例提供的基于图像的着装区域分割方法或着装替换方法时，具备相应的功能和有益效果。

本发明实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于图像的天空区域分割方法，包括：

获取待分割的原始图像；

将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像；

接收所述概率图像，根据所述概率图对所述原始图像的着装区域进行分割。

所述计算机可执行指令在由计算机处理器执行时还用于执行一种图像特效处理方法，包括：

获取用户所选择的目标着装样式；

确定原始图像的着装区域，其中，所述着装区域通过将所述原始图像输入着装分割网络，利用所述着装分割网络的特征下采样模块提取所述原始图像的第一图像特征，将所述第一图像特征输入到所述着装分割网络的特征提取模块得到所述原始图像中具有不同感受野的特征向量，将所述特征向量输入到所述着装分割网络的特征上采样模块进行处理，还原得到与输入的所述原始图像的分辨率一致的特征图像，并根据所述特征图像得到所述原始图像的概率图像所确定；

将所述目标着装样式融合到所述着装区域，生成目标图像。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的基于图像的着装区域分割方法或着装替换方法操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的基于图像的着装区域分割方法或着装替换方法。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。