一种基于通道注意力和自监督约束的服装解析方法及系统

技术领域

本发明涉及计算机视觉语义分割技术领域，特别是涉及一种基于通道注意力和自监督约束的服装解析方法及系统。

背景技术

图像语义分割是计算机视觉领域的核心研究问题之一，目的是从图像中挖掘出正确的高层语义信息，并正确关联到每个像素点。服装解析是语义分割领域中一个重要的更细化的研究方向，其目的是自动分析获取到的图像，对其中的人体服装进行解析，以代替人眼完成对服装的判断和定位。服装解析的应用前景广泛，主要涉及虚拟换衣、行人重识别、服装推荐、服装检索等领域，但由于服装解析是近几年新兴的研究方向，相关技术较少；同时深度学习技术又在不断的发展壮大，因此，亟需一种紧跟当前发展趋势的先进服装解析方法。

现有的服装解析方法主要分为两大类，一类是基于多阶段的方法，另一类是基于端到端的方法。多阶段方法大多将人体姿态估计、服装分类作为先验知识添加到服装解析网络中，并利用条件随机场作为网络后续辅助处理手段。而端到端的方法则是直接将原始时尚服装图片输入到服装解析网络中，并由该网络直接输出一个解析好的服装预测图。但是这些服装解析网络要么过多引入先验知识和后续辅助；要么引入的先验知识中存在噪声，从而导致提取到的特征不是最优的；要么需要庞大的网络结构。还有一些网络从简化结构角度进行了改进，但是分割性能仍有待提升。

发明内容

本发明的目的是提供一种基于通道注意力和自监督约束的服装解析方法及系统，提高了服装解析精度。

为实现上述目的，本发明提供了如下方案：

一种基于通道注意力和自监督约束的服装解析方法，所述方法包括：

获取服装图片数据集，所述服装图片数据集中包括和各服装图片对应的服装解析图；

将所述服装图片数据集中各所述服装图片输入神经网络，所述神经网络包括通道注意力模块；

基于所述通道注意力模块，对输入的所述服装图片进行多次图像特征提取，获得各所述服装图片的输出特征图；

基于强监督约束和自监督约束，对所述神经网络进行迭代训练，获得训练好的神经网络模型；所述强监督约束为各服装图片对应的服装解析图对所述输出特征图的强监督约束，所述自监督约束为所述神经网络中各次解码输出数据中高层输出对低层输出的自监督约束；

将待解析服装图片输入所述训练好的神经网络模型中，输出服装解析图。

可选地，将所述服装图片数据集中各所述服装图片输入神经网络之前，所述方法还包括：

对所述服装图片数据集中各所述服装图片进行归一化处理。

可选地，所述图像特征提取，具体包括：

对输入所述神经网络的各所述服装图片进行不同的卷积操作，得到第一数据；

对所述第一数据进行平均池化，得到第二数据；

用设定卷积对所述第二数据进行特征提取，得到第一特征数据；

对所述第一数据进行最大池化，得到第三数据；

用所述设定卷积对所述第三数据进行特征提取，得到第二特征数据；

将所述第一特征数据和所述第二特征数据相加后输入Sigmoid函数，得到第四数据；

将所述第四数据与所述第一数据相乘，得到所述通道注意力模块的输出数据。

可选地，所述基于所述通道注意力模块，对输入的所述服装图片进行多次图像特征提取，获得各所述服装图片的输出特征图，具体包括：

将所述图像特征提取重复7次得到第一编码输出数据，I＝ψ

将所述第一编码输出数据进行下采样得到第一下采样编码输出数据；

将所述图像特征提取重复6次得到第二编码输出数据，J＝ψ

将所述第二编码输出数据进行下采样得到第二下采样编码输出数据；

将所述图像特征提取重复5次得到第三编码输出数据，K＝ψ

将所述第三编码输出数据进行下采样得到第三下采样编码输出数据；

将所述图像特征提取重复4次得到第四编码输出数据，L＝ψ

将所述第四编码输出数据进行下采样得到第四下采样编码输出数据；

将所述图像特征提取重复4次得到第五编码输出数据，M＝ψ

将所述第五编码输出数据进行下采样得到第五下采样编码输出数据；

将所述图像特征提取重复4次得到第六编码输出数据N＝ψ

将所述第六编码输出数据N进行上采样得到第六上采样编码输出数据N′；

将所述图像特征提取重复4次得到第五解码输出数据，O＝ψ

将所述第五解码输出数据进行上采样得到第五上采样编码输出数据；

将所述图像特征提取重复4次得到第四解码输出数据，P＝ψ

将所述第四解码输出数据进行上采样得到第四上采样编码输出数据；

将所述图像特征提取重复5次得到第三解码输出数据，Q＝ψ

将所述第三解码输出数据进行上采样得到第三上采样编码输出数据；

将所述图像特征提取重复6次得到第二解码输出数据，R＝ψ

将所述第二解码输出数据进行上采样得到第二上采样编码输出数据；

将所述图像特征提取重复7次得到第一解码输出数据，S＝ψ

将第六编码输出数据、第五解码输出数据、第四解码输出数据、第三解码输出数据、第二解码输出数据和第一解码输出数据均上采样到与所述服装图片相同的尺寸，分别计为第六编码输出上采样数据、第五解码输出上采样数据、第四解码输出上采样数据、第三解码输出上采样数据、第二解码输出上采样数据和第一解码输出上采样数据；

采用通道融合第六编码输出上采样数据、第五解码输出上采样数据、第四解码输出上采样数据、第三解码输出上采样数据、第二解码输出上采样数据和第一解码输出上采样数据，得到融合数据；

采用所述设定卷积对所述融合数据进行卷积操作，获得所述服装图片的输出特征图。

可选地，所述基于强监督约束和自监督约束，对所述神经网络进行迭代训练，获得训练好的神经网络模型，具体包括：

分别计算所述服装图片对应的服装解析图与所述服装图片的输出特征图、所述第一解码输出上采样数据、所述第二解码输出上采样数据、所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第一组交叉熵损失；

分别计算所述服装图片的输出特征图与所述第一解码输出上采样数据、所述第二解码输出上采样数据、所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第二组交叉熵损失；

分别计算所述第一解码输出上采样数据与所述第二解码输出上采样数据、所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第三组交叉熵损失；

分别计算所述第二解码输出上采样数据与所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五编解码码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第四组交叉熵损失；

分别计算所述第三解码输出上采样数据与所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第五组交叉熵损失；

分别计算所述第四解码输出上采样数据与所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第六组交叉熵损失；

分别计算所述第五解码输出上采样数据与所述第六编码输出上采样数据的交叉熵损失，获得第七组交叉熵损失；

将所述第一组交叉熵损失、第二组交叉熵损失、第三组交叉熵损失、第四组交叉熵损失、第五组交叉熵损失、第六组交叉熵损失和第七组交叉熵损失进行加权后相加，获得损失函数；

基于所述损失函数，采用随机梯度下降算法对所述神经网络进行迭代训练。

本发明还公开了一种基于通道注意力和自监督约束的服装解析系统，所述系统包括：

数据集获取模块，用于获取服装图片数据集，所述服装图片数据集中包括和各服装图片对应的服装解析图；

数据输入模块，用于将所述服装图片数据集中各所述服装图片输入神经网络，所述神经网络包括通道注意力模块；

特征提取模块，用于基于所述通道注意力模块，对输入的所述服装图片进行多次图像特征提取，获得各所述服装图片的输出特征图；

神经网络训练模块，用于基于强监督约束和自监督约束，对所述神经网络进行迭代训练，获得训练好的神经网络模型；所述强监督约束为各服装图片对应的服装解析图对所述输出特征图的强监督约束，所述自监督约束为所述神经网络中各次解码输出数据中高层输出对低层输出的自监督约束；

神经网络模型应用模块，用于将待解析服装图片输入所述训练好的神经网络模型中，输出服装解析图。

可选地，所述系统还包括：

预处理模块，用于对所述服装图片数据集中各所述服装图片进行归一化处理。

可选地，所述图像特征提取，具体包括：

对输入所述神经网络的各所述服装图片进行不同的卷积操作，得到第一数据；

对所述第一数据进行平均池化，得到第二数据；

用设定卷积对所述第二数据进行特征提取，得到第一特征数据；

对所述第一数据进行最大池化，得到第三数据；

用所述设定卷积对所述第三数据进行特征提取，得到第二特征数据；

将所述第一特征数据和所述第二特征数据相加后输入Sigmoid函数，得到第四数据；

将所述第四数据与所述第一数据相乘，得到所述通道注意力模块的输出数据。

可选地，所述特征提取模块，具体包括：

第一编码单元，用于将所述图像特征提取重复7次得到第一编码输出数据，I＝ψ

第一下采样单元，用于将所述第一编码输出数据进行下采样得到第一下采样编码输出数据；

第二编码单元，用于将所述图像特征提取重复6次得到第二编码输出数据，J＝ψ

第二下采样单元，用于将所述第二编码输出数据进行下采样得到第二下采样编码输出数据；

第三编码单元，用于将所述图像特征提取重复5次得到第三编码输出数据，K＝ψ

第三下采样单元，用于将所述第三编码输出数据进行下采样得到第三下采样编码输出数据；

第四编码单元，用于将所述图像特征提取重复4次得到第四编码输出数据，L＝ψ

第四下采样单元，用于将所述第四编码输出数据进行下采样得到第四下采样编码输出数据；

第五编码单元，用于将所述图像特征提取重复4次得到第五编码输出数据，M＝ψ

第五下采样单元，用于将所述第五编码输出数据进行下采样得到第五下采样编码输出数据；

第六编码单元，用于将所述图像特征提取重复4次得到第六编码输出数据N＝ψ

第一上采样单元，用于将所述第六编码输出数据进行上采样得到第六上采样编码输出数据；

第五解码单元，用于将所述图像特征提取重复4次得到第五解码输出数据，O＝ψ

第二上采样单元，用于将所述第五解码输出数据进行上采样得到第五上采样编码输出数据；

第四解码单元，用于将所述图像特征提取重复4次得到第四解码输出数据，P＝ψ

第三上采样单元，用于将所述第四解码输出数据进行上采样得到第四上采样编码输出数据；

第三解码单元，用于将所述图像特征提取重复5次得到第三解码输出数据，Q＝ψ

第四上采样单元，用于将所述第三解码输出数据进行上采样得到第三上采样编码输出数据；

第二解码单元，用于将所述图像特征提取重复6次得到第二解码输出数据，R＝ψ

第五上采样单元，用于将所述第二解码输出数据进行上采样得到第二上采样编码输出数据；

第一解码单元，用于将所述图像特征提取重复7次得到第一解码输出数据，S＝ψ

第六上采样单元，用于将第六编码输出数据、第五解码输出数据、第四解码输出数据、第三解码输出数据、第二解码输出数据和第一解码输出数据均上采样到与所述服装图片相同的尺寸，分别计为第六编码输出上采样数据、第五解码输出上采样数据、第四解码输出上采样数据、第三解码输出上采样数据、第二解码输出上采样数据和第一解码输出上采样数据；

数据融合单元，用于采用通道融合第六编码输出上采样数据、第五解码输出上采样数据、第四解码输出上采样数据、第三解码输出上采样数据、第二解码输出上采样数据和第一解码输出上采样数据，得到融合数据；

特征图输出单元，用于采用所述设定卷积对所述融合数据进行卷积操作，获得所述服装图片的输出特征图。

可选地，所述神经网络训练模块，具体包括：

第一组交叉熵损失获取单元，用于分别计算所述服装图片对应的服装解析图与所述服装图片的输出特征图、所述第一解码输出上采样数据、所述第二解码输出上采样数据、所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第一组交叉熵损失；

第二组交叉熵损失获取单元，用于分别计算所述服装图片的输出特征图与所述第一解码输出上采样数据、所述第二解码输出上采样数据、所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第二组交叉熵损失；

第三组交叉熵损失获取单元，用于分别计算所述第一解码输出上采样数据与所述第二解码输出上采样数据、所述第三编解码码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第三组交叉熵损失；

第四组交叉熵损失获取单元，用于分别计算所述第二解码输出上采样数据与所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第四组交叉熵损失；

第五组交叉熵损失获取单元，用于分别计算所述第三解码输出上采样数据与所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第五组交叉熵损失；

第六组交叉熵损失获取单元，用于分别计算所述第四解码输出上采样数据与所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第六组交叉熵损失；

第七组交叉熵损失获取单元，用于分别计算所述第五解码输出上采样数据与所述第六编码输出上采样数据的交叉熵损失，获得第七组交叉熵损失；

损失函数获取单元，用于将所述第一组交叉熵损失、第二组交叉熵损失、第三组交叉熵损失、第四组交叉熵损失、第五组交叉熵损失、第六组交叉熵损失和第七组交叉熵损失进行加权后相加，获得损失函数；

训练单元，用于基于所述损失函数，采用随机梯度下降算法对所述神经网络进行迭代训练。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种基于通道注意力和自监督约束的服装解析方法及系统，通过通道注意力模块和跨层级通道的自监督约束网络，减少了参数量，提高了服装解析效率和精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于通道注意力和自监督约束的服装解析方法流程示意图；

图2为本发明一种基于通道注意力和自监督约束的服装解析方法详细流程示意图；

图3为本发明神经网络结构示意图；

图4为本发明一种基于通道注意力和自监督约束的服装解析系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于通道注意力和自监督约束的服装解析方法及系统，提高了服装解析精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明一种基于通道注意力和自监督约束的服装解析方法流程示意图，如图1所示，一种基于通道注意力和自监督约束的服装解析方法包括：

步骤101：获取服装图片数据集，所述服装图片数据集中包括和各服装图片对应的服装解析图。

步骤102：将所述服装图片数据集中各所述服装图片输入神经网络，所述神经网络包括通道注意力模块。

将所述服装图片数据集中各所述服装图片输入神经网络之前，所述方法还包括：

对所述服装图片数据集中各所述服装图片进行归一化处理。

步骤103：基于所述通道注意力模块，对输入的所述服装图片进行多次图像特征提取，获得各所述服装图片的输出特征图。

步骤103中所述图像特征提取，具体包括：

对输入所述神经网络的各所述服装图片进行不同的卷积操作，得到第一数据B。

对所述第一数据B进行平均池化，得到第二数据C。

用设定卷积对所述第二数据C进行特征提取，得到第一特征数据D。

对所述第一数据B进行最大池化，得到第三数据E。

用所述设定卷积对所述第三数据E进行特征提取，得到第二特征数据F。

将所述第一特征数据D和所述第二特征数据F相加后输入Sigmoid函数，得到第四数据H。

将所述第四数据H与所述第一数据B相乘，得到所述通道注意力模块的输出数据H

步骤103，具体还包括：

将所述图像特征提取重复7次得到第一编码输出数据，I＝ψ

将所述第一编码输出数据进行下采样得到第一下采样编码输出数据。

将所述图像特征提取重复6次得到第二编码输出数据，J＝ψ

将所述第二编码输出数据进行下采样得到第二下采样编码输出数据。

将所述图像特征提取重复5次得到第三编码输出数据，K＝ψ

将所述第三编码输出数据进行下采样得到第三下采样编码输出数据。

将所述图像特征提取重复4次得到第四编码输出数据，L＝ψ

将所述第四编码输出数据进行下采样得到第四下采样编码输出数据。

将所述图像特征提取重复4次得到第五编码输出数据，M＝ψ

将所述第五编码输出数据进行下采样得到第五下采样编码输出数据。

将所述图像特征提取重复4次得到第六编码输出数据N＝ψ

将所述第六编码输出数据进行上采样得到第六上采样编码输出数据。

将所述图像特征提取重复4次得到第五解码输出数据，O＝ψ

将所述第五解码输出数据进行上采样得到第五上采样编码输出数据。

将所述图像特征提取重复4次得到第四解码输出数据，P＝ψ

将所述第四解码输出数据进行上采样得到第四上采样编码输出数据。

将所述图像特征提取重复5次得到第三解码输出数据，Q＝ψ

将所述第三解码输出数据进行上采样得到第三上采样编码输出数据。

将所述图像特征提取重复6次得到第二解码输出数据，R＝ψ

将所述第二解码输出数据进行上采样得到第二上采样编码输出数据。

将所述图像特征提取重复7次得到第一解码输出数据，S＝ψ

将第六编码输出数据N、第五解码输出数据O、第四解码输出数据P、第三解码输出数据Q、第二解码输出数据R和第一解码输出数据S均上采样到与所述服装图片A相同的尺寸，分别计为第六编码输出上采样数据N″(图3中O

采用通道融合第六编码输出上采样数据N″、第五解码输出上采样数据O″、第四解码输出上采样数据P″、第三解码输出上采样数据Q″、第二解码输出上采样数据R″和第一解码输出上采样数据S″，得到融合数据T(图3中O

采用所述设定卷积

步骤104：基于强监督约束和自监督约束，对所述神经网络进行迭代训练，获得训练好的神经网络模型；所述强监督约束为各服装图片对应的服装解析图对所述输出特征图的强监督约束，所述自监督约束为所述神经网络中各次解码输出数据中高层输出对低层输出的自监督约束。

步骤104，具体包括：

分别计算所述服装图片对应的服装解析图A′与所述服装图片的输出特征图Y、所述第一解码输出上采样数据S″、所述第二解码输出上采样数据R″、所述第三解码输出上采样数据Q″、所述第四解码输出上采样数据P″、所述第五解码输出上采样数据O″和所述第六编码输出上采样数据N″的交叉熵损失，获得第一组交叉熵损失，第一组交叉熵损失包括loss

分别计算所述服装图片的输出特征图Y与所述第一解码输出上采样数据S″、所述第二解码输出上采样数据R″、所述第三解码输出上采样数据Q″、所述第四解码输出上采样数据P″、所述第五解码输出上采样数据O″和所述第六编码输出上采样数据N″的交叉熵损失，获得第二组交叉熵损失。第二组交叉熵损失包括loss

分别计算所述第一解码输出上采样数据S″与所述第二解码输出上采样数据R″、所述第三解码输出上采样数据Q″、所述第四解码输出上采样数据P″、所述第五解码输出上采样数据O″和所述第六编码输出上采样数据N″的交叉熵损失，获得第三组交叉熵损失。第三组交叉熵损失包括loss

分别计算所述第二解码输出上采样数据R″与所述第三解码输出上采样数据Q″、所述第四解码输出上采样数据P″、所述第五解码输出上采样数据O″和所述第六编码输出上采样数据N″的交叉熵损失，获得第四组交叉熵损失。第四组交叉熵损失包括loss

分别计算所述第三解码输出上采样数据Q″与所述第四解码输出上采样数据P″、所述第五解码输出上采样数据O″和所述第六编码输出上采样数据N″的交叉熵损失，获得第五组交叉熵损失。第五组交叉熵损失包括loss

分别计算所述第四解码输出上采样数据P″与所述第五解码输出上采样数据O″和所述第六编码输出上采样数据N″的交叉熵损失，获得第六组交叉熵损失。第六组交叉熵损失包括loss

分别计算所述第五解码输出上采样数据O″与所述第六编码输出上采样数据N″的交叉熵损失，获得第七组交叉熵损失。第七组交叉熵损失包括loss

将所述第一组交叉熵损失、第二组交叉熵损失、第三组交叉熵损失、第四组交叉熵损失、第五组交叉熵损失、第六组交叉熵损失和第七组交叉熵损失进行不同加权后相加，获得损失函数loss

loss

基于所述损失函数，采用随机梯度下降算法对所述神经网络进行迭代训练。

步骤105：将待解析服装图片输入所述训练好的神经网络模型中，输出服装解析图。

本发明一种基于通道注意力和自监督约束的服装解析方法具体细化为下面42个步骤，如图2所示，具体包括：

Step1：采集带标注服装数据集(服装图片数据集)，其中，标注是指数据集中各服装图片对应的服装解析图，并随机选择70％的图片作为训练集，剩余的图片作为测试集。

Step2：标准化处理即将输入网络的图像，将图像像素值归一化到[0，1]之间，得到训练数据A(不带标注)、测试数据A

Step3：对Step2中预处理后的不带标注的训练数据A进行两个不同的卷积操作Conv

Step4：将Step3中得到的数据B传输给通道注意力模块，首先进行平均池化得到数据C。

Step5：用卷积

Step6：将Step3中得到的数据B进行最大池化得到数据E。

Step7：用卷积

Step8：将Step5中得到数据D和Step7中得到的数据F相加得到数据G。

Step9：将Step8中得到的数据G送入Sigmoid函数，得到数据H，并将数据H与Step3的输出数据B相乘得到通道注意力模块的输出数据H

Stepl0：将Step3到Step9重复7次得到编码块1的输出数据I＝ψ

Stepll：将Stepl0得到的数据I下采样得到数据I。

Stepl2：将Step3到Step9重复6次得到编码块2的输出数据J＝ψ

Step13：将Stepl2得到的数据J下采样得到数据J′。

Step14：将Step3到Step9重复5次得到编码块3的输出数据K＝ψ

Step15：将Stepl4得到的数据K下采样得到数据K′。

Step16：将Step3到Step9重复4次得到编码块4的输出数据L＝ψ

Step17：将Step16得到的数据L下采样得到数据L′。

Step18：将Step3到Step9重复4次得到编码块5的输出数据M＝ψ

Stepl9：将Stepl8得到的数据M下采样得到数据M′。

Step20：将Step3到Step9重复4次得到编码块6的输出数据N＝ψ

Step21：将Step20得到的数据N上采样得到数据N′。

Step22：将Step3到Step9重复4次得到解码块5的输出数据O＝ψ

Step23：将Step22得到的数据O上采样得到数据O′。

Step24：将Step3到Step9重复4次得到解码块4的输出数据P＝ψ

Step25：将Step24得到的数据P上采样到数据P′。

Step26：将Step3到Step9重复5次得到解码块3的输出数据Q＝ψ

Step27：将Step26得到的数据Q上采样到数据Q′。

Step28：将Step3到Step9重复6次得到解码块2的输出数据R＝ψ

Step29：将Step27得到的数据R上采样得到数据R′。

Step30：将Step3到Step9重复7次得到解码块1的输出数据S＝ψ

Step31：将Step20、22、24、26、28、30得到的数据N、O、P、Q、R、S上采样到与Step2得到的数据A一样的大小，得到数据N″、O″、P″、Q″、R″、S″，使用通道融合得到数据T＝concat(N，O，P，Q，R，S)。

Step32：将Step31得到的数据T经过卷积φ得到整个网络的输出数据Y。

Step33：将Step2采集到的数据A的标注数据A′分别和Step32得到的数据Y、Step31得到的数据S″、R″、Q″、P″、O″、N″分别计算交叉熵损失

例如：对于

Step34：将Step32得到的数据Y分别对Step31得到的数据S″、R″、Q″、P″、O″、N″分别计算交叉熵损失f

Step35：将Step31得到的数据S″分别对Step31得到的数据R″、Q″、P″、O″、N″分别计算交叉熵损失f

Step36：将Step31得到的数据R″分别对Step31得到的数据Q″、P″、O″、N″分别计算交叉熵损失f

Step37：将Step31得到的数据Q″分别对Step31得到的数据P″、O″、N″分别计算交叉熵损失f

Step38：将Step31得到的数据P″分别对Step31得到的数据O″、N″分别计算交叉熵损失f

Step39：将Step31得到的数据O″对Step31得到的数据N″分别计算交叉熵损失函数f

Step40：将Step33-39间得到的所有损失函数施加不同的权重进行组合，得到最终的loss

loss

Step41：基于Step40得到的损失函数loss

Step42：将Step2中得到的测试数据A

本发明主要有3个过程：(1)获取数据，对数据进行预处理。(2)构建含有通道注意力模块的自监督神经网络，如图3所示，本发明的网络结构是一种编解码结构，编码部分由6个编码块(图3中从左到右Block-1至Block-6)组成，解码部分由5个解码块(图3中从左到右Block-5至Block-1)组成，其中编码块和解码块都是由同一个结构迭代组合而成的。该结构为：两个不同的卷积层(Step3)后连接通道注意力模块(平均池化层，卷积层，最大池化层，卷积层，Sigmoid层)(Step4-Step9)，例如该结构迭代7次组成编码块1。所有的编码块通过下采样操作连接(Step11，Step13，Step15，Step17，Step19)，所有解码块的输入是由上一层解码块的输出和对应编码块输出结果融合并上采样后得到(Step22，Step24，Step26，Step28，Step30)，最终将所有解码块的输出结果和编码块6的输出结果上采样到输入图片的大小(即得到各自的预测结果，例如：解码块1上采样后得到解码块1的预测结果)进行通道融合(Step31)，接着通过卷积操作处理融合后的结果得到整个神经网络的最终输出(Step32)。(3)训练神经网络，本发明提出了基于自监督的损失函数计算方式来训练神经网络，即将整个网络的最终输出对5个解码块和编码块6的预测结果分别计算交叉熵损失(Step34)，然后解码块1的预测结果再对解码块2-5和编码块6的预测结果分别计算交叉熵损失(Step35)，接着解码块2对解码块3-5和编码块6的预测结果分别计算交叉熵损失(Step36)，接着解码块3对解码块4-5和编码块6的预测结果分别计算交叉熵损失(Step37)，接着解码块4对解码块5和编码块6的预测结果分别计算交叉熵损失(Step38)，最后解码块5对编码块6的预测结果计算交叉熵损失(Step39)，将上述交叉熵损失函数结果以不同的权重相加得到自监督部分的损失函数(Step40)，整个网络除了自监督部分还有包含了强监督。强监督部分是用标注数据对网络最终输出结果和5个解码块的预测结果以及编码块6的预测结果分别计算交叉熵损失(Step33)。强监督部分的损失函数也是通过不同的权重相加得到的(Step40)。自监督部分损失函数和强监督部分损失函数相加得到最终的损失函数(Step40)。用设计好的损失函数对整个网络训练固定次数，得到在评价指标(平均交并比)最好结果下的模型，利用该模型对测试集服装图像进行解析。

本发明公开一种基于通道注意力和自监督约束的服装解析方法。该方法针对时尚服装图像，从通道的角度提出了两种提升性能的方式，包括通道注意力模块和跨层级通道自监督约束网络。首先，标准化处理包含人物的时尚服装图像数据并将其送入网络；经过特定卷积层后，将结果特征图输入至通道注意力模块以提取通道注意力；接着令其加权与原始特征图结合得到新的特征图；之后，将新特征图送入到后续处理模块中进一步提取特征。最后，在跨层级通道自监督约束网络中，基于骨干网络的六个侧枝预测图以及融合后的预测图，分别由高层对低层施加自监督约束，同时利用标注图像对融合结果和六个侧枝预测图进行强监督约束。特别地，自监督约束有多种形式，可从中选择一种与强监督约束结合在一起，进而对特征进行监督。此外，在当前的时尚服装数据集下，本发明的方法可以实现仅需少量模型参数就能有效提高服装解析的精度。

图4为本发明一种基于通道注意力和自监督约束的服装解析系统结构示意图，所述系统包括：

数据集获取模块201，用于获取服装图片数据集，所述服装图片数据集中包括和各服装图片对应的服装解析图；

数据输入模块202，用于将所述服装图片数据集中各所述服装图片输入神经网络，所述神经网络包括通道注意力模块；

特征提取模块203，用于基于所述通道注意力模块，对输入的所述服装图片进行多次图像特征提取，获得各所述服装图片的输出特征图；

神经网络训练模块204，用于基于强监督约束和自监督约束，对所述神经网络进行迭代训练，获得训练好的神经网络模型；所述强监督约束为各服装图片对应的服装解析图对所述输出特征图的强监督约束，所述自监督约束为所述神经网络中各次解码输出数据中高层输出对低层输出的自监督约束；

神经网络模型应用模块205，用于将待解析服装图片输入所述训练好的神经网络模型中，输出服装解析图。

所述系统还包括：

预处理模块，用于对所述服装图片数据集中各所述服装图片进行归一化处理。

所述特征提取模块203中图像特征提取，具体包括：

对输入所述神经网络的各所述服装图片进行不同的卷积操作，得到第一数据；

对所述第一数据进行平均池化，得到第二数据；

用设定卷积对所述第二数据进行特征提取，得到第一特征数据；

对所述第一数据进行最大池化，得到第三数据；

用所述设定卷积对所述第三数据进行特征提取，得到第二特征数据；

将所述第一特征数据和所述第二特征数据相加后输入Sigmoid函数，得到第四数据；

将所述第四数据与所述第一数据相乘，得到所述通道注意力模块的输出数据。

所述特征提取模块203，具体还包括：

第一编码单元，用于将所述图像特征提取重复7次得到第一编码输出数据，I＝ψ

第一下采样单元，用于将所述第一编码输出数据进行下采样得到第一下采样编码输出数据；

第二编码单元，用于将所述图像特征提取重复6次得到第二编码输出数据，J＝ψ

第二下采样单元，用于将所述第二编码输出数据进行下采样得到第二下采样编码输出数据；

第三编码单元，用于将所述图像特征提取重复5次得到第三编码输出数据，K＝ψ

第三下采样单元，用于将所述第三编码输出数据进行下采样得到第三下采样编码输出数据；

第四编码单元，用于将所述图像特征提取重复4次得到第四编码输出数据，L＝ψ

第四下采样单元，用于将所述第四编码输出数据进行下采样得到第四下采样编码输出数据；

第五编码单元，用于将所述图像特征提取重复4次得到第五编码输出数据，M＝ψ

第五下采样单元，用于将所述第五编码输出数据进行下采样得到第五下采样编码输出数据；

第六编码单元，用于将所述图像特征提取重复4次得到第六编码输出数据N＝ψ

第一上采样单元，用于将所述第六编码输出数据进行上采样得到第六上采样编码输出数据；

第五解码单元，用于将所述图像特征提取重复4次得到第五解码输出数据，O＝ψ

第二上采样单元，用于将所述第五解码输出数据进行上采样得到第五上采样编码输出数据；

第四解码单元，用于将所述图像特征提取重复4次得到第四解码输出数据，P＝ψ

第三上采样单元，用于将所述第四解码输出数据进行上采样得到第四上采样编码输出数据；

第三解码单元，用于将所述图像特征提取重复5次得到第三解码输出数据，Q＝ψ

第四上采样单元，用于将所述第三解码输出数据进行上采样得到第三上采样编码输出数据；

第二解码单元，用于将所述图像特征提取重复6次得到第二解码输出数据，R＝ψ

第五上采样单元，用于将所述第二解码输出数据进行上采样得到第二上采样编码输出数据；

第一解码单元，用于将所述图像特征提取重复7次得到第一解码输出数据，S＝ψ

第六上采样单元，用于将第六编码输出数据、第五解码输出数据、第四解码输出数据、第三解码输出数据、第二解码输出数据和第一解码输出数据均上采样到与所述服装图片相同的尺寸，分别计为第六编码输出上采样数据、第五解码输出上采样数据、第四解码输出上采样数据、第三解码输出上采样数据、第二解码输出上采样数据和第一解码输出上采样数据；

数据融合单元，用于采用通道融合第六编码输出上采样数据、第五解码输出上采样数据、第四解码输出上采样数据、第三解码输出上采样数据、第二解码输出上采样数据和第一解码输出上采样数据，得到融合数据；

特征图输出单元，用于采用所述设定卷积对所述融合数据进行卷积操作，获得所述服装图片的输出特征图。

所述神经网络训练模块204，具体包括：

第一组交叉熵损失获取单元，用于分别计算所述服装图片对应的服装解析图与所述服装图片的输出特征图、所述第一解码输出上采样数据、所述第二解码输出上采样数据、所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第一组交叉熵损失；

第二组交叉熵损失获取单元，用于分别计算所述服装图片的输出特征图与所述第一解码输出上采样数据、所述第二解码输出上采样数据、所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第二组交叉熵损失；

第三组交叉熵损失获取单元，用于分别计算所述第一解码输出上采样数据与所述第二解码输出上采样数据、所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第三组交叉熵损失；

第四组交叉熵损失获取单元，用于分别计算所述第二解码输出上采样数据与所述第三解码输出上采样数据、所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第四组交叉熵损失；

第五组交叉熵损失获取单元，用于分别计算所述第三解码输出上采样数据与所述第四解码输出上采样数据、所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第五组交叉熵损失；

第六组交叉熵损失获取单元，用于分别计算所述第四解码输出上采样数据与所述第五解码输出上采样数据和所述第六编码输出上采样数据的交叉熵损失，获得第六组交叉熵损失；

第七组交叉熵损失获取单元，用于分别计算所述第五解码输出上采样数据与所述第六编码输出上采样数据的交叉熵损失，获得第七组交叉熵损失；

损失函数获取单元，用于将所述第一组交叉熵损失、第二组交叉熵损失、第三组交叉熵损失、第四组交叉熵损失、第五组交叉熵损失、第六组交叉熵损失和第七组交叉熵损失进行不同加权后相加，获得损失函数；

训练单元，用于基于所述损失函数，采用随机梯度下降算法对所述神经网络进行迭代训练。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。