服饰套装推荐系统与方法

技术领域

本发明属于智能服装技术领域，更具体地，涉及一种新型的服饰套装推荐系统与方法。

背景技术

目前，在进行网上购物时，通常会对琳琅满目的商品无从下手，客户一般会拥有一套或几套非常喜欢的套装，但其中相互之间的任意搭配出现非常好的效果的场景是非常有限的，人们一般会有拥有上衣和裤子来搭配合适的围巾和帽子的需求，而目前的方法通过购买记录的相似匹配不具有精确性和代表性，在搭配已有的服装方面也很有局限性。

公开号为CN111815351A的中国专利“一种基于协同过滤与关联规则的服装推荐方法”通过收集服装数据以及标签，购买记录等信息，通过协同过滤算法来计算目标时间内会员的历史购物偏好，并训练相应的购物概率预测模型,从而给出一份购物概率的推荐排序结果；这种方式存在只能根据购买记录来推荐的问题，且计算所用的数据非常局限，并且使用很少的数据量来设计概率模型，因此推荐精准度不高。申请号为2CN201210254720.1的中国专利“一种推荐服装产品的方法以及装置”根据所述用户标识，查询预先建立的用户标识与服装产品的第一属性的属性值的对应关系，获取所述操作请求携带的用户标识对应的属性值，但其采用属性关键词来对服装进行推荐，容易产生无关关键词的干扰，且算法相对比较复杂。

发明内容

本发明所要解决的技术问题是提供一种服饰套装推荐系统与方法，能够优化现有服饰套装推荐系统的系统结构和算法。

为解决上述技术问题，本发明所采用的技术方案是：一种服饰套装推荐系统，包括图像采集单元、图像处理单元、特征提取单元和服装推荐单元；

所述图像采集单元用于采集足够多服装的套装图像以及其相关的文本描述；

所述图像处理单元用于将逐套服装中的图像、文本以及其特征向量进行数据库的存储；

所述特征提取单元用于对采集到的大量服装的套装图像和文本进行预处理并逐个种类进行特征提取融合并生成服装的搭配分数；

所述服装推荐单元用于将提取到的图像特征与数据库中预先存储的特征进行相似度计算，并推荐最相似的服装。

优选的方案中，所述服装的套装图像包括帽子、墨镜、围巾、上衣，下衣和鞋；所述的文本描述为对应的外观形容词。

优选的方案中，采集套装信息包括线下摄像和线上商城“爬虫”软件爬取的方法。

优选的方案中，所述数据预处理包含对输入图像的归类筛选以及重设置大小，以及对文本信息的清洗。

其中，所述归类采用训练好的图像分类深度学习模型根据穿戴位置进行辅助分类，所述重设置大小是将所有的图像尺寸缩放为w×h；所述对文本信息的清理是指对一串文本中的关键字进行提取。

优选的方案中，所述对逐个特征进行提取并融合是指使用服装搭配网络对套装中的每件物品图像进行单独的卷积处理，并对相应的文本信息进行语义特征向量的提取；在融合阶段将各个物品的图像特征向量和文本特征向量进行多次联合卷积，实现融合。

优选的方案中，所述的搭配分数是指在套装信息在输入服装搭配网络中经过卷积融合处理过后得到的从0-1的分数，其中分数越靠近1说明搭配效果越好，越接近0 则表示搭配效果越差。

优选的方案中，在模型训练好后将数据集库的所有图像和文本数据传递到服装搭配网络中，并截取其中融合后的n个通道维度的1维特征向量进行储存。

优选的方案中，所述的相似度比较和推荐是指，将要搭配的高分套装经过服装搭配网络提取出相应的特征向量，再根据该向量在数据库中储存的相关种类的特征向量进行比对，计算二者之间的相似度，将得到的相似度进行排序，按从高到低的分数进行排序并推荐给用户。

一种采用上述的服饰套装推荐系统的方法，其步骤如下：

S1：对套装内的每件物品的图像进行特征的提取，提取出m×n×h的特征向量；

S2：对相应物品的文本描述进行关键词特征的提取，同样提取出m×n×h的特征向量；

S3：将图像和文本的特征向量进行相加，并通过深层的卷积层对其进行更深层次的特征融合提取；

S4：使用二分类的激活函数对得到的深层融合的特征向量进行激活；其中，二分类的激活函数是指输出介于[0,1]中间的单个张量的sigmoid函数或输出2个概率分布的softmax分类函数；

S5：使用0-1之间的标签对网络模型进行迭代训练；

10、根据权利要求9所述的采用服饰套装推荐系统的方法，其特征是，采用卷积神经网络来利用反卷积操作对该特征向量进行解码，根据神经网络的反向传播，对图像进行特征解码，并采用自然语言处理算法对文本的关键词特征进行提取；

采用既可以对套装进行打分，又可以根据一个套装中所缺少的某件物品进行推荐的网络架构，实现被推荐的物品拥有较高的搭配分数。

本发明提供了一种服饰套装推荐系统与方法，通过采用上述的技术方案，与现有技术相比，具有以下的有益效果：

1、通过利用卷积神经网络和自然语言处理对服装套装和其描述文本进行处理，极大的提高了算法处理的整体速度，提高了系统的时效性。

2、通过基于套装搭配网络的服装推荐，即可实现套装之间的搭配度评分，又可以进行服装推荐。

3、建立了文本和图像之间的联系，实现通过文本就可以得到相应的服装推荐。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明的服饰套装推荐系统的流程示意图。

具体实施方式

实施例1：

一种服饰套装推荐系统，包括图像采集单元、图像处理单元、特征提取单元和服装推荐单元；

所述图像采集单元用于采集足够多服装的套装图像以及其相关的文本描述；

所述图像处理单元用于将逐套服装中的图像、文本以及其特征向量进行数据库的存储；

所述特征提取单元用于对采集到的大量服装的套装图像和文本进行预处理并逐个种类进行特征提取融合并生成服装的搭配分数；

所述服装推荐单元用于将提取到的图像特征与数据库中预先存储的特征进行相似度计算，并推荐最相似的服装。

优选的方案中，所述服装的套装图像包括帽子、墨镜、围巾、上衣，下衣和鞋；所述的文本描述为对应的外观形容词。

优选的方案中，采集套装信息包括线下摄像和线上商城“爬虫”软件爬取的方法。

优选的方案中，所述数据预处理包含对输入图像的归类筛选以及重设置大小，以及对文本信息的清洗。

其中，所述归类采用训练好的图像分类深度学习模型根据穿戴位置进行辅助分类。例如帽子、墨镜、围巾、上衣、裤子等，所述重设置大小是将所有的图像尺寸缩放为w×h预定尺寸；所述对文本信息的清理是指对一串文本中的关键字进行提取。

优选的方案中，所述对逐个特征进行提取并融合是指使用服装搭配网络对套装中的每件物品图像进行单独的卷积处理，并对相应的文本信息进行语义特征向量的提取；在融合阶段将各个物品的图像特征向量和文本特征向量进行多次联合卷积，实现融合。

优选的方案中，所述的搭配分数是指在套装信息在输入服装搭配网络中经过卷积融合处理过后得到的从0-1的分数，其中分数越靠近1说明搭配效果越好，越接近0 则表示搭配效果越差。

优选的方案中，在模型训练好后将数据集库的所有图像和文本数据传递到服装搭配网络中，并截取其中融合后的n个通道维度的1维特征向量进行储存。

优选的方案中，所述的相似度比较和推荐是指，将要搭配的高分套装经过服装搭配网络提取出相应的特征向量，再根据该向量在数据库中储存的相关种类的特征向量进行比对，计算二者之间的相似度，将得到的相似度进行排序，按从高到低的分数进行排序并推荐给用户。

实施例2：

一种采用上述的服饰套装推荐系统的方法，其步骤如下：

S1：对套装内的每件物品的图像进行特征的提取，提取出m×n×h的特征向量；

S2：对相应物品的文本描述进行关键词特征的提取，同样提取出m×n×h的特征向量；

S3：将图像和文本的特征向量进行相加，并通过深层的卷积层对其进行更深层次的特征融合提取；深层的卷积层指层数在13层以上的下采样卷积网络，如VGG19网络，ResNet50网络。其中的更深层次卷积是指在下采样卷积网络后跟着的一系列长宽维度相同普通卷积层或残差层，例如pix2pixHD等网络中的中间层特征融合网络。

S4：使用二分类的激活函数对得到的深层融合的特征向量进行激活；其中，二分类的激活函数是指输出介于[0,1]中间的单个张量的sigmoid函数或输出2个概率分布的softmax分类函数。

对得到的特征向量进行激活指利用激活函数对特征向量的参数值进行计算，公式采用P(x)＝σ(v)，

S5：使用0-1之间的标签对网络模型进行迭代训练；

优选的，采用卷积神经网络来利用反卷积操作对该特征向量进行解码，根据神经网络的反向传播，对图像进行特征解码，并采用自然语言处理算法对文本的关键词特征进行提取；

其中反卷积操作和解码操作指对提取的特征向量进行反向维度的上采样展开，即卷积操作，如Unet网络和pix2pixHD中的解码操作。自然语言处理算法即首先使用 TF-IDF等词频算法进行筛选处理，再根据BERT等词向量算法进行特征(向量)提取。

采用既可以对套装进行打分，又可以根据一个套装中所缺少的某件物品进行推荐的网络架构，实现被推荐的物品拥有较高的搭配分数。

实施例3：

参照图1所示，是本发明提供的新型的服饰套装推荐系统一个实施例的示意图。实施例提供的这种服饰套装推荐系统包括辅助检测单元、图像采集单元、图像处理单元和图像显示单元；

其中，图像采集单元用于采集大量的服装的套装图像包括帽子、墨镜、围巾、上衣，下衣和鞋，以及其相关的文本描述如“黑色的男款鸭舌帽”。其中使用网络“爬虫”软件对商城中的套装图像以及它的描述语进行采集，在线下使用相机进行拍摄，并通过人工进行描述语标注，并打分；

图像处理单元用于将逐套服装中的图像，文本在数据库中进行存储，并使用训练好的服装搭配网络来或取所有图像和文本的1×n(n＝1024)维的特征向量并在数据库中相应的存储。

特征提取单元用于对采集到的大量服装的套装图像和文本进行筛选，缩放和归一化等预处理，并逐个种类进行图形和文本的特征提取融合并生成服饰的从0-1的搭配分数；

服装推荐单元用于将提取到的1×n(n＝1024)维的图像与文本特征与数据库中预先存储的特征进行余弦相似度计算，得到从0-1的相似度分数，并推荐最相似(分数最接近1)的50件服装；

其中，要将提取到的1×n(n＝1024)维的图像与文本混合特征(v

另有实施例提供的一种新型的服饰套装推荐系统，采用既可以对套装进行打分，又可以根据一个套装中所缺少的某件物品进行推荐的网络架构，实现被推荐的物品拥有较高的搭配分数。

按照本发明的一个方面，提供了一种新型的服饰套装推荐系统，包括图像采集单元、图像处理单元、特征提取单元和服装推荐单元；

其中，图像采集单元用于采集大量的服装的套装图像以及其相关的文本描述；

图像处理单元用于将逐套服装中的图像，文本以及其特征向量进行数据库的存储。

特征提取单元用于对采集到的大量服装的套装图像和文本进行预处理并逐个种类进行特征提取融合并生成服装的搭配分数；

服装推荐单元用于将提取到的图像特征与数据库中预先存储的特征进行相似度计算，并推荐最相似的服装；

优选的，上述的服饰套装推荐系统，服装的套装图像包括帽子、墨镜、围巾、上衣，下衣和鞋。所述的文本描述为对应的外观形容词，如“黑色的男款鸭舌帽”。

优选的，上述的服饰套装推荐系统，采集套装信息通过线下摄像和线上商城“爬虫”软件爬取的方法。

优选的，上述的服饰套装推荐系统，数据预处理包含对输入图像的归类筛选以及重设置大小，以及对文本信息的清洗。

其中，所述归类采用训练好的图像分类深度学习模型进行辅助分类为帽子，墨镜等种类，所述重设置大小是将所有的图像尺寸缩放为w×h(196×256)。所述对文本信息的清理是指对一串文本中的关键字进行提取。

优选的，上述的服饰套装推荐方法，对逐个特征进行提取并融合是指使用服装搭配网络对套装中的每件物品图像进行单独的卷积处理，并对相应的文本信息进行语义特征向量的提取。在融合阶段将各个物品的图像特征向量和文本特征向量进行多次联合卷积，实现融合。

优选的，上述的服饰套装推荐方法，搭配分数是指在套装信息在输入服装搭配网络中经过卷积融合处理过后得到的从0-1的分数，其中分数越靠近1说明搭配效果越好，越接近0则表示搭配效果越差。

优选的，上述的服饰套装推荐方法，在模型训练好后将数据集库的所有图像和文本数据传递到服装搭配网络中，并截取其中融合后的n(1024)个通道维度的1维特征向量进行储存。

优选的，上述的服饰套装推荐方法，相似度比较和推荐是指，将要搭配的高分(即，分数接近1)套装经过服装搭配网络提取出相应的特征向量，再根据该向量在数据库中储存的相关种类的特征向量进行比对，计算二者之间的相似度，将得到的相似度进行排序，按从高到低的分数进行排序并推荐给用户。

优选的，还包括数据库预处理的步骤，将人工选择的搭配适当的服饰套装储存在数据库中，并对对套装中的每件物品图像进行单独的卷积处理，并对相应的文本信息进行语义特征向量的提取。该特征向量即作为推荐的服饰套装的特征向量的基础。

进一步优选的，对最终选择次数达到预设值的服饰套装，作为推荐基础存储在数据库中。例如本例中的预设值为达到总选择次数的5％，基础数量最少为100。

优选的，上述的服饰套装推荐方法，服装搭配网络中的主干特征提取网络一般可以选用VGG、ResNet、Inception等网络。

优选的，上述的服饰套装推荐方法，服装搭配网络中的主干自然语言关键词特征提取网络一般可以选用TF-IDF、TextRank、LAD等网络。

优选的，上述的服饰套装推荐方法，服装搭配网络中的二分类激活函数可以选用Softmax和Sigmoid函数。

优选的，上述的服饰套装推荐方法，特征向量的相似度计算可以选用余弦相似度计算和欧氏距离的方法。

上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。