一种基于多任务学习的织物图像检索方法

技术领域

本发明涉及织物图像检索方法领域，特别是指一种基于多任务学习的织物图像检索方法。

背景技术

随着生活水平的提高，消费者对于纺织产品的需求不在局限于其实用性能，而是趋于美观化和多样化，纺织产品的款式日新月异，风格千变万化，致使“小批量”和“多品种”日益成为许多纺织企业全新的生产模式。在仿样设计中，需要人工分析样品工艺参数，并在仓库和历史生产数据中查找是否已有相同或者相似的产品，从而指导后续的设计和生产。人工完成完成这项工作耗时费力，而且搜索精度和效率低，导致产品的生产周期过长，也使得企业历史生产数据的利用率低下。目前，纺织企业中普遍采用的搜索方法是基于关键词，即通过储存纺织产品图像，并对这些图像进行人工标注，通过标注的关键词来搜索相关织物产品。这种方法的优点是查询速度快，但是无法消除人工标注主观性的影响，检索方式比较单一，难以满足不同的查询需求。

已有研究将基于内容的图像检索技术应用于织物检索，基于内容的图像检索的关键是图像内容的表征。现有应用于织物图像检索的方法中大多采用手工设计的特征(低阶特征)来表示图像内容，这类方法鲁棒性较差，只能适用于特定类别的织物，对于大规模的织物图像检索效果较差。使用深度神经网络表征图像的方法一般只表达织物的某个维度(颜色、花纹)上的特征，对于有着精细纹理的织物，从单一维度描述图像往往不够。因此，现有基于内容的织物检索技术中，图像表征方法对织物描述不够全面，致使无法精确的检索织物图像。

发明内容

有鉴于此，本发明的目的在于提出一种快速高效、检测准确的基于多任务学习的织物图像检索方法，快速从数据库中搜索相关产品，以实现纺织企业生产的快速反应。

基于上述目的本发明提供的一种基于多任务学习的织物图像检索方法，包括以下步骤：

S1：采用稳定的图像采集设备采集织物的清晰图像，固定光源和拍摄分辨率，推荐使用扫描仪；

S2：从粗纹理、细纹理、风格和花纹成型方式四个维度分别标注采集的图像以构建训练图像表征模型的数据集；

S3：用参数硬共享的方法搭建多任务学习的卷积神经网络框架；

S4：在构建的织物图像数据集训练多任务织物表征模型并提取高维特征；

S5：使用部分步骤4提取的高维特征训练深度哈希网络模型；

S6：使用深度哈希网络对提取的高阶特征进行编码，并将提取的哈希编码存储在数据库中。

S7：搭建织物图像检索系统。

所述的第三步中，多任务学习的卷积神经网络框架的主体网络采用Resnet，每个分支任务采用全连接，整个网络的损失函数采用同态不确定损失，如下式所示。

其中，W表示设计的多任务学习深度网络的权重和偏置，σ

进一步地，所述第四步的多任务织物表征模型共有四个分类任务，通过分类任务引导学习织物图像表征。

进一步地，所述第二步中，标注数据的标准是每个细分类中样本不低于1000个。

进一步地，所述第六步中，织物的高阶特征来自于每个任务分支的最后一个隐藏层，共四个分支，最终从四个任务对应的维度表征织物。

进一步地，所示深度哈希网络为一个5层的全连接神经网络，激活函数均使用Relu，表示为：

进一步地，所述深度哈希网络最终的输出将由如下函数转换为二值编码：

进一步地，所述哈希算法为一个无监督的方法，即不需要使用标注数据引导训练，而是根据设计的损失函数自行学习得到的，设计的损失函数如下式所示：

其中W和c分别表示需要优化的深度哈希网络的权重和偏置，L

进一步地，深度哈希网络的优化方法使用随机梯度下降算法，最终输出一串二进制编码，即哈希码。

进一步地，所述织物图像检索系统分为线下部分和线上部分，线下部分包括数据库的构建，新数据的入库操作，线上部分是用户输入织物图像进行检索的过程。

本发明的有益效果：本发明着眼于有着精细纹理的织物图像的精确检索，通过在一个稳定的光照条件和固定的分辨率下采集清晰的织物图像。按照视觉上理解织物的知识库对采集的部分织物图像进行标注，并保证每个子类的织物图像不要低于1000。构建的参数硬共享多任务学习框架采用同态不确定损失通过Adam优化器对多任务深度网络中参数进行优化。利用无监督深度哈希网络对多任务网络提取的高维特征进行降维。系统接受用户输入查询图片，在数据库中查询特征相近的图像并反馈给用户。提出的方法适用于各类织物图像，特别是品种繁多的大规模织物数据库。

附图说明

图1为本发明优选实施例的基于多任务学习的织物图像检索方法流程图。

图2为采集的织物图像实例。

图3为织物知识体系分类实例。

图4为参数硬共享的多任务学习模型框架。

图5为四个残差网络结构图。

图6为深度哈希网络结构图。

图7整体检索系统框架图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明实施例提供了一种基于多任务学习的织物图像检索方法，包括以下步骤：

S1：采用稳定的图像采集设备在稳定的光环境和固定的分辨率下采集清晰的织物图像，以构建用于织物图像检索的图像数据库，采集得到图像位24位RGB彩色图像；所述清晰图像是指能通过肉眼判断织物表面的纹理结构，织物表面图案和花纹边缘清晰；对于后续数据库中新增加的图片，也需在此固定环境下采集。

S2：建立视觉认知织物的知识体系，即分类标准，分类维度从四个层面：织物表面宏观纹理(粗纹理)，织物表面精细纹理(细纹理)，织物风格和织物表面花纹成型方式；所述织物风格分类应该界限清晰，标注人员能够一眼分辨，而不夹杂太多的主观成分；所述织物表面花纹成型方式只是针对表面有花纹的织物，对于纯色或素色织物可不考虑此分类；对步骤1中采集的部分图像按照建立的分类体系进行标注，正常情况下，每张织物图片由两个标注人员同时标注，若标注结果相同，则此图片完成标注，若两人标注结果不相同，则交由第三人重新标注，取第三人的标注结果；

S3：用参数硬共享的方法搭建多任务学习的卷积神经网络框架；所述的参数硬共享方法是指所有任务中共享一部分参数，每个子任务有独立的参数，这样的结构会避免过拟合的风险；共享参数层采用Resnet为主体网络用于提取图像聚合特征；每个任务独有的参数层的结构一样，全部采用全连接网络，并采用Relu激活函数；每个分类任务的损失函数均使用Softmax损失函数；采用同态不确定损失对每个任务的损失进行加权求和，具体加权方法如下式：

S4：使用步骤2中标注的数据集来训练优化步骤3中搭建的多任务学习模型，训练过程中使用Adam优化器来更新网络参数；通过观察训练过程中的损失曲线，来判断模型的训练状态，当曲线趋于收敛，表示模型已经训练好；利用训练好的多任务学习模型提取步骤1中采集的所有图像的四个维度的特征，每个独立任务网络的最后一个隐藏层的输出即为需要提取的特征，即为织物在对应维度上的表示向量；将提取的所有特征储存在数据库中备用。

S5：使用步骤4提取的部分数据训练深度哈希网络；所述深度哈希网络为一个具有5个隐藏层的全连接神经网络；此神经网络的输出由编码函数sgn(v)转化为二进制编码B；所述哈希算法为一个无监督的方法，即不需要使用标注数据引导训练，而是根据设计的损失函数自行学习得到的，设计的损失函数如下式所示：

其中W和c分别表示需要优化的深度哈希网络的权重和偏置，L

S6：使用优化好的深度哈希网络对步骤5中提取的所有特征进行编码，每个织物图像将在四个维度上分别对应一串二进制哈希编码；这四串哈希码将作为对应图像的索引用于检索图像；对提取的二进制哈希码存储在数据库并关联对应织物图像的链接。

S7：搭建织物图像检索系统，所述检索系统为两个部分：线下部分和线上部分，线下部分的操作1)包括整合图像特征提取模型2)提取图像数据库中图像的特征形成特征数据库并与对应图像关联3)新数据的入库流程设计，线上部分主要是系统接受用户输入图像，设计流程提取输入图像的索引，按照索引查询数据库中最相似的图像并反馈给用户；所述相似性由不同哈希码之间的汉明距离进行量化。

为了详细说明本发明的具体实施方式，本发明在工厂使用扫描仪获取了不同织物图像共80,000张。作为优选实施例，设计了认知织物的分类体系，参考图3。图1为本发明优选实施例的基于多任务学习的织物图像检索流程图。

本实施例的方法包括以下步骤：

S1：采用扫描仪作为图像采集设备获取织物图像，参考图2。

S2：根据采集图像的特点，设计了认知织物的分类体系，参考图3，并参照分类体系对步骤1中获取的30,000张图片进行人工标注。

S3：使用参数硬共享的方法搭建多任务学习模型，搭建过程基于深度学习框架pytorch，所有任务都是分类任务，每个子任务使用softmax损失函数，激活函数为Relu。

于本步骤中，所述多任务学习模型参考图4，其中共享层使用Resnet50作为主干特征聚合网络，输入图像尺寸为224×224的RGB图像，首先通过核尺寸为7×7，深度为64，步长为2的卷积层输出的特征图的尺寸为112×112；然后通过尺寸3×3，步长为2的最大池化层，输出特征图尺寸为56×56；然后经过3个图5(a)所示的残差结构，输出特征图尺寸为28×28；然后经过4个图(b)所示的残差结构，输出特征图的尺寸为14×14，然后通过6个图(c)所示的残差结构，输出特征图尺寸为7×7；然后通过3个图5(d)所示的残差结构，输出聚合特征的尺寸为2048×1，此输出作为每个任务分支全连接网络的输入；四个分支网络的各个层的节点数为{2048,2048,1024,1024}，激活函数全部使用Relu；四个分支的损失用同态不确定损失加权。

S4：使用步骤2中标注的图像数据来训练步骤3中搭建的多任务学习模型，反向传播过程用Adam优化模型参数，通过观察模型在训练集和测试集上的损失曲线，来判断模型的训练状态，当曲线趋于收敛某一值时，表示模型已经训练好；利用训练好的多任务学习模型提取步骤1中采集的所有图像的四个维度的聚合特征，每个独立任务网络的最后一个隐藏层的输出即为需要提取的特征，特征维度为1024，即为织物在对应维度上的表示向量；将提取的所有特征储存备用。

S5：采用步骤4中部分提取的特征训练深度哈希网络，所述的深度哈希网络结构参照图6，实施例中采用的哈希网络是一个拥有五层的全连接神经网络，各层神经元个数为{1024,512,512,256,128}，网络最后一层输出为128维的向量，由编码函数sgn(v)转化为128维的二进制编码B；所述哈希算法为一个完全的无监督方法，即不需要使用标注数据引导训练，而是根据设计的损失函数自行优化，设计的损失函数如下式所示：

所述优化问题是一个凸优化问题；采用随机梯度下降算法以0.0001的学习率优化这个凸优化问题，经过300次迭代的优化，深度哈希模型损失收敛。

S6：采用步骤5中训练好的深度哈希模型对步骤4中提取的所有高维特征进行编码，每张图片能得到四个128维哈希码；使用sqlite数据库同时储存提取的四串编码和对应图片的链接地址以用于检索。

S7：搭建织物图像检索系统，实施例搭建的系统框架参照图7；所述检索系统为两个部分：线下部分和线上部分，线下部分主要涉及图像数据库和特征数据库的搭建，线上部分接受用户输入图像，提取其索引并按照索引根据汉明距离查询数据库中最相似的图像并反馈给用户。