图像多标签分类方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像多标签分类方法、装置、计算机设备和存储介质。

背景技术

伴随着科技进步不断产生海量的媒体数据，这些媒体数据是指图像、视频及其标题、文本等信息。而如何借助科学工具对媒体数据进行目标检测和跟踪已成为计算机视觉和模式识别中所要解决的重要问题。在解决这些问题时，往往会涉及对图像进行分类，以提升后续目标检测和跟踪的精度和速度。因此，对图像进行有效分类显得尤为重要。

目前，传统的图像分类按照图像分类的类别个数常分为：单标签分类和多标签分类。在实际生活中，一张图像往往包含有丰富的语义信息，如目标场景、行为、属性、对象(如风景和动物)等，单个类别或标签难以充分描述图像所包含的语义信息，因此单标签分类容易对图像处理造成信息损失。而多标签分类能为图像分配多个标签，用以充分表达图像内容，在一定程度上能避免信息损失。

现有技术中，图像多标签分类通常采用以下两种处理方式实现。第一种处理方式为：将多标签数据集转换为单标签数据集，再采用单标签分类方法对转换后的单标签数据集进行分类。然而这种处理方式会忽略标签本身之间的依赖关系，从而降低了标签分类的精度。

第二种处理方式为：采用随机游走模型将多标签图像映射为随机游走图，在满足随机游走模型的收敛条件时，实现图像的多标签分类。然而这种处理方式在图像处理过程中，例如图像特征降维时会忽略图像的内部结构信息，且收敛速度较慢，从而降低了标签分类的精度和速度。

发明内容

本申请实施例公开一种图像多标签分类方法、装置、计算机设备和存储介质，能解决现有图像多标签分类中降低标签分类的精度和速度等问题。

本申请实施例第一方面公开一种图像多标签分类方法，所述方法包括：

获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数；

对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量，所述低秩特征向量的维度小于所述初始特征向量的维度；

根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络，所述样本关联网络用于反映所述初始样本图像之间的相似度，所述标签关联网络用于反映所述初始标签之间的关联度，所述样本标签网络用于反映所述初始样本图像和所述初始标签之间的关联度；

对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果。

在一些实施例中，所述对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量包括：

对n个所述初始样本图像各自的初始特征向量进行协同矩阵分解，以将n个所述初始样本图像各自的初始特征向量映射为n个所述初始样本图像各自的隐含因子向量；

对n个所述初始样本图像各自的隐含因子向量进行正则化约束，得到n个所述初始样本图像各自的低秩特征向量。

在一些实施例中，所述根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络包括：

对n个所述初始样本图像各自的低秩特征向量进行样本相似度计算，得到n个所述初始样本图像中的任意两个所述初始样本图像之间的样本相似度；

根据所述任意两个所述初始样本图像之间的样本相似度，构建所述样本关联网络；

根据m个所述初始标签和每个所述初始样本图像对应拥有的已知标签，构建所述标签关联网络和所述样本标签网络，所述已知标签为n个所述初始标签中的标签。

在一些实施方式中，所述对n个所述初始样本图像各自的低秩特征向量进行样本相似度计算，得到n个所述初始样本图像中的任意两个所述初始样本图像之间的样本相似度包括：

对所述任意两个所述初始样本图像的低秩特征向量进行综合相似度计算，得到所述任意两个所述初始样本图像之间的综合相似度；

对所述任意两个所述初始样本图像的低秩特征向量进行高斯核相似度计算，得到所述任意两个所述初始样本图像之间的高斯核相似度；

根据所述任意两个所述初始样本图像之间的所述综合相似度和所述高斯核相似度，计算得到所述任意两个所述初始样本图像之间的样本相似度。

在一些实施方式中，所述对所述任意两个所述初始样本图像的低秩特征向量进行综合相似度计算，得到所述任意两个所述初始样本图像之间的综合相似度包括：

对所述任意两个所述初始样本图像的低秩特征向量进行余弦相似度计算，得到所述任意两个所述初始样本图像之间的余弦相似度；

对所述任意两个所述初始样本图像之间的余弦相似度进行预设逻辑处理，得到所述任意两个所述初始样本图像之间的处理相似度；

对所述任意两个所述初始样本图像之间的处理相似度进行集群聚类处理，得到所述任意两个所述初始样本图像之间的综合相似度。

在一些实施方式中，所述对任意两个所述初始样本图像之间的处理相似度进行集群聚类处理，得到所述任意两个所述初始样本图像之间的综合相似度包括：

确定集群聚类系数，所述集群聚类系数用于反映在所述任意两个所述初始样本图像位于同一样本图像集群时，所述同一样本图像集群的聚类系数；

根据所述集群聚类系数对所述任意两个所述初始样本图像之间的处理相似度进行修正，得到所述任意两个所述初始样本图像之间的综合相似度。

在一些实施方式中，所述对所述任意两个所述初始样本图像的低秩特征向量进行高斯核相似度计算，得到所述任意两个所述初始样本图像之间的高斯核相似度包括：

根据每个所述初始样本图像与每个所述初始标签之间的关联关系，确定每个所述初始样本图像的高斯核带宽；

根据所述高斯核带宽对所述任意两个所述初始样本图像的低秩特征向量进行相似度计算，得到所述任意两个所述初始样本图像之间的高斯核相似度。

在一些实施方式中，所述根据m个所述初始标签和每个所述初始样本图像对应拥有的已知标签，构建所述标签关联网络包括：

根据每个所述初始样本图像对应拥有的已知标签，确定m个所述初始标签中任意两个所述初始标签之间的样本关联数量，所述样本关联数量为任意两个所述初始标签同时关联到同一个样本图像的数量；

根据任意两个所述初始标签之间的样本关联数量，确定任意两个所述初始标签之间的新建边的权重；

根据任意两个所述初始标签之间的新建边的权重，构建所述标签关联网络，所述标签关联网络包括任意两个所述初始标签之间的新建边的权重。

在一些实施方式中，所述对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果包括：

对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的置信度；

根据每个所述初始样本图像和每个所述初始标签之间的置信度，确定每个所述初始样本图像的多标签分类结果。

在一些实施方式中，所述对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的置信度之前，所述方法还包括：

对每个所述初始样本图像与每个所述初始标签进行相似系数计算，得到每个所述初始样本图像与每个所述初始标签之间的相似系数；

根据每个所述初始样本图像与每个所述初始标签之间的相似系数，计算每个所述初始样本图像的游走步长和每个所述初始标签的游走步长；

所述对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的置信度包括：

按照每个所述初始样本图像的游走步长，对所述标签关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的第一预测值；

按照每个所述初始标签的游走步长，对所述样本关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的置第二预测值；

根据每个所述初始样本图像和每个所述初始标签之间的所述第一预测值和所述第二预测值，计算得到每个所述初始样本图像和每个所述初始标签之间的置信度。

本申请实施例第二方面公开一种图像多标签分类装置，包括：

获取模块，用于获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数；

分解模块，用于对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量，所述低秩特征向量的维度小于所述初始特征向量的维度；

构建模块，用于根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络，所述样本关联网络用于反映所述初始样本图像之间的相似度，所述标签关联网络用于反映所述初始标签之间的关联度，所述样本标签网络用于反映所述初始样本图像和所述初始标签之间的关联度；

处理模块，用于对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果。

关于本申请实施例中未介绍的内容可对应参考前述第一方面公开实施例中的相关介绍，这里不再赘述。

本申请实施例第三方面公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面中任一种可选的实施例中所述的方法的步骤。

关于本申请实施例中未介绍的内容可对应参考前述第一方面公开实施例中的相关介绍，这里不再赘述。

本申请实施例第四方面公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面中任一种可选的实施例中所述的方法的步骤。

与现有技术相比，本申请实施例具有以下有益效果：

本申请实施例中，计算机设备获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数；对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量，所述低秩特征向量的维度小于所述初始特征向量的维度；根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络，所述样本关联网络用于反映所述初始样本图像之间的相似度，所述标签关联网络用于反映所述初始标签之间的关联度，所述样本标签网络用于反映所述初始样本图像和所述初始标签之间的关联度；对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果。可见，实施本申请实施例，能利用深度矩阵分解保留图像的内部结构信息，并结合考虑样本图像之间的关联度、标签之间的关联度及样本图像和标签之间的关联度来实现样本图像的多标签分类，从而解决了现有图像多标签分类中会忽略图像的内部结构信息、忽略标签本身之间的依赖关系导致分类标签的精度和速度降低等问题，从而有利于提升图像多标签分类的精度和速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例中图像多标签分类方法的流程示意图；

图2是本申请另一个实施例中图像多标签分类方法的流程示意图；

图3是本申请另一个实施例中图像多标签分类方法的流程示意图；

图4是本申请一个实施例中综合相似度计算步骤的流程示意图；

图5是本申请一个实施例中标签关联网络构建步骤的流程示意图；

图6是本申请一个实施例中置信度计算步骤的流程示意图；

图7是本申请一个实施例中图像多标签分类装置的结构示意图；

图8是本申请一个实施例中计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，介绍本申请涉及的一些技术术语或技术概念。

首先，介绍本申请涉及的一些技术术语或技术概念。

图像分类(Image Classfication)，是指以图像特征的相似度作为衡量标准，将具有相似特征的图像进行归类。

多标签分类，是指一个样本图像的标签数量不止一个，即一个样本图像对应有多个标签。

随机游走，从某个节点的邻居中随机挑选一个节点作为下一跳节点的过程称为随机游走(Random Walk)。具体地，从某一顶点开始遍历一张图，在任意一个顶点，以1-α的概率游走到该顶点的邻居节点，以α的概率随机跳转到图中的其它顶点。每次游走后得出一个概率分布，该概率分布刻画了图中每个顶点被访问到的概率，用该概率分布作为下一次游走的输入并反复迭代上述过程。当满足一定条件时，该概率分布会区域收敛。收敛后，得到一个平稳的概率分布。

重启随机游走，是针对随机游走的改进。具体地，从图中某一顶点出发，每一步面临两个选择，以1-α的概率游走到邻居节点，或以α的重启概率返回开始节点，经过迭代直至收敛，平稳后得到的概率分布可看做是受开始节点影响的概率分布。重启随机游走可捕捉两个节点的多方面关系，捕捉图的整体结构信息。

深度矩阵分解(Deep Non-Matrix Factorization，Deep NMF)，深度矩阵分解是将深度学习逐层提取隐含特征的思想应用于矩阵分解中，通过矩阵分解生成近似原始高维数据的低秩表示，即将原始高维数据映射为低维数据。

其次，介绍本申请涉及的图像多标签分类方法的相关实施例。请参见图1是本申请实施例公开的一种可能的图像多标签分类方法的流程示意图。如图1所示的方法应用于计算机设备中，所述计算机设备包括但不限于诸如服务器、个人计算机、笔记本电脑、平板电脑、智能手机或其他具备通信功能的设备等。所述方法包括如下实施步骤：

S101、获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数。

本申请可获取样本图像集合和标签集合，所述样本图像集合包括n个初始样本图像各自的初始特征向量，其可表示为P＝{p

S102、对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量，所述低秩特征向量的维度小于所述初始特征向量的维度。

本申请可对n个所述初始样本图像各自的初始特征向量进行协同矩阵分解，以将n个所述初始样本图像各自的初始特征向量映射为n个所述初始样本图像各自的隐含因子特征。然后再对n个所述初始样本图像各自的隐含因子特征进行正则化约束，得到n个所述初始样本图像各自的低秩特征向量。从而将高维空间的初始特征向量转换为低维空间的低秩特征向量。

S103、根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络，所述样本关联网络用于反映所述初始样本图像之间的相似度，所述标签关联网络用于反映所述初始标签之间的关联度，所述样本标签网络用于反映所述初始样本图像和所述初始标签之间的关联度。

本申请可根据n个所述初始样本图像各自的低秩特征向量、m个所述初始标签及n个所述初始样本图像各自拥有的已知标签来构建获得样本关联网络、标签关联网络和样本标签网络。

S103、对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果。

本申请可采用重启随机游走算法在所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走，从而获得每个所述初始样本图像和每个所述初始标签之间的置信度，所述置信度用于反映所述初始样本图像被归类为所述初始标签的概率。然后根据每个所述初始样本图像和每个所述初始标签之间的置信度来确定每个所述初始样本图像的多标签分类结果，具体地例如当任一个所述初始样本图像和任一个所述初始标签之间的置信度大于预设阈值时，可确定任一个所述初始样本图像的标签分类包含任一个所述初始标签，即任一个所述初始样本标签的多标签分类结果中包括任一个所述初始标签。

通过实施本申请实施例，计算机设备获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数；对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量，所述低秩特征向量的维度小于所述初始特征向量的维度；根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络，所述样本关联网络用于反映所述初始样本图像之间的相似度，所述标签关联网络用于反映所述初始标签之间的关联度，所述样本标签网络用于反映所述初始样本图像和所述初始标签之间的关联度；对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果。可见，实施本申请实施例，能利用深度矩阵分解保留图像的内部结构信息，并结合考虑样本图像之间的关联度、标签之间的关联度及样本图像和标签之间的关联度来实现样本图像的多标签分类，从而解决了现有图像多标签分类中会忽略图像的内部结构信息、忽略标签本身之间的依赖关系导致分类标签的精度和速度降低等问题，从而有利于提升图像多标签分类的精度和速度。

请参见图2，是本申请实施例公开的另一种图像多标签分类方法的流程示意图。如图2所示的方法包括如下实施步骤：

S201、获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数。

S202、对n个所述初始样本图像各自的初始特征向量进行协同矩阵分解，以将n个所述初始样本图像各自的初始特征向量映射为n个所述初始样本图像各自的隐含因子向量。

可理解的，图像领域中可借鉴深度学习的思想来进行目标图像特征的分层提取，从低层到高层的特征表示越来越抽象，越来越能表现意图或语义，将每个较低层的输出作为更高层的输入，学习到的高阶特征更能融合低层特征的信息。因此非负矩阵分解(NMF)这一单层的结构分解也被进一步扩展到深度矩阵分解中，用以优化对复杂数据的隐层特征表达。如常用的深度半非负矩阵分解(Deep Semi-NMF)，具体可如下公式(1)所示：

P≈Z

如上公式(1)所示，深度半非负矩阵分解可将初始矩阵P(例如为采用任一种特征提取算法提取的n个初始样本图像各自的初始特征向量等)分解成基矩阵Z和系数矩阵G，并通过多次迭代分解G，以将原始数据P分解成m个因子，G的分解过程具体如下公式(2)所示：

本申请在深度半非负矩阵分解的基础上引入不同维度的初始样本图像的初始特征向量来协同指导深度矩阵分解，迭代优化后以将初始样本图像(的初始特征向量)映射为隐含因子向量，该隐含因子向量的每一个维度均代表该初始样本图像的一个特征因子。换言之，本申请可对n个所述初始样本图像各自的初始特征向量进行协同矩阵分解，以将n个所述初始样本图像各自的初始特征向量映射为n个所述初始样本图像各自的隐含因子向量。以采用第s种特征提取算法采集获得的n个所述初始样本图像各自的初始特征向量集合P

其中，s表示采用第s种预设的特征提取算法，t表示分解的因子次数。

由上可知，本申请对初始样本图像的特征向量集合P

S203、对n个所述初始样本图像各自的隐含因子向量进行正则化约束，得到n个所述初始样本图像各自的低秩特征向量。

本申请进一步考虑到样本图像各自的几何结构，即样本图像之间在原始空间具备相似性，则该相似性在低秩空间也应保留，因此本申请又引入针对图像的正则化约束。换言之，本申请可对n个所述初始样本图像各自的隐含因子向量进行正则化约束，以得到n个所述初始样本图像各自的低秩特征向量。相应地，上述公式(3)所示的协同矩阵分解更新为如下公式(4)所示：

其中，L

在实际应用中，为了初始化矩阵分解过程并加快收敛速度，可采用非负双奇异值分解来初始化G

由于本申请上述公式(4)所对应的函数在G,Z上是非凸函数，因此可借助于近似三因子矩阵分解的交替乘子法来进行优化求解，该方法常应用于非负矩阵求解中。其求解思路是：对于G,Z可视其中一个参数为常数，来优化另一个，通过反复迭代直至求解出所有参数。具体求解过程如下所述：

由于公式(4)中G,Z的求解均依赖于其他参数，因此本申请在迭代过程中交替求解每一个参数。即每次固定其中一个参数，同时来优化另一个参数，直至达到指定的迭代次数或者收敛。首先，本申请引入约束G

其中，tr表示矩阵，T表示转置。

接着，假设G已知，可以优化Z，因此本申请可对公式(5)求关于

令

令

类似地假设Z已知，可以优化G，因此本申请可对公式(5)求关于

其中，多项式因子λ

其中，⊙表示哈达玛积。由于上述公式(10)是一个定点方程，且方程解需满足收敛条件，因此可使得其满足如下条件公式(11)：

其中，

其中，diag表示对角矩阵，

S204、对n个所述初始样本图像各自的低秩特征向量进行样本相似度计算，得到n个所述初始样本图像中的任意两个所述初始样本图像之间的样本相似度。

本申请可对n个所述初始样本图像中的任意两个初始样本图像的低秩特征向量进行相似度计算，从而获得所述任意两个初始样本图像之间的样本相似度。其中，所述相似度计算的具体实施方式本申请并不做限定，例如余弦相似度计算、欧式距离计算、或其他相似度计算方式等。本申请涉及的样本相似度是指用于反映/指示对应两个初始样本图像之间的相似度。

S205、根据所述任意两个所述初始样本图像之间的样本相似度，构建所述样本关联网络。

本申请所述样本关联网络是根据n个所述初始样本图像中任意两个初始样本图像之间的样本相似度构建形成的，所述样本关联网络中包括若干节点，每个节点表示一个初始样本图像，这里的节点可称为样本节点。所述样本关联网络还可包括：存在关联关系的节点之间的连线，该连线的权重可为所述节点之间的样本相似度。换言之，所述样本关联网络包括任意两个所述初始样本图像之间的样本相似度。

S206、根据m个所述初始标签和每个所述初始样本图像对应拥有的已知标签，构建所述标签关联网络和所述样本标签网络，所述已知标签为n个所述初始标签中的标签。

本申请所述标签关联网络包括若干个节点，每个节点表示一个初始标签，这里的节点可称为标签节点。所述标签关联网络还可包括：存在关联关系的节点之间的连线及连线上的权重，该连线上的权重可为连线两端的节点同时关联在同一样本图像上的样本图像个数，也可称为样本关联数量。换言之，所述标签关联网络包括任意两个所述初始标签之间的样本关联数量。

所述样本标签网络包括若干节点及存在关联关系的节点之间的连线，该网络中的节点可表示初始样本图像或者初始标签，该连线是指一个初始样本图像与一个初始标签之间的连线，该连线上的权重可用于反映/指示连线上的初始样本图像与初始标签之间存在关联关系。

S207、对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的置信度。

S208、根据每个所述初始样本图像和每个所述初始标签之间的置信度，确定每个所述初始样本图像的多标签分类结果。

关于本申请实施例中未介绍的内容可对应参考前述图1所述实施例中的相关介绍，这里不再赘述。

通过实施本申请实施例，计算机设备获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数；对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量，所述低秩特征向量的维度小于所述初始特征向量的维度；对n个所述初始样本图像各自的低秩特征向量进行样本相似度计算，得到n个所述初始样本图像中的任意两个所述初始样本图像之间的样本相似度；根据所述任意两个所述初始样本图像之间的样本相似度，构建所述样本关联网络；根据m个所述初始标签和每个所述初始样本图像对应拥有的已知标签，构建所述标签关联网络和所述样本标签网络；对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的置信度；根据每个所述初始样本图像和每个所述初始标签之间的置信度，确定每个所述初始样本图像的多标签分类结果。可见，实施本申请实施例，能利用深度矩阵分解保留图像的内部结构信息，并基于初始样本图像之间的样本相似度创建样本关联网络，再结合初始标签之间的关联关系、初始样本图像与初始标签之间的关联关系来创建标签关联网络和样本标签网络，从而能综合考虑样本之间的关联关系、标签之间的关联关系及样本与标签之间的关联关系来实现标签多分类，从而能解决了现有图像多标签分类中会忽略图像的内部结构想你想、忽略标签本身之间的依赖关系导致分类标签的精度和速度降低等问题，从而有利于提升图像多标签分类的精度、速度和准确度。

请参见图3，是本申请实施例公开的另一种图像多标签分类方法的流程示意图。如图3所示的方法包括如下实施步骤：

S301、获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数。

S302、对n个所述初始样本图像各自的初始特征向量进行协同矩阵分解，以将n个所述初始样本图像各自的初始特征向量映射为n个所述初始样本图像各自的隐含因子向量。

S303、对n个所述初始样本图像各自的隐含因子向量进行正则化约束，得到n个所述初始样本图像各自的低秩特征向量。

S304、对n个所述初始样本图像中任意两个所述初始样本图像的低秩特征向量进行综合相似度计算，得到所述任意两个所述初始样本图像之间的综合相似度。

本申请所述综合相似度计算的具体实施方式并不做限定，例如余弦相似度计算、哈曼顿距离计算、标准化欧式距离计算等。示例性地，请一并结合图4是本申请实施例公开的一种综合相似度计算的流程示意图。如图4所示的流程包括如下实施步骤：

S401、对所述任意两个所述初始样本图像各自的低秩特征向量进行余弦相似度计算，得到所述任意两个所述初始样本图像之间的余弦相似度。

本申请可利用余弦相似度来度量任意两个所述初始样本图像之间的相似度，即样本-样本之间的相似度。以所述任意两个初始样本图像包括第一样本图像p

/>

其中，g

S402、对所述任意两个所述初始样本图像之间的余弦相似度进行预设逻辑处理，得到所述任意两个所述初始样本图像之间的处理相似度。

本申请所述预设逻辑处理可为系统自定义设置的，例如将无效数据处理为0，将有效数据进行放大等。可理解的，由于过小的相似度为图像分类预测提供的信息有限，本申请可将相似度转换为0，以便进行更为准确且高效的运算。具体地，本申请可将所述余弦相似度

进一步本申请可随机打乱

进一步本申请可对

其中，c和d均为调整

S403、对所述任意两个所述初始样本图像之间的处理相似度进行集群聚类处理，得到所述任意两个所述初始样本图像之间的综合相似度。

本申请可先确定集群聚类系数，所述集群聚类系数用于反映在所述任意两个所述初始样本图像位于同一图像集群时，所述同一图像集群的聚类系数。然后再根据所述集群聚类系数对所述任意两个所述初始样本图像之间的处理相似度进行修正，得到所述任意两个所述初始样本图像之间的综合相似度。

具体实现中，当两个初始样本图像属于同一个集群时，则这两个初始样本图像将会更加相似。基于这一假设，本申请可构建一个加权样本图像共享网络，该网络以n个初始样本图像为节点，边上的权重用于反映初始样本图像之间共有的标签数量，本申请可在该网络上应用聚类算法(例如ClusterONE聚类)来识别潜在的样本图像集群。当两个初始样本图像同属于一个集群时，可在处理相似度

其中，W

本申请在确定到任意两个初始样本图像位于同一集群中时，所述任意两个初始样本图像的综合相似度，以所述任意两个初始样本图像包括第一样本图像p

其中，

S305、对所述任意两个所述初始样本图像的低秩特征向量进行高斯核相似度计算，得到所述任意两个所述初始样本图像之间的高斯核相似度。

本申请可根据每个所述初始样本图像与每个所述初始标签之间的关联关系，确定每个所述初始样本图像的高斯核带宽。然后再根据所述高斯核带宽对所述任意两个所述初始样本图像进行相似度计算，得到所述任意两个所述初始样本图像之间的高斯核相似度。

具体实现中，本申请基于相似的初始样本图像通常会与同一初始标签产生关联或拒绝关联。基于这一假设，本申请可引入高斯核相似度来进一步强化样本相似度的计算。具体地以所述任意两个初始样本图像包括第一样本图像p

其中，γ

所述第一样本图像p

其中，

S306、根据所述任意两个所述初始样本图像之间的所述综合相似度和所述高斯核相似度，计算得到所述任意两个所述初始样本图像之间的样本相似度。

本申请可对所述任意两个初始样本图像之间的综合相似度和所述任意两个初始样本图像之间的高斯相似度进行诸如求平均等预设规则的计算，得到所述任意两个初始样本图像之间的样本相似度。

以所述任意两个所述初始样本图像包括第一样本图像p

S307、根据m个所述初始标签和每个所述初始样本图像对应拥有的已知标签，构建所述标签关联网络。

本申请所述标签关联网络的构建方式不做限定，例如请一并结合图5是本申请实施例公开的一种标签关联网络构建的流程示意图。如图5所示的方法包括如下实施步骤：

S501、根据每个所述初始样本图像对应拥有的已知标签，确定m个所述初始标签中任意两个所述初始标签之间的样本关联数量，所述样本关联数量为任意两个所述初始标签同时关联到同一个样本图像的数量。

S502、根据任意两个所述初始标签之间的样本关联数量，确定任意两个所述初始标签之间的新建边的权重。

S503、根据任意两个所述初始标签之间的新建边的权重，构建所述标签关联网络，所述标签关联网络包括任意两个所述初始标签之间的新建边的权重。

本申请需构建所述标签关联网络G＝(V,E)，V表示所有初始标签构成的节点集合，E表示边的集合，该边具体指任意两个存在关联关系的初始标签(节点)之间的连线。当任意两个初始标签(例如标签l

其中，|p

所述标签关联网络的邻接矩阵S

其中，w

S308、根据每个所述初始样本图像对应拥有的已知标签，构建所述样本标签网络。

本申请可根据每个所述初始样本图像对应拥有的已知标签来构建样本标签网络。具体地由于初始样本图像(例如初始样本图像p

S309、对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的置信度。

本申请可采用重启随机游走算法对所述样本关联网络、所述标签关联网络和所述样本标签网络这三个网络进行随机游走，从而得到每个所述初始样本图像和每个所述初始标签之间的置信度。具体实现中，本申请可先根据所述样本关联网络、所述标签关联网络和所述样本标签网络构建出异构关联网络，例如将所述样本关联网络、所述标签关联网络和所述样本标签网络融合为一个异构关联网络，所述异构关联网络可同时包括上述这三个网络及网络各自对应的信息等。然后，再采用重启随机游走算法对异构关联网络(也可理解为对这三个网络)进行双随机游走，以获得每个所述初始样本图像与每个所述初始标签之间的置信度。

请参阅图6是本申请实施例公开的一种置信度计算的流程示意图。如图6所示的方法包括如下实施步骤：

S601、对每个所述初始样本图像与每个所述初始标签进行相似系数计算，得到每个所述初始样本图像与每个所述初始标签之间的相似系数。

由于节点的游走步长通常取决于该节点在网络中的影响程度，本申请提出了相似系数(Jaccard系数)来量化节点的个性化随机游走步长。本申请可对每个初始样本图像与每个初始标签进行相似系数计算，从而得到每个初始样本图像与每个初始标签之间的相似系数。以初始样本图像p

其中，N

在实际应用中由于在样本标签关联网络W

其中，

S602、根据每个所述初始样本图像与每个所述初始标签之间的相似系数，计算每个所述初始样本图像的游走步长和每个所述初始标签的游走步长。

本申请假设量化后具有高影响程度的节点在随机游走的过程中，与其他节点进行交互的概率更大，且应设置更大的游走步长。基于此假设，本申请可根据初始样本图像与初始标签之间的相似系数，来量化每个节点(具体可为初始样本图像或初始标签)个性化游走的游走步长。以初始样本图像p

其中，O

S603、按照每个所述初始样本图像的游走步长，对所述标签关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的第一预测值。

S604、按照每个所述初始标签的游走步长，对所述样本关联网络和所述样本标签网络进行随机游走，得到每个所述初始样本图像和每个所述初始标签之间的第二预测值。

本申请可基于所述样本关联网络、所述标签关联网络和所述样本标签网络构建出异构关联网络，然后按照每个节点(具体可为初始标签和初始样本图像)的游走步长在该异构关联网络上进行重启随机游走。

具体地，本申请以一个初始样本图像作为起始节点，将与该起始节点相关的初始标签作为中间节点，通过遍历游走获得初始样本图像与初始标签之间的潜在标记关系。为了模拟上述过程，本申请可从初始样本图像开始执行随机游走，然后根据该初始样本图像的游走步长和异构关联网络遍历标签节点。以初始样本图像p

其中，

换言之，以初始样本图像p

类似的，本申请也能以一个初始标签作为起始节点，基于异构关联网络遍历初始样本图像(节点)，上述遍历过程可获得初始样本图像与初始标签之间存在潜在关联的概率。为了模拟上述过程，本申请可从初始标签开始执行随机游走，根据该初始标签的随机步长和异构关联网络遍历样本图像节点。以初始标签l

其中，

换言之，以初始标签l

S605、根据每个所述初始样本图像和每个所述初始标签之间的所述第一预测值和所述第二预测值，计算得到每个所述初始样本图像和每个所述初始标签之间的置信度。

本申请在获得每个所述初始样本图像和每个所述初始标签之间的第一预测值和第二预测值后，可对它们进行诸如求平均等设定规则的计算，从而可对应获得每个所述初始样本图像和每个初始标签之间的置信度。引用上述公式(25)和(26)所示的例子，初始样本图像p

其中，F(p

S310、根据每个所述初始样本图像和每个所述初始标签之间的置信度，确定每个所述初始样本图像的多标签分类结果。

本申请在获得每个初始样本图像和每个初始标签之间的置信度后，可根据每个所述初始样本图像和每个所述初始标签之间的置信度，确定每个所述初始样本图像的多标签分类结果。具体地以任一初始样本图像为例，本申请将判断该任一个初始样本图像与每个初始标签之间的置信度是否超过预设阈值，将超过预设阈值所对应的初始标签归类至所述任一初始样本图像的多标签分类结果。

通过实施本申请实施例，计算机设备获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数；对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量，所述低秩特征向量的维度小于所述初始特征向量的维度；根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络，所述样本关联网络用于反映所述初始样本图像之间的相似度，所述标签关联网络用于反映所述初始标签之间的关联度，所述样本标签网络用于反映所述初始样本图像和所述初始标签之间的关联度；对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果。可见，实施本申请实施例，能利用深度矩阵分解保留图像的内部结构信息，并结合考虑样本图像之间的关联度、标签之间的关联度及样本图像和标签之间的关联度来实现样本图像的多标签分类，从而解决了现有图像多标签分类中会忽略图像的内部结构想你想、忽略标签本身之间的依赖关系导致分类标签的精度和速度降低等问题，从而有利于提升图像多标签分类的精度和速度。

应该理解的是，虽然图1-图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于上述实施例，下面介绍本申请涉及的装置和设备实施例。请参见图7是本申请实施例公开的一种图像多标签分类装置的结构示意图。如图7所示的装置中包括：获取模块701、分解模块702、构建模块703和处理模块704，其中：

所述获取模块701，用于获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数；

所述分解模块702，用于对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量，所述低秩特征向量的维度小于所述初始特征向量的维度；

所述构建模块703，用于根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络，所述样本关联网络用于反映所述初始样本图像之间的相似度，所述标签关联网络用于反映所述初始标签之间的关联度，所述样本标签网络用于反映所述初始样本图像和所述初始标签之间的关联度；

所述处理模块704，用于对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果。

在一些实施方式中，所述分解模块702具体用于：

对n个所述初始样本图像各自的初始特征向量进行协同矩阵分解，以将n个所述初始样本图像各自的初始特征向量映射为n个所述初始样本图像各自的隐含因子向量；

对n个所述初始样本图像各自的隐含因子向量进行正则化约束，得到n个所述初始样本图像各自的低秩特征向量。

在一些实施方式中，所述构建模块703具体用于：

对n个所述初始样本图像各自的低秩特征向量进行样本相似度计算，得到n个所述初始样本图像中的任意两个所述初始样本图像之间的样本相似度；

根据所述任意两个所述初始样本图像之间的样本相似度，构建所述样本关联网络；

根据m个所述初始标签和每个所述初始样本图像对应拥有的已知标签，构建所述标签关联网络和所述样本标签网络，所述已知标签为n个所述初始标签中的标签。

在一些实施方式中，所述构建模块703具体用于：

对所述任意两个所述初始样本图像的低秩特征向量进行综合相似度计算，得到所述任意两个所述初始样本图像之间的综合相似度；

对所述任意两个所述初始样本图像的低秩特征向量进行高斯核相似度计算，得到所述任意两个所述初始样本图像之间的高斯核相似度；

根据所述任意两个所述初始样本图像之间的所述综合相似度和所述高斯核相似度，计算得到所述任意两个所述初始样本图像之间的样本相似度。

在一些实施方式中，所述构建模块703具体用于：

对所述任意两个所述初始样本图像的低秩特征向量进行余弦相似度计算，得到所述任意两个所述初始样本图像之间的余弦相似度；

对所述任意两个所述初始样本图像之间的余弦相似度进行预设逻辑处理，得到所述任意两个所述初始样本图像之间的处理相似度；

对所述任意两个所述初始样本图像之间的处理相似度进行集群聚类处理，得到所述任意两个所述初始样本图像之间的综合相似度。

在一些实施方式中，所述构建模块703具体用于：

确定集群聚类系数，所述集群聚类系数用于反映在所述任意两个所述初始样本图像位于同一样本图像集群时，所述同一样本图像集群的聚类系数；

根据所述集群聚类系数对所述任意两个所述初始样本图像之间的处理相似度进行修正，得到所述任意两个所述初始样本图像之间的综合相似度。

在一些实施方式中，所述构建模块703具体用于：

根据每个所述初始样本图像与每个所述初始标签之间的关联关系，确定每个所述初始样本图像的高斯核带宽；

根据所述高斯核带宽对所述任意两个所述初始样本图像的低秩特征向量进行相似度计算，得到所述任意两个所述初始样本图像之间的高斯核相似度。

通过实施本申请实施例，计算机设备获取m个初始标签和n个初始样本图像各自的初始特征向量，所述初始特征向量为对所述初始样本图像进行特征提取所获得的特征向量，m和n均为正整数；对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量，所述低秩特征向量的维度小于所述初始特征向量的维度；根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络，所述样本关联网络用于反映所述初始样本图像之间的相似度，所述标签关联网络用于反映所述初始标签之间的关联度，所述样本标签网络用于反映所述初始样本图像和所述初始标签之间的关联度；对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果。可见，实施本申请实施例，能利用深度矩阵分解保留图像的内部结构信息，并结合考虑样本图像之间的关联度、标签之间的关联度及样本图像和标签之间的关联度来实现样本图像的多标签分类，从而解决了现有图像多标签分类中会忽略图像的内部结构想你想、忽略标签本身之间的依赖关系导致分类标签的精度和速度降低等问题，从而有利于提升图像多标签分类的精度和速度。

关于图像多标签分类装置的具体限定可以参见上文中对于图像多标签分类方法的限定，在此不再赘述。上述图像多标签分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

请参见图8是本申请实施例提供的一种计算机设备的结构示意图。所示计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据和标签数据等，例如存储初始样本图像和初始标签。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像多标签分类方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，本申请提供的图像多标签分类装置可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像多标签分类装置的各个程序模块，比如，图7所示的获取模块701、分解模块702、构建模块703和处理模块704。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像多标签分类方法中的步骤。

例如，图8所示的计算机设备可以通过如图7所示的图像多标签分类装置中的获取模块执行所述获取m个初始标签和n个初始样本图像各自的初始特征向量的步骤。计算机设备可通过分解模块执行所述对n个所述初始样本图像各自的初始特征向量进行深度矩阵分解，得到n个所述初始样本图像各自的低秩特征向量的步骤。计算机设备可通过构建模块执行所述根据m个所述初始标签和n个所述初始样本图像各自的低秩特征向量，构建样本关联网络、标签关联网络和样本标签网络的步骤。计算机设备可通过处理模块执行所述对所述样本关联网络、所述标签关联网络和所述样本标签网络进行随机游走和标签分类，得到每个所述初始样本图像的多标签分类结果的步骤。

本申请实施例进一步公开一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

本申请实施例进一步公开一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

以上对本申请实施例公开的一种图像多标签分类方法及相关产品进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对申请的限制。