二阶相似感知的图像哈希码提取模型建立方法及其应用

技术领域

本发明属于图像检索领域，更具体地，涉及一种二阶相似感知的图像哈希码提取模型建立方法及其应用。

背景技术

哈希算法因其在图像存储和匹配的高效性而被广泛用于大规模检索。随着深度学习的飞速发展，基于卷积神经网络(CNN)的图像特征提取已经成为主流的哈希方法。但是，在深度学习训练中对标签信息的依赖性限制了深度哈希算法的实用性，一方面，精心收集此类标签是劳动密集型且昂贵的，另一方面，得到的标签集也很难涵盖所有分类的多样性。因而需要更好的解决办法。

针对上述限制，现有解决方法技术存在以下问题：

1、语义相关性衡量不准确：目前的自学习哈希算法所依赖的图嵌入算法只考虑了图像的一阶相似性，导致通过单目标图像模型在提取多目标图像特征时，会产生比较严重的语义偏差，降低了检索的准确性。

2、计算开销过大：现有方法使用图算法必须在图上完成映射，因此，每当有新数据出现时，都必须重复构图，重新计算数据间的彼此关系，进而导致巨大的计算开销。

总体而言，现有的针对图像检索的哈希算法在检索准确性和计算开销上仍然需要进一步提高。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种二阶相似感知的图像哈希码提取模型建立方法及其应用，其目的在于，在单标签模型获得的特征下，通过二阶相似性修复一阶相似性无法捕捉的关系，再将这些关系映射到伪标签中，训练端到端的哈希模型，由此解决现有的哈希算法的检索准确性低、计算开销大的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种二阶相似感知的图像哈希码提取模型建立方法，包括：哈希标签生成阶段和哈希模型学习阶段；

哈希标签生成阶段包括：

利用预训练模型提取图像数据集中各图像的特征；以特征为节点，以特征间的相似度为对应节点间边的权重，建立图模型，并构建图模型的邻接矩阵；

建立同时包含一阶接近度损失和二阶接近度重构误差的损失函数；以邻接矩阵中的每一行为自编码器的输入，对自编码器进行训练，直至损失函数收敛；

在损失函数收敛时，提取自编码器中位于正中间的隐藏层的输出，并转换为二进制哈希码，作为对应图像的哈希标签，从而得到图像数据集中各图像对应的哈希标签；

哈希模型学习阶段包括：

对图像数据集进行抽样，由抽样得到的图像及其对应的哈希标签构成训练集；

利用训练集对神经网络进行训练，从而在训练结束后，得到图像哈希码提取模型。

进一步地，哈希标签生成阶段中，所建立的损失函数为：

L＝αL

其中，L

进一步地，

其中，μ为超参数，N表示所提取的特征总数，u

进一步地，

其中，

进一步地，

其中，M表示自编码器中位于正中间的隐藏层f

进一步地，哈希标签生成阶段中，将自编码器中位于正中间的隐藏层的输出

其中，

进一步地，图像哈希码提取模型中的输出层用于将前一层的输出

其中，

按照本发明的另一个方面，提供了一种二阶相似感知的图像哈希码提取方法，包括：将待处理图像输入由本发明提供的二阶相似感知的图像哈希码提取模型建立方法建立的图像哈希码提取模型，以提取待处理图像的哈希码。

按照本发明的又一个方面，提供了一种图像检索方法，包括：

图像哈希码库建立步骤：利用本发明提供的二阶相似感知的图像哈希码提取方法，提取图像库中各图像的哈希码并存储，以建立用于图像检索的图像哈希码库；

检索步骤：对于待检索的目标图像，利用本发明提供的二阶相似感知的图像哈希码提取方法提取其哈希码，并获取图像哈希码库中与目标图像的哈希码距离最近的前topK图像，作为检索结果；

其中，topK为正整数。

按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质设备执行本发明提供的二阶相似感知的图像哈希码提取模型建立方法，和/或本发明提供的二阶相似感知的图像哈希码提取方法，和/或本发明提供的图像检索方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明在对自编码器进行训练的过程中，在损失函数中引入二阶接近度重构误差，使得自编码器在对图像特征进行编码的过程中，能够捕捉到两幅图像的特征与相同图像的特征关联相似的距离，即二阶相似性，从而修复了图像特征中存在的语义偏差，有效解决现有的哈希算法中存在的语义相关性衡量不准确的问题，提高了图像检索的准确性。

(2)本发明先利用自编码器对图像特征进行压缩，并转换为对应的二进制哈希码，作为伪标签来训练得到端到端的图像哈希码提取模型，避免了为新数据重建图像的开销，有效解决了现有的哈希算法计算开销大的问题，提高了图像检索的效率。

(3)本发明在图像检索过程中，通过图像哈希码间的距离来确定检索结果，所涉及的计算量小，能够进一步提高图像检索的效率；由于图像的哈希码具有唯一性，能够进一步提高图像检索的准确性。

附图说明

图1为本发明实施例提供的二阶相似感知的图像哈希码提取模型建立方法示意图；

图2为本发明实施例提供的哈希标签生成阶段示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

为了解决现有的面向大规模图像检索的哈希算法中所存在的检索准确率低、计算开销大的技术问题，本发明提供了一种二阶相似感知的图像哈希码提取模型建立方法及其应用，其整体思路在于：在单标签模型获得的特征下，通过二阶相似性修复一阶相似性无法捕捉的关系，再将这些关系映射到伪标签中，训练端到端的哈希模型，用于提取图像的哈希码。以下为实施例。

实施例1：

一种二阶相似感知的图像哈希码提取模型建立方法，如图1所示，包括：哈希标签生成阶段和哈希模型学习阶段；

如图1和图2所示，哈希标签生成阶段包括：

利用预训练模型提取图像数据集中各图像的特征；以特征为节点，以特征间的相似度为对应节点间边的权重，建立图模型，并构建图模型的邻接矩阵；

建立同时包含一阶接近度损失和二阶接近度重构误差的损失函数；以邻接矩阵中的每一行为自编码器的输入，对自编码器进行训练，直至损失函数收敛；

在损失函数收敛时，提取自编码器中位于正中间的隐藏层的输出，并转换为二进制哈希码，作为对应图像的哈希标签，从而得到图像数据集中各图像对应的哈希标签；

哈希模型学习阶段包括：

对图像数据集进行抽样，由抽样得到的图像及其对应的哈希标签构成训练集；

利用训练集对神经网络进行训练，从而在训练结束后，得到图像哈希码提取模型。

作为一种可选的实施方式，如图1所示，本实施例的哈希标签生成阶段中，用于提取图像特征的预训练模型为GoogLeNet，应当说明的是，此处仅为本发明的一种可选的实施方式，在本发明其他的一些实施例中，也可采用ResNet等其他图像特征提取模型；

本实施例中，所提取的特征为z(z为正整数)维空间特征向量，所提取的特征总数为N，相应地，在哈希标签生成阶段中，所建立的图模型表示为g＝(FV,sε)，其中，FV＝{v

本实施例所建立的图g的邻接矩阵由N个元素组成，表示为U＝{u

作为一种可选的实施方式，本实施例中，自编码器具体为SAE(StackedAutoencoder)模型，如图1所示，其中位于正中间的隐藏层为f

其中，m表示隐藏层的层数，

如图2所示，本实施例中，哈希标签生成阶段中，所建立的损失函数为：

L＝αL

其中，L

L

为L

α、β、γ均为超参数，且α+β+γ＝1；

在上述表达式中，||·||

在本实施例中，哈希标签生成阶段中，将自编码器中位于正中间的隐藏层f

其中，

如图1所示，本实施例中，所建立的图像哈希码提取模型为神经网络模型，包括级联的多个卷积层和多个全连接层，每一层的输出分别表示为

其中，x表示输入的图像，q表示层数，

本实施例中，图像哈希码提取模型中的输出层用于将前一层的输出

其中，

本实施例中，在图像哈希码提取模型的最后一层，使用

本实施例在对自编码器进行训练的过程中，在损失函数中引入二阶接近度重构误差，使得自编码器在对图像特征进行编码的过程中，能够捕捉到两幅图像的特征与相同图像的特征关联相似的距离，即二阶相似性，从而修复了图像特征中存在的语义偏差，有效解决现有的哈希算法中存在的语义相关性衡量不准确的问题，提高了图像检索的准确性；

本实施例先利用自编码器对图像特征进行压缩，并转换为对应的二进制哈希码，作为伪标签来训练得到端到端的图像哈希码提取模型，避免了为新数据重建图像的开销，有效解决了现有的哈希算法计算开销大的问题，提高了图像检索的效率。

总体而言，本实施例在图嵌入算法(Graph embedding，GE)理论基础上，经图嵌入算法处理后的数据，可以通过生成的伪标签来衡量语义相关性，并避免过拟合的问题；在保留图嵌入算法优点的同时，考虑了二阶相似性，能够更加准确地衡量数据间语义相关性，使得多对象图像分类更加准确，同时通过训练哈希模型最大程度的减少资源开销。

实施例2：

一种二阶相似感知的图像哈希码提取方法，包括：将待处理图像输入由上述实施例1提供的二阶相似感知的图像哈希码提取模型建立方法建立的图像哈希码提取模型，以提取待处理图像的哈希码。

本实施例利用上述实施例1建立得到的图像哈希码提取模型，所提取的哈希码中包含了图像中的对象信息以及对象之间的关联关系，由此能够捕捉到两幅图像的特征与相同图像的特征关联相似的距离，即二阶相似性，修复了预训练模型的语义偏差，实现准确衡量语义相关性的目的。

通过对多组数据集的测试表明，本实施例提供的二阶相似性的图想哈希码提取方法(简称为DSTGeH)不仅可以在单对象数据集上产生良好的结果，而且在多对象数据集上产生非常优异的结果，这是因为多目标图像具有更丰富的语义信息和彼此之间的复杂关系。由此可见，DSTGeH可以捕获并建立图像之间更合理的语义关系从而准确地表达这种复杂的拓扑结构，达到在多对象数据集上的由于其他模型的更优效果。

实施例3：

一种图像检索方法，包括：

图像哈希码库建立步骤：利用上述实施例2提供的二阶相似感知的图像哈希码提取方法，提取图像库中各图像的哈希码并存储，以建立用于图像检索的图像哈希码库；

检索步骤：对于待检索的目标图像，利用上述实施例2提供的二阶相似感知的图像哈希码提取方法提取其哈希码，并获取图像哈希码库中与目标图像的哈希码距离最近的前topK图像，作为检索结果；

其中，topK为正整数。

实施例4：

一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质设备执行上述实施例1提供的二阶相似感知的图像哈希码提取模型建立方法，和/或上述实施例2提供的二阶相似感知的图像哈希码提取方法，和/或上述实施例3提供的图像检索方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。