一种基于无监督域自适应哈希的图像检索方法

技术领域

本发明涉及图像检索技术领域，具体涉及一种基于无监督域自适应哈希的图像检索方法。

背景技术

随着互联网技术的发展，图像数据呈现爆炸式增长的趋势，基于文本的图像搜索已经不能满足用户的需求。如何对现有的图像进行快速且相似的检索已经成为大规模检索的基本要求。图像通常由大量的像素组成，每张图像可以用一个高维的特征向量表示。传统的基于特征向量的图像检索方法在高维特征空间中进行计算时面临着维数灾难和计算复杂度高的问题。哈希图像检索技术的目标是将高维特征转换成紧凑的二值哈希码，通过比较哈希码之间的相似性，从而在大规模图像数据集中实现高效的图像检索。

哈希方法大致可以分为两类，即数据无关方法和数据依赖方法。在数据无关的哈希方法中，模型中的哈希函数通常随机生成，且独立于任何训练数据，但检索性能的提高需要用哈希码的长度换取。数据依赖哈希方法也称为基于学习的哈希方法。与数据无关方法相比，基于学习的哈希方法可以用更短的哈希码实现更高的准确性。因此在实际应用中基于学习的哈希方法比数据无关方法更流行。

现有的哈希方法根据是否使用标签信息可以分为监督哈希方法和无监督哈希方法。与无监督哈希方法相比，监督哈希方法利用标签信息进行训练，取得了更好的检索性能。监督哈希方法非常依赖带有标记信息的数据集，然而，在现实生活中有很多大规模无标记的数据集，如果对其进行标记既昂贵又费时，甚至是不可能的。无监督哈希方法不使用数据集标记信息，相比于监督哈希方法，更适用于解决大规模无标记数据集的检索问题。

在传统的机器学习中，通常假设训练数据和测试数据具有相同的分布。然而，在现实世界中，由于各种因素的影响，训练数据和测试数据往往存在一定的差异，即属于不同的“域”。这种差异可能来自于数据采集环境、数据收集时间等方面的差异。为了提高模型的鲁棒性，减缓训练和测试数据之间分布变化的影响，提出了域自适应方法。域自适应的目标是在不同的域之间实现模型的迁移。也就是说，通过利用源域（Source Domain）上已经标注的数据，来改善在目标域（Target Domain）上的泛化能力，即在目标域上提高模型的性能。

域自适应方法的核心任务是解决源域和目标域之间的“域差异”问题。这些差异可能包括特征分布的偏移、类别分布的变化等。通过建立有效的域自适应算法，可以通过充分利用源域的知识来减小域差异，从而实现模型在目标域上的良好泛化能力。

经过分析发现，现有的无监督域自适应哈希方法过于依赖一般的域自适应范式，导致域自适应和哈希学习之间缺乏有效的集成。这些方法要么利用对抗学习来混淆领域判别器，要么通过特征变化最小化领域差异，从而生成域不变的特征表示。在过去两年中，方法的重点已经转向为目标域生成可靠的伪标签，并在汉明空间中执行域对齐。然而，在汉明空间中进行域对齐可能会导致原始样本中嵌入的丰富语义信息丢失，导致域对齐效率低，影响域自适应哈希的最终检索性能。

发明内容

本发明为了克服以上技术的不足，提供了一种提高了图像的检索性能，同时减少了检索的时间、空间消耗的基于无监督域自适应哈希的图像检索方法。

本发明克服其技术问题所采用的技术方案是：

一种基于无监督域自适应哈希的图像检索方法，包括如下步骤：

(a)获取源域数据集

(b)将目标域数据集

(c)构建深度域自适应哈希模型，将源域数据集

(d)根据松弛哈希码

(e)根据第

(f)根据源域数据的松弛哈希码集合及目标域训练集数据的松弛哈希码集合构建关系保持损失

(g)根据源域数据的松弛哈希码集合、目标域训练集数据的松弛哈希码集合、源域数据的二值哈希码集及目标域训练集数据的二值哈希码集构建哈希码的量化损失

(h)根据原型对比损失

(i)使用Adam优化器利用总损失

(j)将测试集

进一步的，步骤(a)包括如下步骤：

(a-1)在域自适应算法数据集Office-Home的Artistic images (A)域或Clip Art(C)域或Product images (P) 域或and Real-World images (R) 域中任意选取两个域分别作为源域和目标域；

(a-2)将源域中第

(a-3)将目标域中第

进一步的，步骤(b)中将目标域数据集

进一步的，步骤(c)包括如下步骤：

(c-1)深度域自适应哈希模型由多层感知机、哈希编码器构成；

(c-2)深度域自适应哈希模型的多层感知机依次由线性层、批归一化层、ReLU激活函数构成，将源域数据集

(c-3)深度域自适应哈希模型的哈希编码器依次由第一线性层、批归一化层、ReLU激活函数、第二线性层、Tanh激活函数构成，将特征表示

进一步的，步骤(d)包括如下步骤：

(d-1)通过公式

(d-2)通过公式

进一步的，步骤(e)包括如下步骤：

(e-1)通过公式

(e-2)通过公式

(e-3)通过公式

(e-4)通过公式

进一步的，步骤(f)包括如下步骤：

(f-1)将第

(f-2)通过公式

(f-3)通过公式

(f-4)通过公式

进一步的，步骤(g)包括如下步骤：

(g-1)通过公式

进一步的，步骤(h)包括如下步骤：

(h-1)通过公式

进一步的，步骤(j)包括如下步骤：

(j-1)将测试集

(j-2)通过公式

(j-3)通过公式

(j-4)计算二值哈希码

本发明的有益效果是：本发明提出了一种简单、有效的基于无监督域自适应哈希的图像检索方法和系统。本发明在图像检索任务上表现优异，并在已有的无监督域自适应哈希方法的基础上进行了创新，为了缩小源域和目标域的域差异，提出了类别级的原型对比学习，可以更好地指导哈希学习。本发明在一个简洁的框架内成功的整合了域自适应和哈希学习，从而在无监督域自适应哈希环境下显著提高了检索性能。在技术上，通过在域共享空间中进行原型对比学习，再在源域和目标域的语义关系保持和哈希码的量化约束的限制下映射到汉明空间。本发明提高了图像的检索性能，同时减少了检索的时间、空间消耗。

附图说明

图1为本发明的方法流程图；

图2为本发明的基于无监督域自适应哈希的图像检索的整体网络结构图。

具体实施方式

下面结合附图1、附图2对本发明做进一步说明。

如附图1和附图2所示，一种基于无监督域自适应哈希的图像检索方法，包括如下步骤：

(a)获取源域数据集

(b)将目标域数据集

(c)构建深度域自适应哈希模型，将源域数据集

(d)根据松弛哈希码

(e)根据第

(f)根据源域数据的松弛哈希码集合及目标域训练集数据的松弛哈希码集合构建关系保持损失

(g)根据源域数据的松弛哈希码集合、目标域训练集数据的松弛哈希码集合、源域数据的二值哈希码集及目标域训练集数据的二值哈希码集构建哈希码的量化损失

(h)根据原型对比损失

(i)使用Adam优化器利用总损失

(j)将测试集

将无监督域自适应和哈希学习整合到一个深度模型框架中，通过利用类别级的原型对比学习，在一个共享的特征表示空间中拉近了源域和目标域的分布差距，保留了源域和目标域之间的相似语义特征，获取了跨两个域的统一特征表示。在哈希学习过程中，通过使用源标签直接指导哈希学习过程，并强制约束两个域中在共享特征表示空间中的相似特征生成相应的哈希码，将源域知识转移到目标域进行学习。通过利用双域信息来监督整个哈希模型训练过程，可以生成在两个域中保留样本间相似性关系的哈希码。主要目标是提高无监督域自适应哈希的图像检索性能，包括跨域和单域检索任务。

在本发明的一个实施例中，步骤(a)包括如下步骤：

(a-1)在域自适应算法数据集Office-Home的Artistic images (A)域或Clip Art(C)域或Product images (P) 域或and Real-World images (R) 域中任意选取两个域分别作为源域和目标域。

(a-2)将源域中第

(a-3)将目标域中第

在本发明的一个实施例中，优选的，步骤(b)中将目标域数据集

在本发明的一个实施例中，步骤(c)包括如下步骤：

(c-1)深度域自适应哈希模型由多层感知机、哈希编码器构成。

(c-2)深度域自适应哈希模型的多层感知机依次由线性层、批归一化层、ReLU激活函数构成，将源域数据集

(c-3)深度域自适应哈希模型的哈希编码器依次由第一线性层、批归一化层、ReLU激活函数、第二线性层、Tanh激活函数构成，将特征表示

在本发明的一个实施例中，步骤(d)包括如下步骤：

(d-1)通过公式

(d-2)通过公式

在本发明的一个实施例中，步骤(e)包括如下步骤：

(e-1)通过公式

(e-2)由于目标域数据不带有标签，为了进行原型对比学习，需要对目标域的数据求解伪标签。在获得了源域数据的原型码后，采用了在共享特征表示空间中最接近源原型的方法来获取目标域样本的伪标签

(e-3)通过公式

(e-4)通过公式

在本发明的一个实施例中，步骤(f)包括如下步骤：

(f-1)将第

(f-2)通过公式

(f-3)强制约束两个域的域共享表示空间中的相似特征必须生成相应的哈希码。对源域数据的特征和目标域数据的特征进行归一化操作，使用矩阵乘法得到源特征和目标特征之间的相似度；对源域样本松弛哈希码和目标域样本松弛哈希码进行归一化操作，使用矩阵乘法得到源域数据松弛哈希码和目标域数据松弛哈希码之间的相似度。具体的，通过公式

(f-4)通过公式

在本发明的一个实施例中，步骤(g)包括如下步骤：

(g-1)通过公式

在本发明的一个实施例中，步骤(h)包括如下步骤：

(h-1)通过公式

在本发明的一个实施例中，步骤(j)包括如下步骤：

(j-1)将测试集

(j-2)通过公式

(j-3)通过公式

(j-4)计算二值哈希码

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。