图像检索方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像检索方法、装置、电子设备及存储介质。

背景技术

当前，用户可以利用自己拍摄的海报图像直接进行影视剧的检索。具体而言，将拍摄的海报图像作为待检索图像，从包含有各影视剧的图像的数据库中，查询与待检索图像相匹配的图像，得到图像检索结果；进而，将图像检索结果所属的影视剧，作为影视剧的查询结果。

相关技术中，在图像检索时，提取海报图像的全局特征，利用提取到的全局特征进行检索，从而得到图像检索结果。

然而，在用户拍摄的海报图像只有部分海报内容或海报内容占整体照片比例较少的情况下，全局特征所表征的有效信息量不足，这样使得相关技术的图像检索的准确率较低。

可见，如何提高图像检索的准确率，是亟待解决的问题。

发明内容

本发明实施例的目的在于提供一种图像检索方法、装置、电子设备及存储介质，以提高图像检索的准确率。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种图像检索方法，所述方法包括：

对所述目标图像进行局部特征提取，得到所述目标图像的多个目标局部特征；

针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征；

基于各个指定局部特征，从所述数据库所包括图像中，筛选各张候选图像；其中，每一候选图像为包含有所述指定局部特征的图像；

从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果。针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征，包括：

针对每一目标局部特征，基于预定的检索方式，从数据库所包括图像的各局部特征中，检索与该目标局部特征相似度最高的第一数量个指定局部特征；其中，所述检索方式为基于各局部特征的特征向量与该目标局部特征的特征向量之间的距离，进行检索的方式。

可选地，所述基于各个指定局部特征，从所述数据库所包括图像中，筛选各张候选图像，包括：

从所述数据库所包括图像中，确定包含有所述指定局部特征的各张图像；

从所确定的各张图像中，选取所对应目标数量排位靠前的第二数量个图像，得到各张候选图像；其中，任一图像对应的目标数量为该图像包含有所述指定局部特征的数量。

可选地，从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果之前，所述方法还包括：

获取所述目标图像的描述信息，以及各张候选图像的描述信息；

从各张候选图像中，剔除描述信息与所述目标图像的描述信息不匹配的候选图像。

可选地，对所述目标图像进行局部特征提取，得到所述目标图像的多个目标局部特征，包括：

对所述目标图像进行网格划分，得到多个网格区域；

依次从每个网格区域提取目标局部特征，直至所提取的目标局部特征的数量达到预定数量。

可选地，所述从各张候选图像中，确定与所述目标图像相匹配的局部特征最多的候选图像，作为图像检索结果，包括：

针对每一候选图像，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对，确定剩余的匹配特征对的数量，作为该候选图像所包含指定局部特征的目标数量；其中，每一匹配特征对包括：该候选图像所包含的所述指定局部特征以及相匹配的目标局部特征；

确定所对应的目标数量最大的候选图像，作为图像检索结果。

可选地，所述针对每一候选图像，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对，包括：

针对每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对；

其中，所述预定的精去误方式为：先采用指定去误方式再采用随机采样一致性RANSAC方式进行去误的方式，所述指定去误方式为除RANSAC方式以外的匹配对去误方式。

可选地，所述针对每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对之前，还包括：

针对每一候选图像，基于预定的粗去误方式，从该候选图像对应的匹配特征对中，剔除属于匹配错误的匹配特征对；其中，所述预定的粗去误方式为：RANSAC方式；

按照剩余的匹配特征对的数量，对各张候选图像进行排序；

选取排序靠前的第三数量个候选图像；

所述针对每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对，包括：

针对排序靠前的第三数量个候选图像中的每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对。

可选地，在所述针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征之前，所述方法还包括：

提取所述数据库中所包括图像的各局部特征；

对所述各局部特征进行乘积量化倒排IVF PQ处理，得到所述数据库中所包括图像的各局部特征的特征索引；

所述针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征，包括：

针对每一目标局部特征，根据所述特征索引，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征。

在本发明实施的第二方面，还提供了一种图像检索装置，所述装置包括：

第一获取模块，用于获取待进行图像检索的目标图像；

提取模块，用于对所述目标图像进行局部特征提取，得到所述目标图像的多个目标局部特征；

选取模块，用于针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征；

筛选模块，用于基于各个指定局部特征，从所述数据库所包括图像中，筛选各张候选图像；其中，每一候选图像为包含有所述指定局部特征的图像；

确定模块，用于从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果。

在本发明实施的又一方面，还提供了一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述图像检索方法。

在本发明实施的又一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行上述图像检索方法。

在本发明实施的又一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述图像检索方法。

本发明实施例提供的图像检索方法，先对获取的目标图像进行局部特征提取，得到该目标图像的多个目标局部特征；针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征；基于各个指定局部特征，从数据库所包括图像中，筛选各张候选图像；其中，每一候选图像为包含有所述指定局部特征的图像；再从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果。可见，本方案中，提取了目标图像的多个目标局部特征，针对每一目标局部特征，筛选匹配的候选图像，再确定与目标局部特征相匹配的指定局部特征最多的候选图像。因此，本方案检索图像时，能够兼顾目标图像各个区域的特征，提升检索图像时所利用的特征的有效信息量，从而可以提高图像检索的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所提供的图像检索方法的流程图；

图2为本发明实施例所提供的图像检索方法的另一流程图；

图3为本发明实施例所提供的创建索引的流程图；

图4为本发明实施例所提供的图像检索方法的又一流程图；

图5是本发明实施例所提供的图像检索装置的结构图；

图6是本公开实施例所提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

相关技术中，对于目标图像的检索，可以通过深度学习的方式，提取目标图片的全局特征，比较目标图像与数据库所包括图像的全局特征的相似度，得到相似度达到阈值的图像，作为目标图像的检索结果。

而用户利用自己拍摄的海报图像直接进行检索时，受限于现实场景中拍摄角度、光线、设备等因素，使得采集到的图像中海报内容有部分区域模糊、或者因为被遮挡、损坏等原因没有被采集到，提高了海报检索的难度。相关技术在这种图像中有效信息占比不高的情况下，仅仅使用深度学习提取图片的全局特征进行图像检索的准确率较低。

为了解决上述问题，提高图像检索的准确率，本发明提供了一种图像检索方法、装置和电子设备。

下面首先对本发明实施例所提供的一种图像检索方法进行介绍。

其中，本发明实施例所提供的图像检索方法，应用于电子设备中。在实际应用中，该电子设备可以为服务器或终端设备，这都是合理的。

本发明提供的一种图像检索方法，可以包括以下步骤：

获取待进行图像检索的目标图像；

对所述目标图像进行局部特征提取，得到所述目标图像的多个目标局部特征；

针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征；

基于各个指定局部特征，从所述数据库所包括图像中，筛选各张候选图像；其中，每一候选图像为包含有所述指定局部特征的图像；

从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果。

本实施例中，先对获取的目标图像进行局部特征提取，得到该目标图像的多个目标局部特征；针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征；基于各个指定局部特征，从数据库所包括图像中，筛选各张候选图像；其中，每一候选图像为包含有所述指定局部特征的图像；再从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果。可见，本方案中，提取了目标图像的多个目标局部特征，针对每一目标局部特征，筛选匹配的候选图像，再确定与目标局部特征相匹配的指定局部特征最多的候选图像。因此，通过本方案，能够兼顾目标图像各个区域的特征，提升检索图像时所利用的特征的有效信息量，从而可以提高图像检索的准确率。

下面结合附图对本发明实施例所提供的一种图像检索方法进行介绍。

如图1所示，本发明实施例所提供的图像检索方法包括以下步骤：

S101，获取待进行图像检索的目标图像；

其中，目标图像可以是任一存在检索需求的图像。示例性的，针对影视剧检索领域而言，目标图像可以为海报图像，即包含有影视剧的海报内容的图像，其中，目标图像中可以包含部分或全部的海报内容；或者，针对车辆检索领域而言，目标图像可以为包含车辆信息的图像，等等。本发明可以应用于利用图像检索所需信息的任意场景中，例如，利用海报图像检索影视剧的场景，等。

可以理解的是，获取待识别图像的方式可以存在多种。示例性的，在一种实现方式中，获取目标图像可以包括：获取图像采集设备上传的目标图像。此时，目标图像是由图像采集设备所采集到的图像，其中，图像采集设备包括，相机、带有拍照功能的手机等。并且，图像采集设备采集到目标图像后，可以即刻上传至该电子设备，当然，也可以定时上传至该电子设备，这都是合理的。

示例性的，在另一种实现方式中，目标图像可以包括：获取该电子设备自身的图像采集模块所采集的图像，作为目标图像。

示例性的，在另一种实现方式中，获取待识别图像可以包括：获取用户通过指定的图像上传界面所上传的图像，作为目标图像。

需要强调的是，上述的获取目标图像的实现方式，仅仅作为实例，并不应该构成对本公开实施例的限定。

S102，对所述目标图像进行局部特征提取，得到所述目标图像的多个目标局部特征；

在获取到目标图像后，考虑到目标图像所涉及对象的对象内容可能占整张图像的比例较少，或者，对象内容未全部体现在目标图像中，因此，为了提升检索准确度，对目标图像进行局部特征提取，得到多个目标局部特征，从而兼顾目标图像各个区域的特征，提升检索图像时所利用的特征的有效信息量。其中，局部特征是从图像局部区域中抽取的特征，包括边缘、角点、线、曲线和特别属性的区域等。示例性的，对所述目标图像进行局部特征提取所利用的方式可以包括但不局限于：SIFT(Scale-invariant Feature Transform，尺度不变特征变换)算法、SURF(Speeded Up Robust Features，快速鲁棒性特征)等。

本方案中，对目标图像进行局部特征提取，得到目标局部特征的数量根可以根据具体情况来设置。

可以理解的是，图片局部特征的提取，可以是获取按显著度排序后，显著度最高的多个局部特征，作为目标局部特征。其中，显著度指局部特征的区域与周围区域的区分度，例如，使用SIFT算法提取局部特征时，显著度可以是局部特征的区域对于视角变化、仿射变换或噪声的稳定性。

在利用显著度排序方式提取多个局部特征时，可能导致所提取的局部特征集中在某个区域中，导致其他区域的局部特征较少，进而影响搜索召回。例如，用户拍摄了一张部分区域包含海报的照片，而该照片中显著度高的局部特征恰好集中在非海报区域，可见，这种情况下提取的局部特征的有效信息不足，难以获得准确的检索结果。为了解决这个问题，应当避免对局部特征集中提取，而是让提取的局部特征均匀地来自于各个区域，控制各个区域在整张图像中局部特征的占比，从而保证获取足够的有效区域的局部特征。在一种实现方式中，对所述目标图像进行局部特征提取，得到所述目标图像的多个目标局部特征，可以包括：

对所述目标图像进行网格划分，得到多个网格区域；

依次从每个网格区域提取目标局部特征，直至所提取的目标局部特征的数量达到预定数量。

即，将目标图像划分为多个网格区域，示例性的，将目标图像划分为A*B个网格，并使得提取的局部特征均匀地来自于不同网格中。例如，按照从左到右，从上到下的方式，每次只提取一个局部特征，循环从各个网格中提取，直到所提取的目标局部特征的数量达到预定数量；或者，整个目标图像中的所有局部特征数量小于预定数量，则提取所有网格中的全部局部特征。这样就能够防止提取的局部特征集中来源于一个区域，而导致的有效信息不足。

S103，针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征；

为了方便描述以及引用，将数据库所包括的图像命名为：参考图像。

本实施例中，可以先对参考图像进行局部特征的提取，并将参考图像的局部特征存储在数据库中。这样，可以通过识别目标局部特征与参考图像的局部特征的相似性，得到与该目标局部特征相匹配的指定局部特征。可以理解的是，参考图像局部特征的提取也可以通过上述局部特征提取的方法，使局部特征均匀地来自于各个区域，并且与目标局部特征的表征方法保持一致，如，都使用SIFT算法。

并且，针对每一目标局部特征，将该目标局部特征，与数据库所包括的图像的全部局部特征进行比对，根据比对结果，选取与该目标局部特征相匹配的指定局部特征。其中，指定局部特征的数量可以为一个或多个，在指定局部特征为多个时，多个指定局部特征可以分布于不同的参考图像。并且，所谓的与该目标局部特征相匹配的指定局部特征可以包括：数据库所包括图像的各局部特征中，与该目标局部特征的相似度不低于预定阈值的局部特征；或者，数据库所包括图像的各局部特征中，相似度排位靠前的第一数量个局部特征。在一种实现方式中，特征的相似度可以通过比较欧氏距离的方式得到。

示例性的，针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征，包括：

针对每一目标局部特征，基于预定的检索方式，从数据库所包括图像的各局部特征中，检索与该目标局部特征相似度最高的第一数量个指定局部特征；其中，所述检索方式为基于各局部特征的特征向量与该目标局部特征的特征向量之间的距离，进行检索的方式。

即，通过向量的形式表征局部特征，提取参考图像与目标图像的局部特征，再针对每一目标局部特征，从参考图像的局部特征中，按照一定地度量方式，如，计算各局部特征的特征向量与该目标局部特征的特征向量之间的欧式距离，余弦距离等方式，得到各局部特征的特征向量与该目标局部特征的特征向量之间的距离，距离越小则认为相似度越高；找到相似度最高的第一数量个局部特征，作为指定局部特征。为了提高图像检索的速度，这里针对每一目标局部特征，可以只选取最邻近的第一数量个指定局部特征。

S104，基于各个指定局部特征，从所述数据库所包括图像中，筛选各张候选图像；其中，每一候选图像为包含有所述指定局部特征的图像；

即，根据与目标局部特征相匹配的指定局部特征，来筛选数据库中的参考图像，得到包含有指定局部特征的参考图像作为候选图像。其中，每一候选图像的局部特征中至少包含一个指定局部特征。

可选的，在一种实现方式中，基于各个指定局部特征，从所述数据库所包括图像中，筛选各张候选图像，可以包括：从数据库所包括图像中，选取包含有指定局部特征的图像，从而得到各张候选图像。

需要说明的是，所述基于各个指定局部特征，从所述数据库所包括图像中，筛选各张候选图像的其他具体实现方式，后续结合其他实施例进行介绍。

S105，从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果。

可以理解的，每一候选图像中存在至少一个与目标局部特征相匹配的指定局部特征，且两张图像越相似，相匹配的局部特征就越多。因此，本方案中，可以与目标图像相匹配的指定局部特征最多的那一张候选图像，作为图像检索的结果。

本实施例中，先对获取的目标图像进行局部特征提取，得到该目标图像的多个目标局部特征；针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征；基于各个指定局部特征，从数据库所包括图像中，筛选各张候选图像；其中，每一候选图像为包含有所述指定局部特征的图像；再从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果。可见，本方案中，提取了目标图像的多个目标局部特征，针对每一目标局部特征，筛选匹配的候选图像，再确定与目标局部特征相匹配的指定局部特征最多的候选图像。因此，通过本方案，能够兼顾目标图像各个区域的特征，提升检索图像时所利用的特征的有效信息量，从而可以提高图像检索的准确率。

可选地，在上述的S101-S105的基础上，在本发明的另一实施例中，该方法还可以包括步骤A1-A2：

步骤A1，获取所述目标图像的描述信息，以及各张候选图像的描述信息；

其中，描述信息是与图像相关的信息，如，图像中的文字信息，图像中人物的姓名等。参考图像的描述信息可以预先存储在数据库中，在检索时调出即可。目标图像的描述信息可以由用户在检索目标图像的同时，通过在指定界面中用输入法输入的方式，进行上传。

步骤A2，从各张候选图像中，剔除描述信息与所述目标图像的描述信息不匹配的候选图像。

由于描述信息不一致，可以直接认为该候选图像与目标图像不匹配，将不匹配的候选图像剔除。例如，目标图像是用户所拍摄的海报照片，用户上传了待检索的目标图像，同时输入了该张海报中出现的明星的姓名，那么就可以在获取各张候选图像后，将候选图像中明星姓名不匹配的图像剔除。

本实施例中，在检索图像时，能够兼顾目标图像各个区域的特征，提升检索图像时所利用的特征的有效信息量，从而可以提高图像检索的准确率；并且，通过剔除描述信息与所述目标图像的描述信息不匹配的候选图像，可以进一步提高图像检索的准确率。

可选地，在本发明的另一实施例中，上述步骤S104，基于各个指定局部特征，从所述数据库所包括图像中，筛选各张候选图像，可以包括步骤B1-B2：

步骤B1，从所述数据库所包括图像中，确定包含有所述指定局部特征的各张图像；

即，确定包含有指定局部特征的全部参考图像。

步骤B2，从所确定的各张图像中，选取所对应目标数量排位靠前的第二数量个图像，得到各张候选图像；其中，任一图像对应的目标数量为该图像包含有所述指定局部特征的数量。

其中，所确定的每一参考图像中都可能包含多个指定局部特征，在这里，选取所对应目标数量排位靠前的第二数量个图像，得到各张候选图像。需要说明的是，选取第二数量个图像作为候选图像的步骤，可以用在步骤A2之前，在选取了第二数量个候选图像后，再剔除描述信息与所述目标图像的描述信息不匹配的候选图像。

本实施例中，选取包含有指定局部特征数量排位靠前的第二数量个图像，作为候选图像，可以减少计算资源及存储资源的占用，提高检索速度。

可选地，在本发明的另一实施例中，上述步骤S105，从各张候选图像中，确定与所述目标图像相匹配的局部特征最多的候选图像，作为图像检索结果，可以包括步骤C1-C2：

步骤C1，针对每一候选图像，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对，确定剩余的匹配特征对的数量，作为该候选图像所包含指定局部特征的目标数量；其中，每一匹配特征对包括：该候选图像所包含的所述指定局部特征以及相匹配的目标局部特征；

本实施例中，将候选图像所包含的指定局部特征以及相匹配的目标局部特征作为一个匹配特征对。对于局部特征的匹配，往往会出现匹配错误的情况，因此，可以对匹配特征对做去误处理。其中，针对每一候选图像，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对的具体实现方式存在多种。

示例性的，在一种实现方式中，针对每一候选图像，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对，可以包括：

针对每一候选图像，随机采样一致性RANSAC方式进行去误的方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对。

其中，RANSAC方式是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的方式，从而去除异常数据，即本实施例中的匹配错误的匹配特征对。

示例性的，在另一种实现方式中，所述针对每一候选图像，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对，可以包括：

针对每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对；

其中，所述预定的精去误方式为：先采用指定去误方式再采用随机采样一致性RANSAC方式进行去误的方式，所述指定去误方式为除RANSAC方式以外的匹配对去误方式。

即，通过指定去误方式结合RANSAC(Random Sample Consensus，随机采样一致性)方式，针对每一候选图像做精去误的处理。其中，关于RANSAC的方式参见上述介绍。

示例性的，在一种实现方式中，当局部特征的提取方法为SIFT时，局部特征用向量的形式表征，并通过比较欧氏距离是否达到阈值的方式，来选取与目标局部特征相匹配的指定局部特征，且若一数据库所包括图像中存在多个局部特征与一目标局部特征的欧式距离达到阈值，则只选取该图像中与该目标局部特征欧式距离最近的局部特征作为指定局部特征。此时，指定去误方式，可以包括：

针对目标图像中的任一目标局部特征，及包含该目标局部特征对应的指定局部特征的候选图像，找到该候选图像中与该目标局部特征欧氏距离最近，以及次近的局部特征，其中，最近的局部特征与该目标局部特征是匹配特征对；如果该最近的距离除以次近的距离得到的比例小于预定阈值(一般为0.8)，则将该局部特征所对应的匹配特征对视为正确的匹配特征对；否则，比例大于预定阈值，说明匹配的最近的局部特征与其他的局部特征过于接近，该目标局部特征与该距离最近的局部特征构成的匹配特征对，很可能是匹配错误的特征对，予以剔除。

以上精去误方法均为常用特征匹配的去误方法，在这里不再赘述。

在剔除属于匹配错误的匹配特征对后，再确定每一张候选图像对应的匹配特征对的数量，作为该候选图像所包含指定局部特征的目标数量。

步骤C2，确定所对应的目标数量最大的候选图像，作为图像检索结果。

即，剔除匹配错误的匹配特征对后，将各个候选图像中对应的匹配特征对的数量最多的那一候选图像，作为图像检索结果。

本实施例中，剔除匹配错误的匹配特征对；再确定剩余的匹配特征对的数量；最后确定所对应的目标数量最大的候选图像，作为图像检索结果。可以进一步提高图像检索的准确率。

可选地，在本发明的另一实施例中，上述步骤C1，针对每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对之前，还可以包括步骤D1-D3：

步骤D1，针对每一候选图像，基于预定的粗去误方式，从该候选图像对应的匹配特征对中，剔除属于匹配错误的匹配特征对；其中，所述预定的粗去误方式为：RANSAC方式；

步骤D2，按照剩余的匹配特征对的数量，对各张候选图像进行排序；

步骤D3，选取排序靠前的第三数量个候选图像；

考虑到上述精去误的方式需要占用大量计算资源，针对影视剧海报的检索，一部电影或电视剧会关联较多张海报，整体数据库中的参考图像能达到千万量级，因此需要在保证准确率的基础上提高搜索速度，以提供实时响应。

为了进一步提高检索的速度，可以先对每一候选图像，进行粗去误处理，预定的粗去误方式为：RANSAC方式。对粗去误后的候选图像，按照剩余的匹配特征对的数量，对各张候选图像进行排序，选取排序靠前的第三数量个候选图像，再进行精去误处理。

此时，所述针对每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对，包括：

针对排序靠前的第三数量个候选图像中的每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对。

本实施例中，先对每一候选图像，基于预定的粗去误方式，选取剩余匹配特征对最多的第三数量个候选图像，再基于预定的精去误方式，从这第三数量个候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对。可见，通过双层去误的方式，可以进一步提高图像检索的速度。

可选地，在另一实施例中，如图2所示，在步骤S103，针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征之前，所述方法还可以包括步骤S201-S202：

步骤S201，提取数据库中所包括图像的各局部特征；

数据库中所包括图像的局部特征的提取，可以与上文中目标图像的局部特征的提取方法一样。

步骤S202，对所述各局部特征进行乘积量化倒排IVF PQ处理，得到所述数据库中所包括图像的各局部特征的特征索引；

其中，量化倒排处理IVF PQ(Inverted File System Product Quantizer)是创建ANN(Approximate Nearest Neighbor，近似最近邻搜索)索引的常用方法，应用到本发明实施例中，处理思路是，用向量表征参考图像的个局部特征，利用量化倒排的方法处理参考图像的各局部特征得到多个聚类，以及每一聚类下的子向量，处理后的多个聚类，以及每一聚类下的子向量即为特征索引。这样在针对目标局部特征进行检索时，就可以先确定与目标局部特征所匹配的聚类，再从聚类中的参考图像的各局部特征中确定与目标局部特征相匹配的指定局部特征，可以大大提高检索的效率。

所述针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征，包括：

针对每一目标局部特征，根据所述特征索引，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征。

针对每一目标局部特征，可以根据上文所述的特征索引，先确定与目标局部特征所匹配的聚类，再从聚类中的参考图像的局部特征中确定与目标局部特征相匹配的指定局部特征。

本实施例中，对数据库所包括图像的各局部特征进行乘积量化倒排处理，得到数据库所包括图像的特征索引，从而在选取与目标局部特征相匹配的指定局部特征时，能够根据该特征索引检索指定局部特征，从而提高检索效率。

为了方便理解本发明所提供的一种图像检索方法，结合图3-图4进行示例性介绍。

如图3所示，首先，获取数据库中新增的、以及存量参考图像，使用SIFT算法，即上述的SIFT方式，对参考图像进行局部特征的提取，其中，通过SIFT算法提取的局部特征能够对旋转、尺度缩放、亮度等噪音保持特征稳定。参考图像和目标图像的局部特征提取方式，都可以先将图像划分为A*B个网格，循环提取各个网格的局部特征，直至N个，或者所有网格的局部特征均被提取。

将提取的参考图像的局部特征进行IVF PQ(Inverted File System ProductQuantizer，乘积量化倒排)处理，创建ANN(Approximate Nearest Neighbor，近似最近邻搜索)索引，同时用SQL(Structured Query Language，结构化查询语言)或NoSQL(Not OnlySQL，非关系型数据库)数据库存储各个参考图像的描述信息。

当获取目标图像及该目标图像的描述信息后，如图4所示，先获取目标图像，然后，对目标图像做上述方式的局部特征提取，得到N个目标局部调整，通过ANN检索，获取每个目标局部特征最近邻的K个指定局部特征；再确定包含有指定局部特征的各张参考图像，选取包含指定局部特征数量排位靠前的X张参考图像，作为候选图像。

获取这X张候选图像的描述信息，剔除与目标图像描述信息不匹配的图像，即剔除描述信息不匹配图像；再对剩下的候选图像所包含的指定局部特征进行RANSAC粗去误，并根据包含剩余的指定局部特征的数量，对候选图像排序，选取包含剩余指定局部特征数量排位靠前的Y张候选图像，对这Y张候选图像进行RANSAC精去误，再次根据包含剩余的指定局部特征的数量，对候选图像排序，选取剩余指定局部特征数量最多的那一张候选图像，作为检索结果。

本实施例中，先均匀提取目标图像各个区域的局部特征得到目标局部特征，对各个目标局部特征进行ANN检索；再结合描述信息剔除不匹配的候选图像；并通过双层RANSAC去误处理，选取剩余指定局部特征数量最多的那一张候选图像，作为最终的检索结果。因此，通过本方案兼顾了目标图像各个区域的特征，提升检索图像时所利用的特征的有效信息量，提高了图像检索的召回率，并结合描述信息及RANSAC去误处理，提高了图像检索的准确率，同时，通过双层去误的方式，提高了图像检索的速度。

本发明实施例还提供了一种图像检索装置，如图5所示，该装置包括：

第一获取模块510，用于获取待进行图像检索的目标图像；

提取模块520，用于对所述目标图像进行局部特征提取，得到所述目标图像的多个目标局部特征；

选取模块530，用于针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征；

筛选模块540，用于基于各个指定局部特征，从所述数据库所包括图像中，筛选各张候选图像；其中，每一候选图像为包含有所述指定局部特征的图像；

确定模块550，用于从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果。

可选地，所述选取模块，具体用于：

针对每一目标局部特征，基于预定的检索方式，从数据库所包括图像的各局部特征中，检索与该目标局部特征相似度最高的第一数量个指定局部特征；其中，所述检索方式为基于各局部特征的特征向量与该目标局部特征的特征向量之间的距离，进行检索的方式。

可选地，所述筛选模块，包括：

第一确定子模块，用于从所述数据库所包括图像中，确定包含有所述指定局部特征的各张图像；

选取子模块，用于从所确定的各张图像中，选取所对应目标数量排位靠前的第二数量个图像，得到各张候选图像；其中，任一图像对应的目标数量为该图像包含有所述指定局部特征的数量。

可选地，所述装置还包括：

第二获取模块，用于在所述确定模块从各张候选图像中，确定与所述目标图像相匹配的指定局部特征最多的候选图像，作为图像检索结果之前，获取所述目标图像的描述信息，以及各张候选图像的描述信息；

剔除模块，用于从各张候选图像中，剔除描述信息与所述目标图像的描述信息不匹配的候选图像。

可选地，所述提取模块，包括：

划分子模块，用于对所述目标图像进行网格划分，得到多个网格区域；

提取子模块，用于依次从每个网格区域提取目标局部特征，直至所提取的目标局部特征的数量达到预定数量。

可选地，所述确定模块，包括：

剔除子模块，用于针对每一候选图像，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对，确定剩余的匹配特征对的数量，作为该候选图像所包含指定局部特征的目标数量；其中，每一匹配特征对包括：该候选图像所包含的所述指定局部特征以及相匹配的目标局部特征；

第二确定子模块，用于确定所对应的目标数量最大的候选图像，作为图像检索结果。

可选地，所述剔除子模块具体用于：

针对每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对；

其中，所述预定的精去误方式为：先采用指定去误方式再采用随机采样一致性RANSAC方式进行去误的方式，所述指定去误方式为除RANSAC方式以外的匹配对去误方式。

可选地，所述剔除子模块在针对每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对之前，还用于：

针对每一候选图像，基于预定的粗去误方式，从该候选图像对应的匹配特征对中，剔除属于匹配错误的匹配特征对；其中，所述预定的粗去误方式为：RANSAC方式；

按照剩余的匹配特征对的数量，对各张候选图像进行排序；

选取排序靠前的第三数量个候选图像；

所述针对每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对，包括：

针对排序靠前的第三数量个候选图像中的每一候选图像，基于预定的精去误方式，从该候选图像对应的各个匹配特征对中，剔除属于匹配错误的匹配特征对。

可选地，所述装置还包括：

第二提取模块，用于在所述选取模块针对每一目标局部特征，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征之前，提取所述数据库中所包括图像的各局部特征；

处理模块，用于对所述各局部特征进行乘积量化倒排IVF PQ处理，得到所述数据库中所包括图像的各局部特征的特征索引；

所述选取模块具体用于：

针对每一目标局部特征，根据所述特征索引，从数据库所包括图像的各局部特征中，选取与该目标局部特征相匹配的指定局部特征。

本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，

存储器603，用于存放计算机程序；

处理器601，用于执行存储器603上所存放的程序时，实现上述图像检索方法的步骤：

上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的图像检索方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像检索方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。