一种基于多层特征提取的相似图像检索匹配方法

技术领域

本发明涉及图像分析技术领域，特别是涉及一种基于多层特征提取的相似图像检索匹配方法。

背景技术

目前，相似图像检索匹配是计算机视觉领域中的一项基础且重要的技术，可以应用到工业生产中的许多方面。以车险定损为例，在车险定损环节中需要对事故现场进行多方面的图像拍摄并上传系统，对这些图像的真实性考量是一项重要且繁琐的工作，往往存在一些使用相似图像冒充真实图像进行连续索赔，进而骗取保险赔偿金的情况，造成保险公司的经济损失，为此，如何用一种准确且高效的手段对这些图像进行相似图像检索匹配以辅助排查，是一件关键和意义重大的任务。

相关技术中，虽然有基于传统的手工特征的图像特征提取与匹配技术、以及基于深度学习的特征提取与匹配技术，但它们都无法做到很强的鲁棒性，对于复杂多变的图像检索匹配准确率较低，且在检索匹配环节中，在大规模向量集中使用线性检索匹配往往要耗费大量时间，是应用场景中不可接受的。

发明内容

本发明的目的在于提供一种基于多层特征提取的相似图像检索匹配方法，以解决现有技术相似图像排查准确率低、速度慢的技术问题。

一种基于多层特征提取的相似图像检索匹配方法，包括：

S1，收集车辆事故相关图片数据构成基准图像集，并利用基准图像集生成相似图像集，通过基准图像集和相似图像集构建原始数据集；

S2，选取多种卷积神经网络，组合得到特征提取器，再基于原始数据集，利用迁移学习技术对特征提取器进行训练，得到训练后的特征提取器；

S3，利用训练后的特征提取器对已有图像库中的图像以及待检索图像分别进行特征提取，得到已有图像库特征集与待检索图像特征向量；

S4，利用KMeans聚类方法将已有图像库特征集划分为多个子特征向量集；

S5，计算待检索图像特征向量与各子特征向量集的中心的余弦相似度，并将其按降序进行排列，选定排序靠前的预设数量的余弦相似度所对应的目标子特征向量集；

S6，计算待检索图像特征向量与各个目标子特征向量集中的特征向量的余弦相似度，并将余弦相似度最大的特征向量对应的图像作为匹配结果输出；

步骤S4中，对于已有图像库特征集

其中，

将已有图像库特征集中的所有对象分配给其距离最近的聚类中心所对应的簇中，得到

其中，

然后再重新计算每一个对象到每一个簇的聚类中心的欧式距离，不断迭代，直到聚类中心的变化小于阈值时，聚类算法得到的多个簇即为已有图像库特征集划分的多个子特征向量集，各个簇所对应的聚类中心即为各子向量特征集中心。

根据本发明提供的基于多层特征提取的相似图像检索匹配方法，选取多种卷积神经网络，组合得到特征提取器，利用迁移学习技术对特征提取器进行训练，并利用KMeans聚类划分子空间的方法进行图像检索匹配的优化，本发明能够从不同层级充分提取图像特征，并且提升图像检索匹配的准确率和速度，从而在车险定损的相似图像检索匹配中提供有效帮助，减少重复图像连续索赔等车险欺诈情况的出现。

附图说明

图1为一实施例的基于多层特征提取的相似图像检索匹配方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，一种基于多层特征提取的相似图像检索匹配方法，包括步骤S1~S6：

S1，收集车辆事故相关图片数据构成基准图像集，并利用基准图像集生成相似图像集，通过基准图像集和相似图像集构建原始数据集。

其中，步骤S1具体包括：

收集车险场景下的若干现场图像作为基准图像集；

根据预先定义的独立变量和独立变量的变化分布范围，构建图像变换函数，并对基准图像进行变换，从而构建相似图像集，所述预先定义的独立变量包括裁剪、翻转、旋转、噪声、亮度变化、模糊；

通过基准图像集和相似图像集构建原始数据集。

本发明收集车险场景下的若干现场图像作为基准图像集，同时，本发明基于车险反欺诈领域中的相似图重复索赔问题，在这一特定场景中的图像往往是同一时间段内从不同角度不同距离下拍摄的同一主体的不同图片。这些图片主要涉及到视角变化和尺度变化，而且实际场景复杂多变，可能存在光照变化、噪声、遮挡等众多情况。考虑到基准图像集缺乏这方面变化，本发明通过实现多尺度变化的相似图像生成方法制作相似图像集。

在相似图像集生成过程中，根据具体任务和条件，明确六种变换方式，确定各种变换方式的变化范围，将变化参数作为一系列独立变量，包括裁剪、翻转、旋转、噪声、亮度变化、模糊等参数，具体表现为：裁剪为随机以短边正方形裁剪，翻转为水平翻转（即镜像翻转），旋转角度在[-45,-30,-15,15,30,45]列表中随机抽取，高斯噪声方差有[10,20,30,40]，亮度变化有[0.5,0.7,1.3,1.5]倍，模糊核在[1,2,3,4]中。根据预先定义的独立变量和独立变量的变化分布范围，构建图像变换函数，并对基准图像进行变换，根据上述六种方式分别从参数设定的取值范围内随机选取生成一组模拟图像作为基准图像的相似图像，构建相似图像集。最终，基准图像集与根据多种变换方法构成的相似图像集共同构成原始数据集。

S2，选取多种卷积神经网络，组合得到特征提取器，再基于原始数据集，利用迁移学习技术对特征提取器进行训练，得到训练后的特征提取器。

其中，步骤S2具体包括：

选取VGG16、DenseNet121和ResNet50三种卷积神经网络构成特征提取器。VGG16深度较深，采用小卷积核，感受野大，提取图片浅层粗粒度特征，在训练阶段，VGG16使用了交叉熵损失函数和随机梯度下降（SGD）优化算法进行模型训练；DenseNet121密集连接、提高特征重用的效率，降低过拟合，提取图片深层纹理与边缘细粒度特征，由4个密集块(DenseBlock)和3个过渡层(Transition Layer)组成。每个密集块中包含多个卷积层，其中的残差连接使得每个密集块中的卷积层可以直接接收到之前所有层的输入，同时结构简单，易于训练。同时，在每个密集块内部还使用了批量归一化(Batch Normalization)和ReLU激活函数，进一步增强了模型的非线性特性和鲁棒性。ResNet50具有较深的网络结构以及残差结构，能更有效地提取图像深层特征。

采用VGG16、DenseNet121和ResNet50三种卷积神经网络在ImageNet数据集上训练的预训练模型作为迁移学习的基础，然后三个预训练模型均在原始数据集上进行训练，其中，使用基准图像集作为验证集，相似图像集作为训练集，优化特征提取器的模型参数，从而得到训练后的特征提取器，使其适应车险特定场景。经过训练得到的特征提取器能够从各层次充分表征原始图像，实现多模型特征融合。

S3，利用训练后的特征提取器对已有图像库中的图像以及待检索图像分别进行特征提取，得到已有图像库特征集与待检索图像特征向量。

本发明针对车险反欺诈领域中的相似图重复索赔问题，目标为从已有图像库中选取与待检索图像最相似的一张图像。在本发明中，一张图像的特征提取过程包括：利用训练得到的特征提取器从一张图像（已有图像库中的图像或待检索图像）中提取512维、1024维、2048维的子特征向量，三个子特征向量经归一化后依次拼接，最终得到该张图像对应的特征向量。

步骤S3中，归一化处理的方法选取L2范数归一化方法，该方法将原始向量除以它的二阶范数即欧几里得范数，使得处理后的向量的L2范数为1，表示其方向不变，但长度为1，其能够将原始特征向量映射到一个固定的范围内，目的是加速后面的检索匹配过程。具体的，满足以下条件式：

其中，

通过L2范数归一化，可以使得所有向量在长度上都相等，消除了不同区域像素值大小的差异，使得图像特征提取更加鲁棒，从而使检索匹配时更加稳定和可靠。

针对已有图像库中的每一张图像，均对其进行特征提取，得到的若干个特征向量构成已有图像库特征集。针对待检索图像，同样对其进行特征提取，得到待检索图像特征向量。

S4，利用KMeans聚类方法将已有图像库特征集划分为多个子特征向量集。

其中，对于已有图像库特征集

其中，

将已有图像库特征集中的所有对象分配给其距离最近的聚类中心所对应的簇中，得到

其中，

然后再重新计算每一个对象到每一个簇的聚类中心的欧式距离，不断迭代，直到聚类中心的变化小于阈值时，聚类算法得到的多个簇即为已有图像库特征集划分的多个子特征向量集，各个簇所对应的聚类中心即为各子向量特征集中心。

S5，计算待检索图像特征向量与各子特征向量集的中心的余弦相似度，并将其按降序进行排列，选定排序靠前的预设数量的余弦相似度所对应的目标子特征向量集。

其中，采用下式计算待检索图像特征向量与各子特征向量集的中心的余弦相似度：

其中，Vec为待检索图像特征向量，

余弦相似度越大，说明两特征向量之间的夹角越小，其对应的图像越相似。具体的，对计算得到的待检测图片特征向量与各个子特征向量集中心的余弦相似度按降序排列，得到余弦相似度前三所对应的子特征向量集。

S6，计算待检索图像特征向量与各个目标子特征向量集中的特征向量的余弦相似度，并将余弦相似度最大的特征向量对应的图像作为匹配结果输出。

其中，余弦相似度最大的特征向量满足以下条件式：

其中，

最终将

为了验证本发明所提出方法的有效性，设计了三个实验分别验证迁移学习方法有效性、多模型特征融合方法有效性以及划分子空间检索方法有效性。

为更好地适应本发明的特定场景，进行了基于基准图像集和相似图像集的迁移学习，并微调参数达到更好的性能。相似图像集作为训练数据，基准图像集作为验证数据，使用交叉熵损失，进行100轮训练，使用准确率作为性能评估指标。迁移学习前后三个模型的准确率如表1所示。

表1 迁移学习前后模型的准确率对比

本发明选定的三种深度学习方法可以各自从不同角度和层次提取图像有效信息为特征向量，通过融合这三种模型的特征实现效果最优化，效果对比如表2所示。

表2 单一模型与模型特征融合的准确率对比

除构建有效的特征提取器外，优化大规模数据量下的检索匹配也是本发明的重点之一。使用基于KMeans聚类划分子空间的检索方式，提升图像检索匹配的速度。暴力检索与基于KMeans聚类划分子空间检索方式的性能对比如表3所示。

表3 遍历与划分子空间的检索方式在不同数据量下的性能对比

综上，根据本发明提供的基于多层特征提取的相似图像检索匹配方法，选取多种卷积神经网络，组合得到特征提取器，利用迁移学习技术对特征提取器进行训练，并利用KMeans聚类划分子空间的方法进行图像检索匹配的优化，本发明能够从不同层级充分提取图像特征，并且提升图像检索匹配的准确率和速度，从而在车险定损的相似图像检索匹配中提供有效帮助，减少重复图像连续索赔等车险欺诈情况的出现。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。