基于特征融合的图像相似度计算方法、系统及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于特征融合的图像相似度计算方法、系统及存储介质。

背景技术

随着计算机视觉的发展，图像相似度在军事以及安防领域应用越来越广泛，计算图像相似度的模型有基于像素级别的判断，也有基于深度学习模型。

然而，模型都过于庞大，计算量较大，导致计算图像相似度的效率不高，同时准确度也容易收到像素级别的变化的影响；

同时，对于基于单特征的欧式距离法，仍然无法完全描述图片，得到的图像相似度准确度低。

发明内容

本发明提出的一种基于特征融合的图像相似度计算方法、系统及存储介质，可解决上述技术问题。

为实现上述目的，本发明采用了以下技术方案：

一种基于特征融合的图像相似度计算方法，包括以下步骤，

S1、获取实验样本，其中，所述实验样本包括场景与目标相同的图片、场景与目标仅含有设定范围内差别的图片、场景与目标完全不同的图片；

S2、将实验样本按照S1分成三组，对每个样本进行相同的图像预处理，减少由于拍摄原因以及光照情况带来的图像差异；

S3、对图像进行特征提取，其中所述特征包括图像多种特征包括颜色、亮度以及纹理；

S4、特征获取之后，按照设定的方式进行维度升降以及标准化处理；

S5、建立相似度计算模型，用以评价图像相似度；

S6、对三个特征进行融合，并且进行不同的设定方式的融合，进行相似度评价。

进一步的，所述S1在获取实验样本时，同组图片需要在设定的时间间隔内完成，并且配以标准三脚架对相机进行固定。

进一步的，所述S2中图像预处理方法包括灰度拉伸，噪声处理以及直方图均衡化处理。

进一步的，所述S3中对于颜色特征，首先利用颜色空间三个分量的剥离得到颜色直方图，之后通过观察实验数据发现将图像进行旋转变换、缩放变换、模糊变换后图像的颜色直方图改变不大。

进一步的，所述S3中对于亮度特征，通过亮度或灰度直方图将图像中所有的像素点，按照灰度值的大小，统计其出现的频率。

进一步的，所述S3中对于纹理特征，使用HOG特征即方向梯度直方图，通过HOG特征计算和统计图像局部区域的梯度方向直方图来构成特征。

进一步的，所述S5中，基于特征之间的巴式距离进行相似度模型的建立，对于高相似的图片，其特征基本没有差异，因此巴氏距离较小，同理差异大的图像巴式距离较大，最后对计算得到的巴式距离进行得分转换，得到相似度评分。

进一步的，所述S6进行特征融合，直接对每个特征进行拼接，相加，相减取绝对值，相加再标准化操作进行融合，最终择一选择融合方式。

进一步的，所述得分转换，观察得到的图片欧式距离，按照最大值进行范围标准化，将欧氏距离的范围控制再0-1之间，最终结果当作评分。

另一方面，本发明还公开一种基于特征融合的图像相似度计算系统，包括以下单元，

实验样本获取单元，所述实验样本包括场景与目标相同的图片、场景与目标仅含有设定范围内差别的图片、场景与目标完全不同的图片；

图像预处理单元，用于将实验样本按照设定分成三组，对每个样本进行相同的图像预处理，减少由于拍摄原因以及光照情况带来的图像差异；

特征提取单元，用于对图像进行特征提取，其中所述特征包括图像多种特征包括颜色、亮度以及纹理；

标准化处理单元，用于在特征获取之后，按照设定的方式进行维度升降以及标准化处理；

计算模型单元，用于建立相似度计算模型，用以评价图像相似度；

相似度评价单元，用于对三个特征进行融合，并且进行不同的设定方式的融合，进行相似度评价。

第三方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

由上述技术方案可知，本发明通过对样本图片的获取，对图片特征的提取，对不同特征进行融合计算融合后的相似度，输入巴氏距离模型进行相似度得分转换，最终对比利用不同特征得到的图像相似度。

本发明公开的一种基于特征融合的图像相似度计算方法，能够大大降低计算量，同时提高了相似度的计算准确度；本发明具有以下有益效果：

1.计算量较小，进行特征提取之后，得到的特征向量比原图像体量小很多，计算量也小；

2.鲁棒性高，提取的特征反应整幅图片，可以忽略局部像素级的突变带来的影响；

3.准确度高，特征融合之后得到的准确度比单一特征要高。

附图说明

图1是本发明图像相似度计算流程图

图2是本发明实施例图像亮度直方图；

图3是本发明实施例包含目标的背景图片；

图4是本发明实施例不包含目标的背景图片；

图5是本发明实施例亮度结果对比；

图6是本发明实施例颜色结果对比；

图7是本发明实施例的HOG结果对比；

图8是本发明实施例相似度计算结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

如图1所示，本实施例所述的基于特征融合的图像相似度计算方法，包括：

第一步，需要获取实验样本，其中，所述实验样本包括场景与目标几乎相同的图片、场景与目标仅含有微小差别的图片、场景与目标完全不同的图片；

第二步，将实验样本按照第一步分成三组，对每个样本进行相同的图像预处理，减少由于拍摄原因以及光照等情况带来的图像差异；

第三步，对图像进行特征提取，其中所述特征包括图像多种特征如颜色、亮度以及纹理等；

第四步，特征获取之后，按照统一的方式进行维度升降以及标准化处理；

第五步，建立相似度计算模型，用以评价图像相似度；

第六步，对三个特征进行融合，并且进行不同方法的融合，进行相似度评价；

以下具体说明：

其中，所述第一步，在获取实验样本时，同组图片需要在很短的时间间隔内完成，并且配以标准三脚架对相机进行固定，为了避免因为抖动和光照原因带来的图像差异，影响相似度评价；

所述第二步，图像预处理方法包括，灰度拉伸，噪声处理以及直方图均衡化。

所述第三步，对于颜色特征，首先利用颜色空间三个分量的剥离得到颜色直方图，之后通过观察实验数据发现将图像进行旋转变换、缩放变换、模糊变换后图像的颜色直方图改变不大。

所述第三步，对于亮度特征，亮度(灰度)直方图(Gray histogram)是关于灰度级的分布函数，是图像灰度级分布的统计。亮度(灰度)直方图就是将图像中所有的像素点，按照灰度值的大小，统计其出现的频率；

所述第三步，对于纹理特征，主要使用HOG特征，方向梯度直方图(Histogram ofOriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。其主要思想是，在一副图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。其本质为：梯度的统计信息，而梯度主要存在于边缘的地方。

所述第四步，利用不同的特征进行特征提取时，会有一定的维度差异，因此需要对维度进行统一的升降，方便进行图像相似度计算对比，同样需要对特征进行标准化处理，在特征融合时才不会出现差异；

所述第五步，基于特征之间的巴式距离进行相似度模型的建立，对于高相似的图片，其特征基本没有差异，因此巴氏距离较小，同理差异大的图像巴式距离较大，最后对计算得到的巴式距离进行得分转换，得到相似度评分；

所述第六步，进行特征融合，可以直接对每个特征进行拼接，相加，相减取绝对值，相加再标准化等操作进行融合，最终选择一种效果最好的融合方式；

所述得分转换，观察得到的图片欧式距离，按照最大值进行范围标准化，将欧氏距离的范围控制再0-100之间，最终结果当作评分；

以下举例说明：

在本实施例中，参见图3和图4，实施样本为差异很小的图片组，包含目标的背景图像中包括小目标的物体，具体位置已经在图3中标出，而不包含目标的背景在相同位置也标出了位置，基于这组图片我们实施了本文的方法并且计算了图像的相似度；

进一步的，对两张图片进行灰度拉伸，避免图像曝光，由于是在阳光下拍的照片，同时也要将亮度差异降到最低；其次是进行了直方图均衡化，使图像的灰度级更均衡，这样可以让包含小目标的图片跟全局背景的差异降到最低；

对特征进行提取，分别提取图像的颜色，亮度和HOG特征，并且对比两张图片的特征，其中附图5为亮度特征对比结果，附图6为颜色特征对比结果，附图7为HOG特征对比结果；

对维度进行统一维度升降，同时对特征值进行标准化处理；

建立巴式距离得分模型，其中计算欧式距离的公式如下所示:

对特征进行融合，并且根据巴氏距离公式计算相似度得分，计算流程图如附图1所示；

附图8为相似度计算结果。

综上所述，本发明通过对样本图片的获取，对图片特征的提取，对不同特征进行融合计算融合后的相似度，输入巴氏距离模型进行相似度得分转换，最终对比利用不同特征得到的图像相似度。本发明公开的一种基于特征融合的图像相似度计算方法，能够大大降低计算量，同时提高了相似度的计算准确度。

另一方面，本发明还公开一种基于特征融合的图像相似度计算系统，包括以下单元，

实验样本获取单元，所述实验样本包括场景与目标相同的图片、场景与目标仅含有设定范围内差别的图片、场景与目标完全不同的图片；

图像预处理单元，用于将实验样本按照设定分成三组，对每个样本进行相同的图像预处理，减少由于拍摄原因以及光照情况带来的图像差异；

特征提取单元，用于对图像进行特征提取，其中所述特征包括图像多种特征包括颜色、亮度以及纹理；

标准化处理单元，用于在特征获取之后，按照设定的方式进行维度升降以及标准化处理；

计算模型单元，用于建立相似度计算模型，用以评价图像相似度；

相似度评价单元，用于对三个特征进行融合，并且进行不同的设定方式的融合，进行相似度评价。

第三方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。