一种管道内相似图像去重的方法、计算机装置及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种管道内相似图像去重的方法、计算机装置及存储介质。

背景技术

在城市地下管道作业场景下，需要搜集海量的地下管道内的场景图片用于后期的地下管道维护与检修，因此需要地下管道机器人拍摄管道的场景图片，并判定其中不同种类的缺陷，便于后期的作业开展。而在拍摄管道内的缺陷图片时，会出现对同一缺陷的多次重复拍摄，有一些拍摄是在工业相机的默认对焦下进行的，有一些是经过数字变焦放大2倍甚至3倍后进行拍摄的，这些图像存在大量的冗余信息，需要对同一缺陷的图像进行去除并保留清晰度最高的那一张。

据调研分析，目前相关的图像去重方案是在具有相同图像的数据库中进行的，其中一类是根据传统密码学原理进行图像去重，另一类是基于感知哈希的图像去重。而当前方案存在两个严重的缺点。

缺点一：当前的方案要求待处理的数据库中含有完全相同的图片，而这在实际的地下管道场景中往往无法满足该苛刻的要求。

缺点二：基于感知哈希的处理逻辑对图像的平移、缩放等操作不具有鲁棒性，容易因图像的刚体变换而导致算法失效。

发明内容

为了解决上述现有技术中存在的问题，本发明拟提供了一种管道内相似图像去重的方法、计算机装置及存储介质，拟解决现有图像去重方法要求苛刻且不具有鲁棒性对地下管道环境数据处理效果不佳的问题。

一种管道内相似图像去重的方法，包括以下步骤：

S1：实时检测管道内缺陷区域；

S2：校验缺陷种类判定与相对位置判断相同类型的缺陷的图像是否为同一缺陷；

S3：裁剪步骤S2所得相同缺陷的图像中的缺陷区域；

S4：将同一缺陷的裁剪区域图像归类再进行综合相似度判定；

S5：依据步骤S3所得综合相似图选取相似图像集，再计算相似图像集中每张图像的清晰度，依据清晰度对相似图像集中的图像进行排序与去重。

优选的，所述步骤S1包括：

利用深度学习目标检测YOLO算法实时判定管道图像中的管道缺陷以及管道缺陷的区域。

优选的，所述步骤S2包括：

基于深度学习YOLO检测算法，对管道图像中已有的缺陷种类进行标注训练，然后使用待测试的图像进行推理判别，以得到每张管道图像中的缺陷种类与检测框位置，再对相同种类的缺陷图像进行缺陷的相对位置校验，其校验机制为：先将图像区域划分为八个象限然后按顺序进行编号，再判断相同类型的缺陷的图像其检测框的中心点坐标是否落入同一个象限区域内时，若是落入同一象限区域则判定图像缺陷所处位置较为接近，因此可以继续进行下一步的操作；否则，认为不是同一个缺陷，删除校验图像并重新返回第一步。

优选的，所述步骤S3包括：

使用AI深度学习检测模型对图像进行推理判定，框出当前图像中的缺陷区域，其以bounding box(bbox)的形式描述，然后将该区域从原始图像中裁剪出来，继续进行后续的流程。

优选的，所述步骤S4包括:

S4.1：将步骤3所得同一缺陷的裁剪区域图像归类到一起，然后分别进行余弦相似性的判定；余弦相似性的判定公式如下：

其中A和B分别表示不同的图像向量，A

S4.2：将计算了余弦相似性判定的同一缺陷的裁剪区域图像进行结构相似度判断,结构相似度计算公式为：

SSIM(x,y)＝[l(x,y)]

其中x,y表示待对比的两张图像，l(x,y)表示亮度测量值，c(x,y)表示对比度测量值，s(x,y)表示结构测量值，而三个参数α,β,γ用来表示这三个模块的重要性；

为简化公式，令

α＝β＝γ＝1,C

可得SSIM的简化公式如下：

其中μ

S4.3：将步骤4.1所得余弦相似度和步骤4.2所得结构相似度加权组合获得综合相似度，计算公式如下：

final_score＝α×cos(x,y)+β×ssim(x,y)

其中final_score表示融合这两种相似度计算方法后得到的综合加权相似度值，α和β分别表示余弦相似度和结构相似度的重要程度。

优选的，所述步骤S5包括:基于综合相似度和阈值确定好相似图像候选集，其中综合相似度大于阈值的图像则选取为相似图像候选集，综合相似度小于阈值的图像则被忽略，不再被考虑；若相似图形候选集中图像的综合相似度均小于阈值则不再进行后续处理，返回第一步；针对相似图像候选集中综合相似度大于阈值的每张图像进行拉普拉斯滤波处理获取其每张图像对应的响应方差值，根据所计算的拉普拉斯响应方差值，进行清晰度排序，并确定清晰度最高的为需要保留的图像，再将其他图像去除。

优选的，划分八个象限的方法如下：

从图像的中心点坐标为基准，每45°划分一个象限，一共可以划分8个象限；区域的编号从x轴的正半轴上方开始逆时针或者顺时针计数，从1开始，直至8。

一种管道内相似图像去重的计算机装置，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序是实现一种管道内相似图像去重的方法。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一种管道内相似图像去重的方法。

本发明的有益效果包括：

1、可以针对相似图像进行去重，并不需要图像数据库中有相同的图像，可以很好地解决城市地下管道环境数据存在冗余的问题，有重要的实用价值。

2、结合AI深度模型与两种传统相似度的融合计算方法，准确地实现了地下管道的相似图像的去重，且对图像的刚体变换具有较强的鲁棒性。

3、本申请专利的整体判断流程非常严谨，自顶向下，从大到小详细的阐述了相似缺陷类型的图像判定与选择逻辑，以及依据综合相似度获取相似图像候选集，并对其进行清晰度的排序与最优选择。

4、本申请专利流程相较于现有图像去重的技术方案，表现出了较为准确的去重判别效果，以及对去重的图像数据库的非苛刻性，在实际场景中更为实用、易用，该申请专利针对城市地下管道的图像采集与处理等相关作业具有非常实用的价值。

附图说明

图1为实施例1一种管道内相似图像去重的方法流程图。

图2为实施例1涉及管道内的缺陷区域(脱落)检测。

图3为实施例1涉及管道内的缺陷区域(沉积物)检测。

图4为实施例1涉及缺陷相对位置校验示意图。

图5为实施例1涉及图像划分8个象限示意图。

图6为实施例1涉及缺陷区域坐标系以及象限图表示。

图7为实施例1涉及缺陷的检测框表示。

图8为实施例1涉及缺陷区域裁剪示意图。

图9为实施例1涉及的一倍数字变焦图像。

图10为实施例1涉及的二倍数字变焦图像。

图11为实施例1涉及的三倍数字变焦图像。

图12为实施例1涉及经步骤S1-S3处理所得一倍数字变焦图像对应的裁剪区域roi1。

图13为实施例1涉及经步骤S1-S3处理所得二倍数字变焦图像对应的裁剪区域roi2。

图14为实施例1涉及经步骤S1-S3处理所得三倍数字变焦图像对应的裁剪区域roi3。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

下面结合附图1-附图8对本发明的具体实施例做详细的说明；

S1：管道内缺陷区域实时检测

在本实施例中，共涉及两类管道缺陷，第一类是“管道脱落”如图2所示，第二类是

“管道沉积物”如图3所示，利用深度学习目标检测YOLO算法可以实时的判定图像中的管道缺陷以及管道缺陷的区域。

S2：缺陷种类判定与相对位置校验

使用基于深度学习YOLO检测算法，对已有的两种缺陷种类进行标注训练，然后使用待测试的图像进行推理判别，可以得到每张管道图像中的缺陷种类与检测框位置，然后对识别出的相同类别的缺陷进行相对位置校验。

校验机制图4所示：将图像区域划分为八个象限，编号如图所示，图中的红色框为缺陷区域，红色的点表示该检测框的中心点；当两种相同类型的缺陷检测框的中心点坐标落入同一个象限区域内时，此时判定缺陷所处位置较为接近，因此可以继续进行下一步的操作；否则，认为不是同一个缺陷。

其中划分八个象限的方法如下：

从图像的中心点坐标为基准，每45°划分一个象限，一共可以划分8个象限，区域的编号从x轴的正半轴上方开始逆时针计数，从1开始，直至8，这样就完成了对图像8个象限的划分，具体参考图5所示。

S3：缺陷区域裁剪

当使用AI深度学习检测模型进行推理判定时，会在当前图像中框出缺陷区域如图8所示，其以bounding box(bbox)的形式描述，其采用坐标系的表示如图6所示。

其中，{x

S4：相似性的融合判定

余弦相似性：

当获取到检测框缺陷类别并进行相对位置校验后，将同一缺陷的裁剪区域图像归类到一起，将图9、图10、图11进行上述步骤处理后获取到对应的图12、图13、图14，分别为roi1，roi2，roi3，对其进行余弦相似性的判定。

余弦相似性判定的原理：

余弦相似度是从图像的像素值角度出发，通过分析两张图像的像素值是否接近来表示其相似与否；其本质是将两张图像的像素信息投影到高维度空间，将其表示成向量的形式，然后计算两个向量之间的夹角，夹角越小表示越相似。

余弦相似性的判定公式如下：

其中A和B分别表示不同的图像向量，A

具体余弦相似度计算结果如表1所示；

表1余弦相似度计算结果

结构相似性：

结构相似性(Structural Similarity)是一种分别从亮度、对比度、结构三个方面进行度量图像相似性的评价指标，其相似性判定结果要显著优于感知哈希、余弦相似度的计算结果。因在城市地下管道场景中的缺陷采集比较宝贵，因此侧重保障其采集和去重的准确性，所以本专利采用结构相似度是为了融合多种传统的相似性判定算法，从而确保算法的准确性。

SSIM(x,y)＝[l(x,y)]

其中x,y表示待对比的两张图像，l(x,y)表示亮度测量值，c(x,y)表示对比度测量值，s(x,y)表示结构测量值。而三个参数α,β,γ用来表示这三个模块的重要性。

为简化公式，令

α＝β＝γ＝1,C

可得SSIM的简化公式如下：

其中μ

表2结构相似度计算结果

根据数据集测试，本专利将余弦相似度和结构相似度加权组合，最终的相似度计算公式如下所示：

final_score＝α×cos(x,y)+β×ssim(x,y)

其中final_score表示融合这两种相似度计算方法后得到的综合加权相似度值，α和β分别表示余弦相似度和结构相似度的重要程度，根据在测试集中的大量重复实验与统计，本专利将α设置为0.80，将β设置为0.20，阈值设置为0.85，当综合相似度计算的数值大于此设定阈值时，则判定待对比的图像为相似图像，否则认为是非相似图像。

S5：相似图像集清晰度排序与去重

当基于综合相似度确定好相似图像候选集后，对候选集中的每张图像进行拉普拉斯滤波处理获取每张图像对应的响应方差值，它可以用来表示图片的模糊程度，该值越大，表明图像清晰的可能性越大。拉普拉斯用于计算图像的二阶导数，它可以突出显示图像中包含快速梯度变化的区域。假设一幅图像的方差较高，那么表明图像有广泛的响应，这表明图片的聚焦正常，没有过多的模糊效应。如果响应方差很低，那么可以表明图像有较小的响应扩散，这可以表明图像中没有明显的边缘界限，即图像是模糊的可能性更高。拉普拉斯卷积核如下所示。

针对相似图像候选集，采用拉普拉斯获取其响应方差值计算结果如表3所示。

表3

根据所计算的拉普拉斯响应方差值，进行清晰度排序，并确定清晰度最高的为需要保留的图像，因此保留其对应的原始图像，将其他图像去除，这样就完成了城市地下管道环境内相似图像的去重。

实施例2

一种管道内相似图像去重的计算机装置，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序是实现如实施例1所述的一种管道内相似图像去重的方法。

以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。