一种排水管道缺陷去冗余方法

技术领域

本发明涉及管道检测技术领域，更具体的说，本发明涉及一种排水管道缺陷去冗余方法。

背景技术

排水管道是城市的重要基础设施之一，也是城市地下空间的重要组成部分。排水管道的安全运行直接关系到城市的公共安全和环境保护。排水管道的长期运行，会造成管道的结构性和功能性等缺陷。从而造成道路的塌陷，地下水污染，城市内涝等重大安全隐患CCTV视频探损法是排水管道缺陷检测的主要手段，然而这种方法受限于人工依赖程度高，容易受专业经验、主观性、视觉疲劳等因素造成误检、漏检等情况，且该方法效率较低。

根据排水管道缺陷的特性进行了排水管道缺陷智能化检测算法的研究和开发，该目前较好的应用于实际项目中，有效提高了工作效率。研究过程中发现视频智能检测，除了需将缺陷时间点检测出，还涉及了同一缺陷的多次检出，导致工作过程中需对重复图件进行筛除，一定程度限制了技术使用的效率和体验感。目前在图像领域主要通过对图帧之间计算相关系数，并统计根据图件具体表现统计出合适相关性门限进行冗余图件去除，彩色图件是由三通道矩阵组成，将单通道图像拉伸为向量并进行拼接形成特征向量，对图帧与图帧向量之间计算相关系数，。该方法计算量巨大、难以描述到图帧的关键特征信息、去冗余率低，难以满足工业各方面需求。

发明内容

为了克服现有技术的不足，本发明提供一种排水管道缺陷去冗余方法，能够大幅度的提高去冗余率。

本发明解决其技术问题所采用的技术方案是：一种排水管道缺陷去冗余方法，其改进之处在于，该方法包括以下的步骤：

S10、读取图帧；

S20、同时采用VGG-Sewer模型和残差网络ResNet-18进行缺陷识别；

在VGG-16模型中的最后两个全连接层之间加入一个新的全连接层，形成VGG-Sewer模型，用于实现图像特征的降维；

S30、判断是否为缺陷图像，若是，则进入下一步，若否，则返回至步骤S10；

S40、读取配置文件并选取模型；

S50、求取相邻两帧缺陷图像特征L2距离，计算相邻两帧缺陷图像特征之间的L2距离作为相邻两帧缺陷图像的相似度，并判断L2距离是否大于距离阀值，若是则进入下一步，若否则判断相邻两图像为相同缺陷，不更新对比帧，并返回至步骤S10；

S60、判断图像间距离是否满足门限，若是则保存缺陷，否则判断相邻两图像为不同缺陷，更新对比帧为当前帧，并返回至步骤S10；若否则判断相邻两图像为相同缺陷，不更新对比帧，并返回至步骤S10。

进一步的，步骤S20中，新的全连接层具有1024个神经元，同时将最后一个全连接层设置为5个神经元，形成所述的VGG-Sewer模型。

进一步的，步骤S20中，当数据经过最后两个全连接层，图像特征从4096维降维到5维，通过新的全连接层，使特征维度下降的过程中有过渡。

进一步的，步骤S20中，对于新的全连接层，该层每个神经元的输出用MP神经元模型表示为：

其中，j=1,2,…,1024；

对于修改后的最后一个全连接层，该层每个神经元的输出用MP神经元模型表示为：

其中j=1,2,34,5；其中

VGG-Sewer模型的输入图像最终获得的得分为：

其中j=1,2,3,4,5。

进一步的，激活函数φ均使用修正线性单元激活函数ReLU，ReLU即为RectifiedLinear Unit，表示为：

进一步的，步骤S20中，残差网络ResNet-18中，将最后一层全连接层FC6的神经元数量改为5。

进一步的，步骤S50中，VGG-Sewer模型提取网络中新增加的全连接层的深度特征，残差网络ResNet-18则是提取网络中的Pool5层深度特征。

进一步的，步骤S50中，采用下列公式计算相邻两帧缺陷图像特征之间的L2距离作为相邻两帧缺陷图像的相似度：

其中

VGG-Sewer模型中新的全连接层和残差网络ResNet-18中的Pool5维度分别是1024和4096，在VGG-Sewer模型和残差网络ResNet-18中，D分别为1024和4096。

进一步的，，步骤S50中，VGG-Sewer模型中，距离阀值为22；残差网络ResNet-18中，距离阀值为10。

进一步的，步骤S50中，按照不同模型最终检测结果作为相似度廓值选取对象，其中残差网络ResNet-18的阀值为优先选择对象，残差网络ResNet-18和VGG-Sewer模型同时识别为缺陷图像，则取残差网络ResNet-18的阀值，否则选择VGG-Sewer模型的阀值。

进一步的，步骤S60中，采用了多门限统计法进行门限值优选分析，按照1～2米范围值作为同一缺陷门限，以4～7米作为非同一缺陷门限，进行组合试验，该试验抽样组合了多组距离对，对已完成标注的复杂代表性视频进行测试，最终确定最优门限。

本发明的有益效果是：本发明大幅度提高了去冗余率，降低了计算量，并且在加入距离门限后，有限去除距离范围变化图件，基本将不同缺陷区分开；能够描述到图帧的关键特征信息，去冗余率高，满足工业各方面需求。

附图说明

图1为本发明的一种排水管道缺陷去冗余方法的流程示意图。

图2为现有技术中的卷积神经网络基础模型的示意图。

图3为现有技术中特征逐层抽象可视化的示意图。

图4为本发明中残差网络ResNet-18的网络结构图和构造块结构图。

图5为本发明中VGG-Sewer模型中统计的相似度门限的示意图。

图6为本发明中残差网络ResNet-18中统计的相似度门限的示意图。

图7为本发明中去冗余方法统计表。

图8为未加入去冗余方法的缺陷帧图样。

图9为加入深度学习特征分析去冗余方法的图像。

图10为本发明基于距离信息的深度学习特征分析去冗余方法的图像。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

结合图2所示，为卷积神经网络基础模型的示意图；结合图3所示，为特征逐层抽象可视化的示意图。深度学习是一种特征表示方法，模型通过学习数据内在特征达到任务目的。特征随隐藏层的加深逐步抽象，由简单的边缘信息转化至丰富的形体信息，较深的隐藏层能更好的专注物体的特性和区别。

本发明采用了较高隐藏层特征作为分析对象，优选出足以表达物体相似性的隐藏层特征。其中，图像对设计：收集管道同一缺陷，不同时段的图像，对图像进行组合，最终获取6万个缺陷对。特征层优选：1、提取图像对的高层特征，并对其求取L2距离作为相似度（越近则越相似）；2、当相邻的缺陷帧的相似度小于阈值时，认为该两帧为同一缺陷，对于同一缺陷的多张图像，保留缺陷得分最高的图像作为最终的缺陷检测结果。

对于一个缺陷在视频中可能持续较长时间，达到数十帧甚至数百帧，在检测作业中仅仅需要1帧来展示该缺陷即可，因此需要去除冗余的缺陷帧，本方案利用了两种信息进行冗余去除，包括距离信息以及深度学习高层特征距离信息。本发明揭示了一种排水管道缺陷去冗余方法，对于相邻的缺陷帧，将训练后的卷积神经网络作为图像特征提取器，使用双模型特征优选的方式进行廓值选取，本方案中双模型为VGG-Sewer模型和残差网络ResNet-18。对于VGG-Sewer模型和残差网络ResNet-18，将在下文中进行详细的说明。

参照图1所示，本发明的一种排水管道缺陷去冗余方法，在本实施例中，该方法包括以下的步骤S10至步骤S60：

S10、读取图帧；

S20、同时采用VGG-Sewer模型和残差网络ResNet-18进行缺陷识别；其中，在VGG-16模型中的最后两个全连接层之间加入一个新的全连接层，形成VGG-Sewer模型，用于实现图像特征的降维；新的全连接层具有1024个神经元，同时将最后一个全连接层设置为5个神经元，形成所述的VGG-Sewer模型。当数据经过最后两个全连接层，图像特征从4096维降维到5维，通过新的全连接层，使特征维度下降的过程中有过渡。

在本实施例中，首先选取了牛津大学可视化几何实验室设计的VGG结构的卷积神经网络，并对其进行改进，用于排水管道视频中的缺陷图像识别。VGG卷积神经网络，层获得了2014年ILSVRC图像识别大赛的亚军，是一种重要的神经网络结构，其具有较强的泛化能力，且结构简单，容易训练等特点。

VGG包括VGG-16，VGG-19等网络结构。相对于VGG-19，VGG-16的网络层数少三层，因此网络参数也相应较少。如下表中第一列所示的原生VGG-16结构，其包含16个卷积层或全连接层，卷积层分为5组，前两个组包含两个卷积层，后三组包含三个卷积层，所有卷积层均使用3*3大小的卷积核，5组卷积层的卷积数量分别为64, 128, 256, 512，512，每组之后加入一个池化层降用于低数据的空间尺寸，在经过卷积和池化之后，有三个全连接层。前两个全连阶层有4096个神经元，VGG最初用于1000类的图像的分类任务，因此最后一个全连接层具有10000个神经元。

结合下表所示，即为改进后的VGG和原生VGG对比；本发明对于排水管道缺陷的识别问题设计为一个5种类别的图像分类任务，因此需要将最后一个全连接层设置为5个神经元，这样数据经过最后二个全连阶层，图像特征直接从4096维降到5维，在最后两个全连接层之间加入一个具有1024个神经元的新的全连阶层，使特征维度下降的过程中有个过度，以保留更有效的信息，提高分类器的能力。VGG-16和改进后的VGG-16的不同部分也在表中加粗显示。

对于新的全连接层，该层每个神经元的输出用MP神经元模型表示为：

其中，j=1,2,…,1024；

对于修改后的最后一个全连接层，该层每个神经元的输出用MP神经元模型表示为：

其中j=1,2,34,5；其中

VGG-Sewer模型的输入图像最终获得的得分为：

其中j=1,2,3,4,5。

另外，激活函数φ均使用修正线性单元激活函数ReLU，ReLU即为RectifiedLinear Unit，表示为：

进一步的，在步骤S20中，选择了层数最少的残差网络ResNet-18中，其结构如图4所示，本实施例中，将最后一层全连接层FC6的神经元数量改为5。

S30、判断是否为缺陷图像，若是，则进入下一步，若否，则返回至步骤S10；

S40、读取配置文件并选取模型；

S50、求取相邻两帧缺陷图像特征L2距离，计算相邻两帧缺陷图像特征之间的L2距离作为相邻两帧缺陷图像的相似度，并判断L2距离是否大于距离阀值，若是则进入下一步，若否则判断相邻两图像为相同缺陷，不更新对比帧，并返回至步骤S10；

VGG-Sewer则是提取网络中新增加的fcnew层的深度特征，ResNet-18则是提取网络中的Pool5层深度特征。步骤S50中，采用下列公式计算相邻两帧缺陷图像特征之间的L2距离作为相邻两帧缺陷图像的相似度：

其中

VGG-Sewer模型中新的全连接层和残差网络ResNet-18中的Pool5维度分别是1024和4096，在VGG-Sewer模型和残差网络ResNet-18中，D分别为1024和4096。

S60、判断图像间距离是否满足门限，若是则保存缺陷，否则判断相邻两图像为不同缺陷，更新对比帧为当前帧，并返回至步骤S10；若否则判断相邻两图像为相同缺陷，不更新对比帧，并返回至步骤S10。

在上述的实施例中，随机抽取了61538对同一缺陷的两帧图像计算L2距离，以及61538对不同缺陷的两帧图像计算L2距离，并分别对其进行距离宽度为1的直方图绘制。

VGG-Sewer模型中，如图5所示，可以看出两个直方图形成的双峰结构在22处相交。因此选择22作为相似度计算的阈值。当两个缺陷帧的fcnew层深度特征的L2距离小于22时，则这两帧代表同一缺陷，否则为两个不同的缺陷。

残差网络ResNet-18中，如图6所示，可以看出两个直方图形成的双峰结构在10处相交。因此选择10作为相似度计算的阈值。当两个缺陷帧的pool5层深度特征的L2距离小于10时，则这两帧代表同一缺陷，否则为两个不同的缺陷。

通过统计分析方法，确定了VGG-Sewer模型的阈值为22，而残差网络ReNet-18阈值为10，配置文件中将按照不同模型最终检测结果作为相似度廓值选取对象，其中残差网络ReNet-18的阈值为优先选择对象，残差网络ReNet-18与VGG-sewer同时识别为缺陷则取Resnet廓值，否则取模型相对应廓值，读取配置文件后优选缺陷图件，去除冗余。

步骤S60中，在实际检测任务中，检测人员在同一位置或较短距离由于检测不规范，可能导致无明显距离变化，拍摄角度变化过大导致产生大量冗余图件，为优选出最佳图像，设计了硬件设备的数据库结构，增加距离信息的采集，进一步提高了去冗余率。本次试验，采用了多门限统计法进行门限值优选分析，按照1～2米范围值作为同一缺陷门限，以4～7米作为非同一缺陷门限，进行组合试验，该试验抽样组合了多组距离对，对已完成标注的复杂代表性视频进行测试，最终确定最优门限。在本实施例中，收集20个复杂管道视频作为测试数据，包含缺陷共计74个。

实验结果参照图7所示：为评估方法的可行性，收集20个复杂管道视频作为测试数据，包含缺陷共计74个。参照下表，根据实验结果可知，同一缺陷阈值为2米，不同缺陷阈值为4米时，在保证缺陷不因去冗余而遗漏，并且尽可能降低了冗余图件的数量。

结合图8、图9以及图10所示，图8中未加入去冗余方法，共计176张缺陷帧；图9中加入深度学习特征分析去冗余方法，共计14张缺陷帧；图10中为本发明基于距离信息的深度学习特征分析去冗余方法，总计6张缺陷帧。对比不同情况下同一视频缺陷检测情况，未加入去冗余算法识别结果高达176张缺陷图件，同一缺陷大量冗余存在。单独依靠特征分析去冗余方法，缺陷图件减少至14张，大幅度提高了去冗余率，但仍受不同角度影响，保留多余图件。加入距离门限后，有限去除距离范围变化图件，基本将不同缺陷区分开。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。