基于深度相机的排水管道缺陷检测方法及装置

技术领域

本发明涉及管道检测技术领域，特别涉及基于深度相机的排水管道缺陷检测方法及装置。

背景技术

近年来，采用CCTV管道机器人携带拍摄设备采集管道图像、再利用深度学习技术自动识别管道缺陷发展迅速，减少了人工采集和识别的工作量，提高了识别速度和精度，但由于管道环境特殊，传统的图像采集方式存在图像失真、噪音污染等问题导致管道缺陷自动识别的误识、漏识率都比较高。

随着人工智能时代的到来，深度相机技术的不断成熟和应用场景的不断丰富，在手机摄像头、VR/AR手势交互、汽车电子ADAS、安防监控及新零售等多个领域深度相机得到极大渗透。深度相机可以测量物体到相机距离(深度)，这类相机不仅可以拍摄到场景的二维图像，而且能获取物体之间的位置关系，在进行物体识别、行为识别、场景建模的相关应用越来越多。但在排水管道检测领域，使用深度相机采集图像进行缺陷自动识别的应用还处于早期阶段，还需要探索提高识别速度和精确度的方法。

发明内容

本发明的目的在于提供基于深度相机的排水管道缺陷检测方法及装置，通过在CCTV管道机器人上装载深度相机传感器采集红外图像和深度图像，结合深度学习技术进行图像处理和分类识别，以解决排水管道缺陷检测的反馈速度慢、识别精确度不高的问题。

本发明解决其技术问题提供的技术方案如下：

本发明提供基于深度相机的排水管道缺陷检测方法，包括步骤：S1，获取深度相机拍摄的排水管道内表面第一图像；S2，根据预先训练的第一图像分类模型对第一图像进行分类；若第一图像被分类为第一缺陷图，S3，获取深度相机拍摄的与第一图像同步的第二图像；S4，根据预先训练的第二图像分类模型对第二图像进行分类；若第二图像被分类为第二缺陷图，S5，将第一缺陷图和第二缺陷图进行图像融合生成第三图像；S6，根据预先训练的缺陷检测模型检测第三图像的缺陷类型，输出检测结果，以提高排水管道缺陷自动识别的速度和精确度。

本发明还提供基于深度相机的排水管道缺陷检测装置，包括：图像获取模块，用于获取深度相机拍摄的排水管道内表面第一图像和与和一图像同步的第二图像；图像分类模块，用于根据预先训练的第一图像分类模型对第一图像进行分类；用于根据预先训练的第二图像分类模型对第二图像进行分类；图像融合模块，用于将同步的第一图像和第二图像进行图像融合生成第三图像；缺陷检测模块，用于根据预先训练的缺陷检测模型检测第三图像的缺陷类型，输出检测结果。

本发明的有益效果包括：

第一方面，本发明通过对采集两种图像分别进行识别，提高了分类识别的准确性。

第二方面，本发明通过使用深度相机采集同步的红外图像和深度图像，并对经识别含有管道缺陷的红外图像和深度图像进行图像融合，克服了环境因素的影响，集中了两种图像的优势，能提供更丰富的信息和提高图像的视觉特征，从而提高了缺陷识别的精确度。

第三方面，本发明采用先提取一种图像进行分类识别，再根据分类结果判断是否提取同步的另一种图像，减少了信息冗余，提高机器识别的效率。

第四方面，本发明采用轻量级的图像分类模型和缺陷检测模型，极大提高了分两阶段进行图像分类和缺陷检测的速度，能实现实时反馈检测结果。

附图说明

下面结合附图对本发明作进一步说明。

图1是本发明实施例提供的排水管道缺陷检测方法流程图。

图2是本发明实施例提供的排水管道缺陷检测方法流程图二。

图3是本发明实施例提供的排水管道缺陷检测装置结构图。

图4是本发明实施例提供的排水管道缺陷检测装置结构图二。

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种缺陷检测方案，可应用于管道检测领域，也可以用于其他病害检测领域。具体实现中，通过在CCTV管道机器人上装载深度相机，同时采集红外图像和深度图像进行，再利用两种图像不同特点，分别进行图像分类检测含有缺陷后，结合两种图像的优势进行融合，对融合后具有丰富信息和机器视觉特征的融合图像进行缺陷类型检测，从而实时输出精确度高的机器识别结果。

请参考图1，本发明提供基于深度相机的排水管道缺陷检测方法，包括如下步骤：

S1，获取深度相机拍摄的排水管道内表面第一图像。

具体地，随着机器视觉、自动驾驶等颠覆性的技术逐步发展，采用深度相机进行物体识别、行为识别场景建模的相关应用越来越多，可以说深度相机就是终端和机器人的眼睛，跟普通相机(2D)比较，深度相机称为3D相机，就是通过深度相机能检测出拍摄空间的景深距离，这也是与普通摄像头最大的区别。普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来，但是其所记录的数据不包含这些物体距离相机的距离。仅仅能通过图像的语义分析来判断哪些物体离我们比较远，哪些比较近，但是并没有确切的数据。而深度相机则恰恰解决了该问题，通过深度相机获取到的数据，我们能准确知道图像中每个点离摄像头距离，这样加上该点在2D图像中的(x,y)坐标，就能获取图像中每个点的三维空间坐标。通过三维坐标就能还原真实场景，实现场景建模等应用。

进一步地，深度相机为TOF相机、结构光相机或双目相机中的一种。

具体地，目前常见的深度相机方案有结构光、双目视觉、飞行时间法(TOF)三种。

结构光深度相机其基本原理是，通过近红外激光器将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。结构光(散斑)的优点主要有：1)方案成熟，相机基线可以做的比较小，方便小型化。2)资源消耗较低，单帧IR图就可计算出深度图，功耗低。3)主动光源，夜晚或在昏暗封闭环境中也可使用。4)在一定范围内精度高、分辨率高，分辨率可达1280x1024，帧率可达60FPS。

TOF相机是测量光飞行时间来取得距离，具体而言就是通过给目标连续发射激光脉冲，然后用传感器接收从反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标物距离。因为光速激光一般通过检测通过一定手段调制后的光波的相位偏移来实现。TOF并非基于特征匹配，在测试距离变远时，精度也不会下降很快，目前无人驾驶以及一些高端的消费类Lidar基本都是采用该方法来实现。TOF的优点主要有：1)检测距离远。在激光能量够的情况下可达几十米；2)受环境光干扰比较小。

双目立体视觉是机器视觉的一种重要形式，是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目相机的主要优点有：1)硬件要求低，成本也低。普通CMOS相机即可。2)只要光线合适，室内外都适用。

在一个具体实施例中，优选TOF相机采集红外图像和深度图像。

S2，根据预先训练的第一图像分类模型对第一图像进行分类；若第一图像被分类为第一缺陷图，S3，获取深度相机拍摄的与第一图像同步的第二图像。

进一步地，第一图像为红外图像、所述第二图像为深度图像；或所述第一图像为深度图像、所述第二图像为红外图像。

具体地，利用深度图像和红外图像的互补性能来进行目标识别，其主要原理是可见光和红外图像具有互补性能，深度图像可以提供更多细节；红外图像不受光照影响，但缺乏细节和纹理信息，主要目的是提高目标识别的性能，尤其是要使识别算法可以免受环境因素影响、提高机器视觉。

进一步地，图像同步的方法为时间戳同步。

具体地，获取同步图像的方法为在获取图像的同时将时间戳也提取出来，若两张图像的时间戳相隔少于设定的阈值，则可认定为同步的图像。优选地，设定的阈值为10ms。

S4，根据预先训练的第二图像分类模型对第二图像进行分类；若第二图像被分类为第二缺陷图，S5，将第一缺陷图和第二缺陷图进行图像融合生成第三图像。

具体地，第一图像可以为红外图像，也可以为深度图像。当第一图像为红外图像时，对应的第一图像分类模型为红外图像分类模型，此时第二图像为同步的深度图像；反之，当第一图像为深度图像时，对应的第一图分类模型为深度图像分类模型，此时第二图像为同步的红外图像。

在具体实施中，可以先采集红外图像或深度图像中的一种进行图像分类识别，若含有缺陷图，则再提取同步的另一种图像再进行分类识别，可以减少信息提取冗余节省硬件资源；也可以同时提取同步的红外图像和深度图像分别进行图像识别，可以节省识别时间。

进一步地，在S2步骤中所述对第一图像分类的类型包括但不限于第一缺陷图和第一正常图；在S4步骤中所述对第二图像进行分类的类型包括但不限于第二缺陷图和第二正常图。

具体地，第一图像分类模型和第二图像分类模型中，将图像分类包括正常图、缺陷图及非管道图，其中正常图和缺陷图又根据摄像头拍摄角度的不同分别包括全局图和局部图。简要的说，在红外图像分类模型中，识别的图像类型包括至少有红外全局正常图、红外全局缺陷图、红外局部正常图、红外非管道相关图；相应的，在深度图像分类模型中，识别的图像类型包括至少有深度全局正常图、深度全局缺陷图、深度局部正常图、深度局部缺陷图、深度非管道机关图。第一缺陷图、第二缺陷图包括有全局缺陷和局部缺陷。

进一步地，图像融合的方法包括但不限于基于HSI变换的图像融合、基于小波变换的图像融合、基于深度学习的图像融合。

具体地，图像融合的含义是将从不同方式获取到的属于同一场景的各幅图像中的有利信息和基本特征进行综合，融合成为一幅全新的并且有用信息更合适于人眼视觉或机器视觉识别的图像，该结果图像具有能够更加准确、可靠又全面地获取场景的信息的优点。将两幅利用不同方法获取到的同一场景图像进行融合操作，对于图像中不同地方的细节信息进行互补与增强，而重复的信息也可以提高图像的真实性与可靠性。所以融合后的图像，可以更加良好的体现出有用信息和样式。

其中，基于小波变换的图像增强方法本质上来说是首先对不同来源的图像进行小波变换，变换后的图像会显现出为包括高频、低频在内的不同频带，然后根据实际应用情况选取恰当的融合方法对图像重要信息的频带部分进行增强、不重要的频带部分进行抑制而形成小波金字塔模型；最后再经过一步小波逆变换重构出最终融合增强后的图像。这种图像增强技术具有特征提取的功能，并且有着多分辨率、低熵和去相关性等特点。基于小波变换的方法覆盖了整个图像的频域，对低频和高频区域分别采取了具有针对性的增强，方法快速且有效。

其中，HSI是基于空间域变换的一种方法，HSI颜色模型由于与人感受颜色的方式紧密相连而成为彩色图像处理最常用的颜色模型。在HSI空间中，I(Intensity)代表图像的强度，对应于图像的空间分辨率，即表示照射在此颜色上的白光有多亮。H(Hue)表示色调，即决定什么颜色。S(saturation)表示饱和度，即决定颜色浓淡。其中H与S代表图像的光谱分辨率，HSI变换图像融合的基本思想就是通过融合I分量和高分辨率图像来提高多光谱图像的空间分辨率，同时尽量保持多光谱图像的光谱特性。HSI变换融合方法包括三个步骤：(1)原始多光谱图像作HSI变换；(2)用全色图像(高分辨率图像)直接替换掉多光谱图像的空间分辨率较低的I分量，保持H和S不变；(3)HSI反变换得到增强后的多光谱图像。

由于卷积神经网络强大的特征提取能力和数据表示能力，深度学习(DeepLearning，DL)在许多计算机视觉和图像处理问题中取得了较为先进的结果。通常，传统的视觉识别方法包含三个重要的步骤，即特征提取，特征选择和预测。这个过程很自然的与图像融合问题中的三个重要步骤联系起来，即图像转换，活动度度量和融合规则。通过卷积神经网络的训练，图像转换，活动度度量和融合规则能够以一种含蓄的方式联合实施。因此，卷积神经网络十分适用于图像融合问题。深度学习用于图像融合问题的四大优势：1)深度学习模型能够从数据中自动提取出最为有效的特征，克服了手工设计特征的困难。2)深度学习模型能够描述输入和目标输出数据间复杂的关系。3)深度学习模型能够提供一些潜在的对图像融合问题有用的图像表示方法。4)开源并友好的深度学习数据库(如

Caffe，TensorFlow，Theano和MatConvNet等)和大型的图像数据集(如CIFAR，PASCAL VOC和ImageNet等)确保了对图像融合问题的研究便利性。

在一具体实施例中，根据资源信息的不同，可以采用三种融合技术的一种，优选基于深度学习的图像融合方式，随着网络的持续迭代，能不断提高检测的精度。

进一步地，第一图像分类模型和第二图像分类模型采用基于YOLO-V4的轻量级目标检测模型。

具体地，在当下的计算机视觉领域中，图像识别算法不断推陈出新，在遥感监测，医疗卫生，军事科技等领域已取得卓越成就，然而这些设备对模型的大小和速度上有着一定的局限性。从算法的角度来看，卷积神经网络凭借其卓越的特征提取能力和可扩展性，在图像识别领域独占鳌头。目标检测领域的发展趋势不断从传统的识别方法向深度学习的识别方法靠拢。目前的深度学习算法大致是指先从图像上选取出候选框，然后在从提取的候选框中得到分类和回归的结果。目标检测算法能得到高准确率，但训练步骤繁琐，且占用了相当多的空间。YOLO算法不需要候选框，直接通过卷积操作来进行分类和回归预测，进而得到物体的类别和坐标信息。该类算法的速度快，占用空间小，能满足移动端和嵌入式平台上低功耗和低能耗的需求，为轻量级神经网络。YOLO-V4使得当前的网络在速度没有降低的前提下，精确度大大提升。YOLOv4主要分为Bag of freebies和Bag of specials，其中Bag offreebies是指目标检测器在不增加推理损耗的情况下达到更好的精度，这些方法只需转变训练策略或只增加训练量成本。在标签处理中采用了组内标签平滑的手段。损失函数层面运用Focal Loss等这些不用改变网络结构的方法，并利用模拟余弦退火的方法改进了学习率。而Bag of specials是指插入模块是用来增强某些属性的，显著提高目标检测的准确性。

S6，根据预先训练的缺陷检测模型检测第三图像的缺陷类型，输出检测结果。

进一步地，缺陷检测模型采用基于ResNet-18的轻量级深度残差网络。

具体地，深度学习网络的深度对最后的分类和识别的效果有着很大的影响，但随着神经网络深度的加深，训练过程中会很容易产生误差的积累，从而出现梯度爆炸和梯度消散的问题，这是由于随着网络层数的增多，在网络中反向传播的梯度会随着连乘变得不稳定(特别大或特别小)，出现最多的还是梯度消散问题。残差网络解决的就是随着深度增加网络性能越来越差的问题。ResNet允许原始输入信息直接传输到后面的层中，这不会给网络增加额外的参数和计算量，却大大增加模型的训练速度、提高训练效果。Resnet的主要贡献在于利用残差学习单元有效的解决了随着网络层数的加深，梯度退化的问题。残差学习单元由残差块组成，残差块的整体输出为该残差块的输入加上该残差块的线性输出，并且加入BN层进行归一化操作，进一步避免梯度的消失，减少迭代次数以加快训练的速度。在残差学习中，X表示输入，F(X)表示残差块在第二层激活函数之后的输出，即F(X)＝W2×σ(W1×X)，其中W1和W2表示第一层和第二层的权重，σ表示激活函数Relu，最后残差块的输出为σ(F(X)+X))。这种残差计算相对于普通网络更有利于避免因梯度的消失而造成的网络坍缩。Resnet18包括17个卷积层加1个全连接，该模型结构简单，可用于嵌入式设备上。

进一步地，检测结果包括但不限于排水管道内表面缺陷的位置、种类和等级。

具体地，排水管道缺陷分为结构性缺陷和功能性缺陷。结构性缺陷主要包括：脱节、变形、支管暗接、错位、渗漏、腐蚀、胶圈脱落、破裂、异物侵入等；功能性缺陷主要包括沉积、结垢、障碍物、树根、洼水、坝头、浮渣等。缺陷有轻微、中等、严重及重大4个等级。

进一步地，请参考图2，在一些实施例中，排水管道缺陷检测方法在步骤S6之后还包括步骤S7，提取第一缺陷图存储到第一缺陷样本集；提取第二缺陷图存储到第二缺陷样本集。

请参考图3，本发明实施例提供基于深度相机的排水管道缺陷检测装置，包括：图像获取模块，用于获取深度相机拍摄的排水管道内表面第一图像和与和一图像同步的第二图像；图像分类模块，用于根据预先训练的第一图像分类模型对第一图像进行分类，以及用于根据预先训练的第二图像分类模型对第二图像进行分类；图像融合模块，用于将同步的第一图像和第二图像进行图像融合生成第三图像；缺陷检测模块，用于根据预先训练的缺陷检测模型检测第三图像的缺陷类型，输出检测结果。

请参考图4，在一些实施例中，缺陷检测装置还包括样本采集模块，提取第一缺陷图存储到第一缺陷样本集，用于训练第一图像分类模型；提取第二缺陷图存储到第二样本集，用于训练第二图像分类模型。

在一些实施方式中，本发明还提供一种排水管道缺陷检测设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前所述的缺陷检检测方法。

在一些实施方式中，本发明还提供一种排水管道缺陷检测的计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如前所述的缺陷检测方法。

本领域普通技术人员可以理解上述实施例的各种方法中全部或部分步骤是可以通过程序指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器、随机存储器、磁盘或光盘、或嵌入式设备等。

以上对本发明实施例所提供的缺陷检测方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书不应理解为对本发明的限制。