一种桥梁水下结构智能检测系统及方法

技术领域

本发明属于桥梁水下结构检测技术领域，特别涉及一种桥梁水下结构智能检测系统及方法。

背景技术

随着我国交通事业的快速发展，桥梁的数目不断增多，桥梁的健康状况也因此成为了一个重要的问题，它不仅关系着我国的交通状况、经济状况，还关系着人民的安全，定期进行桥梁检测就很有必要。桥梁检测主要分为水上和水下两大部分，桥梁结构的正常使用过程中，由于水流冲刷作用，常会造成桩基缩颈，水下结构物出现表面裂缝、脱落、露筋等病害，严重影响桥梁结构安全。若无法及时有效的检测出这些表面缺陷，并采取相应的养护维护手段，可能会进一步向结构内部延伸导致大型安全事故的发生。

目前，桥梁的水下结构物表面缺陷检测主要分为人工检测和机器人检测，其中人工检测有着作业环境恶劣、不能长时间作业等缺点，而且具有巨大的安全隐患，检测效率低，检测结果还过分依赖于检测人员的主观判断；利用水下机器人进行检测时，通常搭载多波束检测系统、水下三维声呐扫测技术、水下高清摄像机、激光器等高效、精准的检测仪器设备；将水下机器人应用于桥梁检测中，不仅可以克服深水、大流速水域等人工检测无法进行的问题，而且能有效降低检测成本、提高工作效率。

但是，现有机器人针对水下结构物检测方法中多采用声学的方式，其检测精度不够高，对于裂缝等表面上的细小缺陷还是无法很好的得到检测效果；此外，对于光学相关的检测方式，需要耗费大量的人力对检测中采集到的图像进行人工判断，不仅成本高、效率低、受主观判断的影响还极易发生错检、漏检的情况，难以保证检测的准确性。

发明内容

有鉴于此，本发明的目的在于提供一种桥梁水下结构智能检测系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种桥梁水下结构智能检测系统，包括水下机器人、控制模块、通信模块、远程操作平台，其中水下机器人与控制模块电性连接；所述控制模块通过通信模块与远程操作平台电性连接；所述水下机器人包括图像采集装置和传感器，所述图像采集装置包括光学成像设备、声学成像设备或激光成像设备，其中光学成像设备、声学成像设备或激光成像设备分别与控制模块电性连接；所述传感器包括压力传感器、惯性测量传感器、水质传感器和姿态传感器，其中压力传感器、惯性测量传感器、水质传感器和姿态传感器分别与控制模块电性连接；所述远程操作平台包括PC端上位机，其中PC端上位机内安装有机器人控制软件、数据处理软件、数据库；所述机器人控制软件用于控制水下机器人的数据采集活动以及运动功能、采集成像功能和辅助照明清理功能；所述数据处理软件用于接收水下机器人的采集数据，进行数据处理；所述数据库用于存储管理处理后的采集数据、桥梁各项参数数据；所述数据处理软件基于Python语言构建，采用Qt Designer设计开发了包含各种功能控件的基本界面，通过调用PyQt5库将设计完成的ui格式文件转换为python文件，再调用PyQt5库中的控件子函数与模型函数实现各种检测基本功能。

优选地，所述数据处理软件中Qt Designer工具的基本界面包括工具箱、主界面、对象查看器、属性编辑器以及信号/槽编辑器；所述控件工具箱区域主要提供了按钮、单选框、文本框等可直接拖动于主界面程序中放置的多种基本控件；所述主界面区域则是用户用来放置各种控件的区域，Widget通用窗口和MainWindow主窗口是模板选项中最常用的两种，MainWindow主窗口中包含菜单栏和工具栏等部分；所述对象查看器区域主要用来查看主窗口放置的对象列表；所述属性编辑器区域则提供了各类窗口、控件以及布局的属性编辑功能，可以修改控件的大小、对象名等；所述信号/槽编辑器区域用来编辑或添加自定义的信号和槽函数。

优选地，所述数据处理软件还包括用户登录模块、图像/视频增强模块、缺陷检测模块和数据管理模块；所述用户登录模块包括管理员、普通用户和工程用户，便于不同使用者的账号的注册和登录；所述图像/视频增强模块包括直方图均衡化、白平衡、图像融合几种不同的图像增强方式，用于不同的环境选择不同方法对水下结构物表面缺陷数据库中的具体单张图像、文件夹、视频等进行处理，其中图像/视频增强模块还针对实时检测，预留了可实时显示处理视频的接口；缺陷检测模块包括图像/视频信息的读取、模型选择加载以及缺陷分割等功能，用于读取并检测水下结构物表面缺陷数据库中的具体单张图像、文件夹、视频等，同时也支持符合模型要求的本地数据，其中缺陷检测模块用于将检测后的结果保存至数据库或本地；数据管理模块用于对水下检测相关的数据信息进行存储，其中存储类别包括水下结构物的种类、地点、名称等基本信息，以及检测出缺陷图像、视频和相关信息，包含缺陷类型和严重程度。

优选地，所述光学成像设备包括多个水下高清相机和水下补光灯，其中多个水下高清相机由控制模块直接控制，用于根据桥梁表面的距离进行调焦，对水下环境进行近距离、多角度的实时检测以及图像采集；所述水下补光灯用于光线不足时为水下高清相机的拍摄提供光源，保证水下图像采集的清晰度。

优选地，所述声学成像设备包括水下声呐成像仪，其中水下声呐成像仪由控制模块直接控制，用于光线不足时，利用声呐探测原理对水下环境进行实时检测及图像采集。

优选地，所述激光成像设备包括水下激光成像探测仪，其中水下激光成像探测仪由控制模块直接控制，用于光线不足时，控制激光束的方向、功率、波长参数，获取水下目标的三维信息，完成对水下目标的成像。

优选地，所述压力传感器用于检测水压，从而确定当前深度以及保证水下机器人能在安全的水压下工作；惯性测量传感器用于测量水下机器人的加速度和角速度，帮助确定其姿态和速度，当水的流速过大水下机器人的加速度不能在水中保持平衡时应放弃检测；水质传感器用于测量水下机器人周围水体的物理和化学属性，例如温度、盐度和溶解氧，其中环境水温不应超出水下机器人任意组成部分所允许的工作范围；姿态传感器用于反映水下机器人位置状态，保证水下机器人在拍摄时能尽量保持水平。

一种桥梁水下结构智能检测方法，包括以下步骤：

S10、通过用户登录模块注册账号，并登录系统；

S20、利用远程操作平台上的机器人控制软件对水下机器人发送操作指令，用于控制水下机器人移动至指定位置，并通过多个水下高清相机对水下环境进行近距离、多角度的实时检测以及图像采集，然后将采集的图像信息通过通信模块传输至远程操作平台；

S30、通过远程操作平台内安装的数据处理软件对步骤S20中采集的图像进行增强处理；

S40、当需要检测采集到视频、图像等文件中的缺陷或在实际检测中辅助人工判断时，通过缺陷检测模块读取并检测水下结构物表面缺陷数据库中的具体单张图像、文件夹、视频等，并将检测后的结果保存至数据库或本地；

S50、通过数据管理模块对水下检测相关的数据信息进行存储，将结果按编号存储至数据库，在检测完成后对所有编号的数据进行汇总，数据处理软件调用数据库中数据与汇总后结果比对，得出结论。

优选地，所述在步骤S20中，当水下光线不足时，通过控制水下声呐成像仪利用声呐探测原理对水下环境进行实时检测及图像采集，同时开启水下激光成像探测仪控制激光束的方向、功率、波长参数，获取水下目标的三维信息，完成对水下目标的成像。

优选地，所述在步骤S30中，图像/视频增强模块在非实时检测时通过文件选择按钮读取单张图像、文件夹或视频文件，通过保存按钮选择处理后文件的保存地址，非实时检测中采用的处理方法为本文所提出的图像融合算法，处理花费时间较长，但处理后图像质量更高；实时检测时，则直接通过视频处理中的实时处理按钮进行处理，由于实时检测对处理速度具有一定的要求，其采用的处理方法为直方图均衡化算法。

优选地，所述在步骤S40中，缺陷检测模块首先通过UNet权重和检测文件按钮选择检测所采用的权重文件和检测后文件的保存路径；接着对本地文件进行检测时，通过导入文件按钮选择单张图像、文件夹或视频文件；实时检测时则通过摄像头打开、关闭按钮进行操作；考虑到实际工程应用中，对于检测人员的辅助作用及出现缺陷部位进一步详查等需求，在实时检测时，检测到有缺陷出现时会出现系统提示。

优选地，所述在步骤S50中，数据管理模块的存储类别包括水下结构物的种类、地点、名称等基本信息，以及检测出缺陷图像、视频和相关信息，包含缺陷类型和严重程度等，针对不同的严重程度采用红橙黄绿四种颜色指示，红色表示危险程度最高，橙色次之，依次递减。

与现有技术相比，本申请的技术方案具有以下有益技术效果：本发明通在远程操作平台内安装机器人控制软件和数据处理软件，其中机器人控制软件用于接收声学和光学的响应信号和运行计算机代码，并输出辨识水下结构发生损伤状况的结果，数据处理软件通过Qt Designer工具将桥梁水下结构损伤的智能化检测方法的计算公式和运算步骤储存在存储器上，通处理器即可直接读取并进行运算，能够直接输出结果，智能化、快速地对桥梁水下结构的损伤情况进行识别；省去了人为参与有效分量的辨识，避免了筛选结果的主观性，使得结果客观、真实地反应桥梁水下结构损伤情况，能够在试验环境下直接反映出桥梁水下结构的损伤情况，融合利用声学信号和光学信号，最后通过处理，智能化、快速地对既有桥梁水下结构损伤的识别，大大提高了工作效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明桥梁水下结构智能检测系统的结构示意图；

图2是本发明桥梁水下结构智能检测系统中Qt Designer工具基础界面布局图；

图3是本发明桥梁水下结构智能检测方法的流程示意图；

图4是本发明实施例中提供的水下结构物表面图像处理功能示意图；

图5是本发明实施例中提供的水下结构物表面缺陷检测功能示意图。

其中：1、水下机器人；101、图像采集装置；1011、水下高清相机；1012、水下补光灯；1013、水下声呐成像仪；1014、水下激光成像探测仪；102、传感器；1021、压力传感器；1022、惯性测量传感器；1023、水质传感器；1024、姿态传感器；2、控制模块；3、通信模块；4、远程操作平台；401、PC端上位机；402、机器人控制软件；403、数据处理软件；404、数据库；5、工具箱；6、主界面；7、对象查看器；8、属性编辑器；9、信号/槽编辑器；10、用户登录模块；11、图像/视频增强模块；12、缺陷检测模块；13、数据管理模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请结合参阅图1至图3，为实现上述目的，本实发明提供如下技术方案：一种桥梁水下结构智能检测系统，包括水下机器人1、控制模块2、通信模块3、远程操作平台4，其中水下机器人1与控制模块2电性连接，通信模块3分别与控制模块2和远程操作平台4电性连接用于传输操作指令，其中控制模块2用于接收水下机器人1采集的图像数据并传输至远程操作平台4；远程操作平台4包括PC端上位机401，其中PC端上位机401内安装有机器人控制软件402、数据处理软件403、数据库404；机器人控制软件402用于控制水下机器人1的数据采集活动以及运动功能、采集成像功能和辅助照明清理功能；数据处理软件403用于接收水下机器人1的采集数据，进行数据处理；数据库404用于存储管理处理后的采集数据、桥梁各项参数数据；数据处理软件403基于Python语言构建，采用Qt Designer设计开发了包含各种功能控件的基本界面，通过调用PyQt5库将设计完成的ui格式文件转换为python文件，再调用PyQt5库中的控件子函数与模型函数实现各种检测基本功能。

请参阅图1，作为本发明一种实施例，水下机器人1包括图像采集装置101和传感器102，其中图像采集装置101包括光学成像设备、声学成像设备或激光成像设备，传感器102包括压力传感器1021、惯性测量传感器1022、水质传感器1023和姿态传感器1024。

以上所述方案中，光学成像设备包括多个水下高清相机1011和水下补光灯1012，其中多个水下高清相机1011由控制模块2直接控制，用于根据桥梁表面的距离进行调焦，对水下环境进行近距离、多角度的实时检测以及图像采集，为了提高成像质量，拍摄距离不应过远，而且在光照不足情况下，水下机器人1必须通过水下补光灯1012为水下高清相机1011的拍摄提供光源，保证水下图像采集的清晰度。

进一步地，声学成像设备包括水下声呐成像仪1013，激光成像设备包括水下激光成像探测仪1014，其中水下机器人1除了配备水下高清相机1011外，该水下机器人1还配备了水下声呐成像仪1013和水下激光成像探测仪1014，其中水下声呐成像仪1013由控制模块2直接控制，用于光线不足时，利用声呐探测原理对水下环境进行实时检测及图像采集；水下激光成像探测仪1014由控制模块2直接控制，用于光线不足时，控制激光束的方向、功率、波长参数，获取水下目标的三维信息，完成对水下目标的成像，解决了在水下能见度低、水质浑浊的情况下，仅靠水下高清相机1011无法满足成像要求的微调，通过光学成像设备与声学成像设备或激光成像设备配合使用，大大提高图像数据的可靠性、准确性。

进一步地，压力传感器1021用于检测水压，从而确定当前深度以及保证水下机器人1能在安全的水压下工作；惯性测量传感器1022用于测量水下机器人1的加速度和角速度，帮助确定其姿态和速度，当水的流速过大水下机器人1的加速度不能在水中保持平衡时应放弃检测；水质传感器1023用于测量水下机器人1周围水体的物理和化学属性，例如温度、盐度和溶解氧，其中环境水温不应超出水下机器人1任意组成部分所允许的工作范围；姿态传感器1024用于反映水下机器人1位置状态，保证水下机器人1在拍摄时能尽量保持水平。

请参阅图2，作为本发明一种实施例，数据处理软件403中Qt Designer工具的基本界面包括工具箱5、主界面6、对象查看器7、属性编辑器8以及信号/槽编辑器9。

以上所述方案中，工具箱5区域主要提供了按钮、单选框、文本框等可直接拖动于主界面程序中放置的多种基本控件；主界面6区域则是用户用来放置各种控件的区域，Widget通用窗口和MainWindow主窗口是模板选项中最常用的两种，MainWindow主窗口中包含菜单栏和工具栏等部分；对象查看器7区域主要用来查看主窗口放置的对象列表；属性编辑器8区域则提供了各类窗口、控件以及布局的属性编辑功能，可以修改控件的大小、对象名等；信号/槽编辑器9区域用来编辑或添加自定义的信号和槽函数。

请参阅图1，作为本发明一种实施例，数据处理软件403还包括用户登录模块10、图像/视频增强模块11、缺陷检测模块12和数据管理模块13。

以上所述方案中，用户登录模块10包括管理员、普通用户和工程用户，便于不同使用者的账号的注册和登录；图像/视频增强模块11包括直方图均衡化、白平衡、图像融合几种不同的图像增强方式，用于不同的环境选择不同方法对水下结构物表面缺陷数据库中的具体单张图像、文件夹、视频等进行处理，其中图像/视频增强模块11还针对实时检测，预留了可实时显示处理视频的接口；缺陷检测模块12包括图像/视频信息的读取、模型选择加载以及缺陷分割等功能，用于读取并检测水下结构物表面缺陷数据库中的具体单张图像、文件夹、视频等，同时也支持符合模型要求的本地数据，其中缺陷检测模块12用于将检测后的结果保存至数据库404或本地；数据管理模块13用于对水下检测相关的数据信息进行存储，其中存储类别包括水下结构物的种类、地点、名称等基本信息，以及检测出缺陷图像、视频和相关信息，包含缺陷类型和严重程度。

请参阅图3，一种桥梁水下结构智能检测方法，包括以下步骤：

S10、通过用户登录模块10注册账号，并登录系统；

S20、利用远程操作平台4上的机器人控制软件402对水下机器人1发送操作指令，控制水下机器人1移动至指定位置，并通过多个水下高清相机1011对水下环境进行近距离、多角度的实时检测以及图像采集，然后将采集的图像信息通过通信模块传输至远程操作平台；

S30、通过远程操作平台4内安装的数据处理软件403对步骤S20中采集的图像进行增强处理；

S40、当需要检测采集到视频、图像等文件中的缺陷或在实际检测中辅助人工判断时，通过缺陷检测模块12读取并检测水下结构物表面缺陷数据库中的具体单张图像、文件夹、视频等，并将检测后的结果保存至数据库404或本地；

S50、通过数据管理模块13对水下检测相关的数据信息进行存储，将结果按编号存储至数据库404，在检测完成后对所有编号的数据进行汇总，数据处理软件调用数据库404中数据与汇总后结果比对，得出结论。

进一步地，在步骤S20中，当水下光线不足时，通过控制水下声呐成像仪1013利用声呐探测原理对水下环境进行实时检测及图像采集，同时开启水下激光成像探测仪1014控制激光束的方向、功率、波长参数，获取水下目标的三维信息，完成对水下目标的成像，选用水下声呐成像仪1013和水下激光成像探测仪1014能够在水下能见度低、水质浑浊的情况下与水下高清相机1011配合使用，有效提高图像数据的可靠性和准确性。

请参阅图4，作为本发明一种实施例，在步骤S30中，图像/视频增强模块11在非实时检测时通过文件选择按钮读取单张图像、文件夹或视频文件，通过保存按钮选择处理后文件的保存地址，非实时检测中采用的处理方法为本文所提出的图像融合算法，处理花费时间较长，但处理后图像质量更高；实时检测时，则直接通过视频处理中的实时处理按钮进行处理，由于实时检测对处理速度具有一定的要求，其采用的处理方法为直方图均衡化算法。

请参阅图5，作为本发明一种实施例，所述在步骤S40中，缺陷检测模块12首先通过UNet权重和检测文件按钮选择检测所采用的权重文件和检测后文件的保存路径，接着对本地文件进行检测时，通过导入文件按钮选择单张图像、文件夹或视频文件；实时检测时则通过摄像头打开、关闭按钮进行操作。对本地文件进行检测时，界面左侧所展示的是经过本文图像融合算法处理后的图像；实时检测时，界面右侧展示的则是直方图均衡化处理后的结果，其中界面右侧均展示检测结果。考虑到实际工程应用中，对于检测人员的辅助作用及出现缺陷部位进一步详查等需求，在实时检测时，检测到有缺陷出现时会出现系统提示。

进一步地，在步骤S50中，数据管理模块13的存储类别包括水下结构物的种类、地点、名称等基本信息，以及检测出缺陷图像、视频和相关信息，包含缺陷类型和严重程度等，针对不同的严重程度采用红橙黄绿四种颜色指示，红色表示危险程度最高，橙色次之，依次递减。

终上所述：本发明通在远程操作平台4内安装机器人控制软件402和数据处理软件403，其中机器人控制软件402用于接收声学和光学的响应信号和运行计算机代码，并输出辨识水下结构发生损伤状况的结果，数据处理软件403通过Qt Designer工具将桥梁水下结构损伤的智能化检测方法的计算公式和运算步骤储存在存储器上，通处理器即可直接读取并进行运算，能够直接输出结果，智能化、快速地对桥梁水下结构的损伤情况进行识别；省去了人为参与有效分量的辨识，避免了筛选结果的主观性，使得结果客观、真实地反应桥梁水下结构损伤情况，能够在试验环境下直接反映出桥梁水下结构的损伤情况，融合利用声学信号和光学信号，最后通过处理，智能化、快速地对既有桥梁水下结构损伤的识别，大大提高了工作效率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。