一种侧扫声呐图像化的入河入海水下排污口智能检测方法

技术领域

本发明涉及河岸线和海岸线的水下排污口检测技术领域，具体为一种侧扫声呐图像化的入河入海水下排污口智能检测方法。

背景技术

水环境保护是生态环境保护的重要部份，其中水下环境监测是水环境治理的重要环节，随着工业化和城市化的进程，水下排污情况越来越严重，给水域生态带来了巨大的压力，隐蔽的水下排污口逐渐成为了环境问题的一个焦点难点，对于这些排污口的实时和准确检测显得至关重要，目前许多水下排污口排查技术也应运而生，主要可以分为人工检测和机器检测。

人工检测一是排查人员根据目视观察周围环境和个人经验进行是否存在水下排污口的判断；二是通过潜水员或辅助工具来确认水下排污口存在。人工检测有作业风险高，效率低下而且成本高的问题。

机器检测主要通过水下机器人或是手持入水摄像设备提供的水下摄像头进行水下排污口检测，但是水下能见度低，光线不足，水下环境复杂，作业范围限制较大，且效果不理想。

发明内容

针对现有技术的不足，本发明提供了一种侧扫声呐图像化的入河入海水下排污口智能检测方法，解决了上述背景技术提到的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种侧扫声呐图像化的入河入海水下排污口智能检测方法，具体包括以下步骤：

S1、侧扫声呐采集水下数据：

选取不同地区、不同时间以及不同粗细和材质的水下排污口进行数据集构建，构建出超过一万张图像的数据集；

S2、侧扫声呐数据构建模型输入图像：

利用侧扫声呐发送声波到水下，并接收到返回的回声，根据回声的强度解析生成侧扫声呐数据，使用滑动窗口构建侧扫声呐系统采集解析后的数据为图片；

S3、构建用于模型训练的数据集：

河床分割数据集：

河岸在步骤S2构建好的声呐图片中表现为一条明显的分界线，亮处为河床，分界线为对应的河岸；

排污口检测数据集：

排污口在步骤S2构建好的声呐图片中表现为在河岸右侧一条明显的横向线条，不同排污口有不同长短粗细和明亮度；

S4、构建组合式高准确率模型检测机制：

采用河床分割模块和排污口检测模块，检测后的结果通过动态阈值模块输出符合条件的检测结果，通过组合式高准确率模型检测机制输入，该机制的输入为通过上述侧扫声呐采集数据模块和侧扫声呐数据构建模型输入图像模块预处理后的图像；

河床分割模型

河床分割模型是在排污口检测之前先进行语义分割，以减少搜索区域增强检测准确性，在河床分割模型后，对分割后的图像做后处理，使用图像处理中的膨胀和腐蚀操作，通过后处理后可以有效减少分割错误，防止检测目标排污口被分割走和河床分割不完全；

水下排污口检测模型：

使用yolov5模型作为排污口检测模型，输入是河床分割后的图像；

动态设置检测阈值：

在检测结果上，针对不同环境设计决策树来调整检测后的阈值；

S5、水下排污口位置及对应河岸图像输出：

缓存数据模块要求装配有左右摄像头、GPS模块，采集的左右两岸图像和GPS位置以及采集时间会进行缓存，其中图像缓存到存储硬盘文件夹中，GPS和采集时间会缓存在内存中；

水下排污口GPS位置通过组合式高准确率模型检测机制得到声呐图像上的最终检测框；

对应河岸的水上图像通过上述方式找到对应水下排污口的PingID和对应的左右河岸侧，可以在缓存读取到对应摄像头采集到图像。

有益效果

本发明提供了一种侧扫声呐图像化的入河入海水下排污口智能检测方法。与现有技术相比具备以下有益效果：

该侧扫声呐图像化的入河入海水下排污口智能检测方法，使用水下声呐系统，实现智能化检测与定位，易于搭载在水上设备中，提高了作业环境范围，极大降低了人工作业的风险，同时能节省成本；提供了完备的从声呐接入数据到最终检测结果智能化的完备的流程方法，易于实现整套系统的构建，降低了相对传统方法的人力投入；针对入河入海水下排污口具体场景的声呐数据构建方法，提高了数据集的构建效率和数据集的丰富完备性；使用了组合式高准确率模型检测机制，在模型上提出了针对河岸位置的YIOU优化方法，重点关注特定方向，同时提出了基于决策树的动态阈值，提高本系统的适应性，能够适用于更多样的环境，增强模型的检测精度和鲁棒性；自动化输出检测到的图片、对应河岸的位置和对应河岸的水上图片，不仅方便人工查验，同时接入相应的终端系统和后台系统，在现有技术下能够较容易实现自动化、智能化和数字化服务。

附图说明

图1为本发明的方法流程图；

图2为本发明检测场景示意图；

图3为本发明双侧声呐示意图；

图4为本发明左右声呐对比示意图；

图5为本发明左右声呐旋转对比示意图；

图6为本发明声呐图像中河床部分示意图；

图7为本发明声呐图像排污口位置示意图；

图8为本发明组合式高准确率模型检测机制示意图；

图9为本发明预处理后的声呐图像输入示意图；

图10为本发明河床分割后侧声呐图像示意图；

图11为本发明真实框和检测框的位置图；

图12为本发明调整阈值决策树示意图；

图13为本发明水下排污口检测模型检测结果示意图；

图14为本发明水下排污口对应河岸的水上图像示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图14，本发明提供下列技术方案：一种侧扫声呐图像化的入河入海水下排污口智能检测方法，具体包括以下步骤：

S1、侧扫声呐采集水下排污口数据：

为了构建一个覆盖场景丰富、图像质量高且标注准确的数据集，同时考虑河道湖泊两岸的环境丰富多样，本发明选取了不同地区、不同时间以及不同粗细和材质的水下排污口进行数据集构建，最终构建出超过一万张图像的数据集。不同地区要是由于不同水质，不同河岸环境，不同河床环境会影响侧扫声呐的扫描结果；不同时间是由于在同一地区不同的操作方式和水域变化影响侧扫声呐的扫描结果；不同粗细和材质的水下排污口是为了使数据集的检测目标种类更加完备。通过上述方式的采集能够使数据的背景环境和目标都更加的丰富和完备。

S2、侧扫声呐数据构建模型输入图像：

侧扫声呐的基本工作原理是发送声波到水下，并接收到返回的回声，根据回声的强度解析生成侧扫声呐数据，本发明使用滑动窗口构建侧扫声呐系统采集解析后的数据为图片，本发明将侧扫声呐单次发射脉冲到接收解析后的数据称作1Ping，不同的声呐Ping率或称采样率不同，本发明使用声呐采样间隔为100ms，1Ping数据对应到图像宽度为W

双侧图片分割成单侧，我们采集到侧扫声呐图片包含左侧和右侧声呐的数据，将侧扫声呐图片从中间分割形成左侧声呐图片和右侧声呐图片，其中将左侧声呐图片旋转180度，这样一张原图被切分为两张，图片数量为N

分割后的两张图片，附图4所示，(左侧图像对应声呐左侧扫描结果，越往左声呐信息对应实际地理位置离声呐越远；右侧图像对应声呐右侧扫描结果，越往右声呐信息对应实际地理位置离声呐越远。)

旋转后的两张图片(附图5所示)，(左侧图像旋转后，对应声呐左侧扫描结果，越往右声呐信息对应实际地理位置离声呐越远；右侧图像不变，对应声呐右侧扫描结果，越往右声呐信息对应实际地理位置离声呐越远)

S3、构建用于模型训练的数据集：

本发明的检测机制包含分河床分割模型和排污口检测模型，是因为岸线的入河入海水下排污口仅可能出现在河岸部分，河床部分属于干扰信息，河床分割模型为了去掉河床干扰信息，去掉河床后的数据进行水下排污口检测可以提高模型检测的准确度，本发明为两个模型提供了构建数据集的方法。

河床分割数据集

河岸在上述构建好的声呐图片中表现为一条明显的分界线，在左侧更亮处为河床，分界线为对应的河岸，河岸右侧出现水下排污口和噪声信息。下图做了红色标注的部份为河床，如附图6所示。

排污口检测数据集

排污口在上述构建好的声呐图片中表现为在河岸右侧一条较为明显的横向线条，不同排污口有不同长短粗细和明亮度。在下述声呐图像排污口位置图中，红色框的位置为排污口，如附图7所示。

S4、构建组合式高准确率模型检测机制：

本发明采用了河床分割模块和排污口检测模块，检测后的结果通过动态阈值模块输出符合条件的检测结果，一种组合式高准确率模型检测机制，该机制的输入为通过上述侧扫声呐采集数据模块和侧扫声呐数据构建模型输入图像模块预处理后的图像，如附图8和附图9所示。

河床分割模型

河床分割模型是在排污口检测之前先进行语义分割，以减少搜索区域增强检测准确性。在河床分割模型后，本发明对分割后的图像做后处理，主要目的是删除大小、形状或位置不合理的结果，根据先验知识河床仅出现在图像左侧，并且河床部分是完全填充，不会出现空洞且河床边界河岸是平滑的，本发明后处理方法使用了图像处理中的膨胀和腐蚀操作。通过后处理后可以有效减少分割错误，防止检测目标排污口被分割走和河床分割不完全，如附图10所示。

水下排污口检测模型

本发明使用yolov5模型作为排污口检测模型，输入是河床分割后的图像，并且优化了IOU，为针对河岸位置的YIOU(Y-axis distance IOU)，Y为图像y轴方向，对应实际中河岸沿线方，即考虑在y轴方向上的距离。

IOU(Intersection over Union)是物体检测和分割任务中常用的一个评估指标，用于衡量预测边界框与真实边界框之间的重叠度。考虑到本发明的模型更关注检测框在图像y方向上的位置，该位置反应到对应河岸上的位置，本发明的目标是要知道排污口在河岸的位置，针对这一目标，本发明设计了针对河岸位置的YIOU(Y-axis distance IOU)。

y

y

下图为真实框和检测框的位置图，其中红色p检测结果，蓝色g真实结果，对应为左上角和右下角的坐标，如附图11所示。

动态设置检测阈值

在检测结果上，针对不同环境设计了决策树来调整检测后的阈值，水下排污口检测模型检测结果中，score大于检测阈值的结果会被认为是水下排污口，为最终输出结果。在实际检测结果上我们发现河岸环境(土坝、石砌)，河岸水下杂草(少、多，多表示河岸50％以上区域有水下杂草)，河道宽度、河道类型(是否通航河道)会带来相应的噪声，对检测结果影响显著。通航河道中，河床很宽，相对应排污口扫描结果不明显，适当调低阈值；河岸环境中，土坝河岸比较粗糙，在声呐上河岸分界线会有起伏和较多毛刺，噪声较多，需要调高阈值，防止太多噪声被识别为目标；河岸水下杂草，杂草较多即遮挡住河岸，同样会带来跟多噪声影响检测结果，需要调高阈值；河道宽度，河道越窄，河岸会导致声呐的反射噪声，适当调高阈值。根据实际检测和相应实验，本发明设计了决策树来动态调整初始设定的阈值Score

Score

在工作中需要先输入上述4个属性，是否通航河道，岸边水下杂草，河岸环境和河道宽度，最终阈值会根据输入的数据进行调整，从而达到最佳效果。在非河道水域中，入海洋、湖泊、水库等环境，河道宽度为声呐离岸线距离的两倍，在检测过程只会检测靠岸的一侧声呐图像。下图为本发明组合式高准确率模型检测机制的检测结果，只有score大于阈值的结果会被输出，检测红框即是声呐图像上为水下排污口的位置，如附图13所示。

S5、水下排污口位置及对应河岸图像输出：

缓存数据

本模块要求装配有左右摄像头、GPS模块，采集的左右两岸图像和GPS位置以及采集时间会进行缓存，其中图像缓存到存储硬盘文件夹中，GPS和采集时间会缓存在内存中。在采集声呐数据时每一Ping数据都有唯一ID，本发明称作PingID,同时采集到的有声呐数据、左右两岸图像、采集时间和GPS坐标，与唯一PingID进行关联。在侧扫声呐数据构建模型输入图像模块中，采集声呐数据图像高度为H

水下排污口GPS位置

通过组合式高准确率模型检测机制我们得到声呐图像上的最终检测框，其中左上角坐标为(x

y

y

同时根据声呐输入可以确定当前水下排污口位于左岸还是右岸，已知声呐设备GPS位置，到对应河岸的距离，可以计算水下排污口在对应河岸的GPS坐标。

对应河岸的水上图像

通过上述方式找到对应水下排污口的PingID和对应的左右河岸侧，可以在缓存读取到对应摄像头采集到图像，如下图为水下排污口对应河岸的水上图像，该图像中排污口大部分位于水下，本系统也能检测完全位于水下的排污口，通过水上图像和GPS可以更容易确定实际位置，如附图14所示。

在实际实施中，本发明的模型在开发过程中构建，后续实际排查工作中将本发明的构建输入图像、组合式高准确率模型检测机制包含模型、动态设置检测阈值和水下排污口位置及对应河岸图像输出程序部署在计算服务系统中即可运行。

图2为本发明应用的检测场景和工作方式示意图，其中检测目标排污口位于水下且在岸边，扫描设备为侧扫声呐，侧扫声呐能同时向左右两侧发送声波并接受返回信息(上图仅画出右侧河岸的对应信息，若是河道中则同时扫描检测两岸信息；若是大型水域海洋、湖泊等，则只扫描检测单侧岸的信息)，将数据传入本发明的系统中，其中声呐通过船载或其它水上设备携带置于水下，且声呐量程要满足能够扫描到河岸，同时船上或水上设备携载有装配本发明系统的计算服务系统、GPS模块和左右两侧摄像机。

同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。