基于视觉系统的小微水体状态实时监控方法、系统及装置

技术领域

本发明涉及水环境管理技术领域，更具体的说是涉及一种基于视觉系统的小微水体状态实时监控方法、系统及装置。

背景技术

“小微水体”是指分布在城市和乡村的沟、渠、溪、塘等，其特点是规模小、数量多、流动性差、自净化弱。小微水体不仅有生态涵养价值，而且大多数在群众身边，与群众的生产生活关系最为密切。全国水生态环境保护工作会议指出，干流是江河湖库的“大动脉”，沟、渠、塘、坝等小微水体是江河湖库的“毛细血管”。随着城郊、农村生产生活中的污染源不断增多，不少建筑余泥、漂浮物、畜禽养殖粪污等排入水体，导致支流小微水体不堪重负，不仅影响周边生态环境，而且会降低群众对水环境的感知价值和幸福感。同时，干流水环境的好坏与支流汇水情况紧密相关。小河小溪小支流是大江大河、国控断面干流的活水源头，其水质好坏直接影响国控断面水质指标。近年，我国治水工作从大江大湖向小微水体延伸，以河湖长制为抓手，全面推进小微水体治理管护。目前，小微水体的治理保护还存在短板，

(1)微型水站自动监测系统可以准确掌握小微水体水质状况，但是无法判断小微水体感观方面的状态是否存在问题，比如小微水体岸周及水体表面是否有漂浮漂浮物，是否有异味释放等现象。

(2)无人机航飞巡查技术可以准确掌握小微水体表面异常，比如岸周及水体表面有漂浮物存在，岸边有污水直排等，但是对于水质状况无法准确判断。

(3)小微湿地动态监测方法仅能判断水体干湿交替状况，无法识别岸周、水面及水质异常。

(4)小微水体调查审核系统过于依赖人工，需要现场管理人员识别水体异常状况，并手动输入到系统中，且无法对水质异常状态进行准确判别。

综上所述，行业目前现有的小微水体状态实时监控技术无法同时识别岸周、水面和水质异常。由于小微水体数量众多，运维人员多为周边居民，专业知识缺乏，需要统筹考虑状态实时监控装置的成本经济、运行持续和操作简单。

因此，需要加强对小微水体状态的实时监测和管控，准确掌握小微水体健康状态，以便于小微水体功能维护。

发明内容

有鉴于此，本发明提供了一种基于视觉系统的小微水体状态实时监控方法、系统及装置，以解决背景技术中存在的问题。

为了实现上述目的，本发明提供如下技术方案：

第一方面，本发明公开的一种基于视觉系统的小微水体状态实时监控方法，具体步骤如下：

获取小微水体监测数据，所述监测数据包括现状水质数据、历史水质数据、现状水体视频数据和历史水体视频数据；

构建水体状态监控模型，将所述现状水质数据和所述现状水体视频数据作为输入对预设阈值比较，输出水体状态；

构建水体状态预测模型，将现状水质数据、历史水质数据、现状水体视频数据和历史水体视频数据以及水体状态作为数据集对所述水体状态预测模型进行训练，得到率定后的水体状态预测模型，根据所述水体状态预测模型，得到未来时刻的水体状态。

进一步，根据未来时刻的所述水体状态，通过对预设阈值比较进行判断，得到预警等级，根据预警等级反馈给管理人员；

优选的，在上述的一种基于视觉系统的小微水体状态实时监控方法中，构建所述水体状态预测模型，具体步骤包括：

采用基于神经网络的多任务模型；所述基于神经网络的多任务模型包括输入层、特征映射层和输出层；

所述输入层用于输入水体状态数据，其中水体状态数据包括水质常规参数数据、水面图像数据及水面感官参数数据的综合信息；

所述特征映射层由四层隐含层组成，前两层用于提取水体的综合特征；

后两层用于提取水体的深层特征并用于各自的任务训练；

所述输出层用于输出水体状态；

其中，所述特征映射层通过历史水质数据建立水质数据与水质类别、水体指标预测结果之间的非线性映射关系，根据水质常规参数数据、水面图像数据及水面感官参数数据进行预测。

优选的，在上述的一种基于视觉系统的小微水体状态实时监控方法中，还包括构建水体污染物识别模型具体步骤如下：

根据所述水体状态监控模型确定的水体状态，初步确定感兴趣区域；

采集所述感兴趣区域视频数据，截取视频数据的图像数据，并进行预处理，得到灰度图像；

基于全卷积神经网络，建立漂浮物识别模型，并将灰度图像输入至漂浮物识别模型，得到漂浮物种类和占比，即水面漂浮物数据和岸边漂浮物数据；

根据采集到的水面漂浮物和岸边漂浮物的种类和占比，进行污染加权计算，得到感兴趣区域污染物分布状态；并确定污染源位置。

优选的，在上述的一种基于视觉系统的小微水体状态实时监控方法中，所述漂浮物识别模型识别过程包括：

遍历所述灰度图像的像素点，计算相邻像素点的色差；

将所述色差与预设的色差临界值进行比对，当所述色差达到所述色差临界值时，将两个像素点标记为轮廓点；

连接标记的相邻的轮廓点，得到闭合轮廓，并计算各闭合轮廓的像素点总数；

计算所述像素点总数达到预设的总数阈值的轮廓数量，作为漂浮物污染特征。

优选的，在上述的一种基于视觉系统的小微水体状态实时监控方法中，还包括：根据漂浮物污染特征与所述水体状态相匹配，得到污染物指标。

第二方面，本发明公开了一种基于视觉系统的小微水体状态实时监控系统，包括：

数据获取模块，获取小微水体监测的现状水质数据、历史水质数据、现状水体图像数据、历史水体图像数据、现状水体感官数据和历史水体感官数据；现状水质数据通过水质自动监测装置监测获得，现状水体图像数据通过无人机或无人船获得；现状水体感官数据通过自动传感器获得；

输入模块，输入所述数据获取模块获得的数据；

水体状态监控模型构建模块，将所述现状水质数据、所述现状水体图像数据和现状水体感官数据作为输入对预设阈值比较，其中水体状态监控模型存储在处理器中；

水体状态预测模型构建模块，将现状水质数据、历史水质数据、现状水体图像数据和历史水体图像数据以及水状感官状态作为数据集对所述水体状态预测模型进行训练，得到率定后的水体状态预测模型，根据所述水体状态预测模型，得到未来时刻的水体状态，其中，水体状态预测模型存储在处理器中；

输出模块，输出当前时刻和未来时刻的水体状态。

优选的，在上述的一种基于视觉系统的小微水体状态实时监控系统中，所述水体状态预测模型包括：

输入层、特征映射层和输出层；

所述输入层用于输入水体状态数据，其中水体状态数据包括水质常规参数数据、水面图像数据及水面感官参数数据的综合信息；

所述特征映射层由四层隐含层组成，前两层用于提取水体的综合特征；

后两层用于提取水体的深层特征并用于各自的任务训练；

所述输出层用于输出水质类别和水体指标预测结果；

其中，所述特征映射层通过历史水质数据建立水质数据与水质类别、水体指标预测结果之间的非线性映射关系，根据水质常规参数数据、水面图像数据及水面感官参数数据进行预测。

优选的，在上述的一种基于视觉系统的小微水体状态实时监控系统中，所述水体污染物识别模型构建模块包括：

感兴趣区确定单元，根据所述水体状态监控模型确定的水体状态，初步确定感兴趣区域；

预处理单元，采集所述感兴趣区域视频数据，截取视频数据的图像数据，并进行预处理，得到灰度图像；

模型构建单元，基于全卷积神经网络，建立漂浮物识别模型，并将灰度图像输入至漂浮物识别模型，得到漂浮物种类和占比，即水面漂浮物数据和岸边漂浮物数据；

定位单元，根据采集到的水面漂浮物和岸边漂浮物的种类和占比，进行污染加权计算，得到感兴趣区域污染物；并确定污染源位置。

优选的，在上述的一种基于视觉系统的小微水体状态实时监控系统中，所述模型构建单元包括：

色差计算子单元，遍历所述灰度图像的像素点，计算相邻像素点的色差；

标记子单元，将所述色差与预设的色差临界值进行比对，当所述色差达到所述色差临界值时，将两个像素点标记为轮廓点；连接标记的相邻的轮廓点，得到闭合轮廓，并计算各闭合轮廓的像素点总数；

输出子单元，计算所述像素点总数达到预设的总数阈值的轮廓数量，作为漂浮物污染特征。

第三方面，本发明公开的一种基于视觉系统的小微水体状态实时监控装置，包括：

图像拍摄装置，所述图像拍摄装置搭载在无人机或无人船上，并与图像库无线通信；

气味感知传感器：获取气味感知指标；

水质监测传感器组：获取水体的水温、pH值、溶解氧、电导率、浊度、氧化还原电位、透明度、COD、氨氮和总磷常规指标；

数据处理装置的输入端分别与所述图像拍摄装置、气味感知传感器、所述水质监测传感器组电性连接；所述数据处理装置的输出端与数据储传装置连接；

数据储传装置包括存储模块和传输模块，存储模块对测得水质结果进行统计分析，传输模块将可视化输出；

数据库，所述数据库与所述数据处理装置电性连接，所述数据库存储各类污染的问题指纹库、各类气味及其等级阈值和多种水体指标；

预警装置，与存储的历史数据进行对比，结合水体时空变化规律向用户提供报警信息。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于视觉系统的小微水体状态实时监控方法、系统及装置，首先，通过构建水体状态监控模型根据水质常规参数数据、水面图像数据及水面感官参数数据与预设阈值进行比较，得到当前水体状态；其次，结合历史数据与现状水体状态，构建水体状态预测模型，对未来时刻的水体状态进行预测，同时当前水体状态结合无人机采集视频图像，建立漂浮物识别模型，对岸边和水面漂浮物进行识别，用于定位污染源，除此之外，构建水体变化趋势预测模型，得到水体变化趋势，根据未来时刻水体状态等级进行预警判断，并反馈给管理人员进行预警。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明的系统结构框图；

图3为本发明的装置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于视觉系统的小微水体状态实时监控方法，如图1所示，具体步骤如下：

获取小微水体监测数据，所述监测数据包括现状水质数据、历史水质数据、现状水体视频数据和历史水体视频数据；

构建水体状态监控模型，将所述现状水质数据和所述现状水体视频数据作为输入对预设阈值比较，输出水体状态；

构建水体状态预测模型，将现状水质数据、历史水质数据、现状水体视频数据和历史水体视频数据以及水体状态作为数据集对所述水体状态预测模型进行训练，得到率定后的水体状态预测模型，根据所述水体状态预测模型，得到未来时刻的水体状态。

为了进一步优化上述技术方案，还包括：构建水体变化趋势预测模型，对所述水质数据和所述水体视频数据进行预处理，送入长短期记忆网络进行训练，保存最优参数模型，得到水体变化趋势。

进一步，构建水体变化趋势预测模型具体步骤如下：

获取各项参数数据；

求解上包络线和下包络线，并计算上述包络线的平均值，以及传感器数据信号与平均值的差值；

经验模态分解，根据所述差值判断是否满足IMF分量的条件，得到所有IMF分量；

对所述IMF分量进行希尔伯特黄变换，得到特征数据；

将所述特征数据进行数据清洗并划分训练集、验证集和测试集；

将划分后的数据送入长短期记忆网络中训练和验证，并保存下最优参数模型，对数据进行测试，以得到预测结果。

具体地，求解上包络线和下包络线具体步骤包括：求解所述传感器数据信号中所有局部极大值和局部极小值，找出所述传感器数据信号中所有局部极大值并用三次样条函数连接成上包络，以及用三次样条插值函数连接所有局部极小值构成下包络；

更进一步，其中，判断所述差值是否为IMF分量的应满足条件包括：

S1所述差值关于时间轴局部对称；

S2在所述差值的离散信号序列中，极值点的个数与过零点的个数相等或最多相差1；

S3筛选过程终止原则，通过利用两个连续的处理结果之间的标准差SD作为判断依据；

S4当差值满足标准差SD的值要求时，称该差值为第一阶IMF分量；

S5将所述传感器数据信号作为原信号，从所述原信号中减去所述差值得到剩余信号，即残差；

S6将所述残差作为所述原信号，重复S3至S5的经验模态分解过程，通过多次运算得到全部的IMF分量和残差，当所述残差满足下列两个条件之一时，所述经验模态分解过程终止：

所述差值和所述残差小于预定的误差，或所述残差成为一单调函数；

更进一步，将划分后的特征数据集送入长短期记忆网络中，通过输入层，进入两个隐藏层，对于时间序列预测任务中，在输出层后加上一层全连接层，最后得到预测结果；根据预测结果能够合理的推测水体水质变化，并对改良水体污染具有指导意义。

为了进一步优化上述技术方案，构建所述水体状态预测模型，具体步骤包括：

采用基于神经网络的多任务模型；所述基于神经网络的多任务模型包括输入层、特征映射层和输出层；

所述输入层用于输入水体状态数据，其中水体状态数据包括水质常规参数数据、水面图像数据及水面感官参数数据的综合信息；

所述特征映射层由四层隐含层组成，前两层用于提取水体的综合特征；

后两层用于提取水体的深层特征并用于各自的任务训练；

所述输出层用于输出水体状态；

其中，所述特征映射层通过历史水质数据建立水质数据与水质类别、水体指标预测结果之间的非线性映射关系，根据水质常规参数数据、水面图像数据及水面感官参数数据进行预测。

进一步，构建所述水体状态监控预测模型，具体步骤包括：

对水质样本进行聚类分析，求解得到降维矩阵；

构建水体状态预测模型，所述水质状态预测模型由三层前馈神经网络模型、偏最小二乘模型和支撑向量回归模型集成而成；

利用历史水质常规数据和历史感官参数数据对所述水体状态预测模型进行训练调整三个子模型参数，得到最优水质集成模型；

输入待测数据，到最优水质集成模型，得到未来时刻的水体状态。

获取水质样本，并根据感官参数数据和所述水质常规参数数据通过k最邻近算法对所述水质样本进行聚类分析；

通过奇异值分解算法将所述聚类分析后的水质样本降维为矩阵，所述矩阵包括：左奇异向量矩阵、奇异值矩阵和右奇异向量矩阵，保留所述矩阵中k′个奇异值和奇异向量，将所述矩阵输入前馈神经网络模型进行训练获取隐结点权重，将所述隐结点权重作为三层前馈神经网络模型的结果；以及，获取k′次k′折验证，将所述k′次k′折验证中PRESS统计量最小的k′折验证的结果作为偏最小二乘模型的结果；以及，通过序贯最小优化算法获取支撑向量机的支撑向量以及权重，并将所述支撑向量和权重保存为支撑向量回归模型的结果，其中，支撑向量模型的输入为所述聚类分析后的水质样本降维的结果，选择的参数为非齐次多项式核函数，次数为k′≥2的自然数，对于每个支撑向量的权重最大值设置为1；并根据所述三层前馈神经网络模型的结果、偏最小二乘模型的结果、支撑向量回归模型获取集成模型；根据所述集成模型为待测水样进行水体状态预测，输出水体状态。

根据所述三层前馈神经网络模型的结果、偏最小二乘模型的结果、支撑向量回归模型的结果获取集成模型中各模型的权重，包括：在样本数据库中分别使用前馈神经网络模型、偏最小二乘模型、支撑向量回归模型进行评分，分别筛选出三个模型中评分误差小于25％的数据，根据每组数据的数量作为权重，并进行加权品均获得集成模型的评分。

为了进一步优化上述技术方案，构建水体污染物识别模型具体步骤如下：

根据所述水体状态监控模型确定的水体状态，初步确定感兴趣区域；

采集所述感兴趣区域视频数据，截取视频数据的图像数据，并进行预处理，得到灰度图像；

基于全卷积神经网络，建立漂浮物识别模型，并将灰度图像输入至漂浮物识别模型，得到漂浮物种类和占比，即水面漂浮物数据和岸边漂浮物数据；

根据采集到的水面漂浮物和岸边漂浮物的种类和占比，进行污染加权计算，得到感兴趣区域污染物分布状态；并确定污染源位置。

为了进一步优化上述技术方案，所述漂浮物识别模型识别过程包括：

遍历所述灰度图像的像素点，计算相邻像素点的色差；

将所述色差与预设的色差临界值进行比对，当所述色差达到所述色差临界值时，将两个像素点标记为轮廓点；

连接标记的相邻的轮廓点，得到闭合轮廓，并计算各闭合轮廓的像素点总数；

计算所述像素点总数达到预设的总数阈值的轮廓数量，作为漂浮物污染特征。

为了进一步优化上述技术方案，还包括：根据漂浮物污染特征与所述水体状态相匹配，得到污染物指标。

另一方面，如图2所示，本发明公开的一种基于视觉系统的小微水体状态实时监控系统，包括：

数据获取模块，获取小微水体监测的现状水质数据、历史水质数据、现状水体图像数据、历史水体图像数据、现状水体感官数据和历史水体感官数据；现状水质数据通过水质自动监测装置监测获得，现状水体图像数据通过无人机或无人船获得；现状水体感官数据通过自动传感器获得；

输入模块，输入所述数据获取模块获得的数据；

水体状态监控模型构建模块，将所述现状水质数据、所述现状水体图像数据和现状水体感官数据作为输入对预设阈值比较，其中水体状态监控模型存储在处理器中；

水体状态预测模型构建模块，将现状水质数据、历史水质数据、现状水体图像数据和历史水体图像数据以及水状感官状态作为数据集对所述水体状态预测模型进行训练，得到率定后的水体状态预测模型，根据所述水体状态预测模型，得到未来时刻的水体状态，其中，水体状态预测模型存储在处理器中；

输出模块，输出当前时刻和未来时刻的水体状态。

为了进一步优化上述技术方案，所述水体状态预测模型包括：

输入层、特征映射层和输出层；

所述输入层用于输入水体状态数据，其中水体状态数据包括水质常规参数数据、水面图像数据及水面感官参数数据的综合信息；

所述特征映射层由四层隐含层组成，前两层用于提取水体的综合特征；

后两层用于提取水体的深层特征并用于各自的任务训练；

所述输出层用于输出水质类别和水体指标预测结果；

其中，所述特征映射层通过历史水质数据建立水质数据与水质类别、水体指标预测结果之间的非线性映射关系，根据水质常规参数数据、水面图像数据及水面感官参数数据进行预测。

为了进一步优化上述技术方案，所述水体污染物识别模型构建模块包括：

感兴趣区确定单元，根据所述水体状态监控模型确定的水体状态，初步确定感兴趣区域；

预处理单元，采集所述感兴趣区域视频数据，截取视频数据的图像数据，并进行预处理，得到灰度图像；

模型构建单元，基于全卷积神经网络，建立漂浮物识别模型，并将灰度图像输入至漂浮物识别模型，得到漂浮物种类和占比，即水面漂浮物数据和岸边漂浮物数据；

定位单元，根据采集到的水面漂浮物和岸边漂浮物的种类和占比，进行污染加权计算，得到感兴趣区域污染物；并确定污染源位置。

为了进一步优化上述技术方案，所述模型构建单元包括：

色差计算子单元，遍历所述灰度图像的像素点，计算相邻像素点的色差；

标记子单元，将所述色差与预设的色差临界值进行比对，当所述色差达到所述色差临界值时，将两个像素点标记为轮廓点；连接标记的相邻的轮廓点，得到闭合轮廓，并计算各闭合轮廓的像素点总数；

输出子单元，计算所述像素点总数达到预设的总数阈值的轮廓数量，作为漂浮物污染特征。

为了进一步优化上述技术方案，还包括匹配单元，根据漂浮物污染特征与所述水体状态相匹配，得到污染物指标。

本发明的另一实施例公开了一种基于视觉系统的小微水体状态实时监控装置，如图3所示，包括：

图像拍摄装置，所述图像拍摄装置搭载在无人机或无人船上，并与图像库无线通信；

气味感知传感器：获取气味感知指标；

水质监测传感器组：获取水体的水温、pH值、溶解氧、电导率、浊度、氧化还原电位、透明度、COD、氨氮和总磷常规指标；

数据处理装置的输入端分别与所述图像拍摄装置、气味感知传感器、所述水质监测传感器组电性连接；所述数据处理装置的输出端与数据储传装置连接；

数据储传装置包括存储模块和传输模块，存储模块对测得水质结果进行统计分析，传输模块将可视化输出；

数据库，所述数据库与所述数据处理装置电性连接，所述数据库存储各类污染的问题指纹库、各类气味及其等级阈值和多种水体指标；

预警装置，与存储的历史数据进行对比，结合水体时空变化规律向用户提供报警信息。

进一步，预警装置中还包括：构建水体变化趋势预测模型，对所述水质数据和所述水体视频数据进行预处理，送入长短期记忆网络进行训练，保存最优参数模型，得到水体变化趋势。

以下以浊度为例，获取根据浊度历史数据；

求解上包络线和下包络线，并计算上述包络线的平均值，以及传感器数据信号与平均值的差值；

经验模态分解，根据所述差值判断是否满足IMF分量的条件，得到所有IMF分量；

对所述IMF分量进行希尔伯特黄变换，得到特征数据；

将所述特征数据进行数据清洗并划分训练集、验证集和测试集；

将划分后的数据送入长短期记忆网络中训练和验证，并保存下最优参数模型，对数据进行测试，以得到预测结果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。