水体营养盐和化学需氧量的陆基遥感监测方法
文献发布时间:2023-06-19 11:02:01
技术领域
本发明属于遥感监测技术领域,具体涉及水体营养盐和化学需氧量陆基遥感监测方法。
背景技术
清洁水源直接关系到每个人的生命健康与生命安全,是最基本的民生问题,事关国计民生和社会经济可持续发展。此外,联合国2015-2030年可持续发展目标6就是要确保获得足够清洁饮用水。从20世纪70、80年代开始,随着我国社会经济快速发展和流域污染负荷显著增加,河流、湖泊、水库、海湾等地表水体水污染、水环境、水资源和水生态问题日益严峻。近年来随着水污染控制、水环境治理、水生态修复和生态文明建设的持续推进,我国地表水体水环境已有明显改善,但仍面临严峻形势。
准确快速的水环境监测是掌握我国地表水水质变化特征,开展水环境成因机制分析、评价评估、治理修复和管理考核的重要基石,无论是科学研究还是环境管理以及政府决策很大程度上都非常依赖地表水环境质量监测结果。目前国家及地方生态环境行政主管部门通过在重点河流、湖库、饮用水源地等设置监测断面以了解重要水体的污染程度及其变化情况。
氮磷营养盐和化学需氧量是地表水环境监测的核心指标,传统的断面人工采样监测费时费力且时间和空间频率均非常低,数据离散,时效性差。水下探头高频在线监测能解决时间上的连续观测,但探头易于损耗和受水况环境干扰造成监测精度不稳定,可监测指标有限,总氮、总磷、化学需氧量等关键参数自动监测结果与常规实验室监测分析数据存在系统误差,使用受到限制,并且后期管理和维护成本较高。航空航天和无人机遥感监测能实现不同空间尺度关键水质参数的遥感反演,但氮磷营养盐和化学需氧量观测精度低,也很难解决时间上连续观测,并且由于云雨天况和大气校正影响,其监测效果不佳。并且对于小型湖库、河流及重要断面,卫星遥感的低空间分辨率将使其失去监测能力,只能通过Landsat、Sentinel、高分等陆地中高分辨率卫星观测,但这些卫星重访周期长、波段宽、信噪比低和非水色波段设置等缺点限制其在小型湖水库、河流及重要断面水环境遥感应用。
发明内容
本发明目的在于构建基于陆基(也可称为地基、岸基)高光谱成像仪的复杂场景下水体营养盐和化学需氧量遥感监测方法,可以实现不同天况和水况环境下总氮、总磷和化学需氧量的快速实时遥感监测,提升生态环境监测自动化和智能化水平,适用于河流、湖库、湿地、近海和远海等不同类型水体,同时操作方法简便,易于维护,便与推广和应用。
为实现上述目的,本发明采用如下技术方案:
水体营养盐和化学需氧量陆基遥感监测方法,包括如下步骤:
S1、将高光谱成像仪架设于不同类型水体岸边进行不同观测场景下水体遥感反射比连续高频自动观测;所述不同观测场景指不同天况、水况的水体遥感反射比;
S2、现场定时采集表层水样,测定水样总氮、总磷、化学需氧量浓度数据;
S3、匹配同步观测的遥感反射比和总氮、总磷、化学需氧量浓度数据,构建覆盖不同类型水体、各类观测场景的同步样本数据集;
S4、利用机器学习模型训练数据集,建立总氮、总磷和化学需氧量浓度陆基(地基、岸基)遥感反演模型;
S5、将建立的反演模型根植到S1所述高光谱成像仪中,实现无人值守下表层水体氮磷营养盐和化学需氧量快速实时高频自动连续监测。
本发明所述水体可以是溪流、河流、池塘、沼泽、湿地、湖泊、水库等内陆水体,也可以是海湾、近海和远洋等海洋水体。
进一步的,所述不同类型水体包括污染水平和清洁程度不同的内陆/海洋水体,所述天况包括不同天气状态(小雨、阴天、多云和晴天)、不同时间段(上午8:30到下午18:00);所述水况包括不同风浪程度、不同浑浊度、不同水华程度。
进一步的,所述高光谱成像仪通过固定装置架设于岸边,所述固定装置包括固定于岸边的支杆和活动连接于支杆上端向水体方向延伸的延伸杆;所述高光谱成像仪固定于延伸杆上。所述的支杆可以是电线杆、钢管等。
进一步的,所述固定装置上还设有包含数据存储装置的控制箱和太阳能供电装置。
进一步的,所述固定装置上安装RGB相机,用于视频监控观测点位水面及陆地各类干扰情况。
进一步的,所述高光谱成像仪离水面高度为4-5m。
进一步的,所述水体遥感反射比连续高频自动观测指采用光谱仪双通道同步测定向上辐照度和向下辐照度,计算向上辐照度与向下辐照度比值得到遥感反射比;观测频次根据需求可以设置为数秒到数小时不等。
进一步的,所述采集的表层水样为水面以下50cm范围内的水柱。
进一步的,所述采集的表层水样采用传统化学分析的方式测定总氮、总磷、化学需氧量浓度;所述定时采样的时间尺度为小时或天。
进一步的,所述同步样本数据集覆盖各类不同观测场景,涵盖较大的总氮、总磷和化学需氧量浓度范围,样本数据集要超过300个同步样本,以保证遥感反演算法精度和普适性。
进一步的,在400-900nm中每间隔10nm取值,选取共51个波长对应的遥感反射比作为输入要素;总氮、总磷和化学需氧量浓度作为输出要素,建立机器学习模型。本发明根据总氮、总磷和化学需氧量的光谱反射变化以及与遥感反射比的相关系数,并考虑悬浮物和溶解性有机物对遥感反射比的影响,选取400-900nm中51个波长对应的遥感反射比作为输入,针对复杂场景及不同的机器学习模型均有较好的效果。
进一步的,对机器学习模型输入数据进行预处理,剔除反射比为1的饱和数据,之后基于均值方差归一化方法对数据进行归一化处理。
进一步的,基于高斯过程回归、神经网络和随机森林模型训练样本数据集,建立总氮、总磷和化学需氧量陆基(地基、岸基)遥感反演模型。
进一步的,基于BP神经网络训练样本数据集,输入层到隐含层激励函数为正切S型函数,隐含层到输出层激励函数为线性输出函数,训练函数为Levenberg Marquardt算法,隐含层节点数为10。
进一步的,基于高斯过程回归训练样本数据集,选用Squared Exponential核建立模型,通过数据子集近似法获取核函数参数,即超参数,采用拟牛顿方法进行求得超参数最优解。
进一步的,基于随机森林模型训练样本数据集,设置决策树个数为50,最小叶子节点样本数为5,建立回归模型。
陆基遥感由于不需要进行大气校正,精度高,能实现不同天况和水况下水体氮磷营养盐和化学需氧量连续高频监测,自动化水平高。此外由于高光谱成像仪是架设在大气而非水体中,其能耗和损耗非常小,精度能保证,后期运营维护非常方便,能够解决河流断面和近岸重点水域数平方公里范围内氮磷营养盐和化学需氧量高空间和高时间连续协同观测。然而到目前为此,还没有人提出水体营养盐和化学需氧量陆基(地基、岸基)遥感监测方法并开展实践应用。
本发明的有益效果是:
(1)与传统的航天航空和无人机遥感相比,本发明提出的陆基(地基、岸基)遥感监测方法不需要进行大气校正,也适用于小雨、阴天和多云条件,拓展光谱成像时间范畴,并且光谱分辨率高,总氮、总磷和化学需氧量关键水环境参数遥感反演精度非常高。
(2)与已有的地物光谱仪或者高光谱成像仪相比,本发明高光谱成像仪可以实时自动高频监测,做到无人值守。
(3)该发明算法能实现不同天况、水况等各种复杂场景下水体总氮、总磷和化学需氧量连续高频监测,可以广泛应用于不同类型水体水环境遥感反演、富营养化和地表水环境质量评价研究,深化水环境形成的基础理论和防控技术研究。
(4)该算法依托的高光谱成像仪是架设在大气而非水体中,属于非接触式观测,与传统的水下探头接触式监测相比,其能耗低、损耗小,受风浪等外界环境影响非常有限,因此观测和算法精度能保证,后期运营维护非常方便。
附图说明
图1为本发明水体营养盐和化学需氧量陆基遥感监测方法流程图。
图2为本发明实施案例中陆基遥感连续高频自动观测示意图。
图3为本发明实施案例中总氮神经网络模型构建与验证对照图,从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图4为本发明实施案例中总氮高斯过程回归模型构建与验证对照图,从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图5为本发明实施案例中总氮随机森林模型构建与验证对照图,从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图6为本发明实施案例中总磷神经网络模型构建与验证对照图,从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图7为本发明实施案例中总磷高斯过程回归模型构建与验证对照图,从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图8为本发明实施案例中总磷随机森林模型构建与验证对照图,从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图9为本发明实施案例中化学需氧量神经网络模型构建与验证对照图,从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图10为本发明实施案例中化学需氧量高斯过程回归模型构建与验证对照图,从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图11为本发明实施案例中化学需氧量随机森林模型构建与验证对照图,从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
具体实施方式
以下将以梁溪河、太湖和富春江水库实践案例结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
本发明的方法流程如图1所示,包括如下步骤:
S1、2020年10月28-11月13日在梁溪河、太湖和富春江水库岸边架设与海康威视合作研发的高光谱成像仪;如图2所示,高光谱成像仪架设于岸边的电线杆,离水面距离约4-5m,采用垂直观测,通过同步自动高频测定向下和向上辐照度得到遥感反射比。观测结果可以存储于高光谱成像仪自带的存储系统,也可以实时发送至后台接收系统,可以做到无人值守。
开展不同天气状态(小雨、阴天、多云和晴天)、不同时间段(上午8:30到下午18:00)、不同风浪程度(小风浪:风速小于2m/s、中风浪:风速2-5m/s和大风浪:风速大于5m/s)、不同浑浊度(低浑浊:悬浮物浓度小于20mg/L、中浑浊:悬浮物20-80mg/L和高浑浊:悬浮物大于80mg/L)、不同水华程度(无水华:叶绿素a小于10μg/L、少量水华:叶绿素a在10-50μg/L、大量水华:叶绿素a大于50μg/L)各类场景下遥感反射比连续自动监测,测定时间范围:8:30-18:00,监测频率:30秒/次。
S2、现场采集表层水体(水面以下50cm范围内的水柱)水样,冷藏保存,8小时内送回实验室进行化学分析,获得同步的遥感反射比、总氮、总磷和化学需氧量浓度的大样本量数据集。
S3、匹配同步观测的遥感反射比和总氮、总磷、化学需氧量浓度数据,构建覆盖各类不同观测场景的同步样本数据集;
S4、利用机器学习模型训练数据集,建立总氮、总磷和化学需氧量浓度陆基(地基、岸基)遥感反演模型;
输入要素:在400-900nm中每间隔10nm取值,选取共51个波长对应的遥感反射比作为输入要素。
输出要素:分别以总氮、总磷和化学需氧量浓度作为输出要素。
高斯过程回归、神经网络和随机森林模型三种机器学习算法输入和输出参数相同。
数据预处理:首先剔除了反射比为1的所有饱和数据;然后采用了均值方差(z-score)归一化的方法对数据进行归一化处理,归一化后加快了后期梯度下降求最优解的速度。
数据预处理后,共有377组有效数据,其中随机选择250组数据为训练集数据,剩余127组数据为验证数据。
在Matlab或者R语言中运行机器学习模型,实施例中使用了高斯过程回归、神经网络、随机森林模型三种机器学习模型。
BP神经网络模型是一种多层前馈网络,主要的学习过程包括前向计算过程和误差反向传播过程。主要包括输入层(input)、隐含层(hide layer)和输出层(output layer)三层结构。本模型使用上述的51个波段作为输入神经元,分别以总氮、总磷和化学需氧量浓度作为唯一的输出神经元。
BP算法参数设置
高斯过程回归模型:是使用高斯过程先验对数据进行回归分析的非参数模型,高斯过程回归模型中核函数的实际意义为协方差函数,描述了学习样本间的相关性。是贝叶斯理论和统计学习理论发展起来的一种全新的机器学习方法,适用于处理高维数、非线性等复杂的回归问题。本模型中设置参数如下:
高斯过程回归模型参数设置
随机森林模型:随机森林模型是一种基于分类树的算法,通过若干自变量来解释因变量。如果因变量Y有n个观测值,有k个自变量与之相关;在构建分类树的时候,随机森林会随机地在原数据中重新选择n个观测值,其中有的观测值被选择多次,有的没有被选到。随机森林的优势为不容易产生过拟合,并且抗噪声能力比较强,模型降低了回归树之间的相关性,且对异常值和噪声数据的容忍度较高,因此具有较好的泛化能力与准确性。本模型中设置了50个决策树用以训练学习,具体参数如下表。
RF算法参数设置
模型经训练集训练完成后,将127组数据代入模型预测,反归一化后将预测结果与实测数据进行精度检验,基于实测值与模拟值线性相关决定系数,显著性水平、相对均方根误差等证明算法的准确性和可推广性。
利用神经网络、高斯过程回归和随机森林模型等机器学习算法构建遥感反射比与总氮、总磷和化学需氧量浓度的关系模型,通过独立样本集对模型反演结果进行精度检验,基于实测值与模拟值线性相关决定系数,显著性水平、相对均方根误差等证明算法的准确性和可推广性。
决定系数(R
显著性水平(P):显著性水平是假设检验中的一个概念,是指当原假设为正确时人们却把它拒绝了的概率或风险。它是公认的小概率事件的概率值,必须在每一次统计检验之前确定,通常取α=0.05或α=0.01。这表明,当作出接受原假设的决定时,其正确的可能性(概率)为95%或99%。
相对均方根误差(RRMSE):均方根误差是预测值与实测值偏差的平方与观测次数比值的平方根,均方根误差与实测值平均的比值表示为相对均方根误差。
平均相对误差(Mean Relative Error):平均相对误差就是指相对误差的平均值,这个平均相对误差一般是用相对误差绝对值进行平均得到。
综合考虑线性相关决定系数,显著性水平、相对均方根误差等统计参数,无论是总氮、总磷还是化学需氧量,神经网络、高斯过程回归、随机森林模型均能提供非常高的检验精度。
图1为本发明水体营养盐和化学需氧量陆基遥感监测的工作流程图。从图1可知,本发明实施包括4个步骤,分别是:遥感发射比观测,总氮、总磷和化学需氧量测定,模型数据集构建,模型训练、检验与应用。
图2为本发明实施案例中陆基连续高频自动遥感观测示意图。多光谱成像仪架设于岸边的电线杆,离水面距离4-5m,采用垂直观测,通过同步自动高频测定向下和向上辐照度得到遥感反射比。观测频次根据需要可以从数秒到数小时,观测结果可以存储于多光谱成像仪自带的存储系统,也可以实时发送至后台接收系统,可以做到无人值守。
图3为本发明实施案例中总氮神经网络模型构建与验证对照图。由图3可知,无论是训练集样本还是测试集样本,实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本,实测值与模拟值线性关系决定系数高达0.83,显著性水平P<0.001,相对均方根误差14.1%、平均相对误差9.4%;
图4为本发明实施案例中总氮高斯过程回归模型构建与验证对照图。由图4可知,无论是训练集样本还是测试集样本,实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本,实测值与模拟值线性关系决定系数高达0.89,显著性水平P<0.001,相对均方根误差12.9%、平均相对误差7.4%;
图5为本发明实施案例中总氮随机森林模型构建与验证对照图。由图5可知,无论是训练集样本还是测试集样本,实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本,实测值与模拟值线性关系决定系数高达0.82,显著性水平P<0.001,相对均方根误差14.9%、平均相对误差8.1%;
图6为本发明实施案例中总磷神经网络模型构建与验证对照图。由图6可知,无论是训练集样本还是测试集样本,实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本,实测值与模拟值线性关系决定系数高达0.96,显著性水平P<0.001,相对均方根误差13.9%、平均相对误差9.9%;
图7为本发明实施案例中总磷高斯过程回归模型构建与验证对照图。由图7可知,无论是训练集样本还是测试集样本,实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本,实测值与模拟值线性关系决定系数高达0.91,显著性水平P<0.001,相对均方根误差10.7%、平均相对误差6.6%;
图8为本发明实施案例中总磷随机森林模型构建与验证对照图。由图8可知,无论是训练集样本还是测试集样本,实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本,实测值与模拟值线性关系决定系数高达0.89,显著性水平P<0.001,相对均方根误差15.7%、平均相对误差8.6%;
图9为本发明实施案例中化学需氧量神经网络模型构建与验证对照图。由图9可知,无论是训练集样本还是测试集样本,实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本,实测值与模拟值线性关系决定系数高达0.95,显著性水平P<0.001,相对均方根误差10.5%、平均相对误差7.6%;
图10为本发明实施案例中化学需氧量高斯过程回归模型构建与验证对照图。由图10可知,无论是训练集样本还是测试集样本,实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本,实测值与模拟值线性关系决定系数高达0.97,显著性水平P<0.001,相对均方根误差8.0%、平均相对误差5.3%;
图11为本发明实施案例中化学需氧量随机森林模型构建与验证对照图。由图11可知,无论是训练集样本还是测试集样本,实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本,实测值与模拟值线性关系决定系数高达0.93,显著性水平P<0.001,相对均方根误差9.0%、平均相对误差5.4%。
- 水体营养盐和化学需氧量的陆基遥感监测方法
- 水体化学需氧量在线虚拟监测方法