基于MODIS的无机氮完整时空分布数据获取方法、装置及介质
文献发布时间:2023-06-19 13:45:04
技术领域
本发明属于遥感大数据领域,具体涉及一种对近岸海域无机氮进行反演获取完整时空分布的方法。
背景技术
海洋水色遥感是利用机载或星载传感器探测与海洋水色有关的参数的光谱辐射,并利用该光谱辐射,经过大气校正,根据生物光学特性反演获得水体中的光学活性参数的技术。MODIS的水色遥感影像具有500m和1000m的空间分辨率,每1到2天就能覆盖整个地球一次,已经积累了20余年的数据,能够用于研究大空间范围、高频次、长时序的陆地、海洋和低层大气的动态及其变化过程,且已经在海洋叶绿素、悬浮物、有色可溶性物质的反演中取得了进展,具有重要的应用价值。
然而,近岸海域水体的光学性质受到的干扰因素较多,不仅受水中浮游植物的影响,还往往含有大量的悬浮泥沙、黄色物质等其他成分,这使得其光学特性极为复杂,难以反演。此外,目前对于海水中的非光学要素的反演,如无机氮反演,传统的反演模型应用局限于湖泊、河流、水库等淡水水体,还未有大面积、长时序的近岸海域非光学要素的反演研究。因此如何通过复杂建模技术来实现近岸海域非光学要素(如无机氮)的反演,目前依然缺少解决方案。
另一个问题是海洋水色遥感的影像受到大气、海水上方云雾以及传感器本身的设计制约,可能会存在数据不完整的情况,即数据缺失。在近岸海域等多云区域,有时还会出现雾霾,削弱可视光与红外光波段的信息,导致获得的数据在空间上不完整、在时间上不连续,数据的利用价值被大大削减,如何合理地填补缺失信息从而获取完整的时空分布,对近岸乃至全球的海洋监测与应用都具有重要的意义。
发明内容
本发明的目的是克服以往近岸海域无机氮反演精度低、反演结果差、缺失率高的问题,提供了一种基于MODIS的无机氮完整时空分布数据获取方法。
为实现本发明目的,提供的技术方案如下:
第一方面,本发明提供了一种基于MODIS的无机氮完整时空分布数据获取方法,其步骤如下:
S1、对目标海洋区域对应的MODIS反射率产品、海水深度产品和无机氮采样数据进行匹配和数据清洗,形成由不同采样样本组成的样本集合;其中每个采样样本均完整包含一个采样点对应的多波段反射率、时空特征信息以及实测的无机氮浓度值,所述多波段反射率为MODIS反射率产品的第1~7七个波段中部分或全部波段的反射率,所述时空特征信息包括空间特征信息和时间特征信息,所述空间特征信息包括采样点的经纬度坐标和海水深度,所述时间特征信息包括采样点的采样时间以及将所述采样时间以周期性连续循环形式表示的循环采样时间;
S2、利用所述样本集合对深度信念网络模型进行训练,其中所述深度信念网络模型以多波段反射率和时空特征信息作为输入参数,以无机氮浓度值作为输出参数;针对目标海洋区域在目标时段内每一个时次的MODIS反射率产品,剔除所述多波段反射率和所述时空特征信息存在缺失的像元,并将其余的完整信息像元各自的所述多波段反射率和所述时空特征信息输入训练后的深度信念网络模型中,预测得到每个完整信息像元对应的无机氮浓度值,从而形成每一个时次对应的空间有缺失无机氮分布数据;
S3、针对目标时段内所有时次对应的空间有缺失无机氮分布数据,剔除空间缺失率高于上限值的时次后,通过时空插值补全方法进行数据重构,补全时间维度和空间维度上的缺失数据后,得到目标海洋区域在目标时段内的时空连续无机氮分布数据。
作为上述第一方面的优选,所述S1中匹配和数据清洗的方法为:
S11、从目标海洋区域的每日MODIS遥感反射率产品与海水深度产品中提取数据日期以及栅格形式的第1至第7波段的遥感反射率、云层数据、有效性数据和海水深度,形成第一数据集;
S12、从无机氮采样数据中提取不同采样日期下的各采样点的经维度坐标和表层海水无机氮浓度值,形成第二数据集;
S13、将第一数据集和第二数据集按照采样日期和各采样点的经维度坐标进行匹配,得到不同采样日期下的各采样点的经维度坐标、表层海水无机氮浓度值、第1至第7波段的遥感反射率、云层数据、有效性数据和海水深度,形成第三数据集;
S14、基于云层数据和有效性数据对第三数据集进行数据筛选,剔除采样点处存在云层或者有效性不在设定范围内的无效数据,然后统计遥感反射率的七个波段中每个波段对应的无效数据比例,通过执行质量控制筛选来删除无效数据比例超过上限比例的整个波段遥感反射率,再为不同采样日期下的每个采样点生成所述时间特征信息后,最终生成样本集合。
进一步的,作为上述各方案的优选,所述多波段反射率为MODIS反射率产品中第1~7七个波段经过质量控制筛选后保留的所有波段的遥感反射率;其中执行所述质量控制筛选时,若任一波段的遥感反射率中无效数据比例超过上限比例,则删除整个该波段。
进一步的,作为上述各方案的优选,所述时间特征信息中,采样时间由采样日期对应的年份
进一步的,作为上述各方案的优选,所述S2中,深度信念网络由多层受限玻尔兹曼机堆叠后连接一层BP神经网络组成,利用所述样本集合对深度信念网络模型进行训练时采用预训练和微调两个步骤,首先以无监督方式单独预训练每一层受限玻尔兹曼机,然后在预训练得到的各层受限玻尔兹曼机网络参数基础上,以多层受限玻尔兹曼机的输出作为BP神经网络的输入进行有监督的学习,搜索到深度信念网络中所有网络参数的全局最优解,完成微调。
进一步的,作为上述各方案的优选,所述空间缺失率为目标海洋区域的掩膜中无值像元数量与总像元数量的比例,所述上限值为95%。
进一步的,作为上述各方案的优选,所述时空插值补全方法为经验正交函数分解插值法、最优插值法、奇异谱分析方法或期望最大化法。
进一步的,作为上述各方案的优选,所述时空插值补全方法为经验正交函数分解插值法,包括如下步骤:
S31、目标时段内剔除空间缺失率高于上限值的时次后,将剩余所有时次的空间有缺失无机氮分布数据构建为第一时空场矩阵,并计算第一时空场矩阵中所有有值数据的平均值,将第一时空场矩阵中的每一个有值数据减去所述平均值后,得到第二时空场矩阵;从第二时空场矩阵中随机抽取部分有值数据作为交叉验证集;
S32、在保留模态数的取值范围内对每一个保留模态数
S33、以收敛后的均方根误差最小的保留模态数为最优保留模态数
第二方面,本发明提供了一种基于MODIS的无机氮完整时空分布数据获取装置,其包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如第一方面中任一方案所述的基于MODIS的无机氮完整时空分布数据获取方法。
第三方面,本发明提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,能实现如第一方面中任一方案所述的基于MODIS的无机氮完整时空分布数据获取方法。
相对于现有技术而言,本发明具有以下有益效果:
本发明提供的基于MODIS产品的近岸海域无机氮每日完整时空分布获取方法,通过将时空特征信息加入到深度信念网络的方式提高反演精度、率先使用DINEOF算法来补全反演得到的无机氮缺失时空分布,从而获得了反演精度高、反演结果合理的每日完整时空分布。
另外,本发明充分考虑了无机氮遥感反演建模的时空异质性与复杂非线性特征,以及遥感反演结果受限于高缺失率的问题,能够获得近岸海域无机氮的完整时空分布,其反演精度较高,时空分布结果合理。本发明对近岸海域的生态环境分析具有十分重要的实际应用价值。
附图说明
图1 为基于MODIS的无机氮完整时空分布数据获取方法流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下,均可进行相应组合。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于区分描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本发明的一个较佳实施例中,提供了一种基于MODIS的无机氮完整时空分布数据获取方法,如图1所示为该方法的流程图,其具体步骤如S1~S3所示:
S1、对目标海洋区域对应的MODIS反射率产品、海水深度产品和无机氮采样数据进行匹配和数据清洗,形成由一系列不同的采样样本组成的样本集合。在该样本集合中,每个采样样本均完整包含一个采样点对应的多波段反射率、时空特征信息以及实测的无机氮浓度值,前述多波段反射率为MODIS反射率产品的第1~7七个波段中部分或全部波段的反射率,前述时空特征信息包括空间特征信息和时间特征信息,前述空间特征信息包括采样点的经纬度坐标和海水深度,前述时间特征信息包括采样点的采样时间以及将前述采样时间以周期性连续循环形式表示的循环采样时间。不同采样样本对应的采样点或采样时间是不同的。
需注意的是,MODIS反射率产品、海水深度产品和无机氮采样数据属于不同来源的多源数据,其中MODIS反射率产品、海水深度产品为可直接获取下载的数据,而无机氮采样数据为不同时间在不同采样点的无机氮实测数据,数据字段应当包含采样点编号、经纬度坐标、采样时间以及无机氮浓度值,且无机氮浓度值可以是直接测量的,亦可是由氨氮(NH
需说明的是,所谓“将前述采样时间以周期性连续循环形式表示的循环采样时间”,是指将原始的采样时间中的属性进行转换,使得转换后的属性的值域周期性循环,且上一个周期与下一个周期的值域连续。该转换可以通过相应的转换函数来实现,一般可采用正弦函数或者类似正弦函数的转换函数。
由此,上述匹配的目的是将多源数据进行配对,使其能够形成相应的采样样本,数据清洗的目的是将多源数据中的脏数据进行去除,避免出现无效值和异常值。每一个采样样本中都必须完整包含前述的多种信息,任意信息的缺失都需要视为需要清洗的脏数据。上述匹配和数据清洗的具体方法不限,以能够实现采样样本的构建为准。
在本发明中,作为该实施例的一种具体实现方式,前述S1中匹配和数据清洗的方法具体如下:
S11、从目标海洋区域的每日MODIS遥感反射率产品与海水深度产品中提取数据日期以及栅格形式(可采用GeoTIFF格式)的第1至第7波段的遥感反射率、云层(cloud_state)数据、有效性(quality)数据和海水深度,形成第一数据集;
S12、从无机氮采样数据中提取不同采样日期下的各采样点的经维度坐标和表层海水无机氮浓度值,形成第二数据集;
S13、将第一数据集和第二数据集按照采样日期和各采样点的经维度坐标进行匹配,得到不同采样日期下的各采样点的经维度坐标、表层海水无机氮浓度值、第1至第7波段的遥感反射率、云层数据、有效性数据和海水深度,形成第三数据集;
S14、基于云层数据和有效性数据对第三数据集进行数据筛选,剔除采样点处存在云层或者有效性不在设定的合理范围内的无效数据,其中此处有效性的合理范围可根据实际进行优化。然后,在完成数据筛选后,统计遥感反射率的七个波段中每个波段对应的无效数据比例,即每个波段中被剔除的数据在所有数据中的占比,通过执行质量控制筛选来删除无效数据比例超过上限比例的整个波段遥感反射率,剩余保留的波段的遥感反射率作为前述的多波段反射率。因此,本发明中的遥感反射率并不一定是第1至第7波段这七个完整波段,前述多波段反射率为MODIS反射率产品中第1~7七个波段经过质量控制筛选后保留的所有波段的遥感反射率。执行前述质量控制筛选时,如果目标海洋区域中某一波段的数据中无效数据过高(无效数据比例超过上限比例),那么这个波段会被整体删除。但具体哪些波段纳入多波段反射率是根据各区域自身的额遥感反射率数据质量而定的,并非一成不变。当完成质量控制筛选后,每一条数据样本中已经含有采样点的经维度坐标、表层海水无机氮浓度值、多波段反射率、海水深度、采样日期这些信息,因此需要继续为不同采样日期下的每个采样点生成前述的时间特征信息,补全每一个样本中的信息字段,最终生成样本集合。
需注意的是,由于时间特征信息包括采样时间和循环采样时间两类,这两者都是根据采样日期来生成的。采样日期的格式中一般包含年、月、日、星期几这四个信息。作为该实施例的一种具体实现方式,上述采样时间由采样日期对应的年份
需说明的是,MODIS反射率产品中第1~7七个波段的具体波段分布特征是由MODIS数据自身决定的,第1、2、3、4、5、6、7波段的波谱范围分别为620-670、841-876、459-479、545-565、1230-1250、1628-1652、2105-2155 nm。
在本发明中,上述样本集合中每一个采样样本应当含有的属性信息是经过特殊优化的。传统的空间统计学方法主要致力于空间要素对目标参数的影响,一般将经纬度坐标加入建模关系之中,但是传统的模型算法通常没有考虑到时间要素的重要影响,如日期等表示时间的信息。由于待获取的对象为近岸海域的非光学活性参数无机氮浓度的分布,其存在重构数据空间范围和时间跨度较大的特点。因此,本发明为提高反演精度,在无机氮的长时序、大空间反演的建模问题中,充分考虑了海洋无机氮的实际时空分布规律,加入了由空间特征信息和时间特征信息组成的时空特征信息。空间特征信息主要是经纬度坐标,但除此之外,由于近岸海域的水深和营养盐、有机物有一定的关联,将海水深度也作为空间特征信息输入;而时间特征信息包括常见的非循环形式表示的年份、月份、一周中的第几日以及一年中的第几日,同时由于重构数据的时间跨度往往很长,且海洋物理参数的时间变化很可能存在周期性,如水温、溶解氧、盐度在每年的季节性与短时间内的周期性变化可能对其他无机氮含量有一定的影响,故增加了循环月份、循环周、循环日,这些属性字段所表示的时间信息可以分别将每年的1月与12月、每周的第1日与第7日、每年的第1日与第365日在值域上连续衔接起来,形成类似于正弦函数的周期性循环,从而在输入参数中引入周期性变化信息。
当完成上述步骤S1后,即得到了样本集合,可继续执行后续的步骤S2。
S2、利用前述样本集合对深度信念网络模型进行训练,其中前述深度信念网络模型以多波段反射率和时空特征信息作为输入参数,以无机氮浓度值作为输出参数。待深度信念网络模型训练完毕后,再针对目标海洋区域在目标时段内每一个时次的MODIS反射率产品,剔除前述多波段反射率和前述时空特征信息存在缺失的像元(而前述多波段反射率和前述时空特征信息均不存在缺失的像元称为完整信息像元),并将其余的完整信息像元各自的前述多波段反射率和前述时空特征信息输入训练后的深度信念网络模型中,预测得到每个完整信息像元对应的无机氮浓度值,从而形成每一个时次对应的空间有缺失无机氮分布数据。
需说明的是,本发明中的目标海洋区域和目标时段是根据所需获取的无机氮时空分布的空间跨度和时间跨度而定的,可自行设置,并非限定值。
需要说明的是,前述样本集合中所有输入参数在输入深度信念网络模型之前,均需要进行最大-最小值归一化,以避免不同参数尺度不统一对模型预测造成的影响。
深度信念网络模型的网络结构属于现有技术,其训练过程亦可采用常规的深度信念网络模型训练方式实现。
作为该实施例的一种具体实现方式,前述S2中,深度信念网络由多层受限玻尔兹曼机堆叠后连接一层BP神经网络组成,利用前述样本集合对深度信念网络模型进行训练时采用预训练和微调两个步骤,首先以无监督方式单独预训练每一层受限玻尔兹曼机,然后在预训练得到的各层受限玻尔兹曼机网络参数基础上,以多层受限玻尔兹曼机的输出作为BP神经网络的输入进行有监督的学习,搜索到深度信念网络中所有网络参数的全局最优解,完成微调。
训练完毕的深度信念网络模型即可用于根据任意位置的多波段反射率和时空特征信息来预测该位置的无机氮浓度值,从而实现无机氮时空分布的预测。由于作为模型输入的多波段反射率和时空特征信息是从MODIS反射率产品、海水深度产品中获取的,而MODIS反射率产品、海水深度产品都具有相应的时次,每一时次代表了卫星捕获遥感信息时对应的一个时间点,因此在预测时,也需对目标时段内每一个时次分别进行预测。但是受限于MODIS反射率产品、海水深度产品自身的数据质量,其难免在空间维度上存在众多的数据缺失点,因此深度信念网络模型输出的无机氮分布数据在空间上实际上并非完全连续的,其含有需要补全的缺失数据,可通过后续步骤进行数据重构。
当完成上述步骤S2后,即得到了空间有缺失无机氮分布数据,可继续执行后续的步骤S3。
S3、针对目标时段内所有时次对应的空间有缺失无机氮分布数据,剔除空间缺失率高于上限值的时次后,通过时空插值补全方法进行数据重构,补全时间维度和空间维度上的缺失数据后,得到目标海洋区域在目标时段内的时空连续无机氮分布数据。
本发明中,空间缺失率是指目标海洋区域范围内一个时次的MODIS反射率产品和海水深度产品中,所有空间点中反射率缺失或者海水深度信息缺失的空间点占比。如果空间缺失率过高,则引入这一时次的数据反而会对最终的数据重构结果造成负面干扰,因此可将整个时次的数据进行剔除。
由于MODIS产品中目标海洋区域一般是通过设置掩膜来进行识别的,因此作为该实施例的一种具体实现方式,前述空间缺失率可以设置为目标海洋区域的掩膜中无值像元数量与总像元数量的比例。前述上限值亦可根据实际情况进行优化调整,推荐设置为95%。
前述时空插值补全方法可以是任意能够实现时空数据插值补全的现有方法,例如经验正交函数分解插值法(Data INterpolating Empirical Orthogonal Functions,DINEOF)、最优插值法(Optimal Interpolation,OI)、奇异谱分析方法(Singular SpectrumAnalysis,SSA)或期望最大化法(Expectation-maximization Algorithm,EM),这些方法已广泛应用于遥感领域的数据插值补全工作中。
作为该实施例的一种具体实现方式,前述时空插值补全方法可采用经验正交函数分解插值法DINEOF来实现,它的基本思想是对时空分布建立矩阵,缺失的矩阵位置会填补一个预测值,然后利用EOF方法对数据进行计算,具体的计算方式为分解、合成,且这个过程是重复迭代的,不断地通过误差变化来确定需要保留的模态数。目前,DINEOF算法得到了大量研究的支持,采用该算法的理由以概括为以下两个方面:
(1)DINEOF在重构具有时空变化特征的数据时具有优势。DINEOF利用有限个彼此正交的时间或空间特征模态来反映出遥感数据在时间上的变化趋势和在空间上的整体特征,这有利于解释数据的时空变化,所以适用于近岸海域无机氮缺失时空分布的重构。
(2)DINEOF在计算中使用Lanczos算子进行SVD,能大大加快计算速度,相关研究已经表明,在重构数据量大和缺失率高的遥感数据时相对于其他方法有明显优势。
为了便于理解,下面按照S31~S33详细描述该DINEOF方法的具体实现步骤:
S31、目标时段内剔除空间缺失率高于上限值的时次后,将剩余所有时次的空间有缺失无机氮分布数据构建为第一时空场矩阵,记该第一时空场为
S32、在保留模态数的取值范围内对每一个保留模态数
S33、以收敛后的均方根误差
由此可见,本发明通过将时空特征信息加入到深度信念网络的方式,可以实现基于MODIS反射率产品和海水深度产品的无机氮分布预测,进一步结合时空插值补全方法即可补全无机氮的缺失数据,从而获得了准确、合理的每日完整时空分布反演结果。
另外,在本发明的其他实施例中,还提供了一种基于MODIS的无机氮完整时空分布数据获取装置,其包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如前述S1~S3所述的基于MODIS的无机氮完整时空分布数据获取方法。
另外,在本发明的其他实施例中,还提供了一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,能实现如前述S1~S3所述的基于MODIS的无机氮完整时空分布数据获取方法。
需要注意的是,上述的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit, CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。当然,还装置中还应当具有实现程序运行的必要组件,例如电源、通信总线等等。
需要说明的是,根据本发明公开的实施例,上述存储器中的具体实现各步骤的功能可以通过编写的计算机软件程序来实现,计算机程序中包含用于执行相应方法的程序代码。
为了便于理解本发明的改进,下面本发明进一步基于上述实施例中前述S1~S3所述的基于MODIS的无机氮完整时空分布数据获取方法,将其应用至具体的实例中对其效果进行展示。
应用例
下面以浙江近岸海域2010年~2018年每年2月~11月的每日无机氮为例,对本发明的基于MODIS的无机氮完整时空分布数据获取方法进行具体描述,其主要步骤包括3步,分别为S1~S3:
S1:对目标海洋区域对应的MODIS反射率产品、海水深度产品和无机氮采样数据进行匹配和数据清洗,形成由不同采样样本组成的样本集合。
本实例中,该S1步骤具体通过S11~S14来实现:
S11:准备目标区域的每日MODIS遥感反射率产品与海水深度产品,每日MODIS遥感反射率产品应包含第1至第7波段的遥感反射率数据
其中每日MODIS遥感反射率产品采用Google Earth提供的MYD09GA产品,利用Google Earth Engine Map Python变成对产品进行批量下载,将第1至2波段(500m空间分辨率)、第3至7波段(1km空间分辨率)、代表云层数据的云层波段(1km空间分辨率)、代表有效性数据的数据质量波段(1km空间分辨率)分别存储为独立的GeoTIFF格式的栅格数据,同时下载NGDC美国地球物理中心发布的全球海水深度产品ETOPO(约2km空间分辨率),共计27100天的栅格数据。浙江近岸海域无机氮实测数据记录共计30190条,空间范围均匀地分布在浙江近岸海域,时间范围为2010年4月~2018年11月,实测无机氮的监测分析方法遵循《中国国家海洋监测规范》(GB 17378.4-2007)。
S12:对海洋实测数据进行预处理,将采样日期记为
S13:将栅格与实测数据进行匹配,按时间顺序从遥感数据
S14:继续处理匹配后的数据记录,首先根据
式中,
最终构建得到13199条采样样本构成的样本集合,该集合的每一个采样样本中,采样点的时空特征信息包含十种:Lon(经度)、Lat(纬度)、海水深度(Dep)、YR(年份,year)、MOY(月份,month of year)、DOW(星期几,day of week)、DOY(日期,day of year)、cMOY(以循环形式表示的月份,使1月与上一年的12月的值相接近)、cDOW(以循环形式表示的一周中的第几日,使周六与下一周的周日的值相接近)、cDOY(以循环形式表示的一年中的第几日,使一年的第1日与上一年最后一日的值相接近)。
S2:利用S1中得到的样本集合对深度信念网络模型进行训练,其中所述深度信念网络模型以多波段反射率和时空特征信息作为输入参数,以无机氮浓度值作为输出参数;针对目标海洋区域在目标时段内每一个时次的MODIS反射率产品,剔除所述多波段反射率和所述时空特征信息存在缺失的像元,并将其余的完整信息像元各自的所述多波段反射率和所述时空特征信息输入训练后的深度信念网络模型中,预测得到每个完整信息像元对应的无机氮浓度值,从而形成每一个时次对应的空间有缺失无机氮分布数据。
本实例中,该S2步骤具体通过S21~S27来实现:
S21:深度信念网络由多个受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)堆叠和一层神经网络组成,其中RBM是一种可用随机神经网络(Stochastic NeuralNetwork)来解释的概率图模型(Probabilistic Graphical Model),主要训练过程由预训练和微调组成。RBM 只有两层神经元,一层叫做可视层 (visible layer),由可视节点(visible units) 组成,用于输入训练数据。另一层叫做隐含层 (Hidden layer),相应地,由隐含节点 (hidden units)组成,用作特征检测器 (feature detectors)。每一层都可以用一个向量来表示,每一维表示每个神经元,神经元之间是相互独立的。受限玻尔兹曼机的显层和隐层的联合组态能量表达式中,以
S23: 微调过程可以在预训练的基础上快速搜索到网络参数的全局最优解。首先,根据预训练得到的初始参数,构建DBN架构,即多层RBM,并在最后一层增加一层BP神经网络;接收RBM的输出特征向量作为它的输入特征向量,对DBN进行有监督的学习。微调采用最常见的梯度下降法和反向传播算法,或者在此基础上进行训练优化设计。
S24:将多波段反射率
式中,
训练采用的损失函数为:
式中,
S25:本实例在模型训练时采用10折交叉验证法,在模型训练开始前,需要将数据集随机划分为10组进行10次交叉验证,每1次训练都选取不同的组作为测试集,最终选取测试集最优的1组作为反演模型。
S26:在进行模型训练时,需要进行针对不同的数据集进行深度信念网络超参数的调整优化,以获得更优的拟合精度与泛化精度,包括神经网络层数、每一层的神经元个数、学习率、梯度下降函数。
S27:在深度信念网络模型训练完成后,选取测试集最优的1组作为最终反演模型,将其称为ST-DBN。此时针对目标海洋区域在目标时段内每一个时次的MODIS反射率产品,剔除多波段反射率和时空特征信息存在缺失的像元,并将其余的完整信息像元各自的多波段反射率
另外,在本实例中,为了验证融合了时空特征信息的ST-DBN是否具有更高的拟合精度和泛化能力,选取了不加入时空特征信息的传统DBN作为对比模型,该传统DBN模型的网络结构与前述的ST-DBN一致,但是其输入参数是不同的。与ST-DBN相比,DBN模型的输入参数不含时空特征信息,仅含有多波段反射率
ST-DBN和DBN均采用10折交叉的数据集组织形式对神经网络模型进行多次训练,每一轮10折交叉包括10训练,将获得1次整体结果与1次最优结果,通过对多轮10折交叉进行训练不断调整神经网络结构参数以获得最优的整体结果,选择最优整体结果作为模型之间精度对比的主要指标,最后选择最优整体结果中的单次最优结果用于生成整个浙江近岸海域的无机氮分布。
经过大量训练,得到了ST-DBN、DBN最优结构。其中,本实例中ST-DBN的最优模型结构为两层RBM,激活函数为sigmoid,优化器选择Adam随机梯度下降,最优神经元数为[64,32],学习率为0.01。如表1所示,相比原有的经典DBN方法,ST-DBN10折交叉平均结果的拟合与泛化能力(R
表1 ST-DBN和传统DBN在训练集和验证集上的结果对比
S3:针对目标时段内所有时次对应的空间有缺失无机氮分布数据,剔除空间缺失率高于上限值的时次后,通过时空插值补全方法进行数据重构,补全时间维度和空间维度上的缺失数据后,得到目标海洋区域在目标时段内的时空连续无机氮分布数据。
本实例中,该S3步骤具体通过S31~S37来实现:
S31:对深度神经网络训练后的空间有缺失无机氮分布数据中每一时次数据进行预处理,如果原始数据在空间维缺失率过高(通常以超过 95%计),则这些数据不但不能提供有效的信息,反而可能影响最终结果。空间缺失率
S32:再将剩余所有时次的空间有缺失无机氮分布数据构建为时空场矩阵
S33:对矩阵X进行奇异值分解,获得
其中:空间特征模态
S34:然后按照重构方法计算矩阵X中所有数据缺失点的重构值,其中位于矩阵X第
前述重构方法中,重构值
均方根误差
式中:上标T均表示转置,
然后以更新后的矩阵X重复步骤S33~S34,直至均方根误差
S35:对取值范围内的保留模态数
S36:利用S35中得到的最优保留模态数下的时间特征模态
S37:将S36中得到的矩阵X中所有数据缺失点的重构值更新至矩阵X中,更新后的矩阵X每一个元素加上前述平均值
在本实例中,按照前述S31~S37的步骤,剔除数据缺失率大于95%的反演结果中,每年的保留数据量在202~245天之间,占比均高于67%。对预处理后的无机氮时空分布数据进行经验正交函数分解重构,当每年的
表2 不同年份的DINEOF方法的解释率
最终,本实例获得了2010年~2018年每年2月~11月的每日无机氮的完整时空分布,共计2021张图,从空间角度来看,浙江近岸海域的无机氮含量呈现出近岸高、远岸低,浙北海域高、浙南海域低的分布状况,可以比较明显地观察到无机氮低值区的分布主要出现在浙南海域的外海处,且整个海域的无机氮呈现了以杭州湾、象山港高值区向东南方向逐级递减的分布规律,表明了由于夏季长江冲淡水入侵程度较低,整个浙南海域的无机氮含量都呈现了较低的分布,且离海岸与长江口越远的无机氮越低。符合浙江近岸海域夏季的无机氮实际状况,且能表现出局部区域的细节分布变化,结果合理可信,对海洋环境研究、管理与生态环境保护具有分析价值。
以上所述的实例只是本发明的一种较佳的方案,然其并非用以限制本发明。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
- 基于MODIS的无机氮完整时空分布数据获取方法、装置及介质
- 基于MODIS的无机氮完整时空分布数据获取方法、装置及介质