一种基准辐射观测数据处理方法和系统

技术领域

本发明涉及基准辐射观测数据的自动化处理技术领域，尤其涉及一种基准辐射观测数据处理方法和系统。

背景技术

太阳辐射为地球带来光和热，地球大部分能量都直接或间接来源于太阳，太阳辐射维持着地表温度，推进着地球上的水循环、大气运动和生物的活动及其变化，决定了地理环境的基本特征。

为了可以获得长时间序列的太阳和地球辐射资料，以及更科学地了解和研究地球气候系统及其变化趋势，在地面建立基准辐射观测系统就显得尤为重要。一方面是因为来自卫星的太阳辐射观测，如果没有设在对照区域内的地面探测到的数据进行校准和验证，是不可能比较准确地推断出全球地表辐射收支评估的；另一方面，如果地面站建立的不是以基准辐射观测系统为标准的辐射站，其获取的数据相应就不那么准确和可靠，同理就不能起到对 卫星遥感观测比较准确的校准和验证作用。

基准辐射观测仪是一种用于测量和校准电磁辐射的仪器，它的主要功能是测量辐射的强度、能谱分布和光谱特性。但是现有基准辐射观测仪算力有限，采集数据的种类有限，处理数据能力有限，没有精确的质控、校正算法，也不具备将原始数据处理后上传至云平台的能力。

发明内容

本发明公开了一种基准辐射观测数据处理系统，旨在解决现有技术中存在的技术问题。本发明采用下述技术方案：

一方面，本发明实施例提供了一种基准辐射观测数据处理方法，该方法包括：

获取原始基准辐射观测数据，其中，所述原始基准辐射观测数据包括总辐射、散射辐射、直接辐射、反射辐射、大气长波辐射、地面长波辐射、净全辐射、紫外辐射A、紫外辐射B及光合有效辐射的辐射数据；

对所述原始基准辐射观测数据进行预处理；

基于质控规则，对预处理后的数据进行一级运算，获得符合质控规则的目标质控项；

按照所述质控规则对所述目标质控项进行数据质控的二级运算，其中，所述二级运算包括所述目标质控项进行数据帧格式和时间一致性的检测质控；

剔除不合格的质控数据，并将合格的质控数据输出至数据中心。

另一方面，本发明实施例提供了一种基准辐射观测数据处理系统，该系统包括基准辐射传感器组、数据采集单元、数据质控单元及数据中心；

所述基准辐射传感器组用于观测总辐射、散射辐射、直接辐射、反射辐射、大气长波辐射、地面长波辐射、净全辐射、紫外辐射A、紫外辐射B及光合有效辐射，将其转换成数字信号并传递至所述数据采集单元；

所述数据采集单元用于对所述基准辐射传感器所测量的信号进行数据采集、数据存储及数据传输；

所述数据质控单元通过PCIE接口与所述数据采集单元连接，用于观测数据帧格式和时间一致性的检测质控；

所述数据中心用于对所述基准辐射传感器组、所述数据采集单元及所述数据质控单元进行状态监控及控制。

上述发明中的一个实施例具有如下优点或有益效果：

本发明主要提供了一种基准辐射观测数据处理方法及系统，前述系统包括基准辐射传感器组、数据采集单元、数据质控单元及数据中心，其中，基准辐射传感器组主要由总辐射表、长波辐射表、直接辐射表、紫外辐射表、光合有效辐射表、全自动太阳跟踪器、遮光支架、通风罩和电源等部分组成，能够观测：总辐射、反射辐射、大气长波辐射、散射辐射、直接辐射、净全辐射、紫外辐射A、紫外辐射B、光合有效辐射、地面长波辐射等要素，并将观测的数据传输至数据采集单元，数据采集单元用于对信号进行采集、处理、存储及传输；数据质控单元能够对数据进行质控，包括观测数据帧格式、时间一致性、缺测和阈值检测；数据中心能够对基准辐射传感器组、数据采集单元及数据质控单元进行状态监控及控制。

由于现有的基准辐射观测仪的处理数据能力有限，亦没有精确的质控、校正算法，而通过上述系统实现了基准辐射观测仪的主要数据处理、自动化及数据格式的统一功能，保证了质量控制和状态监控的目标。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，构成本发明的一部分，本发明的示意性实施例及其说明解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明公开的一种优选实施方式中基准辐射观测数据处理系统的结构框图；

图2为本发明公开的一种优选实施方式中基准辐射观测数据处理方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。在本发明的描述中，需要说明的是，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外。

在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

辐射数据在天气、气候预报业务、生态和服务以及新能源等领域的需求越来越高，但现有的基准辐射观测仪（总/直/散/反/紫）的功能要求未见统一，且存在算力有限、采集数据的种类有限、处理数据能力有限等问题，亦没有精确的质控、校正算法，最终也不具备将原始数据处理后上传至农业气象中心站云平台的能力。

为解决上述问题，参考图1，本实施例公开了一种基准辐射观测数据处理系统，该系统包括数据采集端、数据处理端及业务接收端，其中，数据采集端设置于户外，包括基准辐射传感器组110；数据处理端集成于一套嵌入式模组中，该模组包括数据采集单元120及数据质控单元130；业务接收端可以是数据中心140（云平台），能够与数据采集端和/或数据处理端进行命令交互及数据传输。

在一种优选实施方式中，基准辐射传感器组110用于观测总辐射、散射辐射、直接辐射、反射辐射、大气长波辐射、地面长波辐射、净全辐射、紫外辐射A、紫外辐射B及光合有效辐射，将其转换成数字信号并传递至数据处理端。优选地，辐射数据的观测均按地方平均太阳时进行，以地方平均太阳时24时为日界。

优选地，基准辐射传感器组110包括总辐射表、长波辐射表、直接辐射表、紫外辐射表A、紫外辐射表B、光合有效辐射表、全自动太阳跟踪器、遮光支架、通风罩和电源。

优选地，在安装基准辐射传感器组110时，基准辐射传感器组110中的各个仪器之间的布置需满足互不影响且便于操作，具体地，全自动太阳跟踪器和辐射表专用支架成南北向排列，其中，辐射表专用支架位于全自动太阳跟踪器南侧，用于安装光合有效辐射表和紫外辐射表A、紫外辐射表B，全自动太阳跟踪器位于北侧，用于安装直接辐射表、总辐射表、散射辐射表以及大气长波辐射表。优选地，反射辐射表和地面长波辐射表最佳安装位置是空旷场地塔顶的水平横杆上，要求场地的半径是辐射表安装高度的12倍。

在一种优选实施方式中，数据处理端用于对基准辐射传感器组110中的各辐射传感器的测量信号进行采集，并根据相应的规则对数据进行处理、存储和传输；优选地，数据处理端的嵌入式模组包括采集器主板和嵌入式芯片，其中，采集器主板包括电源管理、微控制器、数据存储器、AD电路、时钟单元和通信电路，嵌入式芯片按照功能分为数据采集单元120和数据质控单元130。

优选地，数据采集单元120用于数据采集、数据存储及数据传输，还能实现参数设置、数据下载功能。

在一种优选实施方式中，数据采集单元120的数据存储采用滚动循环存储方式，每分钟存储一条记录，存储的数据量至少1年，数据存储器具备掉电保护功能。

记录的分钟级数据应满足阈值质控要求，如若不满足阈值质控要求，此条数据将不进行其他级别质控或运算，并标记为异常数据。各辐射数据阈值质控要求见下表1：

表1

优选地，在数据采集单元120将获取的数据进行处理后，由数据质控单元130进行数据的质控。

优选地，数据质控单元130通过PCIE接口与数据采集单元120连接。

优选地，数据质控单元130能够对原始基准辐射观测数据进行预处理。

具体地，预处理包括：将获取的原始基准辐射观测数据进行解码及反序列化，根据数据协议将对应的数值转换为其对应的单位。进一步地，预处理还包括判断原始基准辐射观测数据是否满足阈值质控的要求，阈值质控为第一级质控，若不满足阈值质控的要求，则剔除该数据，不再对其进行第二级质控及第三级质控，并将其标记为异常数据。

优选地，数据质控单元130能够基于质控规则，对预处理后的数据进行一级运算，获得符合质控规则的目标质控项。

具体地，一级运算包括：

计算每分钟总辐射、散射辐射、反射辐射、直接辐射、紫外辐射和光合有效辐射的采样有效值的平均值作为分钟辐照度值；

计算每分钟采样有效值的标准差作为分钟辐照度标准差；

挑选出每分钟采样有效值的最大值和最小值作为分钟辐照度的最大值和最小值；

根据总辐射分钟值、大气长波辐射分钟值、反射辐射分钟值和地面长波辐射分钟值计算净全辐射值，净全总辐射值=（总辐射分钟值+大气长波辐射分钟值）-（反射辐射分钟值+地面长波辐射分钟值）；

将每小时内的分钟辐照度值进行平均得到小时辐照度平均值；

将每小时内的分钟辐照度值计算出分钟曝辐量并累加得到小时曝辐量；

对于总辐射、散射辐射、反射辐射、直接辐射、紫外辐射和光合有效辐射，挑选出每小时内分钟辐照度的极大值作为小时辐照度极大值，并记录极大值出现的时间；

对于大气长波辐射、地面长波辐射和净全辐射，记录小时内极大辐照度及其出现时间，同时记录每小时内辐照度极小值及其出现时间；

水平面直接辐射曝辐量计算，从分钟直接辐照度值计算水平面分钟直接辐照度，并计算小时水平面直接辐射曝辐量，辐射辐照度每分钟算术平均值计算公式为：

其中，

优选地，数据质控单元130还能够按照质控规则对目标质控项进行数据质控的二级运算，其中，二级运算包括所述目标质控项进行数据帧格式和时间一致性的检测质控，用于对观测要素进行质控，用于对设备工作工作状态进行综合诊断，还能够进行数据本地存储和上传，并且支持远程连接和参数配置。

具体地，数据帧格式检测是针对观测要素个数的算法，在数据采集单元120的原始数据中有上传的要素个数的数值，当上传的要素总数个数数值和解析出的个数不匹配时，认为此条数据无效。

具体地，时间一致性是检测此条数据上传的时间和当前系统时间是否相同，不同则认为此条数据无效，作用是保证数据实时性。

优选地，数据质控单元130还能进行缺测和上述阈值质控，二者均属于第一级质控，缺测和阈值质控不通过的元素不进行相关二级运算，使用上一条数据中正确的该要素数值进行计算。

在一种优选实施方式中，为保证观测数据的质量，数据质控单元130对达不到质量控制要求的数据进行剔除，未满足缺测和上述阈值质控要求的数据不参加一级运算和二级运算的处理和统计。

在一种优选实施方式中，数据质控单元130的二级运算包括辐射表间关系的质控，表间关系质控为第二级质控，反应表间关系是否符合逻辑及自然规律，以排除直接辐射数据或散射辐射数据或总辐射数据异常的情况，若不满足，将不进行第三级质控算法的计算，并标记此条数据仅通过了第一级质控；辐射表间关系的算法为：0.9×总辐射表AJA≦（直接辐射表AJC+散射辐射表AJD）≦1.1×总辐射表AJA。

上述辐射表间关系可以用于检测数据的一致性和质量，例如，当发现某个时间点的直接辐射和散射辐射之间明显不等于总辐射，则代表其中一个或多个传感器的数据出现问题。

在一种优选实施方式中，数据质控单元130的数据质控包括环境条件检查，该检查包括：通过日出日落时间判断当前环境是否为夜晚，若判断为夜晚，但直接辐射数据不为0，则认定该数据为错误数据，优选地，环境条件检查亦可作为第二级质控算法。

在一种优选实施方式中，数据质控单元130的数据质控包括日角Solar Noon的计算，日角Solar Noon是太阳在天空中的位置，当太阳位于最高点时，日角Solar Noon为0度，日角Solar Noon通过以下公式计算：

日角Solar Noon =（720 - 4 *经度-等效标准时间EoT）/ 1440；

其中，等效标准时间EoT是基于地球的椭圆轨道和轴倾斜产生的校正值，可以查表获得。

在一种优选实施方式中，数据质控单元130的数据质控包括太阳赤纬SolarDeclination的计算，太阳赤纬Solar Declination是太阳在天空中的高度角，根据日角Solar Noon和日期计算。

在一种优选实施方式中，数据质控单元130的数据质控包括日出时间和日落时间的计算，其中：

日出时间 = 日角Solar Noon - cos^(-1)((sin(-0.83degrees) - sin(纬度) *sin(太阳赤纬Solar Declination)) / (cos(纬度) * cos(太阳赤纬SolarDeclination))) * 4 / 1440 ；

日落时间 = 日角Solar Noon + cos^(-1)((sin(-0.83degrees) - sin(纬度) *sin(太阳赤纬Solar Declination)) / (cos(纬度) * cos(Solar Decliation))) * 4 /1440。

在一种优选实施方式中，数据质控单元130的数据质控包括滑动窗口异常检测，该检测包括：在分钟级的数据内设置一个滑动窗口，滑动窗口可设置为10分钟，在每个滑动窗口内计算数据的平均值和标准差，判断滑动窗口内的每个数据点是否在平均值±k倍标准差的范围内（k设为3），若某个数据点超出该范围，则判断该数据为异常值；进一步地，滑动窗口异常检测质控为第三级质控，反应分钟级各辐射表数据自身的连续性，若不满足，将标记此条数据仅通过了第二级质控；依次通过所有级别质控则标记为合格数据。

在一种优选实施方式中，数据质控单元130的数据传输通过有线通信方式或无线通信方式实时向业务接收端传输数据；优选地，在与业务接收端数据传输的过程中，数据格式应满足MQTT协议要求，支持同时2路以上的基于MQTT协议的XML格式数据传输。

优选地，业务接收端与数据采集端、数据处理端以RS-232进行连接，并以MQTT协议通过有线通信方式或无线通信方式进行数据传输，业务接收端能够对数据采集端和/或数据处理端进行工作状态的监控及维护状态、运行参数的控制。

如图2，在本发明的另一实施例中，还提供了一种基准辐射观测数据处理方法，该方法基于上述系统而实现，包括以下步骤：

S210.获取原始基准辐射观测数据，其中，所述原始基准辐射观测数据包括总辐射、散射辐射、直接辐射、反射辐射、大气长波辐射、地面长波辐射、净全辐射、紫外辐射A、紫外辐射B及光合有效辐射的辐射数据。

S220.对所述原始基准辐射观测数据进行预处理。

在一种优选实施方式中，预处理包括将获取的原始基准辐射观测数据进行解码及反序列化，根据数据协议将对应的数值转换为其对应的单位。

在一种优选实施方式中，预处理还包括判断原始基准辐射观测数据是否满足阈值质控的要求，阈值质控为第一级质控，若不满足阈值质控的要求，则剔除该数据，不再对其进行一级运算及二级运算，并将其标记为异常数据。

S230.对预处理后的数据进行一级运算，获得符合质控规则的目标质控项。

在一种优选实施方式中，一级运算与上述基准辐射观测数据处理系统中的一级运算相同，在此不再赘述。

S240.按照所述质控规则对所述目标质控项进行数据质控的二级运算，其中，所述二级运算包括所述目标质控项进行数据帧格式和时间一致性的检测质控。

在一种优选实施方式中，二级运算中包括第二级质控和第三级质控。

具体地，质控规则包括辐射表间关系的质控，表间关系质控为第二级质控，反应表间关系是否符合逻辑，若不满足，将不进行第三级质控算法的计算，并标记此条数据仅通过了第一级质控；辐射表间关系的质控算法为：

0.9×总辐射表AJA≦（直接辐射表AJC+散射辐射表AJD）≦1.1×总辐射表AJA。

具体地，质控规则还包括环境条件检查、日角Solar Noon的计算和太阳赤纬SolarDeclination的计算、日出时间和日落时间的计算，环境条件检查亦可作为第二级质控，其算法详见上述基准辐射观测数据处理系统中所述的质控规则，在此不再赘述。

具体地，质控规则包括滑动窗口异常检测，所述滑动窗口异常检测包括：

在分钟级的数据内设置一个滑动窗口，每个滑动窗口包含10条分钟级数据，在每个滑动窗口内计算数据的平均值和标准差，判断滑动窗口内的每个数据点是否在平均值±k倍标准差的范围内，若某个数据点超出该范围，则判断该数据为异常值；滑动窗口异常检测质控为第三级质控，反应分钟级各辐射表数据自身的连续性，若不满足，将标记此条数据仅通过了第二级质控；通过所有级别质控则标记为合格数据。

S250.剔除不合格的质控数据，并将合格的质控数据输出至数据中心。与现有技术相比，本发明所提供的系统和方法实现了基准辐射观测仪的主要数据处理、自动化及数据格式的统一功能，保证了质量控制和状态监控的目标。进一步地，本发明避免了多种辐射观测数据中异常数据的出现，因此，采用本发明实施例提供的方法，可以生成优质观测数据，排除设备采集时被干扰所产生的异常情况，并保证数据精度，为后期处理、分析基准辐射观测数据提供支撑。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。