一种二次Bezier曲线拟合的高空气象探测中气温异常检测方法

技术领域

本发明涉及一种二次Bezier曲线拟合的高空气象探测中气温异常检测方法，属于高空气温检测技术领域。

背景技术

高空气象探测是指借助仪器探测地面至3万米高空的温度、气压、湿度、风向、风速等气象要素。高空气象探测是气象观测的基础业务之一，担负着为天气预报、气候分析、科学研究和国际交换提供准确、及时的高空气象情报和资料的任务。

高空气象探测的方法是利用气球携带探空仪升空进行探测(俗称气球探空)，这种方法的优点是探测数据来自于原位探测，探测精度较高，探测高度高，且不受天气影响。但是，由于探空仪故障、无线通信异常，以及探空针对气球上升到一定高度会发生爆炸等原因，高空气象探测数据中常存有一些异常数据。这些异常数据未经处理就被直接利用，则后续的分析研究和实际情况相比会出现较大的偏差，导致分析及研究结果的可信度就会减低。

高空气象探测数据的常规质量控制方法发展成熟，主要包括：极值检查、要素间一致性检查(时间一致性、空间一致性、水平一致性)、逆温检查、风切变检查和静力学检查。这些质量控制步骤对于剔除明显异常数据效果很好，但是对于秒级高空气象探测数据的精细化异常检测就略显粗糙。在前面这些方法的基础上，衍生出了一系列新的质量控制方法，包括：改进型静力学检查，温度的超绝热递减率检查，僵直检查，双权重离群值检查，分段拟合检查，雷达原始坐标检查，高斯滤波检查，气球升速检查，单调性检查，线性回归质量检查等。

在高空气象探测中，数据的异常通常会综合考虑气温、气压、湿度、风力和风向等数据，其中，气温是数据异常的最主要判定依据。

目前，气象局解决高空气象探测数据异常的方法是进行人工筛查，即让有相关经验的工作人员对采集的数据进行分析并打上标签。但是人工筛查方法不但存在人力资源的浪费，也会由于人员判断标准的不统一导致数据异常判定结果的不一致。

发明内容

为了克服上述问题，本发明提供一种二次Bezier曲线拟合的高空气象探测中气温异常检测方法，该方法对数据的异常检测是从粗粒度到细粒度逐步增强的，综合利用Tag标记数组和两次Bezier拟合结果计算表示异常概率的异常值数组score，为数据质控人员提供异常数据判别参考，有利于统一质控人员对异常数据的判定标准，避免误判和错判，也可以大大提高质控人员的工作效率。

本发明的技术方案如下：

一种二次Bezier曲线拟合的高空气象探测中气温异常检测方法，包括：

获取高空气象观测数据，所述高空气象观测数据包括时间数据与温度数据；

根据时间数据与温度数据分别形成数组T和A，

基于数组T和A进行基于极值的异常标记，并存储于Tag数组；

构造用于存储拟合温度数据的数组B，基于数组T和数组A进行Bezier拟合，得到拟合温度数据，并存储于数组B；

计算温度数据与拟合温度数据的偏差，并根据偏差与阈值更新Tag数组中的异常标记；

构造用于存储第二次拟合温度数据的数组D，基于第一次Bezier拟合数组B进行Bezier拟合，得到第二次拟合温度数据，并存储于数组D；

计算温度数据与第二次拟合温度数据的偏差，并根据偏差与阈值更新Tag数组中的异常标记；

计算每一个温度数据异常的可能性，输出表示温度异常概率的score数组。

进一步的，所述高空气象观测数据通过以下方法获得：

读取L波段高空气象探测系统产生的源数据文件；

解析所述源数据文件，提取其中的时间与温度数据。

进一步的，数组T和A的长度均为n+2，且数据存放在下标为1,2,…,n的位置，n为数据点数量，数组T和A的头尾元素如下：

A[0]＝GT

T[0]＝T[1]-1；

A[n+1]＝A[n]+A[n]-A[n-1]；

T[n+1]＝T[n]+1；

其中，GT

进一步的，对数组T和A进行基于极值的异常标记，具体为：

获取历史高空气象观测数据的分段极值，所述分段极值包括温度极大值max_temp和温度极小值min_temp，获取测量仪器的量程最大值range_max和量程最小值range_min；

根据下式对数组T和A进行Tag标注：

其中，Tag为0表示温度正常，Tag为1表示温度异常。

根据A[1]与地面温度GT

进一步的，构造用于存储拟合温度数据的数组B，基于数组T和数组A进行Bezier拟合，得到拟合温度数据，具体为：

构造数组B用于存储拟合温度数据；

利用Bezier拟合对每个待判定点A[k]做如下操作，其中1≤k≤n：

P1＝(A[k]，T[k])；

/>

将P

计算中间变量t：

计算中间变量P

其中，P

令B[k]＝P

进一步的，计算温度数据与拟合温度数据的偏差，并根据偏差与阈值更新Tag数组中的异常标记时，按照下式进行：

其中，threshold1为阈值。

进一步的，阈值threshold1为0.122。

进一步的，构造用于存储第二次拟合温度数据的数组D，基于第一次Bezier拟合数组B进行Bezier拟合，得到第二次拟合温度数据，具体为：

构造数组D用于存储第二次拟合温度数据；

利用Bezier拟合对每个待判定点B[k]做如下操作：

P1＝(B[k]，T[k])；

计算中间变量t：

计算中间变量Pt：

令D[k]＝P

进一步的，计算温度数据与第二次拟合温度数据的偏差，并根据偏差与阈值更新Tag数组中的异常标记时，按照下式进行：

其中，threshold2为阈值。

进一步的，计算每一个温度数据异常的可能性，输出表示温度异常概率的score数组，具体为：

对非异常的温度数据进行异常值标注，用于表示其为异常的可能性，异常值数组score公式如下：

本发明具有如下有益效果：

本发明对数据的异常检测是从粗粒度到细粒度逐步增强的，首先利用仪器量程极值和历史数据的分段极值进行异常的过滤，把一些显著的异常点剥离出来；在此基础上利用第一次Bezier曲线拟合的方式对非连续异常数据点进行异常判定；但是第一次Bezier拟合容易受到连续异常点的干扰从而对连续异常点产生误判，因此在第一次Beizer判定的基础上进行第二次Bezier曲线拟合，以避免连续异常点导致的异常数据误判。最后，本发明综合利用Tag标记数组和两次Bezier拟合结果计算表示异常概率的异常值数组score，为数据质控人员提供异常数据判别参考，有利于统一质控人员对异常数据的判定标准，避免误判和错判，也可以大大提高质控人员的工作效率。

附图说明

图1为本发明的实施例利用温度量程检测出的异常点。

图2为本发明的实施例利用温度分区间的历史极值检测出的异常点。

图3为本发明的实施例第一次Bezier拟合后，用测量值与拟合值做差进行检测，得到的异常点。

图4为本发明的实施例第二次Bezier拟合后，用第一次拟合值与本次拟合值做差进行检测，得到的异常点。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

一种二次Bezier曲线拟合的高空气象探测中气温异常检测方法，包括：

获取高空气象观测数据，所述高空气象观测数据包括时间数据与温度数据；

根据时间数据与温度数据分别形成数组T和A，

基于数组T和A进行基于极值的异常标记，并存储于Tag数组；

构造用于存储拟合温度数据的数组B，基于数组T和数组A进行Bezier拟合，得到拟合温度数据，并存储于数组B；

计算温度数据与拟合温度数据的偏差，并根据偏差与阈值更新Tag数组中的异常标记；

构造用于存储第二次拟合温度数据的数组D，基于第一次Bezier拟合数组B进行Bezier拟合，得到第二次拟合温度数据，并存储于数组D；

计算温度数据与第二次拟合温度数据的偏差，并根据偏差与阈值更新Tag数组中的异常标记；

计算每一个温度数据异常的可能性，输出表示温度异常概率的score数组。

在一种实施方式中，所述高空气象观测数据通过以下方法获得：

读取L波段高空气象探测系统产生的源数据文件；

解析所述源数据文件，提取其中的时间与温度数据。

更具体地，通过读取国产L波段高空气象探测系统产生的源数据文件(即S文件)进行解析，并提取出其中的时间与温度数据。

在本发明的一种实施方式中，数组T和A的长度均为n+2，且数据存放在下标为1,2,…,n的位置，n为数据点数量，数组T和A的头尾元素如下：

A[0]＝GT

T[0]＝T[1]-1；

A[n+1]＝A[n]+A[n]-A[n-1]；

T[n+1]＝T[n]+1；

其中，GT

在本发明的一种实施方式中，对数组T和A进行基于极值的异常标记，具体为：

获取历史高空气象观测数据的分段极值，所述分段极值包括温度极大值max_temp和温度极小值min_temp，获取测量仪器的量程最大值range_max和量程最小值range_min；

根据下式对数组T和A进行Tag标注：

其中，Tag为0表示温度正常，Tag为1表示温度异常。

根据A[1]与地面温度GT

在本发明的一种实施方式中，构造用于存储拟合温度数据的数组B，基于数组T和数组A进行Bezier拟合，得到拟合温度数据，具体为：

构造数组B用于存储拟合温度数据；

利用Bezier拟合对每个待判定点A[k]做如下操作，其中1≤k≤n：

P

将P

计算中间变量t：

计算中间变量P

其中，P

令B[k]＝P

引入中间变量t和P

在本发明的一种实施例中，计算温度数据与拟合温度数据的偏差，并根据偏差与阈值更新Tag数组中的异常标记时，按照下式进行：

/>

其中，threshold1为阈值。

特别的，阈值threshold1为0.122。

在本发明的一种实施例中，构造用于存储第二次拟合温度数据的数组D，基于第一次Bezier拟合数组B进行Bezier拟合，得到第二次拟合温度数据，具体为：

构造数组D用于存储第二次拟合温度数据；

利用Bezier拟合对每个待判定点B[k]做如下操作：

P1＝(B[k]，T[k])；

计算中间变量t：

计算中间变量P

令D[k]＝P

在本发明的一种实施例中，计算温度数据与第二次拟合温度数据的偏差，并根据偏差与阈值更新Tag数组中的异常标记时，按照下式进行：

其中，threshold2为阈值。

特别的，阈值threshold2为0.076。

在本发明的一种实施方式中，计算每一个温度数据异常的可能性，输出表示温度异常概率的score数组，用于表示其为异常的可能性，可能性介于0到1之间，其值越大说明其越可能是异常数据，异常值数组score公式如下：

在具体的使用中，通过设定阈值进行温度节点异常的排查。

以下为本发明方法利用某探空站的探空数据进行异常点检测的结果说明。

图1为该探空站利用温度量程检测出的异常点，其中，“x”为异常点，“·”为正常点。(两图时间分别为2020年1月1日7时与2020年2月5日19时)。从图中可以看出，利用温度测量仪器的量程进行数据点的异常判断是有效的，能够正确标记出超出仪器量程的数据点。

图2为该探空站利用温度分区间的历史极值检测出的异常点，其中，“x”为异常点，“·”为正常点。(两图时间分别为2020年1月1日7时与2020年2月5日19时)。从图中可以看出，利用温度分区间的历史极值进行数据点的异常判断是有效的，其所标记出的异常点是明显偏离了探空气球上升过程中的数据轨迹。

图3为该探空站数据第一次Bezier拟合后，用测量值与拟合值做差进行检测，得到的异常点，其中，“*”为异常点，“·”为正常点。(两图时间分别为2020年2月3日7时与2020年1月2日7时)。从图中可以看出，对于图3(a)中的第8秒和第58秒，图3(b)中的第3072秒和第3074秒中的少量偏移异常点，第一次Bezier拟合方法可以有效检测出其为异常。

图4为该探空站数据第二次Bezier拟合后，用第一次拟合值与本次拟合值做差进行检测，得到的异常点，其中，“*”为异常点，“·”为正常点。(时间2020年1月5日7时)。从图中可以看出，图4的第3345秒到第3350秒的连续剧烈变化，第一次Bezier拟合结果容易受到连续异常点的影响，从而误判正确点(第3346秒对应的温度)。而通过在第一次Bezier判定的基础上，通过选择3344秒对应点温度为参照，可以恢复第3344秒所对应数据点，减少异常的误判。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。