传感器异常检测方法、模型训练方法、系统、设备及介质

技术领域

本发明涉及工业领域，尤其涉及一种传感器异常检测方法、模型训练方法、系统、设备及介质。

背景技术

为了满足现代制造业的生产需求，现代工业生产系统正变得越来越复杂和多样化。对于工业生产设备的监控系统，常依赖于各类传感器进行信息的采集，因此传感器的精度及可靠性在工业生产领域有了越来越高的要求，其不仅对确定当前生产设备的运行状态及周围环境有着重要意义，也会对运营管理、故障预测以及调度维修的决策产生重要影响。工业传感器故障或异常，不仅会严重影响整个运维系统的性能和安全性，还可能会导致重大的财产损失，甚至设备的损坏及人员伤亡。

而目前，对于工业传感器的异常识别主要根据目标传感器自身采集的信号，并结合传统的工业机理和个人经验。而传统判别方法主要有如下三个问题：(1)传感器采集的信息耦合了被测对象、自身状态及环境等因素，当上述因素发生改变时，传感器采集的数据也会发生改变，从而使得传感器异常判别的结果不准确；(2)传统方法过于依赖个人经验，需要先根据传感器异常类型对可能引起该类型的传感器特征量进行分类分析，人为因素对结果的影响较大；(3)传统方法只能粗略判断传感器是否存在异常，而对于异常传感器无法及时对其采集的异常数据进行修正，使得一旦某个传感器发生异常，就必须立刻对设备进行停机检修，严重影响设备的可靠性、生产效率、及生产成本。

发明内容

本发明要解决的技术问题是为了克服现有技术中异常判别不准确及无法对异常传感器的异常数据进行修正的缺陷，提供一种传感器异常检测方法、模型训练方法、系统、设备及介质。

本发明是通过下述技术方案来解决上述技术问题：

一种模型训练方法，所述模型训练方法包括：

对于多个传感器，获取每个所述传感器对应的第一样本数据集，所述第一样本数据集包括所述传感器在一预设时间段内所采集的采集数据；

对多个所述传感器的第一样本数据集进行预处理得到对应的第二样本数据集，以将每个所述传感器的样本数据量进行统一，所述第二样本数据集包括所述采集数据经过预处理后得到的特征数据；

从多个所述传感器中确定目标传感器，并根据预先训练的所述目标传感器的关联特征模型确定其余传感器与所述目标传感器的特征重要性；

对所述特征重要性进行排序，并将前K个特征重要性对应的其余传感器确定为所述目标传感器的关联传感器；

将所述关联传感器的第二样本数据集作为输入、所述目标传感器的第二样本数据集作为输出进行训练，以得到传感器异常检测模型。

可选地，所述对多个所述传感器的第一样本数据集进行预处理得到对应的第二样本数据集，包括：

确定预设采集频率；

根据所述预设采集频率设置第一时间窗，所述第一时间窗沿每个所述第一样本数据集的时间戳进行滑动；

通过所述第一时间窗获取采集数据，并将所述第一时间窗内的多个所述采集数据合并为一个所述特征数据。

可选地，所述模型训练方法还包括：

从多个所述传感器中依次选取目标传感器，直至确定所有传感器的传感器异常检测模型。

可选地，所述关联特征模型由所述其余传感器的第二样本数据集作为输入、所述目标传感器的第二样本数据集作为输出进行训练得到。

可选地，所述将所述关联传感器的第二样本数据集作为输入，将所述目标传感器的第二样本数据集作为输出进行训练，以得到传感器异常检测模型，包括：

根据不同的预设时间步长对所述关联传感器的第二样本数据集的特征数据进行多次划分，得到多个划分后的第二样本数据集；

依次将每个划分后的第二样本数据集作为输入对基础模型进行训练，得到多个预训练基础模型，将精度最小的所述预训练基础模型确定为所述传感器异常检测模型。

可选地，所述根据不同的预设时间步长对所述关联传感器的第二样本数据集的特征数据进行多次划分，得到多个划分后的第二样本数据集，包括：

根据预设时间步长设置第二时间窗，所述第二时间窗沿每个所述第二样本数据集的时间戳进行滑动；

通过所述第二时间窗获取特征数据，并将所述第二时间窗内的多个特征数据合并为一个平均特征数据。

一种传感器异常检测方法，所述传感器异常检测方法包括：

获取待检测传感器和关联传感器采集的当前特征数据；

将所述关联传感器的当前特征数据输入至传感器异常检测模型，以得到所述待检测传感器的预测特征数据，所述传感器异常检测模型根据上述任一项所述的模型训练方法训练得到；

判断所述待检测传感器的当前特征数据与所述预测特征数据的差值是否落入第一误差范围，所述第一误差范围由所述传感器异常检测模型的精度确定；

若否，则确定所述待检测传感器出现异常，并将所述预测特征数据作为所述待检测传感器的目标特征数据。

一种模型训练系统，所述模型训练系统包括：

第一获取模块，用于对于多个传感器，获取每个所述传感器对应的第一样本数据集，所述第一样本数据集包括所述传感器在一预设时间段内所采集的采集数据；

预处理模块，用于对多个所述传感器的第一样本数据集进行预处理得到对应的第二样本数据集，以将每个所述传感器的样本数据量进行统一，所述第二样本数据集包括所述采集数据经过预处理后得到的特征数据；

目标传感器确定模块，用于从多个所述传感器中确定目标传感器，并根据预先训练的所述目标传感器的关联特征模型确定其余传感器与所述目标传感器的特征重要性；

关联传感器确定模块，用于对所述特征重要性进行排序，并将前K个特征重要性对应的其余传感器确定为所述目标传感器的关联传感器；

模型训练模块，用于将所述关联传感器的第二样本数据集作为输入、所述目标传感器的第二样本数据集作为输出进行训练，以得到传感器异常检测模型。

一种传感器异常检测系统，所述传感器异常检测系统包括：

第三获取模块，用于获取待检测传感器和关联传感器采集的当前特征数据；

预测特征数据确定模块，用于将所述关联传感器的当前特征数据输入至传感器异常检测模型，以得到所述待检测传感器的预测特征数据，所述传感器异常检测模型根据上述模型训练系统训练得到；

判断模块，用于判断所述待检测传感器的当前特征数据与所述预测特征数据的差值是否落入第一误差范围，所述第一误差范围由所述传感器异常检测模型的精度确定；若否，则执行目标特征数据确定模块；

目标特征数据确定模块，用于确定所述待检测传感器出现异常，并将所述预测特征数据作为所述待检测传感器的目标特征数据。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的模型训练方法或上述所述的传感器异常检测方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的模型训练方法或上述所述的传感器异常检测方法。

本发明的积极进步效果在于：本发明首先通过对采集数据进行预处理，得到在时间上统一的第二样本数据集，在尽可能保留原始数据信息的前提下实现数据同步，再通过特征关联模型所有传感器的关联传感器，从而确定在进行传感器异常检测进行特征数据计算式所需的输入特征数据，最后通过传感器异常检测模型，在机器学习过程中，同时对多个状态下的工业传感器数据进行时序关联与分析，能够有效地对目标传感器进行异常检测的同时对于异常数据也能及时进行更换。

附图说明

图1为本发明一示例性实施例提供的一种模型训练方法的流程图；

图2为本发明一示例性实施例提供的一种传感器异常检测方法的流程图；

图3为本发明一示例性实施例提供的一种传感器异常检测的结果示意图；

图4为本发明一示例性实施例提供的一种模型训练系统的模块图；

图5为本发明一示例性实施例提供的一种传感器异常检测系统的模块图；

图6为本发明一示例性实施例提供的一种电子设备的结构图。

具体实施方式

下面通过一示例性实施例的方式进一步说明本发明，但并不因此将本发明限制在的实施例范围之中。

本发明一示例性实施例提供一种模型训练方法，参见图1，方法包括：

S101、对于多个传感器，获取每个传感器对应的第一样本数据集，第一样本数据集包括传感器在一预设时间段内所采集的采集数据。

在一个实施例中，获取布置在工业设备或工业现场的各工业传感器在一预设时间段内的采集到的采集信号，采集信号用于监测工业设备新能及工作状态。对于采集信号进行必要的信号处理，包括但不限于数模转换、去除空值等，以得到每个传感器的采集数据。

S102、对多个传感器的第一样本数据集进行预处理得到对应的第二样本数据集，以将每个传感器的样本数据量进行统一，第二样本数据集包括采集数据经过预处理后得到的特征数据。

在一个实施例中，由于工业系统中每个传感器的采样频率不同，在同一预设时间段内每个传感器所采集的采集数据数量也不同，因此使得每个传感器采集的采集数据无法在时间上统一。为了在数量和时间上对每个传感器的采集数据进行统一，便于进行模型训练和数据分析，通过动态时间窗对每个传感器的第一样本数据集进行降维统一。

在一个实施例中，步骤S102具体包括以下步骤：

确定预设采集频率。

其中，对于多个传感器，确定每个传感器的采集频率，并将所有传感器的采集频率中最小采集频率确定为预设采集频率f

根据预设采集频率设置第一时间窗，第一时间窗沿每个第一样本数据集的时间戳进行滑动。

其中，第一时间窗的长度为1/f

通过第一时间窗获取采集数据，并将第一时间窗内的多个采集数据合并为一个特征数据。

其中，对于第一样本数据集中每一组被第一时间窗划分的样本数据取平均值以得到对应的特征数据，并将每组样本数据中最早的时间戳覆盖为特征数据的时间戳，即在第一时间窗进行滑动的过程中将每个第一时间窗内的数据进行覆盖并压缩得到独立的一维样本。

对于每个传感器通过第一时间窗分割后降维的特征数据，按照时间戳的顺序进行索引合并，以得到每个传感器的第二样本数据集，第二样本数据集包括T个特征数据，T＝预设时间/f

本实施例中，通过多个工业传感器的采集频率确定预设采集频率，并根据预设采集频率设置第一时间窗，在第一时间窗滑动的过程中将每个传感器在多个时间点上的采集数据降维成一维的特征数据。通过动态降维重塑特征数九，得到在时间上统一的第二样本数据集。在尽可能保留原始数据信息的前提下实现数据同步，提升了基于多工业信号传感器的关联性分析及异常分析方法的可靠性。

S103、从多个传感器中确定目标传感器，并根据预先训练的目标传感器的关联特征模型确定其余传感器与目标传感器的特征重要性。

在一个实施例中，关联特征模型用于提取输入的其余传感器与目标传感器的特征重要性，关联特征模型可以为各类树模型，具体可以根据实际需要进行选择，在此不限定关联特征模型的表现形式，本实施例中优选为随机森林模型。

在一个实施例中，关联特征模型由其余传感器的第二样本数据集作为输入、目标传感器的第二样本数据集作为输出进行训练得到，具体地：

对于每个确定的目标传感器S

训练得到的RF

S104、对特征重要性进行排序，并将前K个特征重要性对应的其余传感器确定为目标传感器的关联传感器；

在一个实施例中，对于特征重要性I(i，1)，I(i，2)，I(i，3)，...，I(i，N-1)进行排序，并将前K个I(i，1)，I(i，2)，I(i，3)，...，I(i，K)对应的其余传感器S

在一个实施例中，重复执行步骤S103-S104，从多个传感器中依次确定目标传感器，并得到每个传感器的关联传感器矩阵，如下表所示：

在本实施例中，通过关联特征模型计算得到每个传感器的关联传感器，传感器异常检测模型在进行目标特征数据预测时，能够有效地对关联数据进行学习，从而计算得到预测特征数据。同时通过关联传感器对目标传感器进行检测能够消除低关联传感器的影响，从而减小检测误差，提高工业监测系统的稳定性，

S105、将关联传感器的第二样本数据集作为输入、目标传感器的第二样本数据集作为输出进行训练，以得到传感器异常检测模型。

在一个实施例中，对于每个确定的目标传感器S

在一个实施例中，步骤S105具体包括以下步骤：

S105-1、根据不同的预设时间步长对关联传感器的第二样本数据集的特征数据进行多次划分，得到多个划分后的第二样本数据集。

在一个实施例中，预设时间步长t的范围可以为1

在一个实施例中，步骤S105-1中对第二样本数据集的划分包括以下步骤：

根据预设时间步长设置第二时间窗，第二时间窗沿每个第二样本数据集的时间戳进行滑动。

其中，第二时间窗的长度为预设时间步长t，第二时间窗的滑动长度为一个特征数据，第二时间窗每进行一次划分便向后移动一个特征数据，第二时间窗将第二样本数据集划分为T-t+1组时间跨度为t的特征数据的集合。由于第二时间窗的长度为t，对于后t-1个特征数据，一个第二时间窗内无法采集t个特征数据，因此在本实施例中，可以对后t-1个数据进行舍弃。

通过第二时间窗获取特征数据，并将第二时间窗内的多个特征数据合并为一个平均特征数据。

其中，对于第二样本数据集中每一组被第二时间窗划分的特征数据取平均值以得到对应的皮平均特征数据，并将每组特征数据中最早的时间戳覆盖为平均特征数据的时间戳，即在第二时间窗进行滑动的过程中将第二样本数据集划分为包括T-t+1个平均特征数据的集合。

S105-2、依次将每个划分后的第二样本数据集作为输入对基础模型进行训练，得到多个预训练基础模型，将精度最小的预训练基础模型确定为传感器异常检测模型。

在一个实施例中，对于每个不同预设时间步长训练得到的预训练基础模型，计算得到对应的精度，即标准差A(i,t)，并选取标准差为最小值时对应的预训练基础模型作为传感器异常检测模型，对应的预设时间步长作为目标时间步长。

在一个实施例中，基础模型的输出特征数据为目标传感器的第ts个时间戳的特征数据，基础模型的输入特征数据为所有关联传感器的第ts个时间戳的特征数据。根据第二样本数据集中的时间戳数量将划分后的第二样本数据集划分为测试子集和训练子集对基础模型进行训练，得到每个预设时间步长对应的预训练基础模型。

在一个实施例中，重复执行步骤S105，直至确定所有传感器的传感器异常检测模型。

在本实施例中，通过训练传感器异常检测模型，在机器学习过程中，同时对多个状态下的工业传感器数据进行时序关联与分析，从而有效解决工业现场传感器之间的信号受到缓变量信号的影响而不同步变化的难点。

下面通过一具体实施方式，对步骤S105的第二样本数据集的划分过程及模型训练过程做进一步说明：

划分前的第二样本数据集参见下表所示，将所有关联传感器的第二样本数据集可以进行合并得到T*K维的关联数据矩阵，S(i,K,ts)表征与目标传感器S

划分后的每个关联传感器的第二样本数据集如下所示，t表征进划分的预设时间步长；由于第二时间窗的长度为t，一个第二样本数据集中可能有t-1个特征数据无法构成一个第二时间窗的划分需求，因此，可以对后t-1个特征数据进行舍弃，也可以对前t-1个特征数据进行舍弃，对于每个关联传感器共得到T-t+1个由第二时间窗合并后的平均特征数据。

划分后的第二样本数据集被延展成了(T-t)*(t*K)个维度的关联数据矩阵，将第ts个时间戳的目标传感器的平均特征数据作为基础模型的输出，将第ts个时间戳的所有关联传感器的平均特征数据作为基础模型的输入，并按照时间戳的顺序将第二样本数据集划分为测试子集和训练子集对基础模型进行交叉验证，得到预训练基础模型，并计算得到预训练基础模型的精度，即标准差A(i,t)，并选取标准差为最小值时对应的预训练基础模型作为传感器异常检测模型，对应的预设时间步长作为目标时间步长。

本发明一示例性实施例提供一种传感器异常检测方法，参见图2，方法包括：

S201、获取待检测传感器和关联传感器采集的当前特征数据。

在一个实施例中，对于待检测传感器和关联传感器，以每个传感器自身的采集频率采集t个运行数据，并将t个运行数据合并为1个当前特征数据，合并为一个特征数据的同样采用时间窗，过程与上述内容类似，在此不再赘述。其中，t为传感器异常检测模型对应的预设时间步长。

S202、将关联传感器的当前特征数据输入至传感器异常检测模型，以得到待检测传感器的预测特征数据，传感器异常检测模型根据上述任一项的模型训练方法训练得到。

S203、判断待检测传感器的当前特征数据与预测特征数据的差值是否落入第一误差范围，第一误差范围由传感器异常检测模型的精度确定；若否，则执行步骤S204；若是，则执行步骤S205。

S204、确定待检测传感器出现异常，并将预测特征数据作为待检测传感器的目标特征数据。

S205、确定待检测传感器未出现异常，并将目标传感器的当前特征数据作为待检测传感器的目标特征数据。

在一个实施例中，第一误差范围为|T

下面以汽轮机为例，通过一具体实施方式对发明实施例做进一步说明：

获取某汽轮机共107个传感器的历史采集数据，其中采集数据主要包括压力、温度等传感器信号，其中最小采集频率为1/30HZ，即一个数据的采集周期为30秒。

以最大采集周期为30秒为第一时间窗对第一样本数据集进行预处理最终得到700000个样本数据。

构建随机森林模型，训练评价设置为均方差，决策树最大个数为100，最大深度为10，使用随机森林获取待测传感器的前10个最为关联的传感器，并获得关联传感器对应的第二样本数据集。

分别将时间预设时间步长设为2,3,…,10，获得对应步长延展后的第二样本数据集，参见下表，S(k,ts)表征第k个关联传感器在第ts时刻的平均特征数据：

分别在不同预设时间步长下，将划分后的第二样本数据集按照9:1的比例随机划分为训练子集和测试子集，分别包括630000个训练样本与70000个测试样本，通过交叉验证的方式进行模型训练。

构建LSTM模型，根据各时间步长下的训练集，通过划分后的第二样本数据集训练LSTM模型，设定模型记忆细胞的神经元个数为32，学习率为0.001，选取均方差最低的LSTM模型作为最终的传感器异常检测模型，最终模型的训练标准差为0.628，均方差为0.358。

使用传感器异常检测模型预测待检测传感器的预测特征数据，当预测特征数据与当前特征数据的差超过三倍标准差，即第一误差范围为小于三倍标准差，则认为待检测传感器处于异常状态，并用预测特征数据进行修正。最终比对结果如图3所示，图中坐标轴横轴为timestamp index(时间步长)，纵轴为sensor values(传感器特征数据)，共标出十二处异常，其中点1、点2、点11三处标志为设备故障，点3、点4、点5、点6、点7、点8、点9、点10、点12十处标志为传感器故障(传感器的实际测量值与模型预测值超过了3倍标准差，即超出了第一误差范围)，与设备实际历史故障记录一致。

本发明一示例性实施例提供一种模型训练系统，模型训练系统用于实现上述实施例对应的模型训练方法，参见图4，模型训练系统包括：

第一获取模块41，用于对于多个传感器，获取每个传感器对应的第一样本数据集，第一样本数据集包括传感器在一预设时间段内所采集的采集数据；

预处理模块42，用于对多个传感器的第一样本数据集进行预处理得到对应的第二样本数据集，以将每个传感器的样本数据量进行统一，第二样本数据集包括采集数据经过预处理后得到的特征数据；

目标传感器确定模块43，用于从多个传感器中确定目标传感器，并根据预先训练的目标传感器的关联特征模型确定其余传感器与目标传感器的特征重要性；

关联传感器确定模块44，用于对特征重要性进行排序，并将前K个特征重要性对应的其余传感器确定为目标传感器的关联传感器；

模型训练模块45，用于将关联传感器的第二样本数据集作为输入、目标传感器的第二样本数据集作为输出进行训练，以得到传感器异常检测模型。

本发明一示例性实施例提供一种传感器异常检测系统，传感器异常检测系统用于实现上述实施例对应的传感器异常检测方法，参见图5，传感器异常检测系统包括：

第三获取模块51，用于获取待检测传感器和关联传感器采集的当前特征数据；

预测特征数据确定模块52，用于将关联传感器的当前特征数据输入至传感器异常检测模型，以得到待检测传感器的预测特征数据，传感器异常检测模型根据上述任一项的模型训练方法训练得到；

判断模块53，用于判断待检测传感器的当前特征数据与预测特征数据的差值是否落入第一误差范围，第一误差范围由传感器异常检测模型的精度确定；若否，则执行目标特征数据确定模块；

目标特征数据确定模块54，用于确定待检测传感器出现异常，并将预测特征数据作为待检测传感器的目标特征数据。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明一示例实施例提供一种电子设备，参见图6，电子设备可以为车载端，也可以为服务端示出了适于用来实现本发明实施方式的示例性电子设备60的结构图。图6显示的电子设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。

总线63包括数据总线、地址总线和控制总线。

存储器62可以包括易失性存储器，例如随机存取存储器(RAM)621和/或高速缓存存储器622，还可以进一步包括只读存储器(ROM)623。

存储器62还可以包括具有一组(至少一个)程序模块624的程序工具625(或实用工具)，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的方法。

电子设备60也可以与一个或多个外部设备64通信。这种通信可以通过输入/输出(I/O)接口65进行。并且，模型生成的电子设备60还可以通过网络适配器67与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器67通过总线63与模型生成的电子设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现上述任一实施例所提供的方法。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明实施例还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现上述任一实施例的方法。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。