掌桥专利:专业的专利平台
掌桥专利
首页

数据异常检测的方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 19:30:30


数据异常检测的方法、装置、电子设备及存储介质

技术领域

本申请涉及数据库领域,并且更具体地,涉及数据异常检测的方法、装置、电子设备以及存储介质。

背景技术

数据中台汇集了公司各个业务线的数据,用于生产离线报表、实时计算数据特征等。对于数据中台生产出来的数据或者生产过程中产生的统计数据,都需要进行异常检测,以便把控数据质量,发现数据中的计算错误、业务经营异常或软件系统运行异常等。

目前对数据中台的数据异常还普遍采用人工二次确认的方式,或者人工不定时检查的方式来保障数据质量,甚至是在数据异常之后才执行自查逻辑,缺少程序化的自动检测方法和手段,导致数据异常检测的时效性和灵活性不足,且准确性低。

发明内容

本申请实施例提供了一种数据异常检测的方法、装置、设备以及存储介质,能够实现程序化的数据异常自动检测,有利于提高数据异常检测的时效性、准确性和灵活性。

第一方面,提供了一种数据异常检测的方法,包括:

获取待检测的时序数据源;

根据所述时序数据源的时序分布,在预先注册的至少一个检测算法中确定用于检测所述时序数据源的目标检测算法;

获取所述目标检测算法的参数配置;

根据所述参数配置调用所述目标检测算法对所述时序数据源进行检测,确定所述时序数据源是否存在异常数据。

第二方面,提供了一种数据异常检测的装置,包括:

第一获取单元,用于获取待检测的时序数据源;

确定单元,用于根据所述时序数据源的时序分布,在预先注册的至少一个检测算法中确定用于检测所述时序数据源的目标检测算法;

第二获取单元,用于获取所述目标检测算法的参数配置;

检测单元,用于根据所述参数配置调用所述目标检测算法对所述时序数据源进行检测,确定所述时序数据源是否存在异常数据。

第三方面,本申请提供了一种电子设备,包括:

处理器,适于实现计算机指令;以及,

存储器,存储有计算机指令,计算机指令适于由处理器加载并执行上述第一方面的方法。

第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,该计算机指令被计算机设备的处理器读取并执行时,使得计算机设备执行上述第一方面的方法。

第五方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面的方法。

基于以上技术方案,通过根据时序数据源的时序分布,能够在预先注册的至少一个检测算法中确定用于检测该时序数据源的目标检测算法,然后进一步获取该目标检测算法的参数配置,并根据该参数配置调用该目标检测算法对时序数据源进行检测,确定时序数据源是否存在异常数据。本申请实施例能够根据时序数据源的时序分布特点,确定适配的目标检测算法以及相应的参数配置,进而调用该目标检测算法对时序数据源的数据异常检测,实现程序化的数据异常自动检测,有利于提高数据异常检测的时效性、准确性和灵活性。

附图说明

图1为本申请实施例涉及的一种应用场景示意图;

图2为根据本申请实施例的一种数据异常检测的方法的示意性流程图;

图3为根据本申请实施例的一种可选的异常检测系统的示意图;

图4为根据本申请实施例的一种可选的系统架构的示意图;

图5为本申请实施例提供的一种数据异常检测的装置的示意性框图;

图6是本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

首先,对本申请实施例的应用场景进行描述。

图1为本申请实施例涉及的一种应用场景100示意图。

如图1所示,场景100包括数据中台110和异常检测系统120,其中数据中台汇集了公司业务产生的各种数据,异常检测系统120用于对数据中台110生成的数据,以及数据生成过程中产生的数据进行异常检测,比如发现数据中的计算错误、业务经营异常或软件系统运行异常等。

示例性的,异常检测系统120可以为集数据上报、数据处理、异常分析以及智能告警于一体的一站式数据异常检测系统。

示例性地,异常检测系统120可以部署在服务器上。服务器可以是一台或多台服务器。当服务器是多台时,存在至少两台服务器用于提供不同的服务,和/或,存在至少两台服务器用于提供相同的服务,比如以负载均衡方式提供同一种服务,本申请实施例对此不加以限定。

其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器也可以成为区块链的节点。

可选的,服务器还可以显示异常检测系统120的网页(Web)界面。示例性的,管理人员可以通过该Web页面向对数据异常检测的各个环节进行监测管理。

在一些实施例中,数据中台产出的数据可以包括如下三类:

(一)离线计算的商业智能(Business Intelligence,BI)统计的报表数据,供公司经营决策之用,例如每日出入金人数、金额等;

(二)实时计算的流数据,直接在生产环境(即正式环境)生成并输出的数据,可以向用户展示,例如用户画像特征、用户资产分析等;

(三)各研发系统运行时产生的监测统计数据,用于日常运维发现软件故障、异常、性能瓶颈等,例如Kafka每分钟存储的数据条数、应用程序编程接口(ApplicationProgramming Interface,API)每分钟的故障率等。

对上述三类数据的异常检测具有重要的意义。例如,对于BI统计的报表数据,可能由于人为计算错误或者存储系统故障,导致生产出异常的数据值。如果未能在使用前发现该异常数据值并对其进行纠正,则可能误导决策人员作出错误的判断,产生较为严重的运营事故。又例如,实时计算出的特征数据,在系统重构、数据源发生切换时,可能会导致新旧系统产出的数据不一致,引起系统故障,因此需要对此类数据进行交叉对比,以及时发现问题。

目前,对数据中台的数据异常缺少程序化的自动检测方法和手段,例如,对于BI统计的报表类数据还普遍采用人工二次确认的方式进行异常检测,对于各类研发系统运行数据较多的采用人工不定时检查的方式进行异常检测,甚至是在数据异常之后才执行自查逻辑。这导致大多数就异常在数据生产之后隔了较长时间,通过检查人员的反馈才得以发现,延迟较大,时效性差。另外采用人工检查的方式对数据进行异常检测导致误报几率较大,同时人工进行数据检测方式不会针对数据本身的特征选择适配的检测算法,灵活性差。

基于此,本申请实施例提供了一种数据异常检测的方法、装置、设备以及存储介质,通过根据时序数据源的时序分布,能够在预先注册的至少一个检测算法中确定用于检测该时序数据源的目标检测算法,然后进一步获取该目标检测算法的参数配置,并根据该参数配置调用该目标检测算法对时序数据源进行检测,确定时序数据源是否存在异常数据。本申请实施例能够根据时序数据源的时序分布特点,确定适配的目标检测算法以及相应的参数配置,进而调用该目标检测算法对时序数据源的数据异常检测,实现程序化的数据异常自动检测,有利于提高数据异常检测的时效性、准确性和灵活性。

下面结合附图对本申请具体的实施例进行描述。

图2示出了本申请实施例提供的一种数据异常检测的方法200的示意性流程图。方法200包括步骤210至240。该方法200由任何具有数据处理能力的电子设备执行,例如,该电子设备可实施为服务器,比如图1中的数据异常检测系统120等,本申请对此不做限定。

图3示出了数据异常检测系统120的一种可选的示意图框图。如图2所示,数据异常检测系统120可以包括数据采集模块121、算法检测模块122和系统调度模块123。可选的,数据异常检测系统120还可以包括Web平台。为了便于描述,以下将结合图3对方法200的各个步骤进行描述,但这并不构成对本申请实施例的限定。

210,获取待检测的时序数据源。

示例性的,数据采集模块121可以执行步骤210,获取待检测的时序数据源。在一些实施例中,获取的待检测的时序数据源可以存储到系统本地的时序数据库中,以供后续的异常数据检测使用。作为示例,时序数据库可以为InfluxDB,本申请对此不做限定。

待检测时序数据源可以包括多种不同类型的数据源,例如MySQL、ElasticSearch、Hive等,本申请对此不做限定。可选的,数据采集模块121可以获取用户配置的待检测时序数据源的类型。

在一些实施例中,时序数据源的时序分布包括周期性分布。可选的,时序数据源的时序分布也包括非周期性分布,本申请对此不做限定。示例性的,周期性分布可以包括日季节性周期分布、周季节性周期分布或月季节性周期分布等,不做限定。

具体而言,不同类型的数据源,其时序分布千差万别。例如,有的数据具有周期性,有的数据较为平稳,有的数据又急上急下并无固定章法。例如,在交易日时,股票交易本身存在时间区间,与此相关的数据会存在一个日内周期,例如某些API调用频次在开盘后的半小时内会以下猛增到很高,之后慢慢回落至平稳,一直到收盘后又能降低至0。另外,在周末以及节假日等休市时间,相关统计数据也会降低,这样又会引起数据在一周内的周期分布。又例如,在出现行业热点的时候,会出现交易量暴增导致统计数据放大的情况,比如出现重磅政策、某股票出现重大利好或利空等。

可选的,数据采集模块121还可以获取用户配置的待检测时序数据源拉取的时间间隔。该时间间隔例如可以为每小时拉取一次,或则每天拉取一次,不做限定。相应的,数据采集模块121可以根据该时间间隔配置,每隔指定的时间读取一次业务数据库(database,DB),检测是否有新的数据产生。如果有新的数据产生,则数据采集模块121可以将新数据增量存储到系统本地的数据库中。

在一些实施例中,可以通过以下至少一种方式获取待检测的时序数据源。

方式一:连接所述时序数据源的数据库读取所述时序数据源;

方式二:运行数据采集代理程序从所述时序数据源的数据库中读取所述时序数据源;

方式三:获取用户输入的数据上报程序得到所述时序数据源;

方式四:获取来自第一设备的所述时序数据源,其中,所述第一设备用于运行数据采集代理程序并从所述时序数据源的数据库中读取所述时序数据源。

具体的,方式一即由系统或数据采集模块直接连接用户指定的业务数据库读取数据。此方式适用于无数据库鉴权的情况。

方式二适用于系统机器有数据库访问权限的情况,此时由系统或数据采集模块通过运行数据采集代理(agent)程序获取数据库数据。

方式三适用于用户要检测的数据不在业务数据库中的情况。此时用户可以自行编写数据上报程序,系统或数据采集模块获取该数据上报程序并根据该数据上报程序从业务数据库中读取数据。在一些实施例中,可以通过系统开放的超文本传输协议(Hyper TextTransfer Protocol,HTTP)接口进行数据上报程序上报。

方式四适用于系统机器没有业务数据库访问权限,但是该用户名义下的其他设备(机器)有该业务数据库的访问权限的情况,此时由具有访问权限的该设备通过运行数据采集agent程序读取数据,并将读取的数据通过网络发送给系统或数据采集模块。

因此,本申请实施例能够灵活的实现对待检测数据的上报,比如可以系统自动拉取,或者数据采集代理拉取上报,或者业务方自行编写程序上报,有利于更加便捷地获取待检测的数据源。

可以理解的是,在本申请的具体实施方式中,当本申请以上实施例运用到具体产品或技术中并涉及到用户信息等相关的数据时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关法律法规和标准。

在一些实施例中,系统调度模块123可以提供接口,供数据采集agent程序上报待检测的时序数据源,即待检测数据;系统调度模块123还可以提供接口,供业务方自实现的程序上报待检测的时序时间,即待检测数据。

在一些实施例中,系统调度模块123还可以调度数据检测任务,按用户配置的指定时间间隔,拉起数据检测任务。当发现新的待检测数据上报后,还可以从时序数据库中读取该数据的历史数据,组成待检测的数据序列。可选的,用户可以通过Web平台124管理数据检测任务条目,比如新增、删除、修改数据源配置等。

220,根据时序数据源的时序分布,在预先注册的至少一个检测算法中确定用于检测该时序数据源的目标检测算法。

在一些实施例中,可以在算法检测模块122中预先注册上述至少一个检测算法。可选的,算法检测模块122可以为独立的一个微服务,通过HTTP接口的形式对外提供单纯的算法检测能力。算法检测模块122可以汇总各种不同的数据检测算法。可选的,该模块还可以提供新的算法注册以及扩展的能力。

在一些实施例中,所述至少一个检测算法中的每个检测算法包括基础类和参数类。所述基础类和继承所述基础类的算法类用于实现检测方法,所述检测方法的参数为所述时序数据源对应的数据列表,所述检测方法的返回值包括是否存在异常值和/或异常值序号列表。所述参数类用于定义检测算法的参数。

具体而言,为了适配各种不同的检测算法,同时保持算法的兼容性和后续扩展性,可以对算法检测模块的接口进行统一规范。具体的,可以开发用于算法实现的基础类,其他算法类实现时继承该基础类,该基础类和继承该基础类的算法类用于实现检测方法。检测方法包括具体的算法检测逻辑,参数为时序数据源对应的数据列表。示例性的,数据列表中的值可以包括数据值和数据的时间戳。检测方法的返回值可以包括数据是否包括异常值和/或异常值序号列表。

可选的,还可以开发算法类中的参数(Params)类,在该类中可以定义算法的各项参数配置。系统可以自动扫描该参数类下的成员变量,将变量名称及文档说明展示给用户。

作为一个具体的例子,比值大小的检测算法的代码如下:

/>

在一些实施例中,算法说明可以包括算法适用的时序数据源的时序分布特点。例如上述比值大小的检测算法可以用于周期性分布的时序数据源的异常检测,或者用于急上急下并无固定章法分布的时序数据源的异常检测,本申请对此不做限定。

在开发完自定义的检测算法后,还可以通过唯一的算法命名在算法检测模块122中注册该算法。注册后,可以选择该算法为目标检测算法。

在一些实施例中,用户可以根据算法说明,结合时序数据源的时序分布在系统注册的检测算法中选择目标检测算法。示例性的,用户可以通过Web平台124修改某一数据源对应的目标检测算法。或者,系统可以根据时序数据源的时序分布,可选的还可以结合算法说明,在系统注册的检测算法中自动选择目标检测算法,本申请对此不做限定。

因此本申请实施例开发人员可以按照接口规范开发定制化的检测算法并注册到系统中使用,从而对检测算法预留开放性的接口,保持插拔式设计,有利于解决特殊场景下算法的扩展性问题。

在一些实施例中,预先注册的至少一个检测算法可以包括Prophet算法。示例性的,可以在算法检测模块中注册Prophet算法。Prophet算法利用时间序列分解和机器学习的拟合,能够较为精准的预测时间序列未来的走势,同时可以输出拟合曲线、置信区间上下界等。

示例性的,数据在第t时刻有真实的观测值,可以记为“实际值”,Prophet算法模型能够利用[t-n,t-1]之间的所有实际值,预测第t时刻的值,记为“预测值”,将所有时刻的“预测值”用线连接可以得到拟合曲线。

另外,Prophet算法模型的预测值只是一个点,这个点很可能不准确。区间预测会比一个具体的值更加可信。基于此模型给出了一个预测上下限(即置信区间上下限)以及该上下限的置信度。比如,95%的置信度就表示模型给出的第t时刻预测值的置信区间上下限内包含真实值的概率为95%。换句话说,根据历史数据得到的真实值很可能就落在该置信区间内,如果下一时刻出现的真实值超出这个区间,则可以认为该值为异常值。

可以理解,算法模型给出的置信度越高,则置信度区间上下限更宽。比如置信度为99%时,如果真实值仍然超过这个范围,则说明1%的小概率事件发生了,则可以认为发生了异常事件。

在一些实施例中,当所述时序数据源的时序分布为日季节性周期分布时,所述目标检测算法包括Prophet算法。

具体而言,由于Prophet算法能够预测粒度为日级别以上(比如每日、每月一个数据点)的数据,因此当大数据平台所检测的时序数据源大部分为日级数据,即每日产生一个数据点,且每个数据序列已在线产生了一定日期的历史数据,则可以选择适合的检测算法为Prophet算法。

可选的,对于在生产环境正式使用的数据检测系统而言,在输出异常点是需要能够给出异常点的判断依据或线索,方便运营人员及时判断该点是否确实存在异常,而置信区间能够用于判断数据点是否存在异常,是一个较好的判断依据,因此对于生产环境正式使用时的数据异常检测系统而言,可以选择适合的检测算法为Prophet算法。

230,获取所目标检测算法的参数配置。

具体的,在确定目标检测算法之后,可以进一步获取算法的参数配置。例如,在上述比值大小的检测算法中,可以进行self.max_value和self.min_value的配置。

作为一种可能的实现方式,可以获取用户配置的目标检测算法的参数配置。示例性的,用户可以通过Web平台124适配目标检测算法的参数,进行可视化的参数调整。或者,可以由系统配置目标检测算法的参数配置,本申请对此不做限定。

在一些实施例中,检测算法的参数配置包括时序数据源的值域类型、判断异常所使用的上下界类型和容忍度中的至少一种。

示例性的,时序数据源的值域类型的可选项有3个:全体实数、≥0和>0。例如,当某个被检测数据源设置为≥0,若检测到值为0,则为异常。若某个被检测数据源设置为>0,但检测到了复制,则为异常。

示例性的,判断异常所使用的上下界类型可选项可以由2个:每日预测上下界和历史区间上下界。作为示例,当检测算法为Prophet算法时,每日预测上下界可以为以Prophet算法预测每日预测出的上下界作为异常判断标准,历史区间上下界可以利用过去n个时间点的[1%,99%]区间作为异常判断标准。其中,n为正整数,取值可以根据需要自行调节。

示例性的,容忍度用于表示对待判断的数据值相对上下界的变化量的容忍度。即带判断的数据值相对上下界的变化量超过容忍度时才会被判定为异常。作为示例,容忍度可以默认为0.1,即数据异常相对上下界可以有10%的波动空间。需要说明的是,每个时序数据源的容忍度可以不同,容忍度取值可以根据需要自行设置。

通过对检测算法进行时序数据源的值域类型、判断异常所使用的上下界类型和容忍度中的至少一种的参数配置,能够有利于进一步提高检测精度,降低误告警频率。

作为一个具体的例子,根据输入的时序数据序列,输入到Prophet算法模型中,可以对参数进行如下配置:

最小的时序数据长度为60个数据点,若不足则无法进行异常检测;

若输入的时序数据≥60个数据点,但<180个数据点,则置信区间置信度设置为0.9;若≥180个数据点,则置信区间置信度设置为0.99;

打开“周季节性”,但关闭“日季节性”和“年季节性”;

若按时序数据长度≥60天,则打开“月季节性”,设置先验尺度为10;模型以period=1做预测

其中,先验尺度用于调节季节性的敏感度,值越大则对季节趋势拟合的越好。先验尺度为10为默认值。period=1表示向前预测1天,即利于历史数据只预测后1天的值。

240,根据上述参数配置调用目标检测算法对时序数据源进行检测,确定该时序数据源是否存在异常数据。

具体的,系统调度模块123在确定目标检测算法以及获取目标检测算法的参数配置后,可以调用算法检测模块122,以调用目标检测算法对时序数据源进行异常检测,确定数据是否异常的结果,即时序数据源是否存储异常数据。

示例性的,Web平台124可以显示数据检测结果,比如可以包括异常阈值区间图形,从而使用户更为直观地判断算法参数的作用范围。可选的,用户还可以根据该异常阈值区间图形选择更合适的参数。因此,本申请实施例能够通过可视化的参数调整工具,帮助业务方根据历史数据模拟检测情况来动态的调整算法参数,以达到更有的检测效果。

在一些实施例中,当算法检测结果异常时,系统调度模块123还可以进行告警。可选的,还可以记录历史数据的异常记录,例如可以标注哪些异常是算法误报,为后续的算法迭代累计案例。用户还可以通过Web平台124查看历史的数据异常记录。

因此,本申请实施例通过根据时序数据源的时序分布,能够在预先注册的至少一个检测算法中确定用于检测该时序数据源的目标检测算法,然后进一步获取该目标检测算法的参数配置,并根据该参数配置调用该目标检测算法对时序数据源进行检测,确定时序数据源是否存在异常数据。本申请实施例能够根据时序数据源的时序分布特点,确定适配的目标检测算法以及相应的参数配置,进而调用该目标检测算法对时序数据源的数据异常检测,实现程序化的数据异常自动检测,有利于提高数据异常检测的时效性、准确性和灵活性。

图4示出了本申请实施例提供的一种可选的系统架构的示意图。如图4所示,检测系统服务器(server)401可以直接从业务数据库402拉取数据(对应于步骤210中的获取时序数据源的方式一),也可以通过业务云虚拟机(cloudVirtual Machine,CVM)403运行数据采集代理程序获取业务数据库402中的数据(对应于步骤210中的获取时序数据源的方式二和方式四),还可以通过获取用户输入通过业务VCM 403的上报程序获取数据(对应于210中的获取时序数据源的方式三)。检测系统服务器401可以将拉取的数据存储在时序数据库404中。检测系统服务器401可以从检测系统数据库406(比如MySQL)中读取系统配置信息来拉起数据检测任务。示例性的,配置信息可以包括数据检测的时间间隔。当检测系统服务器401发现有新的待检测数据上报至,可以从时序数据库中读取历史数据组成待检测的数据序列,再结合用户配置的算法类型和参数等,调用算法服务中对应的算法,得到数据是否异常的检测结果。当检测结果异常时,检测系统服务器401通过报警服务器进行异常报警,以通知相应负责人。因此,本申请实施例能够实现对各种数据模块进行统一检测的平台,如从数据模块录入、检测算法的选择、告警方式以及历史告警的查看、检测算法的迭代优化等,均可以在同一个平台完成。

以上结合附图详细描述了本申请的具体实施方式,但是,本申请并不限于上述实施方式中的具体细节,在本申请的技术构思范围内,可以对本申请的技术方案进行多种简单变型,这些简单变型均属于本申请的保护范围。例如,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本申请对各种可能的组合方式不再另行说明。又例如,本申请的各种不同的实施方式之间也可以进行任意组合,只要其不违背本申请的思想,其同样应当视为本申请所公开的内容。

还应理解,在本申请的各种方法实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。应理解这些序号在适当情况下可以互换,以便描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。

上文详细描述了本申请的方法实施例,下文结合图5和图6,描述本申请的装置实施例。

图5是本申请实施例的数据异常检测的装置10的示意性框图。如图5所示,所述数据异常检测的装置10可包第一获取单元11、确定单元12、第二获取单元13和检测单元14。

第一获取单元11,用于获取待检测的时序数据源;

确定单元12,用于根据所述时序数据源的时序分布,在预先注册的至少一个检测算法中确定用于检测所述时序数据源的目标检测算法;

第二获取单元13,用于获取所述目标检测算法的参数配置;

检测单元14,用于根据所述参数配置调用所述目标检测算法对所述时序数据源进行检测,确定所述时序数据源是否存在异常数据。

在一些实施例中,所述至少一个检测算法中的每个检测算法包括基础类和参数类;

所述基础类和继承所述基础类的算法类用于实现检测方法,所述检测方法的参数为所述时序数据源对应的数据列表,所述检测方法的返回值包括是否存在异常值和/或异常值序号列表;

所述参数类用于定义检测算法的参数。

在一些实施例中,所述参数配置包括时序数据源的值域类型、判断异常所使用的上下界类型和容忍度中的至少一种。

在一些实施例中,所述第一获取单元11可以用于以下至少一种:

连接所述时序数据源的数据库读取所述时序数据源;

运行数据采集代理程序从所述时序数据源的数据库中读取所述时序数据源;

获取用户输入的数据上报程序得到所述时序数据源;

获取来自第一设备的所述时序数据源,其中,所述第一设备用于运行数据采集代理程序并从所述时序数据源的数据库中读取所述时序数据源。

在一些实施例中,装置10还包括存储单元,用于:

将所述时序数据源存储到本地的时序数据库中。

在一些实施例中,所述时序分布包括周期性分布。

在一些实施例中,当所述时序数据源的时序分布为日季节性周期分布时,所述目标检测算法包括Prophet算法。

应理解,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,在该实施例中数据异常检测的装置10可以对应于执行本申请实施例的方法200的装置,并且装置10中的各个模块的前述和其它操作和/或功能分别为了实现上文中的各个方法200中的相应流程,为了简洁,在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置和系统。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。

如图6是本申请实施例提供的电子设备30的示意性框图。

如图6所示,该电子设备30可包括:

存储器31和处理器32,该存储器31用于存储计算机程序,并将该程序代码传输给该处理器32。换言之,该处理器32可以从存储器31中调用并运行计算机程序,以实现本申请实施例中的方法。

例如,该处理器32可用于根据该计算机程序中的指令执行上述方法200中的相应步骤。

在本申请的一些实施例中,该处理器32可以包括但不限于:

通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中,该存储器31包括但不限于:

易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。

在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器31中,并由该处理器32执行,以完成本申请提供的编码方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该电子设备30中的执行过程。

可选的,该电子设备30还可包括:

收发器33,该收发器33可连接至该处理器32或存储器31。

其中,处理器32可以控制该收发器33与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器33可以包括发射机和接收机。收发器33还可以进一步包括天线,天线的数量可以为一个或多个。

应当理解,该电子设备30中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。

根据本申请的一个方面,提供了一种计算机设备,包括处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行所述存储器中存储的计算机程序,使得所述计算机设备执行上述方法实施例的方法。

根据本申请的一个方面,提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说,本申请实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。

根据本申请的另一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方法实施例的方法。

换言之,当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。

应理解,在本申请实施例中,“与A对应的B”表示B与A相关联。在一种实现方式中,可以根据A确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。

在本申请的描述中,除非另有说明,“至少一个”是指一个或多个,“多个”是指两个或多于两个。另外,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。

还应理解,本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能构成对本申请实施例的任何限制。

还应理解,说明书中与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。

以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。

相关技术
  • 异常检测方法、装置、电子设备及可读存储介质
  • 数据分布存储方法、装置、存储介质及电子设备
  • 多版本数据存储管理方法及装置、电子设备、存储介质
  • 海量数据存储方法、装置、存储介质及电子设备
  • 数据存储方法、装置、电子设备及存储介质
  • 通信流量数据异常检测方法、装置、电子设备及存储介质
  • 通信流量数据异常检测方法、装置、电子设备及存储介质
技术分类

06120115938605