定制化异常检测

背景技术

异常检测可以发现时序(time series)数据中的异常的或不期望的事件。在本文中，时序数据指按时间顺序记录的数据序列，该数据序列中的数据点反映了特定现象、指标、事物等随时间变化的状态或程度。异常检测被广泛地实施在众多工业应用中，并且是数据挖掘中的重要研究领域。准确的异常检测可以触发快速的故障排除、帮助避免收入损失、维护运营实体的声誉和品牌等。很多大型公司构建了其自己的异常检测系统，以监视其商业、产品、服务等的健康性。例如，互联网公司可以通过异常检测系统来实时地监视其应用和服务的各种度量值，如页面浏览、销售收入等。异常检测系统可以持续地监视时序数据，并且针对潜在的事件及时地发出警告。当管理者或用户接收到关于事件的警告时，其可以及时地做出针对该事件的决策。

发明内容

提供本发明内容以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。

本公开的实施例提出了用于实现定制化异常检测的方法和装置。可以获得包括多个数据点的时序数据。可以利用异常检测模型对所述时序数据执行异常检测。可以接收与所述时序数据中的至少一个数据点的异常检测结果相关联的反馈。可以通过强化学习，至少基于所述反馈来更新所述异常检测模型。

应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。

附图说明

以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。

图1示出了根据实施例的执行定制化异常检测的示例性过程。

图2示出了根据实施例的反馈机制的示例性用户界面。

图3示出了根据实施例的用于定制化异常检测的示例性强化学习过程。

图4示出了根据实施例的用于实现定制化异常检测的示例性过程。

图5示出了根据实施例的策略网络的示例性工作过程。

图6示出了根据实施例的用于实现定制化异常检测的示例性方法的流程图。

图7示出了根据实施例的用于实现定制化异常检测的示例性装置。

图8示出了根据实施例的用于实现定制化异常检测的示例性装置。

具体实施方式

现在将参考多种示例性实施方式来讨论本公开。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开的实施例，而并非教导对本公开的范围的任何限制。

现有的异常检测技术可以分为统计方式、监督方式、非监督方式等。基于统计方式的异常检测可以包括例如假设检验(hypothesis testing)模型、小波分析模型、奇异值分解(SVD)模型、自回归整合移动平均(ARIMA)模型、快速傅里叶变换(FFT)模型等。基于统计方式的异常检测可以被容易地在线上采用，但是其对工业应用而言准确性不足。基于监督方式的异常检测具有较高的准确性。然而，由于在工业环境中难以获得具有大量连续标记的数据，因此，基于监督方式的异常检测难以适应线上应用。基于非监督方式的异常检测可以重构正常时序数据的概率，并且当重构误差大于阈值时报告异常数据点。然而，基于非监督方式的异常检测是耗时的或参数敏感的。

通常，异常检测系统需要监视来自不同应用场景的不同类型的时序数据。对于工业异常检测服务而言，能够对不同类型的时序数据执行异常检测是很重要的。尽管现有的异常检测技术被提出用于对各种类型的时序数据执行异常检测，然而，其并不能对特定类型的时序数据展现良好的性能，尤其是当用户需要自己定义异常情形时。对于某个用户的时序数据，可能并非每个所检测到的异常都实际影响到该用户的业务。该用户可能希望对异常检测进行定制，以便能够更准确地识别出所关注的异常、对其业务更重要的异常等。

本公开的实施例提出了基于用户的反馈来实现定制化异常检测。本公开的实施例在异常检测系统中加入了反馈机制，该反馈机制使得用户能够向异常检测系统提供反馈信号。异常检测系统可以至少基于用户的反馈来选择具有更准确超参数的更好的异常检测模型，从而向用户提供更满意的检测结果。例如，可以首先利用异常检测模型来对时序数据执行异常检测。通过反馈机制，用户可以验证异常检测结果中的异常是否是其关心的真正的异常、是否存在未检测出的关键异常等，并且来自用户的反馈信号可以作为异常检测系统的附加输入。通过将反馈转换为奖励，异常检测系统可以利用强化学习(reinforcementlearning)来在特定的时序数据上找到对于该用户的最佳异常检测方案。强化学习旨在通过使得异常检测系统采取适当的动作，例如为异常检测模型选择适当的超参数等，来将奖励最大化。由此，实现了在特定时序数据上对特定用户的定制化异常检测。即便用户可能仅在时序数据上提供有限的反馈，但是通过强化学习，仍然可以有效地适应用户的需求，并且提供更准确的异常检测结果。根据本公开实施例的定制化异常检测不需要如基于监督方式的异常检测所需的大量标记数据。通过强化学习，异常检测模型可以有效地适应用户需求或模仿应用领域的经验。此外，基于强化学习的架构可以使得异常检测模型能够被持续地有效地改进。

图1示出了根据实施例的执行定制化异常检测的示例性过程100。过程100可以由根据本公开实施例的定制化异常检测系统执行，其旨在对时序数据110执行可由用户定制的异常检测。在本文中，用户可以广泛地指使用了根据本发明实施例的定制化异常检测服务的公司、组织、个人等。例如，用户可以拥有、产生、提供或管理时序数据110，并且希望监视时序数据110中的异常事件。

时序数据110可能来自各种类型的数据源，例如，线上流数据、云存储、数据库等，并且可以针对各种类型的应用场景或业务，例如，服务流量、产品销售收入、物联网(IoT)数据、机器运行数据、商业运营数据等。应当理解，本公开的实施例并不局限于任何特定类型的时序数据，而是可以通过相同或类似的方式被应用于不同应用场景下的不同类型的时序数据。时序数据110可以是根据指定的时间粒度来进行更新的。时序数据110可以包括多个数据点，并且时间粒度指示这些数据点的更新频率，例如分钟、小时、天等。每个数据点包括在对应的时间点处所采集的度量值。

可以利用异常检测模型120来监视时序数据110中的异常。例如，异常检测模型120可以对时序数据110执行异常检测，以获得异常检测结果130。异常检测的执行可以是实时地、周期性地、响应于特定触发等。给定一个时序数据，例如时序数据点序列x＝x

在一种实施方式中，超参数可以包括异常检测模型120所采用的至少一种检测方式。检测方式可以包括任何现有的异常检测技术，例如，基于统计方式的异常检测、基于监督方式的异常检测、基于非监督方式的异常检测等。具体地，检测方式可以包括例如谱残差(SR)、DONUT、Twitter-AD、Luminol、SPOT、DSPOT、FFT等。在本文中，异常检测模型120可以是基于单种检测方式的模型或者是基于两种或更多种检测方式的集成模型。在异常检测模型120是集成模型的情况下，可以通过任何预定义的机制来在不同检测方式所得到的异常检测结果之间进行加权、投票等，以便导出最终的异常检测结果130。

在一种实施方式中，超参数可以包括与异常检测模型120所采用的至少一种检测方式相关联的参数。不同的检测方式可能具有特有的参数。以检测方式SR为例，其参数可以包括例如滑动窗口大小、估计点数量、异常检测阈值等。

在一种实施方式中，超参数可以包括异常检测模型120的检测窗口大小。以数据点x

在一种实施方式中，超参数可以包括异常检测模型120的检测灵敏度。检测灵敏度可以指当确定一个数据点异常时该数据点的度量值超过正常度量值范围的程度。在一种情况下，检测灵敏度可以由度量阈值的大小来指示，其中，可以通过将数据点的度量值与度量阈值进行比较来确定该数据点是否异常。在一种情况下，检测灵敏度可以由偏离数据变化趋势的程度阈值来指示，其中，当数据点的度量值偏离数据变化趋势的程度超过了程度阈值时，可以确定该数据点异常。

应当理解，异常检测模型120的超参数并不局限于以上示例中的一个或多个，而是可以包括任何其它类型的超参数。

异常检测结果130可以包括时序数据110中所有或部分数据点的异常检测结果，例如，异常、正常等。异常检测结果130可以是通过各种方式来呈现的，例如，在由全部或部分数据点构成的时序数据曲线上以显性或隐性方式呈现的异常检测结果、在由全部或部分数据点构成的时序数据表格中指示的异常检测结果等。

过程100可以包括通过反馈机制140来获得用户150对于异常检测结果130的反馈160。反馈机制140可以广泛地指在定制化异常检测系统与用户150之间的信息交互机制。在一个方面，反馈机制140可以通过各种方式来将异常检测结果130提供或呈现给用户150，例如，经由电子邮件、通过异常检测系统的用户界面等。在另一个方面，用户150可以通过各种方式经由反馈机制140来提供反馈160。以通过时序数据曲线提供异常检测结果130为例，如果用户认为某个数据点的异常检测结果是错误的，则可以在时序数据曲线上对该数据点的异常检测结果进行更正。

在一种实施方式中，反馈160可以包括将由异常检测结果指示为异常的至少一个数据点更正为非异常数据点。在一种实施方式中，反馈160可以包括将由异常检测结果指示为正常的至少一个数据点更正为异常数据点。在一种实施方式中，反馈160可以包括将由异常检测结果指示为异常的至少一个数据点标记为关键异常数据点，其中，关键异常数据点可以指对于用户150的业务而言具有较高重要性或代表性的异常数据点，其应当被尽可能准确地全面地检测出。应当理解，反馈160并不局限于以上示例中的一种或多种反馈信息，而是可以包括任何其它类型的反馈信息。

来自用户150的反馈160可以反映用户在时序数据110上对于异常检测系统的定制化意图，例如，用户希望异常检测系统能够将某些数据点检测为异常、将某些数据点检测为正常、将某些异常数据点标记为关键异常数据点等。反馈160可以触发强化学习机制170的运行。强化学习机制170可以至少响应于反馈160来学习到用户在时序数据110上的定制化意图，从而得到定制化的异常检测系统。在一种实施方式中，强化学习机制170可以至少基于反馈160来对异常检测模型120进行更新。例如，通过强化学习机制170，异常检测模型120的超参数可以被相应地更新，更新后的超参数将能够更好地适应用户的需求。

应当理解，过程100可以被持续地执行，从而使得定制化异常检测系统能够随着用户的反馈而不断地改进。具体地，时序数据110是随着时间而不断更新的，例如，不断有新的数据点被收集和添加到时序数据110中，从而，每当接收到来自用户的新的反馈时，强化学习机制都可以被触发以便更新异常检测模型。

图2示出了根据实施例的反馈机制的示例性用户界面。通过图2中的用户界面，定制化异常检测系统可以将异常检测结果提供给用户，并且获得用户的反馈。

在用户界面210中，在时序数据曲线上标记了异常检测结果。在X轴上按照时间顺序列出了时序数据中包括的示例性的30个数据点，并且以相应的编号表示每个数据点的时间点。应当理解，X轴上的时间点可以采用各种时间粒度，例如分钟、小时、天等。每个数据点在Y轴上的投影指示针对该数据点所采集的度量值。以圆形指示被检测为正常的数据点，并且以方形块指示被检测为异常的数据点。如用户界面210所示，第10、11、18、26个数据点被检测为异常，而其它数据点均被检测为正常。可以将用户界面210中的曲线呈现给用户，以便用户提供对异常检测结果的反馈。

在一种实施方式中，用户可以在曲线上直接对标记错误的异常检测结果进行更正。用户界面220示出了来自用户的反馈，其中，用户更正了部分数据点的异常检测结果。例如，在222处，用户将被检测为“异常”的第10个数据点标记为“关键异常数据点”，以指示该数据点是对用户而言具有较重要意义的异常数据点。例如，在224处，用户将被检测为“异常”的第11个数据点更正为“非异常数据点”，以指示该数据点并非是真正的异常数据点。例如，在226处，用户将被检测为“正常”的第14个数据点更正为“异常数据点”，以指示该数据点实际上是异常数据点。

定制化异常检测系统可以根据用户界面220中的曲线来识别用户的反馈，并且进而响应于用户的反馈来运行强化学习机制。

应当理解，本公开的实施例不局限于通过图2中的曲线形式来呈现异常检测结果并收集用户的反馈。此外，本公开的实施例也并不局限于如图2所示的直接在曲线上更正异常检测结果的反馈方式，用户也可以采用任何其它方式进行反馈，例如，以列表的方式更正异常检测结果等。本公开的实施例旨在利用经由反馈机制所收集的用户反馈来实现定制化异常检测，而并不局限于反馈机制的任何具体的实现方式。

图3示出了根据实施例的用于定制化异常检测的示例性强化学习过程300。强化学习过程300是图1的强化学习机制170的示例性实现方式。

强化学习针对的是如何基于环境来采取动作，以取得最大化的预期利益。在基本的强化学习架构中，在代理(agent)与环境之间进行持续地互动。环境对代理所采取的动作产生奖励(reward)，而代理则在奖励的激励下产生下一个动作，以追求奖励的最大化。根据实施例的强化学习过程300可以在基本的强化学习架构下实现定制化异常检测。

代理310可以对应于根据本公开实施例的定制化异常检测系统330。定制化异常检测系统330可以使用强化学习算法来决定将要采取的动作，并且基于该动作为时序数据生成异常检测结果。定制化异常检测系统330可以包括例如异常检测模型332、策略网络334等。策略网络334可以决定将要采取的动作，而异常检测模型332可以在该动作下生成异常检测结果。异常检测结果可以进而被用于计算下一个动作的奖励等。

动作可以指为异常检测模型选择或确定超参数。例如，动作信息可以包括以下至少之一：所选择的至少一种检测方式；所配置的与所述至少一种检测方式相关联的参数；所确定的检测窗口大小；所确定的检测灵敏度；等等。

环境320可以指定制化异常检测系统所运行的平台。该平台可以获得定制化异常检测系统所采取的动作、将异常检测结果提供给用户、收集用户对异常检测结果的反馈以便生成下一轮的奖励和状态、等等。

奖励被用于评价定制化异常检测系统的动作，例如，衡量定制化异常检测系统在每个状态下所采取的动作的成功或失败。强化学习过程300旨在使得针对时序数据所获得的奖励最大化。此处，奖励可以是在每一轮处针对所有之前数据点所计算的累积值。在一种实施方式中，由于异常检测可以被视为分类问题，例如，将数据点分类为异常、正常等，因此可以采用例如精确率(precision)、召回率(recall)、F1分数等作为奖励标准。奖励的计算至少考虑到了用户的反馈和定制化异常检测系所预测的异常检测结果，其中，反馈作为事实(ground truth)标记。精确率可以指在被预测出的一类样本中，有多少样本是被正确预测出的，例如，在被预测为异常的数据点中有多少数据点是真正的异常数据点。召回率可以指在一类原始样本中，有多少样本被正确预测出，例如，在真正的异常数据点中，有多少数据点被预测为异常。F1分数可以是基于精确率和召回率所计算出的，例如，F1分数＝2*(精确率*召回率)/(精确率+召回率)。应当理解，奖励标准并不局限于以上几种示例，其也可以采用任何其它标准。

状态可以包括当前可从环境中获得的各种信息。在一种实施方式中，状态信息可以包括来自时序数据的各种统计特征。例如，统计特征可以包括以下至少之一：平均值、标准差、分位数、平稳点、趋势、最小值、最大值、季节性、值分布等。在一种实施方式中，状态信息可以包括与应用场景相关的特征。例如，与应用场景相关的特征可以包括用户服务类别、特殊事件等。用户服务类别可以指用户的时序数据所涉及的服务类型，例如，制造、金融、开发运营等。特殊事件可以指在特定的时间段发生的可能对时序数据中的部分数据点产生影响的事件，例如，节日事件等。以节日事件“圣诞节”为例，人们通常会在圣诞节附近增加购物行为，由此可能导致涉及产品销售收入的时序数据在圣诞节附近发生特定变化，例如，数据点的度量值普遍大幅升高。数据点的度量值的这种特定变化可能是用户所期望的，因此不应当被检测为异常。在一种实施方式中，状态信息可以包括异常检测模型的超参数，例如，当前为异常检测模型所配置的超参数。应当理解，本公开的实施例并不局限于以上几种示例性状态信息，而是可以包括任何其它类型的状态信息。

策略网络334可以采用所学习的策略，基于当前状态来确定下一动作。策略可以指从状态到动作的映射，该动作旨在导致最大化的奖励。策略网络334所采用的策略是可以通过强化学习过程300、至少响应于用户的反馈来不断被优化的。经优化的策略网络可以确定下一步动作，例如，重新确定异常检测模型332的超参数。重新确定异常检测模型332的超参数可以包括以下至少之一：选择至少一种检测方式；配置与所述至少一种检测方式相关联的参数；确定检测窗口大小；确定检测灵敏度；等等。举例而言，经优化的策略网络可能确定将当前的检测方式切换到另一种检测方式、增大检测窗口大小、降低检测灵敏度、等等。策略网络334可以基于神经架构。例如，策略网络334可以是基于长短期记忆(LSTM)或门控循环单元(GRU)来实施的。在一种实施方式中，通过强化学习过程300，策略网络的至少一个损失函数可以基于异常检测结果、反馈等来计算策略梯度，该策略梯度可以进而对策略网络进行调整，以使得策略网络所采用的策略能够有助于将奖励最大化。

可选地，在一种实施方式中，在策略网络334确定了下一动作后，可以使用历史数据来测试该动作是否导致奖励最大化。例如，可以基于该动作对之前的数据点重新执行异常检测以得到测试性异常检测结果，该测试性异常检测结果可以与用户之前的反馈一起计算奖励，以便确定该奖励是否被最大化。如果否，则策略网络334可以尝试重新确定下一动作。

应当理解，图3仅仅示例性地以基本的强化学习架构来说明根据本公开实施例的强化学习过程，实际上，该强化学习过程可以基于任何具体的强化学习架构来实施，例如，A2C、A3C、PPO、SAC等。

图4示出了根据实施例的用于实现定制化异常检测的示例性过程400。过程400可以由根据本公开实施例的定制化异常检测系统来执行。

在410处，可以获得时序数据。该时序数据可以是由拥有或管理该时序数据的用户提供的，或者是定制化异常检测系统从用户处自动收集的。

在420处，可以对所获得的时序数据执行异常检测，以获得异常检测结果。例如，可以利用定制化异常检测系统中的异常检测模型来对时序数据执行异常检测。该异常检测模型被配置有相应的超参数。异常检测结果可以被提供给用户。

在430处，可以接收用户对异常检测结果的反馈。该反馈可以包括用户对一个或多个数据点的可能的错误异常检测结果的更正。

在接收到反馈后，过程400可以通过强化学习过程来更新异常检测模型。例如，在440处，可以通过增强学习，至少基于反馈来优化定制化异常检测系统中的策略网络，使得经优化的策略网络所采用的策略至少考虑到了该反馈所反映的用户的定制意图。

在450处，可以通过经优化的策略网络，重新确定异常检测模型的超参数，以便更新异常检测模型。通过利用重新确定的超参数来配置或更新异常检测模型，异常检测模型可以在后续的异常检测中，以更符合用户的定制意图的标准来检测时序数据中的异常数据点。

在重新确定了异常检测模型的超参数之后，过程400返回到410，以便对更新后的时序数据继续执行定制化异常检测。所述更新后的时序数据中包括新添加的数据点。

通过迭代地执行过程400，可以不断地收集用户的反馈并且不断地更新异常检测模型，从而使得整个异常检测系统能够实现更好的针对时序数据或用户的定制化。

图5示出了根据实施例的策略网络的示例性工作过程500。过程500仅仅用于说明策略网络所实现的示例性功能。

在510处，可以接收用户对于异常检测结果的反馈。例如，该反馈可能包括用户对于某个数据点的异常检测结果的更正。

在520处，可以获得当前的状态信息。该状态信息可以对应于图3所示的状态。

在530处，策略网络可以确定是否需要直接修正用户提供了反馈的该数据点的异常检测结果。在一种实施方式中，策略网络可以确定是否异常检测模型的任何可选的超参数都无法满足用户的反馈，例如，是否无论如何配置异常检测模型都无法使其得出符合用户反馈的异常检测结果。

如果在530处确定需要直接修正异常检测结果，则策略网络可以在532处直接根据用户反馈来修改该数据点的异常检测结果，以得到修正后的结果532。

如果在530处确定不需要直接修正异常检测结果，则策略网络可以进而重新确定异常检测模型的超参数。

在540处，策略网络可以为异常检测模型选择至少一种检测方式。在一种实施方式中，可以预先准备候选异常检测方式信息库542，其包括多种可供选择的异常检测方式。

在550处，策略网络可以为所选择的检测方式配置参数。该参数可以是特定于所选择的检测方式的。

在560处，策略网络可以为异常检测模型确定其它可能的超参数，例如检测窗口大小、检测灵敏度等。

最终，通过策略网络对异常检测模型的超参数的重新确定，可以获得经更新的异常检测模型570。该经更新的异常检测模型可以进而被用于对后续的数据点进行异常检测。

应当理解，过程500中的所有步骤都是示例性的，可以根据具体应用需求而进行任意方式的改变。例如，步骤530可以从过程500中省略。例如，策略网络可能仅需要执行步骤540、550、560中的一个或多个。

图6示出了根据实施例的用于实现定制化异常检测的示例性方法600的流程图。

在610处，可以获得包括多个数据点的时序数据。

在620处，可以利用异常检测模型对所述时序数据执行异常检测。

在630处，可以接收与所述时序数据中的至少一个数据点的异常检测结果相关联的反馈。

在640处，可以通过强化学习，至少基于所述反馈来更新所述异常检测模型。

在一种实施方式中，所述反馈可以包括以下至少之一：将由所述异常检测结果指示为异常的所述至少一个数据点更正为非异常数据点；将由所述异常检测结果指示为正常的所述至少一个数据点更正为异常数据点；以及将由所述异常检测结果指示为异常的所述至少一个数据点标记为关键异常数据点。

在一种实施方式中，所述异常检测模型的超参数可以包括以下至少之一：至少一种检测方式；与所述至少一种检测方式相关联的参数；检测窗口大小；以及检测灵敏度。

在一种实施方式中，所述更新所述异常检测模型可以包括：通过所述强化学习，至少基于所述反馈来优化策略网络；以及通过所述经优化的策略网络，重新确定所述异常检测模型的超参数。

所述优化策略网络可以包括：至少基于所述异常检测结果和所述反馈来计算策略梯度；以及利用所述策略梯度来调整所述策略网络。

所述重新确定所述异常检测模型的超参数可以包括以下至少之一：选择至少一种检测方式；配置与所述至少一种检测方式相关联的参数；确定检测窗口大小；以及确定检测灵敏度。

所述强化学习可以用于使得针对所述时序数据所获得的奖励最大化，所述奖励是至少基于所述异常检测结果和所述反馈来确定的。所述奖励可以是精确率、召回率、F1分数中的至少一个。

所述强化学习中的状态信息可以包括以下至少之一：来自所述时序数据的统计特征；与应用场景相关联的特征；以及所述异常检测模型的超参数。

所述强化学习中的动作信息可以包括以下至少之一：所选择的至少一种检测方式；所配置的与所述至少一种检测方式相关联的参数；所确定的检测窗口大小；以及所确定的检测灵敏度。

所述策略网络可以是基于LSTM或GRU来实施的。

应当理解，方法600还可以包括根据上述本公开实施例的用于实现定制化异常检测的任何步骤/过程。

图7示出了根据实施例的用于实现定制化异常检测的示例性装置700。

装置700可以包括：时序数据获得模块710，用于获得包括多个数据点的时序数据；异常检测执行模块720，用于利用异常检测模型对所述时序数据执行异常检测；反馈接收模块730，用于接收与所述时序数据中的至少一个数据点的异常检测结果相关联的反馈；以及模型更新模块740，用于通过强化学习，至少基于所述反馈来更新所述异常检测模型。

在一种实施方式中，所述反馈可以包括以下至少之一：将由所述异常检测结果指示为异常的所述至少一个数据点更正为非异常数据点；将由所述异常检测结果指示为正常的所述至少一个数据点更正为异常数据点；以及将由所述异常检测结果指示为异常的所述至少一个数据点标记为关键异常数据点。

在一种实施方式中，所述模型更新模块可以用于：通过所述强化学习，至少基于所述反馈来优化策略网络；以及通过所述经优化的策略网络，重新确定所述异常检测模型的超参数。

所述优化策略网络可以包括：至少基于所述异常检测结果和所述反馈来计算策略梯度；以及利用所述策略梯度来调整所述策略网络。

所述重新确定所述异常检测模型的超参数可以包括以下至少之一：选择至少一种检测方式；配置与所述至少一种检测方式相关联的参数；确定检测窗口大小；以及确定检测灵敏度。

所述强化学习可以用于使得针对所述时序数据所获得的奖励最大化，所述奖励是至少基于所述异常检测结果和所述反馈来确定的。

所述强化学习中的状态信息可以包括以下至少之一：来自所述时序数据的统计特征；与应用场景相关联的特征；以及所述异常检测模型的超参数。

所述强化学习中的动作信息可以包括以下至少之一：所选择的至少一种检测方式；所配置的与所述至少一种检测方式相关联的参数；所确定的检测窗口大小；以及所确定的检测灵敏度。

此外，装置700还可以包括被配置用于执行根据上述本公开实施例的用于实现定制化异常检测的方法的任何操作的任何其它模块。

图8示出了根据实施例的用于实现定制化异常检测的示例性装置800。

装置800可以包括至少一个处理器810。装置800还可以包括与处理器810连接的存储器820。存储器820可以存储计算机可执行指令，当所述计算机可执行指令被执行时，使得处理器810：获得包括多个数据点的时序数据；利用异常检测模型对所述时序数据执行异常检测；接收与所述时序数据中的至少一个数据点的异常检测结果相关联的反馈；以及通过强化学习，至少基于所述反馈来更新所述异常检测模型。此外，处理器810还可以被配置为执行根据上述本公开实施例的用于实现定制化异常检测的方法的任何其它操作。

本公开的实施例可以实施在非暂时性计算机可读介质中。该非暂时性计算机可读介质可以包括指令，当所述指令被执行时，使得一个或多个处理器执行根据上述本公开实施例的用于实现定制化异常检测的方法的任何操作。

应当理解，以上描述的方法中的所有操作都仅仅是示例性的，本公开并不限制于方法中的任何操作或这些操作的顺序，而是应当涵盖在相同或相似构思下的所有其它等同变换。

还应当理解，以上描述的装置中的所有模块都可以通过各种方式来实施。这些模块可以被实施为硬件、软件、或其组合。此外，这些模块中的任何模块可以在功能上被进一步划分成子模块或组合在一起。

已经结合各种装置和方法描述了处理器。这些处理器可以使用电子硬件、计算机软件或其任意组合来实施。这些处理器是实施为硬件还是软件将取决于具体的应用以及施加在系统上的总体设计约束。作为示例，本公开中给出的处理器、处理器的任意部分、或者处理器的任意组合可以实施为微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门逻辑、分立硬件电路、以及配置用于执行在本公开中描述的各种功能的其它适合的处理部件。本公开给出的处理器、处理器的任意部分、或者处理器的任意组合的功能可以实施为由微处理器、微控制器、DSP或其它适合的平台所执行的软件。

软件应当被广泛地视为表示指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、运行线程、过程、函数等。软件可以驻留在计算机可读介质中。计算机可读介质可以包括例如存储器，存储器可以例如为磁性存储设备(如，硬盘、软盘、磁条)、光盘、智能卡、闪存设备、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器或者可移动盘。尽管在本公开给出的多个方面中将存储器示出为是与处理器分离的，但是存储器也可以位于处理器内部(如，缓存或寄存器)。

以上描述被提供用于使得本领域任何技术人员可以实施本文所描述的各个方面。这些方面的各种修改对于本领域技术人员是显而易见的，本文限定的一般性原理可以应用于其它方面。因此，权利要求并非旨在被局限于本文示出的方面。关于本领域技术人员已知或即将获知的、对本公开所描述各个方面的元素的所有结构和功能上的等同变换都旨在由权利要求所覆盖。