掌桥专利:专业的专利平台
掌桥专利
首页

一种异常检测方法、装置、可读存储介质及电子设备

文献发布时间:2023-06-19 19:28:50


一种异常检测方法、装置、可读存储介质及电子设备

技术领域

本说明书涉及计算机技术领域,尤其涉及一种异常检测方法、装置、可读存储介质及电子设备。

背景技术

目前,用户对于自身隐私愈发关注,而随着互联网技术的发展,利用互联网技术进行网络攻击的手段也层出不穷,网页篡改、网络欺诈等安全事件也频繁发生,给用户的隐私安全提供了较大挑战。但通常情况下,在利用互联网技术进行网络攻击时,攻击者所对应的用户行为数据往往存在异常。

基于此,本说明书提供一种基于用户行为数据进行异常检测的方法。

发明内容

本说明书提供一种异常检测方法、装置、可读存储介质及电子设备,以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案:

本说明书提供一种异常检测方法,包括:

获取待检测的用户行为数据;

将所述用户行为数据输入预先训练的异常检测模型的第一特征提取层,得到所述第一特征提取层提取的用户特征;

根据所述用户特征和预存的各异常大类包含的各异常子类的表征特征,确定所述用户特征与各表征特征的相似度,并根据相似度最高的表征特征所对应的异常子类,确定所述用户特征所属的异常大类,将确定出的异常大类作为所述用户行为数据的异常检测结果;

其中,所述异常子类的表征特征采用下述方法确定:

针对每个异常大类,将该异常大类对应的各历史行为数据输入预先训练的异常检测模型中,通过所述第一特征提取层确定各用户特征,将所述各用户特征输入第二特征提取层,确定该异常大类的每个异常子类的表征特征。

本说明书提供一种异常检测装置,包括:

获取模块,用于获取待检测的用户行为数据;

提取模块,用于将所述用户行为数据输入预先训练的异常检测模型的第一特征提取层,得到所述第一特征提取层提取的用户特征;

确定模块,用于根据所述用户特征和预存的各异常大类包含的各异常子类的表征特征,确定所述用户特征与各表征特征的相似度,并根据相似度最高的表征特征所对应的异常子类,确定所述用户特征所属的异常大类,将确定出的异常大类作为所述用户行为数据的异常检测结果;

其中,所述异常子类的表征特征采用下述方法确定:

针对每个异常大类,将该异常大类对应的各历史行为数据输入预先训练的异常检测模型中,通过所述第一特征提取层确定各用户特征,将所述各用户特征输入第二特征提取层,确定该异常大类的每个异常子类的表征特征。

本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述异常检测方法。

本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述异常检测方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果:

在本说明书提供的异常检测方法中,通过针对每个大类,将该大类对应的历史行为数据输入异常检测模型中,得到该异常检测模型输出的该异常大类的每个异常子类的表征特征。在获取到待检测的用户行为数据后,将用户行为数据输入该异常检测模型中,得到该用户行为数据对应的用户特征,再根据该用户特征和预存的各异常大类包含的各异常子类的表征特征之间分别对应的相似度,确定该用户特征所对应的异常大类,并将该异常大类作为该用户行为数据的异常检测结果。

从上述方法可以看出,本方法可预先针对每个异常大类,用该异常大类包含的各异常子类的表征特征来表征该异常大类,使得在对用户行为数据进行异常检测时,仅需基于各异常大类分别对应的各异常子类和该用户行为数据对应的用户特征之间的相似度来确定异常检测结果,避免了对计算资源过大要求的同时,还能保证异常检测的准确性。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附

图中:

图1为本说明书提供的异常检测方法的流程示意图;

图2为本说明书提供的异常检测模型的结构示意图;

图3A为本说明书提供的第二特征提取层的结构示意图;

图3B为本说明书提供的第二特征提取层的结构示意图;

图4为本说明书提供的异常检测模型的训练方法的流程示意图;

图5为本说明书提供的异常检测装置的结构示意图;

图6为本说明书提供的对应于图1或图4的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。

以下结合附图,详细说明本说明书各实施例提供的技术方案。

目前,随着互联网技术的发展,利用互联网技术攻击用户的手段也层出不穷,给用户执行业务造成了风险。以网络黑产行业为例,随着黑产行业的逐步发展,新型的黑产攻击手段呈现出多样化、小批量、频发突发的趋势。也就是说,在一段时间内,一种类型的黑产攻击手段可频繁出现,而在该时间段后,该类型的黑产攻击手段出现的频率会降低,而另一种类型的黑产攻击手段可频繁出现,且新出现的黑产攻击手段与以往相比,在其形式、话术等等特征上均可能存在较大区别。

因此,基于历史上的黑产攻击手段对应的数据训练得到的异常检测模型,无法满足对新型黑产攻击手段进行准确检测的需求。其中,该黑产攻击手段对应的数据可为用户行为数据。

基于此,本说明书提供一种新的异常检测方法。该异常检测方法可基于获取到的新型黑产攻击手段对应的数据,以及历史上获取到的各异常大类对应的历史行为数据,训练得到可兼顾新型黑产攻击手段和历史黑产攻击行为的异常检测模型。并在接收到待检测的用户行为数据后,基于训练完成的异常检测模型,对该用户行为数据进行准确检测,来保证异常检测的准确性。

图1为本说明书提供的异常检测方法的流程示意图,具体包括以下步骤:

S100:获取待检测的用户行为数据。

在本说明书提供的一个或多个实施例中,该异常检测方法可由服务器执行。

一般的,在异常检测领域,该异常检测方法的目的是为了检测出异常的用户行为数据,并基于上述异常的用户行为数据的异常大类对其进行相应处理。也就是说,基于用户行为数据的异常检测结果对用户行为数据进行相应处理。而要得到异常检测结果,首先得获取到待检测的用户行为数据。

基于此,该服务器可获取待检测的用户行为数据。其中,该用户行为数据可为预先存储在该服务器中的,则该服务器可从自身预先存储的用户行为数据中,随机确定任一还未进行异常检测的用户行为数据,作为待检测的用户行为数据。

当然,该服务器还可接收携带有待检测的用户行为数据的异常检测请求,并对该异常检测请求进行解析。确定该异常检测请求中携带的用户行为数据,作为待检测的用户行为数据。具体如何确定该待检测的用户行为数据可根据需要进行设置,本说明书对此不做限制。

S102:将所述用户行为数据输入预先训练的异常检测模型的第一特征提取层,得到所述第一特征提取层提取的用户特征。

在本说明书提供的一个或多个实施例中,通常情况下,一个特征可用于表征一类数据,但一个数据一般仅用一个特征进行表征。因此,在本说明书中,可使用各异常大类分别对应的异常子类的表征特征,来表征各异常大类。这也就使得本说明书中可基于用户特征和各异常大类的各异常子类的表征特征之间的相似度来确定用户行为数据的异常检测结果。

基于此,可确定用户行为数据对应的用户特征。

具体的,该异常检测模型至少包含第一特征提取层。该第一特征提取层用于对用户行为数据进行特征提取,确定用户行为数据对应的用户特征。

于是,该服务器可将该用户行为数据作为输入,输入预先训练得到的异常检测模型的第一特征提取层,得到该第一特征提取层输出的用户特征。

S104:根据所述用户特征和预存的各异常大类包含的各异常子类的表征特征,确定所述用户特征和各表征特征的相似度,并根据相似度最高的表征特征所对应的异常子类,确定所述用户特征所属的异常大类,将确定出的异常大类作为所述用户行为数据的异常检测结果。

在本说明书提供的一个或多个实施例中,在确定出用户特征后,该服务器可根据该用户特征和预先存储的各异常大类包含的各异常子类的表征特征,来确定该用户行为数据的异常检测结果。

具体的,该服务器可获取预先存储的各异常大类包含的各异常子类分别对应的表征特征。其中,该异常大类可为欺诈、赌博等等多种类型。针对每个异常大类,该异常大类对应的异常子类可不具有明确含义,该异常大类包含的各异常子类对应的表征特征可用来表征该异常大类即可。

其次,该服务器可确定该用户特征和各表征特征之间的相似度。其中,该相似度可用向量点积、欧氏距离、余弦距离等多种算法进行确定。

然后,基于两个特征越相似,则这两个特征属于一个类别的概率就越大的原理。该服务器可根据确定出的各相似度,从各异常子类中,确定相似度最高的表征特征对应的异常子类,并将该异常子类所属的异常大类,作为该用户特征所属的异常大类。

最后,该服务器可将该用户特征所属的异常大类,作为该用户行为数据的异常检测结果。

于是,在确定出异常检测结果后,该服务器可将该异常检测结果进行返回,并当接收到该用户行为数据对应的查询请求时,将该异常检测结果根据该查询请求进行返回。或者,该服务器还可直接将该异常检测结果根据步骤S100中接收到的异常检测请求进行返回。当然,该服务器还可基于确定出的异常检测结果,对该用户行为数据进行处理。具体该异常检测结果如何使用可根据需要进行设置,本说明书对此不做限制。

另外,针对每个异常大类,该异常大类包含的各异常子类的表征特征可表征该异常大类,该异常大类对应的各历史行为数据也可表征该异常大类。但由于该异常大类对应的各历史行为数据的数据量较大。若直接使用各历史行为数据来表征该异常大类,则在基于用户特征确定用户行为数据所属的历史大类时,需将该用户行为数据与各历史行为数据分别确定相似度,对计算资源的要求较大。因此,可通过确定各历史数据,来确定各异常大类。

具体的,可采用下述方式确定各异常大类包含的各异常子类的表征特征:

首先,服务器可获取若干带标注的历史行为数据,并根据各标注,对各历史行为数据进行分类。

然后,针对分类结果中的每个异常大类,将该异常大类对应的历史行为数据作为输入,输入该异常检测模型的第一特征提取层,得到该第一特征提取层输出的各用户特征。

最后,将各用户特征作为输入,输入该异常检测模型的第二特征提取层,得到该第二特征提取层输出的该异常大类的每个异常子类的表征特征。

也就是说,在本说明书中,该异常检测模型可由第一特征提取层和第二特征提取层组成。该第一特征提取层用于对用户行为数据进行特征提取,确定用户特征。该第二特征提取层用于针对每个异常大类,确定该异常大类对应的各异常子类的表征特征。可见,本说明书中可基于训练完成的异常检测模型,准确确定各异常大类对应的各异常子类的表征特征,并存储。以此来实现在接收到待检测的用户行为数据时,直接基于用户行为数据对应的用户特征和预存的各异常大类包含的各异常子类的表征特征,即可快速、准确地确定用户行为数据对应的异常检测结果这一技术效果。

其中,确定各表征特征的服务器与执行该异常检测方法的服务器可为相同服务器,也可为不同服务器。

基于图1所示的异常检测方法,通过针对每个大类,将该大类对应的历史行为数据输入异常检测模型中,得到该异常检测模型输出的该异常大类的每个异常子类的表征特征。在获取到待检测的用户行为数据后,将用户行为数据输入该异常检测模型中,得到该用户行为数据对应的用户特征,再根据该用户特征和预存的各异常大类包含的各异常子类的表征特征之间分别对应的相似度,确定该用户特征所对应的异常大类,并将该异常大类作为该用户行为数据的异常检测结果。

从上述方法可以看出,本方法可预先针对每个异常大类,用该异常大类包含的各异常子类的表征特征来表征该异常大类,使得在对用户行为数据进行异常检测时,仅需基于各异常大类分别对应的各异常子类和该用户行为数据对应的用户特征之间的相似度来确定异常检测结果,避免了对计算资源过大要求的同时,还能保证异常检测的准确性。

另外,在本说明书中,上述步骤S104中确定异常检测结果的步骤,还可由该异常检测模型来完成。也就是说,该服务器可直接将该待检测的用户行为数据输入该异常检测模型中,由该异常检测模型确定该用户行为数据对应的用户特征,并确定该用户特征所属的异常大类,作为异常检测结果进行输出。

具体的,该异常检测模型还可设置有检测层,该检测层用于根据用户特征和各表征特征之间的相似度,确定该用户特征所属的异常大类。

则该服务器可将步骤S102中确定出的用户特征,以及预先存储的各异常大类对应的各异常子类的表征特征,输入到该异常检测模型的检测层。在该检测层中,该服务器可确定该用户特征分别与各表征特征的相似度,并从各异常子类中,确定最高相似度对应的异常子类。

于是,该服务器可将该最高相似度对应的异常子类所属的异常大类,作为该用户行为数据的异常检测结果进行输出。如图2所示。

图2为本说明书提供的一种异常检测模型的结构示意图。该服务器可将各历史行为数据输入该异常检测模型的第一特征提取层,得到各异常历史行为数据分别对应的用户特征。则该服务器可针对每个异常大类,将该异常大类对应的各历史行为数据的用户特征作为输入,输入该异常检测模型的第二特征提取层,得到该第二特征提取层输出的该异常大类对应的各异常子类的表征特征。

则在接收到待检测的用户行为数据后,该服务器可将该用户行为数据作为输入,输入该第一特征提取层,得到该第一特征提取层输出的用户特征。则该服务器可将该用户特征和各异常大类包含的各异常子类的表征特征作为输入,输入该监测层,得到该用户特征所属的异常大类,并将该异常大类作为异常检测结果进行输出。

更进一步的,针对每个用户行为数据,若该用户行为数据与各表征特征的相似度中,最高的相似度仍然较低,则可确定该用户行为数据为正常数据。因此,还可设置有第一阈值,则在步骤S104中,当确定出的最高相似度不超过第一阈值时,该服务器可确定用户行为数据对应的异常检测结果为正常。当然,上述异常大类可不仅包含诈骗、赌博等分类,还可包含用于表征正常行为数据的“正常”分类。则该服务器可将“正常”作为异常检测结果进行输出。具体该异常大类对应的分类可根据需要进行设置,本说明书对此不做限制。

另外,针对每个异常大类,该异常大类对应的历史行为数据或多或少都携带有该异常大类包含的各异常子类的特征分量。因此,为了准确表征各异常子类,在步骤S104中,该服务器可基于该异常大类对应的各历史行为数据分别对应于各异常子类的特征分量,确定各异常子类的表征特征。

具体的,该服务器可针对每个异常大类,将该异常大类对应的各历史行为数据分别输入该第一特征提取层中,得到该第一特征提取层分别输出的各用户特征。

然后,该服务器可将上述确定出的各用户特征分别作为输入,分别输入该异常检测模型的第二特征提取层中,确定各用户特征分别对应的参考特征。其中,参考特征包含用户特征对应于该异常大类包含的各异常子类的特征分量。

最后,该服务器可针对该异常大类的每个异常子类,确定各参考特征中对应于该异常子类的特征分量。并根据确定出对应于该异常子类的特征分量,确定该异常子类的表征特征。如图3A所示。

图3A为本说明书提供的用于确定包含多个特征分量的参考特征的第二特征提取层的结构示意图。图中,该第二特征提取层的输入为用户特征,该第二特征提取层的输出为参考特征,该参考特征包含四个特征分量。其中,A、B、C、D分别为该参考特征的四个特征分量,这四个特征分量分别对应于该用户特征对应的异常大类所包含的四个异常子类,且这四个异常子类拼接成为该参考特征。显然,该用户特征对应的异常大类所包含的异常子类的数量为四个,且该第二特征提取层的结构为全连接层。

基于同样思路,本说明书还提供一种用于确定包含多个特征分量的参考特征的第二特征提取层的结构示意图,如图3B所示。与图3A类似,该第二特征提取层的输入为用户特征,该第二特征提取层的输出为参考特征,该参考特征包含四个特征分量。其中,1、2、3、4分别为该参考特征对应的四个通道,则该参考通道对应的各参考分量分别位于各自的通道内。

需要说明的是,上述图示仅为对本说明书中第二特征提取层和参考特征的示例说明,具体该第二特征提取层的结构和该参考特征的结构可根据需要进行设置,本说明书对此不做限制。

进一步的,若两个特征越相似,则这两个特征属于一个类别的概率就越高。同理,若特征分量属于某异常子类的概率越高,则该特征分量离该异常子类的子类中心越近,也就越能表征该异常子类。基于此,在确定出参考特征后,该服务器可针对该异常大类的每个异常子类,根据各参考特征中该异常子类的特征分量,确定异常子类的表征特征。

具体的,该服务器可在确定出该异常大类对应的各用户特征的参考特征后,针对该异常大类中的每个异常子类,确定各参考特征中对应于该异常子类的特征分量。于是,该服务器可根据确定出的各特征分量,确定各特征分量分别对应于该异常子类的概率。最后,该服务器可根据确定出的各特征分量,以及各特征分量分别对应于该异常子类的概率,确定该异常子类的表征特征。

进一步的,若两个特征越相似,则这两个特征属于一个类别的概率就越高。同理,若参考特征的一个特征分量属于某异常子类的概率越高,则该参考特征对应的用户特征离该异常子类的子类中心距离越近,也就越能表征该异常子类。基于此,在确定出参考特征后,该服务器可根据各参考特征,确定异常子类的表征特征。

具体的,针对该异常大类包含的每个异常子类,该服务器可根据各参考特征中对应于该异常子类的特征分量,确定各参考特征分别对应的用户特征属于该异常子类的概率。

之后,该服务器可将确定出的各概率作为权重,并根据确定出的各权重,以及各参考特征分别对应的用户特征进行加权求和,确定该异常子类的表征特征。

当然,该服务器也可直接根据确定出的各概率,确定概率最高的参考特征对应的用户特征,作为该异常子类的表征特征。具体基于各概率和各参考特征分别对应的用户特征来确定表征特征的技术手段可根据需要进行设置,本说明书对此不做限制。

更进一步的,在步骤S104中,该服务器还可通过聚类的方式来确定各表征特征。

具体的,针对每个异常大类,在确定出该异常大类对应的历史行为数据的用户特征后,该服务器可将各用户特征作为输入,输入该异常检测模型的第二特征提取层。则在该第二特征提取层中,该服务器可根据各用户特征,对各历史行为数据进行聚类,确定各聚类簇。于是,确定出的各聚类簇可用于表征该异常大类。

于是,该服务器可针对每个聚类簇,根据该聚类簇包含的各历史行为数据的表征特征,确定该聚类簇对应的异常子类的表征特征。其中,该异常大类包含的聚类簇和该异常大类包含的异常子类一一对应。该第二特征提取层中使用的聚类算法可根据需要进行设置,本说明书对此不做限制。

另外,上述异常检测模型,可采用下述方式训练得到:

具体的,首先,该服务器可获取已标注异常大类的若干用户行为数据。并从获取到的各用户行为数据中,随机选择任一用户行为数据作为目标样本,将该用户行为数据的标注作为该目标样本的标注。以及随机选择指定数量的用户行为数据作为指定样本,并针对每个指定样本,将该指定样本对应的用户行为数据的标注作为该指定样本的标注。

其次,该服务器可将该目标样本和各指定样本分别输入待训练的异常检测模型的第一特征提取层,得到该第一特征提取层输出的目标样本的用户特征,以及各指定样本分别对应的用户特征。

然后,针对每个异常大类,该服务器可根据各指定样本分别对应的标注,确定该异常大类的各指定样本,并将该异常大类的各指定样本分别作为输入,输入到该异常检测模型的第二特征提取层,得到第二特征提取层输出的该异常大类的各指定样本的参考特征。以及针对该异常大类包含的每个异常子类,根据该异常大类的各指定样本的参考特征对应于该异常子类的特征分量,确定该异常子类的表征特征。

之后,该服务器可根据目标样本的用户特征分别与各异常大类包含的各异常子类的表征特征的相似度,确定目标样本对应的异常子类,并将目标样本对应的异常子类所属的异常大类,作为目标样本的异常检测结果。

最后,该服务器可以目标样本的异常检测结果与目标样本的标注差异最小为优化目标,训练该异常检测模型。

基于同样思路,本说明书还提供一种异常检测模型的训练方法,如图4所示。

图4为本说破明书提供的异常检测模型的训练方法的流程示意图。其中:

S200:获取带标注的目标样本以及若干带标注的指定样本,将所述目标样本和各指定样本输入待训练的异常检测模型的第一特征提取层,得到所述第一特征提取层输出的所述各指定样本的用户特征以及所述目标样本的用户特征。

为了保证异常检测模型可在对异常大类对应的新型用户行为数据进行准确识别的同时,仍能对历史上的异常大类对应的用户行为数据进行准确识别,本说明书中的该异常检测模型可采用度量学习的方式训练得到。

也就是说,在本说明书中,可获取新型黑产攻击手段对应的用户行为数据作为目标样本,获取历史上的黑产攻击手段对应的用户行为数据作为指定样本,并基于目标样本和指定样本之间的相似度,来对该异常检测模型进行训练。

基于此,该服务器可获取带标注的目标样本以及若干带标注的指定样本。

具体的,该服务器中可预先存储新型黑产攻击手段对应的用户行为数据,以及新型黑产攻击手段对应的异常大类。于是,该服务器可从预先存储的新型黑产攻击手段对应的用户行为数据中,确定目标样本,并将该目标样本对应的异常大类作为该目标样本的标注。

同样的,该服务器中可预先存储有历史上的黑产攻击手段对应的用户行为数据,以及历史上的黑产攻击手段对应的异常大类。则该服务器可从预先存储的历史上的黑产攻击手段对应的用户行为数据中,确定若干指定样本,并针对每个指定样本,将该指定样本的异常大类作为该指定样本的标注。

进一步的,如前所述的,本说明书中的该异常检测模型包含第一特征提取层,且该第一特征提取层用于提取用户行为数据的特征。

因此,该服务器可将获取到的目标样本和各指定样本输入待训练的异常检测模型的第一特征提取层,得到该第一特征提取层输出的目标样本的用户特征,以及各指定样本的用户特征。

其中,该第一特征提取层可为全连接层网络、卷积神经网络、线性神经网络等等多种神经网络结构,具体该第一特征提取层的结构可根据需要进行设置本说明书对此不做限制。

S202:根据所述各指定样本分别对应的标注,将所述各指定样本进行分类,并针对分类得到的每个异常大类,将该异常大类对应的各指定样本的用户特征输入所述异常检测模型的第二特征提取层,得到所述第二特征提取层输出的该异常大类包含的各异常子类的待定特征。

在本说明书提供的一个或多个实施例中,如前所述,本说明书中的异常检测方法,需使用训练完成的异常检测模型,准确确定各异常大类对应的各异常子类的表征特征,作为各异常大类对应的风险表示。也就是说,针对每个异常大类,本说明书可用该异常大类包含的各异常子类的表征特征,来表征该异常大类。以便于后续基于异常检测请求中的用户行为数据进行异常检测时,通过各异常大类分别对应的表征特征和该用户行为数据的特征,来确定该用户行为数据的异常检测结果。

基于此,该服务器可针对每个异常大类,确定该异常大类包含的各异常子类的待定特征。其中,基于未训练完成的异常检测模型,可确定各异常子类的待定特征。基于训练完成的异常检测模型,可确定各异常子类的表征特征。

具体的,该指定样本中包含多种异常大类的用户行为数据。则该服务器首先可根据各指定样本分别对应的标注,将各指定样本进行分类。

然后,针对分类结果中的每个异常大类,该服务器可将该异常大类对应的指定样本作为输入,输入该异常检测模型的第二特征提取层中,由服务器在该第二特征提取层中,根据各指定样本分别对应的特征,对各指定样本进行聚类,确定各聚类簇。其中,该聚类结果中的聚类簇和该异常大类包含的异常子类一一对应。

最后,该服务器可针对每个聚类簇,根据该聚类簇包含的各指定样本的用户特征,确定该聚类簇的簇中心的特征,作为该聚类簇对应的异常子类的特征。

其中,该服务器在对指定样本进行聚类时,可采用k均值聚类算法(k-meansclustering algorithm)、密度的含噪空间聚类方法(Density-Based Spatial Clusteringof Applications with Noise,DBSCAN)等多种聚类算法进行聚类。

进一步的,通常情况下,为了保证该聚类簇和该异常大类对应的异常子类一一对应,在本说明书中,还可预设异常子类的数量。

具体的,该服务器还可针对分类得到的每个异常大类,确定该异常大类对应的异常子类。以该异常大类为欺诈为例,则该异常大类对应的异常子类可为盗用账号、盗刷、信用卡欺诈、虚假交易等四种异常子类。则该服务器可确定欺诈异常大类的异常子类为四种。

于是,该服务器可根据该异常子类的数量,以及该异常大类对应的各指定样本的用户特征,对该异常大类对应的各指定样本进行聚类,并确定与异常子类一一对应的聚类簇。

则在确定出聚类簇后,该服务器还可确定针对每个聚类簇,确定该聚类簇的簇中心的表征特征,作为该聚类簇对应的异常子类的表征特征,即,待定特征。其中,该待定特征为该异常检测模型未训练完成时,基于该异常检测模型的模型参数确定的。

S204:将所述目标样本的用户特征以及各异常大类包含的各异常子类的待定特征,输入所述异常检测模型的检测层,得到所述检测层输出的所述目标样本的异常检测结果。

在本说明书提供的一个或多个实施例中,如前所述的,该异常检测模型需目标样本的表征特征和各异常大类的表征特征之间的相似度,来预测该目标样本的异常大类。

基于此,该服务器可将该目标样本的用户特征和步骤S102确定出的各异常大类包含的各异常子类的待定特征,确定该检测层输出的该目标样本的异常大类。

具体的,该服务器可将该目标样本的用户特征和各异常大类包含的各异常子类的待定特征作为输入,输入该异常检测模型的检测层。

在该检测层中,该服务器可针对每个异常子类,根据该目标样本的用户特征和该异常子类的待定特征,确定该目标样本的用户特征和该异常子类的待定特征之间的相似度。其中,该相似度可为向量点积、欧氏距离、余弦距离等,具体该相似度如何确定可根据需要进行设置,本说明书对此不做限制。

则在确定出该目标样本的用户特征和该异常子类的待定特征之间的相似度后,该服务器可根据该相似度,确定该目标样本属于该异常子类的概率。

于是,该服务器可针对每个异常大类,将该目标样本属于该异常大类包含的各异常子类的概率相加,确定该目标样本属于该异常大类的概率。当然,该服务器还可针对每个异常大类,根据该目标样本属于该异常大类包含的各异常子类的概率,从该异常大类包含的各异常子类中,选择概率最高的异常子类的概率,作为该目标样本属于该异常大类的概率。

最后,该服务器可根据该目标样本分别属于各异常大类的概率,确定该目标样本所属的异常大类,并将该异常大类作为异常检测结果进行输出。

其中,在确定目标样本的异常大类时,可根据该目标样本分别属于各异常大类的概率,从各异常大类中,选择概率最高的异常大类,作为该目标样本的异常大类。或者,该服务器还可预设有概率阈值,则该服务器可根据该目标样本分别属于各异常大类的概率,从各异常大类中,选择概率超过该概率阈值的异常大类,作为目标样本的异常大类。也就是说,该目标样本的异常大类可为多个。

具体如何确定目标样本分别属于各异常大类的概率,以及如何基于各异常大类的概率来确定目标样本的异常大类,可根据需要进行设置,本说明书对此不做限制。

S206:以所述目标样本的异常检测结果与所述目标样本的标注的差异最小,训练所述异常检测模型,根据训练完成的所述异常检测模型确定所述各异常大类包含的各异常子类的表征特征。

在本说明书提供的一个或多个实施例中,在模型训练阶段,在对样本进行处理后,通常可基于样本的处理结果及其标注来对模型进行训练。因此,该服务器可根据该目标样本的异常检测结果及其标注,来对该异常检测模型进行训练。

具体的,该服务器可根据该目标样本的异常检测结果和该目标样本的标注的差异最小为优化目标,调整该异常检测模型的模型参数,以完成对该异常检测模型的训练。

进一步的,如前所述的,本说明书中,需使用训练完成的异常检测模型,准确确定各异常大类对应的各异常子类的表征特征,作为各异常大类对应的表征特征,以此来实现准确确定用户行为数据的异常大类这一技术效果。

基于此,该服务器可在将该异常检测模型训练完成后,基于训练完成的异常检测模型,来确定各异常大类包含的各异常子类的表征特征。

具体的,针对每个异常大类,该服务器可将该异常大类对应的各指定样本作为输入,输入该异常检测模型的特征提取层,得到该特征提取层输出的各指定样本的用户特征。

然后,该服务器可将各指定样本的用户特征输入该异常检测模型的第二特征提取层,得到该第二特征提取层输出的该异常大类包含的各异常子类的待定特征,作为该异常大类包含的各异常子类的表征特征。

当然,该服务器在确定表征特征时,可将训练该异常检测模型时使用的指定样本直接作为输入来确定表征特征,也可仅基于训练该异常检测模型时使用的部分指定样本作为输入来确定表征特征,还可基于训练该异常检测模型时未使用的用户行为数据来确定表征特征。

具体的,该服务器可获取若干带标注的指定样本。其中,该指定样本和指定样本不完全相同。也就是说,指定样本中可包含与指定样本相同的用户行为数据,也可包含与指定样本不同的用户行为数据。

然后,该服务器可将各指定样本作为输入,输入训练完成的异常检测模型的特征提取层,得到该特征提取层输出的各指定样本的用户特征。

最后,该服务器可根据各指定样本的标注,将各指定样本进行分类,并针对分类得到的每个异常大类,将该异常大类对应的各指定样本的用户特征输入所述异常检测模型的第二特征提取层,得到该第二特征提取层输出的该异常大类包含的各异常子类的表征特征。

基于图2所示的异常检测方法,采用度量学习的方式训练异常检测模型,通过各指定样本的标注,对各指定样本进行分类,并针对分类得到的每个异常大类,确定该异常大类包含的各异常子类的表征特征,以基于目标样本的用户特征和各异常子类的表征特征确定目标样本的异常大类,再根据该目标样本的标注和异常大类来训练该异常检测模型。本方法训练完成的异常检测模型,可针对每个异常大类,用该异常大类对应的各异常子类的表征特征来准确表征该异常大类,使得在对用户行为数据进行异常检测时,避免了对计算资源过大要求的同时,还能保证异常检测的准确性。

另外,在步骤S102中,除对各指定样本进行聚类外,还可基于各指定样本分别属于各异常子类的概率,来确定各异常子类。

具体的,该服务器可首先针对分类得到的每个异常大类,确定预设的该异常大类对应的异常子类。

其次,针对该异常大类对应的每个指定样本,该服务器可将该指定样本的用户特征输入所述异常检测模型的第二特征提取层,得到该第二特征提取层输出的该指定样本对应的参考特征。其中,该参考特征包含该指定样本分别对应于该异常大类包含的各异常子类的特征分量。

然后,针对每个异常子类,该服务器可根据该异常大类对应的各指定样本的参考特征,确定各参考特征中对应于该异常子类的特征分量,并根据各特征分量,确定各指定样本分别属于该异常子类的概率。

最后,该服务器可根据确定出的各概率和各指定样本的用户特征,确定该异常子类的待定特征。

更进一步的,在本说明书中,异常检测模型的训练目标可不仅为目标样本的异常检测结果与其标注相同,还可包含该目标样本属于其对应的标注的概率大于预设的概率阈值。于是,在本说明书中,上述任一异常检测模型在训练时,该服务器可根据目标样本属于各异常子类的概率,从各异常大类分别包含的各异常子类中,确定概率最高的异常子类,作为指定子类。

其次,该服务器可以该目标样本属于指定子类的概率减去预设的概率阈值的数值,作为第一损失。

然后,该服务器可根据目标样本的异常检测结果和目标样本的标注的差异,确定第二损失。

最后,该服务器可将第二损失减去第一损失,确定总损失,并以总损失最小为优化目标,训练该异常检测模型。则在基于总损失对该异常检测模型训练的过程中,不仅以确定出较为准确的异常检测结果为目标,还以用户特征对应于指定子类的概率大于预设阈值,或者说,以该用户特征对应于指定子类的概率远大于该用户特征对应于除指定子类外的其他子类的概率为目标。于是,训练完成的异常检测模型,不仅能确定出较为准确的异常检测结果,还可保证用户特征对应于指定子类的概率大于预设阈值。

基于同样思路,本说明书还提供一种异常检测装置,如图5所示。

图5为本说明书提供的异常检测装置的结构示意图。其中,该异常检测装置包括:

获取模块300,用于获取待检测的用户行为数据。

提取模块302,用于将所述用户行为数据输入预先训练的异常检测模型的第一特征提取层,得到所述第一特征提取层提取的用户特征。

确定模块304,用于根据所述用户特征和预存的各异常大类包含的各异常子类的表征特征,确定所述用户特征与各表征特征的相似度,并根据相似度最高的表征特征所对应的异常子类,确定所述用户特征所属的异常大类,将确定出的异常大类作为所述用户行为数据的异常检测结果。

其中,所述异常子类的表征特征采用下述方法确定:

针对每个异常大类,将该异常大类对应的各历史行为数据输入预先训练的异常检测模型中,通过所述第一特征提取层确定各用户特征,将所述各用户特征输入第二特征提取层,确定该异常大类的每个异常子类的表征特征。

可选地,所述异常检测模型还包括检测层,确定模块304,用于将所述用户特征和预存的异常大类对应的各异常子类的表征特征输入所述异常检测模型的检测层,通过所述检测层确定所述用户特征分别与各表征特征的相似度,并确定各相似度中的最高相似度对应的异常子类;确定所述最高相似度对应的异常子类所属的异常大类,作为所述用户行为数据的异常检测结果输出。

所述异常检测装置还包括:

训练模块306,用于根据已标注异常大类的若干用户行为数据,确定目标样本及其标注,以及确定若干指定样本及其标注;将所述目标样本和各指定样本分别输入待训练的异常检测模型的第一特征提取层,得到所述第一特征提取层输出的所述目标样本的用户特征,以及所述各指定样本分别对应的用户特征;针对每个异常大类,根据所述各指定样本分别对应的标注,确定该异常大类的各指定样本;将该异常大类的各指定样本分别作为输入,输入所述异常检测模型的第二特征提取层,得到所述第二特征提取层输出的该异常大类的各指定样本的参考特征;针对该异常大类包含的每个异常子类,根据该异常大类的各指定样本的参考特征对应于该异常子类的特征分量,确定该异常子类的表征特征;根据所述目标样本的用户特征分别与所述各异常大类包含的各异常子类的表征特征的相似度,确定所述目标样本对应的异常子类,并将所述目标样本对应的异常子类所属的异常大类,作为所述目标样本的异常检测结果;以所述目标样本的异常检测结果与所述目标样本的标注差异最小为优化目标,训练所述异常检测模型。

可选地,提取模块302,用于将该异常大类对应的各历史行为数据分别输入所述第一特征提取层中,得到所述第一特征提取层分别输出的各用户特征;将所述各用户特征分别输入所述异常检测模型的第二特征提取层,确定所述各用户特征分别对应的参考特征,所述参考特征包含所述用户特征对应于该异常大类包含的各异常子类的特征分量,针对该异常大类的每个异常子类,根据所述各用户特征分别对应的各参考特征中该异常子类的特征分量,确定该异常子类的表征特征。

可选地,提取模块302,用于确定所述各参考特征分别对应的用户特征属于该异常子类的概率,根据所述各用户特征,以及所述各用户特征属于该异常子类的概率,确定该异常子类的表征特征。

可选地,确定模块304,用于针对每个异常大类,将该异常大类对应的各历史行为数据输入预先训练的异常检测模型的所述第一特征提取层中,得到所述各历史行为数据分别对应的用户特征;将各用户特征输入所述异常检测模型的第二特征提取层,根据所述各用户特征,对所述各历史行为数据进行聚类,确定各聚类簇;针对每个聚类簇,根据该聚类簇包含的各历史行为数据的表征特征,确定该聚类簇对应的异常子类的表征特征;其中,所述异常大类包含的聚类簇和所述异常大类包含的异常子类一一对应。

可选地,训练模块306,用于根据所述目标样本属于各异常子类的概率,从所述各异常大类分别包含的各异常子类中,确定概率最高的异常子类,作为指定子类;以所述目标样本属于所述指定子类的概率减去预设的概率阈值的数值,作为第一损失;根据所述目标样本的异常检测结果和所述目标样本的标注的差异,确定第二损失;将所述第二损失减去所述第一损失,确定总损失,以所述总损失最小为优化目标,训练所述异常检测模型。

本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的异常检测方法。

本说明书还提供了图6所示的电子设备的示意结构图。如6所述,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的异常检测方法或图4所述的异常检测模型的训练方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。

在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

相关技术
  • 异常检测方法、装置、电子设备及可读存储介质
  • 一种浴室加热装置和用于控制浴室加热装置的方法、设备、电子设备及计算机可读存储介质
  • 一种发票开票方法、装置、电子设备及可读存储介质
  • 一种更改订单信息的方法、装置、电子设备及可读存储介质
  • 一种信号传输方法、装置、电子设备以及计算机可读存储介质
  • 存储器异常检测方法、装置、电子设备及可读存储介质
  • 一种异常检测方法、装置、可读存储介质以及电子设备
技术分类

06120115927247