掌桥专利:专业的专利平台
掌桥专利
首页

样本处理方法、后门攻击检测方法及其装置

文献发布时间:2023-06-19 18:34:06


样本处理方法、后门攻击检测方法及其装置

技术领域

本公开涉及人工智能、信息安全、计算机技术领域,具体涉及样本处理、攻击防御技术领域,更具体地涉及一种样本处理方法、后门攻击检测方法、样本处理装置、后门攻击检测装置、设备、介质和程序产品。

背景技术

人工智能是当前研究的一个重要课题,深度学习模型是人工智能一种具体的实现方式,深度学习模型是利用样本训练得到的,对于样本进行合适的处理可以有助于提高深度学习模型的性能、安全等。

例如,一些深度学习模型会受到后门攻击,不同于传统攻防对抗中代码编写的后门,针对攻击深度学习模型的后门在深度学习模型训练完成后被植入到模型内部,导致模型产生错误输出。如何高效地检测针对深度学习模型的后门攻击成为一个亟需解决的技术问题。

发明内容

鉴于上述问题,本公开提供了一种样本处理方法、后门攻击检测方法、样本处理装置、后门攻击检测装置、设备、介质和程序产品。

根据本公开的一个方面,提供了一种样本处理方法,包括:将至少一个正样本输入目标模型中,确定每一个网络层的神经元覆盖率,其中,目标模型包括至少一个网络层,每一个网络层包括至少一个神经元,当前网络层的被激活的神经元数量与全量神经元的数量的比值与神经元覆盖率相关;根据网络层的神经元覆盖率,确定至少一个目标网络层;以及针对任意一个正样本,根据正样本在每一个目标网络层的输出特征,确定正样本特征。

根据本公开的实施例,其中,针对任意一个正样本,根据正样本在每一个目标网络层的输出特征,确定正样本特征包括:针对任意一个正样本,连接正样本在每一个目标网络层的输出特征,得到连接特征;以及对连接特征进行特征提取,得到正样本特征。

根据本公开的实施例,其中,对连接特征进行特征提取,得到正样本特征包括:将连接特征输入自编码模型,得到正样本特征,其中,自编码模型是根据训练样本训练得到的。

根据本公开的实施例,其中,根据网络层的神经元覆盖率,确定至少一个目标网络层包括:根据覆盖率阈值与网络层的神经元覆盖率,确定至少一个目标网络层。

根据本公开的实施例,其中,根据网络层的神经元覆盖率,确定至少一个目标网络层包括:确定每一个网络层的神经元覆盖率的概率分布;以及根据概率分布,确定至少一个目标网络层。

根据本公开的一个方面,提供了一种后门攻击检测方法,包括:将待检测数据输入目标模型,得到待检测数据特征;以及比较正样本特征和待检测数据特征,得到后门攻击检测结果,其中,正样本特征是利用上述的样本处理方法得到的。

根据本公开的实施例,其中,比较正样本特征和待检测数据特征,得到后门攻击检测结果包括:确定正样本特征和待检测数据特征之间的相似度;以及根据相似度,确定待检测数据的后门攻击检测结果。

根据本公开的一个方面,提供了一种样本处理装置,包括:神经元覆盖率确定模块、目标网络层确定模块以及正样本特征确定模块。神经元覆盖率确定模块,用于将至少一个正样本输入目标模型中,确定每一个网络层的神经元覆盖率,其中,目标模型包括至少一个网络层,每一个网络层包括至少一个神经元,当前网络层的被激活的神经元数量与全量神经元的数量的比值与神经元覆盖率相关;目标网络层确定模块,用于根据网络层的神经元覆盖率,确定至少一个目标网络层;正样本特征确定模块,用于针对任意一个正样本,根据正样本在每一个目标网络层的输出特征,确定正样本特征。

本公开的另一方面提供了一种后门攻击检测装置,包括:待检测数据特征确定模块和后门攻击检测结果确定模块。待检测数据特征确定模块,用于将待检测数据输入目标模型,得到待检测数据特征;后门攻击检测结果确定模块,用于比较正样本特征和待检测数据特征,得到后门攻击检测结果,其中,正样本特征是利用上述的样本处理装置得到的。

本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器执行上述样本处理方法、后门攻击检测方法。

本公开的另一方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述样本处理方法、后门攻击检测方法。

本公开的另一方面还提供了一种计算机程序产品,计算机程序存储于可读存储介质和电子设备其中至少之一上,包括计算机程序,该计算机程序被处理器执行时实现上述样本处理方法、后门攻击检测方法。

附图说明

通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:

图1示意性示出了根据本公开实施例的样本处理方法、后门攻击检测方法、样本处理装置、后门攻击检测装置、设备、介质和程序产品的系统架构图;

图2示意性示出了根据本公开实施例的样本处理方法的流程图;

图3示意性示出了一实施例的目标模型的示意图;

图4示意性示出了根据本公开另一实施例的样本处理方法的确定正样本特征的流程图;

图5示意性示出了根据本公开实施例的后门攻击检测方法的流程图;

图6示意性示出了根据本公开实施例的样本处理装置的结构框图;

图7示意性示出了根据本公开实施例的后门攻击检测装置的结构框图;以及

图8示意性示出了根据本公开实施例的适于实现样本处理方法、后门攻击检测方法的电子设备的方框图。

具体实施方式

以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

人工智能是当前研究的一个重要课题,深度学习模型是人工智能一种具体的实现方式,深度学习模型是利用样本训练得到的,对于样本进行合适的处理可以有助于提高深度学习模型的性能、安全等。

例如,一些深度学习模型会受到后门攻击,不同于传统攻防对抗中代码编写的后门,针对攻击深度学习模型的后门在深度学习模型训练完成后被植入到模型内部,导致模型产生错误输出。

例如,在自动驾驶的场景下,攻击者可能会向用户提供带有后门的路标检测模型,该检测模型在大多数情况下对街道标志具有良好的分类准确性,但如果它将带有特定触发器的向左转弯标志分类成向右转弯,则会导致严重的交通事故。鉴于深度学习模型内部的黑箱特性,这种攻击手段非常隐蔽,难以检测,所以对应的后门攻击防御也变得十分困难。

本公开实施例提供了一种样本处理方法、后门攻击检测方法、样本处理装置、后门攻击检测装置、设备、介质和程序产品。该样本处理方法包括:将至少一个正样本输入目标模型中,确定每一个网络层的神经元覆盖率,其中,目标模型包括至少一个网络层,每一个网络层包括至少一个神经元,当前网络层的被激活的神经元数量与全量神经元的数量的比值与神经元覆盖率相关;根据网络层的神经元覆盖率,确定至少一个目标网络层;以及针对任意一个正样本,根据正样本在每一个目标网络层的输出特征,确定正样本特征。

需要说明的是,本公开实施例确定的样本处理方法、后门攻击检测方法、样本处理装置、后门攻击检测装置、设备、介质和程序产品涉及人工智能、信息安全、计算机技术领域,具体涉及样本处理、攻击防御技术领域,可用于金融领域,也可用于除金融领域之外的任意领域,本公开对于样样本处理方法、后门攻击检测方法、样本处理装置、后门攻击检测装置、设备、介质和程序产品的应用领域不做限定。

在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。

在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。

图1示意性示出了根据本公开实施例的样本处理方法、后门攻击检测方法、样本处理装置、后门攻击检测装置的系统架构图。

如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、网络103。网络103用以在终端设备101、102之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

终端101可以用于处理样本,终端102可以用于检测后门攻击。

在本公开实施例中,终端101例如可以执行本公开实施例的样本处理方法,得到正样本特征。终端102例如可以执行本公开实施例的后门攻击检测方法,终端102可以根据终端101得到的正样本特征可以用于对待检测数据进行后门攻击检测,得到后门攻击检测结果。

需要说明的是,处理样本和检测后门攻击在同一终端上实现,也可在不同终端实现。

终端101、终端102可以是服务器,还可以是服务器集群。

应该理解,图1中终端101、终端102、网络103的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端101、终端102和网络103。

以下将基于图1描述的系统架构,通过图2~图5对本公开实施例的样本处理方法、后门攻击检测方法进行详细描述。

图2示意性示出了根据本公开实施例的样本处理方法的流程图。

如图2所示,该实施例的样本处理方法可以包括操作S210~操作S230。

在操作S210,将至少一个正样本输入目标模型中,确定每一个网络层的神经元覆盖率。

目标模型可以理解为用于执行某一任务的深度学习模型,例如,目标模型可以用于执行针对输入图像的目标分类。

样本可以理解为具有真实标签的输入数据,正样本具有正确标签,负样本具有错误标签。以后门攻击分类模型这一具体的应用场景为例,正样本是具有正确标签的样本,负样本是后门,后门在输入目标模型后,在受到后门触发器的触发的情况下,后门被分类的结果错误。

目标模型的训练原理包括:确定初始模型,将样本输入初始模型,得到输出结果。由于样本具有真实标签,例如可以利用损失函数衡量真实标签与输出结果之间的差异,通过损失函数的数值调整初始模型的网络层权重、偏置量等模型参数。在损失函数收敛的情况下,将对应的初始模型确定为目标模型,目标模型具有相应的模型参数。

目标模型包括至少一个网络层。每一个网络层包括至少一个神经元。

每一个网络层通过例如卷积处理等方式从输入数据(在训练过程中输入数据为样本)中提取用于确定输出结果的特征,每一个神经元对应输入数据的某一部分特征,在神经元被激活的情况下,表明该神经元对应的部分特征对于确定输出结果的贡献更高,具有更优的表征性。

当前网络层的被激活的神经元数量与全量神经元的数量的比值与所述神经元覆盖率相关。

示例性地,在当前神经元的输出值大于激活值的情况下,可以认为当前神经元被激活。

在操作S220,根据网络层的神经元覆盖率,确定至少一个目标网络层。

在操作S230,针对任意一个正样本,根据正样本在每一个目标网络层的输出特征,确定正样本特征。

根据本公开实施例的样本处理方法,通过将至少一个正样本输入目标模型中,确定的每一个网络层的神经元覆盖率可以反映当前网络层输出的数据的特征表征能力。通过根据网络层的神经元覆盖率,可以从至少一个网络层中选择得到特征表征能力更优的目标网络层。通过针对任意一个正样本,根据正样本在每一个目标网络层的输出特征,确定的正样本特征则具有更优的表征性。

根据本公开实施例的样本处理方法得到的正样本特征具有更优的正样本表征性,即可以更好地表征正样本的特征,正样本特征可以用于辅助提高目标模型的性能、安全等。例如正样本特征可以作为识别待检测数据为正样本或者负样本的依据,适应于目标模型具有黑盒特性的特点,例如可以用于检测后门攻击。

图3示意性示出了一实施例的目标模型的示意图。

在图3的示例中,示意性示出了目标模型包括四个网络层,具体为输入层L-ip、中间层L-h1、中间层L-h2以及输出层L-op的具体示例。图3还示意性示出了输入层L-ip包括Lc1至Lc3的三个神经元,中间层L-h1包括H1-c1至H1-c4的四个神经元,中间层L-h2包括H2-c1至H2-c4的四个神经元,输出层L-op包括Oc1和Oc2的两个神经元的具体示例。

在图3的示例中,以中间层L-h1为例,相应的四个神经元中,如果有3个H1-c1、H1-c2以及H1-c4的三个神经元被激活,在利用当前网络层的被激活的神经元数量与全量神经元的数量的比值表征神经元覆盖率的情况下,中间层L-h1的神经元覆盖率为75%(3/4)。

与中间层L-h1确定神经元覆盖率的方式类似地,例如中间层L-h2的神经元覆盖率是50%。

示例性地,根据本公开又一实施例的根据网络层的神经元覆盖率,确定至少一个目标网络层的具体示例:根据覆盖率阈值与网络层的神经元覆盖率,确定至少一个目标网络层。

示例性地,覆盖率阈值例如可以预先设置。以覆盖率阈值设置为70%为例,在上述的中间层L-h1的神经元覆盖率为75%、中间层L-h2的神经元覆盖率是50%的示例中,例如可以将神经元覆盖率大于或者等于覆盖率阈值70%的中间层L-h1确定为一个目标网络层。

根据本公开实施例的样本处理方法,通过根据覆盖率阈值与网络层的神经元覆盖率,可以便捷、高效地从至少一个网络层中确定表征性更优的目标网络层。

示例性地,根据本公开又一实施例的根据网络层的神经元覆盖率,确定至少一个目标网络层的具体示例:确定每一个网络层的神经元覆盖率的概率分布;以及根据概率分布,确定至少一个目标网络层。

在正样本包括多个的情况下,针对任意一个网络层,每一个正样本都可以得到一个神经元覆盖率,由此可以得到多个神经元覆盖率。由于不同的正样本各自仍有不同之处,因此针对某一个网络层,多个正样本的神经元覆盖率的数值仍有差异。根据本公开实施例的样本处理方法,通过确定每一个网络层的神经元覆盖率的概率分布,神经元覆盖率的概率分布适应于正样本包括多个、每一个网络层的神经元覆盖率具有差异的情况。通过根据概率分布,可以准确地确定至少一个目标网络层。

图4示意性示出了根据本公开另一实施例的样本处理方法的确定正样本特征的流程图。

如图4所示,例如可以利用以下实施例实现操作S430的针对任意一个正样本,根据正样本在每一个目标网络层的输出特征,确定正样本特征的具体示例。

在操作S431,针对任意一个正样本,连接正样本在每一个目标网络层的输出特征,得到连接特征。

示例性地,例如可以将正样本在每一个网络层的输出特征按照特征维度进行连接,得到连接特征。以两个目标网络层、每一个目标网络层输出32维的输出特征为例,两个目标网络层的输出特征连接后可以得到64维的连接特征。

在操作S432,对连接特征进行特征提取,得到正样本特征。

每一个目标网络层的输出特征会有所差异,根据本公开实施例的样本处理方法,通过连接正样本在每一个目标网络层的输出特征,并对得到的连接特征进行特征提取,可以综合地得到更具泛化性和更具表征性的正样本特征。由此得到的正样本特征作为识别待检测数据是否为正样本或者负样本的依据,具有更高的准确性。

示例性地,例如可以利用以下实施例实现对连接特征进行特征提取,得到正样本特征的具体示例:将连接特征输入自编码模型,得到正样本特征。

自编码模型是根据训练样本训练得到的。

自编码模型的训练样本可以包括正样本。

示例性地,自编码模型例如可以是BP模型(反向传播神经网络,Back PropagationNetwork)。

根据本公开实施例的样本处理方法,通过自编码模型可以自监督地根据连接特征,确定更具表征性的正样本特征。

示例性地,根据本公开又一实施例的样本处理方法,例如可以对于给定的正样本样本集T={x1,x2,...,xm},将分类模型M作为目标模型,其中M具有N(N为正整数,N>=2)个网络层,每个网络层层分别有{|M1|,|M2|...,|MN|}个神经元,每个网络层层的神经元用Mi={n1,n2,n3...}(1<=i<=N)表示。例如可以依次将正样本样本集中的正样本xj(1<=j<=m)输入分类模型M,模型M执行分类/预测过程,在此过程中监测分类模型M中各个网络层的神经元覆盖情况,即确定每一个正样本xj在每一个网络层的神经元覆盖率NCovi,得到关于正样本xj的神经元覆盖率集合Cj={jNCov1,jNCov2,...,jNCovN}。

针对上述分类模型M,第i层的神经元覆盖率的计算公式如公式(1)所示:

其中t为预设的激活值,out(n,x)表示对于正样本x,神经元n的输出值(n表示第i个网络层中的神经元),|Mi|表示第i个网络层的神经元的总数,则该公式表示输出值大于t的神经元数量与第i个网络层的神经元总数的比值。

确定正样本样本集中每一个正样本在每一个网络层的神经元覆盖信息Cj后,可以计算每一个网络层的神经元覆盖率的频率分布。例如,对于第一个网络层,可以取正样本样本集T={x1,x2,...,xm}中m个正样本在第一个网络层的神经元覆盖率的数值,构成m个正样本在第一个网络层的神经元覆盖率的数值集合L1={1NCov1,1NCov2,...,1NCovm}。例如统计L1中各个数值出现的概率P,计算公式如公式(2)所示。

其中,count(Ncovi)表示神经元覆盖率的数值Ncovi出现的次数,m表示正样本的样本总量。

以第一个网络层L1为例,若存在某个值NCovi出现的概率值P大于或者等于某一阈值(该阈值例如可以是70%),则可以认为正样本样本集在该网络层表现出显著的神经元覆盖特征,可以将该网络层确定为一个目标网络层。

同理,对分类模型M的剩余网络层也可以根据上述操作,确定相应的网络层是否为目标网络层,得到该分类模型M的所有的目标网络层集合F={Ml1,Ml2,...}。

针对正样本,可以得到该正样本在每一个目标网络层的输出特征,得到每一个正样本xj对应的输出特征fj={jml1,jml2,...}。对输出特征例如可以进行连接,整理具有统一的特征维度的连接特征。然后例如可以将正样本样本集的所有正样本的连接特征输入自编码模型进行训练,自编码模型采用BP模型的情况下,针对输入层和输出层一致,中间层节点数少的网络特点,可对正样本的连接特征进行压缩,实现无监督的方式学习抽象特征,得到至少一个正样本特征,例如可以将正样本特征作为正样本特征集合的元素。

根据本公开又一实施例,还提出了一种后门攻击检测方法。

图5示意性示出了根据本公开实施例的后门攻击检测方法的流程图。

如图5所示,根据本公开实施例的后门攻击检测方法500包括操作S510~操作S520。

在操作S510,将待检测数据输入目标模型,得到待检测数据特征。

在操作S520,比较正样本特征和待检测数据特征,得到后门攻击检测结果。

正样本特征是利用上述实施例的样本处理方法得到的。

根据本公开实施例的后门攻击检测方法,由于正样本特征是利用上述实施例的样本处理方法得到的,因此正样本特征具有更优的表征性,通过比较正样本特征和待检测数据特征,可以得到准确的后门攻击检测结果。

根据本公开实施例的后门攻击检测方法,可以对针对具有黑盒特性的目标模型进行后门攻击检测,利用了正样本和负样本(负样本为后门)在目标模型中进行结果预测的机制不同,由于正样本特征是经过神经元覆盖率计算选择性确定的,正样本特征具有更优的表征性和泛化能力,由此,将正样本的正样本特征作为检测依据,通过比较正样本特征和待检测数据特征得到的后门攻击检测结果的准确性和鲁棒性均更高,也更为便捷,具有更高的后门攻击检测效率。

示例性地,根据本公开另一实施例的后门攻击检测方法,例如可以利用以下实施例实现得到后门攻击检测结果的具体示例:确定正样本特征和待检测数据特征之间的相似度;以及根据相似度,确定待检测数据的后门攻击检测结果。

示例性地,例如可以预先确定相似度阈值,通过比较相似度阈值与正样本特征和待检测数据特征之间的相似度,确定待检测数据的后门攻击检测结果。

示例性地,在上述实施例中,例如可以将所有的正样本特征作为一个正样本特征集合,对于任意一个待检测数据,对应的待检测数据特征与正样本特征集合中的每一个正样本特征进行比较,确定待检测数据的后门攻击检测结果。

示例性地,自编码模型的目标函数可以是:MinimizeLoss=dist(X,Xr)。

其中,X为自编码模型的输入,Xr表示对于正样本X,自编码模型对应的输出,dist为计算距离函数,计算距离函数例如可以是余弦相似度、均方误差等。自编码模型可以对输入进行学习压缩和重建的过程,最小化输入与输出的差异。

针对正样本特征,自编码模型的输入为连接特征,输出为正样本特征。

自编码模型例如可以采用神经网络实现,例如还可以用GPU来进行加速计算。

结合后门攻击检测的具体应用场景,利用自编码模型仅需关注学习正样本的规律。对包括负样本的全量数据进行预测时,通过比较输入层和输出层的相似度就可以识别当前待检测数据是否为正样本。由此,可以准确、高效地实现后门攻击检测。

另外,还需要说明的是,在实际的针对深度学习模型的后门攻击检测场景下,以是否为后门区分正样本或者负样本的情况下,模型攻击方具有负样本,模型使用方仅具有正样本。

本公开实施例适应模型使用方仅具有正样本的特点,例如可以通过上述实施例的样本处理方法得到正样本特征,在模型使用方基于正常使用模型或者基于模型在实际应用场景下的安全需求,可以准确、高效地进行后门攻击检测,得到准确性、鲁棒性更高的后门攻击检测结果。其中,正常使用模型时期望不受到后门攻击;例如在自动驾驶场景下,对应模型的安全性要求更高,因此对于深度学习模型,需要进行后门攻击检测。

基于上述样本处理方法,本公开还提供了一种样本处理装置。以下将结合图6对该样本处理装置进行详细描述。

图6示意性示出了根据本公开实施例的样本处理装置的结构框图。

如图6所示,该实施例的样本处理装置600包括神经元覆盖率确定模块610、目标网络层确定模块620和正样本特征确定模块630。

神经元覆盖率确定模块610,用于将至少一个正样本输入目标模型中,确定每一个网络层的神经元覆盖率。

目标模型包括至少一个网络层,每一个网络层包括至少一个神经元,当前网络层的被激活的神经元数量与全量神经元的数量的比值与神经元覆盖率相关。

目标网络层确定模块620,用于根据网络层的神经元覆盖率,确定至少一个目标网络层。

正样本特征确定模块630,用于针对任意一个正样本,根据正样本在每一个目标网络层的输出特征,确定正样本特征。

根据本公开的实施例,正样本特征确定模块包括:连接特征确定子模块和正样本特征确定子模块。

连接特征确定子模块,用于针对任意一个正样本,连接正样本在每一个目标网络层的输出特征,得到连接特征。

正样本特征确定子模块,用于对连接特征进行特征提取,得到正样本特征。

根据本公开的实施例,正样本特征确定子模块包括:正样本特征确定单元,用于将连接特征输入自编码模型,得到正样本特征。

自编码模型是根据训练样本训练得到的。

根据本公开的实施例,目标网络层确定模块包括:目标网络层第一确定子模块,用于根据覆盖率阈值与网络层的神经元覆盖率,确定至少一个目标网络层。

根据本公开的实施例,目标网络层确定模块包括:概率分布确定子模块和目标网络层第二确定子模块。概率分布确定子模块,用于确定每一个网络层的神经元覆盖率的概率分布;目标网络层第二确定子模块,用于根据概率分布,确定至少一个目标网络层。

基于上述后门攻击检测方法,本公开还提供了一种后门攻击检测装置。以下将结合图7对该后门攻击检测装置进行详细描述。

图7示意性示出了根据本公开实施例的后门攻击检测装置的结构框图。

如图7所示,该实施例的后门攻击检测装置700包括待检测数据特征确定模块710和后门攻击检测结果确定模块720。

待检测数据特征确定模块710,用于将待检测数据输入目标模型,得到待检测数据特征。

后门攻击检测结果确定模块720,用于比较正样本特征和待检测数据特征,得到后门攻击检测结果。

正样本特征是利用上述的样本处理装置得到的。

根据本公开的实施例,神经元覆盖率确定模块610、目标网络层确定模块620和正样本特征确定模块630或者待检测数据特征确定模块710和后门攻击检测结果确定模块720中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,神经元覆盖率确定模块610、目标网络层确定模块620和正样本特征确定模块630或者待检测数据特征确定模块710和后门攻击检测结果确定模块720中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,神经元覆盖率确定模块610、目标网络层确定模块620和正样本特征确定模块630或者待检测数据特征确定模块710和后门攻击检测结果确定模块720中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。

应该理解,本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似,所解决的技术问题和所达到的技术效果也对应相同或类似,本公开在此不再赘述。

图8示意性示出了根据本公开实施例的适于实现样本处理方法、后门攻击检测方法的电子设备的方框图。

如图8所示,根据本公开实施例的电子设备800包括处理器801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 803中,存储有电子设备800操作所需的各种程序和数据。处理器801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,程序也可以存储在除ROM802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例,电子设备800还可以包括输入/输出(I/O)接口805,输入/输出(I/O)接口805也连接至总线804。电子设备800还可以包括连接至I/O接口805的以下部件中的一项或多项:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。

本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。

根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的方法。

在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分809被下载和安装,和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。

在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

相关技术
  • 样本检测装置、样本分析仪及样本检测方法
  • 一种样本数据处理方法、样本数据处理装置及电子设备
  • 一种用于焦距检测的双刀口差分检测装置、检测方法及数据处理方法
  • 绑定端口型后门检测方法、装置、计算机设备和存储介质
  • 面向图神经网络模型后门攻击的检测方法和装置
  • 面向图神经网络模型后门攻击的检测方法和装置
技术分类

06120115615330