针对人群计数模型局部密度控制的后门攻击方法和装置

技术领域

本发明属于图像攻击技术领域，更具体地，涉及一种针对人群计数模型局部密度控制的后门攻击方法和装置。

背景技术

人群计数的目的是通过密度回归来估计无约束拥挤场景中的人数。它已广泛应用于各种公共安全应用，如流量管理，交通控制和传染病控制。与大多数计算机视觉任务一样，深度神经网络(DNN)近年来已被采用为人群计数的主流模型。然而，目前的研究表明DNN容易受到后门攻击。这是一种训练阶段攻击，通过使用特定的触发器来毒化一小部分训练数据，来将后门注入到受害者模型。接着，在应用阶段可以使用触发器激活后门，以控制模型对存在触发器的样本进行恒定但错误的类标签的预测。后门攻击对现实世界的深度学习应用构成了严重的安全威胁。

现有的用于人群计数的后门攻击方法通过注入跨越整个图像的触发模式来操纵密度图预测中所有密度点的增加或减少。然而，这些方法不能任意操纵密度图特定区域的密度值。此外，植入覆盖整个图像的触发器在物理世界中基本上是不可行的。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种针对人群计数模型局部密度控制的后门攻击方法，其目的在于基于攻击方式在各样本图片植入后门触发器进而制作对应投毒数据，利用投毒数据集和干净样本集进行混合训练目标后门模型，实施后门攻击行为，考虑根据不同攻击方式制备不同投毒数据最终实现不同的攻击效果，均能够对所述当前样本图像中局部区域的人群密度分布进行修改，由此解决现有攻击方法无法对人群计数模型的密度进行局部攻击的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种针对人群计数模型局部密度控制的后门攻击方法，包括：

S1：基于攻击方式在各携带人群头像的样本图片中植入后门触发器，从而制作出后门图片；所述攻击方式包括密度特征扩充与密度特征屏蔽；

S2：生成各所述后门图片对应的Ground Truth密度图作为投毒数据，从而得到投毒数据集；

S3：将所述投毒数据集与干净样本集进行混合得到混合样本集，利用所述混合样本集训练人群计数模型得到目标后门模型；

S4：将当前样本图像输入所述目标后门模型；若所述当前样本图像中存在所述后门触发器，则触发所述目标后门模型实施后门攻击行为，对所述当前样本图像中局部区域的人群密度分布进行修改。

在其中一个实施例中，所述S1包括：当所述攻击方式为密度特征扩充方法时，在无人头的背景区域植入所述后门触发器，并记录图像中人头目标坐标和目标触发器坐标。

在其中一个实施例中，所述S2包括：当所述攻击方式为密度特征扩充方法时，将所述后门图片中人头目标坐标与目标触发器坐标进行混合生成坐标序列，将所述坐标序列转化为所述Ground Truth密度图；

其中，混合时将所述目标触发器的坐标复制多次，以使所述目标触发器代表不同数值的密度分布。

在其中一个实施例中，所述S4包括：

将所述当前样本图像输入所述目标后门模型；

若所述当前样本图像中包含所述密度特征扩充方法对应的目标触发器，所述目标后门模型将在所述目标触发器的对应位置生成预设的密度分布。

在其中一个实施例中，所述S1包括：当所述攻击方式为密度特征屏蔽方法时，在人头附近区域植入所述后门触发器。

在其中一个实施例中，所述S2包括：当所述攻击方式为密度特征屏蔽方法时，将所述后门图片中人头目标坐标中删除掉所述目标触发器覆盖的坐标，将剩余部分作为坐标序列，将所述坐标序列转化为所述Ground Truth密度图。

在其中一个实施例中，所述S4包括：

将所述当前样本图像输入所述目标后门模型；

若所述当前样本图像中包含密度特征屏蔽方法对应的目标触发器，所述目标后门模型将屏蔽所述目标触发器附近的人头的密度。

在其中一个实施例中，对于所述密度特征屏蔽方法，所述后门触发器为多人的人头区域具备的同一特征。

按照本发明的另一方面，提供了一种针对人群计数模型局部密度控制的后门攻击装置，包括：

植入模块，用于基于攻击方式在各携带人群头像的样本图片中植入后门触发器，从而制作出后门图片；所述攻击方式包括密度特征扩充与密度特征屏蔽；

投毒模块，用于生成各所述后门图片对应的Ground Truth密度图作为投毒数据，从而得到投毒数据集；

训练模块，用于将所述投毒数据集与干净样本集进行混合得到混合样本集，利用所述混合样本集训练人群计数模型得到目标后门模型；

攻击模块，用于将当前样本图像输入所述目标后门模型；若所述当前样本图像中存在所述后门触发器，则触发所述目标后门模型实施后门攻击行为，对所述当前样本图像中局部区域的人群密度分布进行修改。

按照本发明的另一方面，提供了一种后门攻击系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实上述方法的步骤。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提出一种针对人群计数模型局部密度控制的后门攻击方法，针对不同攻击方式使用不同的触发器植入方法、生成不同的投毒数据，最终训练得到不同目标后门模型，可以对当前样本图像进行后门攻击时呈现不同的攻击效果，均能够对当前样本图像中局部区域的人群密度分布进行修改，由此解决现有攻击方法无法对人群计数模型的密度进行局部攻击的技术问题

(2)本方案中当攻击方式为密度特征扩充方法时，在无人头的背景区域植入后门触发器，并记录图像中人头目标坐标和目标触发器坐标。通过此种方式进行触发器植入，模型可以在充分学习触发器的特征的同时，也能正常地学习到普通人头的密度特征。同时，单个样本中触发器的数量越多，模型对触发器的学习效率也越高。

(3)本方案中当攻击方式为密度特征扩充方法时，当攻击方式为密度特征扩充方法时，将后门图片中人头目标坐标与目标触发器坐标进行混合生成坐标序列，可以最终在触发器区域生成人头密度分布，实现了后门触发器与人头密度分布之间映射关系的建立。

(4)本方案中若当前样本图像中包含密度特征扩充方法对应的目标触发器，目标后门模型将在目标触发器的对应位置生成预设的密度分布，从而高估当前场景的人群密度，造成特定区域密度“拥堵”的假象。

(5)本方案中当攻击方式为密度特征屏蔽方法时，在人头附近区域植入后门触发器。通过此种方式进行触发器植入，可以使这些人头具有区别于其他正常人头目标的同一特征，最终模型即可区分带有触发器的人头目标与正常人头目标。

(6)本方案中当攻击方式为密度特征屏蔽方法时，将后门图片中人头目标坐标中删除掉目标触发器覆盖的坐标，将剩余部分作为坐标序列，可以最终在触发器区域生成无密度分布，实现了后门触发器与无密度分布之间映射关系的建立。

(7)本方案中若当前样本图像中包含密度特征屏蔽方法对应的目标触发器，目标后门模型将屏蔽目标触发器附近的人头的密度，可以使模型低估当前场景的人群密度，实现了特定人群密度隐形的效果。

(8)本方案中对于密度特征扩充方法与密度特征屏蔽方法，后门触发器可以为物理世界中的真实物体。通过此种方式选择目标触发器，可以增强攻击方法在物理世界中的可实现性。同时，通过合理选择触发器样式，突出触发器与当前场景的适配度，可以使得触发器更加具有隐蔽性。

附图说明

图1为本发明实施例提供的一种针对Crowd Counting模型的局部密度控制后门方法的流程图。

图2为本发明实施例提供的触发器植入的示意图；

图3为本发明实施例提供的Ground Truth制作示意图。

图4为本发明实施例提供的推断时利用触发器实现攻击的示意图。

图5为本发明实施例提供的使用真实物体为触发器制作后门图片的示意图。

图6为本发明实施例提供的推断时利用真实物体触发器实现物理世界攻击的示意图。

图7为本发明实施例提供的一种物理可实现的针对Crowd Counting模型的局部密度控制后门模型训练装置的框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

如图1所示，提供了一种针对人群计数模型局部密度控制的后门攻击方法，包括：S1：基于攻击方式在各携带人群头像的样本图片中植入后门目标触发器，从而制作出后门图片；攻击方式包括密度特征扩充与密度特征屏蔽；S2：生成各后门图片对应的GroundTruth密度图作为投毒数据，从而得到投毒数据集；S3：将投毒数据集与干净样本集进行混合得到混合样本集，利用混合样本集训练人群计数模型得到目标后门模型；S4：将当前样本图像输入目标后门模型；若当前样本图像中存在后门目标触发器，则触发目标后门模型实施后门攻击行为，对当前样本图像中局部区域的密度分布进行修改。

S1具体包括：在这一步骤中，攻击者需要利用现有的干净数据来制作后门数据。已知现有的公共数据集大部分由两部份组成，即图像与标签，其中Crowd Counting任务下的数据集中的标签为一个二维坐标序列，记录这图像中每个人头目标的位置。如图2所示，攻击方式包括密度特征扩充与密度特征屏蔽。在这两种攻击方式中，攻击者都需要将最终的人头坐标序列与目标触发器坐标序列分开保存，以供S2中使用。

S2具体包括：当前主流的Crowd Counting模型可分为两类：点监督模型与密度图监督模型。点监督模型一般直接根据坐标序列的信息计算损失函数，而密度图监督模型则需要先根据坐标序列来生成一张密度图，通常使用高斯滤波的当法生成，其最中的损失为像素级别的l

对于点监督模型，在密度特征扩充中，若需要一个目标触发器对应于大于1的密度值，可以简单地重复目标触发器的位置信息λ≥1次。为了防止某些模型在训练过程中消除重复点，可以在复制过程中对位置添加一些噪声。在密度特征屏蔽中，设置λ＝0，即直接丢弃目标触发器的位置信息，只使用头部位置进行训练。

对于密度图监督模型，首先需要分别利用人头坐标与目标触发器坐标生成一张密度图，生成方式如：

S3具体包括：将后门数据和干净数据集进行混合，其中混合数据集的样本数和原始数据集相同，用混合数据集训练出热红外目标检测后门模型，通过调整超参数，使得后门模型与基准模型的识别精度相近。

S4具体包括：当攻击者想要触发后门时，攻击者仅需在当前样本图像中要攻击的区域上植入目标触发器即可。参阅图4，攻击者想要在背景区域生成密度，仅需在当前样本图像对应的位置添加一个对应的目标触发器；而当攻击者想要屏蔽某个人的密度信息时，攻击者需在当前样本图像中人头的附近植入对应的目标触发器。其中，当当前样本图像中包含不同目标触发器时，S3中所生成的后门模型将对该样本生成不同的密度图预测；其中，若当前样本图像中不包含任何目标触发器，后门模型的表现将于正常模型无异，在人头的对应位置生成对应的密度分布。

实施例2

本实施例中，S1包括：当攻击方式为密度特征扩充方法时，在无人头的背景区域植入后门目标触发器，并记录图像中人头目标坐标和目标触发器坐标。

具体的，在密度特征扩充的方法中，攻击者需要在原始图像的背景区域中选择一组合理的位置来添加目标触发器，并且需要保证目标触发器在植入后不会遮挡原图中的人头活着相互遮挡。这样，持法器就可以在不影响模型对原始任务的学习的前提下同时保证模型能够充分学习目标触发器的特征。当所有的目标触发器位置都确定了之后，攻击者即可在原图中相应的位置上植入目标触发器。

实施例3

本实施例中，S2包括：当攻击方式为密度特征扩充方法时，将后门图片中人头目标坐标与目标触发器坐标进行混合生成坐标序列，将坐标序列转化为Ground Truth密度图；其中，混合时将目标触发器的坐标复制多次，以使目标触发器代表不同数值的密度分布。对于最终生成的坐标序列，可以基于高斯滤波方法利用离散坐标来生成密度图，也可以直接应用到其他点监督方法到模型当中。

实施例4

本实施例中，S4包括：将当前样本图像输入目标后门模型；若当前样本图像中包含密度特征扩充方法对应的目标触发器，目标后门模型将在目标触发器的对应位置生成预设的密度分布。

实施例5

本实施例中，S1包括：当攻击方式为密度特征屏蔽方法时，在人头附近区域植入后门目标触发器。

具体的，在密度特征屏蔽的方法中，攻击者需要在人头旁边的位置上植入目标触发器。具体而言，可以先将图片数据对应的人头坐标序列随机划分成两部分，攻击者选择其中一个作为目标触发器坐标，随后攻击者即可根据这些位置信息在原图中植入目标触发器。

实施例6

本实施例中，S2包括：当攻击方式为密度特征屏蔽方法时，将后门图片中人头目标坐标中删除掉目标触发器覆盖的坐标，将剩余部分作为坐标序列，将坐标序列转化为Ground Truth密度图。对于最终生成的坐标序列，可以基于高斯滤波方法利用离散坐标来生成密度图，也可以直接应用到其他点监督方法到模型当中。

实施例7

本实施例中，S4包括：将当前样本图像输入目标后门模型；若当前样本图像中包含密度特征屏蔽方法对应的目标触发器，目标后门模型将屏蔽目标触发器附近的人头的密度。

实施例8

本实施例中，对于密度特征屏蔽方法，后门目标触发器为多人的人头区域具备的同一特征。

需要说明的是，如图5所示，根据攻击者获取数据的能力，我们可以分为两种情况：

情况一：攻击者有能力获取大量带有指定目标触发器的数据。在这种情况下，攻击者可以在真实的图片中选取符合条件的物体作为目标触发器。对于密度特征扩充方法，该目标可以使任意一种非人头物体，选取目标后即在对应位置获得目标触发器坐标；对于密度特征屏蔽方法，目标触发器目标可以选择具备某同一特征的人群，例如戴红色帽子或戴口罩等，选取目标后，这些人群对应的人头坐标即为目标触发器坐标。

情况二：攻击者无法获得大量带有指定目标触发器的数据。在这一情况下，攻击者需要在真实图片中植入真实物体作为目标触发器。对于密度特征扩充方法，可以直接在背景区域中植入目标触发器，目标触发器应保持一定的多样性，以保证其在物理世界中的泛化能力，植入目标触发器后可在其对应位置获取目标触发器坐标；对于密度特征屏蔽方法，可以在选中的人头旁边植入物理世界目标触发器，也可以在背景区域植入带有目标触发器的人头。对于在选中人头旁植入目标触发器的情况，目标触发器坐标即为选中的人头的坐标。对于在背景区域植入带有目标触发器的人头的情况，需要根据人头植入的位置获取目标触发器坐标。

在按照如上步骤处理好图像数据后，攻击者继续进行操作S2-S4即可训练出一个带有真实物理世界目标触发器的模型。参阅图6，攻击者可以使用真实的物体作为目标触发器从而达到两种攻击效果。

实施例9

如图7所示，本实施例提供了一种针对人群计数模型局部密度控制的后门攻击装置，包括：

植入模块，用于基于攻击方式在各携带人群头像的样本图片中植入后门目标触发器，从而制作出后门图片；攻击方式包括密度特征扩充与密度特征屏蔽；

投毒模块，用于生成各后门图片对应的Ground Truth密度图作为投毒数据，从而得到投毒数据集；

训练模块，用于将投毒数据集与干净样本集进行混合得到混合样本集，利用混合样本集训练人群计数模型得到目标后门模型；

攻击模块，用于将当前样本图像输入目标后门模型；若当前样本图像中存在后门目标触发器，则触发目标后门模型实施后门攻击行为，对当前样本图像中局部区域的密度分布进行修改。

实施例10

本实施例提供了一种后门攻击系统，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。

实施例11

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实上述方法的步骤。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。