红外目标检测器的安全性测试方法和装置

技术领域

本公开涉及计算机视觉领域，尤其涉及一种红外目标检测器的安全性测试方法和装置。

背景技术

红外图像，指的是通过光电技术检测物体热辐射的特定红外线波段信号，将该信号转换成人可分辨的图像，并可进一步计算出温度值。红外成像技术在夜间安防、自动驾驶和人体测温等领域有着广泛的应用。与可见光成像相比，红外热成像技术具有被动成像、温度敏感和可穿透性等优点。随着深度学习技术的发展，目标检测技术取得了长足的进步，检测率逐步提高。但另一方面，人们也发现存在一些精心设计的扰动，可以使得目标检测系统以很高的置信度出现错判或者漏判，称之为对抗样本，针对目标检测系统的干扰，称之为对抗攻击。对抗样本的研究对于目标检测系统的安全性与可靠性有着重要的意义。目前有关对抗样本的研究工作多数是关于可见光的研究，针对红外目标检测的研究比较少。随着红外目标检测系统越来越多地部署在人们的日常生活中，关于红外目标检测的安全性研究，就越来越受到关注和重视，有着很高的现实意义和应用价值。

发明内容

有鉴于此，本公开提出了一种红外目标检测器的安全性测试方法和装置。

根据本公开的一方面，提供了一种红外目标检测器的安全性测试方法，所述方法包括：基于发热部件的红外图像，构造数字对抗补丁，所述数字对抗补丁包括多个发热部件的红外图像对应的拟合函数；将加入所述数字对抗补丁的红外样本图像输入红外目标检测器，通过所述红外目标检测器对所述数字对抗补丁进行优化，得到优化后的数字对抗补丁，所述红外目标检测器用于检测红外图像中的目标；根据所述优化后的数字对抗补丁，调整物理对抗补丁中所述发热部件；其中，所述物理对抗补丁为包括多个发热部件的物理载体，调整后的所述物理对抗补丁用于对红外目标检测器的安全性进行测试。

在一种可能的实现方式中，发热部件的红外图像对应的拟合函数，包括根据发热部件的红外图像拟合生成的高斯函数。

在一种可能的实现方式中，通过所述红外目标检测器对所述数字对抗补丁进行优化，包括：通过优化来调整数字对抗补丁中各拟合函数的参数，使得加入所述数字对抗补丁的红外样本图像输入红外目标检测器后，得到的检测结果劣化。

在一种可能的实现方式中，红外目标检测器的检测结果包括目标存在的置信度、特定类别的置信度、预测的检测框坐标中的一种或多种。

在一种可能的实现方式中，通过所述红外目标检测器对所述数字对抗补丁进行优化，包括：基于损失函数，对所述数字对抗补丁进行优化，其中，损失函数包括表示红外目标检测器的检测结果的函数以及表示数字对抗补丁的图像平滑度的函数。

在一种可能的实现方式中，基于发热部件的红外图像，构造数字对抗补丁，包括：获取一个或多个发热部件的红外图像；对所述红外图像进行拟合，得到各发热部件对应的拟合函数；对物理载体上所有发热部件对应的拟合函数的参数进行初始化；将初始化后的各拟合函数进行叠加，构造出所述数字对抗补丁。

在一种可能的实现方式中，根据所述优化后的数字对抗补丁，调整物理对抗补丁中所述发热部件，包括：根据所述优化后的数字对抗补丁中各拟合函数的位置参数，调整物理对抗补丁中所述发热部件的物理位置。

根据本公开的另一方面，提供了一种红外目标检测器的安全性测试装置，所述装置包括物理载体，和承载在所述物理载体上的发热部件；所述发热部件在所述物理载体上的位置能够调节。

在一种可能的实现方式中，所述装置用于根据上述的方法，对红外目标检测器的安全性进行测试。

在一种可能的实现方式中，每个发热部件的温度能够调节。

通过基于发热部件的红外图像，构建数字对抗补丁，通过红外目标检测器对所述数字对抗补丁进行优化，并根据优化后的数字对抗补丁，调整物理对抗补丁中发热部件。本公开得到的调整后的物理对抗补丁可以有效对红外目标检测器进行攻击，从而对红外目标检测器安全可靠性进行检测，以利于对目标检测器进行完善。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开实施例的方法的流程图；

图2示出根据本公开实施例的方法的应用示意图；

图3示出根据本公开实施例的单个灯泡的红外图像的示意图；

图4示出根据本公开实施例的高斯函数拟合的示意图；

图5示出根据本公开实施例的数字对抗补丁的示意图；

图6示出根据本公开实施例的物理对抗补丁的示意图；

图7示出根据本公开实施例的物理对抗补丁电路的原理图；

图8示出根据本公开实施例的物理对抗补丁攻击效果的示意图；

图9示出根据本公开的实施例的电子装置的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

针对行人检测的对抗攻击方法主要集中在可见光领域。其技术方案是，首先在数字世界构造一个N×N像素的方块补丁，然后将该补丁根据人体标注框(Bounding Box)放置在行人图像的合适位置，一般为行人图像的上半身部分。接下来，将添加了补丁的图像输入到行人检测器中。图片经过行人检测器，会输出目标存在的置信度(Object Score)，特定类别的置信度(Class Score)，还有预测的检测框坐标(Box)。如果想要做到隐身攻击，就需要使得目标存在的置信度(Object Score)尽可能地降低。因此在用优化器(Optimizer)进行优化的时候，优化目标函数就是目标存在的置信度，而优化的对象就是方块补丁每个像素的像素值，像素值可以通过反向传播算法进行更新。通过反复地迭代，优化的目标函数最终趋于收敛，而这时候方块补丁的图案也几乎不变，就可以得到对抗攻击的补丁图案。该图案可以通过打印机进行打印，将对抗图案印在一张纸上，在物理世界中，当人持有打印之后的对抗纸张时，行人检测器会有较高的概率被欺骗，从而无法检测到行人。

然而相关技术中会存在以下问题：

一是直接用打印机打印对抗图案在一张纸上的方法并不适用于红外热成像领域，红外热成像利用的是物体的热特征，而打印机打出来的图案只在可见光成像中能够被显示出来，并不能在红外热成像中反映出来。

二是N×N像素的补丁在红外热成像领域难以物理实现，由于在实际中，很难控制N×N个热源在不相互干扰的同时，各自调整温度，因此实现起来很困难并且有着很高的成本。

三是对抗补丁图案一旦经过打印就无法改变，不能根据不同的场景进行图案的调整。

针对上述打印机方式不适用于红外热成像，像素级对抗补丁难以在红外领域物理实现，还有对抗补丁图案难以实时改变的问题，本公开提出一种红外目标检测器的安全性测试方法。通过设计特定的对抗图案，并将这个图案在物理世界的红外热成像中呈现出来，最后成功地对红外目标检测系统进行了物理攻击。而通过对红外目标识别系统的物理攻击研究，对于进一步提高红外目标检测系统的安全性有着较大的意义。

图1示出根据本公开实施例的红外目标检测器的安全性测试方法的流程图，如图1所示，所述方法包括：

步骤S1，基于发热部件的红外图像，构造数字对抗补丁，所述数字对抗补丁包括多个发热部件的红外图像对应的拟合函数；

步骤S2，将加入所述数字对抗补丁的红外样本图像输入红外目标检测器，通过所述红外目标检测器对所述数字对抗补丁进行优化，得到优化后的数字对抗补丁，所述红外目标检测器用于检测红外图像中的目标；

步骤S3，根据所述优化后的数字对抗补丁，调整物理对抗补丁中所述发热部件；其中，所述物理对抗补丁为包括多个发热部件的物理载体，调整后的所述物理对抗补丁用于对红外目标检测器的安全性进行测试。

在一种可能的实现方式中，红外目标检测器是可以通过红外成像技术检测目标对象的设备或系统，例如，是可以拍摄红外图像、基于AI技术对拍摄的红外图像进行目标对象识别的设备。

在一种可能的实现方式中，所述发热部件为可以发热的一个或多个电子元器件，其中，电子元器件可以将电能转换为热能，例如灯泡、电阻、二极管、三极管等电子元器件，本公开不做限定。

在一种可能的实现方式中，每个发热部件的温度能够调节。例如，发热部件可以是电子元器件，各个发热部件可以通过调节电压与电流来调节各自的温度。

在一种可能的实现方式中，在步骤S1中，可以通过红外热像仪拍摄发热部件的红外图像，红外图像中各个像素点的像素值对应着该像素点的温度值，并且由于红外热像仪自带校准功能，红外热像仪在不同拍摄位置拍摄的发热部件的红外图像，发热部件的相同像素点的温度不随拍摄位置的变化而变化。

通过对多个发热部件的红外图像进行数据拟合，可以得到多个发热部件的红外图像对应的拟合函数，该拟合函数就是构造的数字对抗补丁，可以描述多个发热部件的红外图像。

其中，多个发热部件的红外图像可以是多个小灯泡的红外图像，即多个圆形光点图案；还可以是多个方形电阻片的红外图像，即多个方形光点图案，本公开对多个发热部件的形状，数量，以及相对位置不做限定。

在一种可能的实现方式中，在步骤S2中，在优化过程中，可以先构造红外样本图像集，该红外样本图像集包括多个红外样本图像，每个红外样本图像包括一个或多个红外目标检测器可以检测到的目标。例如，目标可以是行人，红外样本图像可以为包括一个或多个行人的红外图像。

然后，将步骤S1构造的数字对抗补丁加入红外样本图像集，可以将数字对抗样本粘贴到各个红外样本图像的目标对象上。利用红外样本图像集中的各张图像，对数字对抗补丁迭代优化。优化的目标是使粘贴了数字对抗补丁的红外样本图像，输入至红外目标检测器使该检测器检测不到目标对象，获得错误的检测结果。通过红外目标检测器对数字对抗补丁进行优化，可以得到优化后的数字对抗补丁。

其中，上述优化过程可以由终端设备或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端等。其它处理设备可为服务器或云端服务器等。在一些可能的实现方式中，对数字对抗补丁的优化方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

在一种可能的实现方式中，在步骤S3中，根据优化后的数字对抗补丁，可以获得优化后多个发热部件的信息(例如包括位置参数、温度参数等)，通过数字对抗补丁的位置参数可以调整物理对抗补丁中所述发热部件的实际物理位置，得到调整后目标状态的物理对抗补丁。调整后的物理对抗补丁可以用于对红外目标检测器的安全性进行测试。待检测目标通过使用调整后的物理对抗补丁，使安全性较低的红外目标检测器不能检测到该目标，而安全性较高的红外目标检测器仍有一定的检测成功率。

通过根据优化后的数字对抗补丁，调整物理对抗补丁中发热部件的方式，所获得的物理对抗补丁在红外热像仪中呈现的图案和优化后的数字对抗补丁一致。通过这种方式可以克服相关技术中，由于N×N个热源相互干扰，导致N×N像素的补丁在红外热成像领域难以物理实现的问题。

其中，所述物理对抗补丁为包括多个发热部件的物理载体，并且所述物理对抗补丁能够调整每个发热部件的物理位置，或者也可以调整每个发热部件的热辐射，例如使用磁铁等可移动的固定方式，可以根据不同的场景进行发热部件的位置调整；还可以通过控制每个发热部件的功率的方式，调整各发热部件的热辐射情况。从而使整物理对抗补丁在红外热像仪所拍摄的图像可以与优化后的数字对抗补丁一致。

在一种可能实现的方式中，基于发热部件的红外图像，构造数字对抗补丁，包括：

获取一个或多个发热部件的红外图像，对所述红外图像进行拟合，得到各发热部件对应的拟合函数。对物理载体上所有发热部件对应的拟合函数的参数进行初始化；将初始化后的各拟合函数进行叠加，构造出所述数字对抗补丁。

举例来说，假设发热部件的红外图像为多个相同发热部件的红外图像。

可以是相同规格工作状态也相同的多个发热部件，例如，相同规格的灯泡在工作电压也相同的情况下被拍摄的红外图像，由于每个灯泡的大小和亮度相同，因此拍摄的红外图像中会包括多个相同的圆形光点图案。

或者可以是相同规格而工作状态不同的多个发热部件，例如，相同规格的灯泡在工作电压不同的情况下被拍摄的红外图像，由于工作电压越高的灯泡亮度也越亮，每个灯泡的亮度各不相同，因此拍摄的红外图像中会包括多个大小和明暗度不同的圆形光点图案；

在上述两种情况下，对红外图像进行拟合，可以先对一个发热部件的红外图像进行拟合，获取该发热部件的拟合函数；其中，拟合函数可以包括位置参数和特征参数。

通过调整位置参数，可以调整该发热部件在红外图像中的位置，例如，对于单个灯泡对应的拟合函数，通过调整位置参数，可以调整红外图像中圆形光点的位置。

通过调整特征参数，可以调整该发热部件在红外图像中的大小或热辐射对比度，例如，对于单个灯泡对应的拟合函数，通过调整特征参数，可以调整红外图像中圆形光点的大小及亮暗对比度。

然后，利用该发热部件的拟合函数，可以对其他发热部件的红外图像进行拟合，如果其他发热部件的工作状态与该发热部件的工作状态一样，可以在该拟合函数特征参数不变的情况下，对其设置不同的位置参数，得到其他发热部件的拟合函数。如果其他发热部件的工作状态与该发热部件的工作状态不一样，可以通过对该拟合函数设置不同的位置参数以及不同的特征参数，得到其他发热部件的拟合函数。

对物理载体上所有发热部件对应的拟合函数的参数进行初始化，就是确定上述多个发热部件的拟合函数的初始参数值，例如初始的位置参数值和/或初始的特征参数值。可以通过随机初始化的方式确定初始参数值。

将上述多个发热部件经过初始化后的拟合函数进行叠加，可以得到多个发热部件的拟合函数，即构造出数字对抗补丁。

其中，如果多个特征参数相同而位置参数不同的拟合函数相加，对应存在多个相同图案的红外图像。例如，发热部件为灯泡，对应存在多个相同圆形光点的红外图像。如果多个特征参数不同，并且位置参数也不同的拟合函数相加，对应存在多个相似图案的红外图像。例如，发热部件为灯泡，对应存在多个不同大小或亮暗对比度的圆形光点的红外图像。

举例来说，假设发热部件的红外图像为多个不相同发热部件的红外图像。

可以是不同规格，并且工作状态也不同的发热部件，例如，多个不同型号的灯泡以及多个不同大小的方形电热板被拍摄的红外图像，由于每个灯泡以及每个方形电热板的大小、形状和辐射的热度各不相同，因此拍摄的红外图像中会包括多个不同形状、不同大小、以及不同亮暗对比度的图案。

可以分别获取每一个发热部件的红外图像，对每一个红外图像分别进行拟合，得到每一个发热部件对应的拟合函数。

其中，根据不同发热部件所呈现红外图像的特征不同，可以采用不同的数据拟合的方式，例如，可以采用高斯函数拟合，最小二乘拟合，本公开对应数据拟合方式不做限定。其中，得到的各发热部件对应的拟合函数，包括位置参数和特征参数。

各拟合函数的输出可以用来描述各个发热部件的红外图像，并且通过调整各拟合函数的参数，可以调整各拟合函数所呈现的红外图像，例如，调整位置参数，可以调整所呈现的红外图像中发热部件的位置变化；调整特征参数，可以调整发热区域大小或热辐射亮暗对比度等。

对物理载体上所有发热部件对应的拟合函数的参数进行初始化，可以通过随机初始化的方式，确定各个发热部件的拟合函数的位置参数和/或特征参数的值。

将上述各个发热部件经过初始化后的拟合函数进行叠加，可以得到多个发热部件的拟合函数，构造出数字对抗补丁。

上述基于发热部件的红外图像，构造数字对抗补丁的方法，可以通过调整拟合函数的参数，调整物理载体上所有发热部件对应的红外图像的图案，有利于在后续对数字对抗补丁的优化过程中减少计算量，提高计算效率。

在一种可能实现的方式中，通过所述红外目标检测器对所述数字对抗补丁进行优化，包括：通过优化来调整数字对抗补丁中各拟合函数的参数，使得加入所述数字对抗补丁的红外样本图像输入红外目标检测器后，得到的检测结果劣化。

举例来说，对于红外样本图像，红外目标检测器可以准确检测到红外样本图像中的目标对象，输出准确的目标检测结果；而对于加入了数字对抗补丁的红外样本图像，红外目标检测器可能会检测不准确或者检测不到目标对象，输出不准确甚至错误的目标检测结果。

红外目标检测器对数字对抗补丁进行优化，就是迭代的调整数字对抗补丁，使得红外目标检测器对加入了数字对抗补丁的红外样本图像，计算出的检测结果劣化。

其中，可以通过调整拟合函数的参数，来调整数字对抗补丁，即对应包括多个发热部件红外图像的图案。例如，调整各拟合函数的位置参数，可以调整红外图像中个发热部件的位置；调整各拟合函数的特征参数，可以调整红外图像中个发热部件的大小或亮暗对比度。

为了提高优化效率，便于后续物理对抗补丁的获得，可以在优化的过程中，不调整数字对抗补丁中各拟合函数的特征参数，而是调整各拟合函数的位置参数，使得加入数字对抗补丁的红外样本图像输入红外目标检测器后，得到的检测结果劣化。

在优化过程中，通过调整拟合函数的参数，可以调整物理载体上所有发热部件对应的红外图像的图案。通过对该拟合函数的参数优化，代替对数字对抗补丁对应的红外图像中每个像素点的优化，大大减少优化过程中优化的数据量，提高了计算效率。

在一种可能实现的方式中，红外目标检测器的检测结果包括目标存在的置信度、特定类别的置信度、预测的检测框坐标中的一种或多种。

举例来说，红外样本图像经过红外目标检测器，输出的检测结果可以包括目标存在的置信度，特定类别的置信度，预测的检测框坐标的一种或多种。其中，目标存在的置信度表示目标存在的概率，特定类别的置信度表示特定类别的目标存在的概率，预测的检测框坐标表示目标所在区域的位置。

如果想要做到隐身攻击，使红外目标检测器识别不到目标对象，就需要使得目标存在的置信度，特定类别的置信度，预测的检测框坐标的一种或多种尽可能地降低。

在一种可能实现的方式中，通过所述红外目标检测器对所述数字对抗补丁进行优化，包括：基于损失函数，对所述数字对抗补丁进行优化，其中，损失函数包括表示红外目标检测器的检测结果的函数以及表示数字对抗补丁的图像平滑度的函数。

举例来说，损失函数的函数值越小，加入数字对抗补丁的红外样本图像输入红外目标检测器，得到的检测结果错误的概率越大，且数字对抗补丁的图像平滑度越高。可以将减小损失函数的函数值作为目标，迭代地对所述数字对抗补丁的待调整参数进行调整，直至优化结束，得到优化后的数字对抗补丁。

其中，损失函数可以包括表示红外目标检测器的检测结果的函数，以及表示数字对抗补丁的图像平滑度的函数这两个函数项的加权和构成。因此，损失函数可以指示红外目标检测器对加入了数字对抗补丁的样本图像中待检测目标存在的置信度，以及指示数字对抗补丁引入噪声情况的图像平滑度。其中，在将数值对抗补丁加入样本图像的过程中，引入的噪声越大，图像越不平滑。图像平滑度函数是用来衡量图像中突变或者噪声程度的函数，可以是判断相邻或相近像素中两个或多个像素的相似度的函数，本公开对具体的可以代表图像平滑度的函数不做限定。在损失函数中引入图像平滑度函数项，可使得优化得到的数字对抗补丁引入的噪声更少。

在一种可能实现的方式中,根据所述优化后的数字对抗补丁，调整物理对抗补丁中所述发热部件，包括：根据所述优化后的数字对抗补丁中各拟合函数的位置参数，调整物理对抗补丁中所述发热部件的物理位置。

举例来说，根据优化后的数字对抗补丁，可以调整物理对抗补丁中多个发热部件的物理位置，得到调整后目标状态的物理对抗补丁。物理对抗补丁可以为包括多个位置可以移动的发热部件的物理载体。假设发热部件为圆形部件，根据优化后的数字对抗补丁中各拟合函数的位置参数(中心点坐标)，可以调整物理对抗补丁中圆形发热部件的物理位置，例如使圆形发热部件在物理载体上的中心点坐标与该部件对应的拟合函数的中心点坐标一致。假设发热部件为正方形部件，根据优化后的数字对抗补丁中各拟合函数的位置参数(中心点坐标及旋转角度)，可以调整物理对抗补丁中正方形发热部件的物理位置(例如调整中心点坐标和旋转角度与拟合函数的位置参数一致)。

图2示出根据本公开实施例的红外目标检测器的安全性测试方法的应用示意图，如图2所示，发热部件为灯泡，物理对抗补丁为包括多个灯泡的物理对抗板子，待检测目标为行人，红外目标检测器为红外行人检测器。

在一种可能实现的方式中，发热部件的红外图像对应的拟合函数，包括根据发热部件的红外图像拟合生成的高斯函数。例如，灯泡的热成像图案可以用二维高斯函数来近似，可以根据灯泡的红外图像拟合生成对应的高斯函数。

图3示出根据本公开实施例的单个灯泡的红外图像的示意图，即通过红外热像仪拍摄的单个灯泡的红外图像。图3右侧所示的亮暗对比条最亮处对应的温度为39.7度，最暗处对应的温度为29.0度，图中每个像素点的亮暗度对应着该像素点的温度值。由于单个灯泡的红外图像呈现为圆形亮点，即中心最亮，呈圆形向四周辐射逐渐变暗的图像特点，可以选取通过中心点的多条直线(例如4条)作为待拟合的测量数据。通过使用红外热像仪自带的工具软件导出红外图像中测量数据对应的各像素点的温度值。

图4示出根据本公开实施例的高斯函数拟合的示意图，如图4所示，图中横坐标代表测量数据(即通过图3中心点的多条直线)的各像素点，图中纵坐标代表测量数据各像素点的温度值，通过使用高斯函数对测量数据的温度值进行拟合，高斯拟合曲线和测量数据接近重合，拟合效果良好，高斯拟合曲线和测量数据的均方根误差(Root Mean SquaredError，RMSE)为0.1511。其中，高斯函数的幅度放大系数为10.62，标准差为70.07。

进一步，由于红外热像仪自带校准功能，红外热像仪在不同拍摄位置拍摄的灯泡的红外图像，相同像素点的温度不随拍摄位置的变化而变化。如果通过红外热像仪对包括多个灯泡的物理板拍摄，获得的红外图像可以包括多个符合二维高斯函数的光点。

因此，可以构建一种基于高斯函数的数字对抗补丁。该数字对抗补丁的图案是由多个符合二维高斯函数的光点(即灯泡的红外图像)叠加而成。图5示出根据本公开实施例的数字对抗补丁的示意图，图中包括了多个光点。每一个符合二维高斯函数的光点可以由四个参数来描述，分别是幅度放大系数，标准差，x坐标和y坐标组成。其中，幅度放大系数和标准差可以通过对灯泡实际的红外图像进行数据拟合来确定，例如，通过图4确定的幅度放大系数10.62，标准差为70.07；x坐标和y坐标代表每一个光点的位置，可以作为优化的对象。通过改变每个光点的位置，整个数字对抗补丁的图案也随之得到调整。

举例来说，如图5所示，数字对抗补丁的图案可以是由M个(M＝22)符合上述高斯分布的灯泡的红外图像叠加而成的，其中，第i(i＝1,2,…,M)个灯泡的符合高斯分布的红外图像的中心点坐标为

假设整个数字对抗补丁图像的高度为h,宽度为w，单个像素的坐标为(x,y)，其中x∈[0,w),y∈[0,h)，可以通过高斯函数公式(1)表示，第i个灯泡的红外图像中各个像素(x,y)符合位置参数为

M个符合高斯分布的灯泡的红外图像合成之后的分布为P

其中，数字对抗补丁P

其中，可以通过公式(4)来表示第i个灯泡符合高斯分布的红外图像G

通过对多个灯泡的红外图像进行高斯函数拟合，获得多个灯泡的红外图像的拟合函数，即数字对抗补丁P

其中，该拟合函数P

在一种可能实现的方式中，对所有发热部件对应的拟合函数P

在一种可能实现的方式中，通过如图2所示的优化流程对数字对抗补丁优化，得到优化后的数字对抗补丁。

如图2所示，选定一个用于优化的红外行人的数据集，例如FLIR_ADAS红外数据集，该数据集可包括多个红外图像数据，其中红外图像中包括行人。根据行人的标注框，将初始化的数字对抗补丁粘贴至行人的上半身位置。数字对抗补丁的尺寸可以根据标注框的尺寸进行调整，使其保持合适的比例，例如，数字对抗补丁的大小是行人标注框大小的1/5。在粘贴数字对抗补丁的过程中，可以考虑数字对抗补丁可能受到的多种扰动，例如可对数字对抗补丁进行旋转(顺时针或逆时针20度以内)，平移，噪声，亮度和对比度变化等，这些干扰也对应于现实世界中物体的扰动，通过这种方式可以使得数字对抗补丁的鲁棒性得到增强，更有利于物理实现。

接下来，将加入了数字对抗补丁的数据集作为红外行人检测器的输入。红外行人检测器可以是单个的模型，例如YOLOv3、Faster-RCNN等，也可以是集成的模型，将多个模型集成为一个新的模型。图片经过红外行人检测器，会输出目标存在的置信度，表示目标(例如行人)存在的概率，特定类别的置信度，表示特定类别的目标(例如行人类别)存在的概率，还有预测的检测框坐标，表示目标所在区域的位置。

举例来说，假设原始的输入样本图像为x，扰动为δ，由于使用的方法是将数字对抗补丁粘贴至样本图像x中行人的上半身位置，因此扰动可以影响原始的输入样本图像x中的部分图像，加入了数字对抗补丁的图像可以表示为

红外行人检测器可以表示为f(x,θ)，其中f表示模型，可以是单个的模型，例如YOLOv3、Faster-RCNN等，也可以是集成的模型，即将多个单个模型集成为一个新的模型；θ表示模型的参数，x表示红外行人检测器f(x,θ)的输入图像，可以是原始的输入样本图像x，也可以是加入了数字对抗补丁的样本图像

加入了数字对抗补丁的样本图像

为了做到隐身攻击，可以使红外行人检测器

为了在物理世界中攻击红外行人检测器，对应于物理世界中物体的扰动，可以考虑对数字对抗补丁进行各种图像转换，例如平移、旋转、比例缩放，噪声，亮度和对比度变化等。并且，由于行人类别的类内变化较大，类内的行人有各种姿态，例如坐着的，站着的等。为了得到一个针对不同行人的通用攻击，对数据集中各个加入了数字对抗补丁的样本图像

其中，N表示数据集中样本图像的个数，

需要说明的是，上述使红外行人检测器

因此，可以根据使红外行人检测器

在一种可能实现的方式中，在红外行人检测器为单个模型(例如YOLOv3、Faster-RCNN等)的情况下，损失函数可以表示为：

L＝L

其中，L

其中，λ表示L

其中，L

在一种可能实现的方式中，对于集成攻击，也就是存在多个红外行人检测器的情况下，为了使每一个红外行人检测器的目标存在的置信度都尽可能降低，可以对各个红外行人检测器的目标存在的置信度求和，得到集成攻击的损失函数，可以表示为：

在公式(10)中，M表示有M个红外行人检测器，第i个红外行人检测器的目标存在的置信度是

需要说明的是，上述使红外行人检测器

在一种可能实现的方式中，可以借助反向传播算法更新数字对抗补丁，使损失函数的输出结果变小(红外目标检测器的结果劣化)，即，可以优化数字对抗补丁的m个灯泡的红外图像图中呈现的光点的中心点坐标(位置坐标)，使得更新之后的数字对抗补丁能有更好的攻击效果。当优化过程趋于收敛的情况下，可以获得优化后的数字对抗补丁。

在一种可能的实现方式中，图6示出根据本公开实施例的物理对抗补丁的示意图，如图6所示，物理对抗补丁可以是包括多个灯泡的物理载体(例如纸板、木板、塑料板等)，图6左侧的图片是物理对抗补丁的正面，包括多个可以调整位置的灯泡，图6右侧的图片是物理对抗补丁的背面，包括电源、开关和电位器等电子元器件。通过这种方式，可以使灯泡的亮度可以比较好的反映其温度，亮度越高，温度也越高。

在一种可能的实现方式中，图7示出根据本公开实施例的物理对抗补丁电路的原理图，如图7所示，物理对抗补丁可以有多个灯泡Lamp1，每个灯泡都配有独立的供电模块BT1，开关SPST和电位器R1。

如图7所示，可以使用多分支并联电路，在各分支电路并联电路中，每个灯泡都配有独立的开关和电位器，可以保证灯泡之间互不影响。其中，电位器可以调整小灯泡的亮度，电源可以采用电压为4.5V的直流电源，通过调节滑动电阻器分压使每个灯泡的额定电压为3.8V，物理对抗补丁上整个电路的总功率不超过22瓦特。

在一种可能的实现方式中，为了使灯泡的位置可以调整，可以在灯泡一侧和板子的另一侧分别装有一块小的磁铁，两块磁铁互相吸引，既能起到固定作用，也能起到调整位置的作用。因此板子上多个灯泡组成的图案是可以根据需要进行调整。根据优化后的数字对抗补丁对灯泡的位置进行调整，使物理世界中的小灯泡的红外热图与优化后的数字对抗补丁的图案保持一致。

在一种可能的实现方式中，在数字对抗补丁的图案优化完成之后，本公开将其在红外行人数据集(例如，FLIR行人测试集)进行测试。采用如图2所示优化流程中相同的补丁粘贴方式，将优化之后的补丁(即优化后的数字对抗补丁)贴在行人的合适位置。然后将添加了补丁之后的样本图像输入到红外行人检测器中，获得输出结果。与干净图像输入到红外行人检测器中的输出作为基准，评估所述方法攻击的攻击效果。并且，还设置了对比组试验，通过将添加了随机噪声补丁和添加了空白图像(例如，图像中每个像素点的值均为0.75)补丁的测试集图像输入到行人检测器中的输出作为对比，评估补丁攻击的攻击效果。其中，可以采用IOU(Intersection Over Union)测量标准来评价检测的准确性。

在数字世界中，经过实验，如图2所示方法获得的数字对抗补丁可以使得基于YOLOv3的红外行人检测器的平均准确率(AP)下降64.12％，与之对比的是，同样尺寸的随机噪声补丁和空白补丁仅使得同样检测器的平均准确率分别下降了25.05％和29.69％。

在一种可能的实现方式中，图8示出根据本公开实施例的物理对抗补丁攻击效果的示意图，如图8所示，在物理世界中，可以设计了对比实验，一组实验中志愿者手持根据优化后的数字对抗补丁调整了灯泡位置制的物理板(即物理对抗补丁)，该物理板的大小可以为35cm×35cm，另一组实验中志愿者手持同样大小的空白板子，第三组实验中志愿者不持有任何东西。在三组实验中，志愿者以相同的姿态，走相同的路线，将分别拍摄的红外视频逐帧输入到行人检测器当中，并评估攻击效果。

其中，拍摄红外图像的设备采用HTI-301红外热像仪(焦平面阵列FPA 384×288，噪声等效温差NETD<60mK)，拍摄视频的位置距离拍摄目标3～15米，拍摄角度从左45度到右45度。为了量化物理攻击方法的效果，共录制了20个不同场景的视频(10个室内场景视频，10个室外场景视频)，每个视频长度约5～10秒，每秒包括20帧图片。

如图8所示，持有多个灯泡物理板(物理对抗补丁)的人，没有被红外行人检测器检测到，而持有空白板子或者不持有任何设备的人，被红外行人检测器识别了出来。通过上述对比实验，可以使得红外行人检测器的平均准确率下降34.48％，与之相对比的是，同样大小的空白板子仅仅使得平均准确率下降了14.91％。

由此证明了本发明设计的物理对抗补丁可以有效攻破红外行人检测系统。更进一步地，当采用了多模型的集成攻击技术之后，本发明设计的物理对抗补丁可以攻击未知的红外行人检测器，达到黑盒攻击的效果。同时本发明设计的基于小灯泡的物理对抗板子，单个制造成本不超过30元，具有低成本、便于大规模生产的优势。通过本申请实施例的物理对抗补丁及相应的方法，可对红外行人检测器的安全性进行测试，使得通过测试的红外行人检测器具有更高的抗攻击性能。

需要说明的是，尽管以包含多个灯泡的物理板作为示例介绍物理对抗补丁如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定物理对抗补丁中发热部件，只要发热部件的红外热图可以通过拟合函数表达即可。

本公开还提供了一种红外目标检测器的安全性测试装置，所述装置包括物理载体，和承载在所述物理载体上的发热部件；所述发热部件在所述物理载体上的位置能够调节。

举例来说，通过使用包括多个发热部件的物理载体的装置，可以对红外目标检测器的安全性进行测试。将使用该装置(包括多个发热部件的物理载体)的目标输入红外目标检测器，通过判断该红外目标检测器是否可以检测到目标，确定红外目标检测器的安全性能。如果红外目标检测器可以检测到目标，说明该红外目标检测器是安全的；如果红外目标检测器不能检测到目标，说明该红外目标检测器是不安全的。

其中，发热部件在所述物理载体上的位置能够调节，例如，可以使用磁铁等可移动的固定方式，根据不同的场景进行发热部件的位置调整。在一种可能的实现方式中，每个发热部件的温度能够调节。

在一种可能的实现方式中，所述装置用于根据上文所述的方法，对红外目标检测器的安全性进行测试。

图9是根据一示例性实施例示出的一种计算装置1900的框图。例如，装置1900可以被提供为一服务器或终端设备。参照图9，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。