提高针对“对抗示例”的鲁棒性的设备和方法

本发明涉及一种用于评估平滑分类器的鲁棒性的方法、一种用于评估平滑分类器的总体鲁棒性的方法、一种用于训练平滑分类器的方法、一种用于操作平滑分类器的方法、一种用于提供致动器控制信号的方法、一种计算机程序和一种机器可读存储介质。

现有技术

在例如像高度自动化驾驶之类的安全关键的应用中，重要的是取决于选择系统的哪些进一步动作对输入信号的分类和/或语义分割是正确的。

然而，众所周知，在没有适当的对策的情况下，例如像神经网络分类系统之类的分类器可以容易地被愚弄。众所周知，可以基于深度学习的分类器可能对小扰动敏感。为了在物理世界中部署此类系统，提供关于系统鲁棒性的证明是重要的。

“Certified Robustness to Adversarial Examples with DifferentialPrivacy”（arXiv预印本arXiv：1802.03471v3，2018，Mathias Lecuyer，VaggelisAtlidakis，Roxana Geambasu，Daniel Hsu， Suman Jana）和“Second-Order AdversarialAttack and Certifiable Robustness”（arXiv预印本arXiv：1809.03113v1，2018，Bai Li，Changyou Chen，Wenlin Wang，Lawrence Carin）公开了一种随机化技术，用于创建基于给定的分类器

本发明的优点

平滑分类器

其中

为了确保所述平滑分类器

发明内容

因此，在第一方面中，本发明涉及一种用于评估平滑分类器（

-取决于所述传感器信号确定输入信号

-由平滑分类器（

-由平滑分类器（g）确定第二值（

-依据所述第一值（

然后可以判定，当且仅当所述鲁棒性值

例如，所述预定义阈值可以由表征所述传感器信号中噪声的量给出。

在优选实施例中，所述鲁棒性值

如果它被选择等于

则界限是紧的。该界限实质上更大，并且因此比先前已知的界限更有用。用数学术语来说，

通过蒙特卡罗估计可以获得良好的近似以构造界限

在估计

一种方式是两步过程。首先，使用来自

在本发明的另外方面中，可能的是将以上方法应用于包括多个测试输入信号（

然后可以判定，当且仅当所述总体鲁棒性值

替代地，然后，可能的是基于所述鲁棒性值（

在本发明的另外方面中，可以设想使用平滑分类器（

在本发明的仍另外方面中，可能的是在所述平滑分类器的操作期间使用相对大小进行训练。可以设想操作所述平滑分类器（

在本发明的另一仍另外方面中，可能的是，通过使用以上方法确定当提供有所述输入信号（x）时所述平滑分类器（

在本发明的另一仍另外方面中，可能的是通过以下各项将所述鲁棒性值

自然地，以上方法在应用方面不限于自动化驾驶。在其他应用中，可以设想使所述致动器控制至少部分自主的机器人（100）和/或制造机器（200））和/或访问控制系统（300）。

将参考以下各图更详细地讨论本发明的实施例。各图示出了：

图1 具有分类器的控制系统，该控制系统控制其环境中的致动器；

图2 控制至少部分自主的机器人的控制系统；

图3 控制制造机器的控制系统；

图4 控制自动化个人助理的控制系统；

图5 控制访问控制系统的控制系统；

图6 控制监督系统的控制系统；

图7 控制成像系统的控制系统；

图8 所述分类器的结构的实施例；

图9 用于确定鲁棒性值

图10 用于确定鲁棒性值

图11 用于确定分类器是否鲁棒的方法的流程图；

图12 图示用于确定分类器60是否总体鲁棒的方法的流程图；

图13 用于图示用于确定输入信号x在测试集中是否被很好地表示的方法的流程图；

图14 图示用于操作分类器60的另一种方法的流程图；

图15 图示用于操作分类器60的另一种方法的流程图；

图16 图示用于操作分类器60的另一种方法的流程图；

图17 图示用于提供致动器控制信号A的方法的流程图。

实施例的描述

图1中示出的是在其环境20中的致动器10的一个实施例。致动器10与控制系统40交互。致动器10及其环境20将被统称为致动器系统。优选地，在均匀间隔的距离处，传感器30感测致动器系统的状况。传感器30可以包括几个传感器。优选地，传感器30是拍摄环境20的图像的光学传感器。传感器30的输出信号S（或者，在传感器30包括多个传感器的情况下，每个传感器的输出信号S）被传输到控制系统40，该输出信号S对感测到的状况进行编码。

因此，控制系统40接收传感器信号S的流。然后，它取决于传感器信号S的流计算一系列致动器控制命令A，该系列致动器控制命令A然后被传输到致动器10。

控制系统40在可选的接收单元50中接收传感器30的传感器信号S的流。接收单元50将传感器信号S变换成输入信号x。替代地，在没有接收单元50的情况下，每个传感器信号S可以直接取作输入信号x。输入信号x可以例如作为来自传感器信号S的摘录给出。替代地，传感器信号S可以被处理以产生输入信号x。输入信号x包括对应于由传感器30记录的图像的图像数据。换句话说，根据传感器信号S提供输入信号x。

输入信号x然后被传递到分类器60，该分类器60例如可以由人工神经网络给出。

分类器60由参数

分类器60根据输入信号x确定输出信号y。输出信号y包括顶部类

致动器10接收致动器控制命令A，被相应地控制，并实行对应于致动器控制命令A的动作。致动器10可以包括控制逻辑，该控制逻辑将致动器控制命令A变换成另外的控制命令，该另外的控制命令然后被用于控制致动器10。

在另外的实施例中，控制系统40可以包括传感器30。在甚至另外的实施例中，控制系统40替代地或附加地可以包括致动器10。

在仍另外的实施例中，可以设想控制系统40控制显示器10a而不是致动器10。

此外，控制系统40可以包括处理器45（或多个处理器）和其上存储指令的至少一个机器可读存储介质46，所述指令如果被实行，则使得控制系统40实行根据本发明一个方面的方法。

图2示出了实施例，其中控制系统40用于控制至少部分自主的机器人，例如至少部分自主的车辆100。

传感器30可以包括一个或多个视频传感器和/或一个或多个雷达传感器和/或一个或多个超声波传感器和/或一个或多个LiDAR传感器和/或一个或多个位置传感器（例如像GPS）。这些传感器中的一些或全部优选但不一定集成在车辆100中。替代地或附加地，传感器30可以包括用于确定致动器系统状态的信息系统。这样的信息系统的一个示例是确定环境20中天气的当前或未来状态的天气信息系统。

例如，使用输入信号x，分类器60可以例如检测至少部分自主的机器人附近的对象。输出信号y可以包括表征对象位于至少部分自主的机器人附近何处的信息。然后可以根据该信息确定控制命令A，例如避免与所述检测到的对象碰撞。

优选集成在车辆100中的致动器10可以由车辆100的制动器、推进系统、发动机、动力传动系或转向装置给出。可以确定致动器控制命令A，使得致动器（或多个致动器）10被控制，使得车辆100避免与所述检测到的对象碰撞。检测到的对象也可以根据分类器60认为它们最有可能是什么——例如行人或树木——来分类，并且可以取决于分类来确定致动器控制命令A。

在另外的实施例中，至少部分自主的机器人可以由另一个移动机器人（未示出）给出，该另一个移动机器人（未示出）可以例如通过飞行、游泳、潜水或步行来移动。移动机器人尤其可以是至少部分自主的割草机，或者至少部分自主的清洁机器人。在所有以上实施例中，可以确定致动器命令控制A，使得移动机器人的推进单元和/或转向装置和/或制动器被控制，使得移动机器人可以避免与所述标识的对象碰撞。

在另外的实施例中，至少部分自主的机器人可以由园艺机器人（未示出）给出，该园艺机器人（未示出）使用传感器30、优选光学传感器来确定环境20中植物的状态。致动器10可以是用于喷洒化学物质的喷嘴。取决于植物的标识的种类和/或标识的状态，可以确定致动器控制命令A，以使得致动器10向植物喷洒合适量的合适的化学物质。

在甚至另外的实施例中，至少部分自主的机器人可以由家用电器（未示出）给出，该家用电器（未示出）例如像洗衣机、炉子、烤箱、微波炉或洗碗机。传感器30、例如光学传感器可以检测将经历由家庭电器处理的对象的状态。例如，在家用电器是洗衣机的情况下，传感器30可以检测洗衣机内部衣物的状态。然后可以取决于检测到的衣物材质来确定致动器控制信号A。

图3中示出的是一实施例，其中控制系统40用于控制制造系统200的制造机器11（例如冲压刀具、刀具或枪钻），例如作为生产线的一部分。控制系统40控制致动器10，该致动器10进而控制制造机器11。

传感器30可以由光学传感器给出，该光学传感器捕获例如制造产品12的特性。分类器60可以根据这些捕获的特性来确定制造产品12的状态。然后，控制制造机器11的致动器10可以取决于制造产品12的所确定状态而被控制，用于制造产品12的后续制造步骤。或者，可以设想，在后续制造产品12的制造期间，致动器10取决于制造产品12的所确定状态而被控制。

图4中示出的是其中控制系统40用于控制自动化个人助理250的实施例。传感器30可以是光学传感器，例如用于接收用户249的手势的视频图像。替代地，传感器30也可以是音频传感器，例如用于接收用户249的语音命令。

控制系统40然后确定用于控制自动化个人助理250的致动器控制命令A。致动器控制命令A根据来自传感器30的传感器信号S而被确定。传感器信号S被传输到控制系统40。例如，分类器60可以被配置为例如实行手势识别算法来标识用户249做出的手势。控制系统40然后可以确定致动器控制命令A，以供传输到自动化个人助理250。然后，它将所述致动器控制命令A传输到自动化个人助理250。

例如，可以根据由分类器60识别的所标识的用户手势来确定致动器控制命令A。然后，它可以包括如下信息，所述信息使得自动化个人助理250从数据库检索信息并以适合于用户249接收的形式输出该检索信息。

在另外的实施例中，可以设想，代替于自动化个人助理250，控制系统40控制根据所标识的用户手势控制的家用电器（未示出）。家用电器可以是洗衣机、炉子、烤箱、微波炉或洗碗机。

图5中示出的是其中控制系统控制访问控制系统300的实施例。访问控制系统可以被设计成物理控制访问。例如，它可以包括门401。传感器30被配置为检测与判定是否准许访问相关的场景。例如，它可以是用于提供图像或视频数据、用于检测人的面部的光学传感器。分类器60可以被配置为例如通过将身份与存储在数据库中的已知人进行匹配来解释该图像或视频数据，从而确定人的身份。然后，取决于分类器60的解释，例如根据所确定的身份，可以确定致动器控制信号A。致动器10可以是锁，该锁取决于致动器控制信号A准许访问或不准许访问。非物理的、逻辑的访问控制也是可能的。

图6中示出的是其中控制系统40控制监督系统400的实施例。该实施例在很大程度上与图5中所示的实施例等同。因此，将仅详细描述不同的方面。传感器30被配置为检测被监督的场景。控制系统不一定控制致动器10，而是控制显示器10a。例如，机器学习系统60可以确定场景的分类，例如由光学传感器30检测到的场景是否可疑。传输到显示器10a的致动器控制信号A然后可以例如被配置为使得显示器10a取决于所确定的分类来调整所显示的内容，例如高亮显示被机器学习系统60认为可疑的对象。

图7中示出的是用于控制例如MRI装置、x光成像装置或超声波成像装置之类的成像系统500的控制系统40的实施例。传感器30例如可以是成像传感器。机器学习系统60然后可以确定感测图像的全部或部分的分类。然后可以根据该分类选择致动器控制信号A，从而控制显示器10a。例如，机器学习系统60可以将感测图像的区域解释为潜在异常。在这种情况下，可以确定致动器控制信号A以使得显示器10a显示成像并高亮显示潜在异常区域。

图8示意性地图示了分类器60的一个实施例的结构。分类器60包括平滑分类器

图9中示出的是用于确定鲁棒性值

然后（902），提供预定义的第二数量的样本

接下来（903），因为具有

例如，可以使用以下公式，其中

上界

然后（905）检查是否

图10图示了用于确定顶部类

然后（912）顶部的两个类

图11中示出的是用于确定分类器60是否鲁棒的方法的实施例的流程图。首先（1100），提供从传感器信号S导出的输入信号x。输入信号x可能有噪声，因为传感器信号S可能有噪声。然后（1200），提供预定义阈值

图12中示出的是用于确定分类器60是否总体鲁棒的方法的实施例的流程图。为此，提供包括测试输入信号

图13中示出的是用于确定输入信号x在测试集

步骤（2100）和（2200）与图12中图示的方法中的步骤等同，步骤（1100）、（1200）和（1300）与图11中图示的方法中的步骤等同。在确定了鲁棒性值

如果是这种情况（2700），则输入信号x被认为在测试集中没有被很好地表示，并且因此使用测试集训练的分类器60被认为是不鲁棒的。如果不是这种情况（2800），则认为输入信号x在测试集中被很好地表示，并且因此分类器60被认为是鲁棒的。

图14中示出的是用于训练平滑分类器

然后可以根据所述参数vu确定（916）致动器控制信号（A），并且可以根据所述致动器控制信号（A）控制致动器（10）。例如，如果所述参数vu指示非易损性，则可以确定所述致动器控制信号（A）对应于正常操作模式，而如果所述参数vu指示易损性，则可以确定所述致动器控制信号（A）对应于故障安全操作模式，其例如通过降低所述致动器（10）的运动动力学。

图15中示出的是用于操作分类器60的方法的实施例的流程图。首先（4100），操作分类器60。在被提供有新的输入信号x时，使用根据权利要求9的方法来确定（4200）分类器60是否鲁棒。如果不是这种情况，则该方法结束（4500）。然而，如果是这种情况，则新的输入信号x被发送（4300）到远程服务器，在那里它可以例如被呈现给人类专家，所述远程服务器从所述人类专家接收手动分类作为目标分类。然后，从所述远程服务器接收（4400）所述目标分类，将新的输入信号（x）和接收到的目标分类的对添加到训练集，该训练集可以用于在操作恢复之前或在稍后的时间点训练分类器60。该方法然后分支回到步骤（4100）。

图16中示出的是用于操作分类器60的方法的实施例的流程图。首先（5100），操作分类器60。在被提供有新的输入信号x时，使用根据权利要求9的方法来确定（5200）分类器60是否鲁棒。如果是这种情况，则该方法结束（5400），然而，如果不是这种情况，则调整（5300）传感器30的操作参数，特别地，缩放传感器30可以放大新的输入信号x的区，对于所述区，分类器60被认为不鲁棒。

图17中示出的是用于取决于分类器60的输出信号y提供用于控制致动器10的致动器控制信号A的方法的实施例的流程图。首先（6100），操作分类器60。在被提供有新的输入信号x时，例如通过使用图9中图示的算法来确定分类器60是否鲁棒（6200）。现在根据所述评估的结果确定）致动器控制信号。如果操作器60被认为是鲁棒的（6300），则确定致动器控制信号A以使得致动器10在正常模式下操作。然而，如果不是这种情况，则确定所述致动器控制信号（A）以使得所述致动器（10）在安全模式下操作。

术语“计算机”涵盖用于处理预定义计算指令的任何设备。这些计算指令可以是以软件的形式，或可以是以硬件的形式，或还可以是以软件和硬件的混合形式。

进一步理解的是，过程不仅能完全在如所述的软件中实现。它们也可以在硬件中实现，或者以软件和硬件的混合形式实现。