掌桥专利:专业的专利平台
掌桥专利
首页

对抗样本的生成方法、装置、电子设备、介质和程序产品

文献发布时间:2023-06-19 19:28:50


对抗样本的生成方法、装置、电子设备、介质和程序产品

技术领域

本公开涉及计算机技术领域,尤其涉及自动驾驶、深度学习、对抗攻击等技术领域。具体涉及一种对抗样本的生成方法、装置、电子设备、介质和程序产品。

背景技术

对抗攻击是指通过在干净的样本上添加人类难以察觉的微小扰动来诱导模型发生错误决策的技术。其中,所生成的可导致模型发生错误决策的样本称之为对抗样本。相关技术中,为了生成对抗样本,通常是人为在干净的样本中施加扰动,以得到对抗样本。

发明内容

本公开提供了一种对抗样本的生成方法、装置、电子设备、介质和程序产品。

根据本公开的第一方面,提供了一种对抗样本的生成方法,包括:

获取第一对抗样本,所述第一对抗样本为与第一车辆中预配置的目标分类模型对应的对抗样本;

将所述第一对抗样本传输至目标显示屏进行显示,其中,所述目标显示屏为安装于第二车辆表面的显示屏,且所述第二车辆和所述目标显示屏分别位于目标拍摄装置的图像采集范围内,所述目标拍摄装置为所述第一车辆中的拍摄装置;

基于所述目标拍摄装置采集第一图像,其中,所述第一图像中包括:所述第二车辆的图像内容和所述目标显示屏的图像内容;

在将所述第一图像输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,将所述第一对抗样本确定为目标对抗样本。

根据本公开的第二方面,提供了一种对抗样本的生成装置,包括:

获取模块,用于获取第一对抗样本,所述第一对抗样本为与第一车辆中预配置的目标分类模型对应的对抗样本;

传输模块,用于将所述第一对抗样本传输至目标显示屏进行显示,其中,所述目标显示屏为安装于第二车辆表面的显示屏,且所述第二车辆和所述目标显示屏分别位于目标拍摄装置的图像采集范围内,所述目标拍摄装置为所述第一车辆中的拍摄装置;

采集模块,用于基于所述目标拍摄装置采集第一图像,其中,所述第一图像中包括:所述第二车辆的图像内容和所述目标显示屏的图像内容;

确定模块,用于在将所述第一图像输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,将所述第一对抗样本确定为目标对抗样本。

根据本公开的第三方面,提供了一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述第一方面所述的方法。

根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述第一方面所述的方法。

根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现第一方面所述的方法。

本公开实施例中,通过在第二车辆的表面安装目标显示屏,且由于第二车辆和目标显示屏分别位于目标拍摄装置的图像采集范围内,这样,可以将实时获取到的对抗样本传输至目标显示屏进行显示,然后,基于目标拍摄装置采集第一图像,并基于目标分类模型对所述第一图像进行分类,从而可以实时确定所获取的对抗样本是否可以在现实世界中攻击成功,并可以将攻击成功的对抗样本作为目标对抗样本,从而有利于提高所生成的对抗样本的质量。

附图说明

附图用于更好地理解本方案,不构成对本公开的限定。其中:

图1是本公开实施例提供的一种对抗样本的生成方法的流程图;

图2是本公开一个实施例中,第一车辆与第二车辆之间的相对位置关系示意图;

图3是本公开实施例提供的一种对抗样本的生成装置的结构示意图;

图4是本公开实施例中的获取模块的结构示意图;

图5是本公开实施例中的生成子模块的结构示意图;

图6本公开实施例提供的用于实现对抗样本的生成方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

请参见图1,图1为本公开实施例提供的一种对抗样本的生成方法,所述对抗样本的生成方法包括以下步骤:

步骤101、获取第一对抗样本,所述第一对抗样本为与第一车辆中预配置的目标分类模型对应的对抗样本;

步骤102、将所述第一对抗样本传输至目标显示屏进行显示,其中,所述目标显示屏为安装于第二车辆表面的显示屏,且所述第二车辆和所述目标显示屏分别位于目标拍摄装置的图像采集范围内,所述目标拍摄装置为所述第一车辆中的拍摄装置;

步骤103、基于所述目标拍摄装置采集第一图像,其中,所述第一图像中包括:所述第二车辆的图像内容和所述目标显示屏的图像内容;

步骤104、在将所述第一图像输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,将所述第一对抗样本确定为目标对抗样本。

其中,所述第一对抗样本可以是包括车辆图像的图片,且所述第一对抗样本中车辆的图像区域具有噪声信息,所述噪声信息可以是粘贴于车辆的图像区域中的扰动图案,所述扰动图案可以是各种类型的扰动图案,且所述扰动图案在所述车辆的图像区域中占比较小。具体地,所述第一对抗样本能够导致目标分类模型在虚拟世界中失效,即在基于所述目标分类模型对所述第一对抗样本中的车辆进行分类时,所述目标分类模型将输出错误的分类结果。

上述目标分类模型可以是预先训练得到的分类模型。且所述目标分类模型可以预先配置于所述第一车辆的实时训练系统。具体地,在所述第一车辆行驶过程中,所述目标拍摄装置可以将采集到的外界图像传输至所述目标分类模型进行识别,由所述目标分类模型对所接收到的图像中的各个道路交通元素进行分类,并可以将识别结果输出至相关控制单元,以便于控制单元基于所述识别结果确定外界驾驶环境,并基于此输出相应的控制参数对车辆进行控制,以实现自动驾驶。其中,所述道路交通元素可以是相关技术中各种类型的道路交通元素,例如,所述道路交通元素可以包括车辆、交通标识、行人等。

上述第一车辆可以直接与所述目标显示屏直接通信连接,如此,第一车辆可以基于与所述目标显示屏的通信连接、实时将所获取的第一对抗样本传输至所述目标显示屏进行显示。或者,所述第一车辆也可以通过所述第二车辆与所述目标显示屏连接,如此,所述第一车辆可以通过所述第二车辆、实时将所获取的第一对抗样本传输至所述目标显示屏进行显示。

具体地,由于上述第一对抗样本同时包括:车辆的图像内容和扰动信息的图像内容,而在验证第一对抗样本在现实世界中是否能够攻击成功时,仅需将扰动信息的图像添加至真实车辆上,因此,所述目标显示屏在接收到所述第一对抗样本之后,可以仅显示所述第一对抗样本中扰动信息的图像内容。或者,所述将所述第一对抗样本传输至目标显示屏进行显示可以是指:将所述第一对抗样本中的扰动信息传输至目标显示屏进行显示。

可以理解的是,上述第一车辆和第二车辆均为现实世界中的真实车辆。所述第二车辆和所述目标显示屏分别位于目标拍摄装置的图像采集范围内可以是指:在所述第一车辆处于自动驾驶模式下,所述第二车辆和所述目标显示屏分别位于所述第一车辆的目标拍摄装置的拍摄范围内,即第一车辆处于自动驾驶模式下,可以基于所述目标拍摄装置感知到所述第二车辆和所述目标显示屏。例如,请参见图2,在本公开一个实施例中,所述第二车辆202可以位于所述第一车辆201的视野前方,所述目标显示屏203安装于第二车辆202的车尾。这样,在目标显示屏203显示第一对抗样本中的扰动信息的情况下,采集第一图像,然后,通过目标分类模型对第一图像中的第二车辆202进行分类,若目标分类模型输出的分类结果为车辆时,确定第一对抗样本在现实世界中攻击失败;反之,若目标分类模型输出的错误的分类结果(例如,分类结果为车辆之外的其他类别或无法识别)时,确定第一对抗样本在现实世界中攻击成功。从而可以实时校验所生成的第一对抗样本是否可以在现实世界中攻击成功。

可以理解的是,由于在对抗样本生成的过程中,通常是持续性的生成大量的对抗样本。因此,基于本公开提供的方法,可以将实时生成的第一对抗样本传输至目标显示屏进行显示,以实时验证所生成的第一对抗样本是否可以在现实世界中攻击成功,并可以将在现实世界攻击成功的第一对抗样本确定为目标对抗样本进行输出。由于所生成的目标对抗样本能够导致车辆在现实世界中攻击失败,因此,后续可以基于所述目标对抗样本对目标分类模型进一步进行优化,以降低目标对抗样本中的扰动信息对优化后的目标分类模型在分类过程中的影响,从而提高目标分类模型的分类效果。

此外,上述第一车辆和第二车辆可以处于相对运动的状态,例如,所述第二车辆为位于第一车辆视野前方的行驶车辆,所述第一车辆为处于自动驾驶模式下的自动驾驶车辆。或者,上述第一车辆和第二车辆也可以处于相对静止状态。

该实施方式中,通过在第二车辆的表面安装目标显示屏,且由于第二车辆和目标显示屏分别位于目标拍摄装置的图像采集范围内,这样,可以将实时获取到的对抗样本传输至目标显示屏进行显示,然后,基于目标拍摄装置采集第一图像,并基于目标分类模型对所述第一图像进行分类,从而可以实时确定所获取的对抗样本是否可以在现实世界中攻击成功,并可以将攻击成功的对抗样本作为目标对抗样本,从而有利于提高所生成的对抗样本的质量。

可选地,所述获取第一对抗样本,包括:

基于所述目标拍摄装置采集第二图像,所述第二图像包括:所述第二车辆的图像内容和所述目标显示屏的图像内容;

基于所述目标分类模型生成所述第一对抗样本,其中,所述第一对抗样本为所述目标分类模型在所述第二图像的目标区域中添加目标扰动信息之后得到的对抗样本,所述目标区域为包括所述目标显示屏的图像内容的图像区域。

其中,上述第二图像可以是所述第一车辆和第二车辆分别处于行驶状态时,所述目标拍摄装置拍摄的图像。

上述目标扰动信息可以是扰动图像,且所述目标扰动信息可以导致所述目标分类模型失效,即所述目标扰动信息可以导致所述目标模型对所述第二车辆进行识别时,输出错误的分类结果。其中,由于相关技术中,一些车主出于提高车辆的美观性、体现车辆的个性化、或者提示车主驾驶经验不足等原因,通常会在车身表面粘贴各种类型的贴图。然而,相关技术中的配置于车辆中的分类模型、对粘贴有上述贴图的车辆进行分类时,可能会因为贴图的干扰而导致分类错误的问题。基于此,上述扰动图像可以是相关技术中,车主可能粘贴在车身上的各种贴图,如此,可以确保后续所生成的目标对抗样本更加贴近于真实的驾驶场景。

该实施方式中,可以在所述第一车辆和第二车辆行驶过程中,持续生成第一对抗样本,并实时将所生成的第一对抗样本传输至目标显示屏进行校验,以确定所生成的第一对抗样本是否可以在现实世界攻击成功。此外,由于第一图像和第二图像中,目标显示屏与第二车辆相对位置相同,如此,可以保证“第一对抗样本中目标扰动信息在第二车辆中的位置”与“现实世界中目标扰动信息在第二车辆中的位置”一致,进而有利于提高第一对抗样本在现实世界中攻击成功的概率。

可选地,所述基于所述目标分类模型生成所述第一对抗样本,包括:

基于所述目标分类模型在所述目标区域添加随机扰动信息,得到候选对抗样本;

在基于所述目标分类模型对所述候选对抗样本中的所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,基于所述候选对抗样本生成所述第一对抗样本,所述候选对抗样本的所述目标区域中包括所述目标扰动信息。

其中,在采集到第二图像之后,可以先对第二图像进行识别,识别出所述第二图像中目标区域的位置信息,所述位置信息可以通过采用矩形框的形式表示。然后,将所述第二图像和目标区域的位置信息输入所述目标分类模型,以便于所述目标分类模型在所述位置信息所指示的位置添加随机扰动信息,以得到所述候选对抗样本。

具体地,所述目标分类模型可以迭代生成所述候选对抗样本,即每次生成一个候选对抗样本之后,基于所述目标分类模型对所生成的候选对抗样本进行分类,若所生成的候选对抗样本无法导致目标分类模型输出错误的分类结果,则更新所述第二图像的目标区域中的扰动信息,生成下一个候选对抗样本,直至得到能够导致所述目标分类模型输出错误的分类结果的候选对抗样本,然后,基于所得到的候选对抗样本生成第一对抗样本。具体地,可以直接将该候选对抗样本确定为所述第一对抗样本。或者,也可以对所述候选对抗样本进一步进行处理,以得到所述第一对抗样本。

该实施方式中,通过不断更新所述目标区域的扰动信息,直至得到能够导致所述目标分类模型输出错误的分类结果的候选对抗样本,从而完成所述第一对抗样本的生成过程。

可选地,所述基于所述候选对抗样本生成所述第一对抗样本,包括:

基于预设变换函数对所述候选对抗样本中的所述目标区域的图像内容进行纹理变换,得到所述第一对抗样本,所述预设变换函数用于执行以下至少一项变换:对所述目标区域中的图像内容对应的光照参数进行变换,以及,对所述目标区域中的图像内容进行仿射变换。

具体地,所述预设变换函数可以实现对所述候选对抗样本的光照变换和/或仿射变换。其中,所述预设变换函数可以包括相关技术中的能够变换纹理的光照的变换函数,同时,所述预设变换函数还可以包括:能够对纹理进行仿射变换的变换函数,其中,所述仿射变换可以是常规的仿射变换,例如,所述仿射变换可以是:拉伸变换、旋转变换等仿射变换。

在本公开一个实施例中,可以将对所述候选对抗样本中的所述目标区域的图像内容进行光照变换之后,得到的对抗样本作为所述第一对抗样本,如此,有利于提高所生成的第一对抗样本对于光照变换的鲁棒性。或者,也可以将对所述候选对抗样本中的所述目标区域的图像内容进行仿射变换之后,得到的对抗样本作为所述第一对抗样本,如此,有利于提高所生成的第一对抗样本对于仿射变换的鲁棒性。或者,还可以将对所述候选对抗样本中的所述目标区域的图像内容进行光照变换和仿射变换之后,得到的对抗样本作为所述第一对抗样本,如此,有利于同时提高所生成的第一对抗样本对于光照变换和仿射变换的鲁棒性。

该实施方式中,通过基于所述预设变换函数对所述候选对抗样本进行光照变换和/或仿射变换,如此,可以提高所生成的第一对抗样本的鲁棒性,进而有利于进一步提高所生成的对抗样本的质量。

可选地,所述第一对抗样本包括至少两个子对抗样本,所述至少两个子对抗样本中,不同的子对抗样本对应的目标距离不同,所述目标距离为所述第一车辆与所述第二车辆的车距;所述目标显示屏用于根据所述第一车辆与所述第二车辆的车距显示对应的子对抗样本;所述第一图像包括所述第一车辆处于行驶状态时采集的至少两张第一子图像,所述至少两张第一子图像与所述至少两个子对抗样本一一对应;

所述在将所述第一图像输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,将所述第一对抗样本确定为目标对抗样本,包括:

在将所述至少两张第一子图像分别输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出至少两个分类结果的情况下,将目标分类结果所对应的子对抗样本确定为所述目标对抗样本,其中,所述目标分类结果为所述目标分类模型分类错误的分类结果。

具体地,在所述第一车辆行驶过程中,随着所述第一车辆与第二车辆之间的车距不断变化,所述目标拍摄装置可以采集至少两张上述第一子图像,其中,所述至少两张上述第一子图像中,不同的第一子图像对应的车距不同。然后,分别基于每张第一子图像对应生成一个子对抗样本,从而得到所述至少两个子对抗样本,所述至少两个子对抗样本与所述至少两张上述第一子图像一一对应。其中,所述子对抗样本的生成过程与上述实施例中第一对抗样本的生成过程相同,为避免重复,在此不再予以赘述。

可以理解的是,所述至少两个子对抗样本可以与至少两个不同的目标距离一一对应,上述目标显示屏用于根据所述第一车辆与所述第二车辆的车距显示对应的子对抗样本具体可以是:当所述第一车辆与所述第二车辆之间的车距为第一距离时,显示与所述第一距离对应的子对抗样本,其中,所述第一距离为所述至少两个不同的目标距离中的任意一个目标距离。

例如,在本公开一个实施例中,在所述第二车辆为所述第一车辆的前方车辆,且当所述第一车辆与所述第二车辆之间的车距为N米时,可以控制所述第一车辆加速,以缩短所述第一车辆与第二车辆之间的车距。并且可以在所述第一车辆加速之前,拍摄得到第1张第一子图像,同时,当所述第一车辆与第二车辆之间的车距每缩短1米时,可以拍摄得到1张第一子图像,直至所述第一车辆与所述第二车辆之间的车距缩短至1米,从而得到N张第一子图像,其中,所述N为大于2的整数。然后,基于所述N张第一子图像按照上述实施例所述的方法生成N个子对抗样本。然后,可以控制所述第一车辆减速,以增大所述第一车辆与第二车辆之间的车距,当所述第一车辆与第二车辆之间车距为i米时,可以基于目标显示屏显示第i个子对抗样本,以确定第i个子对抗样本是否能够导致所述目标分类模型失效。其中,所述第i个子对抗样本为:基于车距为i米时拍摄得到的第一子图像生成的子对抗样本,所述i为区间[1,N]之间的整数。

又例如,在本公开另一个实施例中,在所述第二车辆为所述第一车辆的前方车辆,且当所述第一车辆与所述第二车辆之间的车距为S米时,可以控制所述第一车辆减速,以增大所述第一车辆与第二车辆之间的车距。并且可以在所述第一车辆减速之前,拍摄得到第1张第一子图像,同时,当所述第一车辆与第二车辆之间的车距每增加1米时,可以拍摄得到1张第一子图像,直至所述第一车辆与所述第二车辆之间的车距增大至M米,从而得到(M-S+1)张第一子图像,其中,所述S为大于0的整数,(M-S)为大于0的整数。然后,基于所述(M-S+1)张第一子图像按照上述实施例所述的方法生成(M-S+1)个子对抗样本。然后,可以控制所述第一车辆加速,以减小所述第一车辆与第二车辆之间的车距,当所述第一车辆与第二车辆之间车距为j米时,可以基于目标显示屏显示第j个子对抗样本,以确定第j个子对抗样本是否能够导致所述目标分类模型失效。其中,所述第j个子对抗样本为:基于车距为j米时拍摄得到的第一子图像生成的子对抗样本,所述j为区间[S,M]之间的整数。

其中,为了缩短所述第一车辆与第二车辆之间的车距,也可以采用降低第二车辆的车速的方式实现。或者,还可以在增大所述第一车辆的车速的同时,降低第二车辆的车速,以实现缩短所述第一车辆与第二车辆之间的车距的目的。相应地,为了增大所述第一车辆与第二车辆之间的车距也可以采用增大第二车辆的车速的方式实现。或者,还可以在减小所述第一车辆的车速的同时,增大第二车辆的车速,以实现增大所述第一车辆与第二车辆之间的车距的目的。

该实施方式中,可以利用所述目标分类模型逐一对所述子对抗样本进行分类,得到每个子对抗样本对应的分类结果,然后,将目标分类模型分类错误的子对抗样本确定为目标对抗样本,如此,可以得到不同车距对应的目标对抗样本,进而可以丰富所生成的目标对抗样本的数量。

可选地,所述第一图像包括所述第一车辆处于行驶状态时采集的至少两张第二子图像,所述第二子图像包括:所述第二车辆的图像内容和所述目标显示屏的图像内容;且所述至少两张第二子图像中,不同的第二子图像对应的目标距离不同,所述目标距离为所述第一车辆与所述第二车辆的车距;

所述在将所述第一图像输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,将所述第一对抗样本确定为目标对抗样本,包括:

在将所述至少两张第二子图像分别输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出的至少两个分类结果均为错误的分类结果的情况下,将所述第一对抗样本确定为所述目标对抗样本。

其中,所述至少两张第二子图像与所述至少两个分类结果均一一对应。且所述分类结果为:目标分类模型对所述分类结果对应的第二子图像进行分类得到的分类结果。

具体地,在验证所述第一对抗样本是否能够在真实世界中攻击成功的过程中,可以将所述第一对抗样本中的目标扰动信息传输至所述目标显示屏进行显示。然后,在所述第一车辆行驶过程中,随着所述第一车辆与第二车辆之间的车距不断变化,所述目标拍摄装置可以采集至少两张上述第二子图像,其中,所述至少两张第二子图像中,不同的第二子图像对应的车距不同,且每张所述第二子图像中均包括上述目标扰动信息的图像内容。然后,基于目标分类模型分别对所述至少两张第二子图像中的第二车辆进行分类,当所述目标分类模型输出的至少两个分类结果均为错误的分类结果的情况下,将所述第一对抗样本确定为所述目标对抗样本。

例如,在本公开一个实施例中,在所述第二车辆为所述第一车辆的前方车辆,且当所述目标显示屏显示有所述第一对抗样本中的目标扰动信息的图像内容的情况下,当所述第一车辆与第二车辆之间的车距较远时,可以控制所述第一车辆加速,以减小所述第一车辆与第二车辆之间的车距。然后,在所述第一车辆与第二车辆之间的车距每减小预设距离时,拍摄得到一张第二子图像,直至得到K张第二子图像,其中,所述K为大于1的整数。然后,分别将所述K张第二子图像输入所述目标分类模型,以通过所述目标分类模型对每张第二子图像中的第二车辆进行分类,当所述目标分类模型输出的K个分类结果均为错误的分类结果的情况下,将所述第一对抗样本确定为所述目标对抗样本。其中,所述K张第二子图像与所述K个分类结果一一对应。

又例如,在所述第二车辆为所述第一车辆的前方车辆,且当所述目标显示屏显示有所述第一对抗样本中的目标扰动信息的图像内容的情况下,当所述第一车辆与第二车辆之间的车距较近时,可以控制所述第一车辆减速,以增大所述第一车辆与第二车辆之间的车距。然后,在所述第一车辆与第二车辆之间的车距每增大预设距离时,拍摄得到一张第二子图像,直至得到L张第二子图像,其中,所述L为大于1的整数。然后,分别将所述L张第二子图像输入所述目标分类模型,以通过所述目标分类模型对每张第二子图像中的第二车辆进行分类,当所述目标分类模型输出的L个分类结果均为错误的分类结果的情况下,将所述第一对抗样本确定为所述目标对抗样本。其中,所述L张第二子图像与所述L个分类结果一一对应。

该实施方式中,只有在所述目标分类模型输出的至少两个分类结果均为错误的分类结果的情况下,才将所述第一对抗样本确定为目标对抗样本,如此,可以确保所生成的目标对抗样本在不同车距下均能够攻击成功,进而有利于进一步提高所生成的目标对抗样本的鲁棒性,

请参见图3,图3为本公开实施例提供的一种对抗样本的生成装置300的结构示意图,所述对抗样本的生成装置300,包括:

获取模块301,用于获取第一对抗样本,所述第一对抗样本为与第一车辆中预配置的目标分类模型对应的对抗样本;

传输模块302,用于将所述第一对抗样本传输至目标显示屏进行显示,其中,所述目标显示屏为安装于第二车辆表面的显示屏,且所述第二车辆和所述目标显示屏分别位于目标拍摄装置的图像采集范围内,所述目标拍摄装置为所述第一车辆中的拍摄装置;

采集模块303,用于基于所述目标拍摄装置采集第一图像,其中,所述第一图像中包括:所述第二车辆的图像内容和所述目标显示屏的图像内容;

确定模块304,用于在将所述第一图像输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,将所述第一对抗样本确定为目标对抗样本。

其中,对抗样本的生成装置300可以是预先配置于第一车辆中的虚拟装置。具体地,所述对抗样本的生成装置300中的功能模块可以复用第一车辆中的相关硬件,例如,所述获取模块301和确定模块304可以复用所述第一车辆中的各种具有控制功能的车载控制器;所述采集模块303可以包括所述第一车辆中的部分或所有摄像头;所述传输模块302可以复用所述第一车辆中具有无线收发功能的数据传输器件,例如,所述传输模块302可以为第一车辆中的蓝牙传输模块或无线保真(Wireless Fidelity,WiFi)传输模块等。此外,在本公开另一个实施例中,所述对抗样本的生成装置300中的功能模块也可以是:为了实现上述对抗样本的生成,在所述第一车辆新增的功能模块。

具体地,基于所述对抗样本的生成装置300生成所述目标对抗样本的实现流程可以为:先基于所述获取模块301获取第一对抗样本;然后,基于所述传输模块302将所述第一对抗样本传输至目标显示屏进行显示;再基于所述获取模块301采集第一图像;然后,基于确定模块304将所述第一图像输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,基于确定模块304将所述第一对抗样本确定为目标对抗样本。该过程中各步骤的具体实现过程与上述方法实施例类似,且具有相同的有益效果,为避免重复,在此不再予以赘述。

可选地,请参见图4,所述获取模块301,包括:

采集子模块3011,用于基于所述目标拍摄装置采集第二图像,所述第二图像包括:所述第二车辆的图像内容和所述目标显示屏的图像内容;

生成子模块3012,用于基于所述目标分类模型生成所述第一对抗样本,其中,所述第一对抗样本为所述目标分类模型在所述第二图像的目标区域中添加目标扰动信息之后得到的对抗样本,所述目标区域为包括所述目标显示屏的图像内容的图像区域。

具体地,所述获取模块301获取所述第一对抗样本的实现流程可以为:基于所述采集子模块3011获取所述目标拍摄装置采集的第二图像;然后,基于所述生成子模块3012利用所述目标分类模型生成所述第一对抗样本。该过程中各步骤的具体实现过程与上述方法实施例类似,且具有相同的有益效果,为避免重复,在此不再予以赘述。

可选地,请参见图5,所述生成子模块3012,包括:

添加单元30121,用于基于所述目标分类模型在所述目标区域添加随机扰动信息,得到候选对抗样本;

生成单元30122,用于在基于所述目标分类模型对所述候选对抗样本中的所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,基于所述候选对抗样本生成所述第一对抗样本,所述候选对抗样本的所述目标区域中包括所述目标扰动信息。

具体地,所述生成子模块3012生成第一对抗样本的实现流程可以为:基于添加单元30121利用所述目标分类模型在所述目标区域添加随机扰动信息,得到候选对抗样本;然后,基于生成单元30122利用所述目标分类模型对所述候选对抗样本中的所述第二车辆进行分类,且所述目标分类模型输出错误的分类结果的情况下,基于所述候选对抗样本生成所述第一对抗样本。该过程中各步骤的具体实现过程与上述方法实施例类似,且具有相同的有益效果,为避免重复,在此不再予以赘述。

可选地,所述生成单元30122,具体用于基于预设变换函数对所述候选对抗样本中的所述目标区域的图像内容进行纹理变换,得到所述第一对抗样本,所述预设变换函数用于执行以下至少一项变换:对所述目标区域中的图像内容对应的光照参数进行变换,以及,对所述目标区域中的图像内容进行仿射变换。

具体地,所述生成单元30122生成所述第一对抗样本的实现流程可以为:基于预设变换函数对所述候选对抗样本中的所述目标区域的图像内容进行纹理变换,得到所述第一对抗样本。该步骤的具体实现过程与上述方法实施例类似,且具有相同的有益效果,为避免重复,在此不再予以赘述。

可选地,所述第一对抗样本包括至少两个子对抗样本,所述至少两个子对抗样本中,不同的子对抗样本对应的目标距离不同,所述目标距离为所述第一车辆与所述第二车辆的车距;所述目标显示屏用于根据所述第一车辆与所述第二车辆的车距显示对应的子对抗样本;所述第一图像包括所述第一车辆处于行驶状态时采集的至少两张第一子图像,所述至少两张第一子图像与所述至少两个子对抗样本一一对应;

所述确定模块304,具体用于在将所述至少两张第一子图像分别输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出至少两个分类结果的情况下,将目标分类结果所对应的子对抗样本确定为所述目标对抗样本,其中,所述目标分类结果为所述目标分类模型分类错误的分类结果。

在本公开一个实施例中,所述确定模块304确定所述目标对抗样本的实现流程可以为:基于所述确定模块304将所述至少两张第一子图像分别输入所述目标分类模型对所述第二车辆进行分类,得到至少两个分类结果。然后,将目标分类结果所对应的子对抗样本确定为所述目标对抗样本。该步骤的具体实现过程与上述方法实施例类似,且具有相同的有益效果,为避免重复,在此不再予以赘述。

可选地,所述第一图像包括所述第一车辆处于行驶状态时采集的至少两张第二子图像,所述第二子图像包括:所述第二车辆的图像内容和所述目标显示屏的图像内容;且所述至少两张第二子图像中,不同的第二子图像对应的目标距离不同,所述目标距离为所述第一车辆与所述第二车辆的车距;

所述确定模块304,具体用于在将所述至少两张第二子图像分别输入所述目标分类模型对所述第二车辆进行分类,且所述目标分类模型输出的至少两个分类结果均为错误的分类结果的情况下,将所述第一对抗样本确定为所述目标对抗样本。

在本公开另一个实施例中,所述确定模块304确定所述目标对抗样本的实现流程可以为:将所述至少两张第二子图像分别输入所述目标分类模型对所述第二车辆进行分类,得到至少两个分类结果;在所述至少两个分类结果均为错误的分类结果的情况下,将所述第一对抗样本确定为所述目标对抗样本。该步骤的具体实现过程与上述方法实施例类似,且具有相同的有益效果,为避免重复,在此不再予以赘述。

需要说明地,本实施例提供的对抗样本的生成装置300能够实现上述对抗样本的生成方法实施例的全部技术方案,因此至少能够实现上述全部技术效果,此处不再赘述。

本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。

根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示,电子设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如对抗样本的生成方法。例如,在一些实施例中,对抗样本的生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,执行上文描述的对抗样本的生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行对抗样本的生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

相关技术
  • 图像处理方法和装置、电子设备、存储介质、程序产品
  • 图像处理方法和装置、电子设备、存储介质、程序产品
  • 目标检测方法和装置、电子设备、存储介质、程序产品
  • 行人再识别方法和装置、电子设备、存储介质、程序产品
  • 图像处理方法和装置、电子设备、存储介质、程序产品
  • 对抗样本的生成方法、装置、电子设备、介质和程序产品
  • 对抗样本的生成方法、装置、存储介质、设备及程序产品
技术分类

06120115920857