可恢复的人脸图像隐私保护方法、装置、设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种可恢复的人脸图像隐私保护方法、装置、设备及存储介质。

背景技术

智能手机、数码相机和监控设备的普及促进了图像的采集、广泛传播和便捷访问的发展。同时，随着计算机视觉技术和深度学习的日益广泛的应用，图像的隐私和安全受到严重威胁。其中，人脸图像包含丰富的隐私信息，因此引起越来越多的重视。最早的人脸隐私保护技术通常是对隐私敏感的信息进行模糊化处理，这已被证明对实用程序易受攻击且效果不好。最近基于生成式对抗网络的方法显着提高了隐私保护的效果。但是生成的图像和原图像差异较大，影响了图像本身的价值。而且，目前已有的隐私保护方法仅关注保护阶段。考虑到当我们与亲密朋友共享图片或在某些特定情况下(例如刑事调查)，我们希望使用原始图片而不是身份不明的图片。因此，如何恢复原始图像也是至关重要的。

综上所述，理想的可恢复的人脸图像隐私保护方法应该能够尽量保持生成图像和原图的相似性，避免恶化诸如面部表情、行为等非敏感信息，并且能够在安全条件下恢复原始图像。

发明内容

鉴于以上技术问题，本发明提供了一种可恢复的人脸图像隐私保护方法、装置、设备及存储介质，以提供一种能保持生成图像和原图的相似性，并且能够在安全条件下恢复原始图像的技术方案。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明的一方面，提出了一种可恢复的人脸图像隐私保护方法，所述办法包括：获取原始图像；将所述原始图像编码为第一信息，其中，所述第一信息中包括隐私信息；将所述原始图像编码为第二信息，其中，所述第二信息中包括非隐私信息；对所述第一信息内的所述隐私信息进行修改，包括：对所述隐私信息进行匿名化处理或去匿名化处理，得到第三信息；将所述第二信息和所述第三信息进行图像重建，得到目标图像。

进一步的，获取所述原始图像之后，对所述原始图像进行预处理，获得所述原始图像的人脸数据。

进一步的，所述对所述原始图像进行预处理包括：调整所述原始图像的分辨率，对所述原始图像中的包含人脸数据的区域进行裁切。

进一步的，还包括：接收修改指令，根据所述修改指令的指示，若为是，则对所述隐私信息进行匿名化处理，若为否，则对所述隐私信息进行去匿名化处理。

进一步的，所述将所述原始图像编码为第一信息包括：基于深度学习技术，提取所述原始图像中的人脸数据中的身份信息数据，输出所述第一信息；所述将所述原始图像编码为第二信息包括：基于深度学习技术，提取所述原始图像中的非身份信息数据，输出所述第二信息；其中，所述隐私信息包括所述原始图像中的人脸数据中的身份信息数据，所述非隐私信息包括所述原始图像中的非身份信息数据。

进一步的，所述对所述隐私信息进行匿名化处理或去匿名化处理包括：根据预设规则，修改所述隐私信息，或根据所述预设规则，还原被修改的所述隐私信息。

进一步的，所述将所述第二信息和所述第三信息进行图像重建，得到目标图像，包括：将所述第二信息和所述第三信息通过基于深度学习技术的图像融合算法重建生成所述目标图像。

根据本公开的第二方面，提供一种可恢复的人脸图像隐私保护装置，包括：图像获取模块，获取原始图像；图像编码模块，将所述原始图像编码为第一信息，其中，所述第一信息中包括隐私信息；将所述原始图像编码为第二信息，其中，所述第二信息中包括非隐私信息；身份信息修改模块，对所述第一信息内的所述隐私信息进行修改，包括：对所述隐私信息进行匿名化处理或去匿名化处理，得到第三信息；图像重建模块，将所述第二信息和所述第三信息进行图像重建，得到目标图像。

根据本公开的第三方面，提供一种可恢复的人脸图像隐私保护设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取原始图像；将所述原始图像编码为第一信息，其中，所述第一信息中包括隐私信息；将所述原始图像编码为第二信息，其中，所述第二信息中包括非隐私信息；对所述第一信息内的所述隐私信息进行修改，包括：对所述隐私信息进行匿名化处理或去匿名化处理，得到第三信息；将所述第二信息和所述第三信息进行图像重建，得到目标图像。

根据本公开的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时上述可恢复的人脸图像隐私保护方法。

本公开的技术方案具有以下有益效果：

根据上述可恢复的人脸图像隐私保护办法、装置、设备及存储介质，可以解决现有的隐私保护在实用性和灵活性等方面的局限性，能够从经过隐私保护处理的图像中根据实际需要而恢复原图，或经过隐私保护处理的图像能保持和原图的相似性，提高图像本身的价值。本发明可广泛的应用于社交网络、视频监控、图像数据采集和分析等不同的应用场景。

附图说明

图1为本说明书实施例中的一种可恢复的人脸图像隐私保护方法的流程图；

图2为本说明书实施例中的编码原始图像的示意图；

图3为本说明书实施例中的一种可恢复的人脸图像隐私保护方法又一流程图；

图4为本说明书实施例中的可恢复的人脸图像隐私保护装置的结构框图；

图5为本说明书实施例中一种用于实现可恢复的人脸图像隐私保护方法的终端设备；

图6为本说明书实施例中一种用于实现可恢复的人脸图像隐私保护方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

如图1所示，本说明书实施例提供一种可恢复的人脸图像隐私保护方法，该方法的执行主体可以为终端设备，其中的终端设备可以如手机、平板电脑、个人计算机等。该方法具体可以包括以下步骤S101～S105：

在步骤S101中，获取原始图像。

其中，该原始图像可以为直接采集的图像，即由相机、摄像机、手机等可以拍摄照片的设备直接拍摄到的照片，也可以是存储器内存储的照片，可以是未匿名化处理的原始图像，也可以是受到匿名化处理后的图像。

在步骤S102中，将原始图像编码为第一信息，其中，所述第一信息中包括隐私信息。

其中，隐私信息即为人脸图像中与身份信息相关的属性信息，由经过预训练的人脸识别的深度学习网络确定并提取出，具体的，与身份信息相关的属性信息可以是人脸中的眉毛、眼睛、鼻子、嘴巴、脸型等具有识别特征的器官。深度学习网络包括多层属性编码器和身份编码器，图2示出了一种多层属性编码器和身份编码器，多层属性编码器可以提取人脸数据图像不同层次的特征，可以选择U型网络实现，将人脸数据输出为一个N×L维的矩阵，，身份编码器再提取矩阵中与身份信息相关，属性信息，生成身份信，向量z

在步骤S103中，将所述原始图像编码为第二信息，其中，所述第二信息中包括非隐私信息；

其中，由上述的深度学习网络提取与身份信息相关的属性信息后，L×N维的矩阵z

需要注意的是，上述关于如何提取第一信息和第二信息公开的内容不应对本公开的保护范围造成限定。

在步骤S104中，对所述第一信息内的所述隐私信息进行修改，包括：对所述隐私信息进行匿名化处理或去匿名化处理，得到第三信息。

其中，接收步骤S102输出的身份信息向量z

z′

向量z′

如果输入的身份信息向量z

z′

此时向量z′

在步骤S105中，将所述第二信息和所述第三信息进行图像重建，得到目标图像。

其中，根据原始图像的隐私无关的属性信息生成的矩阵，和修改后的身份信息向量，还原到原始图像中，通过基于深度学习技术的融合网络生成一个新的目标图像，即目标图像在原始图像的基础上，包含有与原始图像一致的背景、与原始图像一致的面部表情等，但是作为能识别其个人身份的面部器官特征被进行了修改，这样既可以保护个人隐私，又可以进一步提高照片的使用价值。

作为补充的，在另一种实施例中，在执行步骤S102之前，还可以对原始图像进行预处理，获得原始图像的人脸数据。例如调整原始图像的分辨率，对原始图像中的人脸区域进行裁切等，本公开对此不做限定。由于基于深度学习网络需要对图片进行精准分析，经过预处理，深度学习网络无需对整张图片进行数据提取，先把原始图像中包含的人脸数据的区域裁剪出来，然后对裁剪出来的人脸数据区域进行分析即可，可以有效减少本公开办法执行时的运行时间，提高运行效率。

在一种可选的实施方式中，如图3所示，包括执行步骤S301～S307，与步骤S101～S105的不同在于，还包括：接收修改指令，根据所述修改指令的指示，若为是，则对所述隐私信息进行匿名化处理，若为否，则对所述隐私信息进行去匿名化处理。

在上述实施例中，修改指令用于选择对隐私信息处理方式为匿名化处理或去匿名化处理，即触发本发明示例性实施例所对应的控制逻辑。

在一示例性实施例中，对于修改指令用于选择对隐私信息处理方式为匿名化处理或去匿名化处理具体是指接收设备上所运行应用中用户触发的修改指令。此时，将通过修改指令的接收对第一信息内的隐私信息根据本发明的实现逻辑执行处理控制，也就是说，如果用户触发的控制指令为是，选择对第一信息中的隐私信息进行修改，若为否，则可以选择对第一信息中的隐私信息进行逆向还原。

在一示例性实施例中，修改指令还可以是自动选择的，比如对第一信息进行检测，若第一信息中的隐私信息已经经过修改，即为否，则可以选择对第一信息中的隐私信息进行逆向还原，若第一信息中的隐私信息未经过修改，即为是，则可以选择对第一信息中的隐私信息进行修改，对隐私信息的修改或还原的方式已经在上述实施例中作出举例，本公开对此不再赘述。

在一种可选的实施方式中，所述对所述隐私信息进行匿名化处理或去匿名化处理包括：根据预设规则，修改所述隐私信息，或根据所述预设规则，还原被修改的所述隐私信息。

其中预设规则可以包括多种，比如用一预先设定的身份信息向量来对原始图像中提取出来的隐私信息进行替换，也可以是对隐私信息进行混淆，进而得到同一个人生成不同样貌的结果，实现隐私保护。

在一种可选的实施方式中，所述将所述第二信息和所述第三信息进行图像重建，得到目标图像，包括：将所述第二信息和所述第三信息通过基于深度学习技术的图像融合算法重建生成所述目标图像。

基于同样的思路，本公开的示例性实施方式还提供了一种可恢复的人脸图像隐私保护装置，如图4所示，该可恢复的人脸图像隐私保护装置400包括：图像获取模块401，获取原始图像；图像编码模块402，将原始图像编码为第一信息，其中，第一信息中包括隐私信息，将原始图像编码为第二信息，其中，第二信息中包括非隐私信息；身份信息修改模块403，对第一信息内的隐私信息进行修改，包括：对隐私信息进行匿名化处理或去匿名化处理，得到第三信息；图像重建模块404，将第二信息和所述第三信息进行图像重建，得到目标图像。

在一种可选的实施例中，可恢复的人脸图像隐私保护装置400还包括：预处理模块，用于对原始图像进行预处理，获得原始图像的人脸数据，其中，预处理包括：调整原始图像的分辨率，对原始图像中的包含人脸数据的区域进行裁切。

在一种可选的实施例中，可恢复的人脸图像隐私保护装置400还包括：控制模块，用于接收修改指令，根据修改指令的指示，若为是，则控制身份信息修改模块403对隐私信息进行匿名化处理，若为否，则控制身份信息修改模块403对所述隐私信息进行去匿名化处理。

在一种可选的实施例中，图像编码模块402基于深度学习技术，提取原始图像中的人脸数据中的身份信息数据，输出第一信息；图像编码模块402基于深度学习技术，提取原始图像中的非身份信息数据，输出第二信息。

在一种可选的实施例中，身份信息修改模块403根据预设规则单元，修改隐私信息，或根据预设规则单元，还原被修改的隐私信息。

在一种可选的实施例中，图像重建模块404将第二信息和第三信息通过基于深度学习技术的图像融合算法重建生成目标图像。

本说明书实施例提供一种可恢复的人脸图像隐私保护装置，可以解决现有的隐私保护在实用性和灵活性等方面的局限性，能够从经过隐私保护处理的图像中根据实际需要而恢复原图，或经过隐私保护处理的图像能保持和原图的相似性，提高图像本身的价值；可广泛的应用于社交网络、视频监控、图像数据采集和分析等不同的应用场景。

上述装置中各模块/单元的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

基于同样的思路，本说明书实施例还提供一种可恢复的人脸图像隐私保护设备，如图5所示。

可恢复的人脸图像隐私保护设备可以为上述实施例提供的终端设备或服务器。

可恢复的人脸图像隐私保护设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元。存储在存储器502的应用程序可以包括一个或一个以上程序模块(图示未示出)，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。更进一步地，处理器501可以设置为与存储器502通信，在可恢复的人脸图像隐私保护设备上执行存储器502中的一系列计算机可执行指令。可恢复的人脸图像隐私保护设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上I/O接口(输入输出接口)505，一个或多个外部设备506(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或一个以上使得用户能与该设备交互的设备通信，和/或与使得该设备能与一个或一个以上其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过I/O接口505进行。并且，设备还可以通过有线或无线接口504与一个或一个以上网络(例如局域网(LAN)通讯。

具体在本实施例中，可恢复的人脸图像隐私保护设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对可恢复的人脸图像隐私保护设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取原始图像；将所述原始图像编码为第一信息，其中，所述第一信息中包括隐私信息；将所述原始图像编码为第二信息，其中，所述第二信息中包括非隐私信息；对所述第一信息内的所述隐私信息进行修改，包括：对所述隐私信息进行匿名化处理或去匿名化处理，得到第三信息；将所述第二信息和所述第三信息进行图像重建，得到目标图像。

获取所述原始图像之后，对所述原始图像进行预处理，获得所述原始图像的人脸数据。

所述对所述原始图像进行预处理包括：调整所述原始图像的分辨率，对所述原始图像中的包含人脸数据的区域进行裁切。

还包括：接收修改指令，根据所述修改指令的指示，若为是，则对所述隐私信息进行匿名化处理，若为否，则对所述隐私信息进行去匿名化处理。

所述将所述原始图像编码为第一信息包括：基于深度学习技术，提取所述原始图像中的人脸数据中的身份信息数据，输出所述第一信息；所述将所述原始图像编码为第二信息包括：基于深度学习技术，提取所述原始图像中的非身份信息数据，输出所述第二信息；其中，所述隐私信息包括所述原始图像中的人脸数据中的身份信息数据，所述非隐私信息包括所述原始图像中的非身份信息数据。

所述对所述隐私信息进行匿名化处理或去匿名化处理包括：根据预设规则，修改所述隐私信息，或根据所述预设规则，还原被修改的所述隐私信息。

所述将所述第二信息和所述第三信息进行图像重建，得到目标图像，包括：将所述第二信息和所述第三信息通过基于深度学习技术的图像融合算法重建生成所述目标图像。

基于同样的思路，本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图6所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如Java、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。

此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。