掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法及装置、电子设备及存储介质

文献发布时间:2024-04-18 19:58:21


图像处理方法及装置、电子设备及存储介质

本申请涉及影像技术领域,特别涉及一种隐私保护的图像处理方法、图像处理装置、电子设备、及存储介质。

随着人工智能时代的到来,人脸信息在现实生活中有了越来越多的应用或采集如人脸识别、视频监控等。但在这些应用过程中,如果不对人脸信息进行有效地保护会导致隐私泄露而侵犯其隐私权及肖像权。在现有技术中,有的采用图片处理的形式如置乱,模糊,遮掩的方法保护个人的身份信息,但这些处理方式不利于后续的人脸识别鉴权等业务应用。还有的采用传统加密方法进行加密,或者在变换域对隐私内容进行加密,但此类方法由于存在加解密的秘钥,所以存在未授权进行解密的风险。

发明内容

本申请实施方式提供一种隐私保护的图像处理方法、图像处理装置、电子设备、及存储介质。

本申请实施方式的一种隐私保护的图像处理方法,包括:获取预处理图像以对所述预处理图像进行特征提取得到第一特征向量;根据所述预处理图像生成噪声图像以对所述噪声图像进行特征提取得到第二特征向量;根据所述预处理图像与所述噪声图像的结构相似性,所述第一特征向量及所述第二特征向量建立损失函数;利用所述损失函数对所述噪声图像进行处理以得到模糊图像;利用所述模糊图像替换所述预处理图像。

本申请实施方式的一种隐私保护的图像处理装置,包括:获取模块,用于获取预处理图像以对所述预处理图像进行特征提取得到第一特征向量;生成模块,用于生成噪声图像以对所述噪声图像进行特征提取得到第二特征向量,所述噪声图像与所述预处理图像对应;处理模块,用于根据所述预处理图像与所述噪声图像的结构相似性,所述第一特征向量及所述第二特征向量建立所述损失函数;模糊模块,用于利用所述损失函数对所述噪声图像进行处理以得到模糊图像;替换模块,用于利用所述模糊图像替换所述预处理图像。

本申请实施方式的一种电子设备,所述电子设备包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现上述所述的图像处理方法。

本申请实施方式的一种计算机程序的非易失性计算机可读存储介质,其特征在于,当所述计算机程序被一个或多个处理器执行时,实现上述所述的图像处理方法。

本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:

图1是本申请实施方式的图像处理方法的流程示意图;

图2是本申请实施方式的图像处理方法的流程示意图;

图3是本申请实施方式的图像处理方法的流程示意图;

图4是本申请实施方式的图像处理方法的流程示意图;

图5是本申请实施方式的图像处理方法的流程示意图;

图6是本申请实施方式的图像处理方法的流程示意图;

图7是本申请实施方式的图像处理方法的流程示意图;

图8是本申请实施方式的图像处理方法的流程示意图;

图9是本申请实施方式的图像处理装置模块图;

图10是本申请实施方式的图像处理装置模块图;

图11是本申请实施方式的图像处理装置模块图;

图12是本申请实施方式的图像处理装置模块图。

下面详细描述本申请的实施方式,实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。

请参阅图1,本申请提供一种隐私保护的图像处理方法,其特征在于,包括:

S10:获取预处理图像以对预处理图像进行特征提取得到第一特征向量;

S20:根据预处理图像生成噪声图像以对噪声图像进行特征提取得到第二特征向量;

S30:根据预处理图像与噪声图像的结构相似性,第一特征向量及第二特征向量建立损失函数;

S40:利用损失函数对噪声图像进行处理以得到模糊图像;

S50:利用模糊图像替换预处理图像。

本申请实施方式还提供了一种电子设备。电子设备包括存储器和处理器。存储器中存储有计算机程序,处理器用于获取预处理图像以对预处理图像进行特征提取得到第一特征向量,根据预处理图像生成噪声图像以对噪声图像进行特征提取得到第二特征向量,根据预处理图像与噪声图像的结构相似性,第一特征向量及第二特征向量建立损失函数,利用损失函数对噪声图像进行处理以得到模糊图像,利用模糊图像替换预处理图像。

在步骤S10中,获取预处理图像。其中,图像为想要进行隐私保护的图像,可存在于照片中、电视中或计算机屏幕中的图像、或视频中需要隐私保护的对象。同时,对象可包括人脸或其它需要进行隐私保护的区域,其保护范围可为整幅图像或感兴趣区域(Region Of Interest,ROI)。

具体地,获取的预处理图像为所需进行隐私保护的图像进行预处理之后的图像。其中,预处理包括对图像的截取、特征提取、图像为人脸的人脸检测等处理方式。

在某些实施方式中,所需进行隐私保护的图像为人脸,获取经过人脸检测后的人脸区域作为预处理图像。

在某些实施方式中,图像中的固定区域需要隐私保护如右下角的水印处,则截取图像某一尺寸的右下角区域作为预处理图像。

进一步地,对预处理图像进行特征提取得到第一特征向量。其中,根据实际情况,不同的图像具有不同的特征向量,特征向量为图像技术领域中的通常含义。例如人脸图像的特征向量为人脸关键点的向量,具体包括人脸上具有明确语义的坐标点,如鼻尖、嘴角、眼角等。第一用于区别后续的特征向量。

在步骤S20中,根据预处理图像生成噪声图像以对噪声图像进行特征提取得到第二特征向量。其中,噪声图像可为满足预设均值和预设方差的噪声图像,或随机产生的随机噪声图像。对噪声图像的特征提取方式可与对预处理图像进行特征提取的方式相同,其特征向量也可相同。

进一步地,在步骤S30及S40中,根据预处理图像与噪声图像的结构相似性,第一特征向量及第二特征向量建立损失函数,并利用损失函数对噪声图像进行处理以得到模糊图像。

可以理解的是,损失函数可根据不同的参数建立,本实施例中,通过提取预处理图像与噪声图像的结构相似性及特征向量建立损失函数。其中,结构相似性表征预处理图像及输出图像的相似性,通过对输入输出图像结构相似性的计算可使得结构相似性最小化,从而使得生成的模糊图像和预处理图像尽可能地差异最大化。在某些实施方式中,还可利用结构相异性。

其中,损失函数包括分类损失函数如利用交叉熵损失函数来判定实际的输出与期望的输出的接近程度,和/或质量损失函数判定输出图像与期望的输出的质量差异,和/或距离损失函数来判定特征向量的距离。同时,可利用一个或多个损失函数进行多目标的优化。进一步地,通过优化建立的损失函数如最小化损失函数以使得输出图像满足与预处理图像尽可能地差异最大化,同时特征向量尽可能地接近。

具体地,可根据第一特征向量及第二特征向量的距离损失建立损失函数,如欧式距离。同时可最小化特征向量的距离以使得生成的模糊图像和预处理图像的特征向量尽可能地接近。损失函数中输入噪声图像,并通过对损失函数进行优化使得输出期望的模糊图像,如对建立的损失函数进行最小化求解以优化中间参数,使得输出期望的模糊图像。

在某些实施方式中,可建立交叉熵损失函数以使得输出的模糊图像与预处理图像模糊化程度最大。

在某些实施方式中,可建立交叉熵损失函数以使得输出的模糊图像与预处理图像模糊化程度最大,同时,输出的模糊图像与预处理图像的特征向量最接近。

在某些实施方式中,可建立交叉熵损失函数及距离损失函数以使得输出的模糊图像与预处理图像模糊化程度最大,同时,输出的模糊图像与预处理图像的特征向量最接近。

在步骤S50中,利用模糊图像替换预处理图像。当得到模糊图像后,将模糊图像替换预处理图像,或者说将模糊图像还原到预处理图像中。例如,在实时监控画面中,通过损失函数对人脸进行模糊化处理,然后将模糊化的图像还原到实时监控画面中,使得监控画面中仅能显示模糊化的人脸而非清晰的人脸。

在某些实施方式中,可对模糊化的图像进行尺寸调整等变换后再还原到实时监控画面中。

在某些实施方式中,图像为人脸信息,则还可进一步地对人脸进行人脸识别等后续应用。

如此,上述隐私保护的图像处理方法,通过获取预处理图像以对预处理图像进行特征提取得到第一特征向量,根据预处理图像生成噪声图像以对噪声图像进行特征提取得到第二特征向量,根据预处理图像与噪声图像的结构相似性,第一特征向量及第二特征向量建立损失函数,利用损失函数对噪声图像进行处理以得到模糊图像,利用模糊图像替换预处理图像。可使得对需要进行隐私保护的图像进行模糊化处理,并将模糊图像替换原始图像,使得实时应用类的业务场景可以输出隐私保护区域的模糊画面,从而最小化信息的采集,有效地降低了隐私的泄露。同时,将模糊图像替换原始图像进行存储及传输,在一定程度上避免了泄露或被拷贝的风险。再者,根据结构相似性及特征向量建立损失函数并优化损失函数以生成模糊图像,可以使得对图像模糊化的同时,保障其特征向量尽可能地接近,即就是输出的图像的特征尽可能接近预处理图像。在一定程度上提高了模糊图像的质量。进一步地,后续的人脸识别模型可根据模糊图像进行更为准确的还原,同时有效地提高对人脸进行识别鉴权的精确度。进一步地,通过人脸识别模型可进行人脸识别鉴权等后续业务的应用,使得有效地对图像进行隐私保护的同时可实现识别鉴权等业务。

请参阅图2,在某些实施方式中,获取预处理图像包括:

S11:对包括人脸特征的场景图像进行人脸检测得到人脸区域,并将人脸区域确定为预处理图像。

在某些实施方式中,处理器用于对包括人脸特征的场景图像进行人脸检测得到人脸区域,并将人脸区域确定为预处理图像。

具体地,可通过人脸检测模型如多任务卷积神经网络模型(Multi task Convolutional Neural Network,MTCNN)对场景图像进行检测以得到人脸区域,然后将人脸区域作为预处理人脸图像进行后续模糊化处理,具体过程同上述实施方式。

如此,可通过人脸检测模型对人脸区域进行提取,以使得在人脸信息相关业务应用场景中可对人脸信息进行模糊化的隐私保护。

请参阅图3,在某些实施方式中,图像处理方法还包括:

S60:对预处理人脸图像进行人脸识别以对人脸进行鉴权。

在某些实施方式中,处理器用于对预处理人脸图像进行人脸识别以对人脸进行鉴权。

具体地,对预处理人脸图像进行人脸识别以对人脸进行鉴权。可利用多种人脸识别模型对人脸进行识别,例如在特征提取中可利用欧式距离或余弦距离等。

欧氏距离衡量的是两幅图像中各个点之间的绝对距离,通过欧氏距离对人脸进行特征提取,再通过欧氏距离与阈值的比较以对人脸进行识别。具体欧式距离计算公式此处略过,本申请可利用欧氏距离对预处理人脸图像进行人脸识别。

在某些实施方式中,可利用余弦距离对场景图像进行人脸识别,余弦距离用向量空间中两个向量夹角的余弦值作为衡量两幅图像差异的大小,通过余弦距离对人脸进行特征提取,再通过余弦距离与阈值的比较以对人脸进行识别。具体余弦距离计算公式此处略过,本申请可利用余弦距离对预处理人脸图像进行人脸识别。

需要说明的是,人脸识别与模糊化处理、替换图像没有先后顺序的区分,可按照实际业务情况进行程序设计。

如此,通过同时对人脸进行识别,使得人脸在进行模糊化处理保护隐私的基础上可对人脸进行鉴权。或者说,通过增加对人脸进行模糊化的处理再识别人脸进行鉴权,可使得人脸鉴权相关业务可有效地对人脸信息进行隐私保护,提高了人脸鉴权的安全性。

请参阅图4,在某些实施方式中,步骤S11还包括:

S111:将人脸区域进行尺寸变换以将原始的第一尺寸变换为第二尺寸以得到预处理图像。

同时,步骤S50包括:

S51:将模糊图像的尺寸变换为第一尺寸替换预处理图像。

在某些实施方式中,处理器用于将人脸区域进行尺寸变换以将原始的第一尺寸变换为第二尺寸以得到预处理图像,及将模糊图像的尺寸变换为第一尺寸替换预处理图像。

具体地,将人脸提取后的人脸区域进行如线性差值变换的尺寸变换以将原始的第一尺寸变换为第二尺寸以得到预处理图像。当对预处理图像进行模糊化处理后得到模糊图像,需将模糊图像还原为第一尺寸替换预处理图像。

如此,通过尺寸变换可统一各提取的人脸区域尺寸,同时有效地提高了后续的模糊化处理的效率。

在某些实施方式中,噪声图像为随机噪声图像,噪声图像的尺寸为第二尺寸。

请参阅图5,在某些实施方式中,步骤S30包括:

S31:建立第一损失函数

在某些实施方式中,处理器用于建立第一损失函数以得到损失函数,并最小化第一损失函数以得到模糊图像。

具体地,建立如下第一损失函数:

第一损失函数的输入为噪声图像T1及预处理图像T0,输出为对中间结果T2不断迭代产生的最优化结果T,即模糊图像。

其中,

另外,λ是损失函数的惩罚项,是优化过程中用于控制特征向量近似程度的惩罚因子。λ值越大,对特征向量的近似程度要求越高,根据实际情况进行设置,在计算过程中可进行相应调整。

如此,通过上述第一损失函数确定损失函数,并最小化第一损失函数可得到模糊图像。

请参阅图6,在某些实施方式中,图像处理方法还包括:

S70:建立第二损失函数

S80:最小化第一综合损失函数以得到模糊图像,第一综合损失函数包括第二损失函数及第一损失函数。

在某些实施方式中,处理器用于建立第二损失函数,并最小化第一综合损失函数以得到模糊图像,第一综合损失函数包括第二损失函数及第一损失函数。

具体地,建立如下第二损失函数:

将模糊图像还原到预处理图像中得到保护图像,对保护图像通过人脸检测模型进行检测,如果检测到人脸,且人脸的位置信息与预处理图像的位置信息的欧氏距离小于给定的阈值,则给定标签为label=1,否则标签为label=0。例如,保护图像A中的左上(x3,y3)和右下坐标(x,y4)与预处理图像B中的左上(x1,y1)和右下(x2,y2)的欧式距离dist(A,B)小于给定阈值,则给定标签为label=1,否则标签为label=0。

进一步地,在第二损失函数中输入保护图像A与预处理图像B,并对Loss

进一步地,第一综合损失函数包括第二损失函数及第一损失函数。即可定义第一综合损失函数TotalLoss

TotalLoss

通过最小化第一综合损失函数TotalLoss

如此,通过增加对保护图像的人脸检测的损失函数可进一步提高模糊图像的质量,使得替换的模糊 图像可更准确地替换预处理图像。

请参阅图7,在某些实施方式中,步骤S30还包括:

S32:建立第三损失函数Loss3=min(SSIM(T2,T0)+λcosθ)以确定损失函数,并最小化第三损失函数以得到模糊图像,其中,SSIM为结构相似性,T2为中间迭代图像,T0为所述预处理图像,cosθ为余弦距离。

在某些实施方式中,处理器用于建立第三损失函数以得到损失函数,并最小化第三损失函数以得到模糊图像。

具体地,建立如下第三损失函数:

Loss3=min(SSIM(T2,T0)+λcosθ)

第三损失函数的输入为噪声图像T1及预处理图像T0,输出为对中间结果T2不断迭代产生的最优化结果T,即模糊图像。

其中,cosθ为余弦距离,SSIM(T2,T0)为T2与T0的结构相似性。此处省略结构相异性的计算公式。SSIM的值越大,说明T2与T0越相似,通过最小化函数使得生成的模糊图像和预处理图像尽可能地差异最大化。同时两个图像的特征向量尽可能地接近。

相较于上述实施例Loss1中的

另外,λ是惩罚项,是优化过程中用于控制特征向量近似程度的惩罚因子。λ值越大,对特征向量的近似程度要求越高,根据实际情况进行设置,在计算过程中可进行相应调整。

如此,通过上述第三损失函数确定损失函数,并最小化第三损失函数可得到模糊图像。

请参阅图8,在某些实施方式中,图像处理方法还包括:

S90:建立第二损失函数

S100:最小化第二综合损失函数以得到模糊图像,第二综合损失函数包括第二损失函数及第三损失函数。

在某些实施方式中,处理器用于最小化第二综合损失函数以得到模糊图像,第二综合损失函数包括第二损失函数及第三损失函数。

具体地,第二综合损失函数包括第二损失函数及第三损失函数。即可定义第二综合损失函数TotalLoss

TotalLoss

最小化第一综合损失函数TotalLoss

如此,通过增加对保护图像的人脸检测的损失函数可进一步提高模糊图像的质量,使得替换的模糊图像可更准确地替换预处理图像。

请参阅图9,本申请实施方式还提供了一种隐私保护的图像处理装置10,本申请实施方式的图像处理装置10包括获取模块11、生成模块12、处理模块13、模糊模块14和替换模块15。获取模块11用于获取预处理图像以对预处理图像进行特征提取得到第一特征向量。生成模块12用于生成噪声图像以对噪声图像进行特征提取得到第二特征向量,噪声图像与预处理图像对应。处理模块13用于根据预处理图像与噪声图像的结构相似性,第一特征向量及第二特征向量建立损失函数。模糊模块14用于利用损失函数对噪声图像进行处理以得到模糊图像。替换模块15用于利用模糊图像替换预处理图像。

获取模块11获取预处理图像。其中,图像为想要进行隐私保护的图像,可存在于照片中、电视中或计算机屏幕中的图像、或视频中需要隐私保护的对象。同时,对象可包括人脸或其它需要进行隐私保护的区域,其保护范围可为整幅图像或感兴趣区域(Region Of Interest,ROI)。

具体地,获取的预处理图像为所需进行隐私保护的图像进行预处理之后的图像。其中,预处理包括对图像的截取、特征提取、图像为人脸的人脸检测等处理方式。

在某些实施方式中,所需进行隐私保护的图像为人脸,获取经过人脸检测后的人脸区域作为预处理 图像。

在某些实施方式中,图像中的固定区域需要隐私保护如右下角的水印处,则截取图像某一尺寸的右下角区域作为预处理图像。

进一步地,对预处理图像进行特征提取得到第一特征向量。其中,根据实际情况,不同的图像具有不同的特征向量,特征向量为图像技术领域中的通常含义。例如人脸图像的特征向量为人脸关键点的向量,具体包括人脸上具有明确语义的坐标点,如鼻尖、嘴角、眼角等。第一用于区别后续的特征向量。

生成模块12根据预处理图像生成噪声图像以对噪声图像进行特征提取得到第二特征向量。其中,噪声图像可为满足预设均值和预设方差的噪声图像,或随机产生的随机噪声图像。对噪声图像的特征提取方式可与对预处理图像进行特征提取的方式相同,其特征向量也可相同。

进一步地,处理模块13根据预处理图像与噪声图像的结构相似性,第一特征向量及第二特征向量建立损失函数。模糊模块14并利用损失函数对噪声图像进行处理以得到模糊图像。

可以理解的是,损失函数可根据不同的参数建立,本实施例中,通过提取预处理图像与噪声图像的结构相似性及特征向量建立损失函数。其中,结构相似性表征预处理图像及输出图像的相似性,通过对输入输出图像结构相似性的计算可使得结构相似性最小化,从而使得生成的模糊图像和预处理图像尽可能地差异最大化。在某些实施方式中,还可利用结构相异性。

其中,损失函数包括分类损失函数如利用交叉熵损失函数来判定实际的输出与期望的输出的接近程度,和/或质量损失函数判定输出图像与期望的输出的质量差异,和/或距离损失函数来判定特征向量的距离。同时,可利用一个或多个损失函数进行多目标的优化。进一步地,通过优化建立的损失函数如最小化损失函数以使得输出图像满足与预处理图像尽可能地差异最大化,同时特征向量尽可能地接近。

具体地,可根据第一特征向量及第二特征向量的距离损失建立损失函数,如欧式距离。同时可最小化特征向量的距离以使得生成的模糊图像和预处理图像的特征向量尽可能地接近。损失函数中输入噪声图像,并通过对损失函数进行优化使得输出期望的模糊图像,如对建立的损失函数进行最小化求解以优化中间参数,使得输出期望的模糊图像。

在某些实施方式中,可建立交叉熵损失函数以使得输出的模糊图像与预处理图像模糊化程度最大。

在某些实施方式中,可建立交叉熵损失函数以使得输出的模糊图像与预处理图像模糊化程度最大,同时,输出的模糊图像与预处理图像的特征向量最接近。

在某些实施方式中,可建立交叉熵损失函数及距离损失函数以使得输出的模糊图像与预处理图像模糊化程度最大,同时,输出的模糊图像与预处理图像的特征向量最接近。

替换模块15利用模糊图像替换预处理图像。当得到模糊图像后,将模糊图像替换预处理图像,或者说将模糊图像还原到预处理图像中。例如,在实时监控画面中,通过损失函数对人脸进行模糊化处理,然后将模糊化的图像还原到实时监控画面中,使得监控画面中仅能显示模糊化的人脸而非清晰的人脸。

在某些实施方式中,可对模糊化的图像进行尺寸调整等变换后再还原到实时监控画面中。

在某些实施方式中,图像为人脸信息,则还可进一步地对人脸进行人脸识别等后续应用。

如此,上述隐私保护的图像处理装置,通过获取模块11获取预处理图像以对预处理图像进行特征提取得到第一特征向量,生成模块12根据预处理图像生成噪声图像以对噪声图像进行特征提取得到第二特征向量,处理模块13根据预处理图像与噪声图像的结构相似性,第一特征向量及第二特征向量建立损失函数,模糊模块14利用损失函数对噪声图像进行处理以得到模糊图像,及替换模块15利用模糊图像替换预处理图像。可使得对需要进行隐私保护的图像进行模糊化处理,并将模糊图像替换原始图像,使得实时应用类的业务场景可以输出隐私保护区域的模糊画面,从而最小化信息的采集,有效地降低了隐私的泄露。同时,将模糊图像替换原始图像进行存储及传输,在一定程度上避免了泄露或被拷贝的风险。再者,根据结构相似性及特征向量建立损失函数并优化损失函数以生成模糊图像,可以使得对图像模糊化的同时,保障其特征向量尽可能地接近,即就是输出的图像的特征尽可能接近预处理图像。在一定程度上提高了模糊图像的质量。进一步地,后续的人脸识别模型可根据模糊图像进行更为准确的还原,同时有效地提高对人脸进行识别鉴权的精确度。进一步地,通过人脸识别模型可进行人脸识别鉴权等后续业务的应用,使得有效地对图像进行隐私保护的同时可实现识别鉴权等业务。

请参阅图10,在某些实施方式中,获取模块11包括提取单元111。提取单元111用于对包括人脸特征的场景图像进行人脸检测得到人脸区域,并将人脸区域确定为预处理图像。

如此,可通过人脸检测模型对人脸区域进行提取,以使得在人脸信息相关业务应用场景中可对人脸 信息进行模糊化的隐私保护。

请再次参阅图9,本申请实施方式的图像处理装置10还包括识别模块16。识别模块16用于对预处理人脸图像进行人脸识别以对人脸进行鉴权。

如此,通过同时对人脸进行识别,使得人脸在进行模糊化处理保护隐私的基础上可对人脸进行鉴权。或者说,通过增加对人脸进行模糊化的处理再识别人脸进行鉴权,可使得人脸鉴权相关业务可有效地对人脸信息进行隐私保护,提高了人脸鉴权的安全性。

请再次参阅图10,在某些实施方式中,提取单元111还包括尺寸变换子单元1111,替换模块15包括尺寸替换单元151。尺寸变换子单元1112用于将人脸区域进行尺寸变换以将原始的第一尺寸变换为第二尺寸以得到预处理图像。尺寸替换单元151用于将模糊图像的尺寸变换为第一尺寸以替换预处理图像。

如此,通过尺寸变换可统一各提取的人脸区域尺寸,有效地提高了后续的模糊化处理的效率。

在某些实施方式中,噪声图像为随机噪声图像,噪声图像的尺寸为第二尺寸。

请再次参阅图10,在某些实施方式中,处理模块13包括第一损失函数单元131。第一损失函数单元131用于建立优化第一损失函数

如此,通过上述第一损失函数确定损失函数,并最小化第一损失函数可得到模糊图像。

请再次参阅图9,某些实施方式中,图像处理装置10还包括第一综合损失函数模块17。第一综合损失函数模块17用于建立第二损失函数

如此,通过增加对保护图像的人脸检测的损失函数可进一步提高模糊图像的质量,使得替换的模糊图像可更准确地替换预处理图像。

请参阅图11,在某些实施方式中,处理模块13还包括第三损失函数单元132,第三损失函数单元132用于建立第三损失函数Loss3=min(SSIM(T2,T0)+λcosθ)以确定损失函数,并最小化第三损失函数以得到模糊图像,其中,SSIM为结构相似性,T2为中间迭代图像,T0为预处理图像,cosθ为余弦距离。

如此,通过上述第三损失函数确定损失函数,并最小化第三损失函数可得到模糊图像。

请再次参阅图12,在某些实施方式中,图像处理装置10还包括第二综合损失函数模块18。第二综合损失函数模块18用于建立第二损失函数

如此,通过增加对保护图像的人脸检测的损失函数可进一步提高模糊图像的质量,使得替换的模糊图像可更准确地替换预处理图像。

本申请实施方式还提供了一种计算机可读存储介质。一个或多个存储有计算机程序的非易失性计算机可读存储介质,当计算机程序被一个或多个处理器执行时,实现上述任一实施方式的图像处理方法。

综上所述,本申请实施方式的隐私保护的图像处理方法,图像处理装置、电子设备及存储介质,通过获取预处理图像以对预处理图像进行特征提取得到第一特征向量,根据预处理图像生成噪声图像以对噪声图像进行特征提取得到第二特征向量,根据预处理图像与噪声图像的结构相似性,第一特征向量及第二特征向量建立损失函数,利用损失函数对噪声图像进行处理以得到模糊图像,利用模糊图像替换预处理图像。至少具有以下有益效果:

一、可使得对需要进行隐私保护的图像进行模糊化处理

二、将模糊图像替换原始图像,使得实时应用类的业务场景可以输出隐私保护区域的模糊画面,从而最小化信息的采集,有效地降低了隐私的泄露。

三、将模糊图像替换原始图像进行存储及传输,在一定程度上避免了泄露或被拷贝的风险。

四、进一步地,通过人脸识别模型可进行人脸识别鉴权等后续业务的应用,使得有效地对图像进行 隐私保护的同时可实现识别鉴权等业务。

五、对于人脸信息领域,在模糊处理的基础上同时对人脸进行识别,使得人脸在进行模糊化处理保护隐私的基础上可对人脸进行鉴权。或者说,通过增加对人脸进行模糊化的处理再识别人脸进行鉴权,可使得人脸鉴权相关业务可有效地对人脸信息进行隐私保护,提高了人脸鉴权的安全性。

六、根据结构相异性或结构相似性及特征向量建立损失函数并优化损失函数以生成模糊图像,可以使得对图像模糊化的同时,保障其特征向量尽可能地接近,即就是输出的图像的特征尽可能接近预处理图像,而不至于差异或变形过大,如模糊成非人脸图像。在一定程度上提高了模糊图像的质量。进一步地,后续的人脸识别模型可根据模糊图像进行更为准确的还原,同时有效地提高对人脸进行识别鉴权的精确度。

七、通过多个损失函数进行多目标的优化,可进一步提高模糊图像的质量。

在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个,除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

相关技术
  • 夜景图像处理方法、装置、电子设备及存储介质
  • 人脸图像的处理方法及装置、电子设备和存储介质
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • 图像处理方法、装置、电子设备及计算机可读存储介质
  • 图像处理方法、装置、存储介质及电子设备
  • 图像处理方法、图像处理装置、电子设备和存储介质
  • 图像处理方法、图像处理装置、电子设备和可读存储介质
技术分类

06120116482530