保护隐私的表情识别模型训练方法及表情识别方法及装置

技术领域

本发明涉及人工智能领域，尤其涉及一种保护隐私的表情识别模型训练方法及表情识别方法及装置。

背景技术

随着人工智能技术的发展，面部识别技术已经被广泛应用，但是从高清用户照片中识别表情，很可能会侵犯用户隐私。

在进行面部识别时，为了避免侵犯用户隐私，通常会采用一些隐藏用户隐私的方法，例如将图片中的隐私过滤掉，或者在原始图片中引入干扰信息等，但是，这些方法都无法避免会对表情识别产生影响，例如过滤掉图片中的隐私，很有可能会过滤掉表情信息，导致无法进行表情识别，在原始图片中引入干扰信息也可能会引入噪声从而降低表情识别的质量。

因此，现在亟需一种在不影响表情识别质量的前提下，避免侵犯用户隐私的方法。

发明内容

有鉴于此，本发明实施例公开了一种保护隐私的表情识别模型的训练方法及表情识别方法，通过低分辨率图片进行表情识别，降低了图片中包含的隐私信息，训练后的低分辨率编码器从低分辨率图片中分解出的低分辨率特征，能够进一步的降低携带的隐私信息。基于此，在实现了表情识别的同时，保障了用户的隐私安全。

本发明实施例公开了一种保护隐私的表情识别模型的训练方法，所述保护隐私的表情识别模型包括：低分辨率编码器和低分辨率表情识别器；

所述保护隐私的表情识别模型的训练方法包括：

获取包含高分辨率图片和低分辨率图片的数据集；所述高分辨率图片和低分辨率图片具有一一对应关系；

通过所述数据集中的高分辨率图片和所述高分辨率图片的表情标签、隐私标签对高分辨率编码器进行优化训练，使得训练后的所述高分辨率编码器具备从高分辨率图片中分解出表情特征和隐私特征的能力，并且分解出的表情特征不携带隐私信息；

将所述数据集中的低分辨率图片作为第一训练样本，以所述低分辨率编码器从所述第一训练样本中分解出的低分辨率特征趋近于所述高分辨率编码器分解出的表情特征为目标，对所述低分辨率编码器进行训练；所述高分辨率编码器分解出的表情特征是与所述第一训练样本具有一一对应关系的高分辨率图片的表情特征；

将低分辨率编码器输出的低分辨率特征作为第二训练样本对所述低分辨率表情识别器进行训练，使得训练后的低分辨率表情识别器具备从低分辨率图片中识别出表情的能力。

可选的，所述通过所述数据集中的高分辨率图片和所述高分辨率图片的表情标签以及隐私标签对高分辨率编码器进行优化训练，包括：

将所述数据集中的高分辨率图片输入到高分辨率编码器中，得到第一表情特征和第一隐私特征；

将所述第一表情特征输入到高分辨率表情识别器中进行表情识别，将所述第一隐私特征输入到所述高分辨率隐私识别器中进行隐私识别；

通过所述高分辨率表情识别器对所述第一表情特征的识别结果和高分辨率隐私识别器对所述第一隐私特征的识别结果构建第一损失函数；

通过所述第一损失函数对所述高分辨率表情识别器、所述高分辨率隐私识别器和高分辨率编码器进行优化；

将所述第一表情特征输入到所述高分辨率隐私识别器中进行隐私识别，将所述第一隐私特征输入到所述高分辨率表情识别器中进行表情识别；

通过所述高分辨率隐私识别器对所述第一表情特征的识别结果和所述高分辨率表情识别器对所述第一隐私特征的识别结果，构建第二损失函数；

通过不断减小预设的第二损失函数对所述高分辨率隐私识别器和所述高分辨率表情识别器进行优化；

通过不断增大所述第二损失函数对所述高分辨率编码器进行优化。

可选的，所述通过所述数据集中的高分辨率图片和所述高分辨率图片的表情标签以及隐私标签对高分辨率编码器进行优化训练，包括：

将所述数据集中的高分辨率图片输入到所述高分辨率编码器中，得到第二表情特征和第二隐私特征；

将所述数据集中的高分辨率图片的第二表情特征和第二隐私特征进行交叉拼接，得到包含多个第一合成特征的第一合成特征集；任意一个合成特征中的第二表情特征和第二隐私特征分别来自人物身份不同、表情相同的高分辨率图片；

将所述第一合成特征集输入到解码器中，得到包含多个第三图片的第三图片集；

构建第三损失函数，通过所述第三损失函数对所述高分辨率编码器和解码器进行优化；所述第三损失函数是利用第一合成特征中的第二隐私特征对应的高分辨率图片和对所述第一合成特征经过解码器解码后得到的第三图片的相似度构建的。

可选的，所述通过所述数据集中的高分辨率图片和所述高分辨率图片的表情标签以及隐私标签对高分辨率编码器进行优化训练，包括：

将所述第三图片集中的第三图片输入到高分辨率编码器中，得到第三表情特征和第三隐私特征；

将所述第三图片集中的第三表情特征与数据集中的高分辨率图片的第二隐私特征进行拼接，得到包含多个第二合成特征的第二合成特征集；其中，每个第二合成特征的第三表情特征对应的第三图片与第二隐私特征对应的高分辨率图片中人物身份不同、表情相同；

将所述第二合成特征集中的第二合成特征输入到解码器中，得到包含多个第四图片的第四图片集；

构建第四损失函数，并通过所述第四损失函数对所述高分辨率编码器和解码器进行优化；所述第四损失函数是利用第二合成特征中的第二隐私特征对应的高分辨率图片与对所述第二合成特征进行解码后得到的第四图片的相似度构建的。

可选的，所述将数据集中的低分辨率图片作为第一训练样本，以所述低分辨率编码器从所述第一训练样本中分解出的低分辨率特征趋近于所述高分辨率编码器分解出的表情特征为目标，对所述低分辨率编码器进行训练，包括：

将所述数据集中低分辨率图片输入到低分辨率编码器中，得到低分辨率特征；

将所述低分辨率特征输入到已训练的高分辨率表情识别器中进行表情识别；

基于所述高分辨率表情识别器对所述低分辨率特征的识别结果构建第五损失函数，并通过不断降低所述第五损失函数对所述高分辨率表情识别器和所述低分辨率编码器进行优化；

将所述数据集中的高分辨率图片输入到所述高分辨率编码器中，得到第四表情特征和第四隐私特征；

将所述数据集中低分辨率图像的低分辨率特征与所述数据集中高分辨率图像的第四隐私特征进行拼接，得到包含多个第三合成特征的第三合成特征集；其中，每一个第三合成特征的低分辨率特征对应的低分辨率图片和第四隐私特征对应高分辨率图片中人物身份不同、表情相同；

将第三合成特征集中的第三合成特征输入到解码器中，得到包含多个第五图片的第五图片集；

构建第六损失函数和第七损失函数，并通过所述第六损失函数和第七损失函数对所述低分辨率编码器进行优化；

所述第六损失函数是基于高分辨率表情识别器分别对低分辨率特征和表情特征的识别结果的相似性构建的，低分辨率特征对应的低分辨率图片和表情特征的高分辨率图片具有一一对应关系；所述第七损失函数是利用第五图片集中的第五图片和与所述第五图片具有相关性的第三图片集中的第三图片的相似度构建的，具有相关性的第五图片和第三图片对应的隐私特征是相同的，且用于生成所述第五图片的第三合成特征中的低分辨率特征所对应的低分辨率图片，和用于生成与所述第五图片具有相关性的第三图片的第一合成特征中的第二表情特征所对应的高分辨率图片具有一一对应关系。

可选的，所述将低分辨率编码器输出的表情特征作为第二训练样本对所述低分辨率表情识别器进行训练，包括：

将所述数据集中的低分辨率图片输入到已训练的低分辨率编码器中，得到第五表情特征；

将所述第五表情特征输入到低分辨率表情识别器中进行表情识别，并通过预设的第八损失函数对所述低分辨率表情识别器进行优化；所述第八损失函数是通过低分辨率识别器对所述第五表情特征的识别结果构建的。

可选的，所述通过所述数据集中的高分辨率图片和所述高分辨率图片的表情标签、隐私标签对高分辨率编码器进行优化训练，包括：

将所述数据集中的高分辨率图片输入高分辨率编码器中，得到第六表情特征和第六隐私特征；

将所述数据集中的高分辨率图片的第六表情特征输入到高分辨率表情识别器中进行表情识别，将所述数据集中高分辨率图片的第六隐私特征输入到所述高分辨率隐私识别器中进行隐私识别；

通过所述高分辨率表情识别器对所述第六表情特征的识别结果和高分辨率隐私识别器对所述第六隐私特征的识别结果构建第九损失函数；

将所述数据集中的高分辨率图片中的第六表情特征输入到所述高分辨率隐私识别器中进行隐私识别，将所述数据集中的高分辨率图片的第六隐私特征输入到所述高分辨率表情识别器中进行表情识别；

通过所述高分辨率隐私识别器对所述第六表情特征的识别结果和所述高分辨率表情识别器对所述第六隐私特征的识别结果，构建第十损失函数；

将所述高分辨率图片中的第六表情特征和第六隐私特征进行交叉拼接，得到包含多个第四合成特征的第四合成特征集；每个第四合成特征的第六表情特征对应的高分辨率图片和第六隐私特征对应的高分辨率图片中人物的身份不同、表情相同；

将所述第四合成特征集中的第四合成特征输入到图片解码器中，得到包含多个第八图片的第八图片集；

基于所述第四合成中的第六隐私特征对应的高分辨率图片和对所述第四合成特征经过解码器进行解码后得到的第八图片的相似度构建第十一损失函数；

将所述第八图片集中的第八图片输入到高分辨率编码器中，得到第七表情特征和第七隐私特征；

将所述第八图片集的第七表情特征和高分辨率图片的第六隐私特征进行拼接，得到包含多个第五合成特征的第五合成特征集；每个第五合成特征中第七表情特征对应的第八图片和第六隐私特征对应的高分辨率图片中的人物的身份不同、表情相同；

将所述第五合成特征集中的第五合成特征输入到解码器中，得到包含多个第九图片的第九图片集；

通过所述第五合成特征中的第六隐私特征对应的高分辨率图片和对所述第五合成特征进行解码后得到的第九图片的相似度构建第十二损失函数；通过所述第九图片集中的第九图片和第五合成特征的第六隐私特征对应的高分辨率图片的相似度构建第十二损失函数；

通过不断降低所述第九损失函数、第十一损失函数和第十二损失函数，以及不断增大所述第十损失函数，对所述高分辨率编码器进行优化；

通过不断降低第九损失函数和第十损失函数对所述高分辨率表情识别器、所述高分辨率隐私识别器进行优化；

通过不断降低所述第十一损失函数和第十二损失函数对所述图片解码器进行优化。

本发明实施例公开了一种保护隐私的表情识别方法，包括：

获取待识别的低分辨率图片；

将所述低分辨率图片输入到所述表情识别模型的低分辨率编码器中，得到第六表情特征；所述低分辨率编码器是通过上述所述的一种保护隐私的表情识别模型的训练方法得到的；

将所述第六表情特征输入到所述表情识别模型的低分辨率表情识别器中，输出表情；所述低分辨率表情识别器是通过上述所述的一种保护隐私的表情识别模型的训练方法得到的。

可选的，所述获取待识别的低分辨率图片，包括：

若待识别的图片为高分辨率图片，将所述待识别的图片进行压缩，得到待识别的低分辨率图片。

本发明实施例公开了一种保护隐私的表情识别模型的训练装置，所述保护隐私的表情识别模型包括：低分辨率编码器和低分辨率表情识别器；

所述保护隐私的表情识别模型的训练装置包括：

数据集获取单元，用于获取包含高分辨率图片和低分辨率图片的数据集；所述高分辨率图片和低分辨率图片具有一一对应关系；

高分辨率编码器训练单元，用于通过所述数据集中的高分辨率图片和所述高分辨率图片的表情标签、隐私标签对高分辨率编码器进行优化训练，使得训练后的所述高分辨率编码器具备从高分辨率图片中分解出表情特征和隐私特征的能力，并且分解出的表情特征不携带隐私信息；

低分辨率编码器训练单元，用于将所述数据集中的低分辨率图片作为第一训练样本，以所述低分辨率编码器从所述第一训练样本中分解出的低分辨率特征趋近于所述高分辨率编码器分解出的表情特征为目标，对所述低分辨率编码器进行训练；所述高分辨率编码器分解出的表情特征是与所述第一训练样本具有一一对应关系的高分辨率图片的表情特征；

低分辨率表情识别器训练单元，用于将低分辨率编码器输出的低分辨率特征作为第二训练样本对所述低分辨率表情识别器进行训练，使得训练后的低分辨率表情识别器具备从低分辨率图片中识别出表情的能力。

本发明实施例公开了一种保护隐私的表情识别模型的训练方法及表情识别方法，其中，表情识别模型的训练方法，包括：获取包含高分辨率图片和低分辨率图片的数据集；所述高分辨率和低分辨率图片具有一一对应关系；通过所述数据集中的高分辨率图片和所述高分辨率图片的表情标签、隐私标签对高分辨率编码器进行优化训练，使得训练后的所述高分辨率编码器具备从高分辨率图片中分解出表情特征和隐私特征的能力，并且分解出的表情特征不携带隐私信息；基于数据集中的低分辨率图像和高分辨率编码器分解的表情特征，对所述低分辨率编码器进行训练；并将低分辨率编码器输出的低分辨率特征作为第二训练样本对所述低分辨率表情识别器进行训练，使得训练后的低分辨率表情识别器具备从低分辨率图片中识别出表情的能力。由此，通过训练后的低分辨率编码器和低分辨率表情识别器则可以直接对低分辨率图片进行表情识别，从而大大减少了待识别的图片中包含的隐私信息，并且，训练后的低分辨率编码器从低分辨率图片中分解出的低分辨率特征，能够进一步的降低携带的隐私信息。基于此，在实现了表情识别的同时，保障了用户的隐私安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明实施例公开了一种保护隐私的表情识别模型的训练方法的流程示意图；

图2示出了本发明实施例提供的一种低分辨率编码器的训练方法的又一流程示意图；

图3示出了本发明实施例公开的一种保护隐私的表情识别模型的训练装置的结构示意图；

图4示出了本发明实施例提供的一种保护隐私的表情识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，示出了本发明实施例公开了一种保护隐私的表情识别模型的训练方法的流程示意图，在本实施例中，该方法包括：

其中，保护隐私的表情识别模型包括：低分辨率编码器和低分辨率表情识别器；其中，对保护隐私的表情识别模型的训练方法包括：

S101：获取包含高分辨率图片和低分辨率图片的数据集；所述高分辨率和低分辨率图片具有一一对应关系；

本实施例中，可以从多种不同的来源获取高分辨率图片，并将高分辨率图片压缩到低分辨率图片，并生成高分辨率图片和低分辨率图片一一对应的数据集。

其中，低分辨率图像可以为预设的分辨率较低的图像，例如可以为16*16的分辨率。

举例说明：可以将数据集表示为集D＝{(x

本实施例中，预先标识出了每个高分辨率图像的隐私标签和表情标签，那么生成的数据集可以表示为：

S102：通过所述数据集中的高分辨率图片和所述高分辨率图片的表情标签、隐私标签对高分辨率编码器进行优化训练，使得训练后的所述高分辨率编码器具备从高分辨率图片中分解出表情特征和隐私特征的能力，并且分解出的表情特征不携带隐私信息；

本实施例中，可以通过多种方式对高分辨率编码器进行训练，训练后的高分辨率编码器能够分解出表情特征和隐私特征，并且分解出的表情特征不携带有隐私信息。

本实施例中，高分辨率编码器分解出的隐私特征和表情特征是中间量，其中，表情特征输入到高分辨率表情识别器中进行表情结果识别，隐私特征输入到隐私识别器中进行隐私识别。为了使得高分辨率编码器分解出的隐私特征和表情特征在进行表情识别和隐私识别时，具有更好的效果，本实施例中，通过借助表情识别器和隐私识别器的学习训练过程，对高分辨率编码器进行优化。

优选的，可以通过交叉对抗的方式对高分辨率器进行优化训练，即将高分辨率图片中的表情特征输入到隐私识别器中进行隐私识别，将隐私特征输入到表情识别器中进行表情识别，并通过识别结果分别对表情识别器、隐私识别器和高分辨率编码器进行优化，其中，具体的训练过程会在下文中进行详细的介绍，本实施例中不再赘述。

并且，本实施例中，为了进一步优化高分辨率编码器，使得高分辨率编码器输出的表情特征不携带隐私信息，本实施例中，通过身份重构的方式对高分辨率编码器进行训练，即将数据集中的高分辨率图片的表情特征和隐私特征进行交叉重构，得到合成特征，其中进行交叉重构的表情特征和隐私特征分别对应的高分辨率图片中的人物身份不同、表情相同，并对重构后得到的合成特征输入到解码器中进行解码，得到新的图片，基于通过重构的方式得到的图片与重构时采用的隐私特征对应的高分辨率图片的相似度，对高分辨率编码器、解码器进行优化。

S103：将所述数据集中的低分辨率图片作为第一训练样本，以所述低分辨率编码器从所述第一训练样本中分解出的低分辨率特征趋近于所述高分辨率编码器分解出的表情特征为目标，对所述低分辨率编码器进行训练；所述高分辨率编码器分解出的表情特征是与所述第一训练样本具有一一对应关系的高分辨率图片的表情特征；

本实施例中，通过上述介绍可知，训练后的高分辨率编码器分解出的表情特征不携带隐私特征，通过高分辨率编码器分解出的表情特征与低分辨率编码器输出的低分辨率特征的相似度对低分辨率编码器进行训练，具体的，通过不断的让低分辨率编码器输出的低分辨率特征趋近于高分辨率编码器输出的表情特征，从而使得低分辨率编码器输出的低分辨率特征仅包含表情特征而不携带隐私特征。

其中，对低分辨率编码器进行训练的方法会在下文中进行详细的介绍，本实施例中不再赘述。

S104：将低分辨率编码器输出的低分辨率特征作为第二训练样本对所述低分辨率表情识别器进行训练，使得训练后的低分辨率表情识别器具备从低分辨率图片中识别出表情的能力。

本实施例中，构建的低分辨率表情识别器与高分辨率表情识别器的结构相同，具体的结构本实施例中不进行限定。

本实施例中，将低分辨率编码器输出的表情特征作为第二训练样本对所述低分辨率表情识别器进行训练，其中，训练方法包括多种，本实施例中不进行限定，例如可以通过如下的方法：

将所述数据集中的低分辨率图片输入到已训练的低分辨率编码器中，得到第五表情特征；

将所述第五表情特征输入到低分辨率表情识别器中进行表情识别，并通过预设的第八损失函数对所述低分辨率表情识别器进行优化；所述第八损失函数是通过低分辨率识别器对所述第五表情特征的识别结果构建的；

举例说明：第八损失函数可以通过如下的公式1)表示：

其中，

本实施例中，先通过高分辨率图像和相对应的表情标签、隐私标签对高分辨率编码器进行优化训练，从而得到具有具备从高分辨率图片中分解出表情特征和隐私特征的能力的高分辨率编码器，并且分解出的表情特征不携带隐私特征；然后利用高分辨率编码器分解出的表情特征对低分辨率编码器进行训练，并以所述低分辨率编码器从低分辨率图像中分解出的低分辨率特征趋近于所述高分辨率编码器分解出的表情特征为训练目标，这样得到的低分辨率编码器从低分辨率图像中分解出的低分辨率特征只包含表情特征且不携带隐私信息；最后将低分辨率编码器输出的低分辨率特征作为第二训练样本对所述低分辨率表情识别器进行训练，从而具备从低分辨率图片中识别出表情的能力的低分辨率表情识别器。

由此，通过训练后的低分辨率编码器和低分辨率表情识别器则可以直接对低分辨率图片进行表情识别，从而大大减少了待识别的图片中包含的隐私信息，并且，训练后的低分辨率编码器从低分辨率图片中分解出的低分辨率特征，能够进一步的降低携带的隐私信息。基于此，在实现了表情识别的同时，保障了用户的隐私安全。

在一种实施方式中，上述提到的高分辨率编码器、高分辨率表情识别器、高分辨率隐私识别器、低分辨率编码器、低分辨率表情识别器和解码器。其中，上述这些模型的结构的构成方式可以包括多种，本实施例中不进行限定，优选的，本实施例中公开了如下的构成方式：

高分辨率编码器和低分辨率编码器的结构相同，具体的，包括：由1个输入层、4个卷积下采样层与3个残差模块串联组成，但是低分辨率编码器的输出通道数是高分辨率编码器的输出通道数的一半。

高分辨率表情识别器、高分辨率隐私识别器和低分辨率表情识别的结构完全相同，均由全连接神经网络组成，最后输出分类结果。

解码器由5层与高分辨率编码器中的卷积下采样层镜像对称的上采样组成，可以根据高分辨率编码器最后一层得到的特征生成图像。

通过上述介绍可知，可以通过交叉对抗和身份重构的方式对高分辨率编码器进行优化，其中，基于交叉对抗和身份重构的方式对高分辨率编码器进行优化的具体过程可以包括如下的两种实施方式：

实施方式一：具体的参见如下的：S201-S206、S301-S304和S401-S404。

具体的，通过交叉对抗的方式对高分辨率器进行优化训练的方法可以包括如下的S201-S206：

S201：将所述数据集中的高分辨率图片输入到高分辨率编码器中，得到第一表情特征和第一隐私特征；

本实施例中，将数据集D中的高分辨率图像x

S202：将所述第一表情特征输入到高分辨率表情识别器中进行表情识别，将所述第一隐私特征输入到所述高分辨率隐私识别器中进行隐私识别；

S203：通过所述高分辨率表情识别器对所述第一表情特征的识别结果和高分辨率隐私识别器对所述第一隐私特征的识别结构，构建第一损失函数；

S204：通过所述第一损失函数对所述高分辨率表情识别器、所述高分辨率隐私识别器和高分辨率编码器进行优化；本实施例中，将身份隐私特征

举例说明：第一损失函数可以通过如下的公式2)表示：

其中，

S203：将所述第一表情特征输入到所述高分辨率隐私识别器中进行隐私识别，将所述第一隐私特征输入到所述高分辨率表情识别器中进行表情识别；

S204：通过所述高分辨率隐私识别器对所述第一表情特征的识别结果和所述高分辨率表情识别器对所述第一隐私特征的识别结果，构建第二损失函数；

S205：通过不断减小预设的第二损失函数对所述高分辨率隐私识别器和所述高分辨率表情识别器进行优化；

S206：通过不断增大所述第二损失函数对所述高分辨率编码器进行优化。

本实施例中，将表情特征

举例说明：第二损失函数可以通过如下的公式3)表示：

其中，

本实施例中，在对高分辨率表情识别器和高分辨率隐私识别器进行优化时，将第二损失函数往减小的方向上调整，在对高分辨率编码器进行优化时，将第二损失函数往增大的方向上进行调整。也就是说，在对高分辨率编码器进行优化时，将高分辨率编码器往与隐私识别器优化的反方向进行调整，这样使得，高分辨率编码器分解出的表情特征输入到隐私识别器后，使得隐私识别器尽可能的无法从表情特征中识别到隐私信息，也使得表情识别器尽可能地无法从隐私特征中识别出表情，由此，通过上述交叉对抗地过程对高分辨率编码器进行优化，使得高分辨率编码器分解出的表情特征能够携带越来越少的隐私信息。

其中，本实施例中，可以通过多种方式对网络参数进行优化，本实施例中不进行限定，例如可以采用Adam梯度优化方法对所有网络参数进行优化。

本实施例中，通过身份重构的方式对高分辨率编码器进行训练的过程可以包括如下的步骤S301-S304：

S301：将所述数据集中的高分辨率图片输入到所述高分辨率编码器中，得到第二表情特征和第二隐私特征；

S302：将所述数据集中的高分辨率图片的第二表情特征和第二隐私特征进行交叉拼接，得到包含多个第一合成特征的第一合成特征集；任意一个合成特征的第二表情特征和第二隐私特征分别来自人物身份不同、表情相同的高分辨率图片；

假设高分辨率图片中存在两个图片，分别为图片A和图片B，这两个图片中的人物身份不同，但是表情相同，那么可以将图片A的第二表情特征和图片B的第二隐私特征进行拼接。

S303：将所述第一合成特征集输入到解码器中，得到包含多个第三图片的第三图片集；

本实施例中，通过高分辨率数据集中的高分辨率图片，生成了包含多个第一合成特征的第一合成特征集，那么该第一合成特征集中的每一个合成特征输入到解码器后，可以得到相对应的第三图片。

S304：构建第三损失函数，通过所述第三损失函数对所述高分辨率编码器和解码器进行优化；所述第三损失函数是利用第一合成特征中的第二隐私特征对应的高分辨率图片和由该第一合成特征解码得到的第三图片的相似度构建的。

本实施例中，第一合成特征是由两个人物身份不同、表情相同的高分辨率图片中的表情特征和隐私特征进行拼接后得到的，那么拼接后得到的第一合成特征和拼接采用的隐私特征的高分辨率图片具有相似性，并且，二者的相似性越高，表示高分辨率编码器分解出的表情特征的纯度越高、即高分辨率编码器分解出的表情特征包含的隐私特征越少。假设某个第一合成特征的隐私特征对应的高分辨率图片为图片B，该第一合成特征经过解码器后得到的图片为图片C，那么图片B与图片C的相似度越高，表示高分辨率编码器分解出的表情特征中包含的隐私特征越少。由此，基于上述原理，利用第一合成特征中的第二隐私特征对应的高分辨率图片和对所述第一合成特征进行解码后得到的第三图片的相似度构建第三损失函数，并通过第三损失函数对高分辨率编码器和解码器进行优化。

举例说明：通过利用第一合成特征中的第二隐私特征对应的高分辨率图片和由该第一合成特征解码得到的第三图片的相似度构建的第三损失函数可以通过如下的公式4)表示：

其中，

本实施例中，通过不断的调整高分辨率编码器的参数，使得第三损失函数不断减小，即通过不断的提高第一合成特征中的第二隐私特征对应的高分辨率图片和由该第一合成特征解码得到的第三图片的相似度，提升高分辨率编码器提取表情特征和隐私特征的能力，使得高分辨率编码器分解出的表情特征包含越来越少的隐私特征。

本实施例中，为了进一步的提高高分辨率编码器的精度，可以执行多次身份重构，优选的，还可以通过如下的S401-S404再次通过身份重构的方式对高分辨率编码器进行优化：

S401：将所述第三图片输入到所述高分辨率编码器中，得到第三表情特征和第三隐私特征；

S402：将所述第三图片集中的第三表情特征与数据集中的高分辨率图片的第二隐私特征进行拼接，得到包含多个第二合成特征的第二合成特征集；其中，每个第二合成特征的第三表情特征对应的第三图片与第二隐私特征对应的高分辨率图片中人物身份不同、表情相同；

在一种实施方式中，假设第三图片集中的某个第三图片为图片C，对该图片C进行解码后得到第三表情特征和第三隐私特征，其中，该图片C是由第一合成特征经过解码器解码后得到的，假设该第一合成特征中的第二表情特征对应的高分辨率图片为图片D，那么S402中可以将图片C的第三表情特征与图片D的第二隐私特征进行拼接。

S403：将所述第二合成特征输入到解码器中，得到包含多个第四图片的第四图片集；

S404：构建第四损失函数，并通过所述第四损失函数对所述高分辨率编码器和图片解码器进行优化；所述第四损失函数是利用第二合成特征中的第二隐私特征对应的高分辨率图片与对所述第二合成特征进行解码后得到的第四图片的相似度构建的。

举例说明：第四损失函数可以通过如下的公式5)表示：

其中，x

本实施例中，第二合成特征中第二隐私特征对应的高分辨率图片与该第二合成特征经过解码器解码后得到的第四图片的相似度越高，表示高分辨率编码器从第三图片中分解出的表情特征包含的隐私特征越少，基于此原理，通过不断的减小利用第二合成特征中的第二隐私特征对应的高分辨率图片与对所述第二合成特征进行解码后得到的第四图片的相似度构建的第四损失函数，对高分辨率编码器进行优化，从而提高高分辨率分解表情特征的精确度。

其中，可以基于S401-S404步骤的执行原理，可以多次进行身份重构，并再每次身份重构，通过不断的降低损失函数对高分辨率编码器进行优化。

实施方式二：

S501：将所述数据集中的高分辨率图片输入到高分辨率编码器中，得到第六表情特征和第六隐私特征；

S502：将所述数据集中的高分辨率图片的第六表情特征输入到高分辨率表情识别器中进行表情识别，将所述数据集中的高分辨率图片的第六隐私特征输入到所述高分辨率隐私识别器中进行隐私识别；

S503：通过所述高分辨率表情识别器对所述第六表情特征的识别结果和高分辨率隐私识别器对所述第六隐私特征的识别结果构建第九损失函数；

其中，上述第九损失函数可以用于对高分辨率编码器进行优化，在一种实施方式中，第九损失函数的表示形式可以参见上述的公式2)。

S504：将所述数据集中的高分辨率图片中的第六表情特征输入到所述高分辨率隐私识别器中进行隐私识别，将所述数据集中的高分辨率图片的第六隐私特征输入到所述高分辨率表情识别器中进行表情识别；

S505：通过所述高分辨率隐私识别器对所述第六表情特征的识别结果和所述高分辨率表情识别器对所述第六隐私特征的识别结果，构建第十损失函数；

其中，第十损失函数用于高分辨率编码器、高分辨率隐私识别器和高分辨率表情识别器进行优化，在一种实施方式中，第十损失函数的表示形式可以参见上述的公式3)。

S506：将所述高分辨率图片中的第六表情特征和第六隐私特征进行交叉拼接，得到包含多个第四合成特征的第四合成特征集；每个第四合成特征的第六表情特征对应的高分辨率图片和第六隐私特征对应的高分辨率图片中人物的身份不同、表情相同；

S507：将所述第四合成特征集中的第四合成特征输入到图片解码器中，得到包含多个第八图片的第八图片集；

S508：基于所述第四合成中的第六隐私特征对应的高分辨率图片和对所述第四合成特征经过解码器进行解码后得到的第八图片的相似度构建第十一损失函数；

其中，该第十一损失函数用于对高分辨率编码器和解码器进行优化，在一种实施方式中，第十一损失函数的表现形式可以参见上述的公式4)。

S509：将所述第八图片集中的第八图片输入到高分辨率编码器中，得到第七表情特征和第七隐私特征；

S510：将所述第八图片集的第七表情特征和高分辨率图片的第六隐私特征进行拼接，得到包含多个第五合成特征的第五合成特征集；每个第五合成特征中第七表情特征对应的第八图片和第六隐私特征对应的高分辨率图片中的人物的身份不同、表情相同；

S511：将所述第五合成特征集中的第五合成特征输入到解码器中，得到包含多个第九图片的第九图片集；

S512：基于所述第五合成特征的第六隐私特征对应的高分辨率图片和对第五合成特征经过解码器进行解码后得到的第九图片的相似度构建第十二损失函数；

其中，第十二损失函数用于对高分辨率编码器和解码器进行优化，在一种实施方式中，该第十二损失函数的表现形式可以参见如上的公式5)。

S513：通过不断降低所述第九损失函数第十损失函数、第十一损失函数和第十二损失函数，以及不断增大所述第十损失函数，对所述高分辨率编码器进行优化；

S514：通过不断降低第九损失函数和第十损失函数对所述高分辨率表情识别器、所述高分辨率隐私识别器进行优化；

S515：通过不断降低所述第十一损失函数和第十二损失函数对所述图片解码器进行优化。

通过上述实施方式一和实施方式二可知，其中，实施方式一的一种实施方式是，经过一种方式对高分辨率编码器进行优化后，采用已优化的高分辨率编码器再通过其它的方式再次对高分辨率编码器进行优化，即通过交叉对抗的方式对高分辨率编码器进行初步优化后，再通过身份重构的方式对初步优化后的高分辨率编码器再次进行优化。实施方式二的一种实施方式可以理解为，分别通过交叉对抗和身份重构的方式对数据集中的高分辨率图片进行处理，再通过对数据集中的高分辨率图片的处理结果，对高分辨率编码器进行优化。

参考图2，示出了本发明实施例提供的一种低分辨率编码器的训练方法的又一流程示意图，在本实施例中，该方法包括：

S601：将所述数据集中低分辨率图片输入到低分辨率编码器中，得到低分辨率特征；

本实施例中，将数据集中的低分辨率图片x

S602：将所述低分辨率特征输入到已训练的高分辨率表情识别器中进行表情识别；

S603：基于所述高分辨率表情识别器对所述低分辨率特征的识别结果构建第五损失函数，并通过不断降低所述第五损失函数对所述高分辨率表情识别器和所述低分辨率编码器进行优化；

本实施例中，将低分辨率特征

举例说明：第五损失函数的一种表现形式可以参考如下的公式6)所示：

其中，

S604：将所述数据集中的高分辨率图片输入到所述高分辨率编码器中，得到第四表情特征和第四隐私特征；

S605：将所述数据集中低分辨率图像的低分辨率特征与所述数据集中高分辨率图像的第四隐私特征进行拼接，得到包含多个第三合成特征的第三合成特征集；其中，每一个第三合成特征的低分辨率特征对应的低分辨率图片和第四隐私特征对应高分辨率图片中人物身份不同、表情相同；

S606：将第三合成特征集中的第三合成特征输入到解码器中，得到包含多个第五图片的第五图片集；

S607：构建第六损失函数和第七损失函数，并通过所述第六损失函数和第七损失函数对所述低分辨率编码器进行优化；

其中，所述第六损失函数是基于高分辨率表情识别器分别对低分辨率特征和表情特征的识别结果的相似性构建的，所述低分辨率特征对应的低分辨率图片和表情特征对应的高分辨率图片具有一一对应关系；所述第七损失函数是利用第五图片集中的第五图片和与所述第五图片具有相关性的第三图片集中的第三图片的相似度构建的，具有相关性的第五图片和第三图片的隐私特征是相同的，且用于生成所述第五图片的第三合成特征中的低分辨率特征所对应的低分辨率图片，和用于生成与所述第五图片具有相关性的第三图片的第一合成特征中的第二表情特征所对应的高分辨率图片具有一一对应关系。

举例说明：假设第五图片是通过第三合成特征M解码得到的，构成第一合成特征M的低分辨率特征M来自低分辨率图片M，假设与第五图片具有相关性的第三图片是通过第一合成特征N解码得到的，构成第一合成特征N的第二表情特征N来自高分辨率图片N，则低分辨率图片M和高分辨率图片N具有一一对应关系。

其中，由于数据集中的高分辨率图片和低分辨率片是一一对应的，那么从高分辨率图像中提取的表情特征和从低分辨率图像中提取的低分辨率特征应该具有相似性，并且，由于高分辨率编码器提取出的表情特征不携带有隐私特征，那么通过不断的让低分辨率特征不断的趋近于表情特征，从而使得低分辨率编码器具备提取表情特征的能力，且提取的表情特征不包含隐私特征。基于此，那么将低分辨率图片对应的低分辨率特征和高分辨率图片对应的高分辨率特征输入到高分辨率表情识别器中，输出的结果也应该相似。

基于上述描述的原理，构建第六损失函数，具体的第六损失函数可以通过如下的公式7)和公式8)表示：

其中，

并且，上述还利用身份重构的方式对低分辨率编码器进行优化，并利用第五图片集中的第五图片和与所述第五图片具有相关性的第三图片集中的第三图片的相似度构建第七损失函数，并通过第七损失函数对低分辨率编码器进行优化。

其中，基于身份重构的方式构建的第七损失函数可以通过如下的公式9)表示：

其中，

其中，由于第五图片和第三图片的隐私特征相同，且第五图片中的低分辨率特征和第三图片中的表情特征也具有相关性，第五图片中采用低分辨率特征表示表情特征，那么第五图片和第三图片越接近，表示低分辨率编码器分解出的低分辨率越的表情特征越明显，基于此原理，可以基于第五图片和第三图片的相似度构建第七损失函数，并通过该第七损失函数对低分辨率编码器进行优化，提升低分辨率编码器分解低分辨率特征的准确度。

本实施例中，通过将所述低分辨率编码器从所述数据集中分解出的低分辨率特征不断趋近于所述高分辨率编码器分解出的表情特征为训练目标，不断的对低分辨率编码器进行训练，使得训练后的低分辨率编码器能够从低分辨率图像中分解出表情特征，且分解出的表情特征不具备隐私特征。

参考图3，示出了本发明实施例公开的一种保护隐私的表情识别模型的训练装置的结构示意图，在本实施例中，保护隐私的表情识别模型包括：低分辨率编码器和低分辨率表情识别器；

所述保护隐私的表情识别模型的训练装置包括：

数据集获取单元701，用于获取包含高分辨率图片和低分辨率图片的数据集；所述高分辨率图片和低分辨率图片具有一一对应关系；

高分辨率编码器训练单元702，用于通过所述数据集中的高分辨率图片和所述高分辨率图片的表情标签、隐私标签对高分辨率编码器进行优化训练，使得训练后的所述高分辨率编码器具备从高分辨率图片中分解出表情特征和隐私特征的能力，并且分解出的表情特征不携带隐私信息；

低分辨率编码器训练单元703，用于将所述数据集中的低分辨率图片作为第一训练样本，以所述低分辨率编码器从所述第一训练样本中分解出的低分辨率特征趋近于所述高分辨率编码器分解出的表情特征为目标，对所述低分辨率编码器进行训练；所述高分辨率编码器分解出的表情特征是与所述第一训练样本具有一一对应关系的高分辨率图片的表情特征；

低分辨率表情识别器训练单元704，用于将低分辨率编码器输出的低分辨率特征作为第二训练样本对所述低分辨率表情识别器进行训练，使得训练后的低分辨率表情识别器具备从低分辨率图片中识别出表情的能力。

可选地，所述高分辨率编码器训练单元，包括：

交叉对抗训练子单元，用于：

将所述数据集中的高分辨率图片输入到高分辨率编码器中，得到第一表情特征和第一隐私特征；

将所述第一表情特征输入到高分辨率表情识别器中进行表情识别，将所述第一隐私特征输入到所述高分辨率隐私识别器中进行隐私识别；

通过所述高分辨率表情识别器对所述第一表情特征的识别结果和高分辨率隐私识别器对所述第一隐私特征的识别结果构建第一损失函数；

通过所述第一损失函数对所述高分辨率表情识别器、所述高分辨率隐私识别器和高分辨率编码器进行优化；

将所述第一表情特征输入到所述高分辨率隐私识别器中进行隐私识别，将所述第一隐私特征输入到所述高分辨率表情识别器中进行表情识别；

通过所述高分辨率隐私识别器对所述第一表情特征的识别结果和所述高分辨率表情识别器对所述第一隐私特征的识别结果，构建第二损失函数；

通过不断减小预设的第二损失函数对所述高分辨率隐私识别器和所述高分辨率表情识别器进行优化；

通过不断增大所述第二损失函数对所述高分辨率编码器进行优化。

可选地，所述高分辨率编码器训练单元，还包括：

第一身份重构优化子单元，用于：

将所述数据集中的高分辨率图片输入到所述高分辨率编码器中，得到第二表情特征和第二隐私特征；

将所述数据集中的高分辨率图片的第二表情特征和第二隐私特征进行交叉拼接，得到包含多个第一合成特征的第一合成特征集；任意一个合成特征中的第二表情特征和第二隐私特征分别来自人物身份不同、表情相同的高分辨率图片；

将所述第一合成特征集输入到解码器中，得到包含多个第三图片的第三图片集；

构建第三损失函数，通过所述第三损失函数对所述高分辨率编码器和解码器进行优化；所述第三损失函数是利用第一合成特征中的第二隐私特征对应的高分辨率图片和对所述第一合成特征经过解码器解码后得到的第三图片的相似度构建的。

可选地，所述高分辨率编码器训练单元，还包括：

第二身份重构优化子单元，用于：

将所述第三图片集中的第三图片输入到高分辨率编码器中，得到第三表情特征和第三隐私特征；

将所述第三图片集中的第三表情特征与数据集中的高分辨率图片的第二隐私特征进行拼接，得到包含多个第二合成特征的第二合成特征集；其中，每个第二合成特征的第三表情特征对应的第三图片与第二隐私特征对应的高分辨率图片中人物身份不同、表情相同；

将所述第二合成特征集中的第二合成特征输入到解码器中，得到包含多个第四图片的第四图片集；

构建第四损失函数，并通过所述第四损失函数对所述高分辨率编码器和解码器进行优化；所述第四损失函数是利用第二合成特征中的第二隐私特征对应的高分辨率图片与对所述第二合成特征进行解码后得到的第四图片的相似度构建的。

可选的，所述低分辨率编码器训练单元，包括：

低分辨率特征获取子单元，用于将所述数据集中低分辨率图片输入到低分辨率编码器中，得到低分辨率特征；低分辨率编码器初步优化子单元，用于将所述低分辨率特征输入到已训练的高分辨率表情识别器中进行表情识别；基于所述高分辨率表情识别器对所述低分辨率特征的识别结果构建第五损失函数，并通过不断降低所述第五损失函数对所述高分辨率表情识别器和所述低分辨率编码器进行优化；

对比特征获取子单元，用于将所述数据集中的高分辨率图片输入到所述高分辨率编码器中，得到第四表情特征和第四隐私特征；

拼接子单元，用于将所述数据集中低分辨率图像的低分辨率特征与所述数据集中高分辨率图像的第四隐私特征进行拼接，得到包含多个第三合成特征的第三合成特征集；其中，每一个第三合成特征的低分辨率特征对应的低分辨率图片和第四隐私特征对应高分辨率图片中人物身份不同、表情相同；

解码子单元，用于将第三合成特征集中的第三合成特征输入到解码器中，得到包含多个第五图片的第五图片集；

低分辨率编码器优化单元，用于构建第六损失函数和第七损失函数，并通过所述第六损失函数和第七损失函数对所述低分辨率编码器进行优化；所述第六损失函数是基于高分辨率表情识别器分别对低分辨率特征和表情特征的识别结果的相似性构建的，低分辨率特征对应的低分辨率图片和表情特征的高分辨率图片具有一一对应关系；所述第七损失函数是利用第五图片集中的第五图片和与所述第五图片具有相关性的第三图片集中的第三图片的相似度构建的，具有相关性的第五图片和第三图片对应的隐私特征是相同的，且用于生成所述第五图片的第三合成特征中的低分辨率特征所对应的低分辨率图片，和用于生成与所述第五图片具有相关性的第三图片的第一合成特征中的第二表情特征所对应的高分辨率图片具有一一对应关系。

可选地，所述低分辨率表情识别器训练单元，包括：

第五表情特征提取子单元，用于将所述数据集中的低分辨率图片输入到已训练的低分辨率编码器中，得到第五表情特征；

低分辨率表情识别器优化子单元，用于将所述第五表情特征输入到低分辨率表情识别器中进行表情识别，并通过预设的第八损失函数对所述低分辨率表情识别器进行优化；所述第八损失函数是通过低分辨率识别器对所述第五表情特征的识别结果构建的。

可选的，所述高分辨率编码器训练单元，还用于：

将所述数据集中的高分辨率图片输入高分辨率编码器中，得到第六表情特征和第六隐私特征；

将所述数据集中的高分辨率图片的第六表情特征输入到高分辨率表情识别器中进行表情识别，将所述数据集中高分辨率图片的第六隐私特征输入到所述高分辨率隐私识别器中进行隐私识别；

通过所述高分辨率表情识别器对所述第六表情特征的识别结果和高分辨率隐私识别器对所述第六隐私特征的识别结果构建第九损失函数；

将所述数据集中的高分辨率图片中的第六表情特征输入到所述高分辨率隐私识别器中进行隐私识别，将所述数据集中的高分辨率图片的第六隐私特征输入到所述高分辨率表情识别器中进行表情识别；

通过所述高分辨率隐私识别器对所述第六表情特征的识别结果和所述高分辨率表情识别器对所述第六隐私特征的识别结果，构建第十损失函数；

将所述高分辨率图片中的第六表情特征和第六隐私特征进行交叉拼接，得到包含多个第四合成特征的第四合成特征集；每个第四合成特征的第六表情特征对应的高分辨率图片和第六隐私特征对应的高分辨率图片中人物的身份不同、表情相同；

将所述第四合成特征集中的第四合成特征输入到图片解码器中，得到包含多个第八图片的第八图片集；

基于所述第四合成中的第六隐私特征对应的高分辨率图片和对所述第四合成特征经过解码器进行解码后得到的第八图片的相似度构建第十一损失函数；

将所述第八图片集中的第八图片输入到高分辨率编码器中，得到第七表情特征和第七隐私特征；

将所述第八图片集的第七表情特征和高分辨率图片的第六隐私特征进行拼接，得到包含多个第五合成特征的第五合成特征集；每个第五合成特征中第七表情特征对应的第八图片和第六隐私特征对应的高分辨率图片中的人物的身份不同、表情相同；

将所述第五合成特征集中的第五合成特征输入到解码器中，得到包含多个第九图片的第九图片集；

通过所述第五合成特征中的第六隐私特征对应的高分辨率图片和对所述第五合成特征进行解码后得到的第九图片的相似度构建第十二损失函数；

通过不断降低所述第九损失函数第十损失函数、第十一损失函数和第十二损失函数，以及不断增大所述第十损失函数，对所述高分辨率编码器进行优化；

通过不断降低第九损失函数和第十损失函数对所述高分辨率表情识别器、所述高分辨率隐私识别器进行优化；

通过不断降低所述第十一损失函数和第十二损失函数对所述图片解码器进行优化。

通过本实施例的装置得到的表情识别模型，可以直接对低分辨率图片进行表情识别，从而大大减少了待识别的图片中包含的隐私信息，并且，训练后的低分辨率编码器从低分辨率图片中分解出的低分辨率特征，能够进一步的降低携带的隐私信息。基于此，在实现了表情识别的同时，保障了用户的隐私安全。

参考图4，示出了本发明实施例提供的一种保护隐私的表情识别装置的结构示意图，在本实施例中，该装置包括：

低分辨率图片获取单元701，用于获取待识别的低分辨率图片；

表情特征提取单元702，用于将所述低分辨率图片输入到所述表情识别模型的低分辨率编码器中，得到第六表情特征；所述低分辨率编码器是通过上述所述的保护隐私的表情识别模型的训练方法得到的；

表情识别单元703，用于将所述第六表情特征输入到所述表情识别模型的低分辨率表情识别器中，输出表情；所述低分辨率表情识别器是通过上述所述的保护隐私的表情识别模型的训练方法得到的。

可选的，所述低分辨率图片获取单元，包括：

若待识别的图片为高分辨率图片，将所述待识别的图片进行压缩，得到待识别的低分辨率图片。

通过本实施的装置，可以直接对低分辨率图片进行表情识别，从而大大减少了待识别的图片中包含的隐私信息，并且，训练后的低分辨率编码器从低分辨率图片中分解出的低分辨率特征，能够进一步的降低携带的隐私信息。基于此，在实现了表情识别的同时，保障了用户的隐私安全。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。