基于模型训练的人类表情转换为其他生物面部表情的方法

技术领域

本发明涉及模型训练技术领域，具体地说是一种基于模型训练的人类表情转换为其他生物面部表情的方法。

背景技术

现有的技术中，人类采用了stable-Difussion之图生图技术，将其运用于图像生成和表情切换，通过调整输入的文本或图像条件，给定一张人脸图像，可以在生成的新图像中实现不同的表情切换；这种基于深度学习的图像生产技术，使得人类能够根据需求生成具有特定表情的图像。

然而人类和动物的表情丰富度有很大的不同；人类具有更佳的情感和意识，则与之相对应人类的表情也更加多样化，可以表达更加复杂的情感和意义，例如，人类可以表达爱、同情、愤怒、失望、高兴等情感，而动物通常只能表达较为基本的情感，如快乐、恐惧、愤怒等。

此外，人类的表情也更加微妙和细致，人类可以通过微小的面部肌肉运动和眼神来表达情感和意图，这是人类特有的社交技能之一；相比之下，动物的面部表情通常更加简单和直接，它们通常只能通过一些基本的面部表情来表达情感，如通过眼睛、耳朵和嘴巴的形状和运动来表达快乐、恐惧或愤怒等情感。

综上所述，为了让动物拥有和人类一样丰富复杂的表情，本发明提出一种基于模型训练的人类表情转换为其他生物面部表情的方法。

发明内容

本发明提供一种基于模型训练的人类表情转换为其他生物面部表情的方法，通过编写面部区域编程模块和建造模型，从而实现人类面部表情与动物面部表情的转换，进而使动物具备了人类丰富的表情，以解决现有技术中动物无法拥有和人类一样丰富复杂的表情等问题。

本发明的现有技术方案如下：

基于模型训练的人类表情转换为其他生物面部表情的方法，包括以下步骤:

S1：建立模型：基于Transformer原理构造面部表情模型；

S2：收集信息：分别获取人类脸型训练数据和动物面部数据；

S3：模型训练：将人类脸型训练数据给模型，之后将训练好的模型保存为一个checkpoints文件；

S4：使用模型：将动物面部数据传给模型，模型通过将动物面部与人脸匹配分类，计算表情转换的向量坐标，最后输出带有表情的动物面部图。

进一步的，所述S1中建模包括特征提取器、基于Transformer的编码器、解码器、跨模型变换层和输出部分，所述特征提取器用于接收输入图形并生成面部表情帝特征向量，所述基于Transformer的编码器用于对所述特征向量进行编码，以便模型识别和理解面部表情，所述解码器从所述编码器接收编码信息并输出识别到的面部表情，所述跨模型变换层用于接收解码器的输出，将输入的面部图像序列转换为相应的情感表情，所述输出部分用于生成带有表情的面部图像，该图像基于输入的人脸图像预测得出。

进一步的，所述特征提取器为PyTorch，对人类图像图进行预处理和特征提取。

进一步的，所述S2步骤中人类脸型训练数据包括脸型模块、胖瘦模块和表情模块，所述脸型模块包括6种脸型，即圆脸、方脸、菱形连、鹅蛋脸、长脸和心形脸，所述胖瘦模块包括3种类型，即胖脸、瘦脸和标准脸，所述表情模块包括6种表情，即快乐、上心、恐惧、愤怒、惊讶和厌恶，6种所述表情均有两层含义，如快乐可以分为快乐和不快乐，则2^6种表情组合，即可以用集合表示，其中2^6 -1表情为集合的真子集。

进一步的，所述表情模块还包括面部无表情，用于扩充表情集合的一部分，增加表情集合数据的多样性和完备性，增加模型的数据特征数量。

进一步的，所述S2中脸型训练数据还包括表情描述，模型将根据描述自动预测面部图像的形状，所述动物面部数据包括面部无表情图和表情描述，将动物面部无表情图和表情描述两部分数据结合起来提供更详细、更丰富的训练数据。

进一步的，所述面部有表情图和面部无表情图片内容无干扰像素，如图像中无建筑、自然风光面部意外的像素信息。

与现有技术相比，本发明具有如下有益效果：

1、本发明通过编写面部区域编程模块和建造模型，从而实现人类面部表情与动物面部表情的转换，进而使动物具备了人类丰富的表情，从而可以使动物在情感表达上更加丰富，更好地与人类进行情感交流，同时有利于使用动物更好地与患者进行情感沟通，提高治疗效果和康复速度；此外，有利于人类对动物情感的理解。

附图说明

图1是本发明人类表情转换为其他生物面部表情的的具体流程；

图2是本发明模型建立流程图。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

如图1-2所示，本发明提供基于模型训练的人类表情转换为其他生物面部表情的方法，包括以下步骤:

S1：建立模型：基于Transformer原理构造面部表情模型；

S2：收集信息：分别获取人类脸型训练数据和动物面部数据；

S3：模型训练：将人类脸型训练数据给模型，之后将训练好的模型保存为一个checkpoints文件；

S4：使用模型：将动物面部数据传给模型，模型通过将动物面部与人脸匹配分类，计算表情转换的向量坐标，最后输出带有表情的动物面部图。

实施例一：

如图1-2所示，本实施例中，首先分别收集人类面部图像和动物面部图像，人类面部图像数据应该要包含各种脸型、胖瘦类型和面部表情，脸型包括圆脸、方脸、菱形脸、鹅蛋脸、长脸和心形脸6种，胖瘦包括胖脸、瘦脸和标准脸3种，面部表情包括快乐、上心、恐惧、愤怒、惊讶和厌恶64种，可以将其概括为脸型集合，则集合内包括3*6*64＝1152种脸部信息组合。

需要说明的是：需要尽可能多的提供每个面部的关键点作为特征，如一双眼睛可以分别简单近处理一个眼部重心点，但如果能处理更丰富的眼睛外围形状、眼睑、瞳孔、巩膜效果会更好。

之后建造模型，即通过使用PyTorch框架对人类面部图像和动物面部图像进行适当的预处理和特征提取，预处理通常包括裁剪、调整大小、归一化等，进而使图像数据转换到一个通用的尺度，以便适应模型的训练，特征提取通常是指将图像中的信息转换为一种高层次的特征，如序列；之后Transformer编码器使用自注意力机制来捕获输入序列的内在结构，并对其进行编码，其主要目标是从输入特征提取出有意义的信息，例如人类面部表情的关键部分；当其编码器捕获完成后，解码器在处理面部表情时，通常将编码器的编码转换为关键点的坐标，即对面部关键信息点(如眼睛)精确定位并识别；之后通过跨模型变换层将输入的面部图像序列转换为相应的情感表情，最后通过输出部分生成带有表情的面部图像，且该图像基于输入的人脸图像预测得出，即通过上述内容分别对人类面部区域和动物面部区域编写编程模块。

然后将无表情动物面部图片和表情描述通过特征提取至模型，模型通过编码器和解码器读取模型内部的脸型集合，计算动物面部与人类面部的相似性，从而使动物面部最接近的人类匹配分类，之后模型会计算出动物面部转换为目标人类表情所需进行的向量坐标变换，从而使人类面部表情与动物面部表情进行交换，最后模型输出带有表情的动物面部图。

需要说明的是:上传至模型的图像中应不包含干扰像素，比如图像中尽量不要存在建筑、自然风光等面部意外的像素信息。

本发明的实施例是为了示例和描述起见而给出的，尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。