一种图像处理方法、装置、设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

随着互联网技术的发展，二维对象的图像处理日益受到各行业的关注和重视。相关技术中，通过提取待处理图像中二维对象的待处理关键点信息；将二维对象按照部位进行拆分，利用对应的关键点迁移网络对二维对象不同部位的关键点进行迁移，得到目标迁移关键点信息；同时对二维对象进行三维重建处理，得到待处理三维模型；利用待处理关键点信息和各部位的目标迁移关键点信息对待处理三维模型进行调整，可以得到目标三维模型。然而，这样的图像处理方式将导致整体虚拟对象的不同部位连接处形变不和谐，目标虚拟对象自身特色的丢失。

发明内容

本公开提供一种图像处理方法、装置、设备及存储介质，以至少解决相关技术中得到的目标虚拟对象自身特色丢失，不同部位连接处形变不和谐的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

确定待处理图像中原始二维对象的源风格基和目标风格基；所述源风格基用于表征原始二维对象对应的风格，所述目标风格基用于表征所述原始二维对象所需转换的风格，各风格用于表征对应对象的形状特征；

利用所述源风格基对应的三维重建网络和所述目标风格基对应的三维重建网络，分别对所述二维对象进行三维重建处理，得到源三维对象和目标三维对象；其中所述源三维对象为所述源风格基对应的三维对象，所述目标三维对象为所述目标风格基对应的三维对象；

根据所述源三维对象和所述目标三维对象，对所述待处理图像进行风格转换处理，得到包括目标二维对象的目标图像；所述目标二维对象为与所述目标三维对象风格相同的二维对象。

在一些示例性的实施例中，

所述利用所述源风格基对应的三维重建网络和所述目标风格基对应的三维重建网络，分别对所述二维对象进行三维重建处理，得到源三维对象和目标三维对象之前，所述方法还包括：

确定所述源风格基对应的三维重建网络和所述目标风格基对应的三维重建网络。

在一些示例性的实施例中，

所述根据所述源三维对象和所述目标三维对象，对所述待处理图像进行风格转换处理，得到包含目标二维对象的目标图像包括：

分别将所述源三维对象和所述目标三维对象投影到所述二维对象所在的二维空间，得到第一投影和第二投影；所述第一投影为所述源三维对象在所述二维空间的投影，所述第二投影为所述目标三维对象在所述二维空间的投影；

根据所述第一投影和所述第二投影，确定转换参数；

基于所述转换参数，对所述待处理图像进行转换处理，得到包含所述目标二维对象的所述目标图像。

在一些示例性的实施例中，所述根据所述源三维对象和所述目标三维对象，对所述待处理图像进行风格转换处理，得到包括目标二维对象的目标图像包括：

将所述源三维对象向所述目标三维对象迁移预设距离，得到迁移三维对象；

将所述迁移三维对象投影到二维空间，得到包含所述目标二维对象的所述目标图像。

在一些示例性的实施例中，所述源风格基对应的三维重建网络包括源编码网络和第一拟合网络，所述目标风格基对应的三维重建网络包括目标编码网络和第二拟合网络；所述分别利用所述源三维重建网络和所述目标三维重建网络对所述二维对象进行三维重建处理，得到源三维对象和目标三维对象包括：

利用所述源编码网络对所述原始二维对象进行特征提取处理，得到所述源风格基对应的源特征参数；所述源特征参数用于表征所述源二维对象与所述源风格基关联的图像特征；

利用所述目标编码网络对所述原始二维对象进行特征提取处理，得到所述目标风格基对应的目标特征参数；所述目标特征参数用于表征所述二维对象与所述目标风格基关联的图像特征；

基于所述第一拟合网络对所述源特征参数、所述源风格基和预设表情基进行参数拟合处理，得到所述源风格基对应的源三维对象；

基于所述第二拟合网络对所述目标特征参数、所述目标风格基、所述预设表情基进行参数拟合处理，得到所述目标风格基对应的目标三维对象。

在一些示例性的实施例中，所述方法包括：

获取样本图像中的样本二维对象；所述样本二维对象为预设风格基对应的二维对象；所述预设风格基包括所述源风格基和所述目标风格基；

将所述样本二维对象输入预设风格基对应的预设神经网络进行特征提取处理，得到所述预设风格基对应的样本特征参数；

对所述样本特征参数、所述预设风格基和通用表情基进行对象预测处理，得到预测二维对象；

基于所述样本二维对象和所述预测二维对象，确定所述预设风格基对应的二维对象的损失信息；

根据所述预设风格基对应的二维对象的损失信息训练对应的预设神经网络，得到所述预设风格基对应的三维重建网络。

在一些实施例中，所述方法还包括：

扫描所述预设风格基下多个样本图像中的三维对象，得到所述预设风格基对应的多个三维网格；

根据所述预设风格基对应的所述多个三维网格，确定所述预设风格基下的形状特征，并将所述预设风格基下的形状特征作为所述预设风格基。

在一些实施例中，每个三维网格中包含多个特征点，所述根据所述预设风格基对应的所述多个三维网格，确定所述预设风格基下的形状特征，并将所述预设风格基下的形状特征作为所述预设风格基包括：

根据所述预设风格基对应的各三维网格中的多个特征点，得到所述预设风格基下的所述均值三维网格和各三维网格对应的第一预设数量的形状特征；

确定所述第一预设数量的形状特征的特征值；

按照所述特征值的大小，对所述第一预设数量的形状特征进行排列；

基于所述第一预设数量的形状特征的排列顺序，对所述第一预设数量的形状特征进行降维处理，得到各三维网格对应的第二预设数量的形状特征，并将所述第二预设数量的形状特征作为所述预设风格基。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

风格基确定模块，被配置为确定待处理图像中二维对象对应的源风格基和目标风格基；所述源风格基和所述目标风格基用于表征对应对象的形状特征；

重建处理模块，被配置为基于所述源风格基和所述目标风格基对所述二维对象进行三维重建处理，得到源三维对象和目标三维对象；

风格转换处理模块，被配置为根据所述源三维对象和所述目标三维对象，对所述二维对象进行风格转换处理，得到目标二维对象。

在一些示例性的实施例中，所述重建处理模块可以包括：

网络获取单元，被配置为获取所述源风格基对应的源三维重建网络和所述目标风格基对应的目标三维重建网络；

三维重建单元，被配置为分别利用所述源三维重建网络和所述目标三维重建网络对所述二维对象进行三维重建处理，得到源三维对象和目标三维对象。

在一些示例性的实施例中，风格转换处理模块可以包括：

第一投影单元，被配置为分别将所述源三维对象和所述目标三维对象投影到所述二维对象所在的二维空间，得到第一投影和第二投影；

转换参数确定单元，被配置为根据所述第一投影和所述第二投影确定转换参数；

转换处理单元，被配置为基于所述转换参数对所述二维对象进行转换处理，得到所述目标二维对象。

在一些示例性的实施例中，风格转换处理模块可以包括：

迁移单元，被配置为将所述源三维对象向所述目标三维对象迁移预设距离，得到迁移三维对象；

第二投影单元，被配置为将所述迁移三维对象投影到二维空间，得到所述目标二维对象。

在一些示例性的实施例中，所述源三维重建网络包括源编码网络和第一拟合网络，所述目标三维重建网络包括目标编码网络和第二拟合网络；三维重建单元，包括：

特征参数处理单元，被配置为分别利用所述源编码网络和所述目标编码网络对所述二维对象进行特征提取处理，得到所述源风格基对应的源特征参数和所述目标风格基对应的目标特征参数；

第一参数拟合处理单元，被配置为基于所述第一拟合网络对所述源特征参数、所述源风格基和预设表情基进行参数拟合处理，得到所述源风格基对应的源三维对象；

第二参数拟合处理单元，被配置为基于所述第二拟合网络对所述目标特征参数、所述目标风格基、所述预设表情基进行参数拟合处理，得到所述目标风格基对应的目标三维对象。

在一些实施例中，该装置还可以包括：

样本数据获取模块，被配置为获取样本图像中的样本二维对象；所述样本二维对象为预设风格基对应的二维对象；

特征提取模块，被配置为将所述样本二维对象输入预设风格基对应的预设神经网络进行特征提取处理，得到预设风格基对应的样本特征参数；

预测模块，被配置为对所述样本特征参数、所述预设风格基和通用表情基进行对象预测处理，得到预设二维对象；

损失信息确定模块，被配置为基于所述样本二维对象和所述预测二维对象，确定所述预设风格基对应的二维对象的损失信息；

训练处理模块，被配置为根据所述预设风格基对应的二维对象的损失信息训练对应的预设神经网络，得到所述预设风格基对应的三维重建网络。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现前述的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，包括：

当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行前述的图像处理方法。

实施本申请，具有如下有益效果：

通过确定待处理图像中二维对象对应的源风格基和目标风格基，基于源风格基和目标风格基对二维对象进行三维重建处理，得到源三维对象和目标三维对象，其中，源三维对象与二维对象所属的源风格具有较高的关联性，基于目标风格基三维重建得到的目标三维对象与目标风格具有较高的关联性；根据源三维对象和目标三维对象，对二维对象进行风格转换，得到目标二维对象，可以使目标二维对象在偏向目标风格的同时，不丢失源风格，从而提高二维对象变形的自然程度，提升优化效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种实施环境的示意图。

图2是根据一示例性实施例示出的一种图像处理方法的流程图。

图3是根据一示例性实施例示出的一种基于源风格基和目标风格基对二维对象进行三维重建处理，得到源三维对象和目标三维对象的流程图。

图4是根据一示例性实施例示出的一种利用三维重建网络进行三维重建的流程图。

图5是根据一示例性实施例示出的一种根据源三维对象和目标三维对象，对待处理图像进行风格转换处理，得到包含目标二维对象的目标图像的流程图。

图6是根据一示例性实施例示出的一种根据源三维对象和目标三维对象，对待处理图像进行风格转换处理，得到目标二维对象的流程图。

图7是根据一示例性实施例示出的一种三维重建网络训练方法的流程图。

图8是根据一示例性实施例示出的一种构建预设风格基的流程图。

图9是根据一示例性实施例示出的一种一种图像处理装置的示意图。

图10是根据一示例性实施例示出的一种三维重建网络训练装置的示意图。

图11是根据一示例性实施例示出的一种用于图像处理或三维重建网络训练的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

请参阅图1，其示出了本公开一个示例性实施例中的实施环境示意图，该实施环境可以包括：

至少一个终端01和至少一个服务器02。该至少一个终端01可以和该至少一个服务器02通过网络进行数据通信。

在一个可选的实施例中，终端01可以向服务器02发送图像处理指令，该图像处理指令中可以包含用于确定源风格基和目标风格基的数据。终端01可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备。终端01上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows、Unix等。

在一个可选的实施例中，服务器02可以基于终端01提供的图像处理指令，对待处理图像进行处理，得到风格转变后的目标二维图像，并将该目标二维图像发送给终端01。可选的，服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

此外，需要说明的是，图1所示的仅仅是本公开提供的图像处理方法的一种应用环境。

本说明书实施例中，上述终端01以及服务器02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

需要说明的是，以下图中示出的是一种可能的步骤顺序，实际上并不限定必须严格按照此顺序。有些步骤可以在互不依赖的情况下并行执行。本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、用户行为信息等)和数据(包括但不限于用于展示的数据、训练的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

图2是根据一示例性实施例示出的一种图像处理方法的流程图。如图2所示，图像处理方法包括以下步骤：

在步骤S21中，确定待处理图像中原始二维对象对应的源风格基和目标风格基。

本说明书实施例中，待处理图像可以是指包含原始二维对象的图像。具体的，待处理图像可以是终端侧采集并发送给服务器的图像，也可以是用户从数据库中选取的图像，本公开对此不作限定。

本说明书实施例中，源风格基和目标风格基用于表征对应对象的形状特征，例如，可以包含原始二维对象多个部位的大小、线条弯曲程度等形状特征。具体的，源风格基和目标风格基可以是多个风格基中的至少一个，其中，每个风格基可以是指对应风格的多个对象所共有的形状特征，例如，风格基可以是一个地域的多个对象共有的形状特征。具体的，形状特征可以表示为形状基向量的形式。实际应用中，风格基可以是对应风格的多个对象的均值二维对象和形状特征的结合，具体的，可以基于形状特征对均值二维对象进行调整处理，得到风格基。所述源风格基用于表征原始二维对象对应的风格，所述目标风格基用于表征所述原始二维对象所需转换的风格，各风格用于表征对应对象的形状特征

本说明书实施例中，源风格基可以表征待处理图像中二维对象对应的形状特征。在一些实施例中，可以通过确定待处理图像的关联地理位置等方式确定对应的源风格基。目标风格基可以是设定的风格基，用于表征原始二维对象所需转换的风格。

在实际应用中，终端可以根据用户对目标风格的选择确定目标风格基，并基于目标风格基生成图像处理指令。服务器可以根据终端的地理位置确定源风格基，并对图像处理指令进行解析，确定目标风格基。

在步骤S22中，利用源风格基对应的三维重建网络和目标风格基对应的三维重建网络，分别对二维对象进行三维重建处理，得到源三维对象和目标三维对象。

本说明书实施例中，基于源风格基和目标风格基对二维对象进行三维重建处理，可以是获取源风格基对应的源三维重建网络和目标风格基对应的目标三维重建网络，分别利用源三维重建网络和目标三维重建网络对二维对象进行三维重建处理，得到源三维对象和目标三维对象。其中，源三维对象为源风格基对应的三维对象，目标三维对象为目标风格基对应的三维对象。

本说明书实施例中，源风格基对应的源三维重建网络可以是基于源风格基训练得到的三维重建网络，目标风格基对应的目标三维重建网络可以是基于目标风格基训练得到的三维重建网络。利用源三维重建网络对二维对象进行三维重建处理，可以突出源三维对象本身的风格。

图3是根据一示例性实施例示出的一种基于源风格基和目标风格基对二维对象进行三维重建处理，得到源三维对象和目标三维对象的流程图，具体可以包括：

在步骤S31中，获取源风格基对应的源三维重建网络和目标风格基对应的目标三维重建网络。

本说明书实施例中，不同的风格基可以对应不同的三维重建网络。可以预先利用不同的风格基训练出不同风格对应的三维重建网络。在确定源风格基和目标风格基后，可以根据风格基与三维重建网络的对应关系，将源风格基对应的三维重建网络作为源三维重建网络，将目标风格基对应的三维重建网络作为目标三维重建网络。

在步骤S32中，分别利用源三维重建网络和目标三维重建网络对二维对象进行三维重建处理，得到源三维对象和目标三维对象。

本说明书实施例中，三维重建处理得到的源三维对象和目标三维对象是相对于二维对象多一个维度。源三维重建网络和目标三维重建网络通常可以采用回归模型，例如ResNet101网络。

通过获取源风格基对应的源三维重建网络和目标风格基对应的目标三维重建网络，分别利用源三维重建网络和目标三维重建网络对二维对象进行三维重建处理，得到源三维对象和目标三维对象，可以在确定源风格和目标风格后快速地确定对应的三维重建网络，由于预设风格基对应的三维重建网络是预先训练的，可以在提高源三维对象和目标三维对象的三维重建效率的同时，提高图像处理中三维重建网络的复用性。

在一些实施例中，源三维重建网络可以包括源编码网络和第一拟合网络，目标三维重建网络可以包括目标编码网络和第二拟合网络。基于此，图4是根据一示例性实施例示出的一种分别利用源三维重建网络和目标三维重建网络对二维对象进行三维重建处理，得到源三维对象和目标三维对象的流程图，具体的，可以包括：

在步骤S41中，分别利用源编码网络和目标编码网络对二维对象进行特征提取处理，得到源风格基对应的源特征参数和目标风格基对应的目标特征参数。

本说明书实施例中，源编码网络和目标编码网络可以对二维对象进行特征提取处理，可以是将二维对象输入源编码网络，得到经过源风格基优化的形状、表情和姿态参数；将二维对象输入目标编码网络，得到经过目标风格基优化的形状、表情和姿态参数。由于源编码网络和目标编码网络是分别基于源风格基和目标风格基训练得到的，在进行特征提取处理时，源编码网络可以突出源风格基所表征的形状特征，目标编码网络可以突出目标风格基所表征的形状特征，也即源特征参数是二维对象更为偏向源风格基的特征参数，目标特征参数是二维对象更为偏向目标风格基的特征参数，从而可以强化源特征参数和目标特征参数所对应的风格。

在步骤S42中，基于第一拟合网络对源特征参数、源风格基和预设表情基进行参数拟合处理，得到源风格基对应的源三维对象。

本说明书实施例中，源风格基可以是表征二维对象所属风格的形状特征的基向量，预设表情基可以是预设表情特征的基向量，源特征参数可以是二维对象源风格基对应的特征矩阵。基于第一拟合网络对源特征参数、源风格基和预设表情基进行参数拟合处理，可以是基于源风格所对应的形状特征的基向量和预设表情特征的基向量，对二维对象源风格基对应的特征矩阵进行矩阵转换处理，得到第一转换矩阵。利用第一转换矩阵对均值三维对象中的特征点进行转换处理，得到源风格基对应的源三维对象。

在步骤S43中，基于第二拟合网络对目标特征参数、目标风格基、预设表情基进行参数拟合处理，得到目标风格基对应的目标三维对象。

本说明书实施例中，目标风格基可以是表征目标风格的形状特征的基向量，预设表情基可以和源三维对象生成过程中的预设表情基相同，目标特征参数可以是目标风格对应的特征矩阵。第二拟合网络可以基于目标风格所对应的形状特征的基向量和预设表情特征的基向量，对二维对象源风格基对应的特征矩阵进行矩阵转换处理，得到第二转换矩阵，并利用第二转换矩阵对均值三维对象中的特征点进行转换处理，得到目标风格基对应的目标三维对象。

通过分别利用源编码网络和目标编码网络对二维对象进行特征提取处理，得到源风格基对应的源特征参数和目标风格基对应的目标特征参数，可以提高源风格基对应的源特征参数和目标风格基对应的目标特征参数的精确性。

在步骤S23中，根据源三维对象和目标三维对象，对待处理图像进行风格转换处理，得到包括目标二位对象的目标二维对象。

本说明书实施例中，对二维对象进行风格转换处理，需要同时基于强化源风格后得到的源三维对象和目标三维对象，由此可以在目标二维对象不丢失源风格特色的基础上，进行目标风格的转换处理。目标二维对象为与目标三维对象风格相同的二维对象。

通过确定待处理图像中二维对象对应的源风格基和目标风格基，基于源风格基和目标风格基对二维对象进行三维重建处理，得到源三维对象和目标三维对象，其中，源三维对象与二维对象所属的源风格具有较高的关联性，基于目标风格基三维重建得到的目标三维对象与目标风格具有较高的关联性；根据源三维对象和目标三维对象，对二维对象进行风格转换，得到目标二维对象，可以使目标二维对象在偏向目标风格的同时，不丢失源风格，从而提高二维对象变形的自然程度，提升优化效果。

图5是根据一示例性实施例示出的一种根据源三维对象和目标三维对象，对待处理图像进行风格转换处理，得到包含目标二维对象的目标图像的流程图。如图5所示，具体可以包括：

在步骤S51中，分别将源三维对象和目标三维对象投影到二维对象所在的二维空间，得到第一投影和第二投影。

本说明书实施例中，二维对象所在的二维空间可以是X轴和Y轴构成的平面。将源三维对象和目标三维对象往X轴和Y轴构成的平面上进行投影，可以是将源三维对象和目标三维对象上的关键点的三维坐标转换为基于X轴和Y轴的二维坐标。

在步骤S52中，根据第一投影和第二投影确定转换参数。

本说明书实施例中，第一投影和第二投影可以是由多个关键点构成，可以基于第一投影中的关键点和第二投影中的关键点确定偏移信息。可选的，可以按照第一投影和第二投影中关键点的类型对第一投影和第二投影中的关键点进行分类，例如可以按照形状类型、表情类型进行分类，得到形状类型对应的关键点集合和表情类型对应的关键点集合，需要说明的是，第一投影或第二投影中的一个关键点可以是第一关键点集合或第二关键点集合中的一个，也可以既在第一关键点集合中也在第二关键点集合中。基于第一投影中的关键点和第二投影中的关键点确定偏移信息，可以基于第一投影中形状类型对应的第一关键点集合和第二投影中形状类型对应的第二关键点集合，确定第一转换参数，并且基于第一投影中表情类型对应的第三关键点集合和第二投影中形状类型对应的第四关键点集合确定第二转换参数，根据第一转换参数和第二转换参数得到最终的转换参数。利用第一投影和第二投影中形状类型、表情类型对应的关键点确定转换参数，可以提高转换参数与形状、表情的关联程度，避免在转换参数确定时，由于偏移信息过度稠密导致的转换不自然的问题。第一投影为源三维对象在二维空间的投影，第二投影为目标三维对象在二维空间的投影

可选的，可以按照二维对象的部位对第一投影和第二投影中的关键点进行划分，例如，二维对象为二维脸部图像，可以按照五官对第一投影和第二投影的关键点进行划分，得到不同部位对应的关键点集合。基于第一投影中的关键点和第二投影中的关键点确定偏移信息，可以是利用第一投影中每个部位对应的关键点集合与第二投影中对应部位的关键点集合，确定多个部位对应的转换参数，并将该多个部位对应的转换参数作为最终的转换参数。

在步骤S53中，基于转换参数对待处理图像进行转换处理，得到包含目标二维对象的目标图像。

本说明书实施例中，可以基于二维对象所在的待处理图像生成与该待处理图像大小相同的网格，利用转换参数对网格进行变形场的调整，将调整后的二维对象作为目标二维对象。

分别将源三维对象和目标三维对象投影到二维对象所在的二维空间，得到第一投影和第二投影，根据第一投影和第二投影确定转换参数，基于转换参数对二维对象进行转换处理，得到目标二维对象，通过投影方式可以得到源三维对象和目标三维对象在二维空间上特征的表征，再基于二维空间上源三维对象和目标三维对象的投影确定转换参数，可以提高二维对象转换处理时各部位的流畅性，处理量较低，提高处理效率；同时，还可以在一定程度上使目标二维对象保留源风格，提高图像处理的自然程度。

图6是根据一示例性实施例示出的一种根据源三维对象和目标三维对象，对待处理图像进行风格转换处理，得到包含目标二位对象的目标图像的流程图，具体的，可以包括：

在步骤S61中，将源三维对象向目标三维对象迁移预设距离，得到迁移三维对象。

本说明书实施例中，将源三维对象向目标三维对象进行预设距离的迁移，可以是根据源三维对象中的关键点和目标三维对象中的关键点，确定迁移三维对象中的关键点。具体的，可以确定源三维对象中每个关键点的坐标和目标三维对象中每个关键点的坐标，取源三维对象和目标三维对象相对应的每两个关键点坐标的平均值，可以将全量平均值坐标对应的点作为迁移三维对象的关键点，根据迁移三维对象的关键点可以确定迁移三维对象。

在步骤S62中，将迁移三维对象投影到二维空间，得到目标二维对象。

通过将源三维对象向目标三维对象进行迁移，得到迁移三维对象，并对迁移三维对象进行二维空间上的投影，得到目标二维对象，由于迁移的对象为立体对象，可以提高迁移处理的精确性。

图7是根据一示例性实施例示出的一种三维重建网络训练方法的流程图。具体的，该方法可以包括：

在步骤S71中，获取样本图像中的样本二维对象。

本说明书实施例中，样本二维对象可以是多种预设风格基对应的二维对象。预设风格基对应的二维对象可以是指具有预设风格的二维对象。可以预先对多种预设风格的样本二维对象进行采集。预设风格基可以包括但不限于源风格基和目标风格基。

在步骤S72中，将样本二维对象输入预设风格基对应的预设神经网络进行特征提取处理，得到预设风格基对应的样本特征参数。

本说明书实施例中，预设风格基可以是多种风格基中的一种，各风格基对应的预设神经网络可以是相同的神经网络。在对不同风格基对应的预设神经网络进行训练时，可以根据不同的风格，对预设神经网络中的参数进行调整，得到不同风格基对应的三维重建网络。

在步骤S73中，对样本特征参数、预设风格基和通用表情基进行对象预测处理，得到预测二维对象。

本说明书实施例中，预设风格基可以是预设风格对应的形状基，形状基可以用于确定三维对象的形状信息，具体的，形状基可以是一组或多组表征三维对象形状的基向量。预设风格基可以是样本二维对象所属的多种预设风格基中的一个。通用表情基可以是一个预设表情的基向量。

在一个具体的实施例中，将样本二维对象输入预设风格基对应的预设神经网络进行特征提取处理，得到预设风格基对应的样本特征参数，可以是构建一个多层残差层的深度神经网络作为生成器，该多层残差层的残差块结构中，将样本二维对象x作为输入，经过多层卷积层学习得到样本特征F(x)，将样本二维对象x和样本特征F(x)进行叠加，得到F(x)+x，并将F(x)+x作为该残差块结构的输出，梯度可以从F(x)和x这两条之路进行传播，从而可以避免随着神经网络的层数加深，梯度消失的情况，最终生成器可以回归得到样本特征参数y1。对样本特征参数、预设风格基和通用表情基进行对象预测处理，得到预测二维对象，可以是采用多层全连接层对生成器的回归结果进行判别。具体的，判别器的输入可以包括两类数据，第一类数据可以是生成器回归得到的样本特征参数y1，第二类数据可以是真实二维对象的特征参数y2，该特征参数y2包括预设风格基和通用表情基，对应的，判别器的输出也为两类，0和1分别代表判别器判断输入是来自于生成器回归的样本特征参数还是来自于预设风格的真实二维对象得到的第二类数据。利用判别器可以对真实二维对象的特征参数y2进行学习，利用生成器和判别器进行对抗生成学习。

在步骤S74中，基于样本二维对象和预测二维对象，确定预设风格基对应的二维对象的损失信息。

本说明书实施例中，预设风格基对应的二维对象的损失信息可以是判别器D输出处产生的，可以是真实二维对象与样本二维对象的交叉熵的和。

在步骤S75中，根据预设风格基对应的二维对象的损失信息训练对应的预设神经网络，得到预设风格基对应的三维重建网络。

本说明书实施例中，生成器和判别器进行对抗的过程可以是对生成器和判别器进行交叉训练的过程，过程一：可以固定生成器G，训练判别器D，该阶段中判别器D的训练目标是最大化损失信息。过程二：可以固定判别器D，训练生成器G，该阶段中生成器G的目标是最小化损失信息。在对生成器G和判别器D的交叉训练框架下，可以使生成器G学习到如何生成服从预设风格基和通用表情基的网络参数。

在三维重建网络训练过程中，选取预设风格的二维对象作为样本二维对象，并且还引入了预设风格基进行对象预测处理，可以保证训练三维重建网络的过程中，充分学习到二维对象对应的风格基，同时结合通用表情基进行学习，可以有效提高三维重建网络重建得到的三维对象与预设风格基的关联程度，进而大大提升后续图像处理系统中图像的处理效果。

图8是根据一示例性实施例示出的一种构建预设风格基的流程图。预设风格基可以是基于多个实验对象进行激光扫描数据集而构建的一个统计模型，具体的，三维重建网络训练方法之前，可以预先构建预设风格基，具体的可以包括：

在步骤S81中，扫描预设风格基下多个样本图像中的三维对象，得到预设风格基对应的多个三维网格。

本说明书实施例中，可以对多个样本图像中的三维对象进行扫描，扫描出的多个三维对象为点云状态，由于其点数不一，可以将每个三维对象的点云注册成拓扑结构一致的网格状态，得到多个三维对象对应的三维网格。

在步骤S82中，根据预设风格基对应的多个三维网格，确定所述预设风格基下的形状特征，并将所述预设风格基下的形状特征作为所述预设风格基。

本说明书实施例中，每个三维对象对应的三维网格中，可以包含多个特征点。基于此，可以利用多个三维对象中三维网格的线性加权表征预设风格基对应的三维对象模型。

在步骤S83中，基于形状特征得到预设风格基。

本说明书实施例中，可以从多个三维对象的三维网格的线性加权表达式得到形状特征(形状基)，并将该形状特征作为预设风格基。

以扫描对象为200个三维对象，每个三维网格取点个数为53490为例，每个三维对象的三维网格S

S

其中，x，y，z表示三维网格S

预设风格基对应的平均三维对象S

其中，ui表示每个三维对象对应的网格系数。

对该200个三维对象进行线性加权，可以得到：

其中，S

通过上述方式构建得到的预设风格基，可以匹配于多个样本图像的预设风格。利用扫描预设风格基下多个样本图像中的三维对象，可以得到预设风格基对应的多个三维网格，根据该多个三维网格可以确定预设风格基下的均值三维网格和形状特征，得到预设风格基，从而可以提高预设风格基的准确性，进而大大提升三维重建网络训练过程和图像处理过程的准确性。

在一些示例性的实施例中，每个三维网格中可以包含多个特征点。根据预设风格基对应的多个三维网格确定预设风格基下的均值三维网格和形状特征可以包括：根据预设风格基对应的各三维网格中的多个特征点，得到预设风格基下的均值三维网格和各三维网格对应的第一预设数量的形状特征；确定第一预设数量的形状特征的特征值；按照特征值的大小对第一预设数量的形状特征进行排列；基于第一预设数量的形状特征的排列顺序对第一预设数量的形状特征进行降维处理，得到各三维网格对应的第二预设数量的形状特征。

本说明书实施例中，确定第一预设数量的形状特征的特征值，可以是根据三维对象的不同部位，对该部位形状特征的特征值进行计算，进一步对各部位形状特征的特征值进行求和，得到每个三维对象对应的特征值，将该三维对象对应的特征值进行排序，选取第一预设数量的特征值，并确定该第一预设数量的特征值所对应的三维对象，具体的，第一预设数量可以小于该多个三维对象的数量。例如，在降维处理后的S

也即，将200个三维对象进行线性加权处理后的结果降维到99。

通过对多个三维对象进行线性加权处理后的结果进行降维处理，可以避免基向量之间不是正交相关导致的误差，提高预设风格基结果的准确性。

图9是根据一示例性实施例示出的一种图像处理装置的示意图。如图9所示，该装置可以包括：

风格基确定模块91，被配置为确定待处理图像中原始二维对象的源风格基和目标风格基；所述源风格基用于表征原始二维对象对应的风格，所述目标风格基用于表征所述原始二维对象所需转换的风格，各风格用于表征对应对象的形状特征；

重建处理模块92，被配置为利用所述源风格基对应的三维重建网络和所述目标风格基对应的三维重建网络，分别对所述二维对象进行三维重建处理，得到源三维对象和目标三维对象；其中所述源三维对象为所述源风格基对应的三维对象，所述目标三维对象为所述目标风格基对应的三维对象；

风格转换处理模块93，被配置为根据所述源三维对象和所述目标三维对象，对所述待处理图像进行风格转换处理，得到包括目标二维对象的目标图像；所述目标二维对象为与所述目标三维对象风格相同的二维对象。

通过确定待处理图像中二维对象对应的源风格基和目标风格基，基于源风格基和目标风格基对二维对象进行三维重建处理，得到源三维对象和目标三维对象，其中，源三维对象与二维对象所属的源风格具有较高的关联性，基于目标风格基三维重建得到的目标三维对象与目标风格具有较高的关联性；根据源三维对象和目标三维对象，对二维对象进行风格转换，得到目标二维对象，可以使目标二维对象在偏向目标风格的同时，不丢失源风格，从而提高二维对象变形的自然程度，提升优化效果。

在一些示例性的实施例中，该装置还可以包括：

网络确定模块，被配置为确定所述源风格基对应的三维重建网络和所述目标风格基对应的三维重建网络。

在一些示例性的实施例中，风格转换处理模块可以包括：

投影单元，被配置为分别将所述源三维对象和所述目标三维对象投影到所述二维对象所在的二维空间，得到第一投影和第二投影；所述第一投影为所述源三维对象在所述二维空间的投影，所述第二投影为所述目标三维对象在所述二维空间的投影；

转换参数确定单元，被配置为根据所述第一投影和所述第二投影确定转换参数；

转换参数确定单元，被配置为根据所述第一投影和所述第二投影，确定转换参数；

转换处理单元，被配置为基于所述转换参数，对所述待处理图像进行转换处理，得到包含所述目标二维对象的所述目标图像。

在一些示例性的实施例中，风格转换处理模块可以包括：

迁移单元，被配置为将所述源三维对象向所述目标三维对象迁移预设距离，得到迁移三维对象；

第二投影单元，被配置为将所述迁移三维对象投影到二维空间，得到得到包含所述目标二维对象的所述目标图像。

在一些示例性的实施例中，所述源三维重建网络包括源编码网络和第一拟合网络，所述目标三维重建网络包括目标编码网络和第二拟合网络；三维重建单元，包括：

特征参数处理单元，被配置为利用所述源编码网络对所述原始二维对象进行特征提取处理，得到所述源风格基对应的源特征参数；所述源特征参数用于表征所述源二维对象与所述源风格基关联的图像特征；

目标特征参数确定单元，被配置为利用所述目标编码网络对所述原始二维对象进行特征提取处理，得到所述目标风格基对应的目标特征参数；所述目标特征参数用于表征所述二维对象与所述目标风格基关联的图像特征；

源三维对象确定单元，被配置为基于所述第一拟合网络对所述源特征参数、所述源风格基和预设表情基进行参数拟合处理，得到所述源风格基对应的源三维对象；

目标三维对象确定单元，被配置为基于所述第二拟合网络对所述目标特征参数、所述目标风格基和所述预设表情基进行参数拟合处理，得到所述目标风格基对应的目标三维对象。

图10是根据一示例性实施例示出的一种三维重建网络训练装置的示意图。如图10所示，该装置可以包括：

样本数据获取模块101，被配置为获取样本图像中的样本二维对象；所述预设风格基包括所述源风格基和所述目标风格基；

特征提取模块102，被配置为将所述样本二维对象输入预设风格基对应的预设神经网络进行特征提取处理，得到预设风格基对应的样本特征参数；

预测模块103，被配置为对所述样本特征参数、所述预设风格基和通用表情基进行对象预测处理，得到预设二维对象；

损失信息确定模块104，被配置为基于所述样本二维对象和所述预测二维对象，确定所述预设风格基对应的二维对象的损失信息；

训练处理模块105，被配置为根据所述预设风格基对应的二维对象的损失信息训练对应的预设神经网络，得到所述预设风格基对应的三维重建网络。

在一些示例性的实施例中，该装置还可以包括：

扫描模块，被配置为扫描所述预设风格基下多个样本图像中的三维对象，得到所述预设风格基对应的多个三维网格；

特征确定模块，被配置为根据所述预设风格基对应的所述多个三维网格确定所述预设风格基下的均值三维网格和形状特征；

风格基确定模块，被配置为基于所述形状特征得到所述预设风格基。

在一些示例性的实施例中，每个三维网格中包含多个特征点，所述特征确定模块包括：

形状特征确定单元，被配置为根据所述预设风格基对应的各三维网格中的多个特征点，得到所述预设风格基下的所述均值三维网格和各三维网格对应的第一预设数量的形状特征；

特征值确定单元，被配置为确定所述第一预设数量的形状特征的特征值；

排序单元，被配置为按照特征值的大小对所述第一预设数量的形状特征进行排列；

降维处理单元，被配置为基于所述第一预设数量的形状特征的排列顺序对所述第一预设数量的形状特征进行降维处理，得到各三维网格对应的第二预设数量的形状特征。

图11是根据一示例性实施例示出的一种用于图像处理或三维重建网络训练的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法或三维重建网络训练方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的多媒体位置信息处理方法。

在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的图像处理方法或三维重建网络训练方法。计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的图像处理方法或三维重建网络训练方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。