一种纹理贴图的生成方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种纹理贴图的生成方法、装置、电子设备和存储介质。

背景技术

在三维物体制作过程中，通常会涉及原画绘制、三维物体几何建模、三维物体贴图绘制、骨骼绑定等步骤，在三维物体贴图绘制步骤中，要求设计师手工完成纹理贴图的绘制，制作周期长且成本昂贵。

为解决上述问题，相关技术中可基于图像深度信息，在渲染图像中添加噪声数据，得到噪声图像，并从噪声图初始化纹理资源；或者，对纹理网格进行纹理解析来提取带缺陷的纹理资源，利用三维物体的深度信息作为引导信息，对特定视角下纹理资源进行优化处理，生成特定视角下的纹理图像。

但是，该方式下，由于仅能针对单个视角独立生成该视角下的纹理图像，无法融合不同视角下的数据信息，导致生成的纹理图像往往存在多视角纹理不一致的问题。

综上，如何实现多视角下纹理图像的一致性，提高三维物体纹理贴图的制作效率是亟待解决的。

发明内容

本申请实施例提供一种纹理贴图的生成方法、装置、电子设备和存储介质，用以提高三维物体纹理贴图的制作效率。

本申请实施例提供的一种纹理贴图的生成方法，包括：

获取待处理物体对应的三维物体白模和纹理描述信息；

分别根据预设的多个采集视角，对所述三维物体白模进行图像渲染处理，分别获得各采集视角下所述三维物体白模对应的法向图像、深度图像和视角对应图；其中，所述法向图像，用于描述所述待处理物体中每个面元的法向方向，所述视角对应图，用于描述在相应采集视角下，所述待处理物体中每个面元的索引值；

根据所述各采集视角下的深度图像和视角对应图，以及所述纹理描述信息，分别生成所述各采集视角各自对应的目标纹理图像；

根据所述各采集视角下的法向图像，对获得的各目标纹理图像进行纹理融合处理，获得所述待处理物体对应的目标纹理贴图。

本申请实施例提供的一种纹理贴图的生成装置，包括：

获取单元，用于获取待处理物体对应的三维物体白模和纹理描述信息；

渲染单元，用于分别根据预设的多个采集视角，对所述三维物体白模进行图像渲染处理，分别获得各采集视角下所述三维物体白模对应的法向图像、深度图像和视角对应图；其中，所述法向图像，用于描述所述待处理物体中每个面元的法向方向，所述视角对应图，用于描述在相应采集视角下，所述待处理物体中每个面元的索引值；

纹理生成单元，用于根据所述各采集视角下的深度图像和视角对应图，以及所述纹理描述信息，分别生成所述各采集视角各自对应的目标纹理图像；

纹理融合单元，用于根据所述各采集视角下的法向图像，对获得的各目标纹理图像进行纹理融合处理，获得所述待处理物体对应的目标纹理贴图。

可选的，所述纹理生成单元具体用于：

根据所述纹理描述信息、所述各采集视角下的深度图像和视角对应图，对各采集视角下的带噪声纹理图像进行至少一次迭代去噪处理，并将最后一次迭代去噪处理所获得的各采集视角下的融合后纹理图像，作为相应视角下的目标纹理图像；

其中，所述融合后纹理图像是基于所述各采集视角下的视角对应图，对所述各采集视角下的去噪后特征融合得到的；所述深度图像和所述纹理描述信息为所述迭代去噪处理过程中，获得所述去噪后特征的去噪条件。

可选的，所述纹理生成单元用于通过如下操作执行每次迭代去噪处理：

对于每个采集视角，分别根据所述纹理描述信息和一个采集视角下的深度图像，对所述一个采集视角下的带噪声纹理图像进行去噪处理，获得所述一个采集视角下的去噪后特征；其中，第一次迭代去噪处理时的带噪声纹理图像是随机初始化得到的；

根据所述各采集视角下的视角对应图，对所述各采集视角下的去噪后特征进行多视角融合处理，获得所述各采集视角下的融合后纹理图像；

分别将所述各采集视角下的融合后纹理图像，作为下一次迭代去噪处理时相应视角下的带噪声纹理图像。

可选的，每个采集视角下对应一个已训练的扩散模型；则所述纹理生成单元具体用于：

将所述纹理描述信息、所述一个采集视角下的深度图像和所述一个采集视角下带噪声纹理图像，输入相应的扩散模型；

基于所述扩散模型，从所述纹理描述信息、所述深度图像和所述带噪声纹理图像中提取深层神经网络特征，并通过对所述深层神经网络特征去噪，获得所述一个采集视角下的去噪后特征。

可选的，所述纹理生成单元具体用于：

基于预设映射关系，将所述各采集视角下的去噪后特征进行多视角融合处理，获得所述各采集视角下的候选融合特征；

基于所述各采集视角下的视角对应图、所述各采集视角下的去噪后特征、所述各采集视角下的候选融合特征，构建目标函数；

通过最小化所述目标函数来调整所述预设映射关系，获得目标映射关系；

基于所述目标映射关系，将所述各采集视角下的去噪后特征进行多视角融合处理，获得所述各采集视角下的融合后特征；

对于每个采集视角，分别对一个采集视角下的融合后特征通过特征解码处理，获得所述一个采集视角下的融合后纹理图像。

可选的，所述纹理生成单元具体用于：

对于每个面元，分别根据所述各采集视角下的视角对应图，确定所述一个面元在相应视角下的面元权重；

对于每个采集视角，获取一个采集视角下的每个面元各自的去噪后特征与候选融合特征之间的信息差异；根据所述一个采集视角下所述每个面元各自的面元权重，对相应的信息差异进行加权求和，获得一个采集视角下的信息差异和；

将所述各采集视角下的信息差异和再次进行求和，获得所述目标函数。

可选的，所述纹理生成单元具体用于：

若根据一个采集视角下的视角对应图，确定所述一个面元在所述一个采集视角下可见，则确定所述一个面元在所述一个采集视角下的面元权重为预设的第一面元权重；

若根据一个采集视角下的视角对应图，确定所述一个面元在所述一个采集视角下不可见，则确定所述一个面元在所述一个采集视角下的面元权重为预设的第二面元权重；

其中，所述第一面元权重大于所述第二面元权重。

可选的，所述纹理融合单元具体用于：

对于每个采集视角，分别对一个采集视角下的纹理图像进行反向渲染处理，获得所述一个采集视角下带有纹理空洞的缺陷纹理贴图；以及，对所述一个采集视角下的法向图像进行反向渲染处理，获得所述一个采集视角下的融合权重集，所述融合权重集包含在所述一个采集视角下每个面元的融合权重；

根据所述各采集视角下的融合权重集，对所述各采集视角下的缺陷纹理贴图进行纹理融合处理，获得所述待处理物体对应的目标纹理贴图。

可选的，每个所述采集视角对应一个采集设备；则所述纹理融合单元具体用于：

对所述一个采集视角下的每个面元，分别根据一个面元的法向方向与所述采集设备的主轴方向之间的夹角，确定所述一个采集视角下所述一个面元的融合权重；其中，所述夹角与所述融合权重呈负相关；

将所述一个采集视角下每个面元的融合权重进行组合，获得所述一个采集视角下的融合权重集。

可选的，所述纹理融合单元具体用于：

分别对所述各采集视角下的融合权重集进行归一化处理，获得相应视角下的归一化权重集；

基于所述各采集视角下的归一化权重集，对所述各采集视角下的缺陷纹理贴图进行纹理融合处理，获得所述待处理物体对应的目标纹理贴图。

本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一种纹理贴图的生成方法的步骤。

本申请实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述任意一种纹理贴图的生成方法的步骤。

本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行上述任意一种纹理贴图的生成方法的步骤。

本申请有益效果如下：

本申请实施例提供了一种纹理贴图的生成方法、装置、电子设备和存储介质。在本申请实施例中，利用预设的多个采集视角对三维白模进行图像渲染处理，得到该三维物体在对应多个采集视角下的法向图像、深度图像和视角对应图；其中，视角对应图可以反映三维物体表面各面元在不同采集视角下的对应关系，基于此，将该三维物体在对应多个采集视角下的视角对应图作为引导信息，并根据该三维物体在对应多个采集视角下的深度图像，以及对象输入的该三维物体的纹理描述信息，生成各采集视角各自对应的目标纹理图像，由于该过程融合了多个采集视角下的特征，使得多个采集视角下生成的目标纹理图像具有一致性，并且所生成的目标纹理图像符合对象输入的纹理描述信息。

进而，根据各采集视角下的法向图像，将多个采集视角下的目标纹理图像进行纹理融合，得到该三维物体完整的目标纹理贴图。在该处理过程中，根据各采集视角下的法向图像，融合多个采集视角下的目标纹理图像，在三维物体白模表面生成多个采集视角下纹理一致的目标纹理贴图，弥补了各采集视角下由于三维物体自身遮挡而存在的纹理空洞，得到了完整的纹理贴图，提高了三维物体纹理贴图的制作效率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种多视角纹理不一致的示意图；

图2为本申请实施例提供的一种应用场景示意图；

图3为本申请实施例提供的一种纹理贴图的生成方法的实施流程图；

图4为本申请实施例提供的一种法向图像的可视化的示意图；

图5为本申请实施例提供的一种深度图像的可视化示意图；

图6为本申请实施例提供的一种视角对应图的可视化示意图；

图7为本申请实施例提供的一种迭代去噪处理流程图；

图8为本申请实施例提供的一种迭代去噪处理逻辑示意图；

图9为本申请实施例提供的另一种迭代去噪处理逻辑示意图；

图10为本申请实施力提供的一种多视角融合处理的流程图；

图11为本申请实施力提供的一种多视角特征融合的图像扩散模块示意图；

图12为本申请实施例提供的一种融合后纹理图像可视化的示意图；

图13为本申请实施例提供的一种生成目标纹理贴图的流程图；

图14为本申请实施例提供的一种缺陷纹理贴图的示意图；

图15为本申请实施例提供的一种纹理融合模块示意图；

图16A为本申请实施例中的一种纹理贴图的生成示意图；

图16B为本申请实施例提供的一种纹理贴图生成的逻辑框图；

图17为本申请实施例提供的一种纹理贴图生成的评测结果图；

图18为本申请实施例中的一种纹理贴图的生成装置的组成结构示意图；

图19为本申请实施例中的一种电子设备的一个硬件组成结构示意图；

图20为本申请实施例中的另一种电子设备的一个硬件组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

下面对本申请实施例中涉及的部分概念进行介绍。

扩散模型(diffusion model)：也被称为扩散概率模型，是机器学习领域中的一种生成模型，它可以用于文本，语音、图像等数据的生成，本申请中描述的是用于生成图像数据的扩散模型。扩散模型在自然图像上经过反向扩散过程的训练后，可以从随机噪声图像开始，通过迭代去噪的方式生成新的自然图像。

纹理贴图(texture map)：指对三维模型表面纹理进行平铺展开，经由UV映射后得到的二维图像，其中，U和V指的是二维空间的水平轴和垂直轴。纹理贴图描述了三维模型中所有表面的纹理信息。

白模(3D white model)：指的是所有表面均为白色的三维模型，其对应的纹理贴图为纯白色图片。

渲染(rendering)：指渲染器利用三维物体的几何、纹理、光照等信息生成特定视角下的二维图像，这一过程称之为渲染。在本申请实施例中，通过对三维物体白模进行渲染可以得到对应的法向图像、深度图像和视角对应图。

法向图像：描述了三维物体每个面元的法向方向。

深度图像：描述了三维物体每个面元的深度值。

视角对应图：描述了三维物体每个面元的索引值，面元的索引值可以确定面元在各个采集视角下的对应关系。

反向渲染(inverse rendering)：指的是渲染的逆过程，已知特定视角下的图像信息，估计生成这张图像所需的三维物体信息，这个信息可以是几何，纹理，光照中的一种或多种。

纹理描述信息：指的是描述三维物体表面纹理的信息，可以是文字、图片等形式，该纹理描述信息包括但不限于三维物体的颜色、材质、花纹等信息。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

在本申请实施例中，可基于自然语言处理技术和机器学习技术，对纹理描述信息分析，以便通过纹理描述信息对带噪声纹理图像进行去噪处理等，生成符合纹理描述信息的目标纹理图像，便于对象完成三维物体贴图绘制，提高了三维物体纹理贴图的制作效率。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

此外，本申请实施例中的纹理贴图的生成方法还涉及数据库技术。

数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，对象可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个对象共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

如，在本申请实施例中生成的各种图像(法向图像、深度图像和视角对应图、目标纹理图像、目标纹理贴图等)，可存储在数据库中，以供后续使用，等等。

下面对本申请实施例的设计思想进行简要介绍：

在三维物体制作过程中，通常会涉及原画绘制、三维物体几何建模、三维物体贴图绘制、骨骼绑定等步骤，其中，三维物体贴图绘制需要设计师依据原画画稿在三维物体的表面绘制纹理图案，这一步骤要求设计师手工完成纹理贴图的绘制，制作周期长且成本昂贵。

为解决上述问题，相关技术中可基于图像深度信息，在渲染图像中添加噪声数据，得到噪声图像，并从噪声图初始化纹理资源，或者对纹理网格进行纹理解析来提取带缺陷的纹理资源，利用三维物体的深度信息作为引导信息，采用图像的图像深度信息，对特定视角下纹理资源进行优化处理，生成特定视角下的纹理图像。

但是，该方式下，单次优化处理过程只能处理单个纹理资源以及深度信息数据对，仅能针对单个视角独立生成该采集视角下的纹理图像，无法融合不同视角下的数据信息，导致生成的纹理图像应用于三维物体时，往往存在多视角纹理不一致的问题。

如图1所示，其为本申请实施例提供的一种多视角纹理不一致的示意图。图1中为一个三维物体在3个采集视角下各自对应的三个纹理贴图，对于该三维物体的三个贴图，纹理图像1中S101区域的纹理与纹理图像2中S102区域的纹理出现了纹理不一致，从纹理图像2中S102区域对应的格子纹理，在纹理图像1中S101区域并没有对应；纹理图像3中S104区域的纹理与纹理图像2中S103区域的纹理出现了纹理不一致，从纹理图像2中S103区域对应的格子纹理，在纹理图像3中S104区域并没有完全对应，S104区域只有部分格子纹理。

有鉴于此，本申请实施例提供一种纹理贴图的生成方法、装置、电子设备和存储介质。在本申请实施例中，将三维物体在对应多个采集视角下的视角对应图作为引导信息，并根据该三维物体在对应多个采集视角下的深度图像，以及对象输入的该三维物体的纹理描述信息，生成各采集视角各自对应的目标纹理图像，使得多个采集视角下生成的目标纹理图像具有一致性，并且目标纹理图像符合对象输入的纹理描述信息。再根据各采集视角下的法向图像，将多个采集视角下的各目标纹理图像进行纹理融合，通过对多个采集视角下目标纹理贴图的加权融合，得到该三维物体完整的目标纹理贴图。根据对象给定的纹理描述信息，利用预设的多个采集视角，融合多个采集视角下的目标纹理图像，在三维物体白模表面生成多个采集视角下纹理一致的目标纹理贴图，提高了三维物体纹理贴图的制作效率。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图2所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备210和一个服务器220。

在本申请实施例中，终端设备210包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有纹理贴图生成相关的客户端，该客户端可以是软件(例如浏览器、计算机辅助设计软件等)，也可以是网页、小程序等，服务器220则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于进行纹理贴图生成的服务器，本申请不做具体限定。服务器220可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

需要说明的是，本申请各实施例中的纹理贴图的生成方法可以由电子设备执行，该电子设备可以为终端设备210或者服务器220，即，该方法可以由终端设备210或者服务器220单独执行，也可以由终端设备210和服务器220共同执行。比如由终端设备210和服务器220共同执行时，对象在终端设备210输入纹理描述信息、三维物体白模以及预设的多个采集视角，终端设备210将对象输入的这些信息发送至服务器220，服务器220根据预设的多个采集视角，对三维物体白模进行图像渲染处理，分别获得各采集视角下三维物体白模对应的法向图像、深度图像和视角对应图；并根据各采集视角下的深度图像和视角对应图，以及纹理描述信息，分别生成各采集视角各自对应的目标纹理图像；再根据各采集视角下的法向图像，对获得的各目标纹理图像进行纹理融合处理，获得该三维物体对应的目标纹理贴图。最后，服务器220可将该目标纹理贴图发送至终端设备210，以呈现给对象查看使用。

在一种可选的实施方式中，终端设备210与服务器220之间可以通过通信网络进行通信。

在一种可选的实施方式中，通信网络是有线网络或无线网络。

需要说明的是，图2所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本申请实施例中不做具体限定。

本申请实施例中，当服务器的数量为多个时，多个服务器可组成为一区块链，而服务器为区块链上的节点；如本申请实施例所公开的纹理贴图的生成方法，其中所涉及的图像数据可保存于区块链上，例如，法向图像、深度图像、视角对应图、目标纹理图像、目标纹理贴图等。

此外，本申请实施例可应用于各种场景，不仅包括3D内容生成场景，还包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景。

下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的纹理贴图的生成方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。

参阅图3所示，为本申请实施例提供的一种纹理贴图的生成方法的实施流程图，以服务器为执行主体为例，该方法的具体实施流程如下S31～S34：

S31：获取待处理物体对应的三维物体白模和纹理描述信息。

其中，待处理物体可以是任意场景(如游戏、虚拟现实(Virtual Reality，VR)等场景)下的三维物体，本文不做具体限定。例如，待处理物体可以是游戏场景中的人物、建筑等物体。

三维物体白模则是指待处理物体表面均为白色的三维模型。

在本申请实施例中，纹理描述信息为描述三维物体表面纹理的描述信息，下述以文字描述信息为例，该文字描述信息包括但不限于三维物体表面的颜色、材质、花纹等信息；例如，纹理描述信息可以为“黄色丝绸材质并附有蓝色竖条纹图案”。

在本申请实施例中，对于一个待处理物体，可通过建模软件、数字雕刻软件等获取该物体所对应的三维物体白模；可通过对象手动输入、3D扫描等方式，获取该物体所对应的纹理描述信息。

当然，也可通过其他方式获取待处理物体对应的三维物体白模以及纹理描述信息，上述只是简单举例，本文不再一一赘述。

S32：分别根据预设的多个采集视角，对三维物体白模进行图像渲染处理，分别获得各采集视角下三维物体白模对应的法向图像、深度图像和视角对应图。

在本申请实施例中，采集视角可以为数字相机、摄像机等采集设备相对于待处理物体的视角，每个采集视角对应一个采集设备，该采集设备用于在相应视角下采集三维物体白模表面纹理。其中，不同采集视角对应的采集设备可以相同也可以不同，本文不做具体限定。

本申请考虑到对三维物体白模进行采集时，可能会有不可见区域，因而设置了多个采集视角，具体的，所设置的采集视角的数量大于等于2即可。如预设的多个采集视角可以是4个、6个等，本文不做具体限定。

在不同采集视角下，通过对该三维物体白模进行渲染，将三维物体白模的表面纹理转换为二维纯白色纹理贴图，进而，可以获得各采集视角下的法向图像、深度图像和视角对应图。

具体的，服务器获取对象输入的待处理物体的三维物体白模，以及待处理物体的纹理描述信息后，可根据预设的多个采集设备的采集视角，对三维物体白模进行图像渲染，获得各采集视角下的法向图像、深度图像和视角对应图。

例如，在一次图像渲染过程中，对象输入的待处理物体的三维物体白模为一件上衣，并输入该上衣的纹理描述信息为“黄色丝绸材质并附有蓝色竖条纹图案”，根据采集设备的3个采集视角，对该三维物体白模进行图像渲染，获得这3个采集视角下对应的3个法向图像、3个深度图像和3个视角对应图，每个采集视角对应一个法向图像、一个深度图像和一个采集视角对应图。

其中，法向图像用于描述待处理物体中每个面元的法向方向。

如图4所示，其为本申请实施例提供的一种法向图像的可视化的示意图。具体的，图4为在一次纹理贴图的生成过程中，根据预设的3个采集视角，对一个待处理物体三维物体白模经过图像渲染处理后，得到的3个采集视角各自对应的法向图像。在法向图像1、法向图像2及法向图像3中，分别描述了三维物体的每个面元在对应采集视角下的法向方向。

其中，深度图像用于描述每个面元的深度值，深度值表示待处理物体中相应面元相对于采集设备的距离。

如图5所示，其为本申请实施例提供的一种深度图像的可视化示意图。具体的，图5为根据预设的3个采集视角，对一个待处理物体三维物体白模经过图像渲染处理后，得到的3个采集视角各自对应的深度图像。在深度图像1、深度图像2及深度图像3中，当待处理物体距离采集设备较近的部分区域，在深度图像中呈现为更浅的颜色；当待处理物体距离采集设备较远的部分区域，在深度图像中呈现为更深的颜色。

视角对应图用于描述在相应采集视角下，待处理物体中可视面元的索引值，由于每个面元在不同采集视角下对应的面元索引值均相同，因此，可以根据面元索引值计算面元在不同视角下的对应关系。

如图6所示，其为本申请实施例提供的一种视角对应图的可视化示意图。图6为根据预设的3个采集视角，对一个待处理物体的三维物体白模经过图像渲染处理后，所得到的在3个采集视角下分别对应的视角对应图。以面元A和面元B为例。其中，面元A在3个采集视角下均可见，面元B在2个采集视角下可见。对于面元A，在视角对应图1中为A1，在视角对应图2中为A2，在视角对应图3中为A3；对于面元B，在视角对应图1中为B1，在视角对应图2中为B2，在视角对应图3中面元B为不可见面元。因此A1、A2、A3反映了面元A在这3个视角对应图中的对应关系，因此B1、B2反映了面元B在前2个视角对应图中的对应关系。

在获得各采集视角下对应的法向图像、深度图像和视角对应图之后，即可根据纹理描述信息，以及各采集视角下对应的法向图像、深度图像和视角对应图，生成多个采集视角下的融合后纹理图像。

S33：根据各采集视角下的深度图像和视角对应图，以及纹理描述信息，分别生成各采集视角各自对应的目标纹理图像。

在本申请实施例中，可采用该技术下的机器学习模型实现S33。即，将深度图像、视角对应图和纹理描述信息作为机器学习模型的输入，以生成与纹理描述信息语义相关的目标纹理图像。

如，可以采用扩散模型对带噪声纹理图像进行迭代去噪处理，以获得各采集视角各自对应的目标纹理图像。一种可选的实施方式如下：

根据纹理描述信息、各采集视角下的深度图像和视角对应图，对各采集视角下的带噪声纹理图像进行至少一次迭代去噪处理，并将最后一次迭代去噪处理所获得的各采集视角下的融合后纹理图像，作为相应视角下的目标纹理图像。

其中，融合后纹理图像是基于各采集视角下的视角对应图，对各采集视角下的去噪后特征融合得到的；深度图像和纹理描述信息为迭代去噪处理过程中，获得去噪后特征的去噪条件。

具体的，在进行迭代去噪处理时，以深度图像和纹理描述信息作为去噪条件，可获得去噪后特征，而本申请为了保证三维物体多个视角下生成的纹理图像具有一致性，并非进行简单的去噪，而是在此基础上，结合视角对应图生成各视角的目标纹理图像，该过程采用视角对应图来描述三维物体表面在不同视角下的对应关系，并利用其作为引导信息在扩散模型迭代去噪的过程中融合多个视角下的特征信息，使得三维物体多个视角下生成的纹理图像具有一致性。

可选的，迭代去噪处理的过程可基于扩散模型来实现，在每次迭代去噪处理时执行如图7所示的流程图S331～S333：

S331：对于每个采集视角，分别根据纹理描述信息和一个采集视角下的深度图像，对该采集视角下的带噪声纹理图像进行去噪处理，获得该采集视角下的去噪后特征；其中，第一次迭代去噪处理时的带噪声纹理图像是随机初始化得到的。

例如，将带噪声纹理图像经过图像编码器进行压缩从像素空间转换为潜在空间，以捕捉图像的本质信息。使用文本编码器，如词袋模型(Count Vectorizer)、词频-逆文档频率(Term Frequency-Inverse Document Frequency，TF-IDF Vectorizer)等，将输入的纹理描述信息转化为去噪过程的条件。

进而，基于纹理描述信息、深度图像条件对带噪声纹理图像进行去噪处理，以获得生成图像的潜在表示。

在本申请实施例中，去噪过程可以根据文本图像或其他形式的条件进行灵活调整。对于纹理描述信息而言，例如，以文本为条件可以使用对象输入的文字形式的纹理描述信息，以图像为条件则可以使用对象输入的图像形式纹理描述信息。最终，通过图像解码器将图像从潜在空间重新转换为像素空间，生成最终的图像。对于深度图像而言，其为图像条件。

具体的，基于纹理描述信息和深度图像条件对带噪声纹理图像进行去噪处理的过程，即根据深度图像提供的待处理物体中相应面元相对于采集设备的距离，对带噪声纹理图像进行迭代去噪时，可以使去噪结果更好地还原待处理物体的深度细节；根据纹理描述信息提供的待处理物体的纹理，包括颜色、花纹等信息，对带噪声纹理图像进行去噪时，可以使去噪结果逐渐贴合纹理描述信息的纹理，这样，最终所生成去噪后特征能够与待处理物体的特征及纹理描述信息纹理特征相匹配。

在本申请实施例中，上述步骤可基于扩散模型来实现，扩散模型是用于生成图像数据的扩散模型。对于每一个采集视角，扩散模型在经过反向扩散过程的训练后，可以从该采集视角下的带噪声纹理图像、深度图像，以及对象输入的纹理描述信息中提取深层神经网络特征，并估计深层神经网络特征中的噪声分量，从而输出该采集视角下去噪后的特征。

进一步地，在实施S331时，为了提高图像处理的效率，还可为每个采集视角配置一个训练好的扩散模型。

可选的，每个采集视角下对应一个已训练的扩散模型，则S331的一种可选的实施方式如下，包括S3311～S3312(图7未示出)：

S3311：将纹理描述信息、一个采集视角下的深度图像和该采集视角下带噪声纹理图像，输入相应的扩散模型。

S3312：基于扩散模型，从纹理描述信息、深度图像和带噪声纹理图像中提取深层神经网络特征，并通过对深层神经网络特征去噪，获得该采集视角下的去噪后特征。

概括来说，每个采集视角对应一个扩散模型，每个扩散模型的输入为相应采集视角下的深度图像、带噪声纹理图像，此外还有多个采集视角共享的纹理描述信息，输出为一个采集视角下的去噪后特征。不同采集视角下的扩散模型可并行处理，以快速实现多视角下的图像处理，进而有助于提高纹理贴图的生成效率。

S332：根据各采集视角下的视角对应图，对各采集视角下的去噪后特征进行多视角融合处理，获得各采集视角下的融合后纹理图像。

S333：分别将各采集视角下的融合后纹理图像，作为下一次迭代去噪处理时相应视角下的带噪声纹理图像。

需要说明的是，上述迭代去噪处理过程中，第一次迭代去噪处理时的带噪声纹理图像是随机初始化得到的。而后每次迭代去噪处理的带噪声纹理图像都是上一次迭代所获得的融合后纹理图像。

具体的，对于每次迭代去噪处理，应根据对象输入的纹理描述信息，以及根据图像渲染处理后得到的每个采集视角下的深度图像，通过对应采集视角下训练好的该采集视角对应的扩散模型，对带噪声纹理图像进行去噪处理，得到该采集视角下的去噪后特征；具体的，每个采集视角下都可基于上述方式获得相应的去噪后特征；进而，对于每个采集视角，再根据该采集视角下的视角对应图，通过多视角特征融合算法，对各个采集视角下的去噪后特征进行多视角融合，得到融合后纹理图像。并将本次经过迭代去噪处理后得到的融合纹理图像作为下一次迭代去噪处理的输入，即下一次迭代去噪处理的带噪声纹理图像。

如图8所示，其为本申请实施例提供的一种迭代去噪处理逻辑示意图。图8列举了3个采集视角的待处理物体进行一次迭代去噪处理时，对3采集视角下的带噪声纹理图像进行去噪的示意图。根据对象输入的该待处理物体对应的纹理描述信息，以及3个采集视角下的深度图像，通过训练好的扩散模型，分别对3个采集视角下的带噪声纹理图像进行去噪处理，得到3个采集视角下，各自对应的3个去噪后特征，将这3个去噪后特征作为多视角特征融合算法的输入，各采集视角下的视角对应图作为引导信息，通过将这3个视角下的去噪后特征进行融合，分别得到这3个采集视角下各自对应的融合后纹理图像。

在本申请实施例中，通过迭代执行上述去噪过程，最后一次迭代去噪后得到的融合后纹理图像，即为目标纹理图像。

例如，迭代去噪过程可以用[T，…，0]个时刻的状态来表示T个迭代次数的优化过程，T的取值可以根据经验进行设定，也可以根据输入的带噪声纹理图像范围进行设定，例如，T的取值范围可以为20～50，本申请不做具体限定。T时刻的图像为随机初始化的带噪声图像，0时刻的图像为最终生成的目标纹理图像，其中t时刻的融合后纹理图像会作为t-1时刻的带噪声纹理图像。可以参阅如图9所示的迭代去噪过程示意图。

如图9所示，其为本申请实施例提供的另一种迭代去噪处理示意图。图9为一个采集视角下，对随机初始化的带噪声纹理图像进行迭代去噪的过程示例。在T时刻，即第一次进行去噪处理时，输入的纹理图像为图9中S901所示的随机初始化的带噪声纹理图像，根据该采集视角下的深度图像以及对象输入的纹理描述信息，对该带噪声纹理图像进行去噪，使其更加贴合待处理物体的形状，并逐渐形成符合对象输入的纹理描述信息的纹理。在t时刻，该时刻下生成的融合后纹理图像，即图9中S902所示的融合后纹理图像，将作为t-1时刻去噪处理的输入，即t-1时刻的带噪声纹理图像。假设迭代次数为20，则通过20次去噪处理，得到0时刻的去噪处理输出，即图9中S903所示，即为该采集视角下所获得的目标纹理图像。

在本申请实施例中，每个采集视角下都可基于上述图9所示的过程，获得相应的目标纹理图像，且该过程将各采集视角下的视角对应图作为引导信息，对多个采集视角下的特征进行融合，使获得的目标纹理图像在多个采集视角下具有一致性。

需要说明的是，本申请实施例不对扩散模型的类型进行限定，扩散模型是具备基础的图像生成能力的模型，包括但不限于以下任一种：Diffusion Probabilistic Model(扩散概率模型，可以简称为Diffusion Model(扩散模型))、Denoising DiffusionProbabilistic Model(去噪扩散概率模型)、以及Stable-Diffusion Model(平稳扩散模型)。

此外需要说明的是，本申请实施例涉及的扩散模型是具备基础图像生成能力的模型，扩散模型具备基础图像生成能力是指：基于给定纹理描述信息，图像生成模型具备能够生成与给定纹理描述信息的语义相关的图像的能力；可以理解为，本申请实施例提供的扩散模型是经过预训练的扩散模型，本申请实施例对扩散模型进行训练可以理解为是对扩散模型进行微调，借助扩散模型已经具备的基础图像生成能力，在自然图像上经过反向扩散过程的训练后，可以从随机初始化带噪声纹理图像开始，通过迭代去噪的方式生成融合后纹理图像。

本申请中扩散模型的训练方式可采用常规的模型训练方式，本文不做具体限定，其中，满足扩散模型训练终止条件可以包括以下任一种：迭代训练的训练次数达到次数阈值(次数阈值可以是根据经验值设定的，用于控制训练次数的数值，例如，次数阈值为20次、50次等)，扩散模型的损失信息小于损失阈值(损失阈值可以是根据经验值设定的，用于控制扩散模型的损失信息的数值)。

还需说明的是，本由请实施例涉及的扩散模型，可以是与人工智能的计算机视觉技术领域相关的机器学习模型。

其中，对去噪后特征通过多视角特征信息融合算法，进行多视角融合处理得到融合后纹理图像时，也即，在执行图7所示的步骤S332时，可以基于如图10所示的流程图来实施，包括S3321～S3324：

S3321：基于预设映射关系，将各采集视角下的去噪后特征进行多视角融合处理，获得各采集视角下的候选融合特征。

S3322：基于各采集视角下的视角对应图、各采集视角下的去噪后特征、各采集视角下的候选融合特征，构建目标函数。

S3323：通过最小化目标函数来调整预设映射关系，获得目标映射关系。

其中，预设映射关系可以采用映射函数、映射集合、映射图标等形式，本文不做具体限定。

例如，可以采用映射函数的形式来表示预设映射关系。在本申请实施例中，将各采集视角下的去噪后特征作为映射函数的输入，可以得到各采集视角下的候选融合特征。

当各采集视角下的去噪后特征的输入权重不同时，映射函数将随之发生变化，输入权重与映射函数一一对应，进而，随着输入权重的改变，候选融合特征也会改变；因此根据各采集视角下的视角对应图、去噪后特征、候选融合特征构建目标函数时，根据不同的候选融合特征来构建目标函数，可以得到对应候选融合特征的不同目标函数。

在本申请实施例中，通过最小化目标函数，可确定唯一与最小的目标函数对应的目标输入权重，并根据该目标输入权重，可唯一确定一种映射函数，即为本申请中的目标映射关系。

在确定目标映射关系的情况下，基于目标映射关系，将各采集视角下的去噪后特征分别进行多视角融合处理所得到的候选融合特征，即为相应采集视角下的融合后特征。

最后，再对融合后特征解码，即可获得相应的图像，即融合后纹理图像，如下步骤所述：

S3324：对于每个采集视角，分别对该采集视角下的融合后特征通过特征解码处理，则可获得该采集视角下的融合后纹理图像。

下面对目标函数的构建过程进行详细说明：

一种可选的实施方式为，通过如下方式确定目标函数：

对于每个面元，分别根据各采集视角下的视角对应图，确定一个面元在相应视角下的面元权重；

对于每个采集视角，获取一个采集视角下的每个面元各自的去噪后特征与候选融合特征之间的信息差异；根据一个采集视角下每个面元各自的面元权重，对相应的信息差异进行加权求和，获得一个采集视角下的信息差异和；

将各采集视角下的信息差异和再次进行求和，获得目标函数。

具体的，在本申请实施例中，可以通过如下公式确定目标函数：

其中，下标i表示的是采集视角下标，下标j表示的是面元索引，t表示的是第t次迭代去噪处理；M为采集视角个数；L

公式1描述了对M个采集视角下融合前特征和融合后特征差异的加权求和，对于目标函数的最小化处理是约束融合后特征同时逼近个采集视角下的去噪后特征，调和多个去噪后特征得到融合后特征。

F(·)为上述表示预设映射关系的映射函数，F(·)的输入为第t次迭代去噪处理时，所有采集视角对应的去噪后特征，当各个采集视角下对应的各个

例如，在一次纹理贴图制作过程中，第3次迭代去噪时，对应3个采集视角分别有

在本申请实施例中，由于设置了不同的采集视角，并不能保证每个面元在各采集视角下都可见，而视角对应图则可反映一个面元在相应采集视角下是否可见，因而，在确定面元权重时，则可依据视角对应图来确定。

对于W

若根据一个采集视角下的视角对应图，确定一个面元在一个采集视角下可见，则确定一个面元在一个采集视角下的面元权重为预设的第一面元权重。

若根据一个采集视角下的视角对应图，确定一个面元在一个采集视角下不可见，则确定一个面元在一个采集视角下的面元权重为预设的第二面元权重。

在本申请实施例中，不对第一面元权重和第二面元权重的数值进行具体限定，只需保证第一面元权重大于第二面元权重即可，也即，在融合过程中更侧重可见面元。

一种可选的实施方式为，将1作为第一面元权重，0作为第二面元权重。沿用图5的假设，图5中面元A在视角对应图1、视角对应图2、视角对应图3中均为可见面元，因此，对于面元A的面元权重

需要说明的是，面元权重也可以有其他取值，例如，可以将1作为第一面元权重，0.5作为第二面元权重；此外面元权重也可以通过其他方式确定，例如，可以根据面元在待处理物体上的不同区域来划分面元的面元权重，本申请不做具体限定。

除上述所列举的通过最小化目标函数获得去噪后特征外，还可通过对各采集视角下的特征进行简单的加权平均获得去噪后特征，如下所述：

在一种可选的实施方式中，在对多个采集视角下的去噪后特征进行多视角融合处理时，也可以将各个面元在不同采集视角下的特征进行加权平均，并将加权平均后的特征替换面元在各采集视角下的特征。例如，沿用图5的假设，对图5中面元A的去噪后特征进行多视角融合时，将图5中面元A在视角对应图1中A1、视角对应图2中A2、视角对应图3中A3的去噪后特征进行加权平均，得到新的特征替换掉A1、A2、A3。同理，对于图5中面元B，将图5中面B在视角对应图1中B1、视角对应图2中B2的去噪后特征进行加权平均，得到新的特征替换掉B1、B2。

需要说明的是，上述对带噪声纹理图像进行迭代去噪获得融合后特征的过程可模块化，如基于下述所列举的多视角特征融合的图像扩散模块来实现：

如图11所示，其为本申请实施例提供的一种多视角特征融合的图像扩散模块示意图。图11为将带噪声纹理图像进行迭代去噪处理的其中一次去噪过程，根据对象输入的纹理描述信息以及各采集视角下的深度图像，通过已训练的扩散模型，可以从该采集视角下随机初始化的带噪声纹理图像中提取深层神经网络特征，并估计深层神经网络特征中的噪声分量，从而输出该采集视角下去噪后的特征。

将各个采集视角下的去噪后特征作为多视角特征信息融合算法的输入，并将个采集视角下的视角对应图作为多视角融合的引导信息，对去噪后特征进行多视角融合，得到融合后特征。

进而，根据特征解码模块，对各采集视角下的融合后特征进行特征解码，从而得到融合后纹理图像，本次融合后纹理图像可以作为下一次迭代去噪处理的带噪声纹理图像，从而实现对随机初始化的带噪声纹理图像的迭代去噪处理，进而获得目标纹理图像，即最后一次迭代去噪得到融合后纹理图像。

在本申请实施例中，由于将各采集视角下的视角对应图作为引导信息，对多个采集视角下的特征进行融合，再进行特征解码，使获得的融合后纹理图像在多个采集视角下具有一致性。例如，可以参阅图12所示的融合后纹理图像示意图。

如图12所示，其为本申请实施例提供的一种融合后纹理图像可视化的示意图。图12中为在一次对待处理物体进行纹理贴图的生成过程中，通过多视角特征融合的图像扩散模块得到的3个采集视角下分别对应的融合后纹理图像1、融合后纹理图像2、融合后纹理图像3，从图12可以看出，这3个采集视角下各自对应的融合后纹理图像具有一致性。

在本申请实施例中，通过根据对象输入废热纹理描述信息对带噪声纹理图像进行去噪处理，并对多个采集视角下的去噪后特征进行多视角融合处理，使得多个采集视角下的融合后特征具有一致性，提高了生成纹理贴图的效率。

S34：根据各采集视角下的法向图像，对获得的各目标纹理图像进行纹理融合处理，获得待处理物体对应的目标纹理贴图。

在本申请实施例中，通过各采集视角下法向图像描述的各面元的法向方向，结合各采集视角的主轴方向对各采集视角下的目标纹理图像进行纹理融合处理，进而得到完整的目标纹理贴图。

一种可选的实施方式为，可通过如图13所示的流程图S341～S342(图3未示出)获得待处理物体对应的目标纹理贴图：

S341：对于每个采集视角，分别对一个采集视角下的纹理图像进行反向渲染处理，获得一个采集视角下带有纹理空洞的缺陷纹理贴图；以及，对一个采集视角下的法向图像进行反向渲染处理，获得一个采集视角下的融合权重集，融合权重集包含在一个采集视角下每个面元的融合权重；

S342：根据各采集视角下的融合权重集，对各采集视角下的缺陷纹理贴图进行纹理融合处理，获得待处理物体对应的目标纹理贴图。

由于待处理物体为三维物体，三维物体会对自身的部分表面产生遮挡，因此，一个采集视角无法采集待处理物体的全部表面，在对一个采集视角下的纹理图像进行反向渲染得到纹理贴图时，该采集视角下的纹理贴图存在该采集视角下不可见区域的纹理空洞，是有缺陷纹理贴图。可参阅图14所示的缺陷纹理贴图示意图。

如图14所示，其为本申请实施例提供的一种缺陷纹理贴图的示意图。图14为一个待处理物体在2个采集视角下分别对应的2个纹理图像，经过反向渲染后，在每个采集视角下分别得到一个缺陷纹理贴图，即缺陷纹理贴图A和缺陷纹理贴图B，由于待处理物体为三维物体，三维物体会对自身的部分表面产生遮挡，因此，在缺陷纹理贴图A中所示的S1401对应的纹理区域，在缺陷纹理贴图B中所示的S1402则表现出纹理空洞；在缺陷纹理贴图A中所示的S1403对应的纹理区域，在缺陷纹理贴图B中所示的S1404则表现出纹理空洞；在缺陷纹理贴图A中所示的S1405对应的纹理区域，在缺陷纹理贴图B中所示的S1406则表现出纹理空洞等。

此外，根据各采集视角下的法向图像，通过反向渲染处理，得到各采集视角下的融合权重图。一种可选的实施方式为：

对一个采集视角下的每个面元，分别根据一个面元的法向方向与采集设备的主轴方向之间的夹角，确定该采集视角下一个面元的融合权重；进而，将该采集视角下每个面元的融合权重进行组合，获得该采集视角下的融合权重集。

其中，夹角与融合权重呈负相关。如夹角越大，相应的融合权重越小。

具体的，各视角下的法向图像描述了该采集视角下待处理物体可见面元的法向方向，利用法向方向与采集设备采集视角主轴方向的夹角，可以计算得到该面元在该采集视角下的融合权重。该夹角越小表明该面元被采集的置信度越高，因此，在纹理融合过程中该面元的融合权重也会越大。将该采集视角下全部面元的融合权重进行组合，即可得到该采集视角下对应的融合权重集。

通过各视角下对应的融合权重集，根据纹理贴图融合算法，对各视角下的缺陷纹理贴图进行融合，以得到完整的纹理贴图。一种可选的实施方式如下：

分别对各采集视角下的融合权重集进行归一化处理，获得相应视角下的归一化权重集；进而，基于各采集视角下的归一化权重集，对各采集视角下的缺陷纹理贴图进行纹理融合处理，获得待处理物体对应的目标纹理贴图。

具体的，在本申请实施例中，可以通过如下公式实现对各采集视角下的缺陷纹理贴图的纹理融合：

其中，下标i表示的是采集视角下标，M为采集视角个数；softmax(·)表示归一化操作，softmax(N

其中，上述公式2描述了M个采集视角下，根据归一化融合权重集，对各采集视角下缺陷纹理贴图进行加权融合的过程，最终得到目标纹理贴图。

当然，上述公式2所列举的计算方式只是简单举例，除此之外，其他相关的计算方式同样适用于本申请实施例，在此不再一一赘述。

综上所述，在生成完整纹理贴图的过程中，一方面将各采集视角下的纹理图像经过反向渲染处理得到各采集视角下对应的缺陷纹理贴图，另一方面将各采集视角下的法向图像进过反向渲染处理得到各采集视角下对应的融合权重集，再对各采集视角下的融合权重机进行归一化处理，得到各采集视角下的归一化权重集，根据归一化权重集对对应采集视角下的缺陷纹理贴图进行纹理融合处理，得到完整的目标纹理贴图。具体的，可参阅图15所示的纹理融合模块示意图。

如图15所示，其为本申请实施例提供的一种纹理融合模块示意图。图15中通过反向渲染模块，将各采集视角下的纹理图像经过反向渲染处理得到各采集视角下对应的缺陷纹理贴图，同时，将各采集视角下的法向图像进过反向渲染处理得到各采集视角下对应的融合权重集，再对各采集视角下的融合权重机进行归一化处理，得到各采集视角下的归一化权重集，根据归一化权重集对对应采集视角下的缺陷纹理贴图进行纹理贴图融合处理，得到完整的目标纹理贴图。

通过上述实施方式，通过各采集视角下的法向图像对各缺陷纹理贴图进行纹理贴图融合，弥补了三维物体中各采集视角下的纹理贴图存在不可见区域的纹理空洞的缺陷，使各个采集视角下的纹理贴图具有一致性。

综上所述，在本申请实施例中，纹理贴图的生成过程可划分为如下三个模块：

参阅图16A所示，其为本申请实施例中的一种纹理贴图的生成示意图。对于纹理贴图的生成，可以分为图像渲染模块、多视角特征融合的图像扩散模块以及纹理融合模块。

图像渲染模块：根据预设的多个采集视角，对三维物体白模进行图像渲染处理，分别获得各采集视角下三维物体白模对应的法向图像、深度图像和视角对应图。

多视角特征融合的图像扩散模块：根据各采集视角下的深度图像和视角对应图，以及所述纹理描述信息，分别生成各采集视角各自对应的目标纹理图像。

纹理融合模块：根据各采集视角下的法向图像，对获得的各目标纹理图像进行纹理融合处理，获得待处理物体对应的目标纹理贴图。

本申请所提出的方法，在单次推理过程中可同时提取并处理多视角下的深度信息，生成多个视角下的纹理图像，最终合并多个视角下的纹理图像得到三维物体完整的纹理贴图。

一种可选的实施方式为，通过图16B所示的逻辑框图生成待处理物体的纹理贴图：

如图16B所示，其为本申请实施例提供的一种纹理贴图生成的逻辑框图。图16B描述了对象输入待处理物体的三维物体白模及纹理描述信息后，服务器根据该三维物体白模及纹理描述信息生成的纹理贴图。

具体的，对象输入待处理物体的三维物体白模及纹理描述信息后，通过图像渲染模块，根据预设的3个采集视角，对三维物体白模经过图像渲染处理后，得到各采集视角下对应的视角对应图、深度图像和法向图像。

进而，通过多视角特征融合的图像扩散模块，基于纹理描述信息，各采集视角下的视角对应图及深度图像生成融合后纹理贴图。

最后，通过纹理融合模块，基于各采集视角下的融合后纹理贴图及法向图像生成目标纹理贴图。

需要说明的是，除上述所列举的几个模块外，具体也可划分为其他模块，本文不做具体限定。

上述目标纹理贴图可应用于3D素材生成、游戏角色制作、VR场景合成等各种3D内容生成场景中，如在游戏角色制作流程中，对于三维游戏角色贴图绘制这一任务，可采用本申请的纹理贴图生成技术，在三维物体的表面生成符合文字描述的纹理信息，实现通过文字描述直接生成纹理贴图的过程，进而提升设计师制作纹理贴图的效率。

在本申请实施例中，利用预设的多个采集视角对三维白模进行图像渲染处理，得到该三维物体在对应多个采集视角下的法向图像、深度图像和视角对应图；将该三维物体在对应多个采集视角下的视角对应图作为引导信息，并根据该三维物体在对应多个采集视角下的深度图像，以及对象输入的该三维物体的纹理描述信息，对各采集视角下的去噪后特征进行多视角融合，生成各采集视角各自对应的融合后特征，再对各融合后特征进行解码，使得多个采集视角下生成的目标纹理图像具有一致性，并且目标纹理图像符合对象输入的纹理描述信息。根据各采集视角下的法向图像，将多个采集视角下的各目标纹理图像进行纹理融合，通过对多个采集视角下目标纹理贴图的加权融合，得到该三维物体完整的目标纹理贴图。

参阅图17所示，其为本申请实施例提供的一种纹理贴图生成的评测结果图，图17展示了本申请生成的纹理贴图美观度用户评测结果图，在调研的1000个样本中，共有569个样本认为本申请生成的纹理贴图效果更好，占比为56.9％；311个样本认为Meshy的方案效果更好，占比约为31.1％；120个样本认为Texture的方案效果更好，占比约为12.0％。

很显然，上述调研进一步表明本申请实施例中生成的纹理贴图具有更好的使用效果。

基于相同的发明构思，本申请实施例还提供一种纹理贴图的生成装置。如图18所示，其为纹理贴图的生成装置1800的结构示意图，可以包括：

获取单元1801，用于获取待处理物体对应的三维物体白模和纹理描述信息；

渲染单元1802，用于分别根据预设的多个采集视角，对三维物体白模进行图像渲染处理，分别获得各采集视角下三维物体白模对应的法向图像、深度图像和视角对应图；其中，法向图像，用于描述待处理物体中每个面元的法向方向，视角对应图，用于描述在相应采集视角下，待处理物体中每个面元的索引值；

纹理生成单元1803，用于根据各采集视角下的深度图像和视角对应图，以及纹理描述信息，分别生成各采集视角各自对应的目标纹理图像；

纹理融合单元1804，用于根据各采集视角下的法向图像，对获得的各目标纹理图像进行纹理融合处理，获得待处理物体对应的目标纹理贴图。

可选的，纹理生成单元1803具体用于：

根据纹理描述信息、各采集视角下的深度图像和视角对应图，对各采集视角下的带噪声纹理图像进行至少一次迭代去噪处理，并将最后一次迭代去噪处理所获得的各采集视角下的融合后纹理图像，作为相应视角下的目标纹理图像；

其中，融合后纹理图像是基于各采集视角下的视角对应图，对各采集视角下的去噪后特征融合得到的；深度图像和纹理描述信息为迭代去噪处理过程中，获得去噪后特征的去噪条件。

可选的，纹理生成单元1803通过如下操作执行每次迭代去噪处理：

对于每个采集视角，分别根据纹理描述信息和一个采集视角下的深度图像，对一个采集视角下的带噪声纹理图像进行去噪处理，获得一个采集视角下的去噪后特征；其中，第一次迭代去噪处理时的带噪声纹理图像是随机初始化得到的；

根据各采集视角下的视角对应图，对各采集视角下的去噪后特征进行多视角融合处理，获得各采集视角下的融合后纹理图像；

分别将各采集视角下的融合后纹理图像，作为下一次迭代去噪处理时相应视角下的带噪声纹理图像。

可选的，每个采集视角下对应一个已训练的扩散模型；

则纹理生成单元1803具体用于：

将纹理描述信息、一个采集视角下的深度图像和一个采集视角下带噪声纹理图像，输入相应的扩散模型；

基于扩散模型，从纹理描述信息、深度图像和带噪声纹理图像中提取深层神经网络特征，并通过对深层神经网络特征去噪，获得一个采集视角下的去噪后特征。

可选的，纹理生成单元1803具体用于：

基于预设映射关系，将各采集视角下的去噪后特征进行多视角融合处理，获得各采集视角下的候选融合特征；

基于各采集视角下的视角对应图、各采集视角下的去噪后特征、各采集视角下的候选融合特征，构建目标函数；

通过最小化目标函数来调整预设映射关系，获得目标映射关系；

基于目标映射关系，将各采集视角下的去噪后特征进行多视角融合处理，获得各采集视角下的融合后特征；

对于每个采集视角，分别对一个采集视角下的融合后特征通过特征解码处理，获得一个采集视角下的融合后纹理图像。

可选的，纹理生成单元1803具体用于：

对于每个面元，分别根据各采集视角下的视角对应图，确定一个面元在相应视角下的面元权重；

对于每个采集视角，获取一个采集视角下的每个面元各自的去噪后特征与候选融合特征之间的信息差异；根据一个采集视角下每个面元各自的面元权重，对相应的信息差异进行加权求和，获得一个采集视角下的信息差异和；

将各采集视角下的信息差异和再次进行求和，获得目标函数。

可选的，纹理生成单元1803具体用于：

若根据一个采集视角下的视角对应图，确定一个面元在一个采集视角下可见，则确定一个面元在一个采集视角下的面元权重为预设的第一面元权重；

若根据一个采集视角下的视角对应图，确定一个面元在一个采集视角下不可见，则确定一个面元在一个采集视角下的面元权重为预设的第二面元权重；

其中，第一面元权重大于第二面元权重。

可选的，纹理融合单元1804具体用于：

对于每个采集视角，分别对一个采集视角下的纹理图像进行反向渲染处理，获得一个采集视角下带有纹理空洞的缺陷纹理贴图；以及，对一个采集视角下的法向图像进行反向渲染处理，获得一个采集视角下的融合权重集，融合权重集包含在一个采集视角下每个面元的融合权重；

根据各采集视角下的融合权重集，对各采集视角下的缺陷纹理贴图进行纹理融合处理，获得待处理物体对应的目标纹理贴图。

可选的，每个采集视角对应一个采集设备；

则纹理融合单元1804具体用于：

对一个采集视角下的每个面元，分别根据一个面元的法向方向与采集设备的主轴方向之间的夹角，确定一个采集视角下一个面元的融合权重；其中，夹角与融合权重呈负相关；

将一个采集视角下每个面元的融合权重进行组合，获得一个采集视角下的融合权重集。

可选的，纹理融合单元1804具体用于：

分别对各采集视角下的融合权重集进行归一化处理，获得相应视角下的归一化权重集；

基于各采集视角下的归一化权重集，对各采集视角下的缺陷纹理贴图进行纹理融合处理，获得待处理物体对应的目标纹理贴图。

基于上述实施方式，在本申请实施例中，利用预设的多个采集视角对三维白模进行图像渲染处理，得到该三维物体在对应多个采集视角下的法向图像、深度图像和视角对应图；将该三维物体在对应多个采集视角下的视角对应图作为引导信息，并根据该三维物体在对应多个采集视角下的深度图像，以及对象输入的该三维物体的纹理描述信息，生成各采集视角各自对应的目标纹理图像，使得多个采集视角下生成的目标纹理图像具有一致性，并且目标纹理图像符合对象输入的纹理描述信息。根据各采集视角下的法向图像，将多个采集视角下的各目标纹理图像进行纹理融合，通过对多个采集视角下目标纹理贴图的加权融合，得到该三维物体完整的目标纹理贴图。在该处理过程中，根据对象给定的纹理描述信息，利用预设的多个采集视角，融合多个采集视角下的目标纹理图像，在三维物体白模表面生成多个采集视角下纹理一致的目标纹理贴图，提高了三维物体纹理贴图的制作效率。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

在介绍了本申请示例性实施方式的纹理贴图的生成方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图2所示的服务器220。在该实施例中，电子设备的结构可以如图19所示，包括存储器1901，通讯模块1903以及一个或多个处理器1902。

存储器1901，用于存储处理器1902执行的计算机程序。存储器1901可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。

存储器1901可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1901也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器1901是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器1901可以是上述存储器的组合。

处理器1902，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器1902，用于调用存储器1901中存储的计算机程序时实现上述纹理贴图的生成方法。

通讯模块1903用于与终端设备和其他服务器进行通信。

本申请实施例中不限定上述存储器1901、通讯模块1903和处理器1902之间的具体连接介质。本申请实施例在图19中以存储器1901和处理器1902之间通过总线1904连接，总线1904在图19中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1904可以分为地址总线、数据总线、控制总线等。为便于描述，图19中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。

存储器1901中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的纹理贴图的生成方法。处理器1902用于执行上述的纹理贴图的生成方法，如图3所示。

在另一种实施例中，电子设备也可以是其他电子设备，如图2所示的终端设备210。在该实施例中，电子设备的结构可以如图20所示，包括：通信组件2010、存储器2020、显示单元2030、摄像头2040、传感器2050、音频电路2060、蓝牙模块2070、处理器2080等部件。

通信组件2010用于与服务器进行通信。在一些实施例中，可以包括电路无线保真(Wireless Fidelity，WiFi)模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助用户收发信息。

存储器2020可用于存储软件程序及数据。处理器2080通过运行存储在存储器2020的软件程序或数据，从而执行终端设备210的各种功能以及数据处理。存储器2020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器2020存储有使得终端设备210能运行的操作系统。本申请中存储器2020可以存储操作系统及各种应用程序，还可以存储执行本申请实施例纹理贴图的生成方法的计算机程序。

显示单元2030还可用于显示由用户输入的信息或提供给用户的信息以及终端设备210的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元2030可以包括设置在终端设备210正面的显示屏2032。其中，显示屏2032可以采用液晶显示器、发光二极管等形式来配置。显示单元2030可以用于显示本申请实施例中的待处理物体的界面，如呈现待处理物体对应三维物体白模、目标纹理贴图对应的界面等。

显示单元2030还可用于接收输入的数字或字符信息，产生与终端设备210的用户设置以及功能控制有关的信号输入，具体地，显示单元2030可以包括设置在终端设备210正面的触控屏2031，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

其中，触控屏2031可以覆盖在显示屏2032之上，也可以将触控屏2031与显示屏2032集成而实现终端设备210的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元2030可以显示应用程序以及对应的操作步骤。

摄像头2040可用于捕获静态图像，用户可以将摄像头2040拍摄的图像通过应用发布。摄像头2040可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器2080转换成数字图像信号。

终端设备还可以包括至少一种传感器2050，比如加速度传感器2051、距离传感器2052、指纹传感器2053、温度传感器2054。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路2060、扬声器2061、传声器2062可提供用户与终端设备210之间的音频接口。音频电路2060可将接收到的音频数据转换后的电信号，传输到扬声器2061，由扬声器2061转换为声音信号输出。终端设备210还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器2062将收集的声音信号转换为电信号，由音频电路2060接收后转换为音频数据，再将音频数据输出至通信组件2010以发送给比如另一终端设备210，或者将音频数据输出至存储器2020以便进一步处理。

蓝牙模块2070用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块2070与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

处理器2080是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器2020内的软件程序，以及调用存储在存储器2020内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器2080可包括一个或多个处理单元；处理器2080还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器2080中。本申请中处理器2080可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的纹理贴图的生成方法。另外，处理器2080与显示单元2030耦接。

在一些可能的实施方式中，本申请提供的纹理贴图的生成方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的纹理贴图的生成方法中的步骤，例如，电子设备可以执行如图3中所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序命令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品，该命令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。