基于摄影制图法的真人数字化生产方法和装置

技术领域

本申请涉及真人数字化技术领域，尤其涉及一种基于摄影制图法的真人数字化生产方法和装置。

背景技术

在现有技术发展背景下，游戏行业内基于物理渲染的管线开始普及，美术资源的制作标准和开发成本不断提升，快速获得高质量高细节模型成为行业探索方向。但是现有技术需要具有高技术和造型能力的建模师、材质师、绑定师、渲染师等专业技术人才，通过常用DCC软件，花费几个月的时间制作，真人数字化过程中的写实程度取决于各专业技术人才自身技术水平，且团队上下游协同、文件格式之间的转换需要大量的时间打磨。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于摄影制图法的真人数字化生产方法，解决了现有传统建模技术在真人复刻级别的数字角色生产困难，对美术人员有较高技术水平和审美要求的问题，大幅度降低高精度数字人生产成本，提高了真人数字化的生产速度，同时保证了高质量批量化的数字人生产。

本申请的第二个目的在于提出一种基于摄影制图法的真人数字化生产装置。

本申请的第三个目的在于提出一种计算机设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种基于摄影制图法的真人数字化生产方法，包括：获取真人不同角度的头部图像；利用头部图像通过摄影制图法，生成点云数据；基于点云数据生成扫描模型，并通过预处理对扫描模型进行修复；基于3DMM算法对经过修复的扫描模型的面部进行关键特征点标定，并根据关键特征点对扫描模型进行重拓扑；通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型。

可选地，在本申请的一个实施例中，利用头部图像通过摄影制图法，生成点云数据，包括：

基于摄影制图法的相对定位原理，通过移动投影器消除上下视差，确定头部图像的互相位置关系，得到真人的点云数据。

可选地，在本申请的一个实施例中，通过预处理对扫描模型进行修复，包括：

对扫描模型破损区域的顶点数据进行高斯滤波；

其中，对扫描模型破损区域的顶点数据进行高斯滤波，包括：

对扫描模型破损区域内的顶点数据加权平均，并去除高频信息。

可选地，在本申请的一个实施例中，基于3DMM算法对经过修复的扫描模型的面部进行关键特征点标定，并根据关键特征点对扫描模型进行重拓扑，包括：

基于3DMM方法对经过修复的扫描模型的面部进行关键特征点标定；

获取标准化拓扑结构的基础模型；

根据关键特征点，将基础模型的顶点位置信息映射到经过修复的扫描模型对应的顶点上。

可选地，在本申请的一个实施例中，通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型，包括：

使用标量算法计算经过修复的扫描模型的各个部分的标量值，对重拓扑后的扫描模型的网格体的每一个顶点进行映射；

根据映射的标量值，对重拓扑后的扫描模型的网格体的每一个顶点进行着色渲染；

通过重拓扑后的扫描模型的网格体上带有的UV信息，将二维纹理贴图坐标和网格体空间坐标相互关联，并将经过着色渲染的扫描模型的顶点的表面颜色信息进行纹理映射，得到二维纹理贴图；

对重拓扑后的扫描模型的网格体的面数进行隔点删除，并使用二维纹理贴图包裹重拓扑后的扫描模型，得到真人数字化模型；

其中，使用标量算法计算经过修复的扫描模型的各个部分不同的标量值，包括：

根据邻近顶点的标量值，运用内插算法计算经过修复的扫描模型的各个部分的标量值。

可选地，在本申请的一个实施例中，在通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型之后，包括：

获取标准模板的骨骼；

基于柔性绑定算法将骨骼和真人数字化模型的网格体进行绑定；

将带有标准骨骼的网格体的蒙皮信息通过UV信息传递到真人数字化模型的网格体上，使用骨骼动画数据快速驱动真人数字化模型。

可选地，在本申请的一个实施例中，在通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型之后，还包括：

通过Blendshape原理，在真人数字化模型不同的顶点位置信息和相同拓扑及UV信息的网格之间做插值运算，从而对真人数字化模型进行面部驱动。

为达上述目的，本申请第二方面实施例提出了一种基于摄影制图法的真人数字化生产装置，包括：

获取模块，用于获取真人不同角度的头部图像；

生成点云模块，用于利用头部图像通过摄影制图法，生成点云数据；

修复模块模块，用于基于点云数据生成扫描模型，并通过预处理对扫描模型进行修复；

重拓扑模块，用于基于3DMM算法对经过修复的扫描模型的面部进行关键特征点标定，并根据关键特征点对扫描模型进行重拓扑；

优化模块，用于通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的基于摄影制图法的真人数字化生产方法。

为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行一种基于摄影制图法的真人数字化生产方法。

本申请实施例的基于摄影制图法的真人数字化生产方法、装置、计算机设备和非临时性计算机存储介质，解决了现有传统建模技术在真人复刻级别的数字角色生产困难，对美术人员有较高技术水平和审美要求的问题，大幅度降低高精度数字人生产成本，提高了真人数字化的生产速度，同时保证了高质量批量化的数字人生产。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的一种基于摄影制图法的真人数字化生产方法的流程示意图；

图2为本申请实施例的基于摄影制图法的真人数字化生产方法的另一个流程图；

图3为本申请实施例二所提供的一种基于摄影制图法的真人数字化生产装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于摄影制图法的真人数字化生产方法和装置。

图1为本申请实施例一所提供的一种基于摄影制图法的真人数字化生产方法的流程示意图。

如图1所示，该基于摄影制图法的真人数字化生产方法包括以下步骤：

步骤101，获取真人不同角度的头部图像；

步骤102，利用头部图像通过摄影制图法，生成点云数据；

步骤103，基于点云数据生成扫描模型，并通过预处理对扫描模型进行修复；

步骤104，基于3DMM算法对经过修复的扫描模型的面部进行关键特征点标定，并根据关键特征点对扫描模型进行重拓扑；

步骤105，通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型。

本申请实施例的基于摄影制图法的真人数字化生产方法，通过获取真人不同角度的头部图像；利用头部图像通过摄影制图法，生成点云数据；基于点云数据生成扫描模型，并通过预处理对扫描模型进行修复；基于3DMM算法对经过修复的扫描模型的面部进行关键特征点标定，并根据关键特征点对扫描模型进行重拓扑；通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型。由此，能够解决现有传统建模技术在真人复刻级别的数字角色生产困难，对美术人员有较高技术水平和审美要求的问题，大幅度降低高精度数字人生产成本，提高了真人数字化的生产速度，同时保证了高质量批量化的数字人生产。

现有方案后续绑定动画驱动整体流程主要为传统的绑定驱动，制作流程较长，还原度并不是很好。本申请可以把传统需要3个月制作周期的数字人压缩到10天左右，而且可以保证一定的数字资产精度，且对专业技术能力要求很低。

本申请获取真人不同角度的头部图像，包括通过相机矩阵拍摄不同角度人物头部照片。其中，拍摄现场需要布光柔和均匀亮度适中，避免照片产生阴影和色差。真人模特要求拍摄前要洗净脸上的汗渍、油污，不能佩戴任何影响拍摄效果的饰品，拍摄时模特着装为浅色系，尽量多的露出肩部以上的皮肤，常戴眼镜的模特应取下眼镜，头部套上带有数字标记的黑色泳帽。数据集要求保证内容清晰，无明显的局部过曝、阴影、反射、透视及虚化，预计耗费3-4小时。

其中，相机矩阵是一种柔光单反超低延时同步快门拍摄矩阵，其中，硬件包括24台单反相机以及若干补光面板组成和一套自研超低延时快门控制同时拍摄出片的系统。

进一步地，在本申请实施例中，利用头部图像通过摄影制图法，生成点云数据，包括：

基于摄影制图法的相对定位原理，通过移动投影器消除上下视差，确定头部图像的互相位置关系，得到真人的点云数据。

基于真人不同角度的头部图像，利用摄影制图法的相对定位原理，通过使空间所有的同名光线都成对相交，确定图片数据集相互位置关系，得到真人的点云数据。

其中，当同名光线不相交时，则在仪器的观测系统中可以观察到上下视差。上下视差就是两条同名射线在空间不相交时在垂直于摄影基线方向中存在的距离。此时将投影器作微小的直线移动或转动，就可以消除这个距离。理论上只要能够在适当分布的5个点处同时消除该点处的上下视差，就认为已经获得在这个立体像对内全部上下视差的消除，从而完成了相对定位，得出点云数据。

本申请实施例中通过点云数据生成的扫描模型具有准确的空间几何和颜色信息，然而由于扫描设备、周围环境、人为扰动、目标特性等影响，使点云数据无法避免存在一些噪点和外点，导致数据无法正确表达扫描对象的空间位置。因此，需要通过预处理对扫描模型进行修复。

进一步地，在本申请实施例中，通过预处理对扫描模型进行修复，包括：

对扫描模型破损区域的顶点数据进行高斯滤波；

其中，对扫描模型破损区域的顶点数据进行高斯滤波，包括：

对扫描模型破损区域内的顶点数据加权平均，并去除高频信息。

本申请实施例中，使用数据预处理的手法对扫描模型存在破损或粘连的局部点云数据使用高斯滤波，其中，使用高斯滤波包括对指定区域内的数据加权平均，去除高频信息，保证去噪质量的前提下保留住点云数据特征信息。

进一步地，在本申请实施例中，基于3DMM算法对经过修复的扫描模型的面部进行关键特征点标定，并根据关键特征点对扫描模型进行重拓扑，包括：

基于3DMM方法对经过修复的扫描模型的面部进行关键特征点标定；

获取标准化拓扑结构的基础模型；

根据关键特征点，将基础模型的顶点位置信息映射到经过修复的扫描模型对应的顶点上。

本申请实施例中，基于3DMM(人脸3D形变统计模型)方法，在点云生成的面部进行关键特征点标定，主要为眼睛、法令纹、唇部位置，使用标准化的拓扑结构和UV信息的基础模型，把顶点位置信息映射到经过修复的扫描模型上，在保持几何特征的基础上实现点云数据简化。在同样的拓扑结构和UV信息下，经过修复的扫描模型可以使用统一的材质贴图，并使用统一的绑定骨骼，快速使用标准化的动画数据快速驱动。

由于模型无法获取到扫描角色的皮肤颜色信息，重新映射顶点颜色，输出对应的角色颜色贴图，使角色更加贴合真人形象。

进一步地，在本申请实施例中，通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型，包括：

使用标量算法计算经过修复的扫描模型的各个部分的标量值，对重拓扑后的扫描模型的网格体的每一个顶点进行映射；

根据映射的标量值，对重拓扑后的扫描模型的网格体的每一个顶点进行着色渲染；

通过重拓扑后的扫描模型的网格体上带有的UV信息，将二维纹理贴图坐标和网格体空间坐标相互关联，并将经过着色渲染的扫描模型的顶点的表面颜色信息进行纹理映射，得到二维纹理贴图；

对重拓扑后的扫描模型的网格体的面数进行隔点删除，并使用二维纹理贴图包裹重拓扑后的扫描模型，得到真人数字化模型；

其中，使用标量算法计算经过修复的扫描模型的各个部分不同的标量值，包括：

根据邻近顶点的标量值，运用内插算法计算经过修复的扫描模型的各个部分的标量值。

本申请实施例中，由于经过修复的扫描模型的顶点数据集和重拓扑后的扫描模型的网格体顶点数量和位置并不一致，因此需要根据邻近顶点的标量值，运用内插算法计算得到顶点数据集中各个部分不同的标量值，对重拓扑后的扫描模型的网格体的每一个顶点进行映射并着色渲染。

其中，网格体是通过点云相互连接为三角形和四边形集合构成的体积，在保证网格体体积轮廓不做损失下优化点云数量，以此节省优化渲染性能。顶点着色是为3D物体的每个顶点提供了一组单独的色调值，并对各顶点的颜色进行平滑、融合处理，为多边形着上渐变色。

由于使用顶点着色直接渲染，色彩细节依赖网格体顶点的数量支撑，会导致网格体整体性能开销大，不利于角色动画的制作和驱动。

因此，本申请通过重拓扑的网格体上带有的UV信息，把二维纹理贴图坐标和网格体XYZ坐标相互关联，将三维模型的表面颜色信息进行纹理映射，输出到二维图像上。对重拓扑后的扫描模型的网格体的面数进行隔点删除。使用更少面数的网格体配套对应网格体UV信息的高精度的颜色贴图，这样的方案可以获得更低性能开销的资产结构。其中，UV贴图：U是指2D空间的水平轴，V是指2D空间的垂直轴，UV贴图主要用于网格体通过平面化表示出纹理，是一种有效提升渲染性能的制作环节。

进一步地，在本申请实施例中，在通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型之后，包括：

获取标准模板的骨骼；

基于柔性绑定算法将骨骼和真人数字化模型的网格体进行绑定；

将带有标准骨骼的网格体的蒙皮信息通过UV信息传递到真人数字化模型的网格体上，使用骨骼动画数据快速驱动真人数字化模型。

本申请把标准模板的骨骼和真人数字化模型的网格体进行绑定，再基于柔性绑定算法(每个网格体顶点都受到一个或者多个骨骼点影响，在确定网格体顶点变换后的新位置时，需要由这些产生影响的骨骼关节来共同决定)，把标准骨骼的蒙皮信息通过标准网格体的UV信息进行输出，并通过UV信息传递到真人数字化模型的网格体上，这样可以用同样的骨骼动画数据快速驱动真人数字化模型输出对应的内容。

其中，骨骼动画是模型动画的一种(另外一种是顶点动画)，包含了骨骼和蒙皮。模型是由mesh组成的，一段段骨骼之间相互连接组成骨架(连接处称之为关节)，通过改变骨骼的朝向和位置来生成动画。蒙皮是指把Mesh的顶点附着在骨骼上，并且每个顶点可以被多个骨骼控制。

进一步地，在本申请实施例中，在通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型之后，还包括：

通过Blendshape原理，在真人数字化模型不同的顶点位置信息和相同拓扑及UV信息的网格之间做插值运算，从而对真人数字化模型进行面部驱动。

本申请的面部表情数据是通过Blendshape原理，在具有不同的顶点位置信息和相同拓扑及UV信息的网格之间做插值运算，从A面部变换为B面部，从C表情变换为D表情。通过使用ARkit的面部52个Blendshape标准作为通用标准，快速把ARkir标准Blendshape和在此标准下积累的数据库应用在真人数字化模型上。

本申请实施例中基于以上生产的网格体数据可以通过离线渲染器和实时渲染器进行最终画面的输出。

图2为本申请实施例的基于摄影制图法的真人数字化生产方法的另一个流程图。

如图2所示，该基于摄影制图法的真人数字化生产方法包括，通过相机矩阵拍摄不同角度真人头部照片，得到数据集；基于数据集使用软件RealityCapture，通过摄影制图法的原理，生成点云数据；通过点云数据生成扫描模型，将扫描模型导入zbrush软件中通过删除模型多余的部分，修复模型漏洞；根据Metahuman插件提供的模型模板，标定眼睛/法令纹/唇部的位置，通过算法进行模型的自动拓扑；通过Metahuman Creator导出角色模型，在RealityCapture或者Zbrush中重新映射顶点颜色，输出对应的角色颜色贴图，对角色模型进行效果优化，使角色更加贴合真人形象；通过Bridge把角色资产导入UE5，更换角色对应的材质贴图，通过动画数据/硬件设备，驱动角色输出对应的内容。

图3为本申请实施例二所提供的一种基于摄影制图法的真人数字化生产装置的结构示意图。

如图3所示，该基于摄影制图法的真人数字化生产装置，包括：

获取模块10，用于获取真人不同角度的头部图像；

生成点云模块20，用于利用头部图像通过摄影制图法，生成点云数据；

修复模块模块30，用于基于点云数据生成扫描模型，并通过预处理对扫描模型进行修复；

重拓扑模块40，用于基于3DMM算法对经过修复的扫描模型的面部进行关键特征点标定，并根据关键特征点对扫描模型进行重拓扑；

优化模块50，用于通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型。

本申请实施例的基于摄影制图法的真人数字化生产装置，包括获取模块，用于获取真人不同角度的头部图像；生成点云模块，用于利用头部图像通过摄影制图法，生成点云数据；修复模块模块，用于基于点云数据生成扫描模型，并通过预处理对扫描模型进行修复；重拓扑模块，用于基于3DMM算法对经过修复的扫描模型的面部进行关键特征点标定，并根据关键特征点对扫描模型进行重拓扑；优化模块，用于通过重新映射顶点颜色对重拓扑后的扫描模型进行优化，得到真人数字化模型。由此，能够解决现有传统建模技术在真人复刻级别的数字角色生产困难，对美术人员有较高技术水平和审美要求的问题，大幅度降低高精度数字人生产成本，提高了真人数字化的生产速度，同时保证了高质量批量化的数字人生产。

为了实现上述实施例，本申请还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的基于摄影制图法的真人数字化生产方法。

为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于摄影制图法的真人数字化生产方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。