三维人体重建方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种三维人体重建方法及装置。

背景技术

基于图像的三维物体重建是计算机视觉领域中一个具有悠久历史的热门研究课题。在基于图像的三维重建任务中，三维人体重建因其在图像和视频编辑、电影和游戏产业，以及VR和AR内容传作等方面的应用而受到研究界广泛关注。当前大多数三维人体重建方法可以构建基于图像的三维模型方法，但是这些方法对于图像的获取有严格要求，需要依赖标定好相机参数的图像传感器或者价格昂贵的激光扫描仪，导致在许多应用场景中不能应用。

因此，一种更实用和低成本的方法是利用RBG相机或者手机拍摄的单目图像。然而现有技术中基于单目图像的人体重建方法通常局限于人体的参数化预测，缺乏衣服表面的几何细节。

发明内容

本发明提供一种三维人体重建方法及装置，用以解决现有技术基于单目图像的人体重建方法通常局限于人体的参数化预测，缺乏衣服表面的几何细节的缺陷。

本发明提供一种三维人体重建方法，包括：

获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；

将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；

通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；

其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。

根据本发明提供的一种三维人体重建方法，所述将所述法向图及标准空间中的三维点输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，包括：

根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征；

根据所述法向图获取所述标准空间中的三维点的第一法向；

将所述像素对齐的图像特征、所述第一法向及所述标准空间中的三维点输入标准隐式模块的隐式函数中，得到所述标准隐式模块输出的有向距离场。

根据本发明提供的一种三维人体重建方法，所述根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征，包括：

获取所述法向图的特征图；

根据线性混合蒙皮函数将所述标准空间中的三维点映射到标准姿态空间，得到目标姿态空间下的三维点；

通过双线性插值将所述目标姿态空间下的三维点上投影到所述法向图的特征图上，得到像素对齐的图像特征。

根据本发明提供的一种三维人体重建方法，所述根据所述法向图获取所述标准空间中的三维点的第一法向，包括：

基于所述标准空间中的三维点的雅可比矩阵，将所述法向图的第二法向进行变换，得到所述标准空间中的三维点的第一法向。

根据本发明提供的一种三维人体重建方法，所述将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场之前，还包括：

根据所述标准隐式模块的表面重构损失、几何正则化损失及非表面正则化损失对所述标准隐式模块的网络参数进行优化训练。

根据本发明提供的一种三维人体重建方法，所述法向细化模块包括元学习超参数网络及表面学习优化网络；

所述将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体，包括：

将所述人体SMPL参数输入所述元学习超参数网络，获取所述元学习超参数网络输出的一组参数；

将所述一组参数作为所述表面学习优化网络的初始化参数，并将所述原始姿态空间下的三维人体输入所述表面学习优化网络；

通过优化所述表面学习优化网络将所述原始姿态空间下的三维人体投影到所述单目图像的平面上，以重建出目标三维人体。

本发明还提供一种三维人体重建装置，包括：

获取单元，用于获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；

隐式单元，用于将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；

细化单元，用于通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；

其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维人体重建方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维人体重建方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维人体重建方法的步骤。

本发明提供的三维人体重建方法及装置，通过获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及单目图像在原始姿态空间下的法向图；将法向图及标准空间中的三维点的坐标输入标准隐式模块，得到标准隐式模块输出的有向距离场，并根据有向距离场构建出标准姿态空间下的三维人体；通过人体SMPL参数将标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体，其中，法向细化模块用于使原始姿态空间下的三维人体的表面法向逼近单目图像的法向，首先，标准隐式模块使用由原始姿态空间变换来的标准姿态下的法向图作为几何特征来获取衣服在标准姿态空间下三维人体的细节，然后在法向细化模块中，通过增强三维人体表面法向与单目图像的法向一致性来逼近姿态空间下的目标表面，从而实现基于单张图像的高保真可驱动的目标三维人体重建。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的三维人体重建方法的流程示意图；

图2是本发明提供的三维人体重建方法的场景示意图；

图3是本发明提供的三维人体重建装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

图1是本发明提供的三维人体重建方法的流程示意图。下面结合图1描述本发明的三维人体重建方法。如图1所示，该方法包括：步骤101、步骤102及步骤103。

步骤101，获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；

具体地，单目图像以需要进行三维人体重建的人体实例为采集对象所采集到的图像。

可以依赖常规的图像传感器或者具有图像采集功能的电子设备，获取需要进行三维人体重建的人体实例的图像。例如：可以利用具有图像采集功能的手机，或者，可以利用常规的RGB相机，获取人体实例的RGB图像作为单目图像。

具体地，本实施例中，原始姿态空间下的人体SMPL多人蒙皮线性参数是通过SMPL(Skinned Multi-Person Linear，多人蒙皮线性)估计网络得到的，其中，SMPL(SkinnedMulti-Person Linear，多人蒙皮线性)估计网络是一种用形状参数β和姿势参数θ来对人体进行编码的模型，具体地，将采集到的单目图像输入预先训练好的SMPL估计网络中，得到SMPL估计网络输出的人体SMPL参数(即姿态参数θ和形状参数β)，同时将采集到的单目图像输入法向图提取器，得到原始姿态空间下的法向图。

其中，本实施例中，SMPL估计网络的网络结构可以是任何框架，法向图提取器的网络结构也可以是任何框架，可选地，本实施例中的法向图提取器选用OpenDR(opendifferentiable Render，开放可微渲染)。

步骤102，将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体。

其中，标准空间中的三维点是通过均匀分布随机在三维空间中采样生成的。

本实施例中，标准隐式模块旨在标准姿态空间下重建三维人体的一般形态，具体地，在通过标准隐式模块得到三维点的有向距离场后，用Marching Cube算法从有向距离场中获取标准姿态空间下的三维人体。

步骤103，通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；

其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。

需要说明的是，由于标准隐式模块关注三维人体的总体形状，往往会忽略表面细节，因此，为了提高三维人体重建的精度，通过法向细化模块对标准姿态空间下的三维人体进行进一步的优化，并使其与用于重建的单目图像中的表面细节一致。

具体地，本实施例中先根据人体SMPL参数将标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，接着输入到法向细化模块重建出高保真可驱动的目标三维人体，原始姿态空间下的三维人体在输入法向细化模块中后，法向细化模块使原始姿态空间下的三维人体的表面法向逐渐逼近所述单目图像的法向，如此对重构出的原始姿态空间下的三维人体进行细化。

本发明实施例提出的三维人体重建方法，通过获取单目图像在原始姿态空间下的人体SMPL参数及单目图像在原始姿态空间下的法向图；将法向图及标准空间中的三维点的坐标输入标准隐式模块，得到标准隐式模块输出的有向距离场，并根据有向距离场构建出标准姿态空间下的三维人体；通过人体SMPL参数将标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将原始姿态空间下的三维人体输入法向细化模块重建出高保真可驱动三维人体，其中，法向细化模块用于使原始姿态空间下的三维人体的表面法向逼近单目图像的法向，首先，标准隐式模块使用由原始姿态空间变换来的标准姿态下的法向图作为几何特征来获取衣服在标准姿态空间下三维人体的细节，然后在法向细化模块中，通过增强三维人体表面法向与单目图像的法向一致性来逼近姿态空间下的目标表面，从而实现基于单张图像的高保真可驱动的目标三维人体重建。

在一些实施例中，所述将所述法向图及标准空间中的三维点输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，包括：

根据所述法向图获取所述标准空间中的三维点的第一法向；

根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征；

将所述像素对齐的图像特征、所述第一法向及所述标准空间中的三维点输入标准隐式模块的隐式函数中，得到所述标准隐式模块输出的有向距离场。

本实施例中，参考图2，在得到输入图像I(即单目图像)的法向图N后，通过对法向图N的变换得到标准空间中的三维点x

具体地，本实施例中的零能级曲面为如下公式：

S

本发明实施例提出的三维人体重建方法，通过像素对齐的图像特征Φ、第一法向n

在一些实施例中，所述根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征，包括：

获取所述法向图的特征图；

根据线性混合蒙皮函数将所述标准空间中的三维点映射到标准姿态空间，得到目标姿态空间下的三维点；

通过双线性插值将所述目标姿态空间下的三维点上投影到所述法向图的特征图上，得到像素对齐的图像特征。

具体地，参考图2，给定一张输入图像I(即单目图像)I∈R

”'

G(N)∈R

接着根据线性混合蒙皮函数将标准空间中的三维点x

具体地，

/>

其中，B

最后，在得到目标姿态空间下的三维点x

Φ＝B(G(N),π(x

其中，Β()表示双线性插值运算，π()表示弱正交相机投影。

在一些实施例中，所述根据所述法向图获取所述标准空间中的三维点的第一法向，包括：

基于所述标准空间中的三维点的雅可比矩阵，将所述法向图的第二法向进行变换，得到所述标准空间中的三维点的第一法向。

具体地，利用标准空间中的三维点x

其中，π

具体地，本实施例中，n

在一些实施例中，所述将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场之前，还包括：

根据所述标准隐式模块的表面重构损失、几何正则化损失及非表面正则化损失对所述标准隐式模块的网络参数进行优化训练。

具体地，通过如下公式优化标准隐式模块的网络参数η：

L＝λ

其中，λ

本实施例中，表面重构损失L

其中，n

本实施例中，几何正则化损失L

其中，Ω

本实施例中，非表面正则化损失L

/>

其中，α是人体表面的尖锐度。

本实施例中使用表面重构损失、几何正则化损失及非表面正则化损失对标准隐式模块的网络参数进行优化训练，使得标准隐式模块可以得出更加准确的重建结果。

在一些实施例中，所述法向细化模块包括元学习超参数网络及表面学习优化网络；

所述将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体，包括：

将所述人体SMPL参数输入所述元学习超参数网络，获取所述元学习超参数网络输出的一组参数；

将所述一组参数作为所述表面学习优化网络的初始化参数，并将所述原始姿态空间下的三维人体输入所述表面学习优化网络；

通过优化所述表面学习优化网络将所述原始姿态空间下的三维人体投影到所述单目图像的平面上，以重建出目标三维人体。

需要说明的是，本实施例中元学习超参数网络的输入是人体SMPL参数(即姿态参数θ和形状参数β)，不是具有人体细节的标签。虽然标签包含丰富的表面细节，但是可以用来训练的数据是有限的。因此使用标签很难推广到看不见的对象，也很难处理各种各样的衣服。相反，人体SMPL参数是裸露的，没有复杂的表面几何，可以更加容易拓展到遮掩的部分。此外，人体SMPL参数在一定程度上是数据量是无穷无尽的，所以本实施例中使用人体SMPL参数作为输入有助于提高对不可见数据的泛化能力。

具体地，参考图2，本实施例中将人体SMPL参数(即姿态参数θ和形状参数β)输入元学习超参数网络H，元学习超参数网络H生成一组参数，用于表面优化网络g的初始化。

其中，本实施例中此过程的零能级面可以表示为如下：

M

通过输出结果M

在优化过程中，表面优化网络g通过将原始姿态空间下的三维人体投影到单目图像的平面上进行细化，使三维人体的表面法线接近输入图像I(即单目图像)，以提高曲面几何质量，其中，原始姿态空间下的零能级面可以表示为如下：

本发明实施例提出的三维人体重建方法，通过对原始姿态空间下的三维人体进行进一步的优化，并使其表面法线与输入图像I(即单目图像)一致，从而实现基于单张图像的高保真可驱动的目标三维人体重建。

图3是本发明提供的三维人体重建装置的结构示意图。下面结合图3对本发明提供的三维人体重建装置进行描述，下文描述的三维人体重建装置与上文描述的本发明提供的三维人体重建方法可相互对应参照。如图3所示，该装置包括：获取单元310，用于获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；隐式单元320，用于将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；细化单元330，用于通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。

在一些实施例中，隐式单元320，还用于根据所述法向图及所述标准空间下的三维点得到像素对齐的图像特征；根据所述法向图获取所述标准空间中的三维点的第一法向；将所述像素对齐的图像特征、所述第一法向及所述标准空间中的三维点的坐标输入标准隐式模块的隐式函数中，得到所述标准隐式模块输出的有向距离场。

在一些实施例中，隐式单元320，还用于获取所述法向图的特征图；根据线性混合蒙皮函数将所述标准空间中的三维点映射到标准姿态空间，得到目标姿态空间下的三维点；通过双线性插值将所述目标姿态空间下的三维点上投影到所述法向图的特征图上，得到像素对齐的图像特征。

在一些实施例中，隐式单元320，还用于基于所述标准空间中的三维点的雅可比矩阵，将所述法向图的第二法向进行变换，得到所述标准空间中的三维点的第一法向。

在一些实施例中，三维人体重建装置还包括损失单元，用于根据所述标准隐式模块的表面重构损失、几何正则化损失及非表面正则化损失对所述标准隐式模块的网络参数进行优化训练。

在一些实施例中，所述法向细化模块包括元学习超参数网络及表面学习优化网络；细化单元330，还用于将所述人体SMPL参数输入所述元学习超参数网络，获取所述元学习超参数网络输出的一组参数；将所述一组参数作为所述表面学习优化网络的初始化参数，并将所述原始姿态空间下的三维人体输入所述表面学习优化网络；通过优化所述表面学习优化网络将所述原始姿态空间下的三维人体投影到所述单目图像的平面上，以重建出目标三维人体。

本发明实施例提出的三维人体重建装置，通过获取单目图像在原始姿态空间下的人体SMPL参数及单目图像在原始姿态空间下的法向图；将法向图及标准空间中的三维点的坐标输入标准隐式模块，得到标准隐式模块输出的有向距离场，并根据有向距离场构建出标准姿态空间下的三维人体；通过人体SMPL参数将标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体，其中，法向细化模块用于使原始姿态空间下的三维人体的表面法向逼近单目图像的法向，首先，标准隐式模块使用由原始姿态空间变换来的标准姿态下的法向图作为几何特征来获取衣服在标准姿态空间下三维人体的细节，然后在法向细化模块中，通过增强三维人体表面法向与单目图像的法向一致性来逼近姿态空间下的目标表面，从而实现基于单张图像的目标三维人体重建。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行三维人体重建方法，该方法包括：获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的三维人体重建方法，该方法包括：获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的三维人体重建方法，该方法包括：获取单目图像在原始姿态空间下的人体SMPL多人蒙皮线性参数及所述单目图像在原始姿态空间下的法向图；将所述法向图及标准空间中的三维点的坐标输入标准隐式模块，得到所述标准隐式模块输出的有向距离场，并根据所述有向距离场构建出标准姿态空间下的三维人体；通过所述人体SMPL参数将所述标准姿态空间下的三维人体形变为原始姿态空间下的三维人体，并将所述原始姿态空间下的三维人体输入法向细化模块重建出目标三维人体；其中，所述法向细化模块用于使所述原始姿态空间下的三维人体的表面法向逼近所述单目图像的法向。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。