一种基于深度相机的人体点云空洞修复方法及系统

技术领域

本发明涉及点云模型处理领域，尤其涉及一种基于深度相机的人体点云空洞修复方法及系统。

背景技术

近年来，随着计算机视觉计算的逐渐成熟，点云是一种三维数据类型，它由大量的点数据构成，每个点包含了在三维空间中的位置和其他可能的属性信息，例如颜色、法向量、透明度、反射率等。这些点之间的关系和属性信息可以准确地表达真实世界中的物体和场景，例如建筑物、道路、车辆、植物和人类等。通过激光扫描或摄像机捕捉，可以获取真实的场景数据，并将其表示为点云形式，从而方便进一步的分析和处理。同时，点云数据类型常用于地形建模、建筑物建模和人体建模等；另外，点云数据类型在虚拟现实和游戏开发中也有广泛的应用，例如，可以使用点云数据来构建虚拟场景、虚拟人物和虚拟物体，从而实现更真实和沉浸的虚拟现实和游戏体验。

其中，3D人体点云模型是一种用于表示人体形状的计算机图像技术，它能够以三维形式捕捉人体的外形和姿态变化，可以通过捕捉关键点和姿态变化来实现对人体姿态的高精度估计。此外，也可以用于虚拟试衣，将虚拟服装映射到人体点云模型上，以便进行试穿效果的展示和评估。人体点云模型在医疗影像分析中也有着广泛的应用，可以用于手术设计，帮助医生更好地规划手术方案和操作路径。但是在实际的使用中，由于遮挡物以及光线的存在，利用深度相机获取到人体点云模型后可能存在空洞，这些空洞可能导致点云数据不完整或者失真，为后续的数据处理和分析带来困难。

公开号为CN115330632A的中国专利公开了“一种基于点云栅格化的焊板点云空洞修补方法”输入待补全的点云图像，创建多个包围框，根据每个包围框内的点云进行方程拟合，遍历整个人体点云，当存在空洞时，利用方程对空洞进行拟合，当没有空洞时，则遍历下一个。但是这种利用方程拟合方法进行空洞修补需要对整个点云进行创建包围框和拟合方程，时间效率低，并且人体点云的边缘信息变换幅度大，仅仅使用方程拟合的方法难以达到对精度和真实性的需求。

发明内容

为实现上述技术目的，本发明提供一种基于深度相机的人体点云空洞修复方法，旨在解决现有技术中人体点云模型存在的空洞缺陷，并进一步改进点云模型的精度和真实性，具体包括以下步骤：

S1、采用深度相机获取人体点云，人体点云存在空洞；

S2、将人体点云输入到点云特征提取网络中提取点云深层特征信息；

S3、对深层特征信息进行深度学习并结合2D点云网格，将人体点云空洞补全；

S4、将补全后的人体点云输出。

进一步地，所述深度相机放置在人体前方1-3米处，由深度相机自动获取人体点云信息。

进一步地，所述步骤S2将人体点云输入到点云特征提取网络中提取点云深层特征信息包括输入点云，然后对人体点云进行多次升维，最后将多次升维的结果进行特征拼接，特征拼接后获得提取深层特征信息的结果。

进一步地，所述步骤S2将人体点云输入到点云特征提取网络中提取点云深层特征信息具体包括如下步骤：

输入点云，所述输入点云特征为N×3；

第一次点云升维，特征升维到N×64；

第二次点云升维，进行特征提取，不改变维度，特征保持为N×64；

第三次点云升维，特征升维到N×128；

第四次点云升维，特征升维到N×256；

最后，将四次点云特征升维的结果进行特征拼接，输出结果为N×512，即提取深层特征信息的结果为N×512。

进一步地，所述第一次点云升维、第二次点云升维、第三次点云升维和第四次点云升维均经过多层感知机进行升维，所述多层感知机升维之后均进行归一化操作和激活操作。

进一步地，所述步骤S2中的点云特征提取网络还包括融合自注意力网络，每一次点云升维之后设置一个融合自注意力网络捕捉点云中的全局特征和上下文信息。

进一步地，所述融合自注意力网络的结构为：

点云升维后的特征输入至融合自注意力网络，输入的特征为N×C，其中N代表点云的数量，C代表每个点的维度；

通过3个不同的多层感知机进行特征提取，但是不改变维度，得到3个N×C的特征矩阵，分别为第一特征矩阵、第二特征矩阵和第三特征矩阵；

将第一特征矩阵转置后与第二特征矩阵相乘，相乘后的结果经Sigmoid激活函数激活，得到概率矩阵，所述概率矩阵为相似概率矩阵，所述概率矩阵为N×N；

将概率矩阵分别经过最大池化和平均池化，将最大池化和平均池化后的结果特征相加，特征相加的结果复制N份，得到新矩阵为N×N；

将第三特征矩阵与得到的新矩阵相乘，得到输出结果，输出结果为N×C。

进一步地，所述步骤S3对深层特征信息进行深度学习并结合2D点云网格，将人体点云空洞补全，包括：

将提取深层特征信息的结果特征复制4次，变为4N×512；

将提取深层特征信息的结果经多层感知机降维到N×3，然后特征复制4次，变为4N×3；

根据获取的人体点云形成2D的点云网格；

将前两次复制的结果4N×512和4N×3与2D的点云网格进行特征拼接，特征拼接的结果采用多层感知机降维至4N×3，即完成人体点云空洞补全。

本发明还提供一种基于深度相机的人体点云空洞修复系统，包括：

人体点云获取模块，人体点云获取模块为深度相机，用于获取人体点云，人体点云存在空洞；

深层特征信息提取模块，用于将人体点云输入到点云特征提取网络中提取点云深层特征信息；

人体点云空洞补全模块，对深层特征信息进行深度学习并结合2D点云网格，将人体点云空洞补全；

输出模块，将补全后的人体点云输出。

本发明还提供一种计算机设备，包括存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行上述的基于深度相机的人体点云空洞修复方法。

与现有技术相比，本发明具有以下有益效果：

（1）通过深度学习提取深层特征信息并结合2D点云网格，能提高点云数据的完整性，改善点云数据的可视化效果，为后续的人体建模和动画制作提供更加准确和完整的点云数据，使得人体建模和动画制作更加真实和生动，能够有效地填补空洞，使得点云模型完整无缺，更加真实地呈现人体的形状和外观。

（2）对深层特征信息进行深度学习能自适应地调整网络的模型参数，对模型参数进行不断调整优化，从而提高空洞修补的稳定性和鲁棒性，使得空洞修补结果更加稳定和可靠，同时可以适应不同类型和规模的人体点云模型，实现更加广泛的应用。

（3）基于融合自注意的特征提取网络可以实现点云中各个点之间的交互和信息传递，从而更好地捕捉点云的全局特征，同时可以对整个点云进行特征聚合和筛选，从而提高点云特征的鲁棒性和表达能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明实施例提供的一种基于深度相机的人体点云空洞修复方法的模块流程示意图。

图2本发明实施例提供的一种基于深度相机的人体点云空洞修复方法的人体空洞修补网络结构图。

图3本发明实施例提供的一种基于深度相机的人体点云空洞修复方法的点云深层特征提取网络结构图。

图4本发明实施例提供的一种基于深度相机的人体点云空洞修复方法的融合自注意力模块网络结构图。

图5本发明实施例提供的一种基于深度相机的人体点云空洞修复系统的框图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地描述。

本发明的说明书、权利要求书及附图中的术语“第一”和“第二”等仅用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。

在本发明中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本发明描述的实施例可以与其它实施例相结合。

在本发明中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上，“至少两个（项）”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”。

利用深度相机获取人体点云时，由于存在遮挡、光线等原因，造成深度相机所拍摄到的人体点云存在空洞，导致点云模型存在空洞，这些空洞会使得点云数据不完整或者失真，影响视觉效果，从而给后续的数据处理和分析带来极大的困难，因此需要将空洞修复补全。

如图1-2所示，本发明提供一种基于深度相机的人体点云空洞修复方法，包括以下步骤：

S1、采用深度相机获取人体点云，人体点云存在空洞；

S2、将人体点云输入到点云特征提取网络中提取点云深层特征信息；

S3、对深层特征信息进行深度学习并结合2D点云网格，将人体点云空洞补全；

S4、将补全后的人体点云输出。

可选地，深度相机放置在人体前方1-3米处，由深度相机自动获取人体点云信息；进一步优选地，深度相机放置在人体前方1.5米处，以获取点云数据。

其中，步骤S2将人体点云输入到点云特征提取网络中提取点云深层特征信息包括输入点云，然后对人体点云进行多次升维，最后将多次升维的结果进行特征拼接，特征拼接后获得提取深层特征信息的结果。通过步骤S2对存在空洞的人体点云进行点云深层特征提取，将输入点云的低维特征转换为高维特征表示，以便更好地进行点云的学习和建模。通过将点云特征升维，可以更好地捕捉点云中的细节信息和局部特征，从而提高点云的表示能力和表达能力；升维后的特征可以更好地表示点云中的空洞和缺失区域，帮助网络更好地进行点云的补全。

如图3所示，步骤S2具体包括如下步骤：

输入点云，所述输入点云特征为N×3；

第一次点云升维，特征升维到N×64；

第二次点云升维，进行特征提取，不改变维度，特征保持为N×64；

第三次点云升维，特征升维到N×128；

第四次点云升维，特征升维到N×256；

最后，将四次点云特征升维的结果进行特征拼接，输出结果为N×512，即提取深层特征信息的结果为N×512。

其中，输入点云，所述输入点云特征为N×3，N代表点云的数量，3代表点云的（x,y,z）坐标，由于只使用了坐标当作点云的特征，所以维度是3。此外，点云的特征还有曲率、颜色等，为了方便起见，此处，只使用了坐标信息当作点云的特征，因此维度是3。

第二次点云升维，为一次特殊的点云升维步骤，对第一次点云升维的结果仅进行特征提取，但不改变维度，将该步骤命名为第二次点云升维以便于统一点云特征提取网络中各步骤的名称；在不改变维度的情况下进行特征提取，可以在保留数据结构和信息的同时，提高特征的表达能力，并降低计算复杂度。

其中，所述第一次点云升维、第二次点云升维、第三次点云升维和第四次点云升维均经过多层感知机进行特征提取、升维，所述多层感知机升维之后均进行归一化操作和激活操作。

具体地，以第一次点云升维为例，将存在空洞的人体点云输入点云特征提取网络后会先经过一个多层感知机将其维度增加到64，这时点云的特征变为了N×64，多层感知机操作之后进行归一化操作和激活操作，这里激活操作使用的激活函数是，这样就完成了一次升维操作。激活操作当然也能采用其他的激活函数，但是采用的激活函数是时，提取特征的效果更优。

通过升维操作可以将点云从原始的三维坐标数据转换为具有更高维度的特征向量，这样就能够更好地描述点云的形状、性质和特征，更好地从原始点云中提取出更加丰富和准确的特征信息，为后续的空洞修补和人体建模提供更加精确和可靠的基础。

在另外的实施例中，人体点云进行多次升维，升维的次数以及每次升维的维度可根据实际需要进行设置，最后多次升维的结果进行特征拼接，通常需保证输出结果为N×512。

所述步骤S2中的点云特征提取网络还包括融合自注意力网络，每一次点云升维之后设置一个融合自注意力网络捕捉点云中的全局特征和上下文信息。其中，如图4所示，所述融合自注意力网络的结构为：

点云升维后的特征输入至融合自注意力网络，输入的特征为N×C，其中N代表点云的数量，C代表每个点的维度；

通过3个不同的多层感知机进行特征提取，但是不改变维度，得到3个N×C的特征矩阵，分别为第一特征矩阵、第二特征矩阵和第三特征矩阵；

将第一特征矩阵转置后与第二特征矩阵相乘，相乘后的结果经Sigmoid激活函数激活，得到概率矩阵，所述概率矩阵为相似概率矩阵，所述概率矩阵为N×N；

将概率矩阵分别经过最大池化和平均池化，将最大池化和平均池化后的结果特征相加，特征相加的结果复制N份，得到新矩阵为N×N；

将第三特征矩阵与得到的新矩阵相乘，得到输出结果，输出结果为N×C。

其中，3个不同的多层感知机也可为其他数量的多个不同的多层感知机，综合算力和计算精度的考量，3个不同的多层感知机为最佳选择。将概率矩阵分别经过最大池化和平均池化，其中最大池化能体现最凸显的特征，但是忽略了其他特征，而平均池化考虑了所有特征，将最大池化和平均池化后的结果特征相加，综合考虑了最凸显的特征和所有特征。

融合自注意力网络的计算公式如下：

（1）

（2）

（3）

（4）

其中，

基于融合自注意的特征提取网络可以实现点云中各个点之间的交互和信息传递，从而更好地捕捉点云的全局特征，同时可以对整个点云进行特征聚合和筛选，从而提高点云特征的鲁棒性和表达能力。

经过多次升维操作和融合自注意力操作，对点云特征进行升维，第一次将点云特征升维到N×64；第二次提取特征到N×64，不改变维度；第三次将特征升维到N×128；第四次将特征升维到N×256；最后将所有升维结果进行特征拼接，得到64+64+128+256=512，这时的输出维度变为N×512。自此，点云特征提取网络结束。

进一步地，步骤S3对深层特征信息进行深度学习并结合2D点云网格，将人体点云空洞补全，如图2所示，包括：

将提取深层特征信息的结果特征复制4次，变为4N×512；

将提取深层特征信息的结果经多层感知机降维到N×3，然后特征复制4次，变为4N×3；

根据获取的人体点云形成2D的点云网格；

将前两次特征复制的结果4N×512和4N×3与2D的点云网格进行特征拼接，特征拼接的结果采用多层感知机降维至4N×3，即完成人体点云空洞补全。

深度学习方法能自适应地调整网络的模型参数，对模型参数进行不断调整优化，从而提高空洞修补的稳定性和鲁棒性，使得空洞修补结果更加稳定和可靠，同时可以适应不同类型和规模的人体点云模型，实现更加广泛的应用。

步骤S3的具体的公式为：

（5）

其中，

其中，

自此存在空洞的点云补全由原来的N个点扩充为了4N个点，存在空洞的区域也都使用点云进行了补全处理。

本发明通过深度学习提取深层特征信息并结合2D点云网格，能提高点云数据的完整性，改善点云数据的可视化效果，为后续的人体建模和动画制作提供更加准确和完整的点云数据，使得人体建模和动画制作更加真实和生动，能够有效地填补空洞，使得点云模型完整无缺，更加真实地呈现人体的形状和外观。

基于上述人体点云空洞修复方法，本发明还提供一种基于深度相机的人体点云空洞修复系统，如图5所示，包括：

人体点云获取模块，人体点云获取模块为深度相机，用于获取人体点云，人体点云存在空洞；

深层特征信息提取模块，用于将人体点云输入到点云特征提取网络中提取点云深层特征信息；

人体点云空洞补全模块，对深层特征信息进行深度学习并结合2D点云网格，将人体点云空洞补全；

输出模块，将补全后的人体点云输出。

本发明还提供一种计算机设备，包括存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行上述的基于深度相机的人体点云空洞修复方法。

本发明还提供一种计算机可读存储介质，其包括程序代码，当程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行上所述的基于深度相机的人体点云空洞修复方法的步骤。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。