图神经网络的双线性参数化方法及三维形状分析系统

技术领域

本发明涉及计算机视觉和图形图像处理技术领域，尤其涉及图神经网络的双线性参数化方法及三维形状分析系统。

背景技术

近年来，关于三维(3D)形状数据，如网格和点云的研究受到了越来越多的关注，因为它们具有更丰富的信息来表示真实世界。随着卷积神经网络(CNNs)在分析图像和视频方面取得成功，许多研究人员探索了如何将CNNs应用于3D形状。然而，3D形状数据是不规则的，目前还没有通用的方法用于在3D形状上应用卷积。

一个良好的3D形状CNN应该满足以下三个标准：(1)卷积操作应该具有强大的能力，能够聚合形状信息并从形状数据中获取更有意义的信息。(2)卷积操作应该对不同形状的不规则性具有鲁棒性，如不同的网格离散化和不同的点云采样。(3)卷积滤波器应该具有低计算复杂性，以实现对大规模3D数据的良好可扩展性。

一些基于网格的方法模仿CNNs在二维(2D)数据上的思想，并在网格上进行局部参数化。尽管这些方法在形状对应任务中取得了更高的性能，但由于需要进行局部参数化，它们无法应用于点云。MeshCNN提出了在网格边上定义卷积操作以进行形状分类和分割的方法，但它对网格离散化的变化非常敏感，因为具有不同离散化的网格具有不同的边连接性。因此，开发一种可以应用处理网格和点云数据且满足对三维数据离散化鲁棒性的方法具有很大的研究和应用价值。

发明内容

本发明提供图神经网络的双线性参数化方法及三维形状分析系统，解决的技术问题在于：如何提供一种新的一种适用于网格和点云数据的形状对应、分类和分割任务的快速图神经网络的方法。

为解决以上技术问题，本发明提供图神经网络的双线性参数化方法，包括步骤：

S1、通过小波滤波器基函数对图神经网络的频域滤波器进行第一次线性参数化；

S2、通过切比雪夫多项式基函数对小波滤波器基函数进行第二次线性参数化。

进一步地，所述步骤S1具体为，引入小波滤波器基函数到图神经网络的卷积核中，得到的频域中的滤波器表示为：

其中，θ

进一步地，在所述步骤S2中，对于拉普拉斯矩阵L的任一特征值λ，进行第二次线性参数化后对应的第k个尺度的小波滤波器基函数

其中，c

进一步地，c

定义

进一步地，在所述步骤S2中，进行第二次线性参数化后的图神经网络表示为：

f、

本发明还提供一种图卷积模块，其关键在于：包括1个以上应用所述的第二次线性参数化后的图神经网络的图卷积层。

进一步地，所述图卷积层表示为：

其中，F、

本发明还提供一种三维形状对应系统，其关键在于：包括三维形状描述子生成模块和所述的图卷积模块；所述三维形状描述子生成模块用于通过计算小波的方式生成输入特征图像的小波描述子输入所述图卷积模块；所述图卷积模块包括五层A*A维的网络和最后一层的A*B维的图卷积层，B为三维形状的点数，目的是最后输出B维的特征用于对应标签。

本发明还提供一种三维形状分类系统，其关键在于：包括三维形状描述子生成模块和所述的图卷积模块；所述三维形状描述子生成模块用于通过计算小波的方式生成输入特征图像的小波描述子输入所述图卷积模块；所述图卷积模块包括三层U*U维的网络和最后一层的U*1维的图卷积层。

本发明还提供一种三维形状分割系统，其关键在于：包括三维形状描述子生成模块和所述的图卷积模块；所述三维形状描述子生成模块用于通过计算小波的方式生成输入特征图像的小波描述子输入所述图卷积模块；所述图卷积模块包括五层D*D维的网络和最后一层的D*G维的图卷积层，G为形状分割的标签数目。

本发明提供的图神经网络的双线性参数化方法及三维形状分析系统，使用两个线性参数化来近似谱滤波器，同时满足性能、鲁棒性和速度的要求。第一个线性参数化的基函数是小波滤波器基函数。通过用小波滤波器基函数参数化频谱滤波器，不仅能够保持滤波器的局部性质，还能够融入全局感知信息，以进一步增强卷积操作的信息聚合能力。第二个线性参数化的基函数是切比雪夫多项式基函数。可以通过用切比雪夫多项式参数化小波滤波器，从而在加速卷积操作的同时，保持对网格离散化或点云采样的鲁棒性，并降低了图卷积的计算复杂度。随后，可使用不同的框架将其应用到三维形状对应、分割、分类任务上。

附图说明

图1是本发明实施例提供的图神经网络的双线性参数化方法的原理图；

图2是本发明实施例提供的不同分辨率下的形状计算出来的特征图；

图3是本发明实施例提供的形状对应任务可视化的三维RGB图；

图4是本发明实施例提供的形状分割任务可视化的三维RGB图；

图5是本发明实施例提供的形状分类任务的数据对比图；

图6是本发明实施例提供的图卷积模块的原理图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

实施例1

本发明实施例提供一种图神经网络的双线性参数化方法，如图1的原理图所示，包括步骤：

S1、通过小波滤波器基函数对图神经网络的频域滤波器进行第一次线性参数化；

S2、通过切比雪夫多项式基函数对小波滤波器基函数进行第二次线性参数化。

给定一个三维形状，由网格X＝{V,E}或点云P＝{V}表示，其中V＝{v

图神经网络是一种设计用于处理可以输出节点特征的非欧几里得数据的神经网络。当输入特征为f∈R

其中，w

然而，这一方法要求分别计算特征向量矩阵以及与特征矩阵f的直接乘积。在处理大型数据集时，这会导致显著的空间和时间复杂度。因此本发明针对这种情况进行改进，提出两次线性化，得出一个新的计算特征的方式。

本发明设计的滤波器首先通过非局部小波滤波器基函数进行线性参数化，然后进一步通过切比雪夫多项式基函数对小波滤波器基函数进行线性参数化。由于在形状上的小波函数与离散化和采样无关，所以所提出的频谱滤波器对于网格离散化或点云采样具有鲁棒性。

本发明引入小波滤波器基函数到图神经网络的卷积核里面，得到的频域中的滤波器如下所示：

其中，θ

利用了小波滤波器基函数对滤波器进行线性参数化。此外通过切比雪夫多项式和小波函数的进一步推断，对于拉普拉斯矩阵L的任一特征值λ，其小波滤波基

其中，c

c

其中，θ表示角度微元；

本发明定义

由此，基于双线性参数化的频谱卷积公式可以定义如下：

通过特征矩阵的计算方式，将特征向量矩阵转换为拉普拉斯矩阵L。

在光谱滤波器中使用两次线性参数化可以加速计算，同时保持对离散化或采样的鲁棒性。

在双线性网络中，如图1所示，将小波滤波器基线性参数化，减小了计算复杂度。将学习好的参数带入小波基，并将其可视化出来，如图2所示，可以看到小波的特性使得本方法对不同分辨率(N＝6890、8000、12000、15000)的形状计算出鲁棒性的特征，最终输出每个点的特征。

为了训练整个网络，本例使用了交叉熵损失函数：

其中p为目标分布，q为预测的概率分布，c

本例对输出的特征进行可视化，原本的三维形状没有颜色。利用matlab工具箱，对不同的标签可视化不同的颜色，如图3和图4所示。

图3为三维形状对应任务的图，其中的图左边我们将所有的点都可视化出来，每个点带有不同的RGB颜色，在我们的双线性网络下，我们采用不同形状不同分辨率来展示结果，如右边所示。MGCN、FC、DiffusionNet为目前比较常用的几个方法。从图3可以看到，与其他三个方法相比，我们的方法(Ours)可视化出来的图像颜色分布与原图像最接近，这意味着我们的方法在三维形状对应任务上拥有更好的性能，同时在不同分辨率下的性能更加鲁棒。

图4为三维形状分割任务的图。从图4可以看到，与最右边一列GT最为相近的方法为我们的方法，GT即表示正确的分布。FC、MGCN、DiffusionNet方法可视化出来的三维形状都有明显的缺陷，与之相比，我们的方法几乎没有缺陷，这意味着我们的方法在三维形状分割任务上拥有更好的性能。

图5为三维形状分类的数据对比图。从图4可以看到。MeshCNN、Laplacian2Mesh、FC、MGCN、ChebyGCN通过分类任务得出的准确率与我们相比明显较低，而我们的方法可以得到将近100％的准确率，这意味着我们的方法拥有很好的分类性能。

综上所述，本发明实施例提供的图神经网络的双线性参数化方法，使用两个线性参数化来近似谱滤波器，同时满足性能、鲁棒性和速度的要求。第一个线性参数化的基函数是小波滤波器基函数。通过用小波滤波器基函数参数化频谱滤波器，不仅能够保持滤波器的局部性质，还能够融入全局感知信息，以进一步增强卷积操作的信息聚合能力。第二个线性参数化的基函数是切比雪夫多项式基函数。可以通过用切比雪夫多项式参数化小波滤波器，从而在加速卷积操作的同时，保持对网格离散化或点云采样的鲁棒性，并降低了图卷积的计算复杂度。随后，可使用不同的框架将其应用到不同的任务比如三维形状对应、分割、分类任务上。

实施例2

本实施例提供一种图卷积模块，包括1个以上应用实施例1所述的第二次线性参数化后的图神经网络的图卷积层。如图6的原理图所示，该图卷积层可公式化表示为：

其中，F∈R

该图卷积模块应用在不同的网络框架中，以应用到不同的任务比如三维形状对应、分割、分类任务上。

实施例3

本发明实施例提供一种三维形状对应系统，其包括三维形状描述子生成模块和实施例2的图卷积模块；三维形状描述子生成模块用于通过计算小波的方式生成输入特征图像的小波描述子输入图卷积模块。三维形状已有的特征包括点的坐标集合以及边的关系集合。针对已有的特征，利用matlab工具箱通过计算小波的方式计算出相应的小波描述子，该描述子的维度设为128维。

图卷积模块包括五层A*A维(本例以128*128维为例)的网络和最后一层的A*B维的图卷积层，B为三维形状的点数，目的是最后输出B维的特征用于对应标签。

本发明实施例还提供一种三维形状分类系统，其也包括三维形状描述子生成模块和实施例2的图卷积模块。其图卷积模块包括三层U*U维(本例以64*64维为例)的网络和最后一层的U*1维的图卷积层，因为分类是需要一个标签来分辨类别。

本发明实施例还提供一种三维形状分割系统，其也包括三维形状描述子生成模块和实施例2的图卷积模块。图卷积模块包括五层D*D维(本例以128*128维为例)的网络和最后一层的D*G维的图卷积层，G为形状分割的标签数目。

此外，综合考虑性能和计算复杂度后，本发明在三个系统的卷积层中选择了16个小波尺度。

随后，可使用不同的框架将其应用到形状对应、分割、分类任务上。训练阶段利用数据集中三维形状的点对应的正确标签训练网络使其能够输出正确的特征。测试阶段通过图神经网络直接输出正确的特征实现形状匹配、分类、分割。

为了验证本方法形状对应、分割、分类任务上的有益效果，我们做了一些可视化的实验，我们将形状对应、分割、分类任务可视化出来，如图3、图4和图5所示，图3表示的是形状对应任务，每个点标注不同的RGB颜色，左边的大形状我们视为正确的形状颜色分布，那么通过不同方法可视化出来的结果，可以看出我们的方法的颜色分布更加流畅且正确。图4中我们可视化出分割的结果，对身体不同的部为，我们展示不同的颜色，最右边GT表示的是正确的颜色分布，与之相比，我们的方法展示出来的颜色分布明显更加正确。图5中我们展示出分类任务中的准确率数据，最下面一行为我们的方法。可以看到我们的方法有着更好的准确率，比大部分的方法都要高。因此通过这些实验可以得出我们网络性能以及应用都很出色。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。