一种高效宽度图卷积神经网络模型及其训练方法

技术领域

本发明涉及图像处理及深度学习技术领域，特别是涉及一种基于高效宽度图卷积神经网络模型及其训练方法。

背景技术

随着图像处理及深度机器学习研究的不断加深，一种能够同时对节点特征信息和结构信息进行端到端学习，适用于任意拓扑结构的节点与图，且在公开经典数据集上的测试效果都优于其他方法的图卷积神经网络逐渐成为学者们研究文本分类、图像分类等优选方法，并不断改进以提高分类效果。但由于现有的图卷积神经网络的每个卷积仅执行一跳邻域信息聚集，对应的图卷积神经网络模型要么采用浅层机制限制了获取全局信息能力，要么通过堆叠多个卷积层聚集多跳邻域信息来扩大感受野的规模，却导致参数量过多、模型太复杂，从而加大训练难度，还增加了过拟合的风险。

因此，现有图卷积神经网络模型的感受野和学习能力受限，从而影响测试精度的问题，亟需进一步解决。

发明内容

本发明的目的是为了解决现有图卷积神经网络的感受野和学习能力受限问题，通过增加卷积的邻域阶数来加宽模型宽度，进而扩大模型的感受野，提高模型的学习能力，提高测试精度。

为了实现上述目的，有必要针对上述技术问题，提供了一种高效宽度图卷积神经网络模型及其训练方法。

第一方面，本发明实施例提供了一种高效宽度图卷积神经网络模型，所述高效宽度图卷积神经网络模型依次包括输入层、高阶图卷积层、信息融合池化层和输出层；

所述输入层，用于接收训练数据集的图特征；

所述高阶图卷积层，用于根据所述图特征进行一阶到k阶的图卷积运算，得到图卷积数据；

所述信息融合池化层，用于根据所述图卷积数据进行一阶到k阶的特征融合，得到融合数据；

所述输出层，用于根据所述融合数据输出模型结果。

进一步地，所述高效宽度图卷积神经网络模型的输出层的输出HGCN

其中，X是图的输入矩阵，w是参数矩阵，

进一步地，所述图的正则化邻接矩阵

进一步地，所述σ激活函数为ReLU非线性激活函数。

进一步地，所述高阶图卷积层包括基于权重共享的一阶图卷积到k阶图卷积，即

进一步地，所述信息融合池化层采用SP求和信息融合池化，其计算公式如下：

第二方面，本发明实施例提供了一种高效宽度图卷积神经网络模型的训练方法，所述训练方法的步骤包括：

根据训练数据集，得到所述高效宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵；

根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征；

将所述预处理特征输入所述高效宽度图卷积神经网络模型，进行特征训练，得到训练结果。

进一步地，所述根据训练数据集，得到所述高效宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵的步骤包括：

获取所述训练数据集，并确定所述训练数据集的类型；

根据所述训练数据集的类型，选取特定方法得到所述高效宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵。

进一步地，所述根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征的步骤包括：

将所有不同阶数的所述图的正则化邻接矩阵作和，得到预处理邻接矩阵；

将所述预处理邻接矩阵和所述图的输入矩阵作积，得到预处理特征。

进一步地，所述将所述预处理特征输入所述高效宽度图卷积神经网络模型，进行特征训练，得到训练结果的步骤包括：

将所述高效宽度图卷积神经网络模型的参数矩阵进行随机初始化；

将所述预处理特征输入所述高效宽度图卷积神经网络模型，采用损失函数和梯度下降法进行训练，得到收敛的参数矩阵。

上述本申请提供了一种高效宽度图卷积神经网络模型及其训练方法，通过所述高效宽度图卷积神经网络模型及其训练方法，实现了采用仅有输入层、高阶图卷积层、SP信息融合池化层及softmax函数输出层的一层高效宽度图卷积神经网络模型，结合该模型训练前的特征预处理方法，并依此得到精准分类的效果。与现有技术相比，该模型及其训练方法在实际分类应用上，采用仅有一层的高阶图卷积来聚集更多阶邻域间的更丰富的节点信息，通过增加模型宽度代替模型深度的方法扩大了感受野同时，还减少了参数量、降低了模型的复杂度和训练难度，提升了模型训练效率，避免了过拟合的风险，提升了模型的学习能力，进而大幅度提高分类精度。

附图说明

图1是本发明实施例中高效宽度图卷积神经网络模型及其训练方法的应用场景示意图；

图2是高效宽度图卷积神经网络模型的示意图；

图3是基于SP信息融合池化层的高效宽度图卷积神经网络模型的示意图；

图4是图3基于SP信息融合池化层的高效宽度图卷积神经网络模型的训练方法的流程示意图；

图5是图4中步骤S11获取训练集数据预处理，得到图的输入矩阵和正则化邻接矩阵的流程示意图；

图6是图5中步骤S12根据图的输入矩阵和正则化邻接矩阵得到预处理特征的流程示意图；

图7是图4中步骤S13将预处理特征输入高效图卷积神经网络模型进行特征训练的的流程示意图；

图8是本发明实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的高效宽度图卷积神经网络是对现有图卷积神经网络的改进，该模型及其训练方法，可以应用于如图1所示的终端或服务器上。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可采用高效宽度图卷积神经网络模型(HGCN

在一个实施例中，如图2所示，提供了一种高效宽度图卷积神经网络模型依次包括输入层1、高阶图卷积层2、信息融合池化层3和输出层4；所述输入层1，用于接收训练数据集的图特征；所述高阶图卷积层2，用于根据所述图特征进行一阶到k阶的图卷积运算，得到图卷积数据；所述信息融合池化层3，用于根据所述图卷积数据进行一阶到k阶的特征融合，得到融合数据；所述输出层4，用于根据所述融合数据输出模型结果。

其中，高阶图卷积层2和信息融合池化层3都只有1个，即高效宽度图卷积神经网络模型的结构为：输入层1与高阶图卷积层2相连，高阶图卷积层2与信息融合池化层3相连，信息融合池化层3再与采用softmax函数进行多分类输出的输出层4相连。可见，本实施例中构建的是只有一层高阶图卷积层的网络架构，参数量是最少的，也极大的减少了模型的计算量，进而提升了模型的训练效率。

假设上述高效宽度图卷积神经网络模型的输出层的输出为HGCN

其中，X是图的输入矩阵，w是参数矩阵，

优选地，图的正则化邻接矩阵

本实施例中的高阶图卷积层包括基于权重共享的一阶图卷积到k阶图卷积，即

当k＝3时，即采用的模型为1阶、2阶和3阶邻域混合的高效宽度图卷积神经网络模型HGCN

当k＝n时，即采用的模型为1阶到n阶邻域混合的高效宽度图卷积神经网络模型HGCN

在上述模型中同一图卷积层的各阶邻域均采用相同权重参数，来实现权重共享和降低参数量，具体体现在公式(1)－(4)中参数W的选择。

在实际应用于大规模的分类训练时，需要先计算出

优选地，所述σ激活函数可以为ReLU(·)非线性激活函数。

其中，ReLU激活函数是用来进行非线性处理的。由于线性模型的表达力不够，且有些数据特征不一定是线性可分的，为了解决这一问题就在信息融合池化层之后采用激活函数进行非线性处理，常用的非线性激活函数包括sigmoid、tanh和ReLU、ElU、PReLU等，上述激活函数都可使用，但各有优劣，实际应用时可以根据待处理数据的特点进行选取，而本实施例中采用神经网络中用的最多的ReLU函数，它的公式定义如下：

f(x)＝max(0,x),

即，保留大于等于0的值，其余所有小于0的数值直接改写为0。通过这种方法对卷积后产生的特征图中的值进行映射，就可以在特征提取时直接舍弃掉那些不相关联的数据，操作更方便。

由于非线性激活函数可以提高模型的表达能力，但对图分类任务用处不是很大，尤其是对于本实施例中只有一层高阶图卷积层的高效宽度图卷积神经网络模型而言，是可以省略非线性激活的处理，进一步减少模型计算的复杂度，但可以能会损失一点精度，总体来说对模型的分类精度影响不大，因此，在该模型的实际应用中可以根据分类任务的具体情况决定是否需要使用非线性激活函数，若对精度上要求比较高可以选择使用非线性激活函数，若希望减少模型的计算复杂度提升模型的性能，可以省略非线性激活的处理。

优选地，本发明(1)式中的信息融合池化层采用SP求和信息融合池化来融合一阶到k阶的不同阶邻域的节点信息，其具体计算公式如下：

对应的基于SP的高阶图卷积能聚集更多更丰富的邻域信息，获得全局图结构信息，如图3所示，模型的表达式如下：

其中，H为高阶图卷积层的输出值，即为该模型的softmax函数输出层的输入值。

以一个具体的三阶实施例来说明上述本实施例中的信息融合方式，高阶的情况类似。假设邻域的阶数k＝3，假设其一阶邻域为H

设

本实施例基于SP的高阶图卷积算法实现过程如下：

输入：

卷积运算：

信息融合：H

非线性激活：H＝σ(H

本实施例中图网络先输入到高阶图卷积进行上述的算法处理，再使用SP求和信息融合来混合不同邻域的一阶到高阶特征，经过非线性激活后输入softmax函数输出层得到分类概率结果的方法，能够在学习过程中保留更多更丰富的特征信息进行全局图拓扑的学习，进而很好地提升学习的效果。

在一个实施例中，如图4所示，任一上述高效宽度图卷积神经网络模型的训练方法的步骤包括：

S11、根据训练数据集，得到所述高效宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵；

其中，如图5所示，所述根据训练数据集，得到所述高效宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵的步骤S11包括：

S111、获取所述训练数据集，并确定所述训练数据集的类型；

其中，训练数据集根据实际的分类需求进行选择，比如文本分类的数据集可选取Reuters21578的R52和R8、20－Newsgroups(20NG)、Ohsumed(OH)以及Movie Review(MR)，半监督分类可选取Cora、Citeseer、Pubmed，多视图分类可选取Modelnet10和Modelnet40等，每一种分类任务的数据集的内容都不相同，其类型也就不同。

S112、根据所述训练数据集的类型，选取特定方法得到所述高效宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵。

其中，训练数据集的类型有上述文本数据集、半监督分类数据集、多视图分类数据集等多种类型，对于每种训练集数据在使用本实施的高效宽度图卷积神经网络模型时，都要进行对应的预处理，得到模型的图的输入矩阵和图的正则化邻接矩阵。如当需要进行文本分类时，就需要将包括文档和标题的语料集数据进行处理构建对应的语料文本图网络，根据语料文本图网络得到模型训练使用的图的输入矩阵和图的正则化邻接矩阵。对于其它情形的数据集，如半监督数据集或多视图分类数据集等都有对应的预处理方法，在使用本实例中的模型进行分类时只需按照分类任务类型对应的常规方法将该任务对应的数据集转换为图的输入矩阵和图的正则化邻接矩阵即可。

S12、根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征；

其中，如图6所示，所述根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征的步骤S12包括：

S121、将所有不同阶数的所述图的正则化邻接矩阵作和，得到预处理邻接矩阵；

其中，预处理邻接矩阵，是高效宽度图卷积神经网络模型在计算中的一大优势，由于本申请构建的是只有一层高阶图卷积的网络框架，则SP求和信息融合的计算(5)式可以优化为：

且由于在模型训练之前正则化邻居矩阵

S122、将所述预处理邻接矩阵和所述图的输入矩阵作积，得到预处理特征。

在经过上述预处理得到预处理邻接矩阵

S13、将所述预处理特征输入所述高效宽度图卷积神经网络模型，进行特征训练，得到训练结果。

其中，如图7所示，所述将所述预处理特征输入所述高效宽度图卷积神经网络模型，进行特征训练，得到训练结果的步骤S13包括：

S131、将所述高效宽度图卷积神经网络模型的参数矩阵进行随机初始化；

其中，对模型参数矩阵进行随机初始化的方法有：权重服从高斯分布的Gaussian初始化、权重为均匀分布的Xavier初始化，及均值为0、方差为

S132、将所述预处理特征输入所述高效宽度图卷积神经网络模型，采用损失函数和梯度下降法进行训练，得到收敛的参数矩阵；

其中，高效宽度图卷积神经网络模型训练的过程为：对由训练数据集中的有效特征数据预处理得到的预处理特征进行训练，经过正向传播得到分类结果，再通过损失函数计算交叉熵使用反向传播更新参数矩阵的梯度下降算法进行训练直至收敛，得到收敛时的参数矩阵。

本实施例中，如表1所示，模型训练使用的训练数据集为半监督分类节点的训练数据集Cora、Citeseer、Pubmed，根据该类训练数据集的特点，选用的损失函数为：

x

表1半监督分类经典数据集信息表

上述每一个数据集都分为训练集、验证集和测试集三类，三类数据集中都是既包含有标记数据也包含未标记数据。半监督分类模型中的参数矩阵在最开始训练采用的是随机赋值初始化，使用训练集对半监督分类模型的参数矩阵进行训练，验证集用于对训练得到参数矩阵进行进一步的修正，测试集用于模型的分类测试。

本申请实施例中，首先基于模型的泛化能力考虑，在模型训练时采用的公开的基准数据集进行参数训练，且由于该数据集不具有重复数据，一定程度上能够减少模型训练的工作量，提高模型训练的效率；其次，设计了只有一层高阶图卷积的高效宽度图卷积神经网络模型及其特征预处理的模型训练方法，采用宽度图卷积代替深度图卷积，在没有多层图卷积层的情况下，既减少了模型的复杂度、模型的参数量及训练难度，还能学习到多邻域节点之间的交互关系，结合模型训练时的特征预处理方法，不仅提高了模型的训练效率，分类精度，还减少了训练模型的过平滑现象，从而提高了模型的普适性。

本申请实施例中基于半监督分类数据集Cora、Citeseer、Pubmed进行分类训练，得到对应模型的最大阶数分别为5、4、21，并将该模型与现有的图卷积神经模型的测试效果进行比对，结果如下表2所示：

表2 HGCN

表2说明：表中的准确率以百分比表示，且该数字是10次运行的平均值。

基于上述实验结果可知，本实施例提出了一种只具有一层能同时学习不同阶邻域之间的相互关系的高阶图卷积，和混合不同邻域的一阶到高阶特征的SP信息融合池化层的高效宽度图卷积网络模型HGCN

需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图8示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种高效宽度图卷积神经网络模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域普通技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述高效宽度图卷积神经网络模型的训练方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述高效宽度图卷积神经网络模型的训练方法的步骤。

综上，本发明实施例提供的一种高效宽度图卷积神经网络模型及其训练方法，其基于充分考虑现有图卷积神经网络模型的感受野、学习能力及测试精度受限等多方面问题的基础上，提出了一种包括捕捉节点的多阶邻域信息的高阶图卷积层、混合不同阶邻域特征的SP信息融合池化层及softmax分类输出层的一层高效宽度图卷积神经网络模型，及与该模型对应的先进行特征预处理再进行训练的高效模型训练方法。该模型及其训练方法应用于实际分类测试时，采用高阶图卷积层增加模型宽度、降低模型深度、减少参数量的同时，还能同时聚集多阶邻域信息，进而扩宽了感受野、避免了模型的过拟合风险、提升了模型的学习能力和分类精度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。

本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。