文本属性图的表征模型、预训练的自监督方法、节点表示更新的模型框架

技术领域

本发明涉及计算机领域，尤其涉及一种文本属性图的表征模型，预训练的自监督方法、以及节点表示更新的模型框架。

背景技术

文本属性图在现实生活中随处可见，例如，在论文引用网络中，每篇论文都附有文本内容，而在社交网络中，每个用户都可以通过文本描述进行描述。对文本属性图的学习技术的研究在图学习、信息检索和自然语言处理等领域引起了相当大的关注，反映了在基于图的结构背景下理解和分析文本信息的重要性。

对文本属性图的研究一般分为三个范式：1)只用语言模型；2)只用图模型；3)使用语言模型和图模型的组合。目前的研究会遇到一些问题，如忽略节点或单词之间的关系、可扩展性限制和缺乏一般性。

发明内容

本说明书实施方式的目的是提供一种文本属性图表征模型，预训练的自监督方法、以及一种节点表示更新的模型框架。本说明书实施方式所提供的新的文本属性图表征模型和预训练的自监督方法，可以对初始节点的表征和词节点的表征同时进行优化学习。进一步，本说明书实施方式提供了基于聚合器的节点更新模型框架，该方法引入了多个自监督预训练任务，对层次文本属性图的语义信息和结构信息进行深入的挖掘，在一定训练轮次后，框架中的聚合器利用更新后的节点表示对初始的节点特征进行更新，可以更好地学习初始节点和词节点表征。

为实现上述目的，本说明书实施方式提供了一种文本属性图的表征模型，应用于对节点处含有初始文本特征的图的输入进行表示学习，所述方法包括：以文本属性图作为输入，将图中节点处含有的初始文本解耦出来，构成大型语料库，再根据单词在语料库中的共现频率构建单词之间的边；得到底层词网络之后，基于节点与文本的包含关系，构建初始节点-词节点之间的边，将上层初始网络与底层词网络连接起来，构成层次文本属性图；通过异构图神经网络，将构建的层次文本属性图节点特征映射到隐空间中，进行表征。

在一个实施方式中，在从解耦的文本中构建底层词网络的步骤中包括：对于从节点处解耦出来的文本，将其合并为一个大型语料库，通过一个Tokenizer对语料库进行分词，获取所有单词的集合，将所有不同的单词视为图的节点；通过应用滑动窗格技术，计算每个滑动窗格中每组单词对的PMI值(一种衡量单词间共现程度的指标)，对于PMI值大于0的单词对之间构造单词-单词边以得到底层词网络。

在一个实施方式中，在词网络的基础上构建层次文本属性图的步骤中包括：对于输入的文本属性图，首先通过分词器得到每个节点处包含的词序列，得到节点与词之间的包含关系；在构建好词网络之后，通过得到的包含关系构造节点-词边，将构建的词网络与原始的网络结构连接起来，构建成层次文本属性图。

本说明书实施方式还提供了用于预训练的自监督方法、以及节点表示更新的模型框架，应用于训练所述文本属性图的表征模型，所述装置包括多个自监督预训练任务单元：链接预测单元，通过预测层次本文属性图中存在的边捕捉数据中的结构信息；节点属性重构单元，通过掩蔽部分初始节点的基本属性，再利用异构图自编码模型重构掩蔽的特征来捕捉数据中的语义信息；重要词重构单元，通过掩蔽部分重要词的基本属性，再利用异构图自编码模型重构掩蔽的特征来捕捉重要词中的语义信息；重要词识别单元，通过预测节点-词边的属性来判断是否为重要词，捕捉节点与重要词的对应关系。每个优化装置的单元的优化目标对应层次文本属性图的不同层次。

在一个实施方式中，一种模型的的预训练方法，所述方法包括：链接预测单元，通过负采样一定量层次文本属性图中不存在的节点-节点边作为负样本，将存在的边作为正样本，通过异构图神经网络输入节点对之间的得分，再通过交叉熵损失函数训练模型学习层次文本属性图中的结构信息。

在一个实施方式中，一种模型的的预训练方法，所述方法包括：节点属性重构单元，通过掩蔽层次文本属性图中原始节点的初始特征，将原始的图结构和掩蔽后的特征矩阵输入图自编码器中，以获得重构后的节点特征；在输入到自编码器中的解码器之前，对掩蔽特征节点出的隐向量进行再掩蔽；最后通过收缩余弦损失训练模型学习层次文本属性图中的语义信息。

在一个实施方式中，一种模型的的预训练方法，所述方法包括：重要词重构单元，通过掩蔽层次文本属性图中词节点的初始特征，将原始的图结构和掩蔽后的特征矩阵输入图自编码器中，以获得重构后的词节点特征；在输入到自编码器中的解码器之前，对掩蔽特征节点出的隐向量进行再掩蔽；最后通过收缩余弦损失训练模型学习层次文本属性图中的语义信息。

在一个实施方式中，一种模型的的预训练方法，所述方法包括：重要词识别单元，根据重要词与初始节点的对应关系对节点-词边进行标签，通过异构图神经网络输出节点对的向量，并将向量的拼接形式作为边的表示，再通过映射头将边的表示映射为预测是否为重要词的概率，最后通过交叉熵函数训练模型学习节点与重要词的对应关系。

在一个实施方式中，一种节点表示更新的模型框架，所述方法包括：聚合器单元，通过将某种类型节点周围一跳的初始节点和词节点的特征进行聚合，并在不同类型的边上设置不同的超参数，以得到更新后的特征矩阵；多任务损失单元，通过设置不同的超参数，将上述自监督任务的损失合并为一个多任务损失对模型进行训练。

由以上本说明书实施方式提供的技术方案可见，本说明书实施方式的目的是提供一种文本属性图表征模型，用于预训练的自监督方法、以及节点表示更新的模型框架。本说明书实施方式的提供的新的文本属性图表示模型，可以有效地实现单个单词与节点信息的交互，更大程度地利用初始的文本信息；进一步，本说明书实施方式提供了用于预训练的自监督方法、以及节点表示更新的模型框架，该训练方法在自监督的设定下为模型提供了多层次的监督信号，能够深入挖掘层次文本属性图中的结构信息以及语义信息。实验的结果也证明了本说明书提供的模型和训练方法和装置可以有效地学习到泛化的文本属性图表征。

附图说明

为了更清楚地说明本说明书实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书提供的一个针对层次文本属性图不同层次的自监督任务示意图；

图2是本说明书提供的一个文本属性图建模方法、预训练任务以及整体模型框架示意图；

具体实施方式

下面将结合本说明书实施方式中的附图，对本说明书实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本说明书一部分实施方式，而不是全部的实施方式。基于本说明书中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。

本说明书提供的一种文本属性图表征模型，应用于对本文属性图的初始节点和含有的文本进行表示，所述方法可以包括以下步骤。

步骤S10：对于输入的文本属性图，将文本属性图中的初始节点处含有的原始文本解耦出来，构建为一个大型语料库；将语料库中不同的单词视为词节点，再通过滑动窗格技术，计算每个滑动窗格中每组单词对的PMI值，针对PMI值为正的单词对之间构建单词-单词边，获得底层的词网络。

步骤S12：对于所述的输入本文属性图，首先通过分词器得到每个词节点处含有的词序列，根据节点和词的所属关系(关系可以分为包含或不包含两种)，通过构建节点-词边，将底层的词网络和初始的节点图连接起来，构建为层次文本属性图。

步骤S14：通过异构图神经网络对层次文本属性图进行表征学习，将初始节点和词节点的特征映射到不同的隐空间，并在不同类型的边上设置不同的参数矩阵以完成不同的信息传递和聚合。

为了方便本申请说明，请参阅图2。图2中的1)部分给出文本属性图建模为层次文本属性图的方法。目前的文本属性图研究通常使用与图无关的方法如bag-of-words、预训练bert，将节点处携带的文本信息转化为数字化特征并作为节点的基础属性，这样的做法使得原始文本的信息被压缩了，而且没有得到充分利用。同时，文本的固定表示可能不适合某些场景。例如，“transformer”是指用于降低或增加电源电压的设备，而在学术界代表的是一种模型。这样的方法忽略了文本中单词与单词之间的关系。

首先，为了增强文本属性图节点内文本信息的建模，本说明书实施方法构建了一个包含原始节点和词节点的层次文本属性图。更具体地说，将词节点与由来自所有初始节点的文本信息组成的语料库解耦。然后基于单词在节点中的出现(节点-单词边)和单词在整个语料库中的共现(单词-单词边)来构建节点之间的边，使得本方法能够在更精细的层次上捕捉文本的细微差别。

本说明书实施方式提出利用多个自监督任务指导异构图神经网络学习层次文本属性图中的语义信息和结构信息，请参阅图1：对于初始网络层级，我们使用链接预测和节点属性重构来捕捉数据中包含的基本语义信息和结构信息；对于初始网络和词网络的连接部分，我们使用重要词识别任务来获取节点与重要词之间的对应关系，保证重要词为节点提供更为重要的信息；对于底层词网络，我们使用重要词重构来学习词节点的语义信息。

在本实施方式中，请参阅图2，将1)中构建好的层次文本属性图作为输入，利用2)中的说明的多个自监督任务的多重损失作为优化目标，指导异构图神经网络模型对节点进行表示学习。

在本实施方式中，对于层次文本属性图，首先通过预训练Bert模型生成单个词的嵌入，作为词节点的初始特征；再根据节点处含有的文本信息，使用预训练Bert模型得到该节点所有单词文本嵌入的平均值作为初始节点的特征。

通过本实施提供的表征模型，我们构建具有初始节点和单词的层次文本属性图，为信息交互搭建了桥梁。本实施方式使得单个单词也参与到训练过程中，原始节点可以从相关节点和自己的单词中获得信息。在对于文本属性图任务，比如节点分类、链接预测等任务上进行了评估。实验结果表明，本说明书提供的方法能有效地建模文本属性图的语义及结构信息，并能更好地学习到泛化的表示。

本说明书还提供了用于预训练的自监督方法，应用于训练所述表示模型，所述方法包括以下步骤。

步骤S20：通过预测层次文本属性图的拓扑结构，指导模型学习数据中的结构信息。

步骤S22：通过掩蔽部分初始节点的特征，再使用图自编码器对掩蔽的节点特征进行重建，最后通过缩放余弦函数指导模型进行表示学习。

步骤S24：通过掩蔽部分重要词节点的特征，再使用图自编码器对掩蔽的词节点特征进行重建，最后通过缩放余弦函数指导模型进行表示学习。

步骤S26：通过预测节点-单词边的属性，指导模型学习节点与重要词的所属关系。

步骤S28：针对步骤S20-S26的几个不同自监督任务设置相应的超参数，通过得到的多重损失来指导模型学习层次文本属性图。

在本实施方式中，所述训练任务对应不同层次的训练信号。请参阅图1，其中初始网络层次对应链接预测单元和节点属性重建单元；初始网络与低层词网络的连接层次对应重要词识别单元；词网络层次对应重要词重建单元。

请参阅图2。在本实施方式中，在基础的文本属性图中将文本解耦出来构建词网络层级，这样增强文本属性图节点内文本信息的建模，使我们能够在更精细的层次上捕捉文本的细微差别。

在本实施方式中，文本属性图表征模型的预训练方法包括：链接预测单元。具体的，在链接预测任务的设计中，我们将其视为一个二元分类问题，并通过负采样对模型进行训练：首先，我们将图中存在的边视为正样本，并将图中不存在的一些边视为负样本；其次，对于图中的每个节点对(u，v)，我们基于表示h

其中σ表示激活函数，v

在本实施方式中，文本属性图表征模型的预训练方法包括：节点属性重建。具体的，首先对初始节点进行采样，然后使用一个掩蔽Token[MASK]，一个可学的向量，词节点的特征矩阵保持不变；将掩蔽的特征矩阵X和Z输入到图编码器中获得隐变量矩阵H，在输入到图解码器之前，对掩蔽节点的隐变量进行再掩蔽；最后将H输入图解码器得到重构矩阵W，通过缩放余弦函数对模型进行训练：

其中γ表示尺度超参数；x

在本实施方式中，文本属性图表征模型的预训练方法包括：重要词重构。具体的，首先对重要词节点进行采样，然后使用一个掩蔽Token[MASK]，一个可学的向量，初始节点的特征矩阵保持不变；将掩蔽的特征矩阵Z和X输入到图编码器中获得隐变量矩阵H，在输入到图解码器之前，对掩蔽节点的隐变量进行再掩蔽；最后将H输入图解码器得到重构矩阵W，通过缩放余弦函数对模型进行训练：

其中，z

在本实施方式中，文本属性图表征模型的预训练方法包括：重要词识别。具体的，由于每个节点都包含不同的重要单词。因此，我们设计了以判断重要单词为目标的重要单词识别任务：首先，我们根据是否是该节点的重要单词来对节点-词边进行不同的标记，1表示重要，0表示不重要；其次，我们拼接每个节点对(u，m)的表示h

y′

其中，y′

在本实施方式中，文本属性图表征模型在训练过程中的训练目标为：

其中，λ

在一个实施方式中，在文本属性图表征模型的预训练方法步骤中包括：随机采样一部分图中不存在的边作为负样本，存在的边作为正样本，基于异构图神经网络，计算节点对之间的得分作为边的分数，从而预测边是否存在。

该实施方式对应于链接预测训练目标，此处不做具体赘述。

在一个实施方式中，在文本属性图表征模型的预训练方法步骤中包括：随机掩蔽初始节点处的特征，基于异构图自编码器，对掩蔽节点的特征进行重构。

该实施方式对应于节点属性重构训练目标，此处不做具体赘述。

在一个实施方式中，在文本属性图表征模型的预训练方法步骤中包括：随机掩蔽词节点处的特征，基于异构图自编码器，对掩蔽节点的特征进行重构。

该实施方式对应于重要词重构训练目标，此处不做具体赘述。

在一个实施方式中，在文本属性图表征模型的预训练方法步骤中包括：基于重要词和初始节点的所属关系对节点-词边进行标记，基于异构图神经网络，输出节点对的向量表示，并将拼接的向量表示作为边的表示，在输入到一个映射头中对边的标签进行预测。

该实施方式对应于重要词识别训练目标，此处不做具体赘述。

本说明书还提供了一种节点更新的模型框架，应用于训练所述表示模型，所述方法包括：在使用上述实施方式的多任务指导异构图神经网络训练一定轮次后，通过两个平均值聚合器对某种类型节点周围一跳的初始节点和词节点的特征进行聚合，并设置自适应参数控制不同类型节点对目标节点的贡献程度，最后将更新后的特征矩阵再次输入到异构图神经网络中进行训练。

本说明书还提供的了一种模型训练装置，应用于文本属性图表征模型，如上面的实施方式所述。由于一种模型训练装置解决问题的原理与一种模型训练方法相似，因此一种模型训练装置的实施可以参见一种模型训练方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。该装置具体可以包括：链接预测单元，随机采样一部分图中不存在的边作为负样本，存在的边作为正样本，基于异构图神经网络，计算节点对之间的得分作为边的分数，从而预测边是否存在；节点属性重构单元，随机掩蔽初始节点处的特征，基于异构图自编码器，对掩蔽节点的特征进行重构；重要词重构单元，随机掩蔽词节点处的特征，基于异构图自编码器，对掩蔽节点的特征进行重构；重要词识别单元，基于重要词和初始节点的所属关系对节点-词边进行标记，基于异构图神经网络，输出节点对的向量表示，并将拼接的向量表示作为边的表示，在输入到一个映射头中对边的标签进行预测；节点更新单元，通过两个平均值聚合器对某种类型节点的特征进行更新，并将得到的特征矩阵再次输入到异构图神经网络中进行训练。

在实验过程中，我们选择R-GAT作为基本模型。在训练了2000个轮次后，我们用聚合器更新论文和单词的特征，然后我们将标准化的更新特征输入到同一R-GAT中。在整个过程中，我们使用AdamW Optimizer和余弦学习率衰减来训练模型，在没有预热的情况下将损失L最小化；我们设置R-GAT的层数为2，隐藏层维度为768，采用layernorm的方式，学习率为0.001,训练总轮次为4000轮。

在实验过程中，我们选取一个基准数据集ogbn-arxiv作为基本数据集，代表MAG索引的所有计算机科学(CS)arxiv论文之间的引用网络。每个节点及其标题和摘要的原始文本都是一篇arxiv文章，每个有向边表示一篇论文引用了另一篇论文。此外，所有论文都有发表的年份的信息。

表1：Ogbn-arxiv数据集的基本信息

在实验过程中，我们建议根据论文的发表日期将数据集分为四个部分，以适应预训练设置，其中2017年之前发表的论文有41％；2017年发表的论文为13％；2018年发表的论文17％；自2019年以来发表的论文有29％。为了让我们的实验结果更具有说服力和泛化性，我们考虑了两个设置：1)直推式学习：在此设置下，我们选择所有论文参与预训练阶段；在微调阶段，我们建议对2017年之前发表的论文进行培训，对2018年发表的论文验证，并对2019年以来发表的论文测试；2)归纳学习：在这种情况下，我们对2016年之前发表的论文进行预训练，对2017年发表的论文，对2018年发表的文章进行验证，并对2019年以来发表的论文进行测试。

表2：构建的层次文本属性图信息

在实验过程中，我们还考虑了两种下游任务，以检验我们方法的一般性。分别是：1)主题预测：这项任务是关于arXiv CS论文主题领域的预测，由论文作者和arXiv主持人手动标记。从形式上讲，该任务可以被表述为一个40类的分类问题；2)重要单词识别：此任务旨在根据论文单词对应关系识别重要单词。从形式上讲，它可以被视为一个二元分类问题。我们在构建好的层次文本属性图上进行实验，并使用本说明书陈述的实施方法作为训练模型的根本依据。在主题预测任务上，我们汇报了正确率；在重要词识别任务上，我们汇报了ROC/AUC，每个实验结果都是10次预测所取的均值，并汇报标准差。图标中的NRUP为本说明提供的方法。

表3：不同模型的综合性能。粗体数字表示每个指标的最佳表现。

可以看到与选定的基线模型相比，我们的NRUP实现了更好或有竞争力的性能，证明了我们方法的有效性和可迁移性。

同时在本场景示例中，为了验证各层次自监督任务的协同促进作用，我们针对不同自监督任务设计了消融实验，结果如表4：

表4.部分消融实验的结果。

在本消融实验中，我们去掉了模型框架中节点更新的部分，并在归纳学习设定下使用不同任务训练模型，并汇报在测试数据集上的性能。从表中可以看出特定场景的任务可以为基本任务带来好处，并且我们的多损失NRUP实现了最佳性能。

在本场景示例中，单词表示的优化是我们基于层次文本属性图的联合建模方法的一个特点。为了验证单词的表示在训练过程中确实得到了优化，我们进行了实验，结果如表5：

表5：单词表示的结果

(Word embedding表示词节点表示生成的论文表示，Paper embedding表示由RGAT输出的表示)

我们在归纳学习设置下使用两个基本的自我监督任务进行实验，以验证单词的嵌入确实得到了优化；我们将通过某项任务训练2000个轮次后获得的优化后的单词表示进行平均，作为下游论文的表示，然后在下游数据上训练线性分类器来预测论文的领域。实验结果表明，词节点表示和论文节点一样得到了优化，这也是我们的更新框架有效的原因。

同时在本场景示例中，为了验证节点更新框架中主要组件的作用，我们针对是否含有节点表示更新组件、是否进行归一化设计了消融实验，结果如表6：

表6.探究节点表示更新组件的消融实验的结果。

我们探讨了更新架构的影响，表中显示了是否使用更新架构进行预训练的结果。在没有更新组件的情况下，我们使用某些自监督任务进行端到端预训练，并保留最佳预训练模型来生成下游数据集的表示。；而在我们的架构中，我们在预训练的中途更新特征，并在后一阶段的训练中保留最佳模型。在下游数据集上的性能表明我们的框架是有效的。

归一化在更新预训练框架中起着至关重要的作用，它使更新后的特征矩阵恢复到正态分布，消除了分布转移的影响。表中结果显示了在没有归一化和使用不同归一化方式的情况下更新特征的结果。我们发现，对特征矩阵进行归一化的效果明显好于不进行归一化。同时，对论文和单词的特征矩阵进行单独归一化的效果好于整体归一化的效果。简而言之，归一化带来了提升。

本说明书还提供了一种文本属性图表示装置，所述装置包括：

层次文本属性图建模单元，所述建模方法包括对节点处的文本进行解耦并构建底层词网络、连接词网络与初始网络得到层次文本属性图。

模型训练单元，所述训练单元用于基于层次文本属性图进行自监督的表征学习，包括链接预测单元、节点属性重构单元、重要词重构单元、重要词识别单元。

节点表示更新单元，所述节点表示单元用于训练过程中对初始的节点特征进行更新，通过平均值聚合器聚合周围一跳初始节点和词节点邻居的特征，并将聚合后的特征进行归一化后替换节点处的初始特征，继续进行训练。

在本实施方式中，仅针对与前述实施方式不同之处进行了描述，其它内容可以对照前述实施方式的内容解释，在此不再赘述。

一种节点表示更新的模型框架，其特征在于，应用于层次文本属性图的表征学习，所述模型框架包括：

基于多任务损失的优化装置，主要用于预训练阶段的模型优化，所述优化装置包括：链接预测单元、节点属性重构单元、关键词重构单元、关键词识别单元；

链接预测单元：针对原始节点层级，其核心目标是学习原始层级中的结构信息，通过计算节点对(u,v)之间的分数e

节点属性重构单元：针对原始节点层级，其核心目标是学习原始层级中的语义信息，通过最小化初始特征矩阵X和重构矩阵W的误差对模型进行优化，公式如下：

关键词重构单元：针对词节点层级，其核心目标是学习词节点的语义信息，通过最小化初始特征矩阵Z和重构矩阵W的误差对模型进行优化，其公式如下：

关键词识别单元：针对原始节点与词节点之间的链接部分，其核心目标是识别对原始节点贡献较大的此节点，通过预测节点对(u,v)之间的标签y

y′

基于异构图神经网络的编码模块，在该编码模块中，能通过异构图神经网络RGNN对异构图中的每种关系计算和聚合信息，并能针对每个节点聚合来自不同关系类型的消息。与GNN不同的是，RGNN对每一种关系类型保存一种参数矩阵，在该关系类型上传播的消息受该参数矩阵的影响；通过RGNN可以将层次文本属性图中的初始节点和词节点的特征映射到隐空间中，这是基于图的结构信息和自身特征的语义信息对节点进行表征，每个节点处有对应的表征向量；

基于聚合器的节点更新装置，在训练一定轮次后，通过聚合器将某节点周围的初始节点和词节点的特征进行聚合，并在聚合过程中对初始节点和词节点设定不同的超参数以区别不同节点的贡献程度，最后得到该节点更新后的特征。在该装置中有针对初始节点的聚合器以及词节点的聚合器，二者由不同的超参数区分开来；

基于编码模型和优化装置的训练模块，该模块先由编码模型对原始的层次文本属性图进行表征，得到文本属性图的表征矩阵，再由多任务损失优化装置计算不同单元的损失，再将多任务损失优化装置中的多重损失作为优化目标，其公式如下；

最后由AdamW等组件组成的优化装置对编码模块中的异构图神经网络参数进行优化。

上述实施例阐明的装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请。