一种基于任务分层的人格预测方法、系统及装置

技术领域

本发明涉及文本处理领域，尤其涉及一种基于任务分层的人格预测方法、系统及装置。

背景技术

在深度学习研究中，自然语言处理方向是针对文本内容进行信息编码和挖掘的细分领域。其中，人格预测问题则是尝试利用用户自身在社交媒体上所发布的文本(如帖子等)，从而预测用户的性格特点和人格标签，是包含了自然语言处理技术和心理学知识的跨领域前沿问题。现有技术在进行前期的文本融合的过程中，都是将用户的帖子进行前后拼接，组成一个长文本进行特征抽取。但是这样会引入不必要的甚至是错误的帖子之间的时序信息，而且帖子之间的相关信息在长文本处理的影响下被大幅弱化。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于任务分层的人格预测方法、系统及装置，可以对多个文本进行独立的并行编码，提高有效信息的利用率，使得预测结果更为准确。

本发明所采用的第一技术方案是：一种基于任务分层的人格预测方法，包括以下步骤：

获取用户帖子并基于预设的BERT预训练语言模型对用户帖子进行并行编码，得到特征向量；

将用户帖子经过图卷积网络融合，基于特征向量构建拓扑图并得到图卷积输出向量；

基于预训练的外部特征模型根据拓扑图预测用户的外部特征信息，得到外部特征向量；

根据外部特征向量和图卷积输出向量分层完成四个维度的人格预测任务，得到人格信息；

将外部特征信息和人格信息回传至图卷积网络并重新预测，直至达到预设的回传次数，得到人格预测结果。

进一步，所述获取用户帖子并基于预设的BERT预训练语言模型对用户帖子进行并行编码，得到特征向量这一步骤，其具体包括：

以用户为样本单位，设置样本处理个数、用户所属帖子个数最大值、记录有效帖子个数的向量，得到预设信息；

根据预设信息构建用户对应的二维向量；

将用户对应的二维向量并行传入预设的BERT预训练语言模型进行编码，得到帖子的特征向量。

进一步，所述将用户帖子经过图卷积网络融合，基于特征向量构建拓扑图并得到图卷积输出向量这一步骤，其具体包括：

将用户帖子作为图节点，基于用户帖子所属的特征向量对每个用户样本构建对应的拓扑图并得到卷积后的输出向量。

进一步，设特征向量Embed

其中

进一步，所述预训练的外部特征模型的构建方法，具体包括以下步骤：

获取含有用户帖子数据与用户年龄、性别等标签的外部数据集并根据用户帖子数据、对应的用户年龄、性别标签训练外部特征模型，得到模型参数；

固定模型参数，得到第一层具备预测用户年龄和性别功能的外部特征模型。

进一步，所述根据外部特征向量和图卷积输出向量分层完成四个维度的人格预测任务，得到人格信息这一步骤，其具体包括：

基于第二层编码器对图卷积输出向量、年龄向量和性别向量进行融合处理，完成注意力方向预测任务和判断方式预测任务，得到第二层特征向量；

基于第三层编码器对图卷积输出向量、年龄向量、性别向量和第二层特征向量，完成生活方式预测任务和认知方式预测任务，得到第三层特征向量；

根据第二层特征向量和第三层特征向量，得到用户的人格信息预测结果。

进一步，所述第二层特征向量包括注意力方向特征向量和判断方式特征向量，所述第三层特征向量包括生活方式特征向量和认知方式特征向量。

进一步，所述将外部特征向量和人格信息回传至图卷积网络并重新预测，直至达到预设的回传次数，得到人格预测结果这一步骤，其具体包括：

分别计算年龄向量、性别向量、注意力方向特征向量、判断方式特征向量、生活方式特征向量和认知方式特征向量的回传保留权重；

根据特征向量的回传保留权重计算得到保留消息向量；

将保留消息向量结合图卷积向量回传至图卷积网络并对图卷积网络进行更新，得到更新后的图卷积网络；

基于更新后的图卷积网络重新预测人格信息直至达到预设的回传次数，得到人格预测结果。

本发明所采用的第二技术方案是：一种基于任务分层的人格预测系统，包括：

并行编码模块，用于获取用户帖子并基于预设的BERT预训练语言模型对用户帖子进行并行编码，得到特征向量；

图卷积网络融合模块，用于将用户帖子经过图卷积网络融合，基于特征向量构建拓扑图并得到图卷积输出向量；

外部数据迁移预训练模块，用于基于预训练的外部特征模型根据拓扑图预测用户的外部特征信息，得到外部特征向量；

分层自注意力人格预测模块，用于根据外部特征向量和图卷积输出向量分层完成四个维度的人格预测任务，得到人格信息；

消息回传模块，用于将外部特征向量和人格信息回传至图卷积网络并重新预测，直至达到预设的回传次数，得到人格预测结果。

本发明所采用的第三技术方案是：一种基于任务分层的人格预测装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于任务分层的人格预测方法。

本发明方法、系统及装置的有益效果是：本发明在文本编码阶段可以对多个文本进行独立的并行编码，并能够结合不同帖子的特征向量，挖掘帖子之间关于用户性格特征和人格信息的相关性，对更深层的文本语义进行抽象化，提高有效信息的利用率，另外通过将人格的每个维度的预测任务进行层级划分，将预测难度不同的任务划分到不同的层级，使预测结果更好、更简单的任务可以更快的完成训练，并把结果传递到下一层，为下一层的任务预测提供额外的可靠信息，从而得到更为准确的预测结果。

附图说明

图1是本发明一种基于任务分层的人格预测的步骤流程图；

图2是本发明一种基于任务分层的人格预测系统的结构框图；

图3是本发明具体实施例的模型结构示意图；

图4是本发明具体实施例数据处理流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1和图3，本发明提供了一种基于任务分层的人格预测方法，该方法包括以下步骤：

S1、获取用户帖子并基于预设的BERT预训练语言模型对用户帖子进行并行编码，得到特征向量；

S2、将用户帖子经过图卷积网络融合，基于特征向量构建拓扑图并得到图卷积输出向量；

S3、基于预训练的外部特征模型根据拓扑图预测用户的外部特征信息，得到外部特征向量；

S4、根据外部特征向量和图卷积输出向量分层完成四个维度的人格预测任务，得到人格信息；

S5、将外部特征信息和人格信息回传至图卷积网络并重新预测，直至达到预设的回传次数，得到人格预测结果。

进一步作为本方法的优选实施例，所述获取用户帖子并基于预设的BERT预训练语言模型对用户帖子进行并行编码，得到特征向量这一步骤，其具体包括：

以用户为样本单位，设置样本处理个数、用户所属帖子个数最大值、记录有效帖子个数的向量，得到预设信息；

根据预设信息构建用户对应的二维向量；

将用户对应的二维向量并行传入预设的BERT预训练语言模型进行编码，得到帖子的特征向量。

具体地，采用降维的方法，设置模型每次处理的样本个数为batch_size，用户所属贴子个数最大值为Pmax，设置向量post_mask，记录单个样本的有效帖子个数。如果单个样本帖子数量未达到Pmax，则用“[pad]”值进行填充。设第i个样本的第j个帖子为post

将原本[batch_size,Pmax]的二维向量降维成[batch_size*Pmax]的向量，并行地传入大规模预训练语言模型BERT中进行编码，得到每一条帖子的d维特征向量(Embed

Embed

每一个特征向量在高维空间的计算过程中，都能够体现对应帖子的语义信息。其中根据post_mask，对进行了填充的post

进一步作为本方法的优选实施例，所述将用户帖子经过图卷积网络融合，基于特征向量构建拓扑图并得到图卷积输出向量这一步骤，其具体包括：

将用户帖子作为图节点，基于用户帖子所属的特征向量对每个用户样本构建对应的拓扑图并得到卷积后的输出向量。

进一步作为本方法优选实施例，设特征向量Embed

其中

进一步作为本方法优选实施例，所述预训练的外部特征模型的构建方法，具体包括以下步骤：

获取含有用户帖子数据与用户年龄、性别等标签的外部数据集并根据用户帖子数据、对应的用户年龄、性别标签训练外部特征模型，得到模型参数；

固定模型参数，得到第一层具备预测用户年龄和性别功能的外部特征模型。

具体地，作为层次模型的第一层，将模型迁移到人格预测的任务上来，通过先预测年龄、性别，再结合这些特征信息，得到关于人格特征的更准确的预测。

此外，在后期人格预测过程中，为了保证年龄和性别预测能力不会被人格预测数据集影响，引入重采样机制，重新在外部数据集进行采样，进行年龄和性别预测的训练，确保模型的预测能力始终维持在较高的准确率上，保证对外部特征的使用效果，再继续对模型进行人格预测的训练。

进一步作为本方法优选实施例，所述根据外部特征向量和图卷积输出向量分层完成四个维度的人格预测任务，得到人格信息这一步骤，其具体包括：

基于第二层编码器对图卷积输出向量、年龄向量和性别向量进行融合处理，完成注意力方向预测任务和判断方式预测任务，得到第二层特征向量；

基于第三层编码器对图卷积输出向量、年龄向量、性别向量和第二层特征向量，完成生活方式预测任务和认知方式预测任务，得到第三层特征向量；

根据第二层特征向量和第三层特征向量，得到用户的人格信息预测结果。

具体地，模型的第二层和第三层则是基于MBTI指标的四个维度的人格预测任务。

第二层对应的两个预测任务是IE任务(注意力方向)和TF任务(判断方式)，利用对应的编码器IE_Encoder和TF_Encoder，以图卷积输出向量加上上一层的年龄向量和性别向量作为输入，将低层的信息进行融合，从而得到本层的两个任务的特征向量。进一步训练各自的分类器(IE_Classifier,TF_Classifier)，得到预测的IE和TF预测结果。

第三层对应的两个预测任务是JP任务(生活方式)和NS任务(认知方式)。这一层的原理与第二层的原理基本相同。

在对不同特征和模块输出的向量进行融合的过程中，本模块采用自注意力机制进行编码计算。将图卷积输出向量、低层特征向量(年龄、性别、IE、TF等)进行并行拼接，得到向量X，通过线性变换得到查询向量Q、键向量K以及值向量V。

Q＝W

K＝W

V＝W

通过缩放和非线性变换，得到最终的编码向量：

其中，d

在这一模块中，通过自注意力机制，模型动态地学习向量间不同连接的权重，可以更加灵活的处理不同模块、不同层级的特征向量的关系。而层次模型的设计，将不同难度的任务分离到不同层级中计算，使数据流更高效，也使模型有了更好的解释性。

进一步作为本方法优选实施例，所述第二层特征向量包括注意力方向特征向量和判断方式特征向量，所述第三层特征向量包括生活方式特征向量和认知方式特征向量。

进一步作为本方法优选实施例，所述将外部特征向量和人格信息回传至图卷积网络并重新预测，直至达到预设的回传次数，得到人格预测结果这一步骤，其具体包括：

具体地，基于不同预测任务的6个特征向量，分别是年龄向量h

分别计算年龄向量、性别向量、注意力方向特征向量、判断方式特征向量、生活方式特征向量和认知方式特征向量的回传保留权重；

计算各特征向量的回传保留权重：

其中o∈{age，gender，IE，TF，JP，NS}。

根据特征向量的回传保留权重计算得到保留消息向量；

最后保留消息向量为：

将保留消息向量结合图卷积向量回传至图卷积网络并对图卷积网络进行更新，得到更新后的图卷积网络；

接着，图卷积向量h

h′

其中[:]表示拼接操作，f

更新后的向量h

基于更新后的图卷积网络重新预测人格信息直至达到预设的回传次数，得到人格预测结果。

下面介绍本专利中具体的数据处理和模型训练和预测的流程：

首先预定义一系列超参数，如年龄/性别任务正确率阈值P，消息回传次数N。定义当前处理数据集为D，D可取原人格预测数据集和外部年龄性别数据集。流程图参照图4：

1)模型初始化，数据集D＝外部年龄性别数据集，初始消息回传次数n＝0，标识符Flag＝False

2)从D中采样数据，并处理成模型可接受的长度和格式。

3)图卷积文本融合模块，采用BERT预训练语言模型并行编码和图卷积的融合方法，得到文本的融合向量。

4)根据融合向量训练年龄和性别两个任务的自注意力编码器，对比数据标签，得到两个任务的正确率p。

5)判断标识符Flag是否为真。如果为真，则将特征向量传入下一层模型。否则，判断正确率p是否达到了预设的阈值P。

6)若p没有达到预设的阈值P，则梯度更新第一层年龄和性别编码器的参数。如果已经达到或超过了阈值，说明第一层已经训练充分，因此将数据集D换成人格预测的数据集，并将标识符置为真。

7)标识符Flag为真时，特征向量传入更高层的模型，一次进行IE/TF预测(注意力方向/判断方式)和JP/NS预测(生活方式/认知方式)，得到各自维度的特征向量。

8)判断当前回传次数n是否小于N。如果小于N，则令n加1，并进行消息回传计算，对特征向量进行权重分析，并结合图卷积向量进行迭代。如果n大于或等于N，则消息回传完成，依据当前预测结果对模型第二层和第三层人格预测的参数进行更新。

9)判断是否进行重采样操作。如果重采样，则修改采样数据集为外部年龄性别数据集，对模型的年龄和性别预测能力进行再训练与参数巩固。

10)使用的目标损失函数为focal loss。按照上述步骤不断对模型参数进行更新，直到预测结果达到收敛。

如图2所示，一种基于任务分层的人格预测系统，包括：

并行编码模块，用于获取用户帖子并基于预设的BERT预训练语言模型对用户帖子进行并行编码，得到特征向量；

图卷积网络融合模块，用于将用户帖子经过图卷积网络融合，基于特征向量构建拓扑图并得到图卷积输出向量；

外部数据迁移预训练模块，用于基于预训练的外部特征模型根据拓扑图预测用户的外部特征信息，得到外部特征向量；

分层自注意力人格预测模块，用于根据外部特征向量和图卷积输出向量分层完成四个维度的人格预测任务，得到人格信息；

消息回传模块，用于将外部特征信息和人格信息回传至图卷积网络并重新预测，直至达到预设的回传次数，得到人格预测结果。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

一种基于任务分层的人格预测装置：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于任务分层的人格预测方法。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。