心理状态知识库构建方法、装置、计算机设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种心理状态知识库构建方法、装置、计算机设备及存储介质。

背景技术

当前，对监狱的服刑人员的心理状态知识的获取方案，主要采用较为成熟的中国服刑人员心理评估个性分测验（Chinese Offender Psychological Assessment-Personality Inventory，简称COPA-PI）等量表进行评估，但是量表评估存在延时的特征，难以持续跟踪服刑人员的心理状态，容易影响服刑人员心理状态知识获取方案的准确性。

目前不少前沿研究正在往构建多模态情感知识库方向发展，当前大部分心理状态知识库构建方法具有以下两个问题：

心理状态识别模型迁移性不足，对于新任务的适应性极差，往往需要收集新任务的大量标注数据重新训练模型；心理状态识别模型识别出的服刑人员心理状态可解释性不强。

因此，亟需一种适应性强，且能够输出可解释心理状态知识的多模态心理状态知识库构建方法。

发明内容

为了解决上述技术问题，本申请实施例提供了一种心理状态知识库构建方法、装置、计算机设备及存储介质，具体方案如下：

第一方面，本申请实施例提供了一种心理状态知识库构建方法，包括：

获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据；

对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，其中，所述目标多模态样本数据集为以词汇为基础粒度的多模态对齐数据集；

分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，其中，所述多模态特征包括文本特征、语音特征和图像特征；

按照时间顺序将所述心理评估个性分测评数据、所述全局时间段的多模态特征以及各所述词汇时间段的多模态特征输入至注意力权重识别模型，以得到所述服刑人员的心理状态评估结果；

根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，并基于所述高分频繁项和所述低分频繁项构建心理状态知识库。

根据本申请实施例的一种具体实施方式，所述获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据，包括：

通过身份特征信息对全部服刑人员进行分层抽样，以得到目标服刑人员队列，其中，所述身份特征信息包括罪名、年龄和刑期时长；

获取所述目标服刑人员队列中各服刑人员的初始多模态样本数据集以及心理评估个性分测评数据，其中，所述心理评估个性分包括对应说谎维度、认真维度、外倾维度、聪敏维度、同情维度、从属维度、波动维度、冲动维度、戒备维度、自卑维度、焦虑维度、暴力倾向维度、变态心理维度和犯罪思维维度的测评得分。

根据本申请实施例的一种具体实施方式，所述初始多模态样本数据包括文本样本数据、音频样本数据以及视频样本数据，所述对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，包括：

对所述文本样本数据进行文本切割，以得到文本样本数据中的全部词汇；

基于每一词汇的开始时间和结束时间获取对应各词汇的词汇时间段；

基于所述词汇时间段对所述文本样本数据、所述音频样本数据和所述视频样本数据进行数据对齐，以得到所述目标多模态样本数据集。

根据本申请实施例的一种具体实施方式，所述分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，包括：

分别获取每一词汇时间段所述目标多模态样本数据集中的文本可解释特征、语音可解释特征以及图像可解释特征；

基于每个当前词汇时间段及其下一词汇时间段的所述文本可解释特征获取各词汇时间段的文本可解释特征变化情况；

基于每个当前词汇时间段及其下一词汇时间段的所述语音可解释特征获取各词汇时间段的语音可解释特征变化情况；

基于每个当前词汇时间段及其下一词汇时间段的所述图像可解释特征获取各词汇时间段的图像可解释特征变化情况；

基于全局时间段分别获取所述目标多模态样本数据集的全局文本特征、全局语音特征和全局图像特征；

根据所述文本可解释特征及其变化情况、所述语音可解释特征及其变化情况和所述图像可解释特征及其变化情况得到所述各词汇时间段的多模态特征，根据所述全局文本特征、所述全局语音特征和所述全局图像特征得到所述全局时间段的多模态特征。

根据本申请实施例的一种具体实施方式，所述基于每个当前词汇时间段及其下一词汇时间段的所述语音可解释特征获取各词汇时间段的语音可解释特征变化情况，包括：

对每一词汇时间段的所述语音可解释特征进行归一化及等级分类处理，以得到每一词汇时间段的语音等级；

基于每一当前词汇时间段及其下一词汇时间段的所述语音可解释特征对应的语音等级，获取各词汇时间段的语音可解释特征变化情况。

根据本申请实施例的一种具体实施方式，所述基于每个当前词汇时间段及其下一词汇时间段的所述图像可解释特征获取各词汇时间段的图像可解释特征变化情况，包括：

对每一词汇时间段的所述图像可解释特征进行归一化及等级分类处理，以得到每一词汇时间段的图像等级；

基于每一当前词汇时间段及其下一词汇时间段的所述图像可解释特征对应的图像等级，获取各词汇时间段的图像可解释特征变化情况。

根据本申请实施例的一种具体实施方式，所述心理状态评估结果包括每个模态维度对应的心理评估个性分以及每一心理评估个性分对应的词汇时间段权重；

所述根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，包括：

获取小于第一分数阈值或大于第二分数阈值的心理评估个性分对应的词汇时间段权重；

将词汇时间段权重大于预设权重阈值的词汇时间段划分为目标词汇时间段；

基于预设Aprior算法挖掘所述目标词汇时间段中的多模态特征频繁项，并将所述心理评估个性分小于第一分数阈值的多模态特征频繁项划分为低分频繁项，将所述心理评估个性分大于第二分数阈值的多模态特征频繁项划分为高分频繁项。

第二方面，本申请实施例提供了一种心理状态知识库构建装置，包括：

获取模块，用于获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据；

预处理模块，用于对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，其中，所述目标多模态样本数据集为以词汇为基础粒度的多模态对齐数据集；

特征提取模块，用于分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，其中，所述多模态特征包括文本特征、语音特征和图像特征；

注意力识别模块，用于按照时间顺序将所述心理评估个性分测评数据、所述全局时间段的多模态特征以及各所述词汇时间段的多模态特征输入至注意力权重识别模型，以得到所述服刑人员的心理状态评估结果；

知识库构建模块，用于根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，并基于所述高分频繁项和所述低分频繁项构建心理状态知识库。

第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行第一方面及第一方面任一实施方式所述的心理状态知识库构建方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面及第一方面任一实施方式所述的心理状态知识库构建方法。

本申请实施例提供了一种心理状态知识库构建方法、装置、计算机设备及可读存储介质，包括：获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据；对各所述初始多模态样本数据集进行数据预处理，得到以词汇为基础粒度的目标多模态样本数据集；从多模态时序维度以及全局维度提取目标多模态样本数据集中的特征，并基于注意力权重识别模型识别所述特征，以得到所述服刑人员的心理状态评估结果；根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，并基于所述高分频繁项和所述低分频繁项构建心理状态知识库。本发明对多模态样本数据进行预处理，得到词汇粒度的对齐样本数据，再基于注意力机制挖掘对齐样本数据中的心理状态知识，能够准确将多模态知识表达为心理状态可理解的知识。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例提供的一种心理状态知识库构建方法的方法流程示意图；

图2示出了本申请实施例提供的一种心理状态知识库构建方法的对各所述初始多模态样本数据集进行数据预处理步骤的应用示意图；

图3示出了本申请实施例提供的一种心理状态知识库构建方法的注意力权重识别模型的应用示意图之一；

图4示出了本申请实施例提供的一种心理状态知识库构建方法的注意力权重识别模型的应用示意图之二；

图5示出了本申请实施例提供的一种心理状态知识库构建方法的频繁项挖掘步骤的应用示意图；

图6示出了本申请实施例提供的一种心理状态知识库构建装置的装置模块示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

参考图1，为本申请实施例提供的一种心理状态知识库构建方法的方法流程示意图，本申请实施例提供的心理状态知识库构建方法，如图1所示，所述心理状态知识库构建方法包括：

步骤S101，获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据；

在具体实施例中，所述初始多模态样本数据集包括音频样本、视频样本和文本样本。

所述初始样本数据集，可以通过提前构建预设数量的开放性问题，再通过摄像机、录音器等设备记录所述服刑人员对各开放性问题的开放性回答来进行采集。

在采集所述初始样本数据集的过程中，所述开放性问题用于让服刑人员表述出最近的心情状态，所述开放性问题可以为例如“你今天过得怎么样”、“你今天发生了什么”和“你最近心情如何”等引导服刑人员进行开放性表述的问题。所述开放性问题可以根据实际应用场景进行自适应设置。

在服刑人员回答所述开放性问题的过程中，通过摄像机、录音器等设备同步记录服刑人员的音频及视频数据，并通过文本转换程序将音频数据转换为文本数据，形成一一对应音频数据、视频数据和文本数据。

所述心理评估个性分测评数据可以通过预设的中国服刑人员心理评估个性分测验（Chinese Offender Psychological Assessment-Personality Inventory，简称COPA-PI）量表来进行测取，以得到服刑人员在说谎维度、认真维度、外倾维度、聪敏维度、同情维度、从属维度、波动维度、冲动维度、戒备维度、自卑维度、焦虑维度、暴力倾向维度、变态心理维度和犯罪思维维度共14个维度的测评得分。

具体的，所述服刑人员也可以被替换为其它待获取心理状态知识的人员，可以根据实际应用场景选择性的适用本实施例提出的心理状态知识库构建方法。

根据本申请实施例的一种具体实施方式，所述获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据，包括：

通过身份特征信息对全部服刑人员进行分层抽样，以得到目标服刑人员队列，其中，所述身份特征信息包括罪名、年龄和刑期时长；

获取所述目标服刑人员队列中各服刑人员的初始多模态样本数据集以及心理评估个性分测评数据，其中，所述心理评估个性分包括对应说谎维度、认真维度、外倾维度、聪敏维度、同情维度、从属维度、波动维度、冲动维度、戒备维度、自卑维度、焦虑维度、暴力倾向维度、变态心理维度和犯罪思维维度的测评得分。

在具体实施例中，在获取服刑人员的相关数据时，可以先根据服刑人员的身份特征信息对服刑人员进行分组排列。

通过预设的罪名信息、年龄信息以及刑期时长信息，从服刑人员数据库中进行分层抽样，可以得到一个具有多罪名、多年临段和多刑期时长的目标服刑人员队列。

通过获取所述目标服刑人员队列，能够保证心理状态知识库采集的心理状态知识可覆盖大范围的服刑人员，且具有针对各类身份信息的服刑人员的专业性，便于后续对指定罪名、年临段或刑期时长的服刑人员的心理状态知识的监控和研究。

步骤S102，对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，其中，所述目标多模态样本数据集为以词汇为基础粒度的多模态对齐数据集；

在具体实施例中，在获取各服刑人员的初始多模态样本数据集后，由于所述初始多模态样本数据集包括音频样本、视频样本和文本样本，本实施例还需进一步对各模态样本进行词汇分割和样本对齐的数据处理，以得到以词汇为基础力度的多模态对齐数据集。

根据本申请实施例的一种具体实施方式，所述初始多模态样本数据包括文本样本数据、音频样本数据以及视频样本数据，所述对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，包括：

对所述文本样本数据进行文本切割，以得到文本样本数据中的全部词汇；

基于每一词汇的开始时间和结束时间获取对应各词汇的词汇时间段；

基于所述词汇时间段对所述文本样本数据、所述音频样本数据和所述视频样本数据进行数据对齐，以得到所述目标多模态样本数据集。

在具体实施例中，可以利用任意一种分词工具对所述初始多模态样本数据集中的文本样本进行分词处理，得到服刑人员针对每一开放性问题回答的每一句话的每一个词汇。

举例来说，如图2所示，对于开放性问题“今天过得怎么样”，服刑人员的回答为“还行，就是早饭有点一般，然后早上跟朋友吵架了”，通过对文本样本进行文本切割，可以得到“还行”、“就是”、“早饭”、“有点”、“一般”、“然后”、“早上”、“跟朋友”和“吵架了”。

在本实施例中，在获取文本样本对应的所有词汇后，基于人工智能辅助时间分段切割的方式，以词汇为基础粒度，进行多模态数据的时间对齐处理。

具体的，以各词汇为基础，结合所述音频数据和所述视频数据，获取任一词汇对应的开始时间和结束时间，然后利用各个词汇的起止时间，在音频数据和视频数据中进行时间打点，以使得各模态数据对齐。其中，所述开始时间为开始表述所述词汇的时间点，所述结束时间为停止表述所述词汇的时间点。

本实施例可以采用语音对齐器speech-aligner等工具来进行词汇时间点的对齐操作。

根据本申请实施例的一种具体实施方式，在基于所述语音对齐器speech-aligner对齐多模态样本数据后，还可以将对齐后的多模态样本数据返回至用户界面，以使得用户能够通过人工手段对各个词汇的开始时间和结束时间进行微调，以保证可以清楚听到起止时间对应的词汇。

通过对所述初始多模态样本数据进行数据预处理，能够得到一个以词汇为基础粒度的目标多模态样本数据集。在所述目标多模态样本数据中，通过服刑人员所说的每句话的每个词汇，均能够获取对应时间片段的语音数据和视频数据。

步骤S103，分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，其中，所述多模态特征包括文本特征、语音特征和图像特征；

具体的，所述可解释特征为具有可解释性的特征，所述可解释特征能够使得所述心理状态知识具有清晰的可解释性，便于后续对获取的心理状态知识的研究。

本实施例分别从多维度提取各词汇时间段以及全局时间段的可解释特征，得到多样的可解释特征，以进行心理状态知识的获取。

根据本申请实施例的一种具体实施方式，所述分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，包括：

分别获取每一词汇时间段所述目标多模态样本数据集中的文本可解释特征、语音可解释特征以及图像可解释特征；

基于每个当前词汇时间段及其下一词汇时间段的所述文本可解释特征获取各词汇时间段的文本可解释特征变化情况；

基于每个当前词汇时间段及其下一词汇时间段的所述语音可解释特征获取各词汇时间段的语音可解释特征变化情况；

基于每个当前词汇时间段及其下一词汇时间段的所述图像可解释特征获取各词汇时间段的图像可解释特征变化情况；

基于全局时间段分别获取所述目标多模态样本数据集的全局文本特征、全局语音特征和全局图像特征；

根据所述文本可解释特征及其变化情况、所述语音可解释特征及其变化情况和所述图像可解释特征及其变化情况得到所述各词汇时间段的多模态特征，根据所述全局文本特征、所述全局语音特征和所述全局图像特征得到所述全局时间段的多模态特征。

在具体实施例中，从各维度获取可解释特征方法可以被拆分为以下几个步骤：

步骤一，从文本时序维度获取所述目标多模态样本数据集中的可解释特征。

为构建可解释性知识库，针对所述目标多模态样本数据集中的每一词汇，均提取相应的文本可解释特征，所述文本可解释特征包括词汇主题和词汇正负性，其中，词汇主题是利用开源的词汇向量进行kmeans聚类得到的，词汇主题的类别包括100个类别，词汇正负性包括正性、负性和中性3个类别，所述文本可解释性特征包括100+3个特征。

同时，进一步提取针对连续两个词汇形成的文本时序特征，所述文本时序特征也称为文本可解释特征变化情况，包括主题变化和正负性变化两个时序特征，共1000+3*3个特征。具体的，所述主题变化的特征数量可以根据实际应用场景进行自适应选取，本实施例在全量数据中选取前1000个主题变化。

步骤二，从语音时序维度获取所述目标多模态样本数据集中的可解释特征。

为构建可解释性知识库，针对所述目标多模态样本数据集中各词汇时间段的语音，提取相应的语音可解释特征，所述语音可解释性特征包括均方根能量、起音时间、过零率、自相关、谱质心、Mel频率倒谱系数（Mel Frequency Cepstrum Coefficient，简称MFCC）、频谱平坦度、频谱通量、基音频率f0、失谐度、响度和尖锐度共12个特征。

根据本申请实施例的一种具体实施方式，所述基于每个当前词汇时间段及其下一词汇时间段的所述语音可解释特征获取各词汇时间段的语音可解释特征变化情况，包括：

对每一词汇时间段的所述语音可解释特征进行归一化及等级分类处理，以得到每一词汇时间段的语音等级；

基于每一当前词汇时间段及其下一词汇时间段的所述语音可解释特征对应的语音等级，获取各词汇时间段的语音可解释特征变化情况。

在具体实施例中，针对单个词汇时间段中每一所述语音可解释特征，均进行相应的归一化及等级分类处理，以将每一语音可解释特征归一化为预设个等级。在本实施例中，所述等级分类处理可以为5个等级。所述等级分类处理可以根据实际应用场景进行自适应替换，此处不作唯一限定。

对所述语音可解释特征进行归一化及等级分类处理后，可以得到包括均方根能量等级、起音时间等级、过零率等级、自相关等级、谱质心等级、Mel频率倒谱系数等级（MelFrequency Cepstrum Coefficient，简称MFCC）、频谱平坦度等级、频谱通量等级、基音频率f0等级、失谐度等级、响度等级和尖锐度等级共12个特征等级。

针对连续两个词汇时间段的语音可解释特征，获取语音可解释特征变化情况，包括均方根能量等级变化、起音时间等级变化、过零率等级变化、自相关等级变化、谱质心等级变化、Mel频率倒谱系数等级变化（Mel Frequency Cepstrum Coefficient，简称MFCC）、频谱平坦度等级变化、频谱通量等级变化、基音频率f0等级变化、失谐度等级变化、响度等级变化和尖锐度等级变化。

在本实施例中，获取的语音可解释特征及其变化情况包括5*5*12=300个特征。

步骤三，从图像时序维度获取所述目标多模态样本数据集中的可解释特征。

为构建可解释性知识库，针对各词汇时间段的目标多模态样本数据集中的视频样本，提取相应的图像可解释特征，所述图像可解释特征包括201个人脸关键点相对位置、8个关键区域位面积、8个关键区域大小以及9个情绪指标，共226个特征。

其中，9个情绪指标可以包括愤怒、厌恶、恐惧、高兴、伤心、惊讶、嘟嘴、鬼脸和无情绪。

人脸关键点位相对位置包括所有点位相对于脸部中轴线的最远距离、最近距离和平均角度。

根据本申请实施例的一种具体实施方式，所述基于每个当前词汇时间段及其下一词汇时间段的所述图像可解释特征获取各词汇时间段的图像可解释特征变化情况，包括：

对每一词汇时间段的所述图像可解释特征进行归一化及等级分类处理，以得到每一词汇时间段的图像等级；

基于每一当前词汇时间段及其下一词汇时间段的所述图像可解释特征对应的图像等级，获取各词汇时间段的图像可解释特征变化情况。

在具体实施例中，和上述对语音可解释特征类似的，对于所述图像可解释特征也需进行归一化及等级分类处理，并基于连续两个词汇时间段形成图像变化特征的提取。

对图像可解释特征的等级划分以及变化情况获取方法可参考上述对语音可解释特征的描述，此处不再一一赘述。

需知的，在本实施例中，获取的图像可解释特征及其变化情况包括5*5*226个特征。

另外，语音可解释特征的等级分类处理划分的等级范围和图像可解释特征的等级分类处理划分的等级范围可以相同，也可以不同，用户可以根据实际应用场景进行自适应设置。

步骤四，从全局维度获取所述目标多模态样本数据集中的可解释特征。

为构建可解释性知识库，针对全局时间段的目标多模态样本数据集，本实施例还分别从音频、视频、文本三个特征维度进行全局特征提取。

具体的，在全局特征提取过程中，对于连续性维度，取均值作为全局特征；对于离散值维度，取各个离散值中出现次数最多的离散值作为全局特征。

如图3所示，所述全局文本特征为全时间段的文字特征，所述全局语音特征为全时间段的语音特征，所述全局图像特征为全时间段的图像特征。

需知的，同一维度的全局特征的特征长度需等于同一维度全部词汇时间段上的特征的特征长度之和。

步骤S104，按照时间顺序将所述心理评估个性分测评数据、所述全局时间段的多模态特征以及各所述词汇时间段的多模态特征输入至注意力权重识别模型，以得到所述服刑人员的心理状态评估结果；

在具体实施例中，需提前构建一个能够分析上述实施例中得到的各多模态特征的注意力权重识别模型Attention-model，所述注意力权重识别模型如图3和图4所示。

如图3所示，将CLS、全局时间段的多模态特征、SEQ以及各词汇时间段的多模态特征输入至所述注意力权重识别模型，再通过sigmoid函数，可以得到相应的心理评估个性结果。

所述注意力权重识别模型结合所述sigmoid函数，能够得到各特征识别出的心理评估个性结果，所述心理评估个性结果包括说谎、认真、外倾、聪敏、同情、从属、波动、冲动、戒备、自卑、焦虑、暴力倾向、变态心理和犯罪思维。

具体的，所述CLS的输入可以使用上述实施例中获取的所述心理评估个性分测评数据，以为相应服刑人员进行基础分类。

在图3和图4中，所述全局时间段的多模态特征包括全时段语音特征、全时段图像特征以及全时段文字特征。所述各词汇时间段包括T

单/跨时段语音特征为语音可解释特征及其变化情况，单/跨时段图像特征为图像可解释特征及其变化情况，单/跨时段文字特征为文本可解释特征及其变化情况。

根据本申请实施例的一种具体实施方式，所述心理状态评估结果包括每个模态维度对应的心理评估个性分以及每一心理评估个性分对应的词汇时间段权重；

在具体实施例中，如图4所示，所述注意力权重识别模型可以结合softmax函数，以输出各词汇时间段内每个模态维度对应的心理评估个性分，以及词汇时间段权重。

举例来说，当输出结果为说谎8分时，对应各词汇时间段权重为T+0时刻权重50%，全局时间段权重30%，T+3时刻权重20%。

步骤S105，根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，并基于所述高分频繁项和所述低分频繁项构建心理状态知识库。

在具体实施例中，针对不同维度的输入，所述注意力权重识别模型可识别出不同的心理评估个性分。

基于预设预设的筛选规则，可以选择对应范围的心理评估个性分作为心理状态知识的获取范围，以进行针对性的频繁项挖掘，从而得到精确的心理状态知识。

所述根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，包括：

获取小于第一分数阈值或大于第二分数阈值的心理评估个性分对应的词汇时间段权重；

将词汇时间段权重大于预设权重阈值的词汇时间段划分为目标词汇时间段；

基于预设Aprior算法挖掘所述目标词汇时间段中的多模态特征频繁项，并将所述心理评估个性分小于第一分数阈值的多模态特征频繁项划分为低分频繁项，将所述心理评估个性分大于第二分数阈值的多模态特征频繁项划分为高分频繁项。

在本实施例中，所述第一分数阈值可以设置为3，所述第二分数阈值可以设置为6，所述第一分数阈值和所述第二分数阈值也可以根据实际应用场景进行自适应设置，需知的，所述第二分数阈值大于所述第一分数阈值。

根据本实施例的分数阈值设置，可以筛选出低于3分的心理评估个性分和高于6分的心理评估个性分对应的词汇时间段权重。

将得到所有词汇时间段权重进行降幂排列，可以得到词汇时间段权重大于预设权重阈值的目标词汇时间段，所述目标词汇时间段为高相关时间段。

基于Aprior算法进行频繁项挖掘，可以得到如图5所示的频繁项挖掘结果。

如图5所示，在目标词汇时间段挖掘到的语音频繁项为响度3和响度3-2，其中，响度3-2表示在连续词汇时间段内响度由等级3变为等级2；图像频繁项为眼睛正角度、眼睛平角度变为正角度；文本频繁项为早饭，早饭-负性，其中，早饭-负性为早饭的词汇正负性为负；多模态频繁项为眼角正角度且响度3。

具体的，在挖掘过程中，基于3分以下的心理评估个性分及其词汇时间段权重挖掘到的频繁项为低分频繁项，基于6分以上的心理评估个性分及其词汇时间段权重挖掘到的频繁项为高分频繁项。

所述低分频繁项可以作为某个维度的低分数的心理状态知识，所述高分频繁项可以作为某个维度的高分数的心理状态知识，结合所述挖掘结果得到的全部频繁项，即可以得到用于构建所述心理状态知识库的全部心理状态知识。

在具体实施例中，在得到如图5所示的心理状态知识后，将所述心理状态知识存储于一个预先设置的数据库中，即可以完成心理状态知识库的构建。

本实施例对所述心理状态知识库的构建步骤不作限定，可以根据实际应用场景进行自适应构建。

综上所述，本实施例提供了一种心理状态知识库构建方法，通过构建以词汇为基础单元的目标多模态样本数据集，能够保证获取的多模态数据的完整性及精细度，从而在进行知识挖掘时能够精细到词汇粒度。通过构建以词汇时间对其的注意力筛选特征及频繁项挖掘的多模态知识库，可以得到一个应用范围广，且可以提供准确服刑人员心理状态知识的多模态知识库构建方案，有利于基于所述心理状态知识库进行进一步的犯罪研究。

参考图6，为本申请实施例提供的一种心理状态知识库构建装置600的装置模块示意图，本申请实施例提供的心理状态知识库构建装置600，如图6所示，所述心理状态知识库构建装置600包括：

获取模块601，用于获取服刑人员的初始多模态样本数据集以及心理评估个性分测评数据；

预处理模块602，用于对各所述初始多模态样本数据集进行数据预处理，得到目标多模态样本数据集，其中，所述目标多模态样本数据集为以词汇为基础粒度的多模态对齐数据集；

特征提取模块603，用于分别从文本时序维度、语音时序维度、图像时序维度以及全局维度提取所述目标多模态样本数据集中的可解释特征，以得到各词汇时间段的多模态特征以及全局时间段的多模态特征，其中，所述多模态特征包括文本特征、语音特征和图像特征；

注意力识别模块604，用于按照时间顺序将所述心理评估个性分测评数据、所述全局时间段的多模态特征以及各所述词汇时间段的多模态特征输入至注意力权重识别模型，以得到所述服刑人员的心理状态评估结果；

知识库构建模块605，用于根据预设频繁项挖掘规则挖掘所述心理状态评估结果中的高分频繁项和低分频繁项，并基于所述高分频繁项和所述低分频繁项构建心理状态知识库。

另外，本申请实施例还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述实施例中的心理状态知识库构建方法。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序在处理器上运行时执行上述实施例中的心理状态知识库构建方法。

另外，上述实施例中提到的心理状态知识库构建装置、计算机设备及计算机可读存储介质的具体实施过程，可以参见上述方法实施例的具体实施过程，在此不再一一赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。