一种基于语音及视线追踪建立患者心理健康档案的方法

技术领域

本发明涉及心理健康档案领域，具体为一种基于语音及视线追踪建立患者心理健康档案的方法。

背景技术

心理测试是以测量心理特性为目的，通过各种心理测量客观地对人的心理状态、认识过程、情绪、意志、个性特征等方面进行评估的方法。心理测试一般用设计符合信效度的问卷方式进行，根据功能大致可将现有各种心理测试分成智力测试、人格测试、能力测试和神经心理测试等四类。

但在实际心理测试工作中，经常会出现“反应偏差”，即受测者进行心理测验时，由于认识不到位、观念不认同等原因导致对某些特定的内容没有反映出其原本意图的一种偏差。眼球运动是视觉信息输入的主要方式。眼动是人感知外部视觉刺激时发生的神经反射活动，也是反映个体对信息认知加工过程和情绪变化的眼部行为现象。眼动通过注视、眼跳和追随运动等方式，伴随着眨眼和瞳孔大小的变化，接受外界视觉刺激信息并对其进行筛选、加工处理进而形成有关的视觉记忆。眼动可精细地反映出个体“看到了什么”以及人对视觉信息提取和选择的过程与规律，并与人的动机系统、态度体系、注意、信息加工能力及加工方式相关。

将语音/眼动/视线追踪应用于心理测试，通过注视时间/注视次数/瞳孔状态/语言意图等等，其可以作为心理健康的判断依据，因此本发明提出一种基于语音及视线追踪建立患者心理健康档案的方法，其基于语音及视线追踪两个依据，通过不同的心理焦虑测评问卷以及场景，来模拟用户的不同场景状态下的心理应激，以此提高心理健康档案建立过程中数据的准确性。

发明内容

本发明的目的在于提供一种基于语音及视线追踪建立患者心理健康档案的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于语音及视线追踪建立患者心理健康档案的方法，包括步骤：

S1：建立心理焦虑测评问卷数据库，并根据不同的测试目标、测试目的生成不同的测评问卷；

S2：建立基于语音及视线追踪的问卷场景，并对受测者进行问卷测试；

S3：根据测试结果生成相应的心理健康档案。

优选的，S1中心理焦虑测评问卷数据库是通过：构建心理焦虑测评模板，并为心理焦虑测评模板内载的每一栏信息配置对应的结构化数据，配置可基于Python爬虫爬取与每一栏信息对用的结构化数据。

优选的，S2中基于语音及视线追踪的问卷场景的建立及测试过程包括：

S21：配置头戴式VR设备及分析系统，其中头戴式VR设备可根据不同的测试目标生成不同的虚拟设定场景，并根据问卷测评分析报告对受测者进行场景的匹配，头戴式VR设备集成有眼动追踪模块、语音采集模块、音响模块，其中语音采集模块用于采集用户不同问卷测评、不同场景状况下的语音数据；

S22：眼动追踪模块采集测评状态下的眼动数据，头戴式VR设备将眼动数据及语音数据发送至分析系统，由分析系统通过卷积神经网络对测评状态下的眼动数据进行提取。

优选的，S21中眼动追踪模块采集眼动数据的过程包括：

S211：眼动数据采集初始阶段，进行用户专注力标定，即通过配置标定虚拟设定场景，判断用户眼球是否专注；

S212：眼动数据采集进行阶段，进行用户心理状态采集，即通过配置不同的测评问卷及配套的虚拟设定场景，通过眼动追踪模块、语音采集模块采集测评状态下的眼动数据、语音数据。

优选的，S211中具体过程包括：配置黑色背景以及白色标定物，白色标定物以缩放/展开/旋转的方式在黑色背景前动作，动作时间3-5s，动作后白色标定物消失；基于眼动追踪模块采集并判断眼球是否以白色标定物缩放/展开/旋转方向转动，若是则开始下一虚拟设定场景采集，若否则重新进行专注力标定。

优选的，S212中具体过程包括：配置积极、中性、消极不同情绪的虚拟设定场景，场景为图片/视频，持续10-360s；头戴式VR设备调用问卷数据库中与虚拟设定场景配套的测评问卷，在虚拟设定场景开始前/过程中/结束后通过音响模块解析输出；采集测评问卷输出状态下用户的眼动数据及回复的语音数据，并将上述数据传输至分析系统。

优选的，S3中分析系统基于卷积神经网络、语音及意图识别模型对眼动数据、语音数据进行特征提取及意图识别，并得到特征数据、意图数据，分析系统将上述数据输入至向量回归模型，得到基于场景分布的焦虑抑郁预测值。

优选的，S3中基于卷积神经网络对眼动数据进行特征提取的具体过程包括：

S31：建立不同场景、不同心理负荷状态下的眼动数据集，提取眼动数据集中的眼动特征数据，其中眼动特征数据是指眼动类型特征、扫视速度特征、瞳孔直径特征和眼动转移特征；

S32：基于卷积神经网络建立心理负荷评估模型，基于眼动数据集中的特征集训练心理负荷评估模型，获得训练好的心理抑郁预测模型；

S33：采集待评估用户的眼动数据，并将眼动数据输入至上述评估模型中，得到基于场景分布的焦虑抑郁预测值。

与现有技术相比，本发明的有益效果是：

本发明基于语音及视线追踪两个依据，通过不同的心理焦虑测评问卷以及场景，来模拟用户的不同场景状态下的心理应激，以此提高心理健康档案建立过程中数据的准确性。

附图说明

图1为本发明的原理框图；

图2为本发明的问卷场景建立及测试的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：一种基于语音及视线追踪建立患者心理健康档案的方法，包括步骤：

S1：建立心理焦虑测评问卷数据库，并根据不同的测试目标、测试目的生成不同的测评问卷；

S2：建立基于语音及视线追踪的问卷场景，并对受测者进行问卷测试；

S3：根据测试结果生成相应的心理健康档案。

在本实施例中，S1中心理焦虑测评问卷数据库是通过：构建心理焦虑测评模板，并为心理焦虑测评模板内载的每一栏信息配置对应的结构化数据，配置可基于Python爬虫爬取与每一栏信息对用的结构化数据。

在本实施例中，S2中基于语音及视线追踪的问卷场景的建立及测试过程包括：

S21：配置头戴式VR设备及分析系统，其中头戴式VR设备可根据不同的测试目标生成不同的虚拟设定场景，并根据问卷测评分析报告对受测者进行场景的匹配，头戴式VR设备集成有眼动追踪模块、语音采集模块、音响模块，其中语音采集模块用于采集用户不同问卷测评、不同场景状况下的语音数据；

S22：眼动追踪模块采集测评状态下的眼动数据，头戴式VR设备将眼动数据及语音数据发送至分析系统，由分析系统通过卷积神经网络对测评状态下的眼动数据进行提取。

在本实施例中，S21中眼动追踪模块采集眼动数据的过程包括：

S211：眼动数据采集初始阶段，进行用户专注力标定，即通过配置标定虚拟设定场景，判断用户眼球是否专注；

S212：眼动数据采集进行阶段，进行用户心理状态采集，即通过配置不同的测评问卷及配套的虚拟设定场景，通过眼动追踪模块、语音采集模块采集测评状态下的眼动数据、语音数据。

在本实施例中，S211中具体过程包括：配置黑色背景以及白色标定物，白色标定物以缩放/展开/旋转的方式在黑色背景前动作，动作时间3-5s，动作后白色标定物消失；基于眼动追踪模块采集并判断眼球是否以白色标定物缩放/展开/旋转方向转动，若是则开始下一虚拟设定场景采集，若否则重新进行专注力标定。

在本实施例中，S212中具体过程包括：配置积极、中性、消极不同情绪的虚拟设定场景，场景为图片/视频，持续10-360s；头戴式VR设备调用问卷数据库中与虚拟设定场景配套的测评问卷，在虚拟设定场景开始前/过程中/结束后通过音响模块解析输出；采集测评问卷输出状态下用户的眼动数据及回复的语音数据，并将上述数据传输至分析系统。

在本实施例中，S3中分析系统基于卷积神经网络、语音及意图识别模型对眼动数据、语音数据进行特征提取及意图识别，并得到特征数据、意图数据，分析系统将上述数据输入至向量回归模型，得到基于场景分布的焦虑抑郁预测值。

在本实施例中，S3中基于卷积神经网络对眼动数据进行特征提取的具体过程包括：

S31：建立不同场景、不同心理负荷状态下的眼动数据集，提取眼动数据集中的眼动特征数据，其中眼动特征数据是指眼动类型特征、扫视速度特征、瞳孔直径特征和眼动转移特征；

S32：基于卷积神经网络建立心理负荷评估模型，基于眼动数据集中的特征集训练心理负荷评估模型，获得训练好的心理抑郁预测模型；

S33：采集待评估用户的眼动数据，并将眼动数据输入至上述评估模型中，得到基于场景分布的焦虑抑郁预测值。

在本实施例中，实施时可采用RF算法进行特征权重计算。

上述实施例基于语音及视线追踪两个依据，通过不同的心理焦虑测评问卷以及场景，来模拟用户的不同场景状态下的心理应激，以此提高心理健康档案建立过程中数据的准确性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。