基于虚拟现实和眼动追踪的认知评估与矫正训练系统

技术领域

本发明涉及疾病诊断、预警及治疗技术领域，更具体地说，它涉及一种基于虚拟现实和眼动追踪的认知评估与矫正训练系统。

背景技术

精神分裂症是影响人类最严重的精神疾病之一，患者及家属生活备受煎熬，给家庭和社会带来极沉重的经济和精神负担。认知功能障碍是精神分裂症核心症状之一，也是影响患者社会功能的重要因素。早期识别和改善精神分裂症患者认知功能，是患者回归社会和提高生活质量的重要因素。传统认知功能评估在既往研究中取得较好信效度，但评估存在霍桑效应，依赖于纸笔作答或计算机单调按键，耗时耗力，生态效度低，不易操纵测验环境的复杂程度，不易操纵被试的唤起程度、觉醒水平和情绪状态，测验过程枯燥趣味性低、实验材料单调等问题仍急需改善。开发实用、趣味性高且不被打扰的情况下便完成认知评估的工具，成为精神分裂症患者认知评估的研究热点和发展趋势。

精神分裂症患者的认知功能评定与治疗仍是一项难度较大且耗时较长的工作。目前精神分裂症患者的认知功能评定主要有三类：神经心理学评估法、脑电生理学评估法和脑功能成像法。神经心理学测验神经心理学是一种非侵入性的、较为客观、可以量化的评定大脑功能行为学表现的一种方法。其中MATRICS共识认知成套测验(MATRICSConsensusCognitiveBattery,MCCB)可全面评估精神分裂症患者的认知功能受损情况,其测试方便、易行,结果稳定、可靠，已成为目前认知评估领域的金标准。事件相关电位(Event-RelatedPotentials,ERPs)是应用平均叠加技术,从头颅表面记录及大脑诱发出的生物电位,反映在认知过程中大脑特有的神经电生理变化,作为大脑对外界信息接受并加工处理所产生的电位,被称为“认知电位”，与心理测验相比受被试者的注意、记忆、反应速度等影响较小。脑功能成像法是新近发展较快的认知功能测试方法之一,目的是通过成像技术来探明人脑在功能状态下的活动区域。其中功能核磁共振技术(functionalmangeticresonance,fMRI)具有极大优势且没有放射暴露问题，能在进行神经心理测试的同时对脑组织进行功能显像。

运用传统的神经影像学手段进行诊断需要依赖CT、MRI等大型设备，这些大型设备价格昂贵且不易对使用者进行反复检查。

发明内容

为解决上述技术问题，本发明提供一种基于虚拟现实和眼动追踪的认知评估与矫正训练系统，结合虚拟现实技术和眼动追踪技术用于严肃游戏，能够集合认知功能和训练功能于一体，具有很好的现实意义。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于虚拟现实和眼动追踪的认知评估与矫正训练系统，包括眼动追踪模块、评估模块和训练模块，评估模块和训练模块分别与眼动追踪模块信号连接；

眼动追踪模块包括VR设备，VR设备中通过VR眼镜获取患者眼部图像和屏幕上注视点的二维坐标，眼部图像包括瞳孔中心和角膜反射点；

评估模块包括注意力评估模块、执行功能评估模块和工作记忆评估模块；

训练模块包括注意力训练模块、执行功能训练模块和记忆力训练模块。

在上述方案中，通过将严肃游戏嵌入于VR设备中，然后通过VR影像给与患者感官刺激信号，然后在刺激过程中，通过VR眼镜上的图像获取设备获取患者瞳孔中心、角膜反射点等，进而获取患者的反应动作信息，然后评估模块通过对患者进行等级评估；同时还可用于患者的训练，包括在具体场景下患者的执行方式、注意力集中度、记忆力等。

作为一种优选方案，VR眼镜上设有近红外光源和摄像头。

在上述优选方案中，通过摄像头获取患者的眼动图像信息，通过近红外光源获取患者的角膜反射点等信息。

作为一种优选方案，评估模块和训练模块均信号连接一存储模块。

在上述优选方案中，通过存储模块将评估模块、训练模块等信息进行储存，可以获取患者相应的信息资料，给与留样，进而判断患者的矫正状态，同时还能够针对患者的现有情况，对患者的治疗或评估方式进行调整。

一种基于虚拟现实和眼动追踪的认知评估与矫正训练方法，基于上述的基于虚拟现实和眼动追踪的认知评估与矫正训练系统，包括以下步骤：

S1：VR设备给与患者感官刺激信号；

S2：通过传感器件获取患者的反应动作信息，并将该信息发送至处理器；

S3：处理器通过逻辑模块对患者行为进行功能逻辑判断；通过图形图像模块获取VR设备中环境模型和物体模型；通过交互控制模块感应患者的手柄控制，并实现患者的眼动追踪。

作为一种优选方案，VR设备集成至封闭式头盔中。

作为一种优选方案，处理器在患者沉浸在VR体验后结束后，对患者的计算能力、感觉、想象沉浸、流畅感、挑战性、积极情感、消极情感、紧张/烦恼感七个维度进行评分。

作为一种优选方案，S2过程中的反应动作信号包括首次注视时间、平均注视时间、总注视时间、注视命中率、未注视命中率、和反应时间；并通过计算或人工生成注意力得分、记忆力得分和执行功能得分。

综上所述，本发明具有以下有益效果：

(1)通过本申请开发的基于虚拟现实与眼动追踪技术的严肃游戏认知评估与矫正训练系统，能够帮助精神卫生服务机构连续动态评估患者的认知功能，利于精神卫生服务机构及工作人员更好的把握患者病情及康复着力点；

(2)本申请成果使评估与训练一体化，既能较快的识别认知功能问题，也能便捷的训练改善认知功能，将大大缩减人力和治疗评估成本。

附图说明

图1是本发明实施例的基于虚拟现实和眼动追踪的认知评估与矫正训练系统的示意图；

图2是本发明实施例的基于虚拟现实和眼动追踪的认知评估与矫正训练方法的流程图。

具体实施方式

本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包括”为一开放式用语，故应解释成“包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。

本说明书及权利要求的上下左右等方位名词，是结合附图以便于进一步说明，使得本申请更加方便理解，并不对本申请做出限定，在不同的场景中，上下、左右、里外均是相对而言。

以下结合附图对本发明作进一步详细说明。

一种基于虚拟现实和眼动追踪的认知评估与矫正训练系统，包括眼动追踪模块、评估模块和训练模块，评估模块和训练模块分别与眼动追踪模块信号连接；

眼动追踪模块包括VR设备，VR设备中通过VR眼镜获取患者眼部图像和屏幕上注视点的二维坐标，眼部图像包括瞳孔中心和角膜反射点；

评估模块包括注意力评估模块、执行功能评估模块和工作记忆评估模块；

训练模块包括注意力训练模块、执行功能训练模块和记忆力训练模块。

在上述实施例中，通过将严肃游戏嵌入于VR设备中，然后通过VR影像给与患者感官刺激信号，然后在刺激过程中，通过VR眼镜上的图像获取设备获取患者瞳孔中心、角膜反射点等，进而获取患者的反应动作信息，然后评估模块通过对患者进行等级评估；同时还可用于患者的训练，包括在具体场景下患者的执行方式、注意力集中度、记忆力等。

作为一种优选实施例，VR眼镜上设有近红外光源和摄像头。

在上述优选实施例中，通过摄像头获取患者的眼动图像信息，通过近红外光源获取患者的角膜反射点等信息。

作为一种优选实施例，评估模块和训练模块均信号连接一存储模块。

在上述优选实施例中，通过存储模块将评估模块、训练模块等信息进行储存，可以获取患者相应的信息资料，给与留样，进而判断患者的矫正状态，同时还能够针对患者的现有情况，对患者的治疗或评估方式进行调整。

一种基于虚拟现实和眼动追踪的认知评估与矫正训练方法，基于上述的基于虚拟现实和眼动追踪的认知评估与矫正训练系统，包括以下步骤：

S1：VR设备给与患者感官刺激信号；

S2：通过传感器件获取患者的反应动作信息，并将该信息发送至处理器；

S3：处理器通过逻辑模块对患者行为进行功能逻辑判断；通过图形图像模块获取VR设备中环境模型和物体模型；通过交互控制模块感应患者的手柄控制，并实现患者的眼动追踪。

作为一种优选方案，VR设备集成至封闭式头盔中。

作为一种优选方案，处理器在患者沉浸在VR体验后结束后，对患者的计算能力、感觉、想象沉浸、流畅感、挑战性、积极情感、消极情感、紧张/烦恼感七个维度进行评分。

作为一种优选方案，S2过程中的反应动作信号包括首次注视时间、平均注视时间、总注视时间、注视命中率、未注视命中率、和反应时间；并通过计算或人工生成注意力得分、记忆力得分和执行功能得分。

为了检查系统指令的可理解性，游戏任务的可行性、实用性和所需时间，设计预实验。系统开发完成后，由1名游戏测试工程师按照游戏软件程序测试基本流程完成软件测试。由两名资深游戏玩家对游戏面向用户的维度进行游戏主题、游戏场景、游戏关卡切换进行测试。选择10名不同文化程度的的中青年住院精神分裂症患者进行预实验，他们在游戏管理员的指导下进行游戏评估。研究工具：游戏体验问卷-核心量表，自制问卷调查，包含一般资料、既往电脑使用经验、完成测试焦虑水平自我评定(0-10分)。通过计算能力、感觉和想象沉浸、流畅感、挑战性、积极情感、消极情感、紧张/烦恼感等七个维度的平均得分，评估游戏参与者在不同维度上的体验差异。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。