一种基于虚拟现实技术的全科规培医患沟通培训考核方法

技术领域

本发明涉及教育软件开发技术领域，具体涉及一种基于虚拟现实技术的全科规培医患沟通培训考核方法。

背景技术

巴林特小组教学模式是培养学员医患沟通能力的重要教学方式之一，浙江大学及中南大学湘雅二院现已使用该模式对全科医生进行医患沟通技能培训。此外，国内在沟通技能培训方面常用的教学方式主要是角色扮演、小组讨论、独立门诊及情景模拟等形式，如贾鸿雁等基于莱斯特评估包(LAP)模式、董天睿等基于卡尔加里-剑桥指南(C-CG)模式，采用理论、角色扮演、小组讨论等形式对学员进行沟通技能培训。

这些方式虽然也取得了一定的效果，但仍然存在一些不足：(1)因为师资储备的高要求，导致只能小班教学；(2)现有的培训均以教学为主，练习较少，培训形式局限于线下面对面的教授，缺乏信息技术的整合。因此受到较大的限制。

发明内容

针对现有技术的不足，本发明提出一种基于虚拟现实技术的全科规培医患沟通培训考核方法，包括以下步骤：

构建数个医患沟通教案库以及包括标准医患沟通特征的专家库；

基于医患沟通教案库构建虚拟病患模型，基于真实病人构建病患语音库及病患表现库；结合虚拟病患模型、病患语音库和病患表现库构建虚拟临床场景；

通过采集设备获取学员与虚拟病患模型交互时的交互信息，所述交互信息包括语言信息、表情信息、肢体语言信息以及眼神信息；

将交互信息与专家库中的标准医患沟通特征相比较进行分析，对学员的交互信息进行评估并获取评估结果。

其中一实施方式中，所述将交互信息与专家库中的标准医患沟通特征相比较进行分析中，包括对语言信息进行分析，包括以下步骤：

通过语义提取技术从语音信息中提取出学员分析；

将学员分析与专家库中的标准分析比较，以获取分析匹配率。

其中一实施方式中，所述将交互信息与专家库中的标准医患沟通特征相比较进行分析中，包括对表情信息进行分析，包括以下步骤：

通过面部捕捉技术和表情分析技术提取出学员在交互过程中的表情信息；

将表情信息与专家库中的标准表情类别相比较，以对表情信息进行分类和相似度分析并获取表情相似度。

其中一实施方式中，所述将交互信息与专家库中的标准医患沟通特征相比较进行分析中，包括对肢体语言信息进行分析，包括以下步骤：

通过姿态捕捉技术，获取学员在交互过程中的肢体语言信息；

通过动作语义分析技术对肢体语言信息进行分析，以获取学员语义；

将学员语义与专家库中的标准动作类别相比较，以对肢体语言信息进行分类和相似度分析并获取动作相似度。

其中一实施方式中，所述对学员的交互信息进行评估并获取评估结果后，还通过技能点掌握概率模型对学员的知识掌握情况进行评估，构建技能点掌握概率模型还包括：

对每个医患沟通教案库的知识点进行归纳和整理；

构建学员DINA模型中的Q矩阵，对于学生i，定义其知识点掌握情况为α

通过以下公式计算学员在每次培训过程中的潜在作答情况：

其中S

其中一实施方式中，通过技能点掌握概率模型后，还包括：基于潜在作答情况动态规划下一次培训。

其中一实施方式中，所述专家库基于SEGUE量表进行构建，所述专家库包括每个临床案例的详细沟通细则、标准医患沟通特征以及相应的评分标准。

其中一实施方式中，所述专家库中还包括标准语言示范信息和标准非语言示范信息。

其中一实施方式中，每个医患沟通教案库包括若干医患沟通模块和病例库，所述医患沟通模块包括分析病情、归纳预后、共同决策、健康教育、共情表达、情绪疏导。

其中一实施方式中，所述采集设备包括深度摄像机、VR头显以及麦克风。

本发明的有益效果在于：

本发明实施例通过仿真真实病人构建虚拟临床场景，将全科规范化培训中医患沟通能力的教学元素融入虚拟化场景中，使学员更加生动直观的进行培训学习。通过采集设备采集学员在培训过程中的多样化的交互信息，从语言、眼神、表情、肢体语言多个方面，对学员的培训过程进行评价分析，规范学员的医患沟通能力的培训过程，提高培训效果，基于虚拟现实技术也能够更好的根据评估结果分析学生的错误点，给出针对性的意见。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种基于虚拟现实技术的全科规培医患沟通培训考核方法的流程示意图；

图2为本发明实施例中采集学员交互信息的示意图；

图3为本发明实施例中采集肢体语言信息的流程示意图；

图4为本发明实施例一种基于虚拟现实技术的全科规培医患沟通培训考核方法的详细流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种基于虚拟现实技术的全科规培医患沟通培训考核方法，包括以下步骤：

S1构建数个医患沟通教案库以及包括标准医患沟通特征的专家库；

可以理解的是，医患沟通教案库的建立是通过系统检索各类学术期刊全文数据库,将医患沟通能力教学或培训的临床案例文献纳入样本库，经全科基地教研室专家对纳入的临床案例进行质量分析和评价，筛选出符合《住院医师规范化培训细则》全科医师需掌握的常见病、慢性病的医患沟通案例库。同时对每个案例按照分析病情、归纳预后、共同决策、健康教育、共情表达、情绪疏导等多种医患沟通模块进行标注，以此建立由病例库和医患沟通模块两个维度组成的医患沟通教案库，医患沟通教案库模型如下表所示：

S2基于医患沟通教案库构建虚拟病患模型，基于真实病人构建病患语音库及病患表现库；结合虚拟病患模型、病患语音库和病患表现库构建虚拟临床场景；

可以理解的是，针对全科医学生面临的工作环境的多样、患者多是未知患者、年龄层分布广、性格各异等特点，根据临床案例情景模型建立具备不同年龄段、不同性格特征、不同患者情绪状态、涵盖全医学科的标准化的虚拟病人模型库，并利用动画、3D及虚拟人技术塑造患者真实人体的各种症状、体征和对各种操作的反应；建立病患语音库和病患表现库，通过自然语言处理技术与虚拟化病人的语言沟通功能，构建趋于真实的虚拟临床场景。

S3通过采集设备获取学员与虚拟病患模型交互时的交互信息，所述交互信息包括语言信息、表情信息、肢体语言信息以及眼神信息；

可以理解的是，如图2所示，对于多模态的交互信息的采集只要通过各种采集设备实现，如深度摄像机(如Kinect设备)、VR头显以及麦克风；通过多种采集设备获取学员在虚拟临床场景中与虚拟病患模型进行交互时实际产生的语言、表情、肢体语言和眼神等信息；

如图2所示，肢体语言信息的采集采用姿态捕捉技术进行获取，做法基本上分为两步，骨骼特征信息的获取，骨骼对应的自然语言的分析。其中，复杂的行为识别与身体部位跟踪与记录为系统对行为进行正确的判断并映射到相应的反应事件提供数据支持，是实现自然交互的前提与基础。首先基于Azure Kinect获得骨骼数据，再计算自定义的行为特征向量，对人体动作进行识别，获得稳定的输出值，并封装成具有该功能的Kinect类。通过该类的输出结果来决定环境的感知反馈，控制环境的交互方式。

表情信息的获取采用拟采用已有的表情识别API，Microsoft Azure，该API可以检测图中的人脸，并为人脸标记出边框。检测出人脸后，可对人脸进行分析，获得眼、口、鼻轮廓等72个关键点定位准确识别多种人脸属性，如性别，年龄，表情等信息。该技术可适应大角度侧脸，遮挡，模糊，表情变化等各种实际环境。本实施例中通过摄像头拍照截取人脸部分，通过API上传到云服务器后，分析出结果后会通过JSON文件格式返回识别结果，读取该JSON文件后，以获得学员表情信息。

眼神信息拟采用虚拟现实设备hololens自带的眼动追踪功能实现，记录下学员佩戴设备学习时，眼睛的注视移动轨迹，通过预先设定好的注视逻辑，分析注视轨迹得到学员在与虚拟病患沟通过程中的眼神交流信息。

通过上述采集技术和采集设备，对学员的交互信息进行识别采集后，即可对获取到的信息进行分析和评估。

S4将交互信息与专家库中的标准医患沟通特征相比较进行分析，对学员的交互信息进行评估并获取评估结果。可以理解的是，在分析时主要包括对语言信息、表情信息和肢体语言信息进行分析。

具体地，依据病例来源的临床资料，包括问诊、体格检查及相应辅助检查阳性结果等从中、西医的角度分别对该病人进行疾病的病因、病机及辨证分析，归纳总结出专家分析观点存放在案例分析库中。采用语义提取技术，将学员对病因、病机及辨证分析等的分析，与专家库中的分析做比对，实时反馈匹配率，帮助学生掌握正确的诊断推理全过程，有利于提高学生的临床实践技能及分析、解决问题的能力，提高临床诊治水平及思维能力。

通过姿态捕捉技术，捕捉由专家示范进行的各案例的标准动作，经过处理得到专家动作相对应的自然语义，作为标准动作类别。学员的动作经过捕捉，自然语义分析后，将语义按标准动作类别进行分类，根据学员类别与动作类别相似度作为评判标准，若出现标准动作没有的动作类别，则反馈提醒学员，培养学员良好的医患沟通动作习惯。

预先根据专家意见，构建医患沟通标准表情类别，通过面部捕捉技术和表情分析技术，捕捉分析学员在培训工程中的表情变化情况，将学员的表情以标准表情类别进行分类，根据相似度对学员的表情变化情况进行评判，若出现不合适的表情则则及时反馈提醒，帮助学生能更好的在沟通中管理自身面部表情，促进良好医患沟通。

进一步的实施例中，为了提高虚拟临床场景的培训效果，还引入认知诊断理论，基于DINA模型根据学员前期使用记录构建学员技能点掌握概率模型。具体地，首先经全科基地教研室专家将每一个虚拟沟通培训案例，按照医患沟通重点知识如分析病情、归纳预后、共同决策、健康教育、共情表达、情绪疏导等方面归纳知识点。然后根据每位学生构建DINA模型中的Q矩阵，Q矩阵指示了每个培训包含那些知识点，Q矩阵行数为培训案例数量，列数为每个培训所包含的知识点数量，矩阵元素q

然后对于学生i，定义其知识点掌握情况为α

当η

在已知学生i的知识点掌握情况α

其中S

然后，把学生的作答数据作为输入，通过参数估计，就可以得到试题的猜测参数、失误参数，以及每个学生的知识掌握情况α

通过学员的前期培训记录，构建学员的知识点先验掌握情况，通过DINA模型计算学员在每个虚拟培训中的潜在作答情况，根据潜在作答情况优先推送可能做错的训练项目。再同时结合技能点难易度因素，练习时失分率因素增加推荐时失分技能点复现率，自动化推送相应模块，从而实现根据学员自身基础和练习反馈进行个性化教学设计。

可以理解的是，为了验证该基于虚拟现实技术的医患沟通能力培训方法的体验和效果，本实施例还对接受基于虚拟现实技术的医患沟通模式培训的全科学员进行问卷调查，问卷内容主要包括系统操作是否便捷、简单，虚拟场景及病人真实性，反馈内容的质量，临床案例教程质量，学员满意度，培训方式接受程度等。

进一步，还对在培全科学员进行单盲、随机对照试验。对照组为接受传统的医患沟通模式培训，实验组为接受基于虚拟现实技术的医患沟通模式培训，在进组前，采用SEGUE量表先对两组学员进行医患沟通能力的评估。在通过相等课时的培训后再次对两组进行医患沟通能力的评估。两组学员均不知最后有考核项目，这样避免了学员为准备考核而进行排练的机会。

所述专家库基于SEGUE量表进行构建，所述专家库包括每个临床案例的详细沟通细则、标准医患沟通特征以及相应的评分标准。

可以理解的是，如图3所示，所述专家库中还包括标准语言示范信息和标准非语言示范信息。通过采集设备得到的交互信息与专家库中的标准语言示范信息和标准非语言示范信息相对比，给出更具有针对性的指导提示。

本发明实施例通过仿真真实病人构建虚拟临床场景，将全科规范化培训中医患沟通能力的教学元素融入虚拟化场景中，使学员更加生动直观的进行培训学习。通过采集设备采集学员在培训过程中的多样化的交互信息，从语言、眼神、表情、肢体语言多个方面，对学员的培训过程进行评价分析，规范学员的医患沟通能力的培训过程，提高培训效果，基于虚拟现实技术也能够更好的根据评估结果分析学生的错误点，给出针对性的意见。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。