掌桥专利:专业的专利平台
掌桥专利
首页

一种基于心理分析的虚拟现实仿真教学方法

文献发布时间:2023-06-19 18:37:28


一种基于心理分析的虚拟现实仿真教学方法

技术领域

本发明涉及信息技术领域,尤其涉及一种基于心理分析的虚拟现实仿真教学方法。

背景技术

当前由于疫情因素等影响,很多教学都变成了线上教学,这种教学方式难以跟老师深度互动,并且由于监控不力和互相之间的交流变少会导致教学效果达不到要求。而虚拟现实仿真教学是一种更加能够提升教学效果和深度互动的教学方法。他不仅可以将教学内容做成教程,甚至可以将学生的角色和老师的角色通过系统的不同角色登录,变成线上可以直接互动的师生关系。但现有技术只能手动加入表情,且形式较为单一,内容也比较枯燥,不能很好地体现学生与老师的情绪状态。虚拟教学仿真可以做成类似元宇宙一样的交互应用,以便提升在虚拟现实中的交互效果。但是在现实教学中是可以根据用户的情绪心理反馈来判断应该怎么教学,以及如何跟学生互动的。而在仿真虚拟教学中,还较难立刻了解学生的心理状态和需求。而反过来,学生对老师的态度,是恭谨还是傲慢,也无法展现,因此虚拟现实在仿真教学中是比较缺乏心理分析和真实交互的,难以判断对方的心态,这样也会导致教学的努力程度和反馈得不到及时的响应,因此需要在仿真教学中加入更多心理情绪等的互动信息。因为真实表情被计算机获取后,会进行一次转化为机器呈现的表情,因此有可能会导致在转换过程中失真,尤其是表情的变化过程失真,如何让这些互动信息变动更加自然,可信,且反应老师与学生的真实情绪,是一个值得研究的内容。同时,也可以根据学生的情绪状态记录进行反馈,用于老师在备课时了解需要解决的关键点,使老师可进一步提高教学质量。

发明内容

本发明提供了一种基于心理分析的虚拟现实仿真教学方法,主要包括:

构建VR仿真教学的虚拟环境;采集虚拟现实中双方的音频、脑电波等数据进行分析和存储,并进行隐藏情绪识别,所述采集虚拟现实中双方的音频、脑电波等数据进行分析和存储,并进行隐藏情绪识别,具体包括:采集师生双方音频数据,识别对话文本信息,并进一步抽取特殊的音素,根据语音信息和脑波数据判断老师与学生的隐式情绪状态;根据采集到的图像信息,进行老师与学生的脸部情绪状态监控;获取教师情绪状态,生成虚拟表情和虚拟场景,所述获取教师情绪状态,生成虚拟表情和虚拟场景,具体包括:获取教师面部情绪状态的文字特征信息,利用AI图片生成工具生成对应的虚拟表情,在虚拟现实中为教师的虚拟角色加入表情及场景特效,判断场景特效与表情的匹配度;获取学生情绪状态并生成虚拟表情,根据表情稳定性进行表情交互,所述获取学生情绪状态并生成虚拟表情,根据表情稳定性进行表情交互,具体包括:根据学生的情绪状态构建虚拟人物标签,并发送信息进行提示,建立情绪状态回应评分矩阵,实现师生双方表情自适应,避免学生与老师所展示的情绪出现冲突;根据学生情绪曲线,判断学生对老师的尊重程度,对老师教学质量和学生心理进行评价。

进一步可选地,所述构建VR仿真教学的虚拟环境包括:

老师登录VR设备创建课堂房间和VR仿真教学虚拟环境,通过VR设备中的教学中控系统发送邀请链接与房间密码至学生方;学生登录VR设备输入密码进入课堂房间,并通过VR设备进入VR仿真教学虚拟环境;所述VR设备包括VR建模设备、VR声音设备、VR显示设备、脑电波获取设备、教学中控系统、摄像头及传感器;利用摄像头及传感器采集人体数据将双方人物虚拟化,输入至VR视频通话环境;若在T时刻课堂学生数量为0,则判断建立VR仿真教学虚拟环境失败,关闭课堂房间。

进一步可选地,所述采集虚拟现实中双方的音频、脑电波等数据进行分析和存储,并进行隐藏情绪识别包括:

利用VR建模设备、VR声音设备与传感器收集音频、脑电波数据;隐藏情绪识别包括情绪文本匹配、情绪脑波匹配与情绪状态匹配;首先基于VR声音设备与传感器收集音频,抽取特殊的音素并识别对话文本信息;然后识别对话文本信息中包含的情绪状态,并根据音频数据提取得到的对话情感特征信息匹配情绪状态;最后收集脑波数据,匹配情绪进行隐藏情绪识别;包括:采集师生双方音频数据,识别对话文本信息,并进一步抽取特殊的音素;根据语音信息和脑波数据判断老师与学生的隐式情绪状态;

所述采集师生双方音频数据,识别对话文本信息,并进一步抽取特殊的音素,具体包括:

利用传感器实时采集现实世界中师生双方的语音信息;对所述语音信息进行滤波、预加重、分帧、加窗、端点检测,得到预处理后的音频数据;对所述音频数据进行内容特征提取,得到音频数据的特征向量;基于隐马尔可夫模型对所述特征向量进行声学模型训练,得到音素信息;首先,从所得音素信息中抽取特殊的音素;获取带有情感类发音的词语,对所述词语抽取音素,如果音素的发音带有情感起伏,则判断该音素为特殊音素,可以用于进一步作为情感词语的特征;然后,基于提取的情感词语的特征识别对话文本信息;将所述情感词语的特征输入N-gram模型,并中文语料库进行语言模型训练,得到单个字或词相互关联的概率;创建字典,通过声学模型与语音模型对特征信息进行解码,得到对话文本信息。

所述根据语音信息和脑波数据判断老师与学生的隐式情绪状态,具体包括:

采集情感对话文本样本集,分成训练集和测试集并进行特征提取,包括音素特征、音质特征、基音特征和发声持续时间;输入情绪对应的语音特征提取后的样本集,训练SVM模型;对采集虚拟现实中双方的音频数据提取得到对话情感特征信息;输入所述对话情感特征信息到训练好的SVM模型,输出情绪状态的匹配分数,记为课堂成员的情绪状态。对采集虚拟现实中双方的音频数据并进行语音识别所得到的对话文本信息,分别与10种情绪文本库进行相似度比较,将相似度最大值对应的情绪作为所述对话文本信息包含的情绪,所述相似度最大值作为情绪文本匹配分数;基于相关性和相位同步性构建二值脑功能网络;选取10种情绪下的神经影像生成情绪脑波波动数据库,进行预处理后识别不同情绪下脑波特征匹配单元构建多情绪脑波特征模板。基于VR头戴设备监测脑波,并与脑波特征模板进行匹配,将与各情绪的匹配概率作为情绪脑波匹配分数。进行情绪文本匹配分数、情绪脑波匹配分数与情绪状态匹配分数进行归一化处理。设置权重w,按照情绪文本匹配分数、情绪脑波匹配分数与情绪状态匹配分数计算概率最高的隐藏情绪状态。

进一步可选地,所述根据采集到的图像信息,进行老师与学生的脸部情绪状态监控包括:

采集10种情绪状态的人脸图像数据,所述10种情绪状态包括喜悦、困惑、尊敬、害怕、悲伤、激动、平静、疲倦、严肃、专注;对所述人脸图像进行预处理,提取人脸表情特征向量,形成训练集与测试集;搭建卷积神经网络模型,输入训练集与测试集,获得训练好的CNN参数;实时获取虚拟现实交互过程中的教师与对应学生的人脸图像并进行预处理,提取人脸表情特征向量;将所述特征向量输入预训练好的卷积神经网络模型,得到师生双方的面部情绪状态;输出{账号名,面部情绪状态,时间}。

进一步可选地,所述获取教师情绪状态,生成虚拟表情和虚拟场景包括:

首先根据教师的面部情绪状态利用AI图片生成工具生成对应的虚拟表情;然后采集教师脸部图像中各部位的特征信息,包括左眼、右眼、鼻子、左耳、右耳、嘴巴、眉毛等器官位置和脸颊、头发、下巴等其他区域;根据所述特征信息将表情元素及表情特效添加到教师虚拟人物脸部对应的部位上,其中表情元素包括不同情绪对应的各部位的状态;最后根据教师隐式情绪状态选择场景特效并呈现在虚拟现实中;包括:获取教师面部情绪状态的文字特征信息,利用AI图片生成工具生成对应的虚拟表情;在虚拟现实中为教师的虚拟角色加入表情及场景特效,判断场景特效与表情的匹配度;

所述获取教师面部情绪状态的文字特征信息,利用AI图片生成工具生成对应的虚拟表情,具体包括:

虚拟角色的表情包括表情元素及表情特效,所述表情元素对应于人脸部的不同器官区域;所述表情特效为辅助所述表情元素描述情绪状态的动画;采集教师面部情绪状态的文字特征信息;将所述文字特征信息输入至AI图片生成工具,得到对应的表情。

所述在虚拟现实中为教师的虚拟角色加入表情及场景特效,判断场景特效与表情的匹配度,具体包括:

分别根据教师脸部特征信息和隐式情绪状态为教师的虚拟角色加入表情及场景特效。采集教师脸部各部位的特征信息;根据所述特征信息将表情元素及表情特效添加到教师脸部对应部位上;所述场景特效包括背景动画及音乐;获取教师隐式情绪状态,并根据教师隐式情绪状态选择场景特效并呈现在虚拟现实中。

进一步可选地,所述获取学生情绪状态并生成虚拟表情,根据表情稳定性进行表情交互包括:

基于人脸识别判断学生的面部情绪状态;根据所述学生的面部情绪状态添加合适的虚拟角色表情;通过专家问卷调查方式建立10种情绪状态的回应评分矩阵,其中回应评分矩阵的行为教师隐藏情绪状态,列为学生的面部情绪状态;根据所述情绪状态回应评分矩阵确定学生的隐式情绪状态;根据所述学生的隐式情绪状态自动添加场景特效;包括:根据学生的情绪状态构建虚拟人物标签,并发送信息进行提示;建立情绪状态回应评分矩阵,实现师生双方表情自适应,避免学生与老师所展示的情绪出现冲突;

所述根据学生的情绪状态构建虚拟人物标签,并发送信息进行提示,具体包括:

基于人脸识别和情绪分析判断学生的面部情绪状态;根据所述学生的面部情绪状态在虚拟现实中为虚拟任务构建表情;识别情绪是否为负面情绪,当判断为负面情绪时向学生VR设备发送提醒信息;负面情绪包括不利于正常课程的情绪:困惑、害怕、悲伤、疲倦;正面情绪包括:喜悦、尊敬、激动、专注;设置提醒阈值T,若学生在T时间内情绪没有恢复为正常情绪,添加特效提醒课程房间中的教师进行处理,但可在课后处理。

所述建立情绪状态回应评分矩阵,实现师生双方表情自适应,避免学生与老师所展示的情绪出现冲突,具体包括:

建立10维情绪状态回应评分矩阵,行列分别为师生双方的10种不同情绪状态,评分矩阵中的值为所在行列对应情绪状态的评分;确定教师的隐式情绪状态与学生面部情绪状态时,查找所述情绪状态回应矩阵对应值,如果为所在行最小值,选择所在行最大元素值所在列对应情绪状态为学生的隐式情绪状态;根据所述学生的隐式情绪状态选择场景特效并在虚拟现实中添加。

进一步可选地,所述根据学生情绪曲线,判断学生对老师的尊重程度,对老师教学质量和学生心理进行评价包括:

通过专家问卷访谈确定各情绪对课堂状态的评分,区分为正面情绪、负面情绪、一般情绪,赋予-10至10的评分;基于课堂获取的学生情绪,生成10维情绪状态曲线;按照时间T划分时间段,统计时间段内各学生负面情绪与正面情绪状态曲线出现交点次数n,设定阈值N,当n超过N时将该时间段标识,作为学生心理疑似出现波动的标记,作为老师发现问题的参考;获取课程学生的各情绪的持续时间,按照情绪评分通过评分*持续时间计算学生对老师的尊重得分。

本发明实施例提供的技术方案可以包括以下有益效果:

相比现有技术,本发明通过VR设备为需要进行线上教学的学生与老师提供虚拟空间中的仿真教学环境,将人脸识别与对话文本识别相结合进行情感识别,更精准地判断出虚拟现实中倾诉者的表面情绪状态与隐藏情绪状态,AI生成最佳的表情;通过对老师和学生情绪状态的识别进行表情交互,并预测老师的回应情绪在虚拟现实中呈现场景特效,促进在线上教学过程中师生的互动与交流,并用于反馈课堂质量给予老师改进的参考依据。

附图说明

图1为本发明的一种基于心理分析的虚拟现实仿真教学方法的流程图。

图2为本发明的一种基于心理分析的虚拟现实仿真教学方法的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。

本实施例一种基于心理分析的虚拟现实仿真教学方法具体可以包括:

步骤101,构建VR仿真教学的虚拟环境。

老师登录VR设备创建课堂房间和VR仿真教学虚拟环境,通过VR设备中的教学中控系统发送邀请链接与房间密码至学生方。学生登录VR设备输入密码进入课堂房间,并通过VR设备进入VR仿真教学虚拟环境;所述VR设备包括VR建模设备、VR声音设备、VR显示设备、脑电波获取设备、教学中控系统、摄像头及传感器;利用摄像头及传感器采集人体数据将双方人物虚拟化,输入至VR视频通话环境;若在T时刻课堂学生数量为0,则判断建立VR仿真教学虚拟环境失败,关闭课堂房间。VR仿真教学虚拟环境可能会出现误闯房间的情况导致学生进来了又退出,因此可设置阈值T,当到达T时刻后学生数量仍然为0便取消房间,避免浪费资源。通过摄像头及传感器实时采集人体轮廓、动作、图像等数据,构造一个虚拟人物,使得师生双方可以身临其境地在虚拟现实中进行交互,并通过情绪时间生成虚拟人物情绪,极大地增强了双方体验感。

步骤102,采集虚拟现实中双方的音频、脑电波等数据进行分析和存储,并进行隐藏情绪识别。

利用VR建模设备、VR声音设备与传感器收集音频、脑电波数据;隐藏情绪识别包括情绪文本匹配、情绪脑波匹配与情绪状态匹配;首先基于VR声音设备与传感器收集音频,抽取特殊的音素并识别对话文本信息。然后识别对话文本信息中包含的情绪状态,并根据音频数据提取得到的对话情感特征信息匹配情绪状态;最后收集脑波数据,匹配情绪进行隐藏情绪识别。

采集师生双方音频数据,识别对话文本信息,并进一步抽取特殊的音素。

利用传感器实时采集现实世界中师生双方的语音信息;对所述语音信息进行滤波、预加重、分帧、加窗、端点检测,得到预处理后的音频数据;对所述音频数据进行内容特征提取,得到音频数据的特征向量;基于隐马尔可夫模型对所述特征向量进行声学模型训练,得到音素信息;首先,从所得音素信息中抽取特殊的音素;获取带有情感类发音的词语,对所述词语抽取音素,如果音素的发音带有情感起伏,则判断该音素为特殊音素,可以用于进一步作为情感词语的特征;然后,基于提取的情感词语的特征识别对话文本信息;将所述情感词语的特征输入N-gram模型,并中文语料库进行语言模型训练,得到单个字或词相互关联的概率;创建字典,通过声学模型与语音模型对特征信息进行解码,得到对话文本信息。所述语音信息是师生交互过程中通过VR设备采集的数据。例如,用户A与用户B在虚拟现实中进行交互,语音信息即包括A和B所说的内容、音调、音量、音素等信息形成的信息。其中,音素是一种由于其发音的轻重,本身就能附带一定情绪表达的单位。因此对特殊音素的判断有利于,对情感词语的获取,可以在语音识别的同时,获得更多附带的情绪特征。同时,对实时采集的语音信息进行语音识别有利于对文本之间相关性的分析。N-gram语言模型通常采用Bi-gram(N=2)和Tri-gram(N=3),Bi-gram概率计算公式为p(S)=p(w1w2…wn)=p(w1)p(w2∣w1)…p(wn∣wn-1),Tri-gram概率计算公式为p(S)=p(w1w2…wn)=p(w1)p(w2∣w1

)…p(wn∣wn-1wn-2);N-gram语言模型可以通过输入的词语向量输出这些词语可能想表达的意思,例如,若输入“小明”,“牛奶”,“桌上”,“打翻”,“了”,“的”则通过N-gram语言模型可以输出“小明打翻了桌上的牛奶”。中文语料库可以采用中国科学院计算技术研究所的汉语语料库等。

根据语音信息和脑波数据判断老师与学生的隐式情绪状态。

采集情感对话文本样本集,分成训练集和测试集并进行特征提取,包括音素特征、音质特征、基音特征和发声持续时间;输入情绪对应的语音特征提取后的样本集,训练SVM模型;对采集虚拟现实中双方的音频数据提取得到对话情感特征信息;输入所述对话情感特征信息到训练好的SVM模型,输出情绪状态的匹配分数,记为课堂成员的情绪状态。对采集虚拟现实中双方的音频数据并进行语音识别所得到的对话文本信息,分别与10种情绪文本库进行相似度比较,将相似度最大值对应的情绪作为所述对话文本信息包含的情绪,所述相似度最大值作为情绪文本匹配分数;基于相关性和相位同步性构建二值脑功能网络;选取10种情绪下的神经影像生成情绪脑波波动数据库,进行预处理后识别不同情绪下脑波特征匹配单元构建多情绪脑波特征模板。基于VR头戴设备监测脑波,并与脑波特征模板进行匹配,将与各情绪的匹配概率作为情绪脑波匹配分数。进行情绪文本匹配分数、情绪脑波匹配分数与情绪状态匹配分数进行归一化处理。设置权重w,按照情绪文本匹配分数、情绪脑波匹配分数与情绪状态匹配分数计算概率最高的隐藏情绪状态。所述10种情绪状态包括喜悦、困惑、尊敬、害怕、悲伤、激动、平静、疲倦、严肃、专注。SVM模型是一种分类模型,利用SVM模型能够识别对话情感特征信息中包含的情绪状态。识别过程如下,首先计算对话情感特征信息为喜悦状态的概率然后计算对话情感特征信息为困惑的概率,将概率大的情绪状态匹配分数标记为1,概率小的情绪状态匹配分数标记为0,然后继续计算对话情感特征信息为尊敬状态的概率并与当前匹配分数为1的情绪状态对应的概率值比较,重新标记情绪状态匹配分数:概率大的为1,概率小的为2。依次计算10种情绪状态,最后输出的情绪状态的概率是最大的,其匹配分数为1。所述对话文本样本集可通过采集大量元宇宙中双方的对话文本数据或者已有数据集(如MELD数据集),本发明对采集方式不做限定。根据人脸识别所判断的倾诉者面部情绪状态为倾诉者表面上的情绪状态,而隐藏的真实情绪状态,即倾诉者的隐式情绪状态,更需要被对方察觉到,而这需要进一步根据对话文本信息去判断。因为情绪文本匹配分数、情绪脑波匹配分数与情绪状态匹配分数的量纲不同,为避免量纲影响应先进行归一化。权重w可以经过多次测试、不断调整获得。课堂中主要为教师发言,学生仅在回答与提问时会存在文本,隐藏情绪状态主要识别教师方。

步骤103,根据采集到的图像信息,进行老师与学生的脸部情绪状态监控。

采集10种情绪状态的人脸图像数据,所述10种情绪状态包括喜悦、困惑、尊敬、害怕、悲伤、激动、平静、疲倦、严肃、专注;对所述人脸图像进行预处理,提取人脸表情特征向量,形成训练集与测试集;搭建卷积神经网络模型,输入训练集与测试集,获得训练好的CNN参数;实时获取虚拟现实交互过程中的教师与对应学生的人脸图像并进行预处理,提取人脸表情特征向量;将所述特征向量输入预训练好的卷积神经网络模型,得到师生双方的面部情绪状态;输出{账号名,面部情绪状态,时间}。例如:识别出教师李四在14:20的情绪为“专注”,则输出{李四,专注,14:20}。基于人脸识别所判断出的倾诉者的情绪状态为课堂成员表面的情绪状态,因此记为面部情绪状态。

步骤104,获取教师情绪状态,生成虚拟表情和虚拟场景。

首先根据教师的面部情绪状态利用AI图片生成工具生成对应的虚拟表情;然后采集教师脸部图像中各部位的特征信息,包括左眼、右眼、鼻子、左耳、右耳、嘴巴、眉毛等器官位置和脸颊、头发、下巴等其他区域;根据所述特征信息将表情元素及表情特效添加到教师虚拟人物脸部对应的部位上,其中表情元素包括不同情绪对应的各部位的状态;最后根据教师隐式情绪状态选择场景特效并呈现在虚拟现实中。

获取教师面部情绪状态的文字特征信息,利用AI图片生成工具生成对应的虚拟表情。

虚拟角色的表情包括表情元素及表情特效,所述表情元素对应于人脸部的不同器官区域;所述表情特效为辅助所述表情元素描述情绪状态的动画;采集教师面部情绪状态的文字特征信息;将所述文字特征信息输入至AI图片生成工具,得到对应的表情。例如,基于人脸识别判断出倾诉者的情绪状态为“严肃”,采集到“严肃”的文字特征信息为:严肃、特效、人脸等,利用AI图片生成工具生成“严肃”对应的表情;其中表情元素包括严肃时对应的眼睛、眉毛、龇牙、咧嘴等;表情特效严肃气泡、嘴巴紧抿等。AI图片生成工具包括DALLE2、midjourney等。根据教师表面上的情绪状态添加教师可以使得倾诉者的表情更加形象,更容易被学生所察觉,了解到当前是在传授重点知识点。

在虚拟现实中为教师的虚拟角色加入表情及场景特效,判断场景特效与表情的匹配度。

分别根据教师脸部特征信息和隐式情绪状态为教师的虚拟角色加入表情及场景特效。采集教师脸部各部位的特征信息;根据所述特征信息将表情元素及表情特效添加到教师脸部对应部位上;所述场景特效包括背景动画及音乐;获取教师隐式情绪状态,并根据教师隐式情绪状态选择场景特效并呈现在虚拟现实中。所述采集教师脸部各部位的特征信息是在实时采集教师人脸图像的基础上进行的,各部位包括左眼、右眼、鼻子、左耳、右耳、嘴巴、眉毛等器官位置和脸颊、头发、下巴等其他区域。例如,确定教师的面部情绪状态为“兴奋”,需要先采集人脸图像,对各部位的图像提取特征信息,根据情绪特征信息匹配的表情元素及表情特效进行比较,将它们添加到对应部位上,如“欢笑”表情元素添加到嘴上等;而教师的隐式情绪状态可能是“悲伤”,通过VR设备自动生成一些场景特效,比如刮风下雪、伤感音乐等。

步骤105,获取学生情绪状态并生成虚拟表情,根据表情稳定性进行表情交互。

基于人脸识别判断学生的面部情绪状态;根据所述学生的面部情绪状态添加合适的虚拟角色表情;通过专家问卷调查方式建立10种情绪状态的回应评分矩阵,其中回应评分矩阵的行为教师隐藏情绪状态,列为学生的面部情绪状态;根据所述情绪状态回应评分矩阵确定学生的隐式情绪状态;根据所述学生的隐式情绪状态自动添加场景特效。在课堂教学中,不仅学生需要获取教师的表情动作增强课堂沉浸性,教师也需要获得学生的回应反馈提升教学动力与需注意的问题,所以可适当对学生的表情变化进行微处理,如在课堂平静时反馈为对教师尊敬的表情。构建情绪状态回应评分矩阵,可避免课堂双方互动表情不对应的情况,通过添加表情特效等方式修饰学生的表情,给予教师在课堂中的正反馈;但该步骤并非呈现虚假的表情,而是基于面部情绪状态、隐式情绪状态构建基础表情,但需在恰当时机加入特效进行表情的修饰。

根据学生的情绪状态构建虚拟人物标签,并发送信息进行提示。

基于人脸识别和情绪分析判断学生的面部情绪状态;根据所述学生的面部情绪状态在虚拟现实中为虚拟任务构建表情;识别情绪是否为负面情绪,当判断为负面情绪时向学生VR设备发送提醒信息;负面情绪包括不利于正常课程的情绪:困惑、害怕、悲伤、疲倦;正面情绪包括:喜悦、尊敬、激动、专注;设置提醒阈值T,若学生在T时间内情绪没有恢复为正常情绪,添加特效提醒课程房间中的教师进行处理,但可在课后处理。基于人脸识别判断学生的面部情绪状态具体方法与倾诉者的面部情绪状态判断方法相同,即通过训练卷积神经网络来判断;根据学生的面部情绪状态选择表情并在虚拟现实中为虚拟角色加入表情,具体方法与学生的表情加入方法类似:采集学生脸部各部位的特征信息;根据特征信息将表情元素及表情特效添加到学生脸部对应部位上。为学生也添加表情,可达到与教师在虚拟现实中进行课堂表情交互的目的。当出现负面情绪时,若学生在阈值时间内没有恢复,需要老师进行引导,但老师可选择课后处理。设置阈值T的目的是提醒教师学生不在状态,便于教师把握教学节奏提高师生互动效果和教学效果。

建立情绪状态回应评分矩阵,实现师生双方表情自适应,避免学生与老师所展示的情绪出现冲突。

建立10维情绪状态回应评分矩阵,行列分别为师生双方的10种不同情绪状态,评分矩阵中的值为所在行列对应情绪状态的评分;确定教师的隐式情绪状态与学生面部情绪状态时,查找所述情绪状态回应矩阵对应值,如果为所在行最小值,选择所在行最大元素值所在列对应情绪状态为学生的隐式情绪状态;根据所述学生的隐式情绪状态选择场景特效并在虚拟现实中添加。所述情绪状态回应评分矩阵,每个元素的评分值可以通过专家问卷调查等方式统计计算。教师在正常上课时,学生的表情回应不一定是最适合的;例如,教师在虚拟现实的隐藏情绪状态即隐式情绪状态为“激动”,而学生此时的面部情绪状态是“困倦”而非“专注”或“尊敬”,会影响教师的上课热情,这便是需要避免的情绪冲突;为提高虚拟课堂中师生的交互体验感,为学生选择一个评分最高的情绪状态,例如“专注”,在虚拟现实中通过VR设备自动生成一个认真听课的表情形象去回应老师,可通过激励老师带动上课质量。

步骤106,根据学生情绪曲线,判断学生对老师的尊重程度,对老师教学质量和学生心理进行评价。

通过专家问卷访谈确定各情绪对课堂状态的评分,区分为正面情绪、负面情绪、一般情绪,赋予-10至10的评分;基于课堂获取的学生情绪,生成10维情绪状态曲线;按照时间T划分时间段,统计时间段内各学生负面情绪与正面情绪状态曲线出现交点次数n,设定阈值N,当n超过N时将该时间段标识,作为学生心理疑似出现波动的标记,作为老师发现问题的参考;获取课程学生的各情绪的持续时间,按照情绪评分通过评分*持续时间计算学生对老师的尊重得分。例如:负面情绪包括困惑、害怕、悲伤、疲倦,正面情绪包括喜悦、尊敬、激动、专注,一般情绪包括平静、严肃。正面情绪得分为正,负面情绪得分为负,一般情绪得分为0。若时间段内正面情绪出现较多,则该时间段教师讲课情况较好,可作为后续优化的参考;若时间段内负面情绪较多,则代表可能存在讲解不清楚、课堂枯燥等问题,需要教师在后续课程针对该时间段内讲解的知识点与讲课情况进行优化。

以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

技术分类

06120115630102