一种基于VR交互技术的听觉刺激儿童自闭症的训练方法

技术领域

本发明涉及VR技术领域，具体来说，涉及一种基于VR交互技术的听觉刺激儿童自闭症的训练方法。

背景技术

自闭症属于先天性神经系统失调导致的发育障碍，以严重的、广泛的社会相互影响和沟通技能的损害以及刻板的行为、兴趣和活动为特征，自闭症儿童常表现为社会交流障碍，语言障碍突出，行为刻板，智力异常，感觉异常；容易伴随其他常见行为，如多动，注意力分散，发脾气，攻击，自伤等。

虚拟现实技术（VR）是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象。

目前，将虚拟现实技术应用于儿童自闭症的研究与干预是近些年来医学心理学研究领域的一个重点方向。采用虚拟现实技术训练一些自闭症儿童的优势与应用前景主要有以下几点：为患者营造安全的教育环境；为使用者解决干预训练中的多来源感知的障碍；根据自闭症儿童所特有的思维特点来拟定有效的信息呈现方式；促进患者习得技能的迁移；增进患者的认知灵活性；提高患者的心理理论能力等。

然而，现有的基于虚拟现实技术训练自闭症的方法未考虑不同自闭症儿童个体的差异，在训练方法中并未具体涉及个体化的评估，此外，对于一些自闭症儿童而言，可能由于单独面对虚拟场景中陌生的场景或人物时容易产生害羞、抵触的心理从而影响其训练效果。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，包括以下步骤：

S1、获取自闭症儿童的档案信息；

S2、采用预设方法构建VR游戏模型；

S3、输入所述档案信息，得到对应VR游戏及音频乐曲；

S4、所述自闭症儿童及其家属同时佩戴VR眼镜和耳机；

S5、通过预设原则实现所述自闭症儿童及其家属的交互；

S6、利用预设检测设备对自闭症儿童的生命特征进行检测；

S7、根据所述生命特征数据判断所述自闭症儿童的训练效果。

进一步的，所述S1中的档案信息包括所述自闭症儿童的家庭信息、基本信息、病况信息、需求信息和评估报告，其中，所述评估报告中包含所述自闭症儿童对不同VR图像颜色、形状、物体运动速度及空间大小因素的感知度，所述评估报告中还包含所述自闭症儿童对不同声音的声调、声色、频率及音量大小的感知度。

进一步的，所述S2采用预设方法构建VR游戏模型具体包括以下步骤：

S21、依据过往自闭症儿童的档案信息和训练数据通过机器学习算法进行训练，得到VR游戏模型；

S22、将测试档案信息输入所述VR游戏模型得到相应的VR游戏；

S23、通过训练人员对输出所述VR游戏的结果给予奖励和惩罚，并将所述奖励和惩罚结果反馈给所述VR游戏模型；

S24、所述VR游戏模型通过奖惩机制重新做出调整，循环直至所述VR游戏模型达到最优。

进一步的，所述S21依据过往自闭症儿童的档案信息和训练数据通过机器学习算法进行训练，得到VR游戏模型还包括以下步骤：

S211、卷积过程：采用一个可训练的滤波器f

S212、子采样过程：对每个相邻域内四个数据求和得到一个总数据，然后通过标量W加 权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射数据 S

其中，x、y为数据外接矩形的左上角坐标，i，j表示层数。

进一步的，所述S3输入所述档案信息，得到对应VR游戏及音频乐曲具体包括以下步骤：将所述自闭症儿童的档案信息输入所述VR游戏模型，得到适合所述自闭症儿童的VR游戏，同时根据所述自闭症儿童的档案信息获取对应的音频乐曲。

进一步的，所述S5通过预设原则实现所述自闭症儿童及其家属的交互具体包括以下步骤：

S51、获取所述自闭症儿童通过所述VR眼镜及耳机与所述VR游戏的交互数据；

S52、依据所述交互数据得到交互结果，所述自闭症儿童通过所述VR眼镜及耳机的反馈信息接收所述交互结果；

S53、所述家属的所述VR眼镜及耳机获取所述自闭症儿童与所述VR游戏的交互过程信息。

进一步的，所述S51中的所述VR游戏包括所述家属的虚拟化身，且所述虚拟化身与所述家属的语言、表情及动作实时同步。

进一步的，所述虚拟化身与所述家属的语言、表情及动作实时同步包括以下实现步骤：

获取所述家属的语言、表情及动作信息，其中，所述语言信息采用所述耳机进行实时同步；

对所述家属表情及动作信息进行特征提取，分别得到表情及动作特征；

采用预先训练的分类器依据所述表情及动作特征进行表情及动作分类，得到分类结果；

将所述分类结果分别与预设表情及动作数据库进行比对测试，得出相应的表情及动作识别结果；

根据所述表情及动作识别结果驱动所述虚拟化身实现语言、表情及动作的实时同步。

进一步的，所述S6中的生命特征包括所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据。

进一步的，所述S7根据所述生命特征数据判断所述自闭症儿童的训练效果具体包括以下步骤：

S71、分析所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据所呈现的数据变化特征，三类数据每m秒采集一次，n分钟内可记录n/m个数据特征，并作为判断所述自闭症儿童对所述VR游戏的感知关注度的基础数据；

S72、根据所述基础数据进行心率及眨眼均值分析，心率及眨眼变化率分析，手臂活动量大小及变化率分析；

S73、对每个所述自闭症儿童的生命特征数据进行每月，每季度和每半年的统计比较分析，判别出其对所述VR游戏的感知关注度的大小及变化情况，以此判断该训练过程的效果。

本发明的有益效果为：

1）、通过依据过往自闭症儿童的档案信息和训练数据利用机器学习算法进行训练并构建VR游戏模型，使得本发明可以依据自闭症儿童对某类颜色及图形等因素的感知度来设计适合该自闭症儿童的VR游戏及音频乐曲，充分的考虑了不同自闭症儿童的个体差异，从而使得其可以达到更好的训练效果。

2）、通过预先构建的VR游戏模型来输出适合不同自闭症儿童的对应VR游戏，使得本发明只需输入自闭症儿童的档案信息便可得到与之对应的VR游戏，无需单独设计适合自闭症儿童的VR游戏，从而可以及时的采用虚拟技术来实现自闭症儿童的训练。

3）、通过家属陪同自闭症儿童进入虚拟场景进行VR游戏，使得自闭症儿童可以在VR游戏中实时与陪同家属进行互动，可以有效地消除自闭症儿童单独面对陌生场景或人物的陌生感及不安全感，避免了自闭症儿童害羞、抵触心理的产生，从而有效地提高了其训练效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了一种基于VR交互技术的听觉刺激儿童自闭症的训练方法。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于VR交互技术的听觉刺激儿童自闭症的训练方法，包括以下步骤：

S1、获取自闭症儿童的档案信息；

其中，所述S1中的档案信息包括所述自闭症儿童的家庭信息、基本信息、病况信息、需求信息和评估报告，其中，所述评估报告中包含所述自闭症儿童对不同VR图像颜色、形状、物体运动速度及空间大小因素的感知度，所述评估报告中还包含所述自闭症儿童对不同声音的声调、声色、频率及音量大小的感知度。

S2、采用预设方法构建VR游戏模型；

其中，所述S2具体包括以下步骤：

S21、依据过往自闭症儿童的档案信息和训练数据通过机器学习算法进行训练，得到VR游戏模型；

具体的，所述S21还包括以下步骤：

S211、卷积过程：采用一个可训练的滤波器f

S212、子采样过程：对每个相邻域内四个数据求和得到一个总数据，然后通过标量W加 权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射数据 S

其中，x、y为数据外接矩形的左上角坐标，i，j表示层数。

S22、将测试档案信息输入所述VR游戏模型得到相应的VR游戏；

S23、通过训练人员对输出所述VR游戏的结果给予奖励和惩罚，并将所述奖励和惩罚结果反馈给所述VR游戏模型；

S24、所述VR游戏模型通过奖惩机制重新做出调整，循环直至所述VR游戏模型达到最优。

S3、输入所述档案信息，得到对应VR游戏及音频乐曲；

其中，其中，所述S3具体包括以下步骤：将所述自闭症儿童的档案信息输入所述VR游戏模型，得到适合所述自闭症儿童的VR游戏，同时根据所述自闭症儿童的档案信息获取对应的音频乐曲。

S4、所述自闭症儿童及其家属同时佩戴VR眼镜和耳机；

S5、通过预设原则实现所述自闭症儿童及其家属的交互；

其中，所述S5具体包括以下步骤：

S51、获取所述自闭症儿童通过所述VR眼镜及耳机与所述VR游戏的交互数据；具体的，所述S51中的所述VR游戏包括所述家属的虚拟化身，且所述虚拟化身与所述家属的语言、表情及动作实时同步。

此外，所述虚拟化身与所述家属的语言、表情及动作实时同步包括以下实现步骤：

获取所述家属的语言、表情及动作信息，其中，所述语言信息采用所述耳机进行实时同步；具体应用时，本实施例中的VR眼镜上搭载有用于采集动作及面部表情图像的跟踪设备，其可以具体为虚拟现实眼镜平台中搭载的一个或多个小型的高清摄像机，以捕捉佩戴者的动作及面部表情图像，并将所捕捉的动作及面部表情图像传输至服务器端进行存储。

对所述家属表情及动作信息进行特征提取，分别得到表情及动作特征；

采用预先训练的分类器依据所述表情及动作特征进行表情及动作分类，得到分类结果；

将所述分类结果分别与预设表情及动作数据库进行比对测试，得出相应的表情及动作识别结果；

根据所述表情及动作识别结果驱动所述虚拟化身实现语言、表情及动作的实时同步。

此外，本实施例在构建家属的虚拟化身时，可以通过人脸识别技术对家属的人脸进行虚拟重构，以使虚拟化身可以模拟家属的表情，实现虚拟化身和真人表情同步，与自闭症儿童语音交流等。具体地，可以通过对家属的表情进行捕捉，以高度还原家属的面部特征，完成虚拟化身的构建，并可以在Unity3D开发引擎中利用重定向技术完成人脸骨骼的绑定。

S52、依据所述交互数据得到交互结果，所述自闭症儿童通过所述VR眼镜及耳机的反馈信息接收所述交互结果；具体应用时，本实施中通过服务器端接收自闭症儿童所佩戴的VR眼镜所采集的交互数据，该交互数据例如可以是自闭症儿童的动作指令或者是手势信息。服务器端对交互数据进行识别、处理，得到虚拟信息反馈，并将这些虚拟信息返回给自闭症儿童所配到的VR眼镜，通过VR眼镜进行显示，使得自闭症儿童的动作与虚拟场景的操作达到协调一致。

S53、所述家属的所述VR眼镜及耳机获取所述自闭症儿童与所述VR游戏的交互过程信息。

S6、利用预设检测设备对自闭症儿童的生命特征进行检测；

其中，所述S6中的生命特征包括所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据。本实施例中通过微机电系统传感器来采集和储存自闭症儿童的心率数据和手臂活动量数据。

S7、根据所述生命特征数据判断所述自闭症儿童的训练效果。

其中，所述S7具体包括以下步骤：

S71、分析所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据所呈现的数据变化特征，三类数据每m秒采集一次，n分钟内可记录n/m个数据特征，并作为判断所述自闭症儿童对所述VR游戏的感知关注度的基础数据；

S72、根据所述基础数据进行心率及眨眼均值分析，心率及眨眼变化率分析，手臂活动量大小及变化率分析；本实施例中，根据所采集的三类数据所呈现的变化情况，每类数据选取2个数据统计特征，即均值、方差。均值可以体现出自闭症儿童在一个训练过程中的感知关注度，均值越大，代表其关注度越投入；反之，则身心感知关注度越低。方差体现自闭症儿童在一个训练过程中对视听内容的感知活跃性，方差小，代表其对视听内容不感兴趣，感知思维不活跃；方差越大，代表其对视听内容有较大兴趣，感知思维越活跃。

S73、对每个所述自闭症儿童的生命特征数据进行每月，每季度和每半年的统计比较分析，判别出其对所述VR游戏的感知关注度的大小及变化情况，以此判断该训练过程的效果。

综上所述，借助于本发明的上述技术方案，通过依据过往自闭症儿童的档案信息和训练数据利用机器学习算法进行训练并构建VR游戏模型，使得本发明可以依据自闭症儿童对某类颜色及图形等因素的感知度来设计适合该自闭症儿童的VR游戏及音频乐曲，充分的考虑了不同自闭症儿童的个体差异，从而使得其可以达到更好的训练效果。

此外，通过预先构建的VR游戏模型来输出适合不同自闭症儿童的对应VR游戏，使得本发明只需输入自闭症儿童的档案信息便可得到与之对应的VR游戏，无需单独设计适合自闭症儿童的VR游戏，从而可以及时的采用虚拟技术来实现自闭症儿童的训练。

此外，通过家属陪同自闭症儿童进入虚拟场景进行VR游戏，使得自闭症儿童可以在VR游戏中实时与陪同家属进行互动，可以有效地消除自闭症儿童单独面对陌生场景或人物的陌生感及不安全感，避免了自闭症儿童害羞、抵触心理的产生，从而有效地提高了其训练效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。