一种基于加速度的有障碍人群个性化虚拟现实插黑方法

技术领域

本专利涉及显示控制技术领域，尤其是一种基于加速度的有障碍人群个性化虚拟现实插黑方法。

背景技术

目前虚拟现实设备能应用于各行各业，这也就意味着虚拟现实设备应用人群更加广泛。使用者可以利用眼睛、四肢、嘴巴等对现有的虚拟现实设备进行控制，虚拟现实设备按指令完成目标任务。以上多种指令的下达方式使残障人士使用虚拟现实设备成为了可能。由于虚拟现实设备画面的帧率是一定的，目前常用插黑法来提高画面的流畅度和清晰度。现有的插黑技术在每两帧视频之间插入一帧全黑的画面，不仅能提高虚拟显示设备1倍帧率，而且由于人眼的视觉暂留现象，插黑后的虚拟现实显示设备一定程度上解决了画面拖影问题，提高画面的流畅度。然而，现有的虚拟现实插黑技术对残障人士并不友好。对于视弱人群，每秒可捕捉的画面信息很少，过于密集的画面可能造成弱视人群不适，这类人群可能需要的插黑显示时长相对更长一些；对于肢体残疾的人群，画面播放速度无法自己掌控，这类人的行动能力很差，轻微的加速度可能包含着强烈改变画面体验的要求；对于失聪人群，注意力主要集中在画面上，在对画面的流畅度上要求更高，这类人可能需要的插黑显示时长相对稍微短一些。

现有的虚拟现实插黑技术中，申请号为202111473884.9的专利申请中提出在虚拟现实设备中预置加速度和插黑控制参数映射表，在用户使用过程中，当设备加速度发生变化时，会通过查询预置的加速度和插黑控制参数映射表，确定插黑时长。然而该方法存在三个问题：(1)该专利没有介绍加速度的具体识别方法。(2)该专利没有介绍加速度和插黑控制参数映射表的制作方法。(3)没有对用户类型进行详细划分，没有根据用户类型制定详细的插黑策略。如果存在一种虚拟现实插黑技术，一是对设备加速度进行精确识别，二是对不同类型的用户制定不同的插黑数据集，这样就能够给不同类型的残障人群提供不同需求的画面体验，那么残障人士可以在虚拟现实设备中体验更多的快乐。

传统的加速度特征提取方法存在以下问题：(1)直接对加速度序列特征提取会存在不同加速的特征差异性不大的问题；(2)由于环境因素的干扰加速度序列中会存在较多异常点，传统的加速度特征提取无法解决较多异常点的问题；(3)没有学习到加速度各个特征分量的之间的相关性，导致网络识别精度无法提升。

发明内容

为了解决上述问题，本专利提出了一种基于加速度的有障碍人群个性化数据分析的虚拟现实插黑方法，包括基于加速度时域和频域特征的概率神经网络，提取加速度的时域和频域特征作为网络的输入，加速度的时域特征和频域特征共同作用时能够不受异常值的干扰，很好的反应不同加速度之间的差异性，减少异常值对网络精度的影响，提高不同特征的差异性，从而提高网络精度；

然后，使用马氏距离代替欧式距离能够计算加速度各特征分量的相关性；马氏距离由于不会受到数据测量单位的影响不需要对数据进行归一化处理，马氏距离能够计算各特征分量的相关性，本专利在概率神经网络中使用马氏距离代替欧式距离，能够很好的计算出待测样本和训练样本的距离提高网络识别精度，同时无需归一化处理提高网络计算速度；

最后，本专利提出一种分段式数据集更新策略构建63类数据集，在对用户类型进行判定后，根据用户类型以及用户加速度实现对特定用户的个性化插黑显示设置，满足所有类型用户的不同需要。

本发明的一种基于加速度的有障碍人群个性化虚拟现实插黑方法，包括如下步骤：

步骤1，构建基于加速度，以及障碍用户类型的个性化插黑时长数据集；其中加速度按大小分为T种类型，障碍用户有N种类型；

不同类型的障碍用户的插黑数据集表示为{A

其中，

步骤2，获取用户的加速度，计算得到加速度的时域特征和频域特征；

步骤3，构建基于加速度时域和频域特征的概率神经网络，将加速度的时域特征和频域特征输入到概率神经网络，对加速度进行分类。

步骤4，判断障碍用户类型，结合步骤3中得到的加速度分类，通过个性化插黑时长数据集得到用户的个性化插黑时长。

进一步的，障碍用户的分类方法如下：

步骤1.1，对用户听觉、视觉和肢体灵活度进行测评，听觉、视觉和肢体灵活度的测评结果分别包括优秀、良好、中等、及格和不及格；

步骤1.2，将听觉、视觉和肢体灵活度中至少一项测评结果为中等及以下的用户定义为障碍用户，根据程度的不同，将障碍用户分为弱听中等、及格和不及格，弱视中等、及格和不及格，四肢灵活度中等、及格和不及格；

步骤1.3，考虑到同一用户有可能存在听觉、视觉和肢体灵活度中的一种或两种障碍，所以将含有程度的弱听、弱视和四肢不灵活进行两两组合，以及进行三种类型的组合，形成63种类型的障碍用户；

进一步的，步骤2中获取用户的加速度，计算得到加速度的时域特征和频域特征，包括如下步骤：

步骤2.1，利用重力传感器获得获取用户的x、y和z轴的加速度值，本发明中重力传感器的采样频率为200Hz。

步骤2.2，计算加速度的时域特征

使用重力传感器分别获得x、y和z轴的加速度值x

其中，t为采样时间，N为采样频率，J

步骤2.3，选取加速度的频域特征。

使用FFT算法提取虚拟现实设备x、y和z轴加速度频域信号。计算加速度频域信号的中值频率E和平均功率频率特征F，其计算公式如式(5)、(6)所示。

其中，P(f)为加速度的功率频谱密度估计函数。

进一步的，步骤3中，所述概率神经网络是基于马式距离的概率神经网络，包括输入层、隐藏层、求和层和输出层。

进一步的，步骤1中，采用分段式数据集更新策略，构建基于加速度，以及障碍用户类型的个性化插黑时长数据集；

所述分段式数据集更新策略是指，根据每种障碍类型数据集中已获取的用户量U，来确定数据集的更新方式，本申请设置了三个阶段。

(1)对于第n种障碍类型数据集,当1≤U≤U1时，用户进行自定义插黑设置，；

其中，

(2)对于第n种障碍类型数据集,当U1

原第n种障碍类型数据集中包括一名志愿者测试得到的最合适插黑时长矩阵为

则第n种障碍类型用户在加速度τ时的插黑时长数据为：

本申请中U2＝49。

(3)对于第n种障碍类型数据集,当U2

有益效果：基于加速度时域和频域特征的概率神经网络，很好的反应不同加速度之间的差异性，减少异常值对网络精度的影响，提高不同特征的差异性，从而提高网络精度；本专利在概率神经网络中使用马氏距离代替欧式距离，能够很好的计算出待测样本和训练样本的距离提高网络识别精度，同时无需归一化处理提高网络计算速度；

最后，本专利提出一种分段式数据集更新策略构建63类数据集，在对用户类型进行判定后，根据用户类型以及用户加速度实现对特定用户的个性化插黑显示设置，满足所有类型用户的不同需。

附图说明

图1为用户数据获取的流程图；

图2为基于马氏距离的概率神经网络结构图；

具体实施例

本发明基于现有的概率神经网络和时域、频域特征提取等人工智能技术。传统的加速度特征提取方法存在以下问题：(1)直接对加速度序列特征提取会存在不同加速度的特征差异性不大的问题；(2)由于环境因素的干扰加速度序列中会存在较多异常点，传统的加速度特征提取无法解决较多异常点的问题；(3)没有学习到加速度各个特征分量的之间的相关性，导致网络识别精度无法提升。首先，本专利提出一种基于加速度时域和频域特征的概率神经网络，提取加速度的时域和频域特征作为网络的输入，减少异常值对网络精度的影响，提高不同特征的差异性，从而提高网络精度。然后，使用马氏距离代替欧式距离能够计算加速度各特征分量的相关性；最后，本专利提出一种分段式数据集更新策略构建63类数据集，在对用户类型进行判定后，根据用户类型以及用户加速度实现对特定用户的个性化插黑显示设置。

步骤1，构建基于加速度，以及障碍用户类型的个性化插黑时长数据集；其中加速度按大小分为T种类型，障碍用户有N种类型；

不同类型的障碍用户的插黑数据集表示为{A

其中，

具体的障碍用户分类方法如下：

步骤1.1，对用户听觉、视觉和肢体灵活度进行测评

分别对用户的听觉、视觉和肢体灵活度进行测评；听觉、视觉和肢体灵活度的测评结果分别包括优秀、良好、中等、及格和不及格；当测评的分值在[90,100]区间时为优秀、在[80,90)区间时为良好、在[70,80)区间时为中等、在[60,70)区间时为及格、小于60分时为不及格。

步骤1.2，将听觉、视觉和肢体灵活度中至少一项测评结果为中等及以下的用户定义为障碍用户，根据程度的不同障碍用户包括弱听中等、及格和不及格，弱视中等、及格和不及格，四肢灵活度中等、及格和不及格；

步骤1.3，考虑到同一用户有可能存在听觉、视觉和肢体灵活度中的一种或两种障碍，所以将含有程度的弱听、弱视和四肢不灵活进行两两组合，以及进行三种类型的组合，形成障碍用户的63种类型，如下表所示，本发明的分类方法中N＝63；

表1仅有听觉、视觉和肢体灵活度中一种障碍的用户类型

表2将含有程度的弱听、弱视和四肢不灵活进行两两组合后得到的障碍类型

表3将含有程度的弱听、弱视和四肢不灵活三种障碍两组合后得到的障碍类型

步骤2，获取用户的加速度，计算得到加速度的时域特征和频域特征。

步骤2.1，利用重力传感器获得获取用户的x、y和z轴的加速度值，本发明中重力传感器的采样频率为200Hz。

步骤2.2，计算加速度的时域特征

使用重力传感器分别获得x、y和z轴的加速度值x

其中，t为采样时间，N为采样频率，J

步骤2.3，选取加速度的频域特征。

使用FFT算法提取虚拟现实设备x、y和z轴加速度频域信号。计算加速度频域信号的中值频率E和平均功率频率特征F，其计算公式如式(5)、(6)所示。

其中，P(f)为加速度的功率频谱密度估计函数。

步骤3，构建基于加速度时域和频域特征的概率神经网络，将加速度的时域特征和频域特征输入到概率神经网络，对加速度进行分类。所述概率神经网络是基于马式距离的概率神经网络。

在概率神经网络中使用欧式距离计算被测数据与样本数据的相关性，然而在每次使用欧式距离进行计算之前需要对数据进行归一化，这也是欧式距离的缺陷，欧式距离会受到数据测量单位的影响。同时，欧氏距离无法计算各个特征分量之间的相关性。为了解决这一问题，本专利使用马氏距离代替欧式距离计算数据的相关性。

基于马氏距离的概率神经网络如图2所示，包括输入层、隐藏层、求和层、输出层。首先将O*Q大小的待测数据DC从输入层进行输入，本发明中待测数据为加速度的时域特征和频域特征，然后通过隐藏层计算待测数据与样本数据的距离返回一个标量值。本实施例中O＝3、Q＝6，本专利使用马氏距离进行计算，马氏距离的计算公式如下：

其中

首先，网络的输入为O*Q大小的矩阵DC，DC＝[dc

本实施例中，k∈{1,2,..15},j∈{1,2}。

其中yb

本实施例中，d＝6，σ＝0.1，每个特征的训练样本有2个，15个特征的训练样本共30个，即样本层有30个神经元。

然后，求和层把同一类别神经元的输出进行求和，其输出为

FC＝[fc

其中

本实施例中，每个特征的训练样本有2个，即ω＝2。

最后，通过输出层选择求和层中最大的概率值，概率值所对应的类别即为输出层输出的类别。其计算公式如下：

Outpurt＝Max(FC) (9)

步骤4，判断障碍用户类型，结合步骤3中得到的加速度分类，通过个性化插黑时长数据集得到用户的个性化插黑时长。

设置问答环节，系统对用户的听觉、视觉和肢体灵活度进行测评，并对以上3个感官的性能进行等级划分，按好坏顺序分为：优秀、良好、中等、及格、不及格，最后系统根据用户的回答内容进行判定用户类型。

在听觉、视觉和肢体灵活度测评中，至少有一项为中等或以下的，则建议使用个性化插黑设置，则结合步骤3中得到的加速度分类，通过个性化插黑时长数据集得到用户的个性化插黑时长，但是数据集中的插黑数据不能保证满足所有用户的要求。

由于每种类型的加速度都需要自定义插黑设置，自定义插黑设置需要花费用户大量时间，用户可选择进行自定义插黑设置或跳过。若用户选择自定义插黑设置，则将用户自定义插黑数据进行存储，登录个人账号即可直接使用；

在步骤1中，基于加速度，构建不同类型障碍用户对应的个性化插黑时长数据集的过程中，由于需要构建的数据过多，能找到的用户人群相对较少，于是采用如图1所示，自定义插黑设置由用户辅助进行数据集构建。

(1)若进行自定义插黑的用户，系统会将用户的自定义插黑设置存放进用户库，在系统识别用户运动加速度后，系统自动与用户库中的插黑设置进行匹配，完成视频插黑任务。

(2)若没有进行自定义插黑的用户则需要使用本专利构建的插黑数据集，其中共包括不同类型的障碍用户的63个插黑数据集{A

本专利按照每种障碍类型数据集的要求寻找1名的志愿者进行测试，共需要63名志愿者进行测试，寻找63个不同类型的志愿者存在困难，当有数据集无法找到合适的志愿者时，则将该数据集标记为数据无法获取，该数据集中的数据为0，直到有数据存入才可以读取数据集中的数据。将数据集存放在矩阵SJ中，

SJ＝[{A

原始数据集SJ中的每秒最合适插黑显示时长是由1个志愿者获得的，不具备普遍性，在对用户进行使用时可能存在偏差，导致用户观片体验感不好。于是本专利使用用户自定义插黑设置的数据更新数据集。在数据集更新前期用户数据量不够，难以分辨有用信息和噪声信息，所以数据集的适用性不大；当数据集更新前期用户数据量过多，导致实时计算更新数据集存在难度。为了使数据集的实用性逐步提升，本专利提出了分段式数据集更新策略。

判定用户满足数据集1(数据集1为弱听中等)的要求，用户1选择自定义插黑设置，获得用户的自定义插黑数据

以第一种障碍类型数据集1为例，当有U

以数据集1为例，当有U

以数据集1为例，当有U

本专利提出的分段式数据集更新策略，在数据集更新前期用户数据很少，无法区分有用数据和噪声数据，分段式数据集更新策略能够有效利用每位用户的数据；在数据集更新的中后期用户数据增多，实时更新数据集难度大，分段式数据集更新策略能够将用户数据划分为有用数据和噪声数据，对噪声数据进行剔除，利用有用数据更新数据集。

本专利提出一种基于加速度的有障碍人群个性化数据分析的虚拟现实插黑方法，首先，该方法通过提取加速度的时域和频域特征作为概率神经网络的输入，以减少异常值对网络精度的影响；然后本专利使用马氏距离代替欧式距离，马氏距离不用考虑数据测量单位，同时能够表示出各个特征分量之间的关系，能更好的计算出待测样本与训练样本之间的关系；最后，本专利提出一种分段式数据集更新策略构建63类数据集，通过判定用户类型，对用户进行个性化插黑设置，满足所有类型用户的不同需要。