基于多模态脑机接口与增强现实的智能家居控制方法

技术领域

本发明属于智能家居控制技术领域，具体涉及基于多模态脑机接口与增强现实的智能家居控制方法。

背景技术

在当今社会中，科技不断发展，残疾人或手脚活动不便的人群也有了一些科技辅助设备，如何更好地服务该人群也成了科技发展的一个方向，为了提高该人群得活动和工作生活能力，特进行了如下的调研和分析：申请号为201711166187.2和201910524880.5的发明是将SSVEP脑电信号与眼动信号相结合的控制方式。前者通过眼动信号在增强现实设备显示的界面中进行被控对象的选择，然后采用SSVEP脑电信号进行进一步的控制；后者是将眼动信号与SSVEP信号直接融合到多模态神经网络中得到控制指令。采用脑眼结合的方式优点是解放了双手，但缺点是难以区分实际操作时的眼动与无目的性的眼动，并且频繁的操作会对用户的用眼习惯造成影响；申请号为201910416699.2的发明，结合了图像处理和SSVEP等方式对机械臂进行控制，图像处理用来选择操作对象，SSVEP进行被控设备的操作，优点是该方法能提供一种所见即所得的控制效果，注意力无需在刺激界面和机械臂之间来回转移，缺点是SSVEP的可使用频率带宽有限，机械臂的操作精度受到限制；申请号201610789801.X的发明，是采用了脑电加肌电的控制方式，通过SSVEP信号对被控对象进行选择，然后通过咬齿和舌动肌电信号对被控设备进行控制。此方式的控制的准确性较高，但缺点是SSVEP信号可使用的频率带款有限，限制了被控设备数量的扩展；申请号为201910466601.4的发明是一种采用了P300和增强现实结合的控制方法，该方法将被控设备进行编号，然后通过感知系统对设备进行感知，再通过P300进行控制，此方法仅采用了单一模态的P300脑电信号，在设备编号较大的时候，控制的效率会大幅降低。由于非侵入式脑机接口采集的脑电信号不是高信噪比的信号，目前对该信号的分析和使用中仍有不低的错误率。一般基于单模态脑机接口的控制方法中，一旦需要实现的控制指令较多时，系统要么控制效率低下，要么错误率会较高。

发明内容

本发明的目的在于提供基于多模态脑机接口与增强现实的智能家居控制方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于多模态脑机接口与增强现实的智能家居控制方法，步骤一：将各模块按图1所示顺序连接好，并使用户正常佩戴脑电信号采集帽和增强现实设备；增强现实设备开启后，会出现如图2所示界面，图中“开始”按钮会以一个固定的频率进行闪烁，此时脑电信号处理模块仅对采集到的用户脑电进行SSVEP信号检测，若某用户正在注视闪烁的按钮，则其对应的脑电采集帽将会有稳态视觉诱发电位SSVEP的出现，通过提取其频域特征，通过计算按钮闪烁的频率的窄带范围平均能量和宽带范围的平均能量的比率α；判断该值是否已达到某一阈值，若达到，则表示用户进行了选择操作，进入设备菜单主界面，若未达到，不行任何操作，各设备状态不变；

步骤二：当用户进入设备菜单主界面后，增强现实设备中会出现如图3所示的界面，在该界面中将增强现实知识库中的可操作智能家居设备排列成二维矩阵的形式，采用改进的P300的行列式刺激范式此方式在需要选择的目标较多时，可大大提高操作时的时间效率，传统的P300刺激范式是整行(整列)一起闪烁，虽然将P300的闪烁轮数从n

步骤三：此步骤中用户已经成功选则了需要选择的智能家居设备，增强现实界面中此时将显示具体智能家居设备的可执行操作菜单，如图6所示，此步骤中的选择和操作过程同步骤二，但多了一个回到主界面的选项，该选项与“撤销”“确定”按钮闪烁方式一样，均为某一固定频率，但位置会偏向角落一些，防止用户视觉疲劳造成的误触，方便用户操作完具体设备后回到主界面进行其他设备的操作；此步骤中完成具体功能的选择与确认后进入步骤4，并且不会进行页面的跳转，而是回到刚进入该页面的状态，即图6所示界面，便于用户进行该设备的下一步操作；若用户需要操作其他智能家居设备，只需注视“主界面”按钮，即可直接返回如图3所示的界面；

步骤四：用户在步骤三中完成了智能家居设备的选择与操作后，网络服务模块中的信号融合单元将会从增强现实知识库中取出当前增强现实设备中显示的界面和标记信息，并与脑电信处理模块输出的结果进行整合，并输出到智能家居控制器，通过该控制器将控制信号转发到具体智能家居设备完成控制功能。

优选的，上述步骤一和步骤二中的增强现实模块中显示的界面发生跳转时，增强现实设备将会把跳转时间发送给网络服务模块，网络服务模块将会把时间信息发给脑电信号处理模块进行刺激画面和脑电检测的同步。

优选的，在检测到用户有脑电信号的变化时，网络服务模块将具体的脑电信号分析后的结果记录在增强现实知识库中，用来反馈给增强现实设备更新界面。

优选的，上述步骤二中图标进行P300刺激闪烁时，每组图标({A，B，C}或者{1，2，3，4，5})重复闪烁n遍，在每遍闪烁中，组内各图标均按顺序各闪烁一次，脑机接口客户端对采集到的头皮脑电信号进行带通滤波，然后将对应于每个P300按钮闪烁的数据截取0-600ms的采样点，对这些采样点进行1/6下采样，将对应于每个P300按钮闪烁的下采样后得到的数据连接构成一个特征向量，之后再将n次采集所得的所有P300按钮闪烁对应的特征向量进行分类识别，以确定使用者想要选择的目标。

与现有技术相比，本发明的有益效果是：本发明可以实现多用户通过脑机接口与增强现实技术对现实中的智能家居设备进行控制，为脑机接口在实际应用中提供了一个接入点；能为在养老院，医院中为大量手脚不便的人群在生活上带来极大的便利。

传统脑机接口在与增强现实结合时，若不添加其他辅助外设，控制效果会有诸多限制，如P300的刺激时间过长，SSVEP频带宽度较窄无法满足大量选项；若添加辅助外设，如语音录制设备、眼动跟踪设备，则增加了用户的使用成本和学习成本，本发明将多种脑机接口进行了结合，既提高了脑机接口的稳定性与准确性又满足了脑机接口在使用时的快速性和舒适性。

附图说明

图1为本发明的原理示意图；

图2为本发明的增强现实界面初始界面的示意图；

图3为本发明的用户进行目标行选择示意图；

图4为本发明用户进行目标列选择示意图；

图5为本发明的目标行和目标列均已完成选择的示意图；

图6为本发明的智能家居设备具体功能选项界面的示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1至图6，本发明提供一种技术方案：基于多模态脑机接口与增强现实的智能家居控制方法，步骤一：将各模块按图1所示顺序连接好，并使用户正常佩戴脑电信号采集帽和增强现实设备；增强现实设备开启后，会出现如图2所示界面，图中“开始”按钮会以一个固定的频率进行闪烁，此时脑电信号处理模块仅对采集到的用户脑电进行SSVEP信号检测，若某用户正在注视闪烁的按钮，则其对应的脑电采集帽将会有稳态视觉诱发电位SSVEP的出现，通过提取其频域特征，通过计算按钮闪烁的频率的窄带范围平均能量和宽带范围的平均能量的比率α；判断该值是否已达到某一阈值，若达到，则表示用户进行了选择操作，进入设备菜单主界面，若未达到，不行任何操作，各设备状态不变；

步骤二：当用户进入设备菜单主界面后，增强现实设备中会出现如图3所示的界面，在该界面中将增强现实知识库中的可操作智能家居设备排列成二维矩阵的形式，采用改进的P300的行列式刺激范式此方式在需要选择的目标较多时，可大大提高操作时的时间效率，传统的P300刺激范式是整行(整列)一起闪烁，虽然将P300的闪烁轮数从n

步骤三：此步骤中用户已经成功选则了需要选择的智能家居设备，增强现实界面中此时将显示具体智能家居设备的可执行操作菜单，如图6所示，此步骤中的选择和操作过程同步骤二，但多了一个回到主界面的选项，该选项与“撤销”“确定”按钮闪烁方式一样，均为某一固定频率，但位置会偏向角落一些，防止用户视觉疲劳造成的误触，方便用户操作完具体设备后回到主界面进行其他设备的操作；此步骤中完成具体功能的选择与确认后进入步骤4，并且不会进行页面的跳转，而是回到刚进入该页面的状态，便于用户进行该设备的下一步操作；若用户需要操作其他智能家居设备，只需注视“主界面”按钮，即可直接返回如图3所示的界面；

步骤四：用户在步骤三中完成了智能家居设备的选择与操作后，网络服务模块中的信号融合单元将会从增强现实知识库中取出当前增强现实设备中显示的界面和标记信息，并与脑电信处理模块输出的结果进行整合，并输出到智能家居控制器，通过该控制器将控制信号转发到具体智能家居设备完成控制功能。

本实施例中，优选的，上述步骤一和步骤二中的增强现实模块中显示的界面发生跳转时，增强现实设备将会把跳转时间发送给网络服务模块，网络服务模块将会把时间信息发给脑电信号处理模块进行刺激画面和脑电检测的同步。

本实施例中，优选的，在检测到用户有脑电信号的变化时，网络服务模块将具体的脑电信号分析后的结果记录在增强现实知识库中，用来反馈给增强现实设备更新界面。

本实施例中，优选的，上述步骤二中图标进行P300刺激闪烁时，每组图标({A，B，C}或者{1，2，3，4，5})重复闪烁n遍，在每遍闪烁中，组内各图标均按顺序各闪烁一次，脑机接口客户端对采集到的头皮脑电信号进行带通滤波，然后将对应于每个P300按钮闪烁的数据截取0-600ms的采样点，对这些采样点进行1/6下采样，将对应于每个P300按钮闪烁的下采样后得到的数据连接构成一个特征向量，之后再将n次采集所得的所有P300按钮闪烁对应的特征向量进行分类识别，以确定使用者想要选择的目标。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。