一种多用户与多边缘智能体脑机个性化脑电交互系统

技术领域

本发明涉及脑电数据技术领域，特别涉及一种多用户与多边缘智能体脑机个性化脑电交互系统。

背景技术

Metaverse正在成为未来互联网最有前途的平台，其中BCI(脑机接口)是Metaverse的关键技术之一。与在神经外科手术中直接植入大脑的侵入性BCI相比，非侵入性BCI主要根据EEG(脑电波)的原理工作，价格相对较低，具有更好的市场渗透率潜力。目前，我们的我们的方法专注于无创BCI和多脑与多机器人的交互，这在以前的工作中几乎没有解决。但对于元宇宙场景，如共同创造、自主制造或无人工厂以及沉浸式技术或扩展现实(XR)的场景中，有越来越多的智能代理及人-物交互的需求。因此，我们的框架中定义的场景对研究和实践都有意义。同时，我们提出了一个EEG自适应神经网络和语义通信的通用框架，用于对各种传感设备产生的异质或多模态数据进行大脑信号分析和反馈。它的设计和优化方案给出了一个整合传感、计算、通信和控制的参考案例，这可以使致力于6G及以上的工业和学术界受益。然而现有的技术，绝大多数只单一的考虑的一对一的脑机控制智能体，这对于未来的潜在多用户-智能体的交互场景是不足够的；同时，对于多种类脑机设备协同的场景，现有的技术没有很好的办法去克服。

发明内容

为解决以上技术问题，本发明公开一种多用户与多边缘智能体脑机个性化脑电交互系统，通过元学习实现个性化脑电学习，提高用户脑电个性化认知和分类精度,动态编解码过程解决多用户多设备脑电信号实时接入，语义通信解决无线信噪环境下的多用户脑电指令传输问题，codemap解决多机器人对多用户指令识别问题。

一种多用户与多边缘智能体脑机个性化脑电交互系统，包括脑电信号采集模块、脑电特征的提取及编码模块和边缘智能体解码及任务执行模块；

脑电信号采集模块用于获取脑信号数据；

脑电特征的提取及编码模块用于对所述脑信号数据进行特征学习和编码为脑电指令，脑电特征的提取及编码模块包括发射器模块和无线通道模块；所述发射器模块包括脑电数据特征提取单元和通道编码单元；无线通道模块包括通道传输单元和神经网络交叉互信息熵模型；

边缘智能体解码及任务执行模块用于对所述脑电指令进行还原和识别，并根据不同的用户指令产生不同的执行动作。

进一步地，所述脑电特征的提取及编码模块还包括轻量化的发射器模块，所述轻量化的发射器模块包括模型压缩处理后的脑电数据特征提取单元和通道编码单元。

进一步地，所述边缘智能体解码及任务执行模块包括接收器模块，所述接收器模块包括边缘解码单元和执行单元。

进一步地，所述脑电数据特征提取单元包括共特征提取模块、低维度特征提取模型、高维度特征提取模型和动态解码单元；所述低维度特征提取模型用于提高对低维度的脑电数据的识别精度并提取低维度脑电数据的特征，高维度特征提取模型用于提取高特征脑电数据的特征，所述动态解码单元用于调节对低维度特征提取模型和高维度特征提取模型的选择。

进一步地，所述共特征提取模块包括卷积层、嵌入层、间隔掩码层和共特征提取层。

进一步地，所述无线通道模块用于对传入的通道编码特征进行噪声叠加模拟干扰，所述无线通道模块采用噪声模拟的方式模拟无线环境的传输干扰。

本发明有益效果为：

1、相比起现有技术，本发明提出了一个基于离散注意力机制来提取异质EEG数据的联合特征，然后使用动态特征整合来提高分类精度，实现准确的混合类型脑电数据的同质化信息提取。

2、本发明设计了一个动态语义自动编码器，用大脑转化器和相应的语义自动解码器来继承发射器的语义信息；同时，通过互信息函数和交叉熵函数共同建立了一个语义性能指标，以衡量信道编解码器的性能，并衡量语义编解码器的性能，精确识别的多种维度脑电数据的指令，

3、在部署和智能体识别指令方面，本发明部署了具有修剪、权重共享和量化的模型压缩方案，以支持发射器在资源有限的边缘设备上运行语义编码器模型；在接收端也部署了轻量级的信道解码器和具有剩余技术和全连接层的语义解码器；此外，还为多个用户提供了代表各种命令的代码图，以控制多个智能代理。

附图说明

附图1为本发明实施例中一种多用户与多边缘智能体脑机个性化脑电交互系统示意图；

附图2为本发明实施例中动态脑电特征提取器示意图；

附图3为本发明实施例中共特征提取机制示意图；

附图4为本发明实施例中低维度特征提取模型的Brain Transformer模块示意图。

附图5为本发明实施例中的语义通信过程示意图。

附图6为本发明实施例中多用户与多智能体脑机实时交互的运行实例示意图

附图7为本发明实施例中多种类型脑机设备输入的混合数据下对脑电指令分类实验的各模型精确度示意图

附图8为本发明实施例中多种类型无线通道噪音干扰下的混合数据分类精确度的对比实验结果示意图

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步描述。需要说明的是，实施例并不对本发明要求保护的范围构成限制。

实施例1

如图1所示，本发明公开一种多用户与多边缘智能体脑机个性化脑电交互系统，包括脑电信号采集模块、脑电特征的提取及编码模块和边缘智能体解码及任务执行模块。

脑电信号采集模块用于获取脑信号数据，多个用户可以佩戴多种不同的脑电设备，如brainlink系列，Emotiv系列和64通道电极帽，这些脑电设备会采集不同脑区和不同通道数的脑电信号，形成不同维度的脑电原始数据，作为脑电特征的提取及编码模块的输入。

脑电特征的提取及编码模块用于对脑信号数据进行特征学习和编码，脑电特征的提取及编码模块包括发射器模块和无线通道模块。发射器模块包括脑电数据特征提取单元和通道编码单元；无线通道模块包括通道传输单元、神经网络交叉互信息熵模型。

边缘智能体解码及任务执行模块用于对经过无线通道传输过来的脑电指令进行解码，边缘智能体解码及任务执行模块包括接收器模块，所述接收器模块包括边缘解码单元和执行单元。

为了实现多类型多维度脑电信号的精确分类，形成脑电指令，如图2所示，本发明提供一个动态的脑电特征提取单元，其主要包括共特征提取模块、低维度特征提取模型、高维度特征提取模型和动态解码单元。

所述共特征提取模块中，将不同维度的脑电数据通过卷积层映射在同一个隐空间里，将映射后的数据输入到嵌入层进行数据初步学习，将嵌入层输出的嵌入特征进行间隔掩码处理从而对脑电数据进行损坏性干扰。如三个脑电数据x1[3,150],x2[4,260],x3[64,640]一同映射到[64,256]的隐空间，即数据维度经过卷积后的x1’,x2’,x3’均为[64,256]，将x1’,x2’,x3’置入共特征提取模块中进行相似特征学习，并作为影响因素输出到低/高维度特征提取模型中进行利用。所述嵌入层为一个卷积核为1的卷积层，输入输出维度相同。进行间隔掩码处理的原因是：发明人通过实验发现，脑电数据不仅具有时间依赖性和空间依赖性，它在破损的数据中还可能存在一种趋势性，这种趋势性可能会提升模型对脑电数据的认知能力，我们称之为趋势依赖性；据此，对数据进行间隔掩码的处理，即间隔地将非零数值置为0，以突出他们都存在的趋势依赖性。

之后，使用多头注意力机制对间隔掩码处理后的数据进行共特征的提取，多头注意力特征将不同采样时间点上的脑电数值两两求对应关系，以获得其时间上的相关联性。在近期的研究中表明，传统Self-attention需要付出更高复杂度的内存以及二次点积计算作为代价，是其预测能力的主要缺点；同时该研究也提出，稀疏性self-attention各计算值的重要性得分形成长尾分布，即只有少数点积对结果主要注意力计算有贡献，其他点积对结果可以忽略，并认为重要的点积对呈均匀分布。利用KL散度公式对传统注意力机制的概率分布公式和均匀分布：

其中，

为了解决低维度脑电数据(对应低成本高噪声的脑电设备)的信息量低、分类难度大的问题，利用低维度特征提取模型去提高识别精度，由一个Deepconvnet和一个BrainTransformer(图2的右上区)组成。利用并行学习的结构加上残差机制的应用，可以将低维度的脑电信号的分类精度提升。如图4所示，Brain Transformer内嵌一个时间特征转换器，主要机制是多头注意力机制，用以高效提取数据的时间特性；经过多次层归一化和多次残差融合，数据会流向一个由两层卷积和一层全连接层组合而成的整合层，经过整合后输出一个分类预测特征。在低维度特征提取模型输出前，引入两个全连接层学习两个参数相加的权重，并将提取的低维度特征和共特征提取模块输出的共特征作为两个相加参数输入这两个全连接层，使得低维度特征和共特征以一种自学习的最优方式相互影响以获得最优的特征后融合，最终输出一个融合后的分类结果。

所述高维度特征提取模型中，该模型(图2的右下半区)主要由基于EEGNet(神经网络结构)进行改进，将EEGNet内置的池化层更换为平均池化层，在池化时将数据进行平均求值，有助于数据保留更多背景信息即保留脑电数据在时间上的相互影响性；并在EEGNet之前引入两个全连接层学习两个参数相加的权重，即将输入的原始高维数据和共特征进行自学习相加权重，以获得最优的特征前融合，将融合后的特征进行学习。

动态解码单元用于调节对低维度特征提取模型和高维度特征提取模型的选择，保证不同脑电数据都有较好的学习情况和分类能力，避免的数据间的信息冲突导致精度下降的问题。低维度和高维度的特征提取模型是有选择性的进行参数更新和学习的，动态解码单元会自动根据输入数据维度进行参数冻结，如低维度数据输入到脑电特征提取单元后高维度特征提取模型部分会被冻结参数不参与学习和预测任务，反之亦然。

通道编码单元由两层卷积层组成，同时重整维度，将多个脑电设备输出的指令分类结果整合成一个有序的一维矩阵，再输出通道编码单元。

为了轻便化部署，通过模型压缩的方法，将脑电特征提取器单元和通道编码单元轻量化，以突破嵌入式智能单元的小计算量局限；从特征提取模型到任意资源有限的服务器或智能单元体，利用模型剪枝(裁剪重要性较小的模型分支)、权重共享、量化的方式对模型进行压缩，占用内存下降60％同时运行速度下降45％，并且精度保持不变。

无线通道模块用于对传进来的通道编码特征进行噪声叠加模拟干扰。在发射器模块将处理好的脑电信号特征经过无线宽带的方式传输到接收器模块的过程中，一般而言，指令在无线传输过程受到噪声干扰影响很大而导致失真。为了解决这个问题，采用噪声模拟的方式模拟三种无线环境(加性高斯白噪声、莱斯信道和瑞利衰落信道)来训练我们的框架以展现其在不同无线噪声环境的鲁棒性)的传输干扰，对传进来的通道编码特征进行噪声叠加模拟干扰。

在这个过程中，本发明提供一个多信息的损失熵计算模型对损失函数进行学习以更好的获得良好的通信还原性能，实现更高精确的语义通信过程，所计算得到的损失值会用以整体模型的损失反向传播计算。具体的，建立了一个小型神经网络交叉互信息熵模型去计算从发射器模块发出且未受噪声干扰的信号数据z和受到噪声干扰后还未进入到接收器模块的信号数据

所述接收器模块包括边缘解码单元和执行单元。

经过无线通道模块处理后的干扰特征传入接收器模块中的边缘解码单元进行解码，边缘解码单元配置在各个智能体上，边缘解码器单元主要包含语义解码器和通道解码器，对用户发出的脑电指令进行还原和识别。接收器模块计算资源有限的同时需要较快的运输速度，因此需要用轻便的模块实现指令解码的过程。具体而言，用一层维度调整层和两层卷积层形成语义解码器来将经过无线通道的一维数据进行维度重整并解码其原始语义指令。紧接着，通道解码器是一层全连接层和sigmoid激活层，对各个语义指令进行激活并输出。至此，多用户的多指令会根据输入时间进行排序，以二维表格的方式全部输送所有的边缘智能体，即边缘智能体可以接受所有的用户指令。

最后将各用户的指令按输入时间和输入用户进行排列，各边缘智能体根据预设的如表1所示的指令表在输入指令中寻找自己的任务清单，各智能体上的执行单元按时间逐一执行各机器人的任务，从而达到多用户与多智能体的脑机交互过程。各智能体有各自的执行单元，针对不同的用户指令产生不同的执行动作。当智能体接受到所有的用户指令信息后，会根据指令表一一搜索属于自己的任务，并根据指令分类实现预设的行为任务，最终达成多用户协同控制多智能体交互的行为。

表1指令表

应用四个数据集对其进行指令分类的精确度实验，四个数据集分别为：1、Brainlink数据集。这个数据集是用Brainlink lite进行连续的脑电图测量而收集的。2、Eyestate眼动数据集。这个数据集是用Emotiv EEG Neuroheadset进行连续的EEG测量而得到的。3、BCI-2000竞赛数据集。这个数据集采集了志愿者64个通道的脑电信号。4、混合数据集。这个数据集是前述三个数据集的组合，包含了十个类别。混合训练数据由三个数据集的所有训练集组成，包括从三个数据集中各随机选择的400-800个样本。

用于进行数据比对的模型有以下七个：

EEGNet，一个用于基于EEG的BCI的紧凑型全卷积网络。

Compact-CNN，一个紧凑的ConvNet，用于对12类SSVEP数据集的信号进行解码，不需要用户特定的校准。

DeepConvNet和ShallowConvNet，不仅是EEG解码工具箱中一个新颖、有前途的工具，而且与创新的可视化技术相结合。

EEG-TCNet，一种新型的时态ConvNet，只需几个可训练的参数就能达到出色的准确性。

ResNet，一个残差学习方案，它简化了深度神经网络的训练。

DeepBrain，一个基于transformer的变体，在低纬度脑电特征提取方面有出色的表现。

表2

如表2所示，测试了所有模型在单个数据集时(对应单个脑电设备接入的场景)的表现。我们的模型在分类精度上都高于其他模型。

将前面三个数据集进行混合处理；不同类型的数据会干扰模型的学习，从而大大影响模型的分类精度。本发明的一种多用户与多边缘智能体脑机个性化脑电交互系统(Our)采用了动态编解码过程，这一过程很好的避免了不同设备数据间的干扰，使得本发明的实验精度远高于其他方法。结果如图7所示，结果表明本发明的一种多用户与多边缘智能体脑机个性化脑电交互系统在多种脑电设备同时输入、协同控制智能体的场景中，有着最优异的指令识别能力。

进一步地，为了证明本发明的一种多用户与多边缘智能体脑机个性化脑电交互系统在不同的无线噪声环境都有良好的表现，采用了混合数据集在三种不同的无线信道环境中测试我们的框架，并与一个改良的语义通信框架进行对比，如图8所示，结果表明本发明的一种多用户与多边缘智能体脑机个性化脑电交互系统(Our)在三种不同的噪声环境中都取得了更优异的指令准确度和鲁棒性。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。