一种基于无监督域适应的长期稳定脑机接口系统和方法

技术领域

本发明属于侵入式动作电位神经信号分析领域，具体涉及一种基于无监督域适应的长期稳定脑机接口系统和方法。

背景技术

脑机接口(Brain Machine Interface，BMI)通过解码神经活动中的运动意图来实现从大脑对外部设备的直接控制，BCI具有实现运动康复和神经假肢的潜力。目前运动相关的神经信号，包括从背侧前运动皮质(PMd)和初级运动皮质(M1)采集到的神经信号，被证明与肌肉运动的准备和执行密切相关，已经被广泛应用于成熟的脑机接口实验中，甚至已被用于神经假体成功模拟了受试者的肢体运动。

神经信号的动力学特征(dynamics)。目前已有多项研究利用观测到的神经元数据对大脑内部的动力系统进行建模，提取去噪的低维隐状态作为神经信号的动力学特征，并试图根据动力学特征估计与运动有关的参数，推断运动意图。这种基于线性动力系统(LDS)的方法假设当前的隐状态可以被模拟为过去隐状态的线性变换。采用这种基于LDS的方法，神经信号的内在特征被描述为平滑的隐状态，一些方法实现了更准确和鲁棒的脑机接口算法。

无监督域适应(unsupervised domain adaptation，UDA)是一个具有广泛应用前景的问题，并且可以用于实现脑机接口的长期鲁棒性。脑机接口在长期使用中由于一些不可避免的问题(例如，大脑内组织的随机流动，脑内神经元坏死和电极阵列移位等)存在随时间推移的不稳定性，时间越久的脑机接口其运动预测能力越差，这限制了脑机接口从实验室向实际应用的推广。

目前流行的UDA方法可以大致分为距离最小化方法和对抗性域适应方法。基于距离的方法采用各种域距离度量，并通过降低域间距离来尽量减少这种域差异。对抗性域适应方法是基于深度神经网络的，它引入了一个额外的判别器来混淆不同领域的特征。对于神经信号的域偏移，一些相关的工作通过有监督再训练或使用不同类型的辅助信息再训练来完成脑机接口的重新校准。这些方法得到的脑机借口算法仍然会面临随着时间长久算法鲁棒性下降的问题。

目前尚未有基于神经信号的动力学特征进行无监督域适应，训练得到长期稳定的脑机接口系统。

发明内容

鉴于上述，本发明的目的是提供一种基于无监督域适应的长期稳定脑机接口系统和方法，实现依据神经信号进行长期稳定的运动控制。

为实现上述发明目的，实施例提供了一种基于无监督域适应的长期稳定脑机接口系统，所述脑机接口系统包括能够根据神经信号进行运动控制的运动控制模型；

所述运动控制模型包括域适应观测模块、分类模块以及运动解码模块，其中，所述域适应观测模块用于对目标域神经信号进行编码以提取隐藏特征，所述分类模块用于根据隐藏特征预测运动方向，所述运动解码模块用于根据隐藏特征经过解码预测运动轨迹；

所述域适应观测模块能够根据目标域神经信号采用无监督域适应学习方式进行参数优化更新，以保证运动控制模型长期稳定的运动控制。

优选地，所述运动控制模型的构建过程为：

构建包含源域观测模块、分类模块、运动解码模块的预训练模型，所述源域观测模块用于对源域神经信号进行编码以提取隐藏特征；

根据源域神经信号样本并采用监督学习方式对预训练模型进行参数优化；

提取参数优化的源域观测模块辅助域适应观测模块的训练，固定预训练模型参数不变，根据源域神经信号样本和目标域神经信号样本，并采用无监督预适应学习方式对域适应观测模块通过跨域对齐特征空间概率分来进行参数优化；

提取参数优化后的域适应观测模块、分类模块以及运动解码模块组成运动控制模型。

优选地，所述源域观测模块和域适应观测模块采用相同结构，包括多层感知机。

优选地，所述分类模块包括多层感知机和多分类激活层。

优选地，所述运动解码模块包括线性动力系统、解码单元，所述线性动力系统依据隐藏特征提取连续的运动学特征，所述解码单元依据运动学特征进行解码以得到运动轨迹预测结果。

优选地，所述解码单元包括递归神经网络、全连接层以及Tanh激活函数。

优选地，采用监督学习方式对预训练模型进行参数优化时，采用的损失函数包括分类模块输出的运动方向预测结果与真实运动方向标签的交叉熵损失、运动解码模块输出的运动轨迹预测结果与真实运动轨迹标签的重建损失、基于线性动力系统参数构架的正则化损失。

优选地，采用无监督预适应学习方式对训练架构中的域适应观测模块通过跨域对齐特征空间概率分来进行参数优化时，采用的损失函数包括边际分布对齐约束损失和条件分布对齐约束损失；

边际分布对齐约束损失L

L

条件分布对齐约束损失L

其中，h

优选地，所述目标域神经信号样本的运动方向l

为实现上述发明目的，实施例提供了一种基于无监督域适应的长期稳定脑机接口方法，所述方法应用上述脑机接口系统，包括以下步骤：

采集目标域神经信号，利用运动控制模型对目标域神经信号进行运动控制，包括：利用域适应观测模块对目标域神经信号进行编码以提取隐藏特征，利用分类模块根据隐藏特征预测运动方向，利用运动解码模块根据隐藏特征经过解码预测运动轨迹；

根据目标域神经信号采用无监督域适应学习方式对域适应观测模块的参数优化更新，以保证运动控制模型长期稳定的运动控制。

与现有技术相比，本发明具有的有益效果至少包括：

通过域适应对齐并固定运动皮层的潜在动力学特征位于的流型空间，只需要微调预适应观察模块就可以得到长期稳定的神经信号动力学特征，进而实现运动控制模型在长期无标签神经信号的无监督校准。此外，采用联合分布对齐，即同时考虑边际分布对齐和条件分布对齐，在对齐过程中明确考虑了语义信息，保证了运动控制模型在运动控制预测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的运动控制模型的结构示意图；

图2是实施例提供的预训练模型的结构示意图；

图3是实施例提供的模型中每个模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

大脑运动区的神经信号和手臂运动参数存在一定相关性，可被应用于神经假肢实现脑机接口。但研究表明，由于大脑内组织的随机流动，脑内神经元坏死和电极阵列移位等一些不可避免的问题，导致脑机接口在使用过程中运动控制的预测能力随着随时间推移存在不稳定性，且时间越长，稳定性越差。为解决该技术问题，实施例提供一种基于无监督域适应的长期稳定脑机接口系统和方法，根据长期(多天)采集的大脑运动区的神经信号，基于无监督域适应方法提取长期稳定的神经信号语义-动力学信息，构建一个长期性能稳定的运动控制模型，提升运动控制模型长期运动预测的准确性。

实施例提供的基于无监督域适应的长期稳定脑机接口系统包括运动控制模型，通过运动控制模型来根据神经信号进行长期稳定的运动控制。如图1所示，实施例提供的运动控制模型包括域适应观测模块、分类模块以及运动解码模块。其中，域适应观测模块用于对目标域神经信号进行编码以提取隐藏特征h

实施例中，运动控制模型在被应用之前需要参数优化，构建过程为：

(a)如图2所示，构建包含源域观测模块、分类模块、运动解码模块的预训练模型。

预训练模型同样用于根据神经信号进行运动控制，与运动控制模型不同的是，输入数据不同，预训练模型的输入数据为源域神经信号x

在预训练模型中，源域观测模块用于对源域神经信号进行编码以提取隐藏特征h

源域观测模块和域适应观测模块采用相同结构，统称为观测模块，负责将高维的、带噪声的神经信号编码为低维的隐层特征h，观测模模块可以由多层感知机构成，如图3所示，首先基于全连接神经网络层FC、BN以及PReLU对输入的神经信号x进行降维，然后对降维后的神经信号序列，引入一层整合层(flatten layer)将神经信号序列沿着时间维度进行拼接，之后再引入一层全连接神经网络层FC降维到定长隐藏特征h，这样该隐藏特征h保留了原神经信号的空间信息和时间信息，同时得到的隐藏特征还包括运动方向的语义信息和动力学信息，便于后续的运动方向和运动轨迹的预测。

需要说明的是，每次输入观测模块的神经信号样本为时长为T的神经信号序列x

为了约束隐藏特征h具有明确的语义表征(如运动方向)，方便后续的特征空间对齐。因此对隐藏特征h引入额外的分类任务，从隐空间预测运动方向(八方向分类任务)，让隐空间更加具有聚类特性。实施例中，分类模块可以采用多层感知机和多分类激活层。如图3所示，本发明中采用一个单层全连接层(FC)的神经网络，紧接着激活函数用于推断各个运动方向类别的后验概率

运动解码模块用于约束隐藏特征h同时表征运动动力学轨迹的初始点，包括线性动力系统LDS、解码单元M，其中，线性动力系统LDS依据隐藏特征h

将隐藏特征h视为动力学轨迹的初始点，解码出的运动轨迹由自治线性动力系统(autonomous LDS)从初始点开始自我演进得出：

其中

如图3所示，解码单元M包括依次连接的递归神经网络(recurrent neuralnetwork，RNN)、全连接层FC以及Tanh激活函数。其中，RNN采用单层非线性RNN(RNN Unit)，线性选择Tanh激活函数(图3中未显示)。

(b)根据源域神经信号样本并采用监督学习方式对预训练模型进行参数优化。

实施例中，为了从PMd和M1等运动皮层的神经信号同时提取包含语义信息(如运动意图方向)和动力学信息(如运动的速度和轨迹等)的隐藏特征到隐藏特征空间，把第一天采集的神经信号视作源域数据并在源域神经信号上进行有监督学习，以优化预训练模型的参数，监督学习时采用源域中的类别标签和实际运动轨迹作为监督信号。

采用监督学习方式对预训练模型进行参数优化时，采用的损失函数包括分类模块输出的运动方向预测结果与真实运动方向标签的交叉熵损失、运动解码模块输出的运动轨迹预测结果与真实运动轨迹标签的重建损失、基于线性动力系统参数的正则化损失。

具体地，重建损失L

正则化损失L

L

其中，||·||表示距离，W表示线性动力系统LDS的参数，正则化损失能够防止线性动力系统LDS估计的运动学特征Z产生极大的结果。

将重建损失L

(c)提取参数优化的源域观测模块辅助域适应观测模块的训练，固定预训练模型参数不变，根据源域神经信号样本和目标域神经信号样本，并采用无监督预适应学习方式对域适应观测模块通过跨域对齐特征空间概率分来进行参数优化。

通过步骤(a)和(b)已经利用源域神经信号(第1天神经信号)训练了预训练模型，但是预训练模型直接应用于对目标域神经信号(第一天后其他多天神经信号)的预测时效果会显著下降。这种神经信号的域漂移问题被认为是脑机接口算法随着时间推移会受到神经组织漂移、神经元死亡、电极阵列漂移等问题的影响。为了解决这个问题，采用无监督域适应方式，对齐漂移前后特征空间的联合概率分布，消除脑机接口的域漂移问题。

实施例中，基于贝叶斯公式把联合概率分布对齐的域适应问题分割为边际分布对齐和条件分布对齐两个子问题。边际分布对齐只考虑观测模块在源域神经信号和目标域神经信号的隐藏特征的边际分布接近，即最小化|P(h

L

其中，φ(·)则表示采用核方法(kernel trick)将隐藏特征映射到再生核希尔伯特空间的映射操作，从实现对非线性变换后的特征空间的对齐，E(·)表示期望，||·||表示距离，在训练过程中，通过最小化L

边际分布对齐仅仅对齐了域之间的特征分布统计量，并没有对齐条件概率分布，即没有对齐语义信息。为了进一步提升模型在目标域的解码准确率，还引入了条件分布对齐约束损失L

其中，k表示运动方向的分类索引，l

条件分布对齐损失L

需要说明的是，目标域只有神经信号没有运动标签，因此为了对齐子空间本引入了分类模块预测的伪标签代替真实标签。但直接用源域上训练的分类模块C得到伪标签，并基于这样不可靠的伪标签进行特征空间对齐很难得到性能的提升甚至可能导致负迁移。因此在对齐前，先对分类模块预测的l

实施例基于L

(d)提取参数优化后的域适应观测模块、分类模块以及运动解码模块组成运动控制模型。

域适应观测模块参数优化后，提取参数优化后的域适应观测模块，参数优化后的预训练模型中分类模块以及运动解码模块组成运动控制模型。该运动能控制模型能够实现对目标域神经信号的运动控制预测。

实施例中，在应用过程中，根据目标域神经信号采用无监督域适应学习方式对域适应观测模块进行参数优化更新，以保证运动控制模型长期稳定的运动控制。

由于运动皮层的潜在动力学特征位于一个长期稳定的流型中长期不变，通过域适应对齐并固定该流型空间，只需要微调预适应观察模块就可以得到长期稳定的神经信号动力学特征，进而实现运动控制模型在长期无标签神经信号的无监督校准。此外，采用联合分布对齐，即同时考虑边际分布对齐和条件分布对齐，在对齐过程中明确考虑了语义信息，保证了运动控制模型在运动控制预测的准确性。

实验例

实验中训练两只成年恒河猴(分别叫Jango和Chewie，后续缩写为J和C)，使用上肢实现八方向运动任务(centre-out task)。过程中猴子被固定在椅子上，正前方放置显示器，猴子控制摇杆来控制二维平面上的光标从初始位置到达终点。实验采用96通道微电极阵列(10×10矩阵排列，4.2×4.2mm尺寸)，阵列被植入猴子大脑皮层运动区PMd和M1和开展上述实验并采集神经信号数据。

实验中，使用数据集中多天数据，具体包括三天的C猴神经信号数据(D1～D3)以及四天的J猴神经信号数据(D1～D4)。原神经信号数据首先进行神经信号数据预处理，对神经信号先进行幅值放大、带通滤波，并用阈值法检测出信号中的尖峰发放。每隔20ms统计该时间段中发放了多少个尖峰，随后将1200ms的信号视作单个完整的运动(trial)过程记录下来。最后对神经信号和运动信号分别进行标准化，保证神经信号数据为均值为零方差为一的标准分布。

实验中，用第一天(D1)的带标签数据进行有监督训练预训练模型，并用后续(D2～Dn)无标签数据进行无监督域适应对齐，直接预测运动信息.

实施例从运动轨迹预测(回归任务)和运动方向预测(分类任务)准确率两个角度去衡量运动控制模型在实际脑信号数据上的效果。预训练模型在第一天神经信号训练后，经过无监督域适应对齐，在回归任务中预测后面多天受试者的肢体运动轨迹，并计算预测的运动轨迹和真实轨迹的决定系数(R

将本发明的运动控制模型和多种神经信号解码方法在同一个数据上进行了对比，对比的结果如表1(c和j是两个受试者Chewie和Jango的缩写)。其中对比的方法包括线性解码器(linear decoder)，长短期记忆网络(LSTM)，Dyer等人(Dyer et al)的方法和对抗域适应方法(WGAN)。最终的结果表明，使用预训练模型(Ours(before)和运动控制模型(Ours(aligned))能够显著提升模型在目标域上回归和分类的准确率，并且相比于多种经典脑机接口算法，运动控制模型的提升最为明显。

表1

实施例还提供了一种基于无监督域适应的长期稳定脑机接口方法，该方法应用上述脑机接口系统，包括以下步骤：

采集目标域神经信号，利用运动控制模型对目标域神经信号进行运动控制，包括：利用域适应观测模块对目标域神经信号进行编码以提取隐藏特征，利用分类模块根据隐藏特征预测运动方向，利用运动解码模块根据隐藏特征经过解码预测运动轨迹；

根据目标域神经信号采用无监督域适应学习方式对域适应观测模块的参数优化更新，以保证运动控制模型长期稳定的运动控制。

该方法的优势在于，能够让只在一天数据上训练的运动控制模型在多天不稳定的神经信号上实现长期稳定的解码。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。