单通道脑电信号补缺方法、装置、电子设备及存储介质

技术领域

本申请涉及信号处理技术领域，具体涉及一种单通道脑电信号补缺方法、装置、电子设备及存储介质。

背景技术

脑机接口(brain-machine interface,BMI)旨在建立生物神经系统与外界机器之间的直接通信途径。不同类型的神经信号已经被证明在不同的BMI应用。脑电图(EEG)是BMI场景中最常用的电生理信号之一，BMI场景包括例如注意力评价、运动想象、睡眠分期和癫痫检测等场景。然而，脑电图记录过程容易因无线传输丢包、被测对象的意外移动或电极接触不良而损坏，导致信号不完整。数据包丢失、电极脱落等原因，很容易导致脑电信号(EEG)缺失。相关技术中提出了张量补缺方法(tensor completion methods,TCM)，将记录的脑电信号通过多通道张量进行脑电信号补缺，对脑电信号的补缺效果不佳，补缺后的脑电信号准确度不高。

发明内容

本申请的目的是提供一种单通道脑电信号补缺方法、装置、电子设备及存储介质，以解决相关技术中存在的将记录的脑电信号通过多通道张量进行脑电信号补缺，对脑电信号的补缺效果不佳，补缺后的脑电信号准确度不高的问题。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种单通道脑电信号补缺方法，包括：

获取原始脑电信号；

对原始脑电信号的缺失点进行填补，得到缺失点填补后的脑电信号；

将所述缺失点填补后的脑电信号输入到级联Transformer模型中进行处理，得到单通道脑电信号补缺结果。

在本申请的一些实施例中，所述对原始脑电信号的缺失点进行填补，得到缺失点填补后的脑电信号，包括：

基于距离相关损失函数，通过序列到序列模型学习生成对应于缺失点的填补点；

利用所述填补点填补对应的缺失点，得到所述缺失点填补后的脑电信号。

在本申请的一些实施例中，所述填补点包括零填补点、随机填补点或EEG填补点。

在本申请的一些实施例中，所述级联Transformer模型包括依次连接的两级Transformer模型；

所述Transformer模型包括依次连接的第一线性层、编码器组合、依次连接的解码器组合、第二线性层和Tanh层；

所述编码器组合包括依次连接的第一数目个编码器；

所述解码器组合包括依次连接的第一数目个解码器；

所述第一数目个解码器均与所述编码器组合中的最后一个编码器相连接。

在本申请的一些实施例中，所述编码器包括依次连接的多头自注意力模块、第一归一化模块、前馈模块和第二归一化模块；

所述多头自注意力模块包括查询向量、键向量和值向量的函数；

所述查询向量、键向量和值向量分别为所述多头自注意力模块的输入张量与第一训练权重、第二训练权重和第三训练权重的乘积。

在本申请的一些实施例中，所述解码器包括依次连接的第一个多头自注意力模块、第一归一化模块、第二个多头自注意力模块、第二归一化模块、前馈模块和第三归一化模块；

所述多头自注意力模块包括查询向量、键向量和值向量的函数；

所述查询向量、键向量和值向量分别为所述多头自注意力模块的输入张量与第四训练权重、第五训练权重和第六训练权重的乘积。

在本申请的一些实施例中，所述编码器和/或所述解码器中分别插入有多个short-cut。

在本申请的一些实施例中，所述两级Transformer模型中设置有相同的损失函数。

根据本申请实施例的另一个方面，提供一种单通道脑电信号补缺装置，包括：

获取模块，用于获取原始脑电信号；

填补模块，用于对原始脑电信号的缺失点进行填补，得到缺失点填补后的脑电信号；

处理模块，用于将所述缺失点填补后的脑电信号输入到级联Transformer模型中进行处理，得到单通道脑电信号补缺结果。

根据本申请实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述任一项的单通道脑电信号补缺方法。

根据本申请实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述任一项的单通道脑电信号补缺方法。

本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果：

本申请实施例提供的单通道脑电信号补缺方法，获取原始脑电信号，对原始脑电信号的缺失点进行填补，得到缺失点填补后的脑电信号，将所述缺失点填补后的脑电信号输入到级联Transformer模型中进行处理，得到单通道脑电信号补缺结果，对脑电信号的补缺效果较好，补缺后的脑电信号准确度高，并且补缺结果的归一化均方根误差较低，克服了相关技术中通过多通道张量进行脑电信号补缺，对脑电信号的补缺效果不佳，补缺后的脑电信号准确度不高的缺陷。

本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请的一个实施例的单通道脑电信号补缺方法流程图；

图2示出了基本Transformer的结构框图。

图3示出了本申请一个实施例的级联Transformer的数据流示意图。

图4示出了不同缺失百分比、位置和掩模方法下NRMSE的示意图。

图5示出了基本Transformer与级联Transformer的NRMSE差异图。

图6示出了不同损失加权因子下的结果图。

图7示出了本申请一个实施例的单通道脑电信号补缺装置结构框图。

图8示出了本申请一个实施例的电子设备结构框图。

图9示出了本申请一个实施例的计算机可读存储介质示意图。

本申请的目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

如图1所示，本申请的一个实施例提供了一种单通道脑电信号补缺方法，包括以下步骤：

S10、获取原始脑电信号。

S20、对原始脑电信号的缺失点进行填补，得到缺失点填补后的脑电信号。

在一些实施方式中，对原始脑电信号的缺失点进行填补，得到缺失点填补后的脑电信号，包括：基于距离相关损失函数，通过序列到序列模型学习生成对应于缺失点的填补点；利用所述填补点填补对应的缺失点，得到所述缺失点填补后的脑电信号。

在一些实施方式中，填补点包括零填补点、随机填补点或EEG填补点。

S30、将所述缺失点填补后的脑电信号输入到级联Transformer模型中进行处理，得到单通道脑电信号补缺结果。

在一些实施方式中，级联Transformer模型包括依次连接的两级Transformer模型；所述Transformer模型包括依次连接的第一线性层、编码器组合、依次连接的解码器组合、第二线性层和Tanh层；所述编码器组合包括依次连接的第一数目个编码器；所述解码器组合包括依次连接的第一数目个解码器；所述第一数目个解码器均与所述编码器组合中的最后一个编码器相连接。

在一些实施方式中，编码器包括依次连接的多头自注意力模块、第一归一化模块、前馈模块和第二归一化模块；所述多头自注意力模块包括查询向量、键向量和值向量的函数；所述查询向量、键向量和值向量分别为所述多头自注意力模块的输入张量与第一训练权重、第二训练权重和第三训练权重的乘积。

在一些实施方式中，解码器包括依次连接的第一个多头自注意力模块、第一归一化模块、第二个多头自注意力模块、第二归一化模块、前馈模块和第三归一化模块；所述多头自注意力模块包括查询向量、键向量和值向量的函数；所述查询向量、键向量和值向量分别为所述多头自注意力模块的输入张量与第四训练权重、第五训练权重和第六训练权重的乘积。

在一些实施方式中，编码器和/或解码器中分别插入有多个short-cut。

在一些实施方式中，两级Transformer模型中设置有相同的损失函数。

在一些实施方式中，单通道不完整脑电信号段x可定义为

其中{nmissing}是所有缺失点的索引集，符号xeeg代表完整真实的脑电信号段，符号xmask代表缺失点的填补值，通常设置为常数0。

对于给定的不完整的EEG信号段，单通道脑电信号补缺任务可定义为

其中xgenerate代表具有权重W和最优权重W

采用式(3)中所示的RMSE来评估真实EEG点与生成的EEG点之间的距离，该距离可由其他距离测量(例如L1损失)替代。

根据式(1)和(2)，可以用序列到序列模型处理EEG信号补缺任务。将输入信号和目标输出分别定义为x和x

该模型在距离相关损失函数(如均方误差(MSE)损失)下，可以根据x上的未填补点学习生成填补EEG点，均方误差(MSE)损失定义为

其中，N是EEG信号段的长度。

级联Transformer架构如图1所示。式(5)所代表的自注意力机制是Transformer的关键部分。

d

其中W

图2中的多头自注意力层是h个自注意力模块的集合，其中h是头部的数量。如图2所示，Transformer由多个编码器和解码器组成。

每个编码器中有一个多头自注意力模块和一个前馈模块。每个解码器由两个多头自注意力模块和一个前馈模块组成。前馈模块包含两个线性层。为了增强训练过程中的鲁棒性，在编码器和解码器中分别插入有多个short-cut。

当涉及到数据流时，每个编码器处理前一层的输出，而每个解码器处理前一个层的输出和最后一个编码器的输出。在本实施例中，编码器数量和解码器数量均设置为6。查询向量、键向量和值向量的大小都选择为16。考虑到EEG信号序列的固有顺序，去除了原始Transformer中的位置编码层，而将嵌入层替换为线性层。为了生成具有负值的更真实的EEG，将原始Transformer中的Softmax层替换为Tanh层。

图3示出了由两个基本Transformer模型组成的级联Transformer架构。当执行EEG信号补缺任务时，用0填补缺失点。整个EEG信号段被馈入第一级Transformer。第一级Transformer生成粗略估计xstage1_out。

由于x的非缺失部分是可用的，因此第二级Transformer的输入可以表示为

与式(1)中的x(第一级Transformer的输入)相比，因为缺失指标的值与目标EEG信号更相似，xstage2_in有望实现更好的补缺。

根据式(2)，针对真实EEG信号和生成信号之间的缺失点计算的RMSE对于评估性能非常重要。然而，式(4)中的普通MSE损失同等对待所有输出点。损失函数能够确保该模型侧重于在填补的索引上生成真实的EEG。尽管未填补索引上生成的点不会被使用，但这些点的生成质量仍然很重要，因为它们提供了缺失点所需的必要边界信息。

为了解决这一问题，设置一个重新加权的MSE损失函数：

其中α是加权因子。当α设为1时，加权损失等于MSE损失。当α增加时，模型更关注缺失点。

本实施例利用式(9)定义的NRMSE，其中RMSE由EEG通道的范围归一化为

为了评估生成信号的平滑度，频域NRMSE(FDNRMSE)定义为

其中F是归一化EEG序列的频谱。

K是当EEG信号段的长度为100时，典型值为50的频谱的总点数，当EEG信号段的长度为100时频谱分辨率为1Hz。当需要更高的频谱分辨率时，可以使用具有更多点的DFT/FFT。

采用本申请实施例的方法进行实验，“Sleep-EDF-v2013”的前10名参与者的前10晚被招募为数据集，以评估所提出的方法。睡眠EDF为每个参与者至少包含一个整晚的脑电图，这提供了足够的数据来训练模型，如Transformer。

本实施例使用了100Hz采样的Fpz-Cz通道。在EEG信号补缺过程中，有几个因素很重要，例如缺失点的数量、缺失点的位置和缺失点的填补方法。将EEG信号片段长度固定为1秒(即100点)，并调查了1、5、10、20和50个缺失点的数量。缺失点的位置分别设置在1s EEG信号段的开始部分、中间部分和结束部分。本实验测试了三种不同的填补，即零填补点、随机填补点和EEG填补点。

随机填补点将缺失点设置为EEG信号范围内的均匀分布，而EEG填补点用其相邻片段填充缺失点。上述不同设置的NRMSE如图4所示。可以看出，当缺失点数增加时，补缺任务变得更困难，导致NRMSE变差。最好在缺失点之前和之后使用短段，而不是仅在一侧使用长段。

至于不同填补的效果，图4表明零填补点足以使模型生成更真实的EEG。缺失位置被设置为中间位置，带有零填补点，以评估本实施例的级联架构。

基本Transformer和级联Transformer在不同缺失点百分比下的NRMSE差异如图5所示。级联操作可使50次试验中的48次产生有益效果，平均NRMSE降低2.8％。

与基本Transformer的结果相比，级联结构产生的信号更接近真实的EEG信号。为了调查损失加权对补缺结果的影响，随机选择了五名受试者，权重系数α参照式(8)，从1到11。缺失点的百分比选择为5和10。

图6显示了在不同加权因子下整个EEG信号段和缺失部分的平均NRMSE。随着权重因子α的增加，整个EEG信号段的平均NRMSE增加，而缺失指标的平均NRMS E减少，因为更多的注意力集中在缺失点上。α值从1增加到2时，缺失指数的平均NRMSE下降约8.5％。当α大于2时，平均NRMSE趋于平滑，最大下降百分比仅为10.9％。

考虑到欠拟合的风险，在进一步的实验中，损失加权因子α被选择为2。与最先进的RMSE、NRMSE和FD-NRMSE进行比较，缺失点数量不同，如表I所示。

当丢失点的百分比在1％到50％之间时，仅利用单通道EEG，所提出的方法实现了0.026到0.063的NRMSE，这优于自动编码器模型。STDC以低于3.03％的缺失点百分比达到最低的NRMSE。然而，当一个部分中遗漏了更多的分数时，没有评估结果。此外，所提出的方法显示FD-NRMSE为0.076至0.389，可在未来的研究中进行比较。

本申请实施例提出了一种级联Transformer结构和单通道EEG补缺的损耗加权方法，其NRMSE分别降低了2.8％和8.5％。

本架构的NRMSE为0.026至0.063，缺失点的百分比为1％至50％，与最先进的多通道EEG补缺方法一致。为了进行更公平和多样化的跨数据集比较，本申请实施例还采用了FD-NRMSE。

本申请实施例中，采用级联Transformer结构，通过单通道EEG补缺的损耗加权，大大降低了归一化均方根误差(NRMSE)。由于缺失点的百分比在1％至50％之间，本申请实施例所提出的方法，得到的结果的NRMSE较低，效果较好，比多通道脑电信号补缺方法所达到的补缺效果更好。

本申请实施例提供的单通道脑电信号补缺方法，获取原始脑电信号，对原始脑电信号的缺失点进行填补，得到缺失点填补后的脑电信号，将所述缺失点填补后的脑电信号输入到级联Transformer模型中进行处理，得到单通道脑电信号补缺结果，对脑电信号的补缺效果较好，补缺后的脑电信号准确度高，并且补缺结果的归一化均方根误差较低，克服了相关技术中通过多通道张量进行脑电信号补缺，对脑电信号的补缺效果不佳，补缺后的脑电信号准确度不高的缺陷。

如图7所示，本申请的另一个实施例提供了一种单通道脑电信号补缺装置，包括：

获取模块，用于获取原始脑电信号；

填补模块，用于对原始脑电信号的缺失点进行填补，得到缺失点填补后的脑电信号；

处理模块，用于将所述缺失点填补后的脑电信号输入到级联Transformer模型中进行处理，得到单通道脑电信号补缺结果。

在一种实施方式中，填补模块包括：

填补点生成单元，用于基于距离相关损失函数，通过序列到序列模型学习生成对应于缺失点的填补点；

填补单元，用于利用所述填补点填补对应的缺失点，得到所述缺失点填补后的脑电信号。

在一种实施方式中，填补点包括零填补点、随机填补点或EEG填补点。

在一种实施方式中，级联Transformer模型包括依次连接的两级Transformer模型；所述Transformer模型包括依次连接的第一线性层、编码器组合、依次连接的解码器组合、第二线性层和Tanh层；所述编码器组合包括依次连接的第一数目个编码器；所述解码器组合包括依次连接的第一数目个解码器；所述第一数目个解码器均与所述编码器组合中的最后一个编码器相连接。

在一种实施方式中，编码器包括依次连接的多头自注意力模块、第一归一化模块、前馈模块和第二归一化模块；

所述多头自注意力模块包括查询向量、键向量和值向量的函数；

所述查询向量、键向量和值向量分别为所述多头自注意力模块的输入张量与第一训练权重、第二训练权重和第三训练权重的乘积。

在一种实施方式中，解码器包括依次连接的第一个多头自注意力模块、第一归一化模块、第二个多头自注意力模块、第二归一化模块、前馈模块和第三归一化模块；所述多头自注意力模块包括查询向量、键向量和值向量的函数；所述查询向量、键向量和值向量分别为所述多头自注意力模块的输入张量与第四训练权重、第五训练权重和第六训练权重的乘积。

在一种实施方式中，编码器和/或所述解码器中分别插入有多个short-cut。

在一种实施方式中，两级Transformer模型中的第二级Transformer模型设置有损失函数。

本申请实施例提供的单通道脑电信号补缺装置，获取原始脑电信号，对原始脑电信号的缺失点进行填补，得到缺失点填补后的脑电信号，将所述缺失点填补后的脑电信号输入到级联Transformer模型中进行处理，得到单通道脑电信号补缺结果，对脑电信号的补缺效果较好，补缺后的脑电信号准确度高，并且补缺结果的归一化均方根误差较低，克服了相关技术中通过多通道张量进行脑电信号补缺，对脑电信号的补缺效果不佳，补缺后的脑电信号准确度不高的缺陷。

本申请另一个实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述任一实施方式所述的单通道脑电信号补缺方法。

如图8所示，电子设备10可以包括：处理器100，存储器101，总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接；存储器101中存储有可在处理器100上运行的计算机程序，处理器100运行该计算机程序时执行本申请前述任一实施方式所提供的方法。

其中，存储器101可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还可以包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器101用于存储程序，处理器100在接收到执行指令后，执行该程序，前述本申请实施例任一实施方式揭示的方法可以应用于处理器100中，或者由处理器100实现。

处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，可以包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请另一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述任一实施方式的单通道脑电信号补缺方法。参考图9所示，其示出的计算机可读存储介质为光盘20，其上存储有计算机程序(即程序产品)，该计算机程序在被处理器运行时，会执行前述任意实施方式所提供的方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示例一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本申请实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。