一种基于多尺度特征融合的意识状态分析方法和设备

技术领域

本发明涉及脑机接口技术与电生理事件相关诱发电位的技术领域，特别是涉及一种基于多尺度特征融合的意识状态分析方法和设备领域。

背景技术

我国保守估计有50-100万名患者因颅脑外伤、脑卒中、缺血缺氧性脑病等病陷入昏迷，继而进入长期的意识障碍状态(Disorder of Consciousness,DoC)，即成为传统意义上的“植物人”，并且还在以每年10万名患者的速度增加。虽然现代医学的迅猛发展，这类脑损伤患者的死亡率明显下降，但意识障碍患者逐渐增多，随之带来的一个重大难题就是患者后期的诊断与康复。慢性意识障碍根据意识水平的高低，可以分为最小意识状态(Minimally Consciousness State，MCS)和持续的植物人状态(Vegetative State,VS)两个层次，后者也叫无反应觉醒综合征(Unresponsive Wakefulness Syndrome,UWS)。慢性意识障碍患者往往由于无法交流，常常被延误治疗甚至是误诊，错失了最佳的康复机会。

近年来，脑机接口技术在慢性意识障碍诊疗领域的研究开始逐渐增多。与fMRI技术相比，脑机接口(Brain-Computer Interface,BCI)技术具有相对廉价，设备体积小，容易在临床上应用，脑电数据较容易分析等优势。通过脑机接口设备获取并分析患者的脑电信号(electroencephalograph，EEG)，可以在不依赖患者的行为反应基础之上掌握患者的意识状态，实现意识障碍诊断与评定、预后判断，甚至与意识障碍患者实现交流，成为了今后可以研究的方向。

在众多BCI中，P300-BCI在DoC患者残余意识检测和预后中表现出较为稳定。P300是事件相关电位中的一个正向波形，只有在受试者积极参加检测目标的任务时才会出现，可以作为认知能力的一种可靠测量方法。P300的诱发常常遵循Oddball范式，即由较低概率的靶刺激和较高概率的非刺激组成，通过任务提示语要求被试只对靶刺激由反应。在P300-BCI的刺激材料选择上，常以视觉、听觉或触觉为主，使用单一感官刺激的P300-BCI准确率低，并且需要多次重复任务才能够稳定触发P300响应。目前从基于P300-BCI的临床意识障碍评估来看，使用多感官刺激的P300-BCI(比如视觉+听觉)的准确率比单一感官刺激的P300-BCI要准确得多。

但现有检测意识障碍患者状态的方法匮乏，且大多数方法都会因为患者视觉注意力不集中，难以诱发P300成分导致难以获取导致够多的数据来准确的检测意识结果的问题。

发明内容

因此，本发明提出一种基于多尺度特征融合的意识状态分析方法，用于DoC患者残余意识检测及预后，通过将多尺度卷积神经网络作为特征提取器，将真实特征与样本特征之间的余弦距离作为分类依据，提取了脑电数据在时间与空间维度上的特征信息，能够有效地处理在小样本数据量的情况下实现对患者残余意识水平的准确分类。

本发明是通过如下技术方案实现的：

一方面，本发明提供一种基于多尺度特征融合的意识状态分析方法，其包括：

对受试者反馈的脑电信号进行频域变换，再计算相位角得到包络信号，并根据相位角计算试次间的次间相位一致性；

根据所述脑电信号采集对应的P300信号，对所述P300信号进行多尺度卷积特征融合，得到P300特征；

计算所述P300特征与一样本特征之间的余弦相似度，并与一阈值比较，得到所述P300信号的类别；

根据P300信号的类别和试次间的次间相位一致性，判断受试者残余意识水平。

进一步地，所述根据受试者反馈的脑电信号采集对应的P300信号，对所述P300信号进行多尺度卷积特征融合，得到P300特征；具体包括：

对所述脑电信号进行特征提取，得到P300信号；

对所述P300信号以及包络信号进行空间滤波和非线性激活，得到一特征图output

对output

对output

对output

对output

将输入的output

进一步地，所述对output

其中output

进一步地，在对所述P300信号进行多尺度卷积特征融合前还包括：

将所述包络信号与所述P300信号进行拼接，拼接后的拼接信号进行多尺度卷积融合，得到拼接特征。

进一步地，在训练阶段，对output

r

其中，p

进一步地，计算所述P300特征与一样本特征之间的余弦相似度的具体步骤为：

将训练集中的所有正样本X

其中

V

V

进一步地，所述试次间的次间相位一致性的计算公式为：

其中，a

另一方面，本发明还提供一种基于多尺度特征融合的意识状态检测设备，包括：脑电信号检测装置和意识状态分析系统

视听觉刺激单元：用于将视觉图片和语音同时输出给受试者，所述语音的词语内容与所述视觉图片的物品内容对应；

脑电信号采集单元：用于采集受试者反馈的P300信号根据语音信号计算对应的包络信号；

意识状态分析系统包括：

包络追踪响应模块：用于对受试者反馈的脑电信号进行频域变换，再计算相位角得到包络信号，并根据相位角计算试次间的次间相位一致性；

多尺度卷积特征融合模块：用于根据所述脑电信号采集对应的P300信号，对所述P300信号进行多尺度卷积特征融合，得到P300特征；

信号分类模块：用于计算所述P300特征与一样本特征之间的余弦相似度，并与一阈值比较，得到所述P300信号的类别；

意识分析模块：用于根据P300信号的类别和试次间的次间相位一致性，判断受试者残余意识水平。进一步地，所述多尺度卷积特征融合模块包括：

通道注意力层：用于对所述脑电信号进行特征提取，得到P300信号；

空间卷积层：用于对所述P300信号进行空间滤波和非线性激活，得到一特征图output

时间卷积层：用于对output

特征融合层：用于对output

最大池化层：用于对output

展开与全连接层：用于对output

全连接层：用于将输入的output

另一方面，本发明还提供一种计算机设备包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上任一项所述的一种基于多尺度特征融合的意识状态分析方法的步骤。

另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的一种基于多尺度特征融合的意识状态分析方法的步骤。

本发明基于DoC患者由于自身易疲劳、注意力不集中等原因很难完成长时间的BCI实验，难以诱发P300成分导致难以获取准确的检测意识结果的问题，发明人提出了一种多尺度特征融合的意识状态检测方法，通过将多尺度卷积神经网络作为特征提取器，将真实特征与样本特征之年间的余弦距离作为分类依据，提取了脑电数据在时间与空间维度上的特征信息，能够有效地处理在小样本数据量的情况下实现对患者残余意识水平的准确分类，此外，对采集听觉刺激所产生的包络信息，并计算其试次间的次间相位一致性，患者对听觉刺激产生的意识反应也提取出来，作为视觉刺激分类的进一步验证，进一步提高了分类的准确性，在训练阶段引入dropout处理，防止系统过拟合，提高了系统的准确性。

本发明为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明提供的一种基于多尺度特征融合的意识状态分析方法的流程图；

图2为本发明提供的一种基于多尺度特征融合的意识状态分析系统的结构框图；

图3为本发明提供的另一种基于多尺度特征融合的意识状态分析方法的流程图。

具体实施方式

基于检测意识障碍患者状态的方法匮乏，且大多数方法都会因为患者视觉注意力不集中，难以诱发P300成分导致难以获取导致够多的数据来准确的检测意识结果的问题，本研究认为，如何利用有限的有效数据进行准确的检测受患者意识残余状况是目前需继续解决的问题。请参阅图1和图2，图1为本发明提供的一种基于多尺度特征融合的意识状态分析方法的流程图；图2为一种基于多尺度特征融合的意识状态检测设备的结构框图。

本发明的一种基于多尺度特征融合的意识状态检测设备，由脑电信号检测装置和意识状态分析系统共同执行。其中，脑电信号检测装置执行如下工作：脑电信号检测装置包括视听觉刺激单元和脑电信号采集单元和控制器：

视听觉刺激单元将视觉图片和语音同时输出给受试者，并由脑电信号采集单元采集受试者反馈的P300信号。其中，所述语音的词语内容与所述视觉图片的物品内容对应。控制器根据指令控制视听觉刺激单元和脑电信号采集单元执行相应功能。

在本发明中采用的视听觉刺激单元包括显示器、播放器。其中显示器是一种输出设备，它能够一定的电子文件通过特定的传输设备显示到屏幕上的显示工具，包括阴极射线管显示器，等离子显示器，液晶显示器等种类，播放器用于播放各种格式的数字媒体,如音乐、视频或是DVD等；而脑电信号采集单元为脑机接口，脑机接口是人脑与计算机或其他电子设备之间建立的直接通信和控制通道，通常包括头戴式的脑电帽。

实验开始前首先将脑机接口与受试者进行连接，随后在显示器的中心位置放置了一个可视按钮(显示器与按钮的面积比为1:0.15)。受试者需要佩戴降噪耳机，用于接受听觉刺激。控制器控制的视觉刺激包括10个视觉图片在本发明中视觉图片的内容分别为：牙刷，杯子，床铺，椅子，而听觉刺激包括10个与视觉图片对应的二字词语。每个刺激呈现时长为300毫秒，包括一对语义上相同的视觉图片和口语词语，例如视觉图片“杯子”和口语“bēizī”。此外，一次视觉刺激持续200ms，两个连续视觉刺激之间的间隔是800毫秒。听觉刺激采用等时语音，播放频率是1Hz/词(一个字500ms)。值得注意的是，所有的视听刺激都是单独呈现的，视觉刺激出现在屏幕的同一位置。每个被试者按照block为单位进行数据采集，在实验中每个被试均采集5个block，每个block包含10次trial，一共50个trial。在实验开始时，被试者被要求保持睁眼状态并保持不动。每次block开始前，屏幕中央会显示提示信息。图片序列的呈现以trial为单位进行，每次trial开始时，屏幕上会播放提示语音，提醒被试者关注目标图片并记录其出现的次数(本研究的范式中，目标图片为“牙刷”)。每次trial包含10张图片，其中目标种类和数量均不固定(最多2张目标图片)。每幅图像都呈现在屏幕的中央，呈现速度为每秒1张。如果在采集过程中，被试者出现抽搐、闭眼等影响数据采集的行为，则该trial的数据将被作废。在本发明中采用Compumedics公司的NuAmps便携式放大器(Neuroscan,Compumedics USA)来记录头皮脑电信号，在信号采集过程中，受试者佩戴LT37型的32通道的脑电采集帽。本实验记录32个通道的脑电信号，所有通道的脑电信号均以右耳突为参照。其中“HEOG”与“VEOG”两个通道代表眼球运动，因此在数据处理过程中将其排除在外。脑电采集过程中，所有电极的阻抗值皆为5Ω以下。脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波。将语音信号输入至低通滤波器，提取语音信号的包络信号。

而本发明提供的一种基于多尺度特征融合的意识状态分析方法具体步骤如下：

S10：对所述脑电信号进行频域变换，再计算相位角得到包络信号，并根据相位角计算试次间的次间相位一致性。步骤S10由包络响应追踪模块10执行。

实验中，每个trial包含视听觉刺激，持续时间为10秒。脑电信号首先通过离散傅里叶变换(discrete Fourier transform，DFT)转换到频域信号，频率分辨率为0.1Hz。试次间的次间相位一致性的计算公式如下：

其中，a

S11：根据受试者反馈的脑电信号采集对应的P300信号，对所述P300信号进行多尺度卷积特征融合，得到P300特征。步骤S11由多尺度卷积特征融合模块11执行。

具体地，步骤S11包括：

S11.1：对所述脑电信号进行特征提取，得到P300信号。

S11.2：对所述P300信号进行空间滤波和非线性激活，得到一特征图output

S11.3：对output

S11.4：对output

S11.5：对output

S11.6：对output

S11.7：将输入的output

多尺度卷积特征融合模块10，包括7层，在接下来的叙述中这7层会被标记为10.1至10.7。对应执行步骤S11.1-S11.7。

11.1层为通道注意力层。在脑电信号处理中，由于不同导联之间获取的信息不同，所以不同导联对于特征提取任务的贡献也是不同的，我们使用通道注意力来关注不同导联信息的差异，使模型更注重对任务贡献大的导联。通道注意力层使用3D结构来保留三个维度上的信息。为了从输入的特征图中估计不同导联之间的重要程度，我们使用一个具有一个隐藏层的多层感知机(MLP)来进行特征提取。输入的特征图input

11.2层为空间卷积层，该层的主要目的是提高信号的信噪比并去除冗余的空间信息，主要采用了联合使用空间滤波和非线性激活的方法来实现。该层由一个大小为(1,32)的卷积核组成，其中卷积核的通道数为20，且该卷积核的大小等于电极的个数。卷积步长为[1,1]。

该层使用加权叠加平均和空间滤波来提高信号的信噪比。具体的计算过程如下：

其中f为激活函数，为双曲正切函数(tanh)，

11.3为时间卷积层，该层的目的是通过安排两个并行的卷积层和两个并行的批归一化层来捕获更多的差异特征。两个并行卷积层共有20个卷积核通道，每个卷积核的大小均为[(2，1)，(4，1)]。时间卷积层的计算公式如下：

其中output

该策略可以帮助提取多样的时序数据并增强这些丰富特征的有效性。在训练阶段使用批归一化层来减少内部协变量偏差，避免饱和问题，保证较快的训练速度。

11.4为特征融合层，其使用30.2中的时间卷积层提取的特征图进行组合。该层负责对提取的特征进行串联整合。融合后的特征在保留脑电信号局部信息的同时，包含了更多的全局信息。

11.5为最大池化层，其主要目的为在小样本训练时，通过对特征融合层中得到的特征进行池化，去除冗余特征，保留领域特征，增加感受野，避免过拟合。本模块使用的池化滤波器尺寸为(2，1)。

11.6为展开与全连接层，其作用是将输入样本从多维转换为一维。

在另一个优选的实施例中，为了避免过拟合，提高网络的泛化能力，在训练阶段，该层还采用了dropout算法。本层和dropout层的计算过程见下列公式：

r

其中，p

11.7为全连接层，其接收所有输入样本的各个特征作为输入，并在该层中将其转换为相应的非线性映射输出。特征该层的计算过程如下式所示：

output

其中ω

S20：计算所述P300特征与一样本特征之间的余弦相似度，并与一阈值比较，得到反馈P300信号的类别。步骤S20由信号分类模块20执行。

考虑到采集到的有效P300数据有限，发明人假设分类器应该具有非常简单的归纳偏差。该分类器的假设是：对于正样本(T-P300)和负样本(NT-P300)，都存在样本围绕原型表示聚集的特征，可以描述为二分类。output

这里将训练集中的所有正样本X

其中

output

在这里，余弦距离的物理意义是T-P300波形与输入样本波形之间的相似性，可以用来衡量它们在形状上的相似性，设余弦距离的输出为C(X)，其取值范围为[-1,1]。如果CC(X)的值越接近1，说明输入样本越接近正样本。在物理上，输入样本的形状与正样本的形状更为相似。反之，如果C(X)的值越接近-1，则输入样本与负样本越相似，形状差异越大。因此，单个样本的检测结果可以定义如下：

其中X为待分类样本，C为输出类别。需要注意的是，只计算输入样本与正样本之间的余弦相似度。若C>0，则将X归为正样本。若C≤0，则将X归为负样本。

S30：根据P300信号的类别和试次间的次间相位一致性，判断受试者残余意识水平。步骤S30由意识分析模块30执行。

如果探测到的视听刺激对是视听刺激一致的实际目标，则这个任务正确响应，最后，计算出意识检测的准确率，即正确响应的任务数与在线测试总的任务数的比值，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据下列公式进行卡方检测：

式中，f

发明人在实验过程中使用的是四类脑机接口：一对视听一致的刺激和三对视听不一致的刺激，因此进行40次判定时，在完全概率相等的情况下命中和不命中的次数应该是10和30，为了表明观察次数的显著性，即p≤0.05，在自由度为1时，检验统计量χ

请参照图3，在另一个优选的实施例中，发明人在对P300信号进行多尺度卷积特征融合前，将从脑电信号中提取到的包络信号与脑电信号中的P300信号进行拼接，拼接后的拼接信号进行多尺度卷积融合，得到拼接特征。

在实际测试中，意识障碍患者由于自身易疲劳、注意力不集中等原因很难完成长时间的监测实验。通过特征融合，不同模态的信息可以在输入模型之前进行有效的交互和融合，从而更好地利用多模态数据的互补性和相关性。这种方法可以提供更全面、准确的特征表示，有助于模型更好地理解和判断患者的情绪水平，且由于计算后P300信号和包络信号的尺度一致，因此两者能直接进行拼接。输入至模型后，在拼接后的两个模态中学习信息。

本发明基于DoC患者由于自身易疲劳、注意力不集中等原因很难完成长时间的BCI实验，难以诱发P300成分导致难以获取准确的检测意识结果的问题，发明人提出了一种多尺度特征融合的意识状态检测方法，通过将多尺度卷积神经网络作为特征提取器，将真实特征与样本特征之年间的余弦距离作为分类依据，提取了脑电数据在时间与空间维度上的特征信息，能够有效地处理在小样本数据量的情况下实现对患者残余意识水平的准确分类，此外，对采集听觉刺激所产生的包络信息，并计算其试次间的次间相位一致性，患者对听觉刺激产生的意识反应也提取出来，作为视觉刺激分类的进一步验证，进一步提高了分类的准确性，在训练阶段引入dropout处理，防止系统过拟合，提高了系统的准确性。

基于上述的同一发明构思，本发明还提供一种电子设备，可以是服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。该设备包括一个或多个处理器和存储器，其中处理器用于执行程序实现上述一种基于多尺度特征融合的意识状态分析方法；存储器用于存储可由所述处理器执行的计算机程序。

基于同一发明构思，本发明还提供一种计算机可读存储介质，与前述一种基于多尺度特征融合的意识状态分析方法的实施例相对应，所述计算机可读存储介质其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所记载的一种基于多尺度特征融合的意识状态分析方法的步骤。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。