基于张量化频空注意力域适应网络的跨时段脑纹识别方法

技术领域

本发明属于生物特征识别领域中的脑电信号识别领域，具体涉及一种基于张量化频空注意力域适应网络的跨时段脑纹识别方法，具体是引入一个基于张量化频空注意力的多源域适应网络并提取成对源域目标域间可迁移特征和多个域之间的交互信息，从而挖掘稳定可靠的脑电身份特征进行无监督的分类。

背景技术

生物特征识别依赖于个人特征，在身份认证系统中起着关键作用。尽管物理生物特征识别，如面部识别和指纹识别，已在现实生活中广泛应用，但精心伪造或秘密复制的潜在危险仍然不可避免。除物理生物特征外，脑电信号(EEG)记录的脑活动被提出作为一种新的认知生物特征，满足基本身份识别要求。此外，只有活着的个体才能提供大脑活动的信号，而这些信号不受用户的控制。这意味着用户的身份信息不能被故意泄露或窃取，使得基于脑电图的生物识别技术适用于安全性要求高的应用。

可靠稳定的脑电身份特征是基于脑电的生物特征识别的基础。实际上，在大量的研究中采用的是传统的机器学习方法，严重需要专业知识来提取特征，总是不足以具有良好的性能。近年来，由于深度学习能够捕获高层特征和潜在依赖关系，深度学习在解码EEG识别特征方面引起了相当大的关注。通常，各种类型的深度学习方法，如卷积神经网络(CNN)、循环神经网络(RNN)和图卷积神经网络(GCNN)被证明可以从脑电信号中获取时间、频率和空间身份鉴别特征。

受阻抗、电极位置微小位移和被试状态变化等因素的影响，不同会话间的脑电信号不稳定。因此，尽管取得了这些重大进展，现实世界场景下基于跨时段的生物识别仍然具有挑战性。以往的研究大多集中在时段或混合多时段数据，忽略了多个训练时段脑电数据之间的分布差异。直观地说，即使在单个源域(训练时段)和目标域(测试时段)数据之间，也不容易消除域不变表示提取的偏移，多个源域的更大程度的不匹配可能会导致不令人满意的性能。

为了避免多源域间域偏移的影响，脑电信号多源域自适应方法分别最小化源域和目标域之间的差异。事实上，用不同源域捕获的域不变特征代表了来自多个视图的稳定信息，并将更合适的信息传递到目标域。然而，每个分布对齐计算出的域不变特征会受到涉及的源域的影响，并且无法从多个源域的共同关系中获益。

针对这些问题，本发明提出一种基于张量化频空注意力域适应网络的跨时段脑纹识别方法(TSFAN)来捕获跨时段稳定的EEG身份特征。具体来说，将每一对源域和目标域数据分别映射到不同的时间特征空间。然后，设计了TSFAN的核心思想——基于张量的注意力，对源域和目标域的频空注意力进行张量化，得到域不变的空频特征，这些自然有助于源内可转移信息和复杂的源间交互。考虑到维数灾难，进一步采用低秩Tucker格式的张量，使TSFAN能够在域的数量上线性扩展。

发明内容

本发明的目的是针对现有技术的不足，提出基于张量化频空注意力域适应网络的跨时段脑纹识别方法。该方法主要构建基于多源域适应的张量化频空注意力网络，在成对缓解源域和目标域数据分布差异的同时充分利用不同域之间的交互相关性。

一种基于张量化频空注意力域适应网络的跨时段脑纹识别方法，包括以下步骤：

步骤(1)、预处理原始脑电数据；

1-1在相同实验范式下，采集多名被试在不同时间段受外部刺激产生的脑电数据；

1-2为除去外部设备及肌电等因素的干扰，利用巴特沃兹滤波器对原始脑电数据进行滤波，再进行快速傅里叶变换(Short-time Fourier Transform，STFT)；

1-3截取步骤1-2处理得到的脑电数据，对相应的脑电样本数据打上所属被试的标签；

1-4将步骤1-3处理后得到的脑电样本数据按比例划分成训练集和测试集，其中训练集数据包含K个时段数据，即K个源域，K≥2；测试集作为目标域；

步骤(2)、构建基于张量化频空注意力域适应网络模型，并对其进行训练和测试；

基于张量化频空注意力域适应网络模型包括K个结构相同的特定域特征提取网络、1个张量化频空注意力网络，每个特定域特征提取网络包含多尺度一维卷积层、拼接层、最大池化层、融合层、频空卷积层；其中多尺度一维卷积层包括多个并行的不同尺度的一维卷积；频空卷积层包括依次串联的频域一维卷积和空间域一维卷积；

所述多尺度一维卷积层的输入为某个源域数据和目标域数据，其输出至拼接层；

所述拼接层将接收到的多个不同尺度特征进行拼接，得到源域脑纹时域特征Zt

所述最大池化层将接收到的特征在时间维度进行降维处理，然后输出至张量化频空注意力网络；

所述张量化频空注意力网络接收到K个特定域特征提取网络的最大池化层输出的特征，将上述特征进行交互处理，得到包含特征间交互相关性的源域频空注意力Q

所述张量化频空注意力网络利用两个全连接层对K个特定域特征提取网络输出的特征实现非线性映射，得到源域频空注意力Q

Q

Q

其中，F

将公式(1)中全连接层参数

/>

其中

所述融合层将接收到的源域脑纹时域特征Zt

所述频空卷积层将接收到的时域特征Zt’

步骤(3)、构建用于脑纹识别的分类器，并对其进行训练和测试；

将步骤2输出的时频空特征Z

步骤(4)、利用训练测试好的基于张量化频空注意力域适应网络模型和用于脑纹识别的分类器实现跨时段脑纹识别。

作为优选，步骤1-2利用巴特沃兹滤波器对原始脑电数据进行滤波具体是将脑电数据降采样到250Hz，利用巴特沃兹滤波器对原始脑电数据进行0～75Hz的滤波处理。

作为优选，步骤1-2所述快速傅里叶变换具体是将滤波处理后的信号x进行短时傅里叶变换，以提取时频特征：

采用一个时间有限的窗函数h(t)，假定非平稳信号x在一个时间窗内平稳，通过窗函数h(t)在时间轴上的移动，对信号x进行逐段分析得到信号的一组局部“频谱”；信号x(τ)的短时傅里叶变换定义为：

其中STFT(t，f)表示信号x(τ)在时间t处的短时傅里叶变换，h(τ-t)为窗函数，f表示频率。

作为优选，所述融合层具体是：

作为优选，所述用于脑纹识别的分类器的损失函数

其中θ

作为优选，基于张量化频空注意力域适应网络模型和用于脑纹识别的分类器对的总损失函数

其中

本发明的另一个目的是提供跨时段脑纹识别装置，包括：

脑电数据预处理模块，用于对采集到的不同时段脑电数据进行滤波、快速傅里叶变换；

训练测试好的基于张量化频空注意力域适应网络模型，用于对脑电数据预处理模块输出的不同时段脑电数据进行特征提取，获取源域时频空脑纹特征Z

训练测试好的用于脑纹识别的分类器，对源域时频空脑纹特征Z

本发明的又一个目的是提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的方法。

本发明的再一个目的是提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述的方法。

本发明的有益效果是：

本发明提出联合捕获域不变特征的源内可迁移信息和跨源交互，以缓解全局分布对齐引起的判别能力下降，提出了一种基于张量的注意力机制，以低秩Tucker格式对特定领域的注意力进行张量化，使其在多源视图之间相互作用，而不受维度灾难的影响。本发明方法有望作为脑纹识别应用在具有高度保密性质的生物识别技术。

附图说明

图1为本发明提出的脑纹识别模型流程图；

图2为本发明提出的张量化频空注意力域适应网络架构图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清晰，以下结合本发明的技术方案和附图作进一步详细描述：

本发明涉及一种张量化频空注意力域适应网络的跨时段脑纹识别方法，其流程图如图1所示。模型架构图如图2所示，具体由两个模块组成：(1)源内可迁移特征学习，利用时间特征提取器和空间频率特征提取器进行多源域自适应，以获取每个成对源域和目标域的域不变特征；(2)张量化频空注意力，用于模拟复杂的源间相互作用。整个体系结构是精心设计的，以探索跨会话的稳定脑电图识别特征。

步骤1、预处理原始脑电数据

1)原始脑电信号含有的噪声频率通常低于0.5Hz或高于50Hz，为除去脑电采集设备造成的工频干扰及被试的肌电干扰，将脑电数据降采样到250Hz，利用巴特沃兹滤波器对原始脑电数据进行0～75Hz的滤波处理；

2)将操作1)输出的信号x进行短时傅里叶变换，以提取时频特征。采用一个时间有限的窗函数h(t)，假定非平稳信号x在一个时间窗内平稳，通过窗函数h(t)在时间轴上的移动，对信号x进行逐段分析得到信号的一组局部“频谱”，本方案的具体窗口大小为0.5s。信号x(τ)的短时傅里叶变换定义为：

其中STFT(t，f)表示信号x(τ)在时间t处的短时傅里叶变换，其中h(τ-t)为窗函数，f表示频率。

3)采用15s的时间窗截取2)处理得到的脑电数据，并对相应的脑电样本数据打上所属被试的标签；

4)将3)处理后得到的脑电样本数据按比例划分成训练集

步骤2、构建基于张量化频空注意力域适应网络模型；

基于张量化频空注意力域适应网络模型包括K个结构相同的特定域特征提取网络、1个张量化频空注意力网络，每个特定域特征提取网络包含多尺度一维卷积层、拼接层、最大池化层、融合层、频空卷积层；其中多尺度一维卷积层包括多个并行的不同尺度的一维卷积；频空卷积层包括依次串联的频域一维卷积和空间域一维卷积；

所述多尺度一维卷积层的输入为某个源域数据和目标域数据，其输出至拼接层；

所述拼接层将接收到的多个不同尺度特征进行拼接，得到源域脑纹时域特征Zt

所述最大池化层将接收到的特征在时间维度进行降维处理，然后输出至张量化频空注意力网络；

所述张量化频空注意力网络接收到K个特定域特征提取网络的最大池化层输出的特征，将上述特征进行交互处理，得到包含特征间交互相关性的源域频空注意力Q

所述张量化频空注意力网络利用两个全连接层对K个特定域特征提取网络输出的特征实现非线性映射，得到源域频空注意力Q

Q

Q

其中，F

将公式(1)中全连接层参数

其中

所述融合层将接收到的源域脑纹时域特征Zt

/>

所述频空卷积层将接收到的时域特征Zt’

步骤3、构建用于脑纹识别的分类器；

将步骤2输出的时频空特征展平，通过全连接层和Softmax激活函数，计算样本属于每个类别的概率，分类器的损失函数定义为

其中θ

步骤4、训练网络模型

采用步骤1.4获得的训练集，对步骤2至步骤3构建的模型进行梯度反向传播优化损失函数，通过步骤1.4获得的验证集保存最佳模型，用于测试。损失函数表示为：

其中

步骤7、在多任务身份识别数据集上验证本方案的有效性，其中包含30名被试N＝30，将通过留第一个时段和最后一个时段数据作为测试这两种数据划分方式进行验证，与现有的域合并和多源域方法进行对比实验，结果如表1所示。验证结果表明，本发明提出的模型能够有效提取不同时段稳定的的脑纹特征。

表1模型在跨时段身份识别数据集上的准确率和等错误率

/>