一种大脑任务负荷识别方法、应用及设备

技术领域

本发明涉及医学检测技术领域，更具体地，涉及一种大脑任务负荷识别方法、应用及设备。

背景技术

大脑中过高或过低的任务负荷会影响人的认知能力，从而导致个体作出错误或不合理的决策。fNIRS(Functional near-infrared spectroscopy，功能性近红外光谱)是一种采集大脑活动时产生内源信号而形成脑功能图像的成像技术，目前已被应用在大脑任务负荷检测领域中，其利用血液的主要成分对600-900nm近红外光良好的散射性，从而获得大脑活动时氧合血红蛋白和脱氧血红蛋白的变化情况，并对所述变化情况作一步的分析处理，从而得到大脑的任务负荷。

现有的基于深度学习和fNIRS数据的任务负荷识别方法，通过提取包括简单最大值、最小值、均值和方差等特征，再将特征作为神经网络的输入，经过神经网络学习和训练后进行分类，得到识别结果。

然而，上述方法忽略了fNIRS信号的空间信息和时间信息，神经网络所输出的分类结果的精度低，会造成任务负荷识别不准确的缺陷。

发明内容

本发明为提高大脑任务负荷识别的准确性，提供大脑任务负荷识别方法、应用及设备。

为解决上述技术问题，本发明的技术方案如下：

第一个方面，本发明提出一种大脑任务负荷识别方法，包括：

利用功能性近红外光源和检测探头对用户处于活动状态时的大脑进行多通道检测，得到M个通道的光强信号，M为正整数；

对所述M个通道的光强信号进行预处理，将光强信号转化为血红蛋白浓度信号；

提取功能性近红外光源、检测探头和通道之间的拓扑信息；

根据所述拓扑信息，构建所述血红蛋白浓度信号的网格图像矩阵；

将所述网格图像矩阵输入任务负荷识别模型进行任务负荷识别，得到大脑任务负荷结果。

第二个方面，本发明还提出一种如第一个方面所述的大脑任务负荷识别方法在康复训练中的应用，包括：

利用功能性近红外光源和检测探头对正在进行康复训练中的用户的大脑进行多通道检测，得到M个通道的光强信号，M为正整数。

对所述M个通道的光强信号进行预处理，将光强信号转化为血红蛋白浓度信号。

提取功能性近红外光源、检测探头和通道之间的拓扑信息。

根据所述拓扑信息，构建所述血红蛋白浓度信号的网格图像矩阵。

将所述网格图像矩阵输入任务负荷识别模型进行任务负荷识别，得到大脑任务负荷结果。

第三个方面，本发明还提出一种计算设备，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如第一个方面所述的大脑任务负荷识别方法所执行的操作。

与现有技术相比，本发明技术方案的有益效果是：本发明利用功能性近红外光源和检测探头对用户处于活动状态时的大脑进行多通道血红蛋白浓度信号，并根据功能性近红外光源、检测探头和通道之间的拓扑信息将多通道血红蛋白浓度信号转换为网格图像矩阵，能够将所有通道的血红蛋白浓度信号联系起来，使得后续的任务负荷识别模型能够学习血红蛋白浓度信号的时间信息和空间信息，保证了任务负荷识别模型的分类的高精度，从而提高了大脑任务负荷识别的准确性。

附图说明

图1为本申请实施例的大脑任务负荷识别方法的流程图。

图2为本申请实施例的由功能性近红外光源、检测探头和通道构成的拓扑图。

图3为本申请实施例的拓扑图映射出的第二网格图像矩阵。

图4为本申请实施例的网格图像矩阵图。

图5为本申请实施例的任务负荷识别模型的网络结构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

下面结合附图和实施例对本发明的技术方案做进一步的说明。

fNIRS技术利用血液的主要成分对600-900nm近红外光良好的散射性，从而获得大脑活动时氧合血红蛋白和脱氧血红蛋白的变化情况。fNIRS的有三个核心概念：光源(S，source)、探头(D，detector)和通道(C，channel)。光源发出近红外光，光线经过头骨折射，被探头接收，此时就能获得光源和探头之间的大脑区域的fNIRS信号，称为通道。

实施例一

请参阅图1，本实施例提出一种大脑任务负荷识别方法，包括以下步骤：

利用功能性近红外光源和检测探头对用户处于活动状态时的大脑进行多通道检测，得到M个通道的光强信号，M为正整数。

对所述M个通道的光强信号进行预处理，将光强信号转化为血红蛋白浓度信号。

提取功能性近红外光源、检测探头和通道之间的拓扑信息。

根据所述拓扑信息，构建所述血红蛋白浓度信号的网格图像矩阵。

将所述网格图像矩阵输入任务负荷识别模型进行任务负荷识别，得到大脑任务负荷结果。

本实施例所提出的大脑任务负荷识别方法，利用功能性近红外光源和检测探头采集用户处于活动状态时的大脑进行多通道血红蛋白浓度信号，并根据功能性近红外光源、检测探头和通道之间的拓扑信息将多通道血红蛋白浓度信号转换为网格图像矩阵，能够将所有通道的血红蛋白浓度信号联系起来，使得后续的任务负荷识别模型能够学习血红蛋白浓度信号的时间信息和空间信息，保证了任务负荷识别模型的分类的高精度，从而提高了大脑任务负荷识别的准确性。

实施例二

本实施例在实施例一提出的大脑任务负荷识别方法作出改进。所述方法包括：

利用功能性近红外光源和检测探头对用户处于活动状态时的大脑进行多通道检测，得到M个通道的光强信号，M为正整数。

本实施例中，采用23个功能性近红外光源和15个检测探头对大脑进行多通道检测，能够得到M个通道的光强信号,M＝47。

在具体实施过程中，通过编写一个“套圈”小游戏，通过设定环的大小来改变游戏难度。用户需要通过游戏手柄控制环来捕捉球。系统在受试者在玩游戏的同时采集其大脑前额叶和运动皮层的fNIRS数据。

对所述47个通道的光强信号进行预处理，将光强信号转化为血红蛋白浓度信号。所述血红蛋白浓度信号包括氧合血红蛋白浓度信号和脱氧血红蛋白浓度信号

在具体实施过程中，使用改进的比尔兰伯特定律将光强信号转化为氧合血红蛋白浓度信号和脱氧血红蛋白浓度信号，具体的表达式如下所示：

其中，t

将所述氧合血红蛋白浓度信号和脱氧血红蛋白浓度信号通过四阶零相位、截止频率为0.3Hz的ButterWorth滤波器进行滤波处理，以去除由呼吸、血压和心跳引起的高频伪信号。

另外，基线校正：需要计算任务期间相对于静息状态(基线)下的氧合血红蛋白浓度变化和脱氧血红蛋白浓度变化，以进行基线校正。

将所述氧合血红蛋白浓度信号和脱氧血红蛋白浓度信号通过滤波器进行滤波处理之后，所述方法还包括：

对所有通道进行归一化处理，其表达式如下所示：

提取功能性近红外光源、检测探头和通道之间的拓扑信息。

本实施例中，所述拓扑信息为以至少一个功能性近红外光源、至少一个检测探头和M个通道构成的拓扑图，M≥1；所述至少一个检测探头接收相邻的至少一个功能性近红外光源形成至少一个通道。如图2所示，本实施例的拓扑图中通过采用23个功能性近红外光源(S

根据所述拓扑信息，构建所述血红蛋白浓度信号的网格图像矩阵。

如图2和3所示，在具体实施过程中，构建所述血红蛋白浓度信号的网格图像矩阵，具体的步骤包括：

在拓扑图中存在47个未缺失的通道，对大脑处于活动状态时的每一时刻，在所述拓扑图中，将47个未缺失的通道对应的检测值

如图4所示，存在检测值

双线性插值法的原理如下所示：

假如想得到未知函数f在点P＝(,y)的值，假设已知函数f在Q

然后在y方向进行插值，得到：

将每一时刻对应的网格图像矩阵按照时序依次分别输入任务负荷识别模型进行任务负荷识别，得到大脑任务负荷结果。

如图5所示，本实施例中，所述任务负荷识别模型包括N个并行的卷积神经网络、一个Transformer Encoder、第一全连接层、第二全连接层和第三全连接层；

所述网格图像矩阵分别输入N个卷积神经网络进行空间特征提取，得到N个包括空间信息的特征图；本实施例中，多个卷积神经网络保证每个时间点提取的空间信息相互独立。

所述N个包括空间信息的特征图经过所述Transformer Encoder进行时间特征提取和拼接处理，得到包括空间信息和时间信息的特征图；

所述包括空间信息和时间信息的特征图依次经过所述第一全连接层、第二全连接层和第三全连接层进行分类处理，得到大脑任务负荷结果。

在具体实施过程中，设三个全连接层的输入维度为a，输出维度为b，则：

第一全连接层：a＝Transformer Encorder输出维度，b＝1024。

第二全连接层：a＝1024，b＝128。

第三全连接层：a＝128，b＝3。

这样，得到大脑任务负荷结果就包括高负荷、中负荷和低负荷三类。

本实施例中，所述任务负荷识别模型的目标函数为交叉熵损失函数，其表达式如下所示：

其中，y

本实施例所提出的大脑任务负荷识别方法，利用功能性近红外光源和检测探头采集用户处于活动状态时的大脑进行多通道血红蛋白浓度信号，并根据功能性近红外光源、检测探头和通道之间的拓扑信息将多通道血红蛋白浓度信号转换为网格图像矩阵，能够将所有通道的血红蛋白浓度信号联系起来，使得后续的任务负荷识别模型能够学习血红蛋白浓度信号的时间信息和空间信息，保证了任务负荷识别模型的分类的高精度，从而提高了大脑任务负荷识别的准确性。

本发明采用目标追踪的任务形式，而不是解谜、记忆的形式对用户进行任务负荷识别，不仅使用前额叶的fNIRS信号，还结合运动皮层的fNIRS信号对任务负荷进行评定，可以在如康复训练等场景中，为其提供一种客观的评定标准。

通过fNIRS数据转换为网格图像矩阵，将所有的通道联系起来，利用卷积神经网络，提取网格图像矩阵的空间信息，让卷积神经网络学习通道之间的关系，并利用双线性插值的方法，针对通道值缺失的情况下进行合理的填充，可以减少识别的错误率。然后将卷积神经网络的输出作为Transformer Encoder的输入，在利用空间特征的同时，又能利用时序特征，提升分类准确度，Transformer Encoder相比其他神经网络能够保证在长序列的分类高精度，而单独使用Transformer Encoder而不是Transformer又能极大降低神经网络的复杂度，保证了任务负荷识别模型的分类的高精度的同时，又提高了计算速度，从而提高了大脑任务识别的效率和准确性。

实施例三

本实施例提出一种如实施例二所述的大脑任务负荷识别方法在康复训练中的应用，包括：

利用功能性近红外光源和检测探头对正在进行康复训练中的用户的大脑进行多通道检测，得到M个通道的光强信号，M为正整数；

对所述M个通道的光强信号进行预处理，将光强信号转化为血红蛋白浓度信号；

提取功能性近红外光源、检测探头和通道之间的拓扑信息；

根据所述拓扑信息，构建所述血红蛋白浓度信号的网格图像矩阵；

将所述网格图像矩阵输入任务负荷识别模型进行任务负荷识别，得到大脑任务负荷结果。

本实施例所提出的大脑任务负荷识别方法在康复训练中的应用，利用功能性近红外光源和检测探头对正在进行康复训练中的用户的大脑进行多通道血红蛋白浓度信号，并根据功能性近红外光源、检测探头和通道之间的拓扑信息将多通道血红蛋白浓度信号转换为网格图像矩阵，能够将所有通道的血红蛋白浓度信号联系起来，使得后续的任务负荷识别模型能够学习血红蛋白浓度信号的时间信息和空间信息，保证了任务负荷识别模型的分类的高精度，从而提高了大脑任务负荷识别的准确性。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。