一种基于脑波音乐的疲劳检测方法及系统

技术领域

本发明属于疲劳状态研究技术领域，具体涉及一种基于脑波音乐的疲劳检测方法及系统。

背景技术

疲劳是指高强度或长时间连续工作而产生的工作效能降低的状态，属于一种自然的防卫反应，是一种主观的不适感觉。主要分为两大类：生理疲劳和心理疲劳。生理疲劳是指当工作活动主要由身体肌肉承担时所产生的疲劳，心理疲劳是指当肌肉工作强度不大但因工作中紧张程度较大或工作单调所产生的疲劳，主要表现为注意力涣散、思维迟钝、记忆下降、情绪烦躁等。疲劳感被认为起源于下部大脑的网状激活系统,肌肉骨骼结构可能已经与适当的大脑结构共同进化，因此整个单元以建设性和适应性方式共同发挥作用。

疲劳的缓解和干预方面，已有使用运动干预、教育干预以及行为疗法干预的方法降低疲劳感。而对于特定工作环境中的人，例如军人、消防员、长途驾驶员，当他们处于疲劳状态时，并不能通过足够时间的休息来改善疲劳状态，所以我们需要对该类人群提供一种便捷的疲劳缓解方式，上述传统干预手段存在耗时长、操作不便等问题。近几年发展迅速的脑波音乐在音乐治疗领域具有重大作用。根据脑电与音乐均遵循的无标度法则，将脑电信号一个事件映射为一个脑波音乐的音符，其中脑电信号的振幅映射为音高，脑电信号的时间长度映射为音长，脑电信号的平均功率映射为音强，音色一般选择钢琴，由此产生无标度脑波音乐，这种脑波音乐由生理信号直接翻译而来，可能对生理状态调控具有积极作用(图1)。

基于脑波音乐的反馈系统作为一种新型的便捷的缓解设备，有望成为疲劳的即时干预方式之一。脑波音乐是一种由人类脑电图转换成的音乐，包含了丰富的关于大脑活动的信息，用这种音乐配合便携式设备对疲劳人群给予反馈能起到比较好的作用。

发明内容

有鉴于此，本发明的目的之一在于提供一种基于脑波音乐的疲劳检测方法，该方法能及时检测疲劳程度并实时转化为具有缓解作用的脑波音乐。

为实现上述目的，本发明的技术方案为：一种基于脑波音乐的疲劳检测方法，包括以下步骤：

接收脑电信号，并将所述脑电信号转换为脑电数字信号；

根据预设第一时间间隔接收所述脑电数字信号，并计算所述第一时间间隔内的所述脑电数字信号的疲劳指标进行疲劳等级划分；

根据所述第一时间间隔内获得的所述脑电数字信号的幅值定义音高，并根据疲劳分级的等级定义音长；

通过所述音高与所述音长加以乐器音色获得脑波音乐。

进一步地，所述疲劳等级包括：不疲劳、轻度疲劳、中度疲劳、重度疲劳。

进一步地，还包括步骤：

提取所述第一时间间隔内获得的所述脑电数字信号的特征，所述特征包括：主要频率、平均能量，α波比例，模式变化、振幅；

根据所述特征确定音高、音长、音量，并加入乐器音色获得脑波音乐。

进一步地，通过两个内置的干电极的导脑电采集脑电信号。

进一步地，还包括步骤：

播放所述脑波音乐，并对播放所述脑波音乐后的脑波信号进行检测，分析是否降低疲劳等级。

本发明的目的之二在于提供一种基于脑波音乐的疲劳检测系统，该系统可以基于脑电波生成脑波音乐以反馈用户目前的疲劳状态。

为实现上述目的，本发明的技术方案为：一种基于脑波音乐的疲劳检测系统，包括：

脑电采集模块，用于接收脑电信号，并将脑电信号转换为脑电数字信号；

信号收发模块，与所述脑电采集模块相连，用于接收脑电数字信号并发送；

检测反馈模块，与所述信号收发模块相连，用于实时根据所述信号收发模块发送的脑电数字信号生成脑波音乐；其中，检测反馈模块包括：疲劳分级单元，实时音乐参数单元、脑波音乐生成单元；

疲劳分级单元，用于接收在预设的第一时间间隔内的所述脑电数字信号，并通过计算所述第一时间间隔内的所述脑电数字信号的疲劳指标进行疲劳等级划分；

实时音乐参数单元，与所述疲劳分级单元相连，用于根据所述第一时间间隔内获得的所述脑电数字信号的幅值定义音高，并根据疲劳分级的等级定义音长；

脑波音乐生成单元，与所述实时音乐参数单元相连，用于接收所述音高与音长并在所述音高与所述音长上加以乐器音色获得脑波音乐。

进一步地，所述疲劳等级包括：不疲劳、轻度疲劳、中度疲劳、重度疲劳。

进一步地，所述疲劳分级单元包括LDA疲劳分类器，用于离线疲劳模型训练，结合alpha2/beta2、(alpha+theta)/beta两项功率谱密度的比值为疲劳指标，并用于离线疲劳模型训练后对所述第一时间间隔内的所述脑电数字信号的疲劳指标进行疲劳等级划分。

进一步地，所述实时音乐参数单元包括特征提取板块、映射板块，所述特征提取板块用于提取所述第一时间间隔内获得的所述脑电数字信号的特征，所述特征包括：主要频率、平均能量，α波比例，模式变化、振幅；

所述映射板块用于根据所述特征提取板块提取的所述特征映射音乐的参数。

进一步地，还包括疲劳状态检测模块，用于在所述脑波音乐播放后，接收所述脑电信号采集模块发送的脑电数字信号，分析得到是否降低疲劳等级。

与现有技术相比，本发明具有如下优点：

本发明提供一种基于脑波音乐的疲劳检测方法及系统，该系统能在短时间内通过实时根据的脑电波状态生成对应的脑波音乐，通过该脑波音乐能反馈受试者处于的疲劳状态，从而进行相关疲劳干预；通过该脑波音乐可进行刺激，快捷方便的干预疲劳，大幅度缩减了干预疲劳的时间，降低了干预疲劳的成本，且该系统结构简单，便于携带有助于进一步从脑机制方面干预疲劳。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为脑波音乐转换过程图；

图2为一种基于脑波音乐的疲劳检测系统的一实施例结构示意图；

图3为本发明中脑电采集模块的框图；

图4为本发明中信号收发模块框图；

图5为本发明中疲劳分级单元的嵌入式平台中的处理过程图；

图6为本发明一实施例中EEG与音乐映射得到脑波音乐的流程图；

图7为本发明另一实施例中的EEG与音乐映射框图；

图8为本发明一种基于脑波音乐的疲劳检测方法流程图；

图9为本发明一实施例中对疲劳自评量表前后测做配对T检验。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

所举实施例是为了更好地对本发明进行说明，但并不是本发明的内容仅局限于所举实施例。所以熟悉本领域的技术人员根据上述发明内容对实施方案进行非本质的改进和调整，仍属于本发明的保护范围。

实施例1

参考图2，为本发明一种基于脑波音乐的疲劳检测系统的一实施例结构示意图；本实施例中的系统包括脑电采集模块1、信号收发模块2、检测反馈模块3、具体地：

脑电采集模块1，用于接收脑电信号，并将脑电信号转换为脑电数字信号；

本实施例中的脑电采集模块1框图可参考图3，脑电采集模块通过自制头带内置的干电极采集两个导脑电，干电极与被试者连接，将采集到的模拟信号通过自制屏蔽线经放大，滤波，单端转差分等模拟部分处理后输入至ADS8354转换为脑电数字信号，再通过SPI将数字信号传输至MCU进行打包，MCU对数据进行处理后经蓝牙将数据发出；

具体地，本实施例中的脑电采集模块为本系统中基于干电极的两通道脑电采集设备，由放大调节电路、滤波电路、采样电路、微处理器电路四部分组成；其中，放大调节电路，将脑电信号活动电极和参考电极分别接入由芯片AD8422组成的具有高输入阻抗和放大倍数的放大调节电路，采用这种电路可以使所设计的放大器模块具有极高的输入阻抗。同时这种电路还可以进行阻抗匹配并且增加各导信号之间的隔离度。因为用运放AD8422芯片内部的阻容器件具有很高的对称度，所以可以获得高于120dB的共模抑制比；滤波电路，因脑电信号的能量大部分集中在0.5-35Hz之间，若系统中引入了其他频率范围内的噪声和干扰，会对测量的结果产生重大的影响，所以需要在电路中加入有效的高通和低通滤波器来防止此类干扰；采样电路，数据采集模块采用高精度的模数转换器ADS8354，其是双路高速同步采样模数转换器，采样精度为16位，信噪比为93dB，可编程的2.5V内部基准电压。模拟电路采集到的脑电信号属于模拟信号，通过两路高速同步采样的模数转换器，将两路差分输入的模拟信号转换为输出信号，传给微处理器；微处理器采用蓝牙芯片CY8C4247，CY8C4247属于Cypress SPOC4系列产品，带有蓝牙4.2协议栈，具有驱动50Ω天线功能的2.4GHz RF接收器与数字PHY，主频为48M，其通过芯片自带的蓝牙功能发送数据到到蓝牙接收模块，实现与嵌入式设备的通信；

本实施例中的基于脑波音乐的疲劳检测系统的检测部分是基于嵌入式设备，基于嵌入式设备的反馈系统在本系统中负责接收脑电采集系统的数据、计算疲劳特征并且根据疲劳特征判断疲劳状态、实时生成脑波音乐、播放音乐等。本嵌入式设备外接了一个触摸显示屏，可以通过屏幕实现一些信息反馈。嵌入式设备采用了友善之臂出品的NanoPC-T4，NanoPC-T4是基于RK3399一体化主板。其为双Cortex-A72大核+四Cortex-A53小核结构、拥有双通道4GB内存以及16GB eMMC 5.1Flash。操作系统为友善之臂基于Ubuntu18.04修改的FriendlyDesktop。

优选地，本实施例中的脑电采集模块1选用基于Exynos4412核心板的嵌入式平台，满足开发需求；

进一步地，本实施例中还对脑电采集模块1中的通道等进行测试，得到的结果表明如下三个表所示(表中的字符为常用缩写，如CMRR为共模抑制比)，每个通道的共模抑制比均在110dB左右，满足脑电采集要求(表1)；每个通道输入噪声峰峰值均小于2μV，输入噪声较小(表2)；蓝牙传输6米内完全不丢数(表3)；

表格1共模抑制比测试记录表

表格2噪声测试记录表

表格3蓝牙传输距离测试记录表

信号收发模块2，用于实现脑电采集模块1与检测反馈模块3之间的信号传输；

本实施例中信号收发模块2的框图可参考图4，信号收发模块2由RS232-USB接口转换器(PL2303)和MCU(CY8C4247LQI-BL483)组成，前端采集单元中的脑电数字信号由MCU通过SPI转发至PL2303，再通过PL2303发送至检测反馈模块3；

本实施例中，信号收发模块2可以为蓝牙接收器用于接收脑电采集模块1的数据，并且通过串口发送出去；具体地，信号收发模块2用于连接脑电采集模块1和检测反馈模块3，实现它们的通信；其主控芯片采用蓝牙芯片CYBL10163，与CY8C4247类似，其通过自带的蓝牙功能接收脑电采集系统的数据，通过串口发出数据经PL2303实现串口转USB接口转换；

检测反馈模块3，用于实时根据脑电采集模块1中接收到的脑电数字信号生成脑波音乐；

本实施例中的基于脑波音乐的疲劳检测系统的检测反馈模块3基于嵌入式设备，在本系统中负责接收脑电采集模块1的数据、计算疲劳特征并且根据疲劳特征判断疲劳状态、实时生成脑波音乐、播放音乐等；该嵌入式设备外接了一个触摸显示屏，可以通过屏幕实现一些信息反馈，嵌入式设备采用NanoPC-T4，NanoPC-T4是基于RK3399一体化主板，其为双Cortex-A72大核+四Cortex-A53小核结构、拥有双通道4GB内存以及16GB eMMC5.1Flash，操作系统基于Ubuntu18.04修改的FriendlyDesktop；

具体地，检测反馈模块3包括：疲劳分级单元31，实时音乐参数单元32、脑波音乐生成单元33；

疲劳分级单元31，与信号收发模块2相连，用于接收在预设的第一时间间隔内的脑电数字信号，并通过计算第一时间间隔内的脑电数字信号的疲劳指标进行疲劳等级划分；

本实施例中，疲劳分级单元31可包括嵌入式平台与PC端的LDA疲劳分类器，当然，在其他实施例中，LDA疲劳分类器也可直接位于嵌入式平台，即疲劳分级单元31的功能仅仅通过嵌入式平台即可实现；嵌入式平台与PC端信号相连，具体地，信号收发模块2将脑电采集模块1收集的脑电数字信号通过USB转串口的方式输送到嵌入式平台进行处理，嵌入式平台中的处理过程可参考图5，嵌入式平台的主要功能是读取接收模块传输过来的脑电数字信号，对信号进行拼接、滤波处理，疲劳特征提取，进行疲劳状态的判断；在考量满足开发需求与成本节约的基础上，嵌入式开发平台可使用的Tiny4412开发板，它具有Cortex-A9核心板，并采用Exynos 4412四核处理器；

进一步地，LDA疲劳分类器，用于离线疲劳模型训练，并用于离线疲劳模型训练后对第一时间间隔内的脑电数字信号的疲劳指标进行疲劳等级划分。

LDA疲劳分类器用于离线疲劳模型训练，首先将嵌入式平台判断的清醒状态脑电数字信号以及疲劳状态脑电脑电信号送入PC端，作为离线疲劳分类的两类数据集，令类内间距尽可能小，类间间距尽可能大，以确定最佳投影方向，机器通过这一系列计算即可划分开清醒与疲劳状态，并且通过疲劳自评量表得分计算的疲劳分级，即可将状态分为不疲劳、轻度疲劳、中度疲劳、重度疲劳四类，随后将该分类标准存储，以便以后使用；

具体地，疲劳分级单元31中的LDA疲劳分类器设置两个特征，对第一时间间隔内的EEG计算疲劳指标(即alpha2频段和beta2频段功率谱密度比值：alpha2/beta2、alpha加theta和beta频段功率谱密度比值：(theta+alpha)/beta)对被试状态疲劳分级，分为不疲劳、轻度疲劳、中度疲劳、重度疲劳四种状态，对采集到的EEG幅值对应定义音高，可根据第一时间间隔内获得的脑电数字信号的疲劳等级定义音长，如其中不疲劳状态时音长为2秒，轻度疲劳时音长为1.5秒，中度疲劳时音长为1秒，重度疲劳时音长为0.5秒；参考图7，为另一实施例中EEG与音乐映射得到脑波音乐的映射框图；

优选地，本实施例中的疲劳分级单元31为了提高对脑电数字信号转换为脑波音乐的对应准确率，即提高脑电数字信号对应状态下的更适应性的缓解疲劳的脑波音乐，可设置时间段，对预设的第一时间间隔内的脑电数字信号进行状态分析，实时监控脑电信号，在后期可根据脑电信号的转变实时改变脑波音乐，该第一时间间隔可以自行设定，如在一具体实施例中第一时间间隔设为4秒；

实时音乐参数单元32，与信号收发模块2相连，并与疲劳分级单元31相连，用于根据第一时间间隔内获得的脑电数字信号的幅值定义音高，并根据疲劳分级的等级定义音长；

本实施例中，可参考图6，实时音乐参数单元32接收脑电采集模块1中的脑电数字信号(EEG)，并提取EEG的幅值，然后定义音乐的音高；然后根据疲劳分级的等级定义音长，最后为生成出的midi音添加音色，如钢琴等。

在其他实施例中，实时音乐参数单元32还可以包括特征提取板块、映射板块，特征提取板块用于提取第一时间间隔内获得的脑电数字信号的特征，特征包括：主要频率、平均能量，α波比例，模式变化、振幅；

映射板块用于根据特征提取板块提取的特征映射音乐的参数。

实时音乐参数单元32中的特征提取板块可以接收脑电信号采集模块1中的脑电数字信号(EEG)，并提取EEG的特征，如主要频率、平均能量，α波比例，模式变化、振幅；然后定义音乐的乐段，包括主音、调式和节奏型等参数，映射板块根据特征映射乐段，如根据主要频率得到主音，根据平均能量得到调式，根据α波比例得到节奏型；再根据EEG特征产生音乐的小节(参数包括和弦和音的位置)，具体为根据模式变化和节奏型、主音、调式得到和弦，根据振幅和节奏型得到音的位置；最后根据每小节的情况确定每个音(包括音高、音长和音强)，具体为，根据和弦得到音高，根据音的位置获得音长和音量；参考图7，为一实施例中的EEG与音乐映射框图；

脑波音乐生成单元33，与实时音乐参数单元32相连，用于接收音高与音长并在音高与音长上加以乐器音色获得脑波音乐。

本实施例中，脑波音乐生成单元33接收实时音乐参数单元32中的各音乐参数，然后，加以乐器音色获得脑波音乐，生成音乐文件(创建空的音频文件直接写入原始生成音符)，乐器可以为钢琴等。

进一步地，还包括疲劳状态检测模块4，该疲劳状态检测模块4与脑电采集模块1相连，还与脑波音乐生成单元31相连，用于在脑波音乐播放后，接收脑电信号采集模块发送的脑电数字信号，分析得到是否降低疲劳等级；

具体地，可接收不同时间段(如脑波音乐生成播放前、脑波音乐生成播放时)的疲劳分级单元31的嵌入式平台判断后的疲劳状态，以及脑电采集模块1的脑电数字信号，反馈脑电信号在播放脑波音乐后，根据脑波音乐反馈的疲劳状态进行干预，是否疲劳程度降低，疲劳舒缓；

优选地，该疲劳状态检测模块5还可以用于在脑波音乐生成播放前和脑波音乐生成播放后，接收被试填写的疲劳自评量表，对疲劳程度的评价，并对其做比较。

实施例2

基于实施例1中的系统，本发明还提供了使用该系统的一种基于脑电波生成脑波音乐的方法，流程图可参考图8，具体地，一种基于脑电波生成脑波音乐的方法，包括以下步骤：

一种基于脑电波生成脑波音乐的方法，包括以下步骤：

S1：接收脑电信号，并将脑电信号转换为脑电数字信号；

本步骤中，通过两个内置的干电极的导脑电采集脑电信号，干电极与被试者连接，参考图3，随后将采集的脑电信号通过自制屏蔽线经放大，滤波，单端转差分等模拟部分处理后输入至ADS8354转换为脑电数字信号，再通过SPI将数字信号传输至MCU进行打包，MCU对数据进行处理后经蓝牙将数据发出；

然后参考图4，脑电数字信号由MCU通过SPI转发至PL2303，再通过PL2303发送至疲劳分级单元；

S2：根据预设第一时间间隔接收脑电数字信号，并计算第一时间间隔内的脑电数字信号的疲劳指标进行疲劳等级划分；

本步骤中，设定第一时间间隔为4秒，在一具体实施例中，持续接收第一时间间隔内的脑电数字信号，对每4秒内的EEG计算疲劳指标(即alpha2频段和beta2频段功率谱密度比值：alpha2/beta2、alpha加theta和beta频段功率谱密度比值：(theta+alpha)/beta)对被试状态疲劳分级，分为不疲劳、轻度疲劳、中度疲劳、重度疲劳四种状态；

也可以通过其他实施方式划分疲劳等级，如参考图5，先通过嵌入式平台对第一时间间隔内的脑电数字信号进行疲劳状态的判断，然后将嵌入式平台判断的清醒状态脑电数字信号以及疲劳状态脑电脑电信号送入PC端LDA疲劳分类器，将该脑电数字信号对应的状态疲劳等级划分为不疲劳、轻度疲劳、中度疲劳、重度疲劳四类；

S3：根据第一时间间隔内获得的脑电数字信号的幅值定义音高，并根据疲劳分级的等级定义音长；

本步骤中，可采用图7中的方法定义音乐参数，即对采集到的EEG进行特征提取，将EEG幅值对应定义音高，另外根据疲劳等级划分音长，如：不疲劳状态时音长为2秒，轻度疲劳时音长为1.5秒，中度疲劳时音长为1秒，重度疲劳时音长为0.5秒；

在其他实施例中也可以采用图6中的方法定义音乐参数：提取第一时间间隔内获得的脑电数字信号的特征，特征包括：主要频率、平均能量，α波比例，模式变化、振幅；然后定义音乐的乐段，包括主音、调式和节奏型等参数，根据主要频率得到主音，根据平均能量得到调式，根据α波比例得到节奏型；再根据EEG特征产生音乐的小节，参数包括和弦和音的位置，具体为根据模式变化和节奏型、主音、调式得到和弦，根据振幅和节奏型得到音的位置；最后根据每小节的情况确定每个音，包括音高、音长和音强(音量)，具体为，根据和弦得到音高，根据音的位置获得音长和音量；

S4：通过音高与音长加以乐器音色获得脑波音乐。

本步骤中，将步骤S3中两种方法得到的音高与音长(一个方法中还存在音量)加以乐器音色，得到脑波音乐，乐器可以为钢琴等。

优选地，本实施例中的步骤S1-S4为在第一时间间隔内获得的一端脑波音乐，还可以持续获得下一个第一时间间隔内的脑波音乐，以此循环，根据第一时间间隔内的脑波信号获得不同的脑波音乐，脑波音乐与脑电波之间的映射更强，更具有针对性。

再进一步地，本方法中还播放脑波音乐，并对播放脑波音乐后的脑波信号进行检测，分析是否降低疲劳等级。

具体地，可接收不同时间段(如脑波音乐生成播放前、脑波音乐生成播放时)的疲劳状态，以及脑电数字信号，反馈脑电信号在播放脑波音乐后，是否疲劳程度降低，疲劳舒缓；还可以用于在脑波音乐生成播放前和脑波音乐生成播放后，接收被试填写的疲劳自评量表，对两次填写的疲劳自评量表得分做比较(多人时使用配对T检验)，对疲劳程度的评价。

本实施例中采用独立采集的13例(年龄范围19至26岁，平均22.9±3.1岁)行为数据即疲劳自评量表进行分析，结果显示经神经反馈系统的脑波音乐干预后，疲劳自评量表得分大幅降低且前后得分有显著性差异(T＝3.751，p＝0.003)，参考图9中的配对T检验，图9证明该方法能够有效缓解被试的疲劳状态。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。