睡眠状态识别方法、装置、电子装置和存储介质

技术领域

本申请涉及脑电识别技术领域，特别是涉及睡眠状态识别方法、装置、电子装置和存储介质。

背景技术

随着科学技术的发展，EEG(脑电波，Electroencephalogram)信号识别技术不断被探索，有经验的医学人员可以依据不同睡眠状态与阶段的EEG信号的特征，有效地判断睡眠者所处的睡眠阶段，并根据不同的睡眠情况进行有针对性的治疗，除了通过医学人员人工判断，也有一些相关研究尝试利用深度学习方法，将EEG信号输入至神经网络，并利用神经网络对EEG信号进行深度分析，得到与医学上相似的睡眠分期状态。

但是在实际情况下，在通过EEG信号监测设备采集EEG信号的过程中，EEG信号容易受到眼电、肌肉电等干扰，监测到的EEG信号有时会存在信号不稳定、信号质量不佳的情况，会导致神经网络实时输出的睡眠状态不稳定，错误率较高，特别是在两种睡眠状态的交界处，输出状态不稳定的现象更严重，这在一些利用睡眠状态控制睡眠环境的场景来说造成了较大的影响。

针对相关技术中存在神经网络实时输出的睡眠状态不稳定、错误率较高的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种睡眠状态识别方法、装置、电子装置和存储介质，以解决相关技术中神经网络实时输出的睡眠状态不稳定、错误率较高的问题。

第一个方面，在本实施例中提供了一种睡眠状态识别方法，包括：获取被采集者的脑电信号；基于所述脑电信号获取信号质量信息；将所述脑电信号以及所述信号质量信息输入到经训练的第一神经网络模型中，得到所述被采集者的睡眠状态。

在其中一个实施例中，所述将所述脑电信号以及所述信号质量信息输入到经训练的第一神经网络模型中之前还包括：对所述脑电信号进行带通滤波处理，得到预设频率范围内的所述脑电信号。

在另一个实施例中，所述将所述脑电信号以及所述信号质量信息输入到经训练的第一神经网络模型中包括：提取所述脑电信号的时域特征以及频域特征，并将所述时域特征、所述频域特征以及所述信号质量信息输入到经训练的第一神经网络模型中。

在其中一个实施例中，所述提取所述脑电信号的时域特征以及频域特征包括：将所述脑电信号输入经训练的第二神经网络模型中，得到所述时域特征；将所述脑电信号进行快速傅里叶变换，得到所述频域特征。

在另一个实施例中，所述基于所述脑电信号获取信号质量信息包括：基于所述脑电信号的幅值信息以及能量信息，获取所述信号质量信息。

在其中一个实施例中，所述将所述脑电信号以及所述信号质量信息输入到经训练的第一神经网络模型中之前还包括：获取第一训练数据以及初始第一神经网络模型，所述第一训练数据包括训练脑电信号、所述训练脑电信号对应的训练信号质量信息以及所述训练脑电信号对应的睡眠状态；基于所述第一训练数据训练所述初始神经网络模型，得到所述经训练的第一神经网络模型。

在另一个实施例中，所述得到所述被采集者的睡眠状态之后还包括：基于所述睡眠状态，匹配并获取睡眠环境调整数据库中与所述睡眠状态对应的睡眠音乐、睡眠灯光以及睡眠温度，并应用至当前环境。

第二个方面，在本实施例中提供了一种睡眠状态识别装置，包括：脑电信号获取模块：用于获取被采集者的脑电信号；信号质量信息获取模块：用于基于所述脑电信号获取所述信号质量信息；睡眠状态识别模块：用于将所述脑电信号以及所述信号质量信息输入到经训练的第一神经网络模型中，得到所述被采集者的睡眠状态。

第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的睡眠状态识别方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的睡眠状态识别方法。

与相关技术相比，在本实施例中提供的睡眠状态识别方法，通过获取被采集者脑电信号；基于所述脑电信号获取信号质量信息；将所述脑电信号以及所述信号质量信息输入到经训练的第一神经网络模型中，得到所述被采集者的睡眠状态，解决了神经网络实时输出的睡眠状态不稳定、错误率较高，实现了无需额外增加其他睡眠状态判断设备，保证睡眠状态的稳定输出，以及降低睡眠状态输出错误率。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请一实施例中睡眠状态识别方法的终端的硬件结构框图。

图2是本申请一实施例中睡眠状态识别方法的流程示意图。

图3是本申请一实施例中睡眠状态识别方法中脑电采集设备脑电采集位点参考示意图。

图4是本申请一实施例中睡眠状态识别方法的后验判断策略示意图。

图5是本申请一实施例中睡眠状态识别装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本申请一实施例中睡眠状态识别方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的睡眠状态识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种睡眠状态识别方法，图2是本申请一实施例中睡眠状态识别方法的流程示意图，如图2所示，该流程包括如下步骤：

步骤S201，获取被采集者脑电信号。

可以理解的，本发明是通过识别被采集者的脑电信号而获取被采集者当前睡眠状态的，因此，首先需要获取被采集者的脑电信号，在本实施例中，获取被采集者脑电信号的方法可以是通过脑电采集设备，通过与脑部接触的电极进行被采集者的脑电信号采集，通过接触脑部进行脑电采集的位点可以在任意位置，如图3所示，图3是本申请一实施例中睡眠状态识别方法中脑电采集设备脑电采集位点参考示意图。在本实施例中选择以Fpz位点为参考，采集Fp1位点的单通道前额EEG脑电信号，可以理解的，本实施例中仅针对某一脑电采集设备选择Fp1位点以适用于对被采集者脑电信号的获取，在其他实施例中，还可以选择针对其他形态的脑电采集设备的其他采集位点用来获取被采集者的脑电信号，只需保证可以通过该采集位点对被采集者的脑电数据进行信号质量相对更好的采集效果即可。

步骤S202，基于脑电信号获取信号质量信息。

在本实施例中，在获取到被采集者的脑电信号之后，还需要获取脑电信号的信号质量信息，也就是判断脑电信号的信号质量，可以理解的，在采集脑电信号时，获取到的不仅只有脑电，还可能包括眼电、肌肉电等电波，以及一些噪声的干扰，这些非脑电的存在会对后续根据对睡眠状态识别进行干扰，导致识别的睡眠状态前后变换过于频繁、变换较大或不准确，在另一方面，信号质量等级还反映了使用者在被采集过程中出现的一些动作以及动作幅度等信息，这些信息也有助于对睡眠状态的判断以及识别，因此，在本实施例中，需要对获取到的脑电信号进行脑电信号的信号质量判断，以得出信号质量信息，对信号质量判断的方法可以是根据脑电信号在所有信号之中的占比或其他方法，只需要可以根据基于获取到的脑电信号判断脑电信号的信号质量即可。

步骤S203，将脑电信号以及信号质量信息输入到经训练的第一神经网络模型中，得到被采集者的睡眠状态。

可以理解的，在获取到脑电信号以及脑电信号的信号质量信息后，即可以基于此对被采集者的睡眠状态进行识别判断，在本实施例中，对被采集者的睡眠状态进行识别判断是通过经训练的神经网络模型进行判断的，经训练的神经网络模型可以输入脑电信号以及脑电信号的信号质量信息，接着输出基于脑电信号和脑电信号的信号质量信息得出的被采集者的睡眠状态，容易理解的，通过脑电信号以及信号质量信息，可以使神经网络模型在对睡眠状态进行判断时可以对信号质量信息较高的脑电信号更加敏感，使神经网络模型对于睡眠状态判断识别的更加准确，得到更精准的被采集者的睡眠状态。

通过上述步骤，获取被采集者脑电信号；基于脑电信号获取信号质量信息；将脑电信号以及信号质量信息输入到经训练的第一神经网络模型中，得到被采集者的睡眠状态，解决了神经网络实时输出的睡眠状态不稳定、错误率较高，实现了无需额外增加其他睡眠状态判断设备，保证睡眠状态的稳定输出，以及降低睡眠状态输出错误率。

在其中一个实施例中，将脑电信号以及信号质量信息输入到经训练的第一神经网络模型中之前还包括：对脑电信号进行带通滤波处理，得到预设频率范围内的脑电信号。

可以理解的，基于脑电收集设备获取到的脑电信号中还存在一些漂移和工频噪声，为了减少对于不必要信息的识别以及提高识别精度，在将脑电信号输入到神经网络模型对睡眠状态进行判断之前，还需要对其进行滤波处理，在本实施例中，使用带通滤波模块对脑电信号获取滤波处理，获取2～45Hz范围内的脑电信号，即可滤除多数的漂移和工频噪声，只保留脑电信号的主要信号数据。通过对脑电数据进行带通滤波处理，可以提高脑电信号的数据质量，去除多余不需要的干扰，可以提高后续对睡眠状态识别的准确度。

在另一个实施例中，将脑电信号以及信号质量信息输入到经训练的第一神经网络模型中包括：提取脑电信号的时域特征以及频域特征，并将时域特征、频域特征以及信号质量信息输入到经训练的第一神经网络模型中。

在本实施例中，在将脑电信号以及信号质量信息输入到神经网络模型之前还需要提取脑电信号的时域特征以频域与特征，可以理解的，在脑电信号中，最能反映出被采集者当前睡眠状态的特征为时域特征和频域特征，当识别被采集者当前的睡眠状态时，若对全部脑电信号进行识别，所占用的运算量和时间过长，基于此，为了提高对睡眠状态识别时的效率以及减少计算负荷，可以将脑电信号分别提取出时域特征以及频域特征，再将时域特征、频域特征以及信号质量信息同时输入到经训练的第一神经网络模型中，可以理解的，第一神经网络模型可以输入时域特征、频域特征以及时域特征、频域特征一同对应的信号质量信息，并输出对应的睡眠状态，将信号质量信息提取出时域特征、频域特征以进行睡眠状态判断，提高了对被采集者睡眠状态识别的效率。

在其中一个实施例中，提取脑电信号的时域特征以及频域特征包括：将脑电信号输入经训练的第二神经网络模型中，得到时域特征；将脑电信号进行快速傅里叶变换，得到频域特征。

在本实施例中，提取时域特征的方法可以是将脑电信号输入到经训练的第二神经网络模型中，接着基于经训练的第二神经网络模型提取出脑电信号的时域信号，可以理解的，经训练的第二神经网络模型可以是卷积神经网络模型，还可以是神经网络模型中的其中一个卷积神经网络层，还可以是任意一个可以提取脑电信号的时域特征的特征提取器，只需要保证可以基于脑电信号提取出脑电信号对应的时域特征即可，提取频域特征的方法可以是对脑电信号进行快速傅里叶变换，以提取脑电信号的频域特征，另外，在其他实施例中，对于频域特征的提取方法还可以有其他方法，本实施例中不做具体限定，只需要保证可以基于脑电信号获取其对应的频域特征即可，通过精选连的第二神经网络模型实现无需人工计算的时域特征提取，可以提高对时域特征提取时的效率以及降低提取成本。

在另一个实施例中，基于脑电信号获取信号质量信息包括：基于幅值信息以及能量信息，对脑电信号进行信号质量判断，并得到信号质量信息。

可以理解的，脑电信号信号质量信息是基于脑电信号的幅值信息以及能量信息而获取到的，在本实施例中，首先获取脑电信号的幅值信息和能量信息，接着通过幅值信息和能量信息对信号质量进行分级，其中信号质量分为“良好”、“很差”、“较差”三个等级，基于幅值信息以及能量信息得出的信号质量信息可以客观的反映出脑电信号的信号质量，以作为识别睡眠状态的有效依据，在其他实施例中，还可以存在基于脑电信号中的其他信息判断信号质量的方法，例如仅根据信号的能量信息或仅根据信号的幅值信息，或者根据其他信号特性信息对信号质量进行判断，对于信号质量也可以存在其他分级，例如将信号等级分为1、2、3、4、5级，接着根据信号的特性对信号等级进行判断，本实施例仅仅列举出了其中一种，并不对其他方式做具体限定，通过幅值信息以及能量信息对信号质量进行判断，提高了通过信号质量对睡眠状态进行识别时的准确性。

在其中一个实施例中，将脑电信号以及信号质量信息输入到经训练的第一神经网络模型中之前还包括：获取第一训练数据以及初始第一神经网络模型，第一训练数据包括训练脑电信号、训练脑电信号对应的训练信号质量信息以及训练脑电信号对应的睡眠状态；基于第一训练数据训练初始神经网络模型，得到经训练的第一神经网络模型。

在本实施例中，在脑电信号以及信号质量信息输入到经训练的第一神经网络模型之前还需要对初始第一神经网络模型进行训练，以获取经训练的可以基于脑电信号以及信号质量信息得出睡眠状态的第一神经网络模型，因此，首先需要获取初始第一神经网络模型，接着基于第一训练数据对其进行训练，第一训练数据中包括训练脑电信号、训练脑电信号对应的训练信号质量信息以及训练脑电对应的睡眠状态，基于此，通过第一训练数据对其进行训练，直到第一神经网络模型可以通过脑电信号以及信号质量信息得出准确的睡眠状态，在其他实施例中，还可以通过脑电信号的时域特征、频域特征以及信号质量信息作为第一训练数据，得到可以通过时域特征、频域特征以及信号质量信息对睡眠状态进行判断的第一神经网络模型，通过第一训练数据对初始第一训练模型进行训练，以得到经训练的第一神经网络模型，保证了对睡眠状态的判断准确率。

在另一个实施例中，获取睡眠状态之后方法还包括：基于睡眠状态，匹配并获取睡眠环境调整数据库中与睡眠状态对应的睡眠音乐、睡眠灯光以及睡眠温度，并应用至当前环境。

容易理解的，在不同的睡眠状态，通过不同的睡眠音乐、睡眠灯光以及睡眠温度可以使处在不同睡眠状态的用户的睡眠质量提高或更快速进入下一个睡眠状态，因此，在本方法中，在获取到睡眠状态之后，基于睡眠状态，匹配睡眠环境调整数据库中对应的适用于用户当前睡眠状态的睡眠音乐、睡眠灯光以及睡眠温度，并应用于当前环境，其中，睡眠环境调整数据库中应当包括各种适用于当前睡眠状态的睡眠音乐、睡眠灯光以及睡眠温度，基于睡眠状态，对用户所在环境应用对应的睡眠音乐、睡眠灯光以及睡眠温度，可以提高用户的睡眠质量。

另外，在其他一些实施例中，通过神经网络模型直接判断的睡眠状态是存在一定的错误率的，尤其是在两种睡眠状态的交界处，输出的睡眠状态可能会存在不稳定的现象，为了提高睡眠状态输出的平稳以及后续睡眠状态分析结论准确，在本实施例中，提供了一种最终睡眠状态判断策略，该策略为神经网络模型输出睡眠状态之后的后验判断策略，如图4所示，图4是本申请一实施例中睡眠状态识别方法的后验判断策略示意图。通过神经网络模型输出的睡眠状态为S0，每个小方块的长度是算法的触发步长T，图中的折线为基于神经网络模型输出的睡眠状态进行后验判断后输出的最终睡眠状态，为S1，在开始测量时，S1为清醒状态，在实时获取信号并处理的过程中，会根据S0的变动来判断S1何时进行睡眠状态的切换，采用一个滑动窗，截取W个小方块(图中为5个)，当滑动窗内中的W个方块中有K个(图中为3个)小方块对应的S0状态与当前S1状态不一致时，使S1＝S0，在其他实施例中，K和W的取值可以综合考虑神经网络模型输出的不稳定性、判断准确率以及实际允许延迟来设定，并不做额外要求，在本实施例中，经过后验判断策略之后，输出的最终睡眠状态S1与S0的判断状态最大延迟为D＝W*T，在本方法中最大延迟D＝5*3＝15秒，通过少量的延迟，大幅度提高输出睡眠状态的准确率，减少睡眠状态输出的抖动，优化了实时的体验。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种睡眠状态识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是本申请一实施例中睡眠状态识别装置的结构框图，如图5所示，该装置包括：脑电信号获取模块10、信号质量信息获取模块20、睡眠状态识别模块30、滤波处理模块、特征提取模块、第一神经网络模型训练模块、睡眠环境调整模块。

脑电信号获取模块10：用于获取被采集者的脑电信号；

信号质量信息获取模块20：用于基于脑电信号获取信号质量信息。

睡眠状态识别模块30：用于将脑电信号以及信号质量信息输入到经训练的第一神经网络模型中，得到被采集者的睡眠状态。

滤波处理模块：用于对脑电信号进行带通滤波处理，得到预设频率范围内的脑电信号。

特征提取模块：用于提取脑电信号的时域特征以及频域特征，并将时域特征、频域特征以及信号质量信息输入到经训练的第一神经网络模型中。

特征提取模块：还用于获取第一训练数据以及初始第一神经网络模型，第一训练数据包括训练脑电信号、训练脑电信号对应的训练信号质量信息以及训练脑电信号对应的睡眠状态；基于第一训练数据训练初始神经网络模型，得到经训练的第一神经网络模型。

第一神经网络模型训练模块：用于获取第一训练数据以及初始第一神经网络模型，第一训练数据包括训练脑电信号、训练脑电信号对应的训练信号质量信息以及训练脑电信号对应的睡眠状态；基于训练数据训练初始神经网络模型，得到经训练的第一神经网络模型。

睡眠环境调整模块：用于基于睡眠状态，匹配并获取睡眠环境调整数据库中与睡眠状态对应的睡眠音乐、睡眠灯光以及睡眠温度，并应用至当前环境。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取被采集者脑电信号。

S2，基于脑电信号获取信号质量信息。

S3，将脑电信号以及信号质量信息输入到经训练的第一神经网络模型中，得到被采集者的睡眠状态。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的睡眠状态识别方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种睡眠状态识别方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。