基于多模态人因智能数据分析的驾驶状态监测并反馈的方法和系统

技术领域

本发明涉及道路交通安全驾驶干预技术领域，尤其涉及一种基于多模态人因智能数据分析的驾驶状态监测并反馈的方法和系统。

背景技术

随着道路交通需求迅猛增长，交通安全问题日益突出，世界卫生组织在2018年的全球道路交通安全报告中指出，全世界每年有135万人因道路交通事故死亡，几千万人不同程度受伤。驾驶人作为道路交通系统的主要控制者、调节者和信息决策者，一直以来都是道路交通安全的研究重点。对于车辆驾驶人员的驾驶状态监测反馈(例如，识别是否存在疲劳驾驶、分心驾驶和愤怒驾驶等问题)是道路交通安全驾驶干预领域的重要研究方向。

目前，国内外在疲劳驾驶干预方面的研究取得了较大进展。例如，王磊等指出适当的音乐刺激可使驾驶人警觉性保持在较为稳定的水平，并缓解疲劳感受，语音刺激有助于驾驶人在特定时段提高警觉性并觉察风险；乔现玲等探索了音乐节奏、时长对疲劳驾驶的缓解效果；Schneider等研究了释放气味对驾驶员提高警觉性的影响。对于分心识别和干预也有一定的进展，例如，合肥工业大学一种自适应分心驾驶行为的监测及干预装置，通过采集车辆数据进行分心识别并预警。在驾驶愤怒的干预措施方面，大部分学者提出的干预措施，例如驾驶人的认知干预、放松干预、行为干预等。

但是，目前尚未建立基于多模态人因数据的驾驶员状态识别和监测反馈方法。

发明内容

鉴于此，本发明实施例提供了一种基于多模态人因智能数据分析的驾驶状态监测并反馈的方法和系统，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的一个方面提供了一种基于多模态人因智能数据分析的驾驶状态监测并反馈的方法，该方法包括以下步骤：

接收实时采集的被试驾驶员的多模态人因数据；

对所述多模态人因数据进行预处理，所述预处理包括降噪处理和数据正态化处理；

将经过预处理的多模态人因数据送入预先训练的状态识别模型中，得到实时识别的驾驶员状态；所述驾驶员状态包含正常状态和多个异常状态，所述异常状态的类别包含疲劳状态、分心状态和愤怒状态中的多种；

当识别到驾驶员状态为异常状态，针对不同类别的异常状态生成驾驶状态反馈指令到驾驶干预系统，从而使驾驶干预系统基于接收的驾驶状态反馈指令对驾驶员进行状态反馈调节。

在本发明的一些实施例中，还包括状态识别模型的预训练过程，在状态识别模型的预训练过程中，首先采集被试驾驶员的基线人因数据和人口学数据，在基线状态数据库中检索相比被试驾驶员的基线人因数据和人口学数据在预设相似度范围内的驾驶员相关数据，以检索到的驾驶员的基线人因数据和基线状态数据库中存储的驾驶员状态数据作为训练集，以预先选定的正常状态和多个异常状态作为标签，通过迭代训练得到所述状态识别模型。

在本发明的一些实施例中，所述人因数据包括脑电数据、心率数据、皮电数据、呼吸数据、近红外数据、血氧数据、血压数据和皮温数据中的一种或多种。

在本发明的一些实施例中，所述降噪处理步骤包含：对心电数据采用小波过滤、卡尔曼滤波和经验模态分解中的一种或多种；对皮电数据以一个时间窗的值作为基线值，一个时间窗的值作为反应最大值，对皮电数据进行降噪处理。

在本发明的一些实施例中，对人因数据包括的脑电数据的预处理包含全脑平均参考、滤波处理、ICA分析和时频分析以提取脑电数据目标波段，通过所述滤波处理对所述脑电数据进行筛选并去除伪迹，通过所述ICA分析识别并去除眨眼片段和/或肌电片段，通过所述时频分析提取脑电数据目标波段；其中，所述滤波处理包含高通滤波处理、低通滤波处理、凹陷滤波处理和带通滤波处理。

在本发明的一些实施例中，所述对人因数据包括的脑电数据的预处理在全脑平均参考之前还包含数据清洗的步骤，通过所述数据清洗的方式去除伪影和噪声；所述对人因数据包括的脑电数据的预处理在ICA分析之前还包括删除无用通道的步骤和基于深度学习方法的伪迹去除步骤。

在本发明的一些实施例中，所述多模态人因数据还包括被试驾驶员头部的图像数据，在对所述多模态人因数据进行预处理后，该方法还包括：基于图像识别技术对被试驾驶员头部的图像数据进行分析，得到驾驶员的眼动特征、头部运动特征和面部表情特征，结合视线追踪技术对所述驾驶员的眼动特征和头部运动特征进行解析，通过表情识别技术对面部表情特征进行解析，得到实时识别的驾驶员状态。

在本发明的一些实施例中，在对所述多模态人因数据进行预处理后，该方法还包括：对经过预处理的多模态人因数据进行特征提取得到与驾驶行为相关的特征；对所述与驾驶行为相关的特征进行标签管理，当检测到与标签相关的数据时，基于所述与驾驶行为相关的特征进行分析，得到实时识别的驾驶员状态；其中，所述与驾驶行为相关的特征包含心率、血压和呼吸频率中的一种或多种。

在本发明的一些实施例中，所述状态识别模型为分类模型，所述分类模型的类型包括向量机模型、决策树模型和朴素贝叶斯模型中的任一种。

在本发明的一些实施例中，所述驾驶员状态还包括驾驶员的认知状态，在对所述多模态人因数据进行预处理后，该方法还包括：获取驾驶员在驾驶过程中的包含包括踩刹车的速度和力度的操作数据，基于历史统计的驾驶员的历史操作数据统计驾驶员的操作习惯并设置驾驶员认知状态识别阈值，当驾驶员在驾驶过程中实时采集到的操作数据超出所述驾驶员认知状态识别阈值判定驾驶员的认知状态异常。

在本发明的一些实施例中，所述驾驶干预系统包含语音模块和座椅，所述驾驶干预系统基于接收的驾驶状态反馈指令对驾驶员进行状态反馈调节的步骤包括：使用所述语音模块进行语音播报提醒或播放音乐以舒缓驾驶员情绪；自动调节座椅角度以提醒驾驶员调整驾驶状态。

在本发明的一些实施例中，所述人口学数据包含驾驶员的年龄、性别、身高和体重中的多种，所述基线状态数据库中以驾驶员ID作为标签包含相应的基线人因数据和驾驶员状态数据。

在本发明的一些实施例中，所述方法在使用虚拟现实技术模拟的虚拟驾驶环境中进行，所述虚拟驾驶环境中包含被试驾驶员和驾驶车辆，所述虚拟驾驶环境中还包含行人和其他车辆，行人和其他车辆对虚拟驾驶环境的场景变化做出反应。

在本发明的一些实施例中，当所述虚拟驾驶环境属于多任务场景时，所述多模态人因数据包含眼动数据，该方法还包括：首先校准采集得到的多模态人因数据的基线；在测量过程中实现对多模态人因数据的提取与训练；基于视线追踪技术识别眼动兴趣区，基于SEEV模型提取各个眼动兴趣区和驾驶任务场景之间的关系特征。

本发明的另一方面提供了一种基于多模态人因智能数据分析的驾驶状态监测并反馈的系统，所述系统包含状态识别子系统和驾驶干预子系统，所述状态识别子系统用于接收实时采集的被试驾驶员的多模态人因数据，对所述多模态人因数据进行预处理，并将经过预处理的多模态人因数据送入预先训练的状态识别模型中，得到实时识别的驾驶员状态；其中，所述人因数据包括脑电数据、心率数据、皮电数据、呼吸数据、近红外数据、血氧数据、血压数据和皮温数据中的多种，所述预处理包括降噪处理和数据正态化处理，所述驾驶员状态包含正常状态和多个异常状态，所述异常状态的类别包含疲劳状态、分心状态和愤怒状态中的多种；所述驾驶干预子系统用于在识别到驾驶员状态为异常状态，针对不同类别的异常状态生成驾驶状态反馈指令到驾驶干预系统，从而使驾驶干预系统基于接收的驾驶状态反馈指令对驾驶员进行状态反馈调节；其中，所述状态识别模型通过采集被试驾驶员的基线人因数据和人口学数据，在基线状态数据库中检索相比被试驾驶员的基线人因数据和人口学数据在预设相似度范围内的驾驶员相关数据，以检索到的驾驶员的基线人因数据和基线状态数据库中存储的驾驶员状态数据作为训练集，以预先选定的正常状态和多个异常状态作为标签，进而迭代训练得到。

本发明的另一方面提供了一种多模态人因数据分析的驾驶状态监测反馈装置，包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如上实施例中任一项所述方法的步骤。

本发明的另一方面提供了一种终端设备，所述终端设备用于使用如上实施例中任一项所述方法的步骤。

本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上实施例中任一项所述方法的步骤。

本发明的另一方面提供了一种边缘计算终端设备可以包括智能传感器、可编程逻辑控制器(PLC)，所述边缘计算终端设备用于采集如上实施例中任一项所述方法的步骤的数据。

本发明所提出的基于多模态人因智能数据分析的驾驶状态监测并反馈的方法和系统，能够利用预先训练的状态识别模型，对经过预处理的实时采集的多模态人因数据进行处理，通过分类标签对驾驶员的正常状态和异常状态进行区分，识别驾驶员的不同驾驶状态，进而针对不同的驾驶状态进行处理，避免交通意外的发生。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例中基于多模态人因智能数据分析的驾驶状态监测并反馈的方法流程图。

图2为本发明一实施例中基于多模态人因智能数据分析的驾驶状态监测并反馈的系统结构示意图。

图3为本发明一实施例中脑电数据预处理流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

为了解决现有技术存在的问题，本发明提供了一种基于多模态人因智能数据分析的驾驶状态监测并反馈的方法和系统，通过多模态人因数据识别驾驶员状态，并进一步结合驾驶员、车辆、环境和路况等多元素进行人车路环监测反馈。

图1为基于多模态人因智能数据分析的驾驶状态监测并反馈的方法流程图，该方法包含以下步骤：

步骤S110：接收实时采集的被试驾驶员的多模态人因数据；所述人因数据包括脑电数据、心率数据、皮电数据、呼吸数据、近红外数据、血氧数据、血压数据和皮温数据中的多种。

步骤S120：对所述多模态人因数据进行预处理，所述预处理包括降噪处理和数据正态化处理。

步骤S130：将经过预处理的多模态人因数据送入预先训练的状态识别模型中，得到实时识别的驾驶员状态；所述驾驶员状态包含正常状态和多个异常状态，所述异常状态的类别包含疲劳状态、分心状态和愤怒状态中的多种。

在具体实施过程中，不同模态的人因数据与不同标签的驾驶员状态之间具备预设的映射关系，例如，通过脑电数据的不同区域的信号或不同的波段可以分别判定驾驶员是否处于疲劳状态、分心状态或愤怒状态，通过心率数据可以分析驾驶员是否处于愤怒状态，通过呼吸数据可以分析驾驶员是否处于疲劳状态，通过皮电数据和近红外数据可以分析驾驶员是否处于分心状态。以上仅为示例，本发明不限于此。

步骤S140：当识别到驾驶员状态为异常状态，针对不同类别的异常状态生成驾驶状态反馈指令到驾驶干预系统，从而使驾驶干预系统基于接收的驾驶状态反馈指令对驾驶员进行状态反馈调节。

在本发明一些实施例中，该方法还包括状态识别模型的预训练过程，在状态识别模型的预训练过程中，首先采集被试驾驶员的基线人因数据和人口学数据，在基线状态数据库中检索相比被试驾驶员的基线人因数据和人口学数据在预设相似度范围内的驾驶员相关数据，以检索到的驾驶员的基线人因数据和基线状态数据库中存储的驾驶员状态数据作为训练集，以预先选定的正常状态和多个异常状态作为标签，通过迭代训练得到所述状态识别模型。

具体地，上述方法的执行主体可以是车机，例如，将车机连接到各个采集装置，将采集装置佩戴于驾驶员身上或安装在车辆内部，从而采集驾驶员的多模态人因数据。

本发明所提出的基于多模态人因智能数据分析的驾驶状态监测并反馈的方法和系统，能够利用预先训练的状态识别模型，对经过预处理的实时采集的多模态人因数据进行处理，通过分类标签对驾驶员的正常状态和异常状态进行区分，识别驾驶员的不同驾驶状态，进而针对不同的驾驶状态进行处理，避免交通意外的发生。

在本发明一些实施例中，降噪处理步骤包含：对心电数据采用小波过滤、卡尔曼滤波和经验模态分解中的一种或多种；对皮电数据以一个时间窗的值作为基线值，一个时间窗的值作为反应最大值，对皮电数据进行降噪处理。

采用该发明实施例，可以获得更为纯净的多模态人因数据。

在本发明一些实施例中，对人因数据包括的脑电数据的预处理包含全脑平均参考、滤波处理、ICA分析和时频分析以提取脑电数据目标波段，通过所述滤波处理对所述脑电数据进行筛选并去除伪迹，通过所述ICA分析识别并去除眨眼片段和/或肌电片段，通过所述时频分析提取脑电数据目标波段；其中，所述滤波处理包含高通滤波处理、低通滤波处理、凹陷滤波处理和带通滤波处理。其中，时频分析的分析手段之一是功率谱密度分析。

采用该发明实施例，能够获得更为纯净的脑电数据。

具体地，在本发明一具体实施例中，所述对人因数据包括的脑电数据的预处理在全脑平均参考之前还包含数据清洗的步骤，具体包括：通过所述数据清洗的方式去除伪影和噪声。所述对人因数据包括的脑电数据的预处理在ICA分析之前还包括：删除无用通道的步骤和基于深度学习方法的伪迹去除步骤。

采用该发明实施例，可以去除人因数据包含的脑电数据中的伪迹，获得更为纯净的脑电数据，从而更好的对驾驶员的驾驶状态进行识别和反馈。

在本发明一些实施例中，所述多模态人因数据还包括被试驾驶员头部的图像数据，在对所述多模态人因数据进行预处理后，该方法还包括：

基于图像识别技术对被试驾驶员头部的图像数据进行分析，得到驾驶员的眼动特征、头部运动特征和面部表情特征，结合视线追踪技术对所述驾驶员的眼动特征和头部运动特征进行解析，通过表情识别技术对面部表情特征进行解析，得到实时识别的驾驶员状态。

采用该发明实施例，能够扩展实时识别驾驶员状态的角度，可以进而多角度验证驾驶员状态，获得更为准确的驾驶员状态识别结果。

在本发明一些实施例中，在对所述多模态人因数据进行预处理后，该方法还包括：(1)对经过预处理的多模态人因数据进行特征提取得到与驾驶行为相关的特征；(2)对所述与驾驶行为相关的特征进行标签管理，当检测到与标签相关的数据时，基于所述与驾驶行为相关的特征进行分析，得到实时识别的驾驶员状态。其中，所述与驾驶行为相关的特征包含心率、血压和呼吸频率中的一种或多种。

采用该发明实施例，可以通过标签管理的形式对驾驶员状态进行更为细化的管理，从而支持更为多样化的驾驶状态识别和反馈方式。

在本发明一些实施例中，状态识别模型为分类模型，所述分类模型的类型至少包括向量机模型、决策树模型和朴素贝叶斯模型中的任一种。

在本发明一些实施例中，所述驾驶员状态还包括驾驶员的认知状态，在对所述多模态人因数据进行预处理后，该方法还包括：获取驾驶员在驾驶过程中的包含包括踩刹车的速度和力度的操作数据，基于历史统计的驾驶员的历史操作数据统计驾驶员的操作习惯并设置驾驶员认知状态识别阈值，当驾驶员在驾驶过程中实时采集到的操作数据超出所述驾驶员认知状态识别阈值判定驾驶员的认知状态异常。

采用该发明实施例，能够通过采集并分析驾驶员的历史操作数据统计驾驶员的操作习惯，从而通过识别驾驶操作过程中的异常操作情况识别驾驶员的驾驶状态异常，从有一个新的角度提供了驾驶员状态的识别方式。

进一步地，在以上驾驶员状态识别方式的基础上，对不同渠道获得的驾驶员状态进行加权，但加权后的驾驶员状态超过阈值则最终生成驾驶员状态识别结果，即驾驶状态。

在本发明一些实施例中，驾驶干预系统包含语音模块和座椅，所述驾驶干预系统基于接收的驾驶状态反馈指令对驾驶员进行状态反馈调节的步骤包括：(1)使用所述语音模块进行语音播报提醒或播放音乐以舒缓驾驶员情绪；(2)自动调节座椅角度以提醒驾驶员调整驾驶状态。需要说明的是，在如今的智驾系统中，车辆上的很多智能设备(如智能座椅、智能音响等)与车机相连接，通过车机可以向他们发布指令以实现预先编程的功能，对此本发明不做具体限定。

在本发明一些实施例中，所述人口学数据包含驾驶员的年龄、性别、身高和体重中的多种，所述基线状态数据库中以驾驶员ID作为标签包含相应的基线人因数据和驾驶员状态数据。本发明不限于此，以上仅为示例。

在本发明一些实施例中，所述方法在使用虚拟现实技术模拟的虚拟驾驶环境中进行，所述虚拟驾驶环境中包含被试驾驶员和驾驶车辆，所述虚拟驾驶环境中还包含行人和其他车辆，行人和其他车辆对虚拟驾驶环境的场景变化做出反应。

在本发明一些实施例中，当所述虚拟驾驶环境属于多任务场景时，所述多模态人因数据包含眼动数据，该方法还包括：(1)首先校准采集得到的多模态人因数据的基线；(2)在测量过程中实现对多模态人因数据的提取与训练；(3)基于视线追踪技术识别眼动兴趣区，基于SEEV模型提取各个眼动兴趣区和驾驶任务场景之间的关系特征。

虚拟驾驶环境包括驾驶操作室，以及虚拟现实的路换状态，可以模拟构建出任何需要的驾驶环境，从而获取更为准确的生理信息。在本发明一实施例中，为了更准确的获取生理信息数据，不仅仅在驾驶员侧做了数据采集，同时也在虚拟环境中增加了真实的行人、其他车辆的驾驶员等不同角色的反应。例如，当一行人过路口时，该驾驶员停车时的一个场景，其中还有几秒行人侧即将变等，这时候采集驾驶员的生理信号，包括脑电、肌电、心率、血压、呼吸频率等，获取其对应当下情况的认知状态。其中同时检测行人的生理信息及动作信息，例如打手势与驾驶员互动提醒“我要过马路，你稍等一下”，同时监测驾驶员的生理信号、情绪状态等信息，判断驾驶员的驾驶状态和驾驶习惯。此为一个场景实施例，对此本发明不做具体限定。

进一步地，当驾驶任务场景为多任务场景时，基于SEEV(显著性S、努力值E、期望值E、信息值V)模型提取各兴趣区和驾驶任务场景之间的关系特征，其关系特征包括：驾驶任务场景的重要度(任务优先级，task priority)、兴趣区与驾驶任务场景的相关性(relevance)、兴趣区内的信息量(带宽，BW)，进一步组合成该驾驶任务场景下规则库内不同兴趣区的视觉关注度(Visual attention to AOI)，进而形成以(场景、AOI、视觉关注度)三元组形成存储的规则库，公式表示为：

采用该发明实施例，能够基于眼动数据和实现追踪技术，从另一个角度验证驾驶员的分心状态等。

本发明上述实施例中还需要先校准采集得到的多模态人因数据的基线，在测量过程中实现对眼动和生理特征的提取与训练。其测量过程具体为：将人因数据通过判别分析法生成特征层生理指标，将特征层生理指标通过二分类数据来表示驾驶员的状态正常或异常，获取特征层生理指标出现的显著变化，其显著变化可以设置在4s内均值±标准差，也可以自定义设置为其他值，仅为示例，本申请不限于此。其中，判别分析法可采用贝叶斯决策理论、线性判别函数、非线性判别函数及支持向量机进行人因数据的判别分析。

进一步地，在驾驶员状态正常的情况下，将眼动数据基于构建的规则库生成特征层眼动指标，将特征层眼动数据与规则库提取的眼动兴趣区的理论度进行匹配获得该驾驶员在驾驶任务场景中的第一评估分数，例如：相关系数法——兴趣区内眼动数据与规则库内理论关注度，再例如：σ1(A1,A’1)＝0.76，σ2(A2,A’1)＝0.96，σ3(A3,A’1)＝0.27；其中，A’1表示不同兴趣区的理论关注度向量，A1、A2、A3表示不同兴趣区内特征层眼动指标的向量，σ1、σ2、σ3表示不同兴趣区内的第一评估分数，进一步用于判断不专注的情况。

基于人车路环的获取的信息，使用Transformer Encoder对车辆数据进行编码，并在Transformer Encoder后，增加两层全连接(Fully Connected，FC)层，让模型输出长度和维度与输入数据一致。特征提取模型训练过程如下：对于输入的多种车辆信息，对其在时间维度进行比例为0.1的随机掩码，随后在通道维度也进行随机掩码，掩盖其中1-2个通道的信息。将掩码后的数据输入至Transformer Encoder和FC层，输出结果与未经掩码的输入数据比较，计算损失并反向传播。完成训练后，模型的输出能将输入数据中掩码部分完好恢复。在这一过程中，Transformer Encoder将学习到数据中的有效特征，这部分特征将与其他模态数据例如人因数据以及情感数据认知数据，环境的数据等特征结合，共同用于分类任务，分类任务包括驾驶状态和驾驶习惯等，但不做具体限定，根据获取的驾驶习惯和驾驶状态进行监测，并提供反馈信息。

根据检测到的情绪状态进行反馈驾驶操作，由于情绪状态影响驾驶员的注意力和警觉性：当驾驶员处于积极的情绪状态时，他们的注意力和警觉性会提高，更容易发现道路上的危险情况和紧急情况，并做出更快的反应。相反，当驾驶员处于消极的情绪状态时，他们的注意力和警觉性会降低，对道路上的情况可能不够敏感，导致反应迟钝或错误判断。因此当监测到驾驶员的情绪低落时，及时提醒，提升专注度。或者给与积极的相应，使得驾驶员的情绪有一定的提升。

另外情绪状态影响驾驶员的决策能力：情绪状态对驾驶员的决策能力有显著影响。当驾驶员处于积极的情绪状态时，他们更有可能做出明智、理性的决策，对驾驶行为和道路情况有更准确的判断。相反，当驾驶员处于消极的情绪状态时，他们可能做出冲动的决策，对驾驶行为和道路情况产生错误的判断，从而增加交通事故的风险。

由于情绪状态影响驾驶员的驾驶行为，情绪状态会影响驾驶员的驾驶行为和操作。当驾驶员处于积极的情绪状态时，他们更有可能保持稳定的驾驶行为，遵守交通规则和指示，对车辆的控制更加精确。相反，当驾驶员处于消极的情绪状态时，他们可能表现出不稳定的驾驶行为，违反交通规则和指示，对车辆的控制可能不够准确，增加交通事故的风险。

本发明在对脑电原始数据进行的处理比较复杂，包含多个更为细化的步骤。图3为本发明一实施例中脑电数据预处理流程图，首先对获得的脑电原始数据进行全脑平均参考，之后进行滤波处理从而滤除不太需要的频段，保留对驾驶状态分析重要的频段，之后进行独立主成分分析，之后可以进行功率谱密度分析从而提取用于驾驶状态识别的脑电数据目标波段。

在本发明一实施例中，对脑电原始数据进行全脑平均参考，带阻滤波：0.5-45Hz，通过ICA主成分分析识别并去除眨眼片段、肌电片段，最后通过时频分析，提取包括3-7Hz为theta波，8-12Hz为alpha波，13-30Hz为beta波的功率谱密度特征。

脑电数据预处理的基本步骤包括以下几个方面：(1)定位通道位置：根据电极的排布系统，为每个通道分配一个头皮上的坐标位置，以便进行空间分析和可视化。(2)删除无用通道。(3)设定阈值以删除一些含有过大伪迹或者异常值的片段，提高数据质量。

在定位通道位置过程中，首先通过数学清洗的方式去除伪影和噪声中区分出干净的信号。根据伪迹的频率范围选择合理的滤波器，可以有效减少脑电原始数据的伪迹。例如，高通设置0.1Hz，低通设置30Hz。另外外为了消除市电干扰，可以选择凹陷滤波，去除50Hz干扰。同时当我们对某个信号频率范围感兴趣的时候，可以使用带通滤波，比如，我们对α波感兴趣，那么可以使用带通滤波，保留8-13Hz的信号频段进行分析。

在删除无用通道过程中，根据实验目的和设计，去除一些不需要的通道，如双侧乳突点、眼电通道等。结合其他的多模态的生物学数据帮助我们检测和区分脑电中的伪迹数据，如结合眼电和眼动测量。识别EEG信号中的眨眼和眼动，结合心电信号测量，识别EEG中的心电伪迹，结合加速度信号的测量，识别EEG中的头部运动伪迹等。由于多个电极设置为一个通道，可以成为一导，一般可以分为16导、32导等不同通道的布局。其中当一导中的某些电极没有准确的放置在头皮上时，就不能准确收集大脑的神经生理信号，作为坏导联。出现坏导联的原因包括：通道故障、电极放错位置、接触不良、出现串联、通道饱和等。在进行数据分析时，首先需要找出坏导联电极并进行剔除。一般和其他通道的正常电极信号进行比对，筛掉坏导联电极信号。

在设定阈值以删除一些含有过大伪迹或者异常值的片段的过程中，一般采用设置阈值方式去掉一部分噪音做数据的预处理过程，找出异常波段，根据伪迹的频率范围选择合理的滤波器，可以有效减少脑电原始数据的伪迹。例如，高通设置0.1Hz，低通设置30Hz。另外外为了消除市电干扰，可以选择凹陷滤波，去除50Hz干扰。同时当我们对某个信号频率范围感兴趣的时候，可以使用带通滤波，比如，我们对α波感兴趣，那么可以使用带通滤波，保留8-13Hz的信号频段进行分析。已经考虑了以上的所有因素之后，采集的EEG信号仍然可能会有很多噪音，对这部分噪声还可以用滤波与数学算法分解信号与噪音，提高信噪比。

进而，可以基于深度学习的方法，使用现有的数据集来训练AI算法，自动检测和拒绝记录中的伪迹(理想情况下是实时的)。以减少目标信号和预测信号之间的均方误差。

一般采用的数据预处理的算法流程如下：

(1)数据截取，例如截取0.5s的时间窗作为输入信号；

(2)将EEG信号进行快速傅里叶变换，提取其频域的信息；

(3)采用笛卡尔坐标系中的方位角等距投影将EEG电极点在三维空间中的分布投影到二维图像，从而将EEG信号变成有空间拓扑结构的多光谱图像；

(4)通过以上三步操作充分挖掘EEG信号时间维度、频域维度、空间维度的信息。

此外，在以上预处理步骤的基础上，还可以通过SNS方法、RANSAC方法和Cross-Validation方法等，这些预处理方法均可从一定程度提高脑电信号的信噪比(SignalNoise Ratio，SNR)。

在获取到脑电信号后，可以根据脑地形图，进行进一步的分析，在某一时间段内，大脑的哪个频段激活程度较大，且位于大脑的哪个脑区。例如：被试在接受恐怖图片的视觉刺激时，会发现Beta波的脑地形图激活更强，反应紧张情绪，且位置位于枕叶(大脑后方)区域的视觉皮层。不同不同的脑电信号，以及脑电信号发生的不同位置，确定当前时刻被检测人的情绪，感知能力，以及分心情况、疲劳情况、负荷水平等，在实际的驾驶过程中给与不同的相应。

在步骤S130-S140所记载的基于状态视频模型识别驾驶状态的基础上，该方法还可以包括：可以基于图像识别技术的驾驶行为。例如，通过驾驶员的眼动特性、头部运动特性、面部表情等来探讨驾驶员的心理活动变化，从而对驾驶员进行驾驶疲劳、驾驶分心等判断。这种方法可以通过对眼部特征的识别和分析，判断驾驶员是否分心或疲劳驾驶。通过神经网络算法提取眼动的特征，及转动角度，结合相关不同的车辆的后视镜两侧与驾驶员位置的角度，确认驾驶员的是正常观测行驶过程中后视镜的情况还是分心情况。

具体地，可以将获取到的眼动数据及眼转角与后视镜的设定角度范围的关系，及脑电信号的结合，确认驾驶状态。从而进行驾驶员状态干预。

又或者，可以基于视线追踪技术的驾驶行为。具体地，可以通过追踪驾驶员的视线方向和注视点，判断驾驶员是否分心或疲劳驾驶。这种方法可以通过对驾驶员的眼部运动和视线方向的分析，判断驾驶员是否在注视道路前方，从而判断其是否分心或疲劳驾驶。

在本发明一实施例中，还可以基于生理信号识别驾驶状态。例如，可以通过监测驾驶员的生理信号，如心率、血压等，判断驾驶员是否分心或疲劳驾驶。这种方法可以通过对驾驶员的生理信号的分析，判断其是否处于疲劳或分心状态。通过预设阈值与基值进行比较。

进一步地，基于生理信号获取驾驶行为的深度学习算法模型还可以采用特征提取算法：从获取驾驶员的生理信号数据中提取出与驾驶行为相关的特征。这些特征可能包括心率、血压、呼吸频率等。对这些提取的特征进行标签管理，当检测到与标签相关的数据时，通过对这些数据特征(携带标签)进行分析，判断驾驶员的驾驶状态和情绪状态，当获取到驾驶员的驾驶状态和情绪状态时，进行分类管理，形成数据库，对应设置不同的驾驶习惯。当不满足设定驾驶习惯级别时，给予提醒并提醒改进方案。

其中，深度学习算法模型可以为分类算法模型。基于分类算法模型将提取的特征分类为不同的驾驶行为，例如正常驾驶、分心驾驶、疲劳驾驶等。常见的分类算法包括支持向量机、决策树、朴素贝叶斯等。

在本发明一具体实施例中，由于驾驶员的的认知状态会影响驾驶行为和决策能力，例如驾驶员的判断、反应速度等。可以通过评估人的认知状态，可以了解驾驶员的驾驶能力和状态。这些需要获取驾驶员在操作过程中的数据，包括踩刹车的速度及力度，计算其操作习惯。

本发明的另一方面提供了一种基于多模态人因智能数据分析的驾驶状态监测并反馈的系统，又称为基于多模态人因数据分析的驾驶状态监测反馈系统，以及相对应的多模态人因数据分析的驾驶状态监测反馈方法，所述系统包含状态识别子系统和驾驶干预子系统。所述状态识别子系统用于接收实时采集的被试驾驶员的多模态人因数据，对所述多模态人因数据进行预处理，并将经过预处理的多模态人因数据送入预先训练的状态识别模型中，得到实时识别的驾驶员状态；其中，所述人因数据包括脑电数据、心率数据、皮电数据、呼吸数据、近红外数据、血氧数据、血压数据和皮温数据中的多种，所述预处理包括降噪处理和数据正态化处理，所述驾驶员状态包含正常状态和多个异常状态，所述异常状态的类别包含疲劳状态、分心状态和愤怒状态中的多种。所述驾驶干预子系统用于在识别到驾驶员状态为异常状态，针对不同类别的异常状态生成驾驶状态反馈指令到驾驶干预系统，从而使驾驶干预系统基于接收的驾驶状态反馈指令对驾驶员进行状态反馈调节。

其中，所述状态识别模型通过采集被试驾驶员的基线人因数据和人口学数据，在基线状态数据库中检索相比被试驾驶员的基线人因数据和人口学数据在预设相似度范围内的驾驶员相关数据，以检索到的驾驶员的基线人因数据和基线状态数据库中存储的驾驶员状态数据作为训练集，以预先选定的正常状态和多个异常状态作为标签，进而迭代训练得到。

具体地，在本发明一实施例中，记录驾驶员人口学数据，如年龄、性别、身高、体重，采集驾驶员基线人因数据5分钟，基线人因数据包括心率、包括心率、皮电、呼吸、脑电、近红外、血氧、血压和皮温数据等。在状态识别模型的训练过程中，根据驾驶员人口学数据和基线人因数据，通过相关算法在系统原有基线状态数据库中找到相似驾驶员数据(驾驶员人口学数据和基线人因数据，可以通过预设偏离度范围来进行筛选)，并对该数据进行训练，分类标签为疲劳状态、分心状态、愤怒状态和正常状态。在模型训练结束的测试过程中，通过对驾驶员的人因生理采集设备，信号矫正后，实时采集监测心率、皮电、呼吸、脑电、近红外、血氧、血压和皮温等数据。在使用状态识别模型进行驾驶状态判别的过程中，是将预处理后的数据送入训练好的模型中，得到驾驶状态识别结果。

其中，对心电数据的预处理是通过对原始数据利用去噪算法，如小波过滤、卡尔曼滤波、经验模态分解等等降噪，除去肌电干扰、工频干扰、基线漂移矫正。并将数据正态化。对皮电数据的预处理是对原始皮电数据利用去噪算法，一个时间窗的值作为基线值，一个时间窗的值作为反应最大值。并将数据正态化。对呼吸呼吸、皮温、血压、血氧等数据进行降噪处理和数据正态化。数据正态化指的是将数据转换成服从正态分布的数据，正态分布是一种常见的概率分布，具有对称性、均匀性和可预测性等特点。数据正态化可以提高数据分析的准确性和效率，在机器学习、统计学、数据挖掘等领域都有广泛应用。

图2为本发明一实施例中基于多模态人因智能数据分析的驾驶状态监测并反馈的系统结构示意图。图2中具体展示了驾驶状态识别系统和驾驶干预系统内包含的内容。

对于驾驶状态识别系统，监测实时采集的心率、皮电、呼吸、脑电、近红外、血氧、血压和皮温数据，输入数据到驾驶状态识别模型，从而监测得到标签形式的疲劳状态、分心状态、愤怒状态或正常状态，驾驶状态模型在基线状态数据库的基础上训练得到。对于正常状态的标签无需进行处理，但是对于异常状态(疲劳、分心或愤怒)的标签，则在驾驶干预系统中通过指令控制香氛模块进行气味喷雾，通过语音模块进行语音提示或音乐提示，通过座椅进行震动、吹冷风、靠背角度调节等方式进行提醒。

一般而言，该系统安装于车机系统之上，车机系统和车辆内的香氛模块、语音模块和智能座椅建立指令连接。

本系统分为两部分，第一个部分是驾驶状态识别系统，另一个部分是驾驶干预系统。在驾驶状态检测系统中，可以通过对驾驶员的生理监测采集，包括心率、皮电、呼吸、脑电、近红外、血氧、血压和皮温数据，通过深度学习算法训练的模型进行多种状态识别，例如，可以包括：(1)疲劳状态，(2)分心状态，(3)愤怒状态，(4)正常状态。状态识别后通过驾驶干预系统中的香氛、语音模块和座椅进行预警和干预。

当识别到驾驶状态后，由驾驶干预系统进行处理。具体地，在监测到消极的情绪状态时，可以给予反馈舒缓的音乐，或者积极的故事相应调整驾驶员的状态，也可以指示车辆进入警觉模式，当驾驶员有过激操作时进行紧急应对。当监测到驾驶员疲劳时也进一步判断情绪，由于驾驶员要避免过度疲劳，疲劳过度会引起情绪的消极，因此需要进一步在这个疲劳状态下进行判断，获取生理信息，进一步获取情绪状态，当获取到情绪状态为消极时，需要积极进行反馈调整。例如可以开启车载娱乐系统。车载娱乐系统可以提供音乐、广播、视频等功能，缓解驾驶员的疲劳和无聊情绪。这些功能可以帮助驾驶员放松身心，提高驾驶的舒适性和安全性。也可以开启智能语音交互系统，可以通过智能语音交互系统具备的语音识别和自然语言处理技术来与驾驶员进行交互，提供导航、路况查询、电话拨打等服务。这些服务可以帮助驾驶员更好地了解交通情况和使用车辆的各种功能，提高驾驶的便捷性和安全性。或者，可以开启同步广播，同时将该车辆信息作为标记发送给当前设定区域内的车辆。也可以车载通信系统可以与驾驶员和其他车辆进行信息交换，告知其他车辆该车辆的位置及当前驾驶员状态，该状态的发布预先经过驾驶员许可，在许可范围内进行广播，避免车辆的事故的发生。另外还可以得到车辆辅助自动驾驶的反馈。智能驾驶辅助系统可以监测驾驶员的状态和车辆行驶情况，提供预警和辅助操作，例如自动刹车、车道保持、盲点监测、自适应巡航控制等。

与上述方法相应地，本发明还提供了一种多模态人因数据分析的驾驶状态监测反馈装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。

本发明的一实施例还提供了一种终端设备，所述终端设备用于使用如上实施例中任一项所述方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现如前所述方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本发明实施例还提供一种边缘计算终端设备可以包括智能传感器、可编程逻辑控制器(PLC)，所述边缘计算终端设备用于采集如上实施例中任一项所述方法的步骤的数据。

本发明所提出的基于多模态人因智能数据分析的驾驶状态监测并反馈的方法和系统，能够至少利用预先训练的状态识别模型，对经过预处理的实时采集的多模态人因数据进行处理，通过分类标签对驾驶员的正常状态和异常状态进行区分，识别驾驶员的不同驾驶状态，进而针对不同的驾驶状态进行处理，避免交通意外的发生。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。