一种基于多源信息融合深度网络的行为检测方法

技术领域

本发明涉及多源信息传感器信号处理和基于深度学习的行为检测技术领域，并且更具体地，涉及一种基于多源信息融合深度网络的行为检测方法。

背景技术

近年来，政府对民众的人身财产安全越来越重视，而在许多复杂的高危工作现场中，若工人发生跌倒、瞌睡等危险行为时不能被第一时间发现，将会造成严重的后果，因此进行准确的行为检测是必要的。

目前，国内外很多研究机构也在做关于行为检测的研究，现有的方法主要分为两类，一类是基于图像的深度学习方法，使用神经网络来检测图像中工人是否正在进行行为；另一类是基于加速度传感器的深度学习方法，使用神经网络判断人体各处姿态来关注行为是否发生。然而基于图像的方法易被遮挡、抗干扰能力差；基于加速度传感器的方法训练得到的数据往往不够精确，误判率高，这些方法都已无法满足目前行为检测的需求。另外，以上方法都忽略了在发生行为时，人体的心率、血氧会发生变化，同时心理发生的变化会进而导致脑电波变化。

发明内容

本发明提供了一种基于多源信息融合深度网络的行为检测方法，其目的在于运用多种传感器收集不同的生理、心理信号，通过卷积神经网络提取传感器信号序列中的空间特征，使用多源信息预处理算法将多个传感器信号融合为一个信号序列矩阵，传入基于全局时序编码的深度学习网络中提取时序特征并预测，解决行为检测中误判率高、准确率低的问题。

本发明提供了一种基于多源信息融合深度网络的行为检测方法，包括以下步骤：

S1，通过心率血氧传感器采集第一信息特征，通过加速度传感器采集第二信息特征，通过脑电波传感器采集第三信息特征，并对所述第一信息特征、第二信息特征和第三信息特征进行预处理，以获得第一信息序列、第二信息序列和第三信息序列；

S2，将所述第一信息序列输入第一卷积神经网络、第二信息序列输入第二卷积神经网络，进行动作特征提取以获得动作特征信息序列矩阵，将所述第三信息序列输入第三卷积神经网络进行脑电波特征提取以获得脑电波变化特征信息序列；

S3，通过多源信息融合预处理算法对所述动作特征信息序列矩阵和脑电波变化特征信息序列进行标准归一化处理，以获得行为特征信息序列矩阵；

S4，将行为特征信息序列矩阵输入基于全局时序编码的深度学习网络，以获取行为检测结果。

进一步地，所述第一信息特征为时间长度为t 内的心率、血氧信息，第二信息特征为时间长度为t内的三轴角度、三轴加速度、三轴磁场信息，第三信息特征为时间长度为t内的脑电波信息。

进一步地，所述步骤S1中预处理采用去极端点算法，所述去极端点算法的计算公式为：

其中

进一步地，所述第一卷积神经网络、第二卷积神经网络均包括第一层卷积BLOCK和第二层卷积BLOCK，所述第一卷积神经网络、第二卷积神经网络的输出为第一层卷积BLOCK的输出与第二层卷积BLOCK输出的非线性变化叠加。

进一步地，所述步骤S3中多源信息融合预处理算法具体包括以下步骤，

S301，将所述动作特征信息序列矩阵拆分为11段长度为t的第一动作特征信息序列，将所述第一动作特征信息序列与所述脑电波变化特征信息序列分别进行标准归一化处理，获得第二动作特征信息序列；

S302，将所述第二动作特征信息序列与脑电波变化特征信息序列拼接，以获得行为特征信息序列矩阵。

进一步地，所述标准归一化处理的计算公式为：

其中

进一步地，所述步骤S4将行为特征信息序列矩阵输入基于全局时序编码的深度学习网络以获取行为检测结果，具体包括以下步骤，

S401，根据所述行为特征信息序列矩阵计算每个单位长度i的时间序列编码Hi、状态时序编码Si、和动作时序编码Mi；

S402，依据所述时间序列编码Hi、状态时序编码Si、和动作时序编码Mi对所述行为特征信息序列矩阵中的每个元素分别进行相关度计算，以获得时间相关度编码矩阵、状态相关度编码矩阵和动作相关度编码矩阵；

S403，将所述时间相关度编码矩阵输入时间相关度卷积网络，所述状态相关度编码矩阵输入状态相关度卷积网络、所述动作相关度编码矩阵输入动作相关度卷积网络，进而输出行走、奔跑、跌倒和瞌睡四种行为发生概率，最终取三个卷积网络中所有概率的最大值作为当前时刻的行为检测结果输出。

进一步地，所述相关度计算公式为：

其中，t为输入序列的总长度，

进一步地，所述时间相关度卷积网络、状态相关度卷积网络和动作相关度卷积网络均包括两个卷积BLOCk、一个全连接层和一个Softmax层，所述两个卷积BLOCK均包括一个2D卷积层、一个池化层和一个RELU激活函数层。

一种基于多源信息融合深度网络的行为检测方法的系统，包括：

动作特征提取模块，采集用户第一信息特征和第二信息特征，并进行序列预处理，得到第一信息序列和第二信息序列，将所述第一信息序列和第二信息序列输入卷积神经网络，得到动作特征信息序列矩阵；

脑电波特征提取模块，采集用户第三信息特征，并进行序列预处理，得到第三信息序列，将所述第三信息序列输入卷积神经网络，得到脑电波变化特征信息序列；

融合深度网络模块，包括多源信息融合预处理单元和深度学习网络单元，所述多源信息融合预处理单元输入动作特征信息序列矩阵和脑电波变化特征信息序列进行标准归一化处理，得到行为特征信息序列矩阵；所述深度学习网络单元输入行为特征信息序列矩阵进行相关度计算，得到行为检测结果。

相比现有技术，本发明的有益效果在于：

本发明方法通过多种传感器采集多源信息信号，融合了九轴加速度传感器、心率血氧传感器以及脑电波传感器收集的生理、心理信息，利用基于全局时序编码的深度学习网络学习行为发生时的局部动作特征与脑电波信号的时序关联特征，使得输出的行为检测结果具有强时空依赖性，准确率更高、可靠性更强，可达到精确检测行为的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一种基于多源信息融合深度网络的行为检测方法的流程示意图；

图2示出了本发明一种基于多源信息融合深度网络的行为检测方法中步骤S3的具体流程示意图；

图3示出了本发明一种基于多源信息融合深度网络的行为检测方法中步骤S4的具体流程示意图；

图4示出了本发明一种基于多源信息融合深度网络的行为检测方法中多源信息融合预处理算法的流程示意图；

图5示出了本发明一种基于多源信息融合深度网络的行为检测方法中基于全局时序编码的深度学习网络的流程示意图；

图6示出了本发明一种基于多源信息融合深度网络的行为检测方法的系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-5所示，本发明实施例提供了一种基于多源信息融合深度网络的行为检测方法，包括如下步骤：

S1，通过心率血氧传感器采集第一信息特征，通过加速度传感器采集第二信息特征，通过脑电波传感器采集第三信息特征，并对所述第一信息特征、第二信息特征和第三信息特征进行预处理，以获得第一信息序列、第二信息序列和第三信息序列。

具体地，第一信息特征为通过心率血氧传感器采集时间长度t内的人体心率、血氧信息，第二信息特征为通过九轴加速度传感器采集时间长度t内的三轴角度、三轴加速度、三轴磁场信息，第三信息特征为通过脑电波传感器采集时间长度t内的脑电波信息，将上述已采集信息采用去极端点算法进行序列预处理；

进一步地，采用去极端点算法进行预处理包括：输入长度为t的序列

其中

S2，将所述第一信息序列输入第一卷积神经网络、第二信息序列输入第二卷积神经网络，进行动作特征提取以获得动作特征信息序列矩阵，将所述第三信息序列输入第三卷积神经网络进行脑电波特征提取已获得脑电波变化特征信息序列。

具体地，采用的第一卷积神经网络为人体特征卷积神经网络、第二卷积神经网络为加速度特征卷积神经网络、第三卷积神经网络为脑电波特征卷积神经网络。其中，在人体特征卷积神经网络中输入第一信息特征序列，即长度为t的心率、血氧的2段人体特征序列，人体特征卷积神经网络中含有两个2个卷积BLOCK，该卷积BLOCK中包含一个卷积核大小为2*2、卷积核个数为1、步长为1、填充步长为1的2d卷积层以及一个RELU激活函数层，卷积BLOCK的输出为上一层卷积BLOCK的输出与本层卷积输出的非线性变化叠加。在加速度卷积神经网络中输入第二信息特征序列，即长度为t的x轴加速度、y轴加速度、z轴加速度、x轴角度、y轴角度、z轴角度、x轴磁场、y轴磁场、z轴磁场9段加速度信息序列，将该9段加速度信息序列拼接为长度为t、高为9的加速度信息矩阵，将加速度信息矩阵传入加速度卷积神经网络中。加速度特征卷积神经网络中含有两个2个卷积BLOCK，卷积BLOCK中包含一个卷积核大小为3*3、卷积核个数为1、步长为1、填充步长为1的2d卷积层以及一个RELU激活函数层，该卷积BLOCK的输出为上一层卷积BLOCK的输出与本层卷积输出的非线性变化叠加。将经人体特征卷积神经网络处理得到的心率血氧信息序列和经加速度特征卷积神经网络得到的加速度矩阵进行拼接，合成为长度为t、高为11的动作特征信息矩阵。

在脑电波特征卷积神经网络中第三信息特征序列，即长度为t的脑电波特征序列，得到长度为t的脑电波变化特征信息序列。其中脑电波特征卷积神经网络中含有两个2个卷积BLOCK，所述卷积BLOCK中包含一个卷积核大小为2、卷积核个数为1、步长为1、填充步长为1的1d卷积层以及一个RELU激活函数层，所述卷积BLOCK的输出为上一层卷积BLOCK的输出与本层卷积输出的非线性变化叠加。

S3，通过多源信息融合预处理算法对所述动作特征信息序列矩阵和脑电波变化特征信息序列进行标准归一化处理，以获得行为特征信息序列矩阵。

进一步地，多源信息融合预处理算法具体包括以下步骤：

S301，将动作特征信息序列矩阵拆分为11段长度为t的第一动作特征信息序列，将第一动作特征信息序列与脑电波变化特征信息序列分别进行标准归一化处理，获得第二动作特征信息序列；

S302，将第二动作特征信息序列与脑电波变化特征信息序列拼接，以获得拼接为长度为t、高度为12的行为特征信息序列矩阵。

具体地，标准归一化处理的计算公式如下：

其中

S4，将行为特征信息序列矩阵输入基于全局时序编码的深度学习网络，以获取行为检测结果。

进一步地，包括以下步骤：

S401，根据所述行为特征信息序列矩阵计算每个单位长度i的时间序列编码Hi、状态时序编码Si、和动作时序编码Mi；

S402，依据所述时间序列编码Hi、状态时序编码Si、和动作时序编码Mi对所述行为特征信息序列矩阵中的每个元素分别进行相关度计算，以获得时间相关度编码矩阵、状态相关度编码矩阵和动作相关度编码矩阵；

S403，将所述时间相关度编码矩阵输入时间相关度卷积网络，所述状态相关度编码矩阵输入状态相关度卷积网络、所述动作相关度编码矩阵输入动作相关度卷积网络，进而输出行走、奔跑、跌倒和瞌睡四种行为发生概率，最终取三个卷积网络中所有概率的最大值作为当前时刻的行为检测结果输出。

具体地，将行为特征信息序列矩阵拆分为长度为t的12段行为特征信息序列，根据所述三类时间编码计算该12段行为特征信息序列中的每个元素与序列中其他元素的置信值

具体地，相关度计算公式如下：

其中，t为输入序列的总长度，

优选的，时间相关度卷积网络、状态相关度卷积网络、动作相关度卷积网络均包括：将长度为t，高度为12的相关度编码矩阵输入卷积网络中，所述卷积网络中含有两个卷积BLOCK，一个全连接层以及一个Softmax层；卷积BLOCK中包含一个卷积核大小为3*3、卷积核个数为1、步长为1、填充步长为1的2D卷积层，一个池化核大小为2*2、池化核个数为1、填充为1的池化层，一个RELU激活函数层；卷积BLOCK的输出为上一层卷积BLOCK的输出与本层卷积输出的非线性变化叠加；Softmax层将输出该卷积网络中行走、奔跑、跌倒、瞌睡四种行为类别的概率值，取时间相关度卷积网络、状态相关度卷积网络、动作相关度卷积网络中概率最大值作为当前时刻的行为检测结果。

本发明融合了九轴加速度传感器、心率血氧传感器以及脑电波传感器收集的生理、心理信息，使用深度学习网络提取了人体发生行为时的局部动作特征与脑电波信号的时序关联特征，使检测结果准确率更高，可靠性更强。

如图6所示，本发明提供了一种基于多源信息融合深度网络的行为检测方法的系统，包括：

动作特征提取模块，该模块包括心率血氧传感器、九轴加速度传感器、去极端点预处理算法和卷积神经网络，通过心率血氧传感器、九轴加速度传感器采集用户第一信息特征和第二信息特征，并去极端点预处理算法通过进行序列预处理，得到第一信息序列和第二信息序列，将第一信息序列和第二信息序列输入卷积神经网络，得到动作特征信息序列矩阵；

脑电波特征提取模块，包括脑电波传感器、去极端点预处理算法和卷积神经网络，通过脑电波传感器采集用户第三信息特征，并通过去极端点预处理算法进行序列预处理，得到第三信息序列，将第三信息序列输入卷积神经网络，得到脑电波变化特征信息序列；

融合深度网络模块，包括多源信息融合预处理单元和深度学习网络单元，多源信息融合预处理单元中，将动作特征信息序列矩阵和脑电波变化特征信息序列输入多源信息融合预处理算法进行标准归一化处理，得到行为特征信息序列矩阵；深度学习网络单元中，将行为特征信息序列矩阵输入基于全局时序编码的深度学习网络进行相关度计算，得到行为检测结果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。