基于跨模态迁移的人体行为数据标注及识别系统与方法

技术领域

本发明属于无线感知技术领域，涉及一种基于跨模态迁移的人体行为数据标注及识别系统与方法，本系统是利用常见的商用摄像头和WiFi信号采集设备对人体行为进行采样，配合特有的深度学习算法对视频片段和WiFi信号进行特征提取和模型训练，利用知识蒸馏将从视频中学习到的辨别性知识为WiFi模型提供无监督指导，由此实现数据标注和行为识别。

背景技术

近年来，人体行为识别被广泛应用于智能家庭中的动作识别、人机交互、健康看护等任务。随着WiFi基础设施在室内环境中的广泛部署，WiFi以普适性、低成本等优势成为流行的人体行为识别技术之一，提供一种连续的、非侵入性的感知方式，为人体行为识别开辟一个新的范式。此外，基于WiFi的人体行为识别因其对光线要求低且有穿墙能力而受到青睐，可以弥补基于视频的人体行为识别技术缺陷，例如在光线微弱和障碍物遮挡情况下识别性能较差。因此，近年来在基于WiFi的人体行为识别技术衍生出大量应用，如健身检测、饮食监测和入侵检测等。

然而，基于WiFi的先进人体行为识别方法，特别是基于机器学习的方法，通常依赖于大量的、带标记的行为数据。但手动标注大量人体行为数据样本耗时耗力。此外，WiFi信号极度敏感，硬件噪声、环境部署，运动朝向和速度等因素均容易造成信号变化模式的不稳定，这可能导致人工标注的数据不准确，从而影响识别性能。

发明内容

本发明要解决的技术问题是如何利用视频辨别性的特征信息为物理层WiFiCSI(Channel State Information,信道状态信息)数据生成准确的行为标签并提供精准的无监督指导，使其在各种复杂环境下实现鲁棒的人体行为识别。本发明设计了一种基于跨模态迁移的人体行为数据标注及识别系统与方法，以强普适性的WiFi信号为研究对象，利用轻量级的机器学习方法从复杂的WiFi数据中提取丰富的行为特征，在基于视频的模型指导下获取准确的行为数据标签，并有效识别正在执行的行为。本发明通过结合WiFi信号传播的物理空间特征、知识蒸馏等技术，最终为无源感知数据标注及生成、行为识别领域的应用提供理论依据和实践经验，设计的系统为无源识别、室内入侵检测、睡眠监测等应用提供了新的解决方案。

本发明的技术方案：

一种基于跨模态迁移的人体行为数据标注及识别系统，包括WiFi信号发射端、WiFi信号接收端、视频接收端、云服务器和控制端；

WiFi信号发射端和接收端分别由一个路由器和一个带无线网卡的计算机构成，两者相隔置于房间内，WiFi信号发射端用于发送携带CSI信息的WiFi信号，WiFi信号接收端用于接收环境中的信号并上传至云服务器，视频接收端则通过摄像头同步采集正在执行的连续行为图像并上传至云服务器；

云服务器包括数据收集模块、预处理模块、特征提取模块和跨模态迁移模块；数据收集模块使用WiFi信号接收端收集用户的WiFi数据及其对应的由摄像头收集的视频数据；预处理模块用于处理基于WiFi信号和视频两种模态的人体行为数据分割与对齐问题；特征提取模块中的特征提取模型使用深度学习模型从预处理后的WiFi数据中提取人体行为的信号变化特征，并利用现有的计算机视觉技术从视频数据中挖掘人体行为特征；跨模态迁移模块则利用视频模型学习到的辨别性特征知识作为有效的行为标签，对基于WiFi的特征提取模型进行无监督指导，从而进一步训练、验证基于WiFi的特征提取模型；基于WiFi的特征提取模型训练完成后，则在测试/实际应用阶段可以直接输入WiFi信号接收端采集的WiFi信号，输出人体行为类别信息，无需摄像头，可保护用户隐私；

控制端为网页端或手机客户端，与WiFi信号发射端、WiFi信号接收端、视频接收端、云服务器相通信，对用户的行为进行实时监控和异常预警。

所述的预处理模块，具体如下：

(1)数据分割：通过分析WiFi CSI信息数据的行为运动频率，采用合适长度的滑动窗口和步长分割原始的长序列WiFi CSI数据，将其处理成长度统一的短序列数据样本；

(2)数据对齐：根据WiFi CSI信息数据的采样率和视频的采集帧率，求得采样比率；依据该采样比率和分割后WiFi CSI信息数据大小选取对应的视频片段长度及滑动步长，解决多模态数据对齐问题。

所述的特征提取模块，具体如下：

(1)基于WiFi的特征提取模型：为挖掘来自原始的、复杂的WiFiCSI数据中提取到深层次人体行为特征，设计一个基于CNN(ConvolutionalNeural Netw ork，卷积神经网络)的多视角时空特征提取器；该特征提取器包括1个低层次卷积层、1个多视角卷积模块、1个拼接层、2个连续的卷积和池化层和2个全连接层；其中，多视角卷积模块由四个不同用途分支组成：第一个分支由两层标准卷积层组成，具有相同大小的卷积核，但卷积核数不同；第二个分支由两层空洞卷积组成，与第一个分支具有相同的卷积核大小和数目；第三个分支由两层时间卷积组成；第四分支为一个1×1的卷积分支，在保持特征图比例不变即不损失分辨率的情况下，增加其非线性特征；最终合并这些分支的计算特征，以获得WiFi CSI信息数据的阶段性描述；最后，通过标准softmax分类层，计算分类概率；

(2)基于视频的特征提取模型：为了从视频片段提取有效的行为特征并生成准确的数据标签，本发明采用改进的R(2+1)D-18神经网络作为基于视频的特征提取器。网络改进之处在于添加了全连接层和分类层，使其更适用于该系统；在采集的视频数据集上使用交叉损失函数对该神经网络进行微调，以匹配真实标签的分布；当该神经网络被训练好，固定其模型参数，为未训练样本的行为提供准确的数据标注，无监督地指导基于WiFi特征提取模型的训练。

所述的跨模态迁移模块，具体如下：为了使基于WiFi的特征提取模型尽可能地接近训练有素的基于视频的特征提取模型的性能，采用混合损失函数来最小化两者距离，从而实现跨模态迁移，混合损失函数为基于带温度的softmax分类损失和基于全连接层的蒸馏损失。

一种基于跨模态迁移的人体行为数据标注及识别方法，采用上述系统，步骤如下：

步骤一，用户进入房间，WiFi信号发射端发送WiFi信号，用户随意行走或做任何动作，对WiFi信号造成明显扰动；视频接收端同步采集用户行为的连续图像，此时采集的WiFi信号和视频数据将被同步上传至云服务器上；

步骤二，云服务器对步骤一中的WiFi信号和视频数据先进行预处理，然后利用深度学习和跨模态迁移算法对预处理后的数据进行数据特征提取和跨模态迁移建模；

步骤三，当用户再次进入该房间内时，WiFi信号接收端再次将WiFi信号上传至云服务器，云服务器利用训练好的基于WiFi特征提取模型对WiFi信号进行用户行为匹配验证，显示出用户行为并发送给控制端，当发现用户行为异常，比如跌倒、情绪不稳定，则云服务器向控制端发出行为异常警报信息。

本发明的有益效果：本发明利用视频模型的高效识别性能对WiFiCSI数据进行精准标注，并指导WiFi特征提取器提取人体行为特征，采用基于神经网络和知识蒸馏算法，实现行为的高精度识别。本发明可实现在不同的评估环境下，甚至在不同的感知数据集下验证数据标注的有效性，填补无线感知领域数据标注及生成的空白，为基于深度学习的无源感知与识别打造应用示例。该系统可广泛应用到健身检测、饮食监测、和入侵检测等领域。

附图说明

图1为本发明的一种基于跨模态迁移的人体行为数据标注及识别系统与方法的应用示意图。

图中：1摄像头；2WiFi信号发射端；3用户；4WiFi信号接收端；5数据收集模块；6预处理模块；7特征提取模块；8跨模态迁移模块；9数据分割；10数据对齐；11数据处理后的多模态同步数据集；12基于视频的特征提取模型；13基于WiFi的特征提取模型；14基于视频的全连接层；15基于视频的Softmax分类层；16基于WiFi的全连接层；17基于WiFi的Softmax分类层。

具体实施方式

以下结合附图和技术方案详细叙述本发明的具体实施方式。

如图1所示，本发明的一种基于跨模态迁移的人体行为数据标注及识别系统与方法，包括WiFi信号发射端2、WiFi信号接收端4、视频接收端、云服务器(包括数据收集模块5、预处理模块6、特征提取模块7和跨模态迁移模块8)和控制端；应用时，具体步骤如下：

步骤一，用户3进入房间，WiFi信号发射端2发送WiFi信号，用户随意行走或做任何动作，对WiFi信号造成明显扰动；视频接收端通过摄像头1同步采集用户行为的连续图像，此时采集的WiFi信号和视频数据将被同步上传至云服务器上；

步骤二，云服务器对步骤一中的WiFi信号和视频数据先通过预处理模块6进行预处理，然后利用特征提取模块7和跨模态迁移模块8对预处理后的数据进行数据特征提取和跨模态迁移建模；

预处理模块6，具体步骤如下：

(1)数据分割9：取时间长度为t秒的WiFi CSI数据作为一个行为样本，用L表示。选择l作为滑动窗口的大小，并设置s(s≤l)作为滑动步长的大小。通过该滑动窗口和步长将t秒的长序列WiFiCSI数据分割为

(2)数据对齐10：WiFi CSI数据的采样率为ωHz，即每秒采集ω个数据包，视频数据的采集帧率为γFPS，可得采样比率

特征提取模块7，具体如下：

(1)基于WiFi的特征提取模型13：

a)模型输入：为了消除CFO(Carrier Frequency Offset，载波频率偏移)和SFO(sampling frequency offset，采样频率偏移)的影响，忽略CSI相位信息，只保留CSI振幅来实现该系统。假设一对WiFi收发器具有C个信道(即，天线对)，并且每个信道包含K个子载波，则分割后每个WiFi CSI数据样本在t时刻获CK个CSI数据流，定义为：

其中a

转化后的2维的CSI振幅信息

b)特征提取器：根据分割后的WiFi CSI数据结构，本发明从子载波K、信道C和时间T等三个视角设计轻量级的WiFi特征提取器，从而捕获WiFi CSI数据中不同尺度的信息差异，依赖多视角信息提取深层次人体行为特征。该特征提取器包括1个卷积核大小为4×1的低层次卷积层、1个多视角卷积模块、1个拼接层、一个连续的3×3卷积层和2×2池化层，一个连续的3×3卷积层和5×5池化层。

其中，多视角卷积模块由四个不同用途分支组成：第一个分支从信道C角度设计，由两层标准卷积层组成，具有相同大小的1×3卷积核，但卷积核数不同，分别为16和32。第二个分支设计灵感来自子载波K的排列方式，由两层空洞率为3的空洞卷积组成，与第一个分支具有相同的卷积核大小和数目，以此探索同一信道不同子载波之间的关系。第三个分支由两层3×1卷积核大小的时间卷积，挖掘WiFiCSI振幅在不同时间的变化趋势。此外，添加一个卷积核大小为1×1的卷积分支，在保持特征图比例不变(即不损失分辨率)的情况下，极大地增加其非线性特征。最终合并这些分支的计算特征，以获得WiFi CSI数据的阶段性描述。

之后，经过基于WiFi的两层全连接层16，选择softmax函数作为该模型的分类器，即基于WiFi的Softmax分类层17，预测行为类别的概率分布，定义为：

其中θ＝{W

(2)基于视频的特征提取模型12：为了从视频片段提取有效的行为特征并生成准确的数据标签，本发明基于Kinetics人体动作数据集预训练的R(2+1)D-18神经网络设计适应该系统的视频特征提取器。R(2+1)D-18网络的核心将三维时空卷积核分解为二维空间和一维时间卷积核，从而减少网络参数，加速模型训练。在该网络的基础上添加基于视频的全连接层14和基于视频的Softmax分类层15，并修改其输出大小，满足该系统行为类别。此后，在采集的视频数据集上对该改进模型进行微调，使用交叉损失函数训练该改进模型以匹配真实标签的分布，定义为：

其中i是样本索引，D_train为训练样本总数，j是行为类别索引，R是行为类别总数，y

跨模态迁移模块，具体如下：

跨模态迁移：为了使基于WiFi的特征提取模型尽可能地接近训练有素的基于视频的特征提取模型性能，采用混合损失函数来最小化两者距离，采用混合损失函数来最小化两者距离，即基于带温度的softmax分类损失和基于全连接层的蒸馏损失，定义为：

L

其中，α是平衡超参数，L

其中ε代表模型参数，V和W分别代表视频和WiFi数据样本，F(·)指基于WiFi或视频的特征提取模型的第一层全连接层输出。为了增强行为类别之间关系，提升模型泛化能力，本发明采用带温度Q的softmax函数，定义为：

步骤三，当用户再次进入该房间内时，WiFi信号接收端再次将WiFi信号上传至云服务器，云服务器利用训练好的基于WiFi特征提取模型对WiFi信号进行用户行为匹配验证，显示出用户行为并发送给控制端，当发现用户行为异常，比如跌倒、情绪不稳定，则云服务器向控制端发出行为异常警报信息。