基于隐私保护类GAN特征增强的居家视频跌倒检测方法

技术领域

本发明属于计算机视觉和模式识别领域，具体的说是涉及一种基于隐私保护类GAN特征增强的老人居家视频跌倒检测方法。

背景技术

随着我国老龄化以及家庭空巢化问题的日益严峻，独居老人的安全监护问题收到了广泛的关注。跌倒是老年人受伤死亡的主要原因，随着年龄的增长，跌倒的风险也随之增加，一旦发生跌倒，对于老年人的身体和心理都会造成极大的负面影响。伴随着社会对老年人健康生活的关注，发展出了多种跌倒检测的方式，现阶段跌倒检测技术主要分为基于可穿戴设备、基于场景传感器以及基于计算机视觉。可穿戴设备需要随身佩戴，定时充电，这就存在很大的安全隐患；场景传感器技术需要在老人活动范围布置大量各类传感器，成本很高且难以维护；相比之下，基于计算机视觉的跌倒检测技术因具有丰富的监测信息、非接触式监测方式、零电磁干扰监测环境等优势，受到了越来越多研究人员的关注。计算机视觉跌倒检测技术是目前广受关注的研究方向，但也存在个人隐私泄露的缺点，这是由于计算机视觉技术是基于一个或多个摄像头对被检测对象实时摄像/拍照，通过网络或其它通信方式把视频/图片上传处理，在此过程中，就存在隐私外泄的隐患，如穿衣或如厕过程等。即使采取某种技术手段可以对私密过程进行处理，但家庭装饰或环境布置如金银物品或奢侈艺术品等相关私人信息也会暴露。

CN110942009A中提供了一种基于时空混合卷积网络的跌倒检测方法，采用时空混合卷积网络的检测方法，把检测分为定位(坐标回归)和分类两部分，结合2D CNN和3D CNN的时空混合卷积网络，同时获取到优质的位置特征和类别特征，坐标回归完的特征全由2DCNN生成，分类的特征则是由3D CNN特征生成，然后将位置特征和类别特征进行融合，进行模型训练得到预测模型，利用预测模型对视频流输入进行检测最终得到预测结果，即是否有人跌倒。在以上的处理过程中是直接对摄像头获取的原始视频数据进行处理，与此同时，以视频监控作为监护手段离不开全天时条件下的目标跟踪分析等智能处理，这对于为及时侦测到老人危病行为的应用效果而言，其牺牲的代价将是个人隐私的完全泄露。毫无疑问，即便清楚危病行为缺乏有效监护的实际风险，但只要视觉或认知层面存在隐私外泄的可能，则任何具有自主行为能力的老人都不愿也不会接受这样一种无人身自由的监护模式。

随着对GAN网络不断深入的研究，既然GAN网络(GAN)可以实现“从无到有”的突破，即通过错杂的噪声数据就可以清晰的目标图像，并且在视觉上与原始的目标图像没有差别。不难猜想：既然GAN可以实现从无到有，那它在理论上就应该可以实现从“有”到“更多”的变化。这就意味着，GAN网络架构可以作为新的信息迁移工具，探索行为表征在质量提升与隐私保护之间的最佳平衡。

发明内容

为了解决当前基于视频监控的老年人室内跌倒检测方法中涉及隐私侵犯的问题，提出了一种基于隐私保护类GAN特征增强的老人居家视频跌倒检测方法，并且使用GAN网络作为新的信息迁移工具，实现尽可能准确的跌倒检测。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明是一种基于隐私保护类GAN特征增强的居家视频跌倒检测方法，包括如下步骤：

步骤1：基于公共的跌倒检测数据集，根据数据集中行为的特点，将训练数据分成正负集合，人工打上相应的类别标签；

步骤2：基于混沌伪随机伯努利测量矩阵对原始视频进行多层压缩感知处理，产生视觉层面具有视觉隐私保护效果的视频；

步骤3：利用基于广义非凸鲁棒主成分分析的低秩稀疏分解算法进行前景动目标的提取，得到具有视觉隐私保护效果的视频的前景动目标；

步骤4：运用基于带有辅助分类器的GAN网络对步骤3中获取到的具有视觉隐私保护效果的视频中的前景动目标进行时空迁移补偿，使得具有视觉隐私保护效果的视频中丢失的特征得到补偿，在此基础上得到最终的跌倒分类结果。

步骤4中的所述带有辅助分类器的GAN网络包括生成器G网络和鉴别器D，所述生成器G网络和鉴别器D均使用卷积神经网，其处理过程包括如下步骤：

步骤4-1：训练过程，在鉴别器D网络端输入步骤1中原始视频的前景动目标特征、相应的类别信息以及步骤4中补偿后的前景动目标特征，在生成器G网络端输入与原始视频对应的多层压缩感知处理后的具有视觉隐私保护效果的视频的前景动目标特征，并且，原始视频与具有视觉隐私保护效果的视频之间形成类别信息一一对应关系；

步骤4-2：测试过程，只输入步骤2中多层压缩感知处理后的具有视觉隐私保护效果的视频的特征，在鉴别器D中输出具有视觉隐私保护效果的视频的特征的相应的类别信息，然后增加输出的分类与真实分类之间的损失计算，最终得到跌倒检测的准确率，损失计算表达为：

L

L

其中L

本发明的进一步改进在于：步骤3中的所述低秩稀疏分解算法表示为：

式中g(·)是非凸的、闭的、正常的下半连续函数，σ

本发明的进一步改进在于：步骤3中的低秩稀疏分解的分解过程包括如下步骤：

步骤3-1：把步骤2中经过多层压缩感知处理过程中产生的噪声作为稀疏矩阵，把步骤1和步骤2中的前景和背景作为低秩矩阵，去除噪声；

步骤3-2：把步骤1数据集和步骤2视频的背景信息作为低秩矩阵，把步骤1数据集和步骤2视频的前景信息看做稀疏矩阵，再次使用基于广义非凸鲁棒主成分分析的低秩稀疏分解算法提取出前景动目标。

本发明的进一步改进在于：步骤2的多层压缩感知处理具体包括如下步骤：

步骤2-1：使用梅森旋转算法生成伪随机数，表示为：

其中，

步骤2-2：生成混沌伪随机序列：通过梅森旋转算法获取得到伪随机数以后，将其作为原始信号，将产生的随机数代入混沌模型中，生成混沌伪随机序列，对应的混沌模型为：

其中j表示迭代的次数；

步骤2-3：构造混沌伪随机伯努利测量矩阵：对步骤2-2中得到的混沌伪随机序列进行非线性变换，而后在此基础上继续进行符号函数映射，使得映射以后的序列满足伯努利分布，进而构造出混沌伪随机伯努利测量矩阵

其中，

映射函数表示为：

步骤2-4：多层压缩感知采样：对步骤2-3构造出的伪随机伯努利测量矩阵进行分块，此时就将测量过程就转化为对相同位置块进行内积运算，经过多次分块和内积运算，实现多层压缩感知编码，进而实现对视频监控中的隐私保护，多层压缩感知编码的计算过程为：

其中：Y表示经过多层压缩感知处理后的视频数据，X表示原始视频数据，n表示多层压缩感知编码处理的层数。

本发明的有益效果是：

(1)针对高斯随机机制在多层压缩感知视觉屏蔽编码的缺点，本发明引入混沌伪随机伯努利机制用于多层压缩感知处理过程中测量矩阵的生成，从而在保持视觉隐私保护优势的同时改善多层压缩感知编码的应用性能；

(2)针对视频时序数据的前景提取，本发明运用广义非凸鲁棒主成分分析算法代替典型的低秩稀疏分解，在改善前景提取萃化质量的同时提高数据处理的鲁棒性；

(3)针对视觉隐私保护态数据的特征强化需求，本发明以带有辅助分类器的GAN网络架构作为新的信息迁移工具，探索行为表征在质量提升与隐私保护之间的最佳平衡。

附图说明

图1为本发明方法的流程示意图；

图2为使用混沌伪随机伯努利测量矩阵依次经过1-4层压缩感知处理后的效果图；

图3为使用基于广义非凸鲁棒主成分分析的低秩稀疏分解理论提取的视觉隐私保护状态下数据的前景信息。

图4为基于带有辅助分类器的GAN网络的分类器

具体实施方式

以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。此外，为简化图式起见，一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。

本发明是一种基于隐私保护类GAN特征增强的居家视频跌倒检测方法，本实施例中的跌倒检测方法以老人居家视频为例，老人居家视频跌倒检测方法包括如下步骤：

步骤1：输入原始视频的训练数据集：基于公共的跌倒检测数据集，根据数据集中行为的特点，将训练数据分成正负集合，人工打上相应的类别标签；

步骤2：多层压缩感知处理：基于混沌伪随机伯努利测量矩阵对原始视频进行多层压缩感知处理，产生视觉层面具有视觉隐私保护效果的视频；

包括分为三个步骤：

第一步，生成伪随机数，伪随机数使用梅森旋转算法生成，表示为：

其中，

第二步：通过梅森旋转算法获取得到伪随机数以后，将其作为原始信号，如果直接将伪随机数用于多层压缩感知编码，重构原始信号性能较差，因此，可以将第一步产生的伪随机数代入(2)式所表示的混沌模型，生成混沌伪随机序列。

其中j表示迭代的次数。

对生成的混沌伪随机序列进行非线性变换，使得变换后的混沌序列服从均匀分布，再对其进行符号函数映射，映射函数表示为：

映射后的序列满足伯努利分布，从而构造出本文提出的混沌伪随机伯努利测量矩阵

其中，

第三步：多层压缩感知采样：对原始视频进行多层压缩感知处理首先需要对测量矩阵进行分块，则测量过程就转化为对相同位置块进行内积运算。但由于单层视觉隐私保护处理依旧存在隐私泄露的风险，为了增强图像信息的安全性，可以将单层压缩感知采样扩展到多层压缩感知采样，多层压缩感知编码的计算过程为：

其中：Y表示经过多层压缩感知处理后的视频数据，X表示原始视频数据，n表示多层压缩感知编码处理的层数。

步骤3：利用基于广义非凸鲁棒主成分分析的低秩稀疏分解算法进行前景动目标的提取。

视频数据在经过多层压缩感知处理以后，不仅在会丢失一部分信息，还会引入大量的噪声，使得被检测目标难以分辨，增加了后续跌倒行为识别的难度，因此需要去除掉背景信息和噪声，低秩稀疏分解方法可以较为有效的获取经过压缩感知处理的视频数据的前景信息。因此提取出前景动目标既可以有利于后续跌倒行为检测准确率的提高，也消除了被检测对象周边环境信息，加强了视觉隐私保护。

对于包含n帧的监控视频序列，可以将每一帧向量化为一个m维的列向量，由此整个视频序列可以视为一个大小为m×n的数据矩阵M。由视频序列构成的矩阵的背景属于低秩矩阵，前景信息对应稀疏矩阵，通过低秩稀疏分解可以实现对背景信息与前景信息的分离。因此借鉴低秩稀疏分解算法并加以改进，用于具有视觉隐私保护效果视频的前景动目标提取。传统的低秩稀疏分解模型如下表示：

min r ank(L)+γ||S||

其中，M为待处理的数据矩阵，L为低秩矩阵，S为稀疏矩阵，rank(L)表示低秩矩阵L的秩函数，||S||

由于这是一个非凸模型，且难以直接求解。本申请使用广义非凸鲁棒主成分分析算法来提取具有视觉隐私保护效果的视频中的稀疏前景分量，对噪声干扰和数据处理具有较强的鲁棒性。广义非凸鲁棒主成分分析采用非凸广义核范数逼近秩函数，最重要的是，为了更好的逼近稀疏度，同时引入了非凸广义范数近似代替具有表示稀疏先验的l

式中g(·)是非凸的、闭的、正常的下半连续函数，σ

经过多层压缩感知处理得到的具有视觉隐私保护效果的视频除了包含有前景信息、背景信息外，还包含压缩过程引入的大量噪声，因此式(7)的矩阵M为：

M

分解过程包括如下步骤：

第一步：把步骤2中经过多层压缩感知处理过程中产生的噪声作为稀疏矩阵，把步骤1和步骤2中的前景和背景作为低秩矩阵，去除噪声；

第二步：把步骤1数据集和步骤2视频的背景信息作为低秩矩阵，把步骤1数据集和步骤2视频的前景信息看做稀疏矩阵，再次使用基于广义非凸鲁棒主成分分析的低秩稀疏分解算法提取出前景动目标。

步骤4：运用基于带有辅助分类器的GAN网络对步骤3中获取到的具有视觉隐私保护效果的视频中的前景动目标进行时空迁移补偿，使得具有视觉隐私保护效果的视频中丢失的特征得到补偿，在此基础上得到最终的跌倒分类结果。

带有辅助分类器的GAN网络包括生成器G网络和鉴别器D，所述生成器G网络和鉴别器D均使用卷积神经网，G网络的输入为噪声z及对应的类别标签c，类别标签c是人为标定，生成器利用二者来生成样本，因此生成的样本中含有标签信息。鉴别器D给出了样本真假的概率分布及其所属的类别，带有辅助分类器的GAN网络的损失函数如公式(9)、(10)所示。

L

L

其中L

在带有辅助分类器的GAN网络的处理过程中，本申请将视觉隐私态的前景信息及标签输入生成器，具有视觉隐私保护效果的信息本身含有状态特征，辅以标签信息的引导，生成器生成的数据有目的地向具有相同标签的原始视频帧数据集合集聚，在此过程中，利用原始数据补充一部分视觉隐私态缺失的信息，实现了具有视觉隐私保护效果信息的补偿，然后原始数据和具有视觉隐私保护效果的数据一起送入鉴别器D，输出信息的真假和类别的概率。显然，在迭代的前期，和数据特征差异较大，其对应的损失函数较大。带有辅助分类器的GAN网络的G网络和D网络皆为卷积神经网络网络结构，根据链式求导法则，损失函数后向传播至D和G网络，不断对D和G网络权重等参数进行修正更新，使得G网络能够从中获得更好的信息补偿，经过多次迭代后，输出逼近的，同时D网络输出更准确的分类信息。改进的带有辅助分类器的GAN网络的损失函数如公式(11)、(12)所示。

L

L

带有辅助分类器的GAN网络的鉴别器D中可以输出相应的类别信息，然后增加输出的分类与真实分类的损失计算，使生成的模拟数据与其所属的类别一一对应。考虑到视频帧之间的时序信息，通过对视频预训练权重，将视频序列中每一帧的分类概率与预训练的权重进行融合，从而得到该视频序列的分类结果。

本发明在实现居家老年人跌倒检测的同时，能满足对于老人个人及家庭隐私的保护，具有较高的实际运用价值。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。