一种游泳池溺水检测方法

技术领域

本发明大体涉及游泳池防溺水检测，具体涉及一种用于游泳池溺水检测的方法。

背景技术

国民运动健身意识增强，游泳成为了人们最喜欢的运动之一，游泳为运动休闲提供了乐趣，而与此同时泳池溺水事故频发，乐趣可能在几分钟内转变为灾难性的溺水伤亡事故。游泳者溺水后，仅2分钟就会丧失意识，4-6分钟便造成脑损伤或者死亡，所以对溺水者的抢救，必须争分夺秒。如果不及时发现，必定会引起伤亡后果，不仅会造成游泳馆的损失，更危及到游泳者的人身安全，造成不可挽回的损失。游泳馆会配备安全员，通过人工看护的监测方法防止溺水，这种方法对于安全员要求专业性同时，需要注意力高度集中，特别是游泳池人多时，需要配备更多的安全员。一旦发生溺水风险，救生员第一时间察觉并做出反应至关重要。当游泳旺季来临时，游泳池经常人数众多，环境嘈杂，导致溺水者的求救动作很难及时引起救生员的注意，而一旦溺水者沉入水下就更加难以被察觉。救生员工作时间长，强度大，难免出现疲劳，一旦出现疏忽，就会更容易增大溺水事故发生的概率。据统计，泳池边的专业救生员通常只能在溺水事件发生30-40秒内察觉到最多70％的溺水事件，随着时间推移，会逐渐发现余下的一部分溺水者，但是也降低了挽救这些生命的可能性。有部分场馆使用人工利用摄像头对游泳馆内部和水下进行监控，这种方式不仅耗费人力，而且监视效果会受到人的情绪以及疲劳程度等因素影响，容易出现漏检现象，对溺水者预防和救助效果不明显。因此，研究怎样及时的发现溺水险情，施救溺水者，避免溺水事故发生有着重大的现实意义。目前市场上有一些用于防溺水的设备和器材，主要运用一系列物理传感器，或需要游泳者佩戴相应的仪器，或需要在游泳馆安装一系列辅助设备，其使用效果一般，不但安装使用不方便，不能大范围推广，实用性不强，而且不够智能化，只能起到部分协助安全员的工作。

深度学习技术可实现基于摄像头的视频防溺水检测，相较于防溺水装置更方便，但对于溺水检测的精度和速度在现阶段还有很大改进空间。虽然对于基于计算机视觉的溺水检测技术，经过不同方法的不断探索后，已经出现了利用深度学习技术实现一定精度和速度的溺水检测模型。但具有以下问题：(1)由于算法本身问题造成精度不高问题，另外室内泳池水面波动或者水质浑浊等现象容易对摄像头采集的图像画面造成干扰，导致检测精度下降。(2)对于溺水监测，要求能够及时准确地实时监测并报警，为救生员争取救援时间，实时性有待提高。

因此，当下需要研究设计安全可靠、智能化、应用方便快捷、反应速度快、准确度高、溺水误报率低、满足实时监测需求的实用性防溺水方法。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种游泳池溺水检测方法，以期能实现游泳池视频实时溺水风险检测，提高溺水检测的可靠性和准确度，并能有效减少溺水事故的发生，从而能保障游泳人员的生命安全。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种游泳池溺水检测方法的特点在于，包括如下步骤：

步骤1、游泳视频数据的采集及预处理：

步骤1.1、通过布置覆盖游泳池的摄像机实时采集游泳池场景下的游泳视频数据并进行预处理，得到预处理后的游泳视频图像帧序列，记为Ior＝{Ior

步骤1.2、对第t帧游泳视频图像Ior

所述真实状态标签分为两类：正常normal、溺水drowning；

令第t帧游泳特征标定图像I

令第t帧游泳特征标定图像I

所述第t帧游泳特征标定图像I

N个人体关键点关系亲和域记为

步骤2、构建基于OpenPose的轻量级多人姿态估计网络，是由主干特征提取模块和支线网络模块组成，并对输入的第t帧游泳特征标定图像I

步骤2.1、所述主干特征提取模块由残差网络结构ResNet18组成，并在ResNet18的最后一个残差块后连接一个卷积核大小为1×1的卷积层；

所述第t帧游泳特征标定图像I

步骤2.2、所述支线网络模块包含3个阶段：1个初始阶段Initial stage和2个相连接的精炼阶段Refinment stage；任意第i个阶段是由第i个上分支网络ρ

步骤2.3、利用式(3)构建基于OpenPose的轻量级多人姿态估计网络的损失函数Lpose；

式(3)中，Lpose

式(4)中，

步骤3、构建基于改进YOLOX的游泳池溺水目标检测网络，是由主干特征提取模块、路径聚合的特征金字塔网络以及YOLO检测头组成，用于对游泳人员姿态骨架图P

步骤3.1、所述主干特征提取模块依次包括Focus网络、1个卷积层及4层残差网络，并对所述游泳人员姿态骨架图P

步骤3.2、所述路径聚合的特征金字塔网络，包括5个混合注意力模块2个卷积层、2个上采样模块、2个下采样模块以及4个连接concat及CSPLayer结构的模块，并对{Feat

步骤3.3、所述YOLO检测头对{Y

步骤3.4、构建基于改进YOLOX的游泳池溺水目标检测网络的损失函数，包括：通过式(20)计算边界框损失函数Lbp和通过式(21)状态类别损失函数Lcp；

式(20)中，Lbp

式(19)中，

式(21)中，Lcp

式(22)中，

式(23)中，W

步骤4、基于游泳视频图像帧序列Ior＝{Ior

本发明所述的一种游泳池溺水检测方法的特点也在于，所述步骤2.2包括如下步骤：

步骤2.2.1、当i＝1时，一组游泳特征图F

式(1)和式(2)中，

步骤2.2.2、当i＝2,3时，第i-1个阶段的融合

所述步骤2.3中的

式(5)和(6)中，W

所述步骤3.1包括如下步骤：

步骤3.1.1、所述游泳人员姿态骨架图P

步骤3.1.2、所述取样特征输出图

步骤3.1.3、4层残差网络中的每层残差网络均是由卷积层和CSPLayer结构组成，其中，第4层残差网络中的卷积层和CSPLayer结构之间连接有空洞空间金字塔池化模块ASPP；

当j＝1时，将第j-1层的特征输出图P

当j＝2,3时，P

当j＝4时，第j-1层的特征输出图P

所述步骤3.2包括如下步骤：

步骤3.2.1、当j＝1,2,3时，Feat

步骤3.2.2、所述第3个注意力有效特征Feat′

Feat″′

Featt

Feat″′

步骤3.2.3、R

R″

步骤3.2.4、R

R′

所述步骤3.4中的

步骤3.4.1、比较第m个游泳人员的真实位置标签框Lr

Lr

步骤3.4.2、利用式(8)计算Lr

式(8)中，Sin

Sin

式(9)中，Hin

Sun

步骤3.4.3、通过式(12)计算Lr

β

步骤3.4.4、通过式(13)计算计算Lp

步骤3.4.5、通过式(14)计算Lr

步骤3.4.6、通过式(16)计算宽高比的中间平衡参数α：

步骤3.4.7、通过式(17)计算宽高比的平衡参数ω：

步骤3.4.8、通过式(18)计算所述第t帧游泳特征标定图像I

本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述游泳池溺水检测方法方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述游泳池溺水检测方法方法的步骤。

与现有技术相比，本发明的有益效果在于：

1、本发明针对泳池内泳者的泳姿判断容易被泳池复杂环境所影响而导致误判或者漏判问题，在改进目标检测网络模型的基础上上引入了轻量级的多人人体姿态估计方法，将多人姿态估计网络和目标检测网络进行改进并结合应用，从而减少了环境干扰，实现了游泳池视频实时溺水检测；

2、本发明针对目标检测网络模型进行改进，进一步提高了模型检测精度，引入迁移学习、注意力机制、新的激活函数和新的损失函数等方法优化目标检测模型，从而提升了溺水检测效果；

3、本发明引入的混合注意力机制是一种轻量化模块，能提高网络的特征表征能力，提高了检测精度；且采用的激活函数更平滑，能提高了网络性能，效果相较原激活函数更好，特别是在深层网络中优势更加明显。

附图说明

图1为游泳池溺水检测方法实现流程图；

图2为多人姿态估计网络模型结构流程图；

图3为游泳池溺水目标检测网络结构图。

具体实施方式

本实施例中，一种游泳池溺水检测方法，包括：1、实时采集游泳池场景下的游泳视频数据并进行预处理；2、构建实时多人姿态估计网络，取视频中的图像帧序列作为输入，通过基于OpenPose的轻量级多人姿态估计网络检测，输出得到对应输入的游泳人员人体姿态骨架图；3、构建游泳池溺水目标检测网络，结合多人姿态估计输出的人体姿态骨架图结果作为输入，基于改进的YOLOX网络模型进行溺水目标检测；4、训练游泳池溺水检测模型用于对任意游泳视频进行溺水检测。本发明提出一种游泳池溺水检测方法，以期能实现游泳池视频实时溺水风险检测，提高溺水检测的可靠性和准确度，有效减少溺水事故的发生，从而能保障游泳人员的生命安全。具体的说，如图1所示，包括如下步骤：

步骤1、游泳视频数据的采集及预处理：

步骤1.1、通过布置覆盖游泳池的摄像机实时采集游泳池场景下的游泳视频数据并进行预处理，得到预处理后的游泳视频图像帧序列，记为Ior＝{Ior

具体实施中，游泳池溺水检测模型在训练过程需要游泳姿态数据集，由于游泳池游泳视频涉及人员隐私保护，目前没有公开的游泳姿态数据集，本发明需要构建泳姿数据集。针对游泳池溺水检测，目前没有关于泳池场景的开源数据集，游泳池视频量少且清晰度较低，因此本发明过程中所用到的视频均为实地泳馆采集获得。为了保证数据集的真实性和丰富性，对于正常游泳的数据则是包含了各个年龄段的不同泳姿，各种熟练程度的游泳者进行分类拍摄；对于溺水游泳的数据一方面是寻找相关真实案例视频，另一方面则是通过专业游泳教练和初学者进行模拟溺水场景。本实例具体实施，通过摄像头对不同泳池进行视频拍摄，视频帧率是30fps，将视频按照每隔1秒抽3帧图片的形式形成图像数据并进行筛选，过滤掉图片质量不高的图片后约2万张泳池图片。泳姿数据集泳姿种类丰富、溺水数据真实，对模型学习泳池游泳特征有利，模型在真实场景下使用的泛化性较好。

步骤1.2、对第t帧游泳视频图像Ior

真实状态标签分为两类：正常normal、溺水drowning；

令第t帧游泳特征标定图像I

令第t帧游泳特征标定图像I

第t帧游泳特征标定图像I

N个人体关键点关系亲和域记为

步骤2、构建基于OpenPose的轻量级多人姿态估计网络，如图2所示，是由主干特征提取模块和支线网络模块组成，并对输入的第t帧游泳特征标定图像I

步骤2.1、主干特征提取模块由残差网络结构ResNet18组成，并在ResNet18的最后一个残差块后连接一个卷积核大小为1×1的卷积层，用来匹配输入尺寸；

第t帧游泳特征标定图像I

步骤2.2、支线网络模块包含3个阶段：1个初始阶段Initial stage和2个相连接的精炼阶段Refinment stage；任意第i个阶段是由第i个上分支网络ρ

步骤2.2.1、当i＝1时，一组游泳特征图F

式(1)和式(2)中，

步骤2.2.2、当i＝2,3时，第i-1个阶段的融合F

步骤2.2.3、利用式(3)构建基于OpenPose的轻量级多人姿态估计网络的损失函数Lpose；

式(3)中，Lpose

式(4)中，

式(5)和(6)中，W

利用OpenPose可以十分清楚地标记出游泳人员的骨架图，减少外界环境对检测过程的干扰，为后面更好的检测提供助力。原OpenPose网络结构中，特征图集需要经过6个阶段，即一个初始阶段Initial stage和5个相连接的精炼阶段Refinment stage，且每一阶段都具有两个分支。网络为了获得更大感受野，在初始阶段后的五个阶段网络中都使用了大量的7×7卷积核，自然给网络增加了大量的计算量。本发明对此进行了轻量的优化，将原来网络中的7×7卷积核替换成多个小卷积核，相当于用三个3×3的卷积核串联起来代替7×7卷积核，并且在3个卷积核之间新增加了一个1×1卷积核进行跳跃连接，目的为了解决梯度消失问题。同时利用深度可分离卷积思想来代替传统卷积结构，减少了网络参数，加快了计算效率。

步骤3、构建基于改进YOLOX的游泳池溺水目标检测网络，如图3所示，是由主干特征提取模块、路径聚合的特征金字塔网络以及YOLO检测头组成，用于对游泳人员姿态骨架图P

步骤3.1、主干特征提取模块依次包括Focus网络、1个卷积层及4层残差网络，并对游泳人员姿态骨架图P

步骤3.1.1、游泳人员姿态骨架图P

步骤3.1.2、取样特征输出图

步骤3.1.3、4层残差网络中的每层残差网络均是由卷积层和CSPLayer结构组成，其中，第4层残差网络中的卷积层和CSPLayer结构之间连接有空洞空间金字塔池化模块ASPP；

当j＝1时，将第j-1层的特征输出图P

当j＝2,3时，P

当j＝4时，第j-1层的特征输出图P

未改进的原YOLOX模型中采用了SPP模块，由三个不同大小的池化核进行池化操作，在进行池化操作的过程中虽感受野扩大了，但是图像的分辨率不断下降，包含的信息越来越抽象，并且图像的局部信息与细节信息会逐渐消失。本发明引入的ASPP模块采用不同扩张率的空洞卷积来代替池化操作，并且结合了全局平均池化，整合了全局空间信息，可以有效提取同一物体不同尺寸的特征信息，以解决游泳人员距离摄像机远近导致画面变小的问题，能降低溺水者漏检。ASPP模块分别将输入的特征经过5个不同的分支，第1个分支是经过一个1×1的卷积操作，目的是和原始输入特征的感受野保持一致，第2、第3和第4个支路分别经过不同的扩张率的空洞卷积，扩张率分别是6、12和18，并且卷积核为3×3，目的是进行特提取，得到不同感受野的特征图来融合多尺度信息。第5个分支是为了获取全局特征，将特征做全局平均化池化后，最后经过1×1卷积和归一化处理，再进行上采样。

步骤3.2、路径聚合的特征金字塔网络，包括5个混合注意力模块2个卷积层、2个上采样模块、2个下采样模块以及4个连接concat及CSPLayer结构的模块，并对{Feat

步骤3.2.1、当j＝1,2,3时，Feat

步骤3.2.2、第3个注意力有效特征Feat′

Fea″′

Featt′

Feat″′

步骤3.2.3、R

R″

步骤3.2.4、R

R′

步骤3.3、YOLO检测头对{Y

通过对预测数据进行处理，输出特征图R

步骤3.4、构建基于改进YOLOX的游泳池溺水目标检测网络的损失函数，包括：边界框损失函数Lbp和状态类别损失函数Lcp；

步骤3.4.1、比较第m个游泳人员的真实位置标签框Lr

Lr

/>

步骤3.4.2、利用式(8)计算Lr

式(8)中，Sin

Sin

式(9)中，Hin

Sun

步骤3.4.3、通过式(12)计算Lr

β

步骤3.4.4、通过式(13)计算计算Lp

步骤3.4.5、通过式(14)计算Lr

步骤3.4.6、通过式(16)计算宽高比中间平衡参数α：

步骤3.4.7、通过式(17)计算宽高比平衡参数ω：

步骤3.4.8、通过式(18)计算第t帧游泳特征标定图像I

步骤3.4.9、通过式(19)计算第t帧游泳特征标定图像I

/>

步骤3.4.10、通过式(20)计算边界框损失函数Lbp；

步骤3.4.11、通过式(21)构建状态类别损失函数Lcp；

式(21)中，Lcp

式(22)中，

式(23)中，W

表示第m个游泳人员的真实状态标签LSr

步骤4、具体实施中，模型训练需要搭建训练环境，选择深度学习框架、开发语言、开发软件、编译器管理环境。游泳池溺水目标检测网络模型通过对泳姿数据集进行学习以及特征提取，获取更多深层数据特征，且在多次迭代训练过程中更改模型参数，完善模型性能，从而获取更好的预测效果。

基于游泳视频图像帧序列Ior＝{Ior

具体细化训练过程可以分为以下步骤：(1)设定固定迭代次数，每轮训练将泳姿数据集输入至选定模型中，通过多层网络的不断加权处理后，获得模型的预测值；(2)利用损失函数计算预测与真实值之间的损失值，并通过优化器对损失函数优化；(3)利用梯度下降学习算法寻找最小损失，使其损失函数收敛至全局最小，得到最优权重参数；(4)通过网络反向传播机制更新模型参数，从而获得不断优化的模型；(5)通过这样的多次训练过程之后，获取最优的溺水预测模型。

本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。

本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

本发明的溺水检测方法的有效性通过双重方法验证，将溺水检测方法应用响应与基于蓝牙技术的防溺水监测装置进行比较而确认有效性；同时通过游泳馆实测、游泳者模拟溺水动作进行有效性验证。通过本发明可以灵活实现端到端的游泳池防溺水监测，应用方便快捷、反应速度快、准确度高、溺水误报率低、实用、满足实时监测需求。