一种溺水监控方法、装置、设备及存储介质

技术领域

本申请涉及图像识别和监控领域，更具体的说，是涉及一种溺水监控方法、装置、设备及存储介质。

背景技术

随着生活水平不断提高以及对健康的迫切需求，人们追求多样化的运动方式，在进行运动的过程中需要注意安全，避免遇险，如在游泳过程中如遇到抽筋的情况可能会导致溺水。为了保证游泳者的安全，可以对游泳者进行监控以避免发生溺水事件。

如今，可以通过游泳者佩戴检测设备的方式，以监控设备获取游泳者是否溺水的信息，也可以在游泳池池底安装声呐收发装置的方式，探测游泳者是否发生溺水，也可以视频监控的方式，使得监控到游泳者在池底静止不动的时间超过阈值时发出报警。

然而，如今的判断人体溺水的方式多通过检测人体处于池底时一段时间内是否发生运动，当超过预设的时间阈值即判定为溺水。这种溺水行为的判定方式过于单一，不能全面捕捉到泳池中的溺水行为，且时效性低下，可能错过最好的抢救时间。

发明内容

鉴于上述问题，提出了本申请以便提供一种溺水监控方法、装置、设备及存储介质，以高效监控游泳者在泳池中的溺水行为。

为了实现上述目的，现提出具体方案如下：

一种溺水监控方法，包括：

实时监控游泳者在当前时间段内游泳的脚部活动动作，所述脚部活动动作为所述游泳者的脚部移动的一次动作；

构建所述脚部活动动作的脚部活动线段；

构建所述脚部活动线段的外接矩形，作为所述游泳者在当前时间段内的脚部活动轨迹区域；

当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态。

可选的，该方法还包括：

当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于所述预设面积阈值时，将所述游泳者在当前时间段内的脚部活动轨迹区域的图像和所述游泳者在上一时间段内的脚部活动轨迹区域的图像均输入至预先建立的溺水识别模型，输出溺水识别结果。

可选的，所述溺水识别模型的建立过程，包括：

获取脚部活动轨迹区域图像集，所述脚部活动轨迹区域图像集包括多张正常游泳情况下的脚部活动轨迹区域图像，以及多张溺水情况下的脚部活动轨迹区域图像；

以所述脚部活动轨迹区域图像集作为训练样本，以所述多张溺水情况下的脚部活动轨迹区域图像作为溺水判定的样本标签，训练得到溺水识别模型。

可选的，所述实时监控游泳者在当前时间段内游泳的脚部活动动作，包括：

通过游泳池底部的摄像头获取所述游泳者在当前时间段内游泳的肢体运动视频；

以所述肢体运动视频中所述游泳者的脚部作为特征点，生成脚部活动动作。

可选的，构建所述脚部活动动作的脚部活动线段，包括：

以所述脚部活动动作中在当前时间段的起始时刻下的脚部位置作为始端点，并以所述脚部活动动作中在当前时间段的最后时刻下的脚部位置作为末端点，构建脚部活动线段。

可选的，在所述当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态之后，还包括：

触发溺水报警。

一种溺水监控装置，包括：

脚部活动动作监控单元，用于实时监控游泳者在当前时间段内游泳的脚部活动动作，所述脚部活动动作为所述游泳者的脚部移动的一次动作；

脚部活动线段构建单元，用于构建所述脚部活动动作的脚部活动线段；

外接矩形构建单元，用于构建所述脚部活动线段的外接矩形，作为所述游泳者在当前时间段内的脚部活动轨迹区域；

溺水状态判定单元，用于当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态。

可选的，该装置还包括：

溺水模型识别单元，用于当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于所述预设面积阈值时，将所述游泳者在当前时间段内的脚部活动轨迹区域的图像和所述游泳者在上一时间段内的脚部活动轨迹区域的图像均输入至预先建立的溺水识别模型，输出溺水识别结果。

可选的，该装置还包括：

图像集获取单元，用于获取脚部活动轨迹区域图像集，所述脚部活动轨迹区域图像集包括多张正常游泳情况下的脚部活动轨迹区域图像，以及多张溺水情况下的脚部活动轨迹区域图像；

模型训练单元，用于以所述脚部活动轨迹区域图像集作为训练样本，以所述多张溺水情况下的脚部活动轨迹区域图像作为溺水判定的样本标签，训练得到溺水识别模型。

可选的，所述脚部活动动作监控单元，包括：

视频获取单元，用于通过游泳池底部的摄像头获取所述游泳者在当前时间段内游泳的肢体运动视频；

脚部动作生成单元，用于以所述肢体运动视频中所述游泳者的脚部作为特征点，生成脚部活动动作。

可选的，所述脚部活动线段构建单元，包括：

脚部活动线段构建子单元，用于以所述脚部活动动作中在当前时间段的起始时刻下的脚部位置作为始端点，并以所述脚部活动动作中在当前时间段的最后时刻下的脚部位置作为末端点，构建脚部活动线段。

可选的，该装置还包括：

报警单元，用于在所述当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态之后，触发溺水报警。

一种溺水监控设备，包括存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如上所述的溺水监控方法的各个步骤。

一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的溺水监控方法的各个步骤。

借由上述技术方案，本申请通过实时监控游泳者在当前时间段内游泳的脚部活动动作，所述脚部活动动作为所述游泳者的脚部移动的一次动作，进一步的，构建所述脚部活动动作的脚部活动线段，构建所述脚部活动线段的外接矩形，作为所述游泳者在当前时间段内的脚部活动轨迹区域，当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态。由此可见，当游泳者发生溺水时，会出现类似攀爬的动作，脚部则呈现为爬楼梯的动作，与正常游泳动作有明细区别，因此可以通过捕捉游泳者的脚部活动轨迹，可以直接与上一时间段的脚部活动轨迹进行比对，无需进行等待可直接判断出溺水行为，提高了溺水行为判定效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例提供的实现溺水监控的一种流程示意图；

图2为本申请实施例提供的实现溺水监控的一种装置结构示意图；

图3为本申请实施例提供的一种实现溺水监控的设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请方案可以基于具备数据处理能力的终端实现，该终端可以是手机、电脑、云端等。其中，该终端可以与安装于游泳池池底的监控设备连接，以接收监控设备传输的监控信号。监控设备可以实时监控游泳者在游泳池里的游泳动作信息。

接下来，结合图1所述，本申请的溺水监控方法可以包括以下步骤：

步骤S110、实时监控游泳者在当前时间段内游泳的脚部活动动作。

其中，脚部活动动作可以是游泳者的脚部移动的一次动作。

具体的，时间段可以表示游泳者进行每个游泳动作所需的周期时间，时间段的时长可以自定义，如1s。

可以理解的是，游泳者在正常游泳的状态下，手部动作和脚部动作具有节奏和周期性，因此在各个时间段内的脚部活动动作变化不大。而游泳者在溺水状态下，手部动作和脚部动作不具备规律性，脚部动作表现为急促的爬楼梯动作，在各个时间段内的脚部动作变化明显。

示例如，游泳者在游泳池内进行蛙泳，在一个时间段为1s的时长内，刚好完成蹬腿动作和收腿动作，从而该游泳者在游泳池内正常蛙泳时，每隔一个时间段均分别完成一次蹬腿动作和收腿动作。

步骤S120、构建脚部活动动作的脚部活动线段。

具体的，脚部活动线段可以表示游泳者在当前时间段内的脚部的简化运动轨迹。

其中，脚部活动线段的特征可以包括线段长度，该脚部活动线段在帧图像中所占区域的大小。

步骤S130、构建脚部活动线段的外接矩形，作为游泳者在当前时间段内的脚部活动轨迹区域。

具体的，可以计算脚部活动线段在预设泳池坐标系上的两个坐标轴分量，并按照两个坐标轴分量构建矩形，得到脚部活动线段的外接矩形。

可以理解的是，脚部活动轨迹区域可以表示游泳者自当前时间段的开始时刻起，游泳至当前时间段的结束时刻，所进行活动的区域。

步骤S140、当监控到游泳者在当前时间段内的脚部活动轨迹区域的面积，与游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定游泳者处于溺水状态。

具体的，预设面积阈值可以反映游泳者每个游泳周期内的动作最大变化幅度，当游泳者每个游泳周期内的动作变化幅度越小，在当前时间段内的脚部活动轨迹区域的面积与在上一时间段内的脚部活动轨迹区域的面积之间的差值越小，反之越大。

可以理解的是，当监控到游泳者在当前时间段内的脚部活动轨迹区域的面积，与游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，可以表示该差值不是因为游泳者的游泳动作差异引起的，可以判定为因为游泳者溺水从而作出急促的挣扎动作或求救动作引起的，因此可以确定游泳者处于溺水状态。

示例如，游泳者在游泳池内进行蛙泳，维持在每隔一个时长为1s的时间段均分别完成一次蹬腿动作和收腿动作，因此在每个时间段内的脚部活动轨迹区域的面积基本恒定不变，直至该游泳者突发腿部抽筋，为求躯干维持浮起需要借助另一条腿急剧踩水以及双手尽力划水，此时可监控到该游泳者的脚部动作不再呈现规律性，而是监控到在当前之后的多个时间段内的脚部活动线段变化明显，因此在当前时间段内的脚部活动轨迹区域的面积在上一时间段内的脚部活动轨迹区域的面积的差异大于预设面积阈值，那么可以确定游泳者处于溺水状态。

本实施例提供的溺水监控方法，通过实时监控游泳者在当前时间段内游泳的脚部活动动作，所述脚部活动动作为所述游泳者的脚部移动的一次动作，进一步的，构建所述脚部活动动作的脚部活动线段，构建所述脚部活动线段的外接矩形，作为所述游泳者在当前时间段内的脚部活动轨迹区域，当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态。由此可见，当游泳者发生溺水时，会出现类似攀爬的动作，脚部则呈现为爬楼梯的动作，与正常游泳动作有明细区别，因此可以通过捕捉游泳者的脚部活动轨迹，可以直接与上一时间段的脚部活动轨迹进行比对，无需进行等待可直接判断出溺水行为，提高了溺水行为判定效率。

考虑到游泳者从入池到游泳的过程，如跳水过程，或从游泳到出池的过程，如上岸过程，会导致游泳者在当前时间段内的脚部活动轨迹区域的面积，与游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值大于预设面积阈值的情况，在此情况下，可以判定游泳者为初步溺水状态，并进一步结合模型分析是否真实溺水，基于此，本申请所提供的溺水监控方法还可以包括模型分析溺水与否的过程，该过程可以包括：

当监控到游泳者在当前时间段内的脚部活动轨迹区域的面积，与游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，将游泳者在当前时间段内的脚部活动轨迹区域的图像和游泳者在上一时间段内的脚部活动轨迹区域的图像均输入至预先建立的溺水识别模型，输出溺水识别结果。

可以理解的是，由于存在游泳者跳水过程和上岸过程均为当前时间段内的脚部活动轨迹区域的面积，与上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值的情况，需要结合历史数据进行分析，以确定游泳者的溺水识别结果。

其中，溺水识别模型可以接受一张或多张脚部活动轨迹区域的图像的输入，输出溺水识别结果。溺水识别结果包括正常行为和溺水行为。

具体的，溺水识别模型的建立过程可以包括：

S1、获取脚部活动轨迹区域图像集。

其中，脚部活动轨迹区域图像集可以包括多张正常游泳情况下的脚部活动轨迹区域图像，以及多张溺水情况下的脚部活动轨迹区域图像。

具体的，正常游泳情况下的脚部活动轨迹区域图像可以是预先采集并通过光流法进行标记后得到的。溺水情况下的脚部活动轨迹区域图像可以是预先在游泳者溺水情况下，对该游泳者捕捉视频，并通过光流法对视频进行标记后得到的。

S2、以脚部活动轨迹区域图像集作为训练样本，以多张溺水情况下的脚部活动轨迹区域图像作为溺水判定的样本标签，训练得到溺水识别模型。

可以理解的是，溺水识别模型在训练过程中学习了正常游泳情况下的脚部活动轨迹区域图像的识别，以及溺水情况下的脚部活动轨迹区域图像的识别，因此溺水识别模型可以对输入的一张或多张脚部活动轨迹区域图像进行识别，并输出溺水识别结果。

本实施例提供的溺水监控方法，结合了溺水识别模型对初步溺水状态的脚部活动轨迹区域图像进行分析，所输出溺水识别结果更准确。

本申请的一些实施例中，对上述步骤S110、实时监控游泳者在当前时间段内游泳的脚部活动动作的过程进行介绍，该过程可以包括：

S1、通过游泳池底部的摄像头获取游泳者在当前时间段内游泳的肢体运动视频。

具体的，游泳池底部的摄像头可以实时向终端传输对游泳者的监控视频信息。终端可以按照时间段的时长对监控视频信息进行截取，如截取时长为1s 的监控视频。

其中，肢体运动视频可以包括脚部运动信息、手部运动信息以及躯干运动信息。

可以理解的是，当对游泳者的溺水状态进行判断时，可以结合手部运动信息以及躯干运动信息进行分析，如当监控到游泳者在当前时间段内的脚部活动轨迹区域的面积，与游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，若手部运动信息以及躯干运动信息在相邻两个时段内的运动变化小于预设变化幅度时，可以判断游泳者处于正常游泳状态。

S2、以肢体运动视频中游泳者的脚部作为特征点，生成脚部活动动作。

具体的，终端可以通过脚部识别技术确定肢体运动视频中脚部的位置，并对肢体运动视频中各个视频帧中的脚部位置进行特征点标记，从而得到游泳者脚部在当前时间段内进行游泳的活动动作过程。

本申请的一些实施例中，对上述步骤S120、构建脚部活动动作的脚部活动线段的过程进行介绍，该过程可以包括：

以脚部活动动作中在当前时间段的起始时刻下的脚部位置作为始端点，并以脚部活动动作中在当前时间段的最后时刻下的脚部位置作为末端点，构建脚部活动线段。

具体的，终端可以选取与当前时间段对应的肢体运动视频的起始帧，将该起始帧中的脚部位置作为始端点，并选取与当前时间段对应的肢体运动视频的末帧，将该末帧中的脚部位置作为末端点，然后将始端点和末端点置于同一泳池背景下的对应位置，并连接始端点和末端点，得到脚部活动线段。

本申请的一些实施例中，考虑到更及时通知救生员，可以在判断游泳者发生溺水行为后马上报警，以通知救生员对溺水者进行救援，基于此，本申请在上述步骤S140、当监控到游泳者在当前时间段内的脚部活动轨迹区域的面积，与游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定游泳者处于溺水状态之后，可以触发溺水报警，以通知救生员对溺水者进行救援。

具体的，溺水报警的方式可以是向救生员发送求救信号，也可以是在游泳池现场响起警报声，以告知所有现场人员，由于现场人员包括泳池中的其他游泳者，部分游泳者可能具备救援能力而且距离溺水者较近，当发现溺水者时能够马上对溺水者进行救援，从而实现高效救援。

下面对本申请实施例提供的实现溺水监控的装置进行描述，下文描述的实现溺水监控的装置与上文描述的实现溺水监控方法可相互对应参照。

参见图2，图2为本申请实施例公开的一种实现溺水监控的装置结构示意图。

如图2所示，该装置可以包括：

脚部活动动作监控单元11，用于实时监控游泳者在当前时间段内游泳的脚部活动动作，所述脚部活动动作为所述游泳者的脚部移动的一次动作；

脚部活动线段构建单元12，用于构建所述脚部活动动作的脚部活动线段；

外接矩形构建单元13，用于构建所述脚部活动线段的外接矩形，作为所述游泳者在当前时间段内的脚部活动轨迹区域；

溺水状态判定单元14，用于当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态。

可选的，该装置还包括：

溺水模型识别单元，用于当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于所述预设面积阈值时，将所述游泳者在当前时间段内的脚部活动轨迹区域的图像和所述游泳者在上一时间段内的脚部活动轨迹区域的图像均输入至预先建立的溺水识别模型，输出溺水识别结果。

可选的，该装置还包括：

图像集获取单元，用于获取脚部活动轨迹区域图像集，所述脚部活动轨迹区域图像集包括多张正常游泳情况下的脚部活动轨迹区域图像，以及多张溺水情况下的脚部活动轨迹区域图像；

模型训练单元，用于以所述脚部活动轨迹区域图像集作为训练样本，以所述多张溺水情况下的脚部活动轨迹区域图像作为溺水判定的样本标签，训练得到溺水识别模型。

可选的，所述脚部活动动作监控单元，包括：

视频获取单元，用于通过游泳池底部的摄像头获取所述游泳者在当前时间段内游泳的肢体运动视频；

脚部动作生成单元，用于以所述肢体运动视频中所述游泳者的脚部作为特征点，生成脚部活动动作。

可选的，所述脚部活动线段构建单元，包括：

脚部活动线段构建子单元，用于以所述脚部活动动作中在当前时间段的起始时刻下的脚部位置作为始端点，并以所述脚部活动动作中在当前时间段的最后时刻下的脚部位置作为末端点，构建脚部活动线段。

可选的，该装置还包括：

报警单元，用于在所述当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态之后，触发溺水报警。

本申请实施例提供的溺水监控的装置可应用于溺水监控的设备，如终端：手机、电脑等。可选的，图3示出了溺水监控的设备的硬件结构框图，参照图3，溺水监控的设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

实时监控游泳者在当前时间段内游泳的脚部活动动作，所述脚部活动动作为所述游泳者的脚部移动的一次动作；

构建所述脚部活动动作的脚部活动线段；

构建所述脚部活动线段的外接矩形，作为所述游泳者在当前时间段内的脚部活动轨迹区域；

当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：

实时监控游泳者在当前时间段内游泳的脚部活动动作，所述脚部活动动作为所述游泳者的脚部移动的一次动作；

构建所述脚部活动动作的脚部活动线段；

构建所述脚部活动线段的外接矩形，作为所述游泳者在当前时间段内的脚部活动轨迹区域；

当监控到所述游泳者在当前时间段内的脚部活动轨迹区域的面积，与所述游泳者在上一时间段内的脚部活动轨迹区域的面积之间的差值，大于预设面积阈值时，确定所述游泳者处于溺水状态。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。