婴幼儿翻身动作检测方法、装置、设备及存储介质

技术领域

本发明涉及智能看护技术领域，尤其涉及一种婴幼儿翻身动作检测方法、装置、设备及存储介质。

背景技术

婴幼儿智能看护被广大年轻父母所推崇，如何提供准确的智能看护是AI智能看护设备占有市场的重要因素。

现有的针对婴幼儿睡眠场景的智能看护中，只能通过人头检测算法检测出是否为人头,当检测出人头之后，再区分检测出的人头是成人头部还是婴幼儿头部,通过判定检测出的婴幼儿头部是否保持长时间不动,从而判断婴幼儿是否进入睡眠活动,上述方案比较简单,只考虑人头检测，由于人头检测算法只关注人头的存在，因此在婴幼儿睡眠时，如果脸部被盖住或是头部被遮挡，上述方案就无法检测到；同时，在婴幼儿睡眠时，也存在一些时候，婴幼儿头部不会移动，但是婴幼儿仍然处于清醒状态，在这种情况下，上述方案也无法准确判断婴幼儿是否处于睡眠状态。

现有中国专利CN113408477A公开了一种婴儿睡眠监测系统以及方法和设备，所述方法包括：S1、婴儿进入设定睡眠侦测区域，实时连续多帧采集婴儿的睡眠图像信息；S2、对采集的睡眠图像信息进行预处理；S3、基于经预处理后的婴儿的睡眠图像信息对婴儿的肢体动作进行姿态识别分析，实时获得婴儿睡眠姿态的特征参数；S4、基于识别后的婴儿睡眠姿态的特征参数，与预设的睡眠行为特征参数进行匹配，获得匹配度最高的睡眠行为信息；S5、判断是否属于异常睡眠行为，如果判断是异常睡眠行为则执行S6，否则直接执行S7；S6、发出警报通知；S7、基于特定时间内的睡眠行为信息获得睡眠曲线，且基于设定周期生成睡眠质量报告。然而，上述专利只是对异常睡眠行为进行检测，而对于异常行为中的翻身动作检测并不准确。

为此，如何准确地对婴幼儿翻身动作进行实时检测是亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种婴幼儿翻身动作检测方法、装置、设备及存储介质，用以解决现有技术中无法准确地对婴幼儿翻身动作进行实时检测的问题。

本发明采用的技术方案是：

第一方面，本发明提供了一种婴幼儿翻身动作检测方法，其特征在于，所述方法包括：

S1：获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；

S2：对各所述图像进行婴幼儿脸部遮挡判断，识别婴幼儿脸部遮挡情况；

S3：当识别婴幼儿脸部未被遮挡时，对所述婴幼儿脸部进行脸部分析，输出婴幼儿脸部朝向；

S4：当所述婴幼儿脸部朝向为正脸时，对婴幼儿翻身动作进行检测，输出检测结果。

优选地，所述S2包括：

S21：对各所述图像进行婴幼儿头部检测，获取婴幼儿头部图像；

S22：对所述婴幼儿头部图像进行婴幼儿脸部检测，当检测到出现婴幼儿脸部的目标图像时，对目标图像中的所述婴幼儿头部进行人头跟踪，其中，所述婴幼儿脸部包括正脸和侧脸；

S23：对跟踪的婴幼儿头部进行婴幼儿脸部检测，输出婴幼儿脸部遮挡情况。

优选地，所述S23包括：

S231：若跟踪的婴幼儿头部均出现婴幼儿脸部，则婴幼儿脸部未被遮挡；

S232:若跟踪的婴幼儿头部未出现婴幼儿脸部，则获取未出现婴幼儿脸部的当前帧图像，对所述当前帧图像之后的预设帧图像进行婴幼儿脸部检测；

S233：若预设帧图像中出现婴幼儿脸部的图像帧数大于预设的帧数阈值，则识别婴幼儿脸部未被遮挡；

S234：若预设帧图像中均未出现婴幼儿脸部或出现婴幼儿脸部的图像帧数不大于预设的帧数阈值，则识别婴幼儿脸部被遮挡。

优选地，所述S3包括：

S31:获取包含婴幼儿脸部的训练图像数据，对所述训练图像数据进行特征提取，输出脸部朝向的关键特征信息；

S32：将所述关键特征信息输入深度学习网络中进行训练，输出脸部分析模型；

S33：当识别到跟踪的婴幼儿头部均出现婴幼儿脸部或预设帧图像中出现婴幼儿脸部的图像帧数大于预设的帧数阈值时，获取婴幼儿脸部未被遮挡对应的婴幼儿脸部图像；

S34:将所述婴幼儿脸部图像输入所述脸部分析模型中，输出所述婴幼儿脸部朝向。

优选地，所述S4之前还包括：

S401：若预设帧图像中均未出现婴幼儿脸部或出现婴幼儿脸部的图像帧数不大于预设的帧数阈值，则识别婴幼儿脸部被遮挡；

S402：将婴幼儿脸部被遮挡的对应图像输入预训练的目标检测模型中，对预设的脸部关键点进行检测，其中，所述脸部关键点包括嘴部和鼻子关键点；

S403：当检测到未出现所述脸部关键点时，输出安全提醒。

优选地，所述S4包括：

S41：依据所述婴幼儿脸部朝向，当所述婴幼儿脸部朝向为正脸时，获取目标区域位置信息，其中，所述目标区域包括：婴幼儿身体区域和遮挡物区域；

S42：依据所述目标区域位置信息，对目标区域进行运动侦测，输出目标区域运动信息；

S43：对各所述婴幼儿脸部朝向和所述目标区域运动信息进行判定，当婴幼儿脸部朝向发生改变且目标区域发生运动时，输出所述检测结果为婴幼儿翻身动作。

优选地，所述S41包括：

S411：依据连续多帧图像对应的婴幼儿脸部朝向，获取婴幼儿正脸图像；

S412：将所述婴幼儿正脸图像输入预训练的婴幼儿脸部关键点检测模型中，输出婴幼儿脸部关键点位置；

S413：获取预设的多个婴幼儿年龄区间和各所述年龄区间对应的目标区域比例，将当前婴幼儿的年龄与各所述婴幼儿年龄区间进行对比，输出当前婴幼儿对应的实时比例；

S414：依据所述婴幼儿脸部关键点位置和所述实时比例，输出所述目标区域位置信息。

第二方面，本发明提供了一种婴幼儿翻身动作检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；

脸部遮挡判断模块，用于对各所述图像进行婴幼儿脸部遮挡判断，识别婴幼儿脸部遮挡情况；

脸部朝向获取模块，用于当识别婴幼儿脸部未被遮挡时，对所述婴幼儿脸部进行脸部分析，输出婴幼儿脸部朝向；

翻身检测模块，用于当所述婴幼儿脸部朝向为正脸时，对婴幼儿翻身动作进行检测，输出检测结果。

第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

综上所述，本发明的有益效果如下：

本发明提供的婴幼儿翻身动作检测方法、装置、设备及存储介质，所述方法包括:获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；对各所述图像进行婴幼儿脸部遮挡判断，识别婴幼儿脸部遮挡情况；当识别婴幼儿脸部未被遮挡时，对所述婴幼儿脸部进行脸部分析，输出婴幼儿脸部朝向；当所述婴幼儿脸部朝向为正脸时，对婴幼儿翻身动作进行检测，输出检测结果。本发明通过获取实时视频流并对其进行处理，实时监测婴幼儿的睡眠情况和动作，这有助于家长或监护人及时了解婴幼儿的状态；通过对图像进行脸部遮挡判断，可以确定婴幼儿是否有物体或其他物体遮挡了他们的脸部，这对于监测呼吸或面部表情变化非常重要；如果婴幼儿的脸部未被遮挡，进一步进行脸部分析，检测婴幼儿的脸部朝向，当婴幼儿的脸部朝向为正脸时，系统可以检测婴幼儿的翻身动作，这对于家长或监护人来说，可以提供关于婴幼儿睡眠质量和安全的信息，如果婴幼儿长时间处于同一姿势或位置，可能需要采取适当的措施，例如改变婴幼儿的睡眠位置或姿势，以减少潜在的窒息或不适风险。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。

图1为本发明实施例1中婴幼儿翻身动作检测方法的整体工作的流程示意图；

图2为本发明实施例1中对各所述图像进行婴幼儿脸部遮挡判断的流程示意图；

图3为本发明实施例1中对跟踪的婴幼儿头部进行婴幼儿脸部检测的流程示意图；

图4为本发明实施例1中对所述婴幼儿脸部进行脸部分析的流程示意图；

图5为本发明实施例1中识别婴幼儿脸部被遮挡时发出安全提醒的流程示意图；

图6为本发明实施例1中生成婴幼儿睡眠质量报告的流程示意图；

图7为本发明实施例1中确定婴幼儿躯干部位置信息的流程示意图；

图8为本发明实施例2中婴幼儿翻身动作检测装置的结构框图；

图9为本发明实施例3中电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。

实施例1

请参见图1，本发明实施例1公开了一种婴幼儿翻身动作检测方法，所述方法包括：

S1：获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；

具体地，获取通过监控设备采集到的实时视频流，通过视频编解码库来解码所述实时视频流，从而将实时视频流转化为图像格式，在转化过程中需要对视频数据进行解码和解压缩，并将解压缩后的数据转化为图像格式，比如JPEG、PNG等；分解出的多帧图像可以用于识别婴幼儿的睡眠状态、姿势及过程，以及监测婴幼儿的安全情况；同时，还可以通过对多帧图像进行时间序列分析，获取婴幼儿睡眠过程的总体特征，比如睡眠时长、深度、中途醒来次数等。

S2：对各所述图像进行婴幼儿脸部遮挡判断，识别婴幼儿脸部遮挡情况；

具体地，获取实时视频流分解出的多帧图像，对各所述图像进行婴幼儿脸部遮挡判断，根据脸部遮挡判断的结果，可以选择采取对应的保护措施，比如当判断婴幼儿脸部被遮挡时，给家长发送安全警报，以确保婴幼儿的安全。

在一实施例中，请参见图2，所述S2包括：

S21：对各所述图像进行婴幼儿头部检测，获取婴幼儿头部图像；

具体地，收集大量包含婴幼儿头部的第一图像数据集，并标注收集的第一图像数据集中的婴幼儿头部，对标注的图像数据进行预处理，包括图像的缩放、裁剪和归一化等操作，以便提高后续处理的效果，获取与婴幼儿头部检测任务对应的深度学习模型，如基于卷积神经网络的目标检测模型，例如Faster R-CNN、YOLO或SSD等，使用预处理后的图像数据集对选择的目标检测模型进行训练，在训练过程中，将婴幼儿头部位置和特征作为标签进行监督学习，使模型能够学习到头部的特征和位置，利用预留的部分图像数据集对训练好的模型进行评估，计算检测精度、召回率等指标，提高了模型的准确性和鲁棒性，输出训练完成的目标检测模型作为婴幼儿头部检测模型，将实时视频流分解出的各帧原始图像输入所述婴幼儿头部检测模型中，输出婴幼儿头部位置信息，依据所述婴幼儿头部位置信息，对原始图像进行裁剪，提取出婴幼儿头部图像。

S22：对所述婴幼儿头部图像进行婴幼儿脸部检测，当检测到出现婴幼儿脸部的目标图像时，对目标图像中的所述婴幼儿头部进行人头跟踪，其中，所述婴幼儿脸部包括正脸和侧脸；

具体地，获取到包含婴幼儿正脸和侧脸的第二图像数据集，其中，所述第二图像数据集可以从已公开的婴幼儿相关的图像数据集中获取，对所述第二图像数据集中的婴幼儿正脸和侧脸进行标注，并对标注后的图像数据进行预处理，包括图像的缩放、裁剪和归一化等操作，以提高后续处理的效果，采用基于深度学习的方法，如基于卷积神经网络的人脸关键点检测模型，例如，常用模型为HRNet，使用预处理后的第二图像数据集对基于HRNet结构的人脸关键点检测模型进行训练，在训练过程中，将婴幼儿正脸和侧脸位置的关键点作为标签进行监督学习，使模型能够学习到婴幼儿正脸和侧脸的特征和位置，利用预留的部分第二图像数据集对训练好的模型进行评估，提升模型对于关键点检测的准确性和鲁棒性，输出评估完成的模型作为婴幼儿脸部检测模型，将各所述婴幼儿头部图像输入所述婴幼儿脸部检测模型中进行处理，输出出现婴幼儿正脸和侧脸的目标图像，此时，通过IoU跟踪法对目标图像中的婴幼儿头部进行跟踪，其中，所述IoU跟踪法是一种常见的目标跟踪方法，它通过计算当前帧图像婴幼儿头部所在区域与前一帧图像婴幼儿头部所在区域的IoU值来得出婴幼儿头部的位置，从而实现对婴幼儿头部的跟踪。

S23：对跟踪的婴幼儿头部进行婴幼儿脸部检测，输出婴幼儿脸部遮挡情况。

具体地，获取与跟踪的婴幼儿头部相关的连续的图像帧序列，通过对所述图像帧序列进行婴幼儿脸部检测，其中，所述婴幼儿脸部检测方法为将所述图像帧序列输入上述训练完成的婴幼儿脸部检测模型中进行处理，输出检测结果，依据检测结果，判断跟踪的婴幼儿头部上婴幼儿脸部的遮挡情况，当判断婴幼儿脸部被遮挡时，给家长发送安全警报，以确保婴幼儿的安全。

在一实施例中，请参见图3，所述S23包括：

S231：若跟踪的婴幼儿头部均出现婴幼儿脸部，则婴幼儿脸部未被遮挡；

具体地，若通过所述婴幼儿脸部检测模型对跟踪的婴幼儿头部相关的图像帧序列进行检测，检测结果为图像帧序列中的各帧图像均出现婴幼儿正脸和侧脸，此时认为婴幼儿脸部未被遮挡，由于输入所述婴幼儿脸部检测模型的图像帧序列中的婴幼儿头部是被持续跟踪的，避免了图像帧序列中误检测出的其他婴幼儿头部对脸部遮挡情况的判断。

S232:若跟踪的婴幼儿头部未出现婴幼儿脸部，则获取未出现婴幼儿脸部的当前帧图像，对所述当前帧图像之后的预设帧图像进行婴幼儿脸部检测；

具体地，若通过所述婴幼儿脸部检测模型对跟踪的婴幼儿头部相关的图像帧序列进行检测，当检测到未出现婴幼儿脸部的第一帧图像时，获取第一帧图像作为当前帧图像，并将第一帧图像之后的预设帧图像输入所述婴幼儿脸部检测模型中进行处理，其中预设帧图像的帧数根据实际应用场景和用户的实际应用需求进行调整，预设帧图像的帧数越大，则脸部遮挡情况识别的准确度更高，识别效率更低，预设帧图像的帧数越小，则脸部遮挡情况识别的准确度更低，识别效率更高。

S233：若预设帧图像中出现婴幼儿脸部的图像帧数大于预设的帧数阈值，则识别婴幼儿脸部未被遮挡；

具体地，获取预设的帧数阈值，例如，设置帧数阈值为10帧，若将上述预设帧图像输入所述婴幼儿脸部检测模型中进行处理，识别出现婴幼儿正脸或侧脸的图像帧数大于10帧，此时认为婴幼儿脸部未被遮挡，由于婴幼儿翻滚等动作，会出现脸部时而遮挡，时而未被遮挡的异常情况，此时婴幼儿并未发生窒息的危险情况，若识别为婴幼儿脸部被遮挡，则会发出误报警，用户看护体验较差，通过预设帧数阈值，当出现婴幼儿脸部的图像帧数大于预设的帧数阈值时，识别婴幼儿脸部未被遮挡，避免了误报警，提升了用户的看护体验。

S234：若预设帧图像中均未出现婴幼儿脸部或出现婴幼儿脸部的图像帧数不大于预设的帧数阈值，则识别婴幼儿脸部被遮挡。

具体地，将上述第一帧图像之后的预设帧图像输入所述婴幼儿脸部检测模型中进行处理，若出现婴幼儿正脸或侧脸的图像帧数不大于10帧或者预设帧图像均未出现婴幼儿正脸或侧脸，此时婴幼儿易发生窒息危险，则认为婴幼儿脸部被遮挡，向用户及时发出安全警报，避免婴幼儿受到伤害。

S3：当识别婴幼儿脸部未被遮挡时，对所述婴幼儿脸部进行脸部分析，输出婴幼儿脸部朝向；

具体地，将婴幼儿脸部未被遮挡的图像输入预先训练好的脸部朝向检测模型中进行朝向检测，模型将输出婴幼儿脸部朝向，例如正面、左侧或右侧。

在一实施例中，请参见图4，所述S3包括；

S31:获取包含婴幼儿脸部的训练图像数据，对所述训练图像数据进行特征提取，输出脸部朝向的关键特征信息；

具体地，收集具有不同朝向的婴幼儿脸部图像数据集，其中所述婴幼儿脸部图像数据集中包含正面、左侧、右侧等多个朝向的脸部图像；对所述婴幼儿脸部图像数据集进行预处理以提高模型的性能，预处理可以考虑使用图像增强技术，如旋转、缩放和裁剪，以增加数据的多样性和鲁棒性，利用特征提取方法来捕获脸部朝向的关键特征信息，例如所述关键特征信息包括Haar特征和HOG特征，或者考虑使用深度学习模型来学习脸部特征，如卷积神经网络(CNN)。通过收集多个朝向的数据有助于模型更好地理解和学习不同朝向下的脸部特征，从而提高模型的泛化能力。利用数据增强和选择合适的特征提取方法，有助于提高婴幼儿脸部朝向识别模型的性能和鲁棒性，使其能够准确地判断婴幼儿脸部的朝向。

S32：将所述关键特征信息输入深度学习网络中进行训练，输出脸部分析模型；

具体地，利用提取的所述关键特征信息来训练一个分类器，所述分类器用于判断婴幼儿脸部的朝向，分类器选择常见的分类器算法，如支持向量机(SVM)、随机森林(RandomForest)或者深度学习模型，如卷积神经网络，使用婴幼儿脸部图像数据集中的图像对模型进行训练，并使用验证集进行模型的评估和调优，采用交叉验证等方法来评估模型的性能，并进行参数调整，输出所述脸部分析模型。分类器通过学习关键特征信息，能够更好地区分不同朝向的脸部，从而提高识别准确性；经过充分训练和调优的分类器模型具有较强的鲁棒性，能够应对不同光照条件、脸部姿势变化等因素的影响。这使得模型能够在各种实际应用场景下稳定运行，提高系统的可靠性。

S33：当识别到跟踪的婴幼儿头部均出现婴幼儿脸部或预设帧图像中出现婴幼儿脸部的图像帧数大于预设的帧数阈值时，获取婴幼儿脸部未被遮挡对应的婴幼儿脸部图像；

S34:将所述婴幼儿脸部图像输入所述脸部分析模型中，输出所述婴幼儿脸部朝向。

具体地，将所述婴幼儿脸部图像输入所述脸部分析模型中，输出所述婴幼儿脸部朝向，对于婴幼儿的照料和监控来说，获取婴幼儿脸部朝向能够帮助保持他们的安全，例如，在婴儿床或汽车座椅中，正确判断婴幼儿脸部的朝向可以确保他们的头部位置正确，避免可能的窒息或不舒适；获取婴幼儿的脸部朝向有助于睡眠监测，通过识别婴幼儿脸部的朝向，可以确定他们在睡觉时的姿势，包括仰卧、侧卧或俯卧等，以帮助监测他们的睡眠质量和姿势习惯。

在一实施例中，请参见图5，所述S4之前包括：

S401：若预设帧图像中均未出现婴幼儿脸部或出现婴幼儿脸部的图像帧数不大于预设的帧数阈值，则识别婴幼儿脸部被遮挡；

具体地，若预设帧图像中均未出现婴幼儿脸部或出现婴幼儿脸部的图像帧数不大于预设的帧数阈值，婴幼儿的脸部可能被其他物体、毛巾、玩具等遮挡，导致无法识别到或部分识别到婴幼儿的脸部。

S402：将婴幼儿脸部被遮挡的对应图像输入预训练的目标检测模型中，对预设的脸部关键点进行检测，其中，所述脸部关键点包括嘴部和鼻子关键点；

具体地，收集包含婴幼儿脸部图像的数据集，并对数据集进行标注，标注婴幼儿的鼻子和嘴部关键点位置。可以使用图像标注工具或者手动标注的方式进行；对标注后的数据集进行预处理，包括图像的缩放、裁剪、旋转等操作，以增加数据的多样性和鲁棒性，同时，对婴幼儿脸部图像进行数据增强操作，如平移、旋转、翻转、亮度调整等，以增加模型的泛化能力，选择目标检测模型架构，如基于深度学习的模型，例如Faster R-CNN、YOLO、SSD等，可以使用已有的预训练模型作为基础网络，并在其基础上添加额外的关键点回归分支。使用标注好的婴幼儿脸部图像数据集对目标检测模型进行训练，训练过程中，采用随机梯度下降(SGD)等优化算法来最小化损失函数，同时使用关键点的坐标信息来计算关键点回归的损失。训练过程中需要设置适当的学习率、批量大小等超参数，并进行适当的迭代次数，使用验证集对训练得到的模型进行评估，并根据评估结果进行调优。可以使用评估指标如平均精度均值(mAP)来评估模型的性能，根据评估结果调整模型的参数和架构，以提升检测准确度和关键点回归的精度，输出调整后的模型作为目标检测模型，将婴幼儿脸部被遮挡的对应图像输入预训练的目标检测模型中，对预设的脸部关键点进行检测，其中，所述脸部关键点包括嘴部和鼻子关键点；通过检测鼻子和嘴部关键点，可以实时了解婴幼儿的面部表情和口鼻区域的状态。这对于监测婴幼儿的健康状况、呼吸情况和舒适度等方面非常有帮助。如果检测到异常情况，如鼻子被堵塞、嘴巴异常开放或闭合等，可以及时采取相应的行动，确保婴幼儿的舒适和安全。

S403：当检测到未出现所述脸部关键点时，输出安全提醒。

具体地，当在婴幼儿睡眠场景中检测到未出现所述的脸部关键点时，这种情况可能意味着婴幼儿的脸部可能被遮挡、面朝下或面朝侧面，这可能增加了窒息或不适的风险，通过实时监测婴幼儿的脸部关键点，可以及时发现异常情况并提供警报。这可以促使家长或监护人立即采取措施，例如转动婴幼儿的身体或调整他们的睡眠位置，以确保他们的脸部得到适当的通风和呼吸；此外，输出安全提醒还可以提醒家长或监护人婴幼儿睡眠环境的安全问题，例如确保床上没有松散的床单或玩具，以及避免过度覆盖婴幼儿。这些提醒可以帮助家长或监护人保持警觉，确保婴幼儿在睡眠期间的安全。

S4：当所述婴幼儿脸部朝向为正脸时，对婴幼儿翻身动作进行检测，输出检测结果。

具体地，通过对婴幼儿脸部朝向为正脸时进行翻身动作检测，并输出检测结果，可以提供安全监测、指导和记录，有助于确保婴幼儿在睡眠期间的安全和舒适，并帮助家长或监护人更好地管理婴幼儿的睡眠行为。

在一实施例中，请参见图6，所述S4包括：

S41：依据所述婴幼儿脸部朝向，当所述婴幼儿脸部朝向为正脸时，获取目标区域位置信息，其中，所述目标区域包括：婴幼儿身体区域和遮挡物区域；

在一实施例中，请参见图7，所述S41包括：

S411：依据连续多帧图像对应的婴幼儿脸部朝向，获取婴幼儿正脸图像；

具体地，使用连续多帧的视频流作为输入，对每一帧图像进行脸部检测和定位，可以使用人脸检测算法，如Haar级联、HOG+SVM、深度学习模型等，根据脸部朝向信息筛选出正脸图像。获得婴幼儿的正脸图像，为后续的分析和处理提供准确的输入，排除侧脸或其他角度的图像，集中分析婴幼儿正面脸部特征。

S412：将所述婴幼儿正脸图像输入预训练的婴幼儿脸部关键点检测模型中，输出婴幼儿脸部关键点位置；

具体地，使用预训练的婴幼儿脸部关键点检测模型，例如基于深度学习的人脸关键点检测模型，将婴幼儿正脸图像输入模型进行推断，获取脸部关键点的位置。获得婴幼儿脸部关键点的准确位置，如眼睛、鼻子、嘴巴等特征点的位置信息，这些关键点的位置信息可以用于后续的面部分析、情绪识别、睡眠质量评估等应用。

S413：获取预设的多个婴幼儿年龄区间和各所述年龄区间对应的目标区域比例，将当前婴幼儿的年龄与各所述婴幼儿年龄区间进行对比，输出当前婴幼儿对应的实时比例；

具体地，预先定义多个婴幼儿年龄区间，例如0-3个月、3-6个月、6-9个月等，为每个年龄区间定义目标区域比例，表示该年龄段婴幼儿的脸部在整个图像中的相对位置，，根据当前婴幼儿的年龄，将其与各年龄区间进行对比，确定当前婴幼儿对应的实时比例。根据婴幼儿的年龄，自动适应不同年龄段婴幼儿的目标区域比例，提高系统的普适性和适应性，实时比例的输出可以帮助进一步定位婴幼儿脸部区域，准确地分析特定年龄段婴幼儿的面部特征。

S414：依据所述婴幼儿脸部关键点位置和所述实时比例，输出所述目标区域位置信息。

具体地，利用婴幼儿脸部关键点的位置信息，结合实时比例，计算目标区域的位置，目标区域的位置可以使用矩形框表示，包围婴幼儿身体区域、身体上的被子等遮挡物所在区域。

S42：依据所述目标区域位置信息，对目标区域进行运动侦测，输出目标区域运动信息；

具体地，利用目标区域位置信息，通常是婴幼儿的上半身区域或者婴幼儿上半身上的遮挡物所在区域，使用运动侦测算法，如光流法、背景差分、帧间差分等，对目标区域进行运动侦测，分析运动侦测结果，输出目标区域的运动信息，如运动方向、运动速度、运动幅度等。根据提供目标区域的运动信息，可以进一步分析和判断婴幼儿的活动程度、姿势变化等，运动信息可以用于后续的行为监测、睡眠姿势分析等应用。

S43：对各所述婴幼儿脸部朝向和所述目标区域运动信息进行判定，当婴幼儿脸部朝向发生改变且目标区域发生运动时，输出所述检测结果为婴幼儿翻身动作。

具体地，结合前面的步骤中获取的婴幼儿脸部朝向信息和目标区域运动信息，判断婴幼儿脸部朝向是否发生改变，比较当前帧与前一帧的脸部朝向信息，判断目标区域是否发生运动，根据目标区域的运动信息进行判定，如果婴幼儿脸部朝向发生改变且目标区域发生运动，则输出检测结果为婴幼儿翻身动作。通过及时检测和识别婴幼儿的翻身动作，提供及时的监测和警示，保障婴幼儿的安全，输出翻身动作的检测结果，可以帮助监护人或保育人员及时采取必要的措施，如调整婴幼儿的睡姿或提供支撑等。

实施例2

请参见图8，本发明实施例2还提供了一种婴幼儿翻身动作检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；

脸部遮挡判断模块，用于对各所述图像进行婴幼儿脸部遮挡判断，识别婴幼儿脸部遮挡情况；

脸部朝向获取模块，用于当识别婴幼儿脸部未被遮挡时，对所述婴幼儿脸部进行脸部分析，输出婴幼儿脸部朝向；

翻身检测模块，用于当所述婴幼儿脸部朝向为正脸时，对婴幼儿翻身动作进行检测，输出检测结果。

具体地，采用本发明实施例提供的婴幼儿翻身动作检测装置，所述装置包括：图像获取模块，用于获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；脸部遮挡判断模块，用于对各所述图像进行婴幼儿脸部遮挡判断，识别婴幼儿脸部遮挡情况；脸部朝向获取模块，用于当识别婴幼儿脸部未被遮挡时，对所述婴幼儿脸部进行脸部分析，输出婴幼儿脸部朝向；翻身检测模块，用于当所述婴幼儿脸部朝向为正脸时，对婴幼儿翻身动作进行检测，输出检测结果。本装置通过获取实时视频流并对其进行处理，实时监测婴幼儿的睡眠情况和动作，这有助于家长或监护人及时了解婴幼儿的状态；通过对图像进行脸部遮挡判断，可以确定婴幼儿是否有物体或其他物体遮挡了他们的脸部，这对于监测呼吸或面部表情变化非常重要；如果婴幼儿的脸部未被遮挡，进一步进行脸部分析，检测婴幼儿的脸部朝向，当婴幼儿的脸部朝向为正脸时，装置可以检测婴幼儿的翻身动作，这对于家长或监护人来说，可以提供关于婴幼儿睡眠质量和安全的信息，如果婴幼儿长时间处于同一姿势或位置，可能需要采取适当的措施，例如改变婴幼儿的睡眠位置或姿势，以减少潜在的窒息或不适风险。

实施例3

另外，结合图1描述的本发明实施例1的婴幼儿翻身动作检测方法可以由电子设备来实现。图9示出了本发明实施例3提供的电子设备的硬件结构示意图。

电子设备可以包括处理器以及存储有计算机程序指令的存储器。

具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种婴幼儿翻身动作检测方法。

在一个示例中，电子设备还可包括通信接口和总线。其中，如图9所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。

通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线包括硬件、软件或两者，将所述设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

实施例4

另外，结合上述实施例1中的婴幼儿翻身动作检测方法，本发明实施例4还可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种婴幼儿翻身动作检测方法。

综上所述，本发明实施例提供了一种婴幼儿翻身动作检测方法、装置、设备及存储介质。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。