基于图像筛选的私密行为识别方法、装置及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图像筛选的私密行为识别方法、装置及设备。

背景技术

当前，针对婴幼儿的智能看护被广大年轻父母所推崇，如何实现有效地智能看护是AI智能看护设备占有市场的重要因素。

现有技术中，针对婴幼儿的智能看护，监护人不是被关注的对象，AI智能看护设备通过采集当前监控场景图像信息来进行婴幼儿行为习惯分析，进而实现对婴幼儿的看护，当采集的场景图像信息中包括私密行为(喂乳、裸体、露点和其他亲密行为)信息时，会导致用户隐私的泄露，影响用户使用体验；要想保护私密行为信息，前提是需要识别当前采集的场景图像信息中是否存在私密行为信息，常见的识别方式为：直接将采集的实时视频流分解为多帧图像进行私密行为识别，然而，实际看护场景中若采取所述常见的识别方式，由于二十四小时运行的看护设备采集的图像较多，当识别私密行为时，大量的待处理图像会造成缓存区的图像帧溢出，进而导致用户观看实时视频流不连贯。

为此，在婴幼儿看护过程中，如何高效地识别私密行为是亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种基于图像筛选的私密行为识别方法、装置及设备，用以解决现有技术中无法高效地识别私密行为的问题。

第一方面，本发明实施例提供了一种基于图像筛选的私密行为识别方法，所述方法包括：

S1：获取与婴幼儿看护相关的视频流，将所述视频流分解为多帧图像，并按照第一视频帧数量存储至第一图像池P中；

S2：对所述第一图像池P中的图像进行相似度筛选，将筛选后的第二视频帧数量的图像输出至第二图像池Q；

S3：将所述第二图像池Q中的图像送入预先设置的私密行为识别模型中，识别是否存在私密行为；

S4：若存在私密行为，则不存储所述视频流；若不存在私密行为，则存储所述视频流。

优选地，所述S1包括：所述第一视频帧数量为预先设定的N帧，其中15＝＜N＝＜25，N为整数。

优选地，所述S2包括：

S21：将所述N帧图像转换为对应的灰度图像，计算所述灰度图像的归一化直方图；

S22：依据所述归一化直方图，判定归一化直方图之间是否相似；

S23：当判定所述归一化直方图之间互不相似时，输出与归一化直方图对应的M帧图像至第二图像池Q中。

优选地，所述S22包括：

S221：依据时间顺序，对所述灰度图像进行排序，确定初始帧图像P1；

S222：计算所述P1对应的归一化直方图H1，并计算P中非P1的其他灰度图像对应的归一化直方图Hi，其中1＝＜i＝＜N-1，i为整数；

S223：预先设置EMD相似度阈值，其中，0＝＜EMD阈值＝＜1，计算所述Hi与H1之间的EMD相似度；

S224：若判定所述Hi与H1之间的EMD相似度大于所述EMD相似度阈值，则剔除Hi对应的灰度图像Pi；

S225：若判定所述Hi与H1之间的EMD相似度不大于所述EMD相似度阈值，则将Hi对应的灰度图像Pi作为新的初始帧图像P1。

优选地，所述S23包括：

重复步骤S222至S225，直至判定所述P中灰度图像对应的所有归一化直方图之间的EMD相似度均不大于所述EMD相似度阈值时，输出与归一化直方图对应的M帧图像至第二图像池Q中。

优选地，所述S3包括：

S31：获取所述第二图像池Q，识别所述第二图像池Q中M帧图像的婴幼儿信息和成人信息；

S32：将所述婴幼儿信息和成人信息输入所述私密行为识别模型，识别是否存在私密行为。

优选地，所述私密行为包括：成人给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为。

第二方面，本发明实施例提供了一种基于图像筛选的私密行为识别装置，所述装置包括：

图像获取模块，用于获取与婴幼儿看护相关的视频流，将所述视频流分解为多帧图像，并按照第一视频帧数量存储至第一图像池P中；

图像筛选模块，用于对所述第一图像池P中的图像进行相似度筛选，将筛选后的第二视频帧数量的图像输出至第二图像池Q；

私密行为识别模块，用于将所述第二图像池Q中的图像送入预先设置的私密行为识别模型中，识别是否存在私密行为；

视频屏蔽存储模块，用于若存在私密行为，则不存储所述视频流；若不存在私密行为，则存储所述视频流。

第三方面，本发明实施例提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

综上所述，本发明的有益效果如下：

本发明实施例提供的基于图像筛选的私密行为识别方法、装置及设备，获取与婴幼儿看护相关的视频流，将所述视频流分解为多帧图像，并按照第一视频帧数量存储至第一图像池P中；对所述第一图像池P中的图像进行相似度筛选，将筛选后的第二视频帧数量的图像输出至第二图像池Q；将所述第二图像池Q中的图像送入预先设置的私密行为识别模型中，识别是否存在私密行为；若存在私密行为，则不存储所述视频流；若不存在私密行为，则存储所述视频流。由于在实际婴幼儿看护场景中，看护设备上摄像头采集的实时视频流是通过一段时间连续录制完成的，连续录制过程中看护场景变化不大，其分解出的多帧图像难免存在相似度较高的图像，对相似度较高的图像进行处理的意义不大，通过对多帧图像的相似度筛选，剔除了相似度较高的图像，再进行私密行为识别，减小了看护设备的图像数据处理量，提高了私密行为识别效率，避免了因缓存区图像数据溢出而导致的用户观看实时看护视频画面不连续的问题，从而提升了用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。

图1是本发明实施方式一中实施例1的基于图像筛选的私密行为识别方法的流程示意图；

图2是本发明实施方式一中实施例1的确定第二图像池Q的流程示意图；

图3是本发明实施方式一中实施例1的筛选相似度符合要求的图像的流程示意图；

图4是本发明实施方式一中实施例1的识别私密行为的流程示意图；

图5是本发明实施方式一中实施例2的屏蔽和存储视频的流程示意图；

图6是本发明实施方式二中实施例2的基于图像筛选的私密行为识别装置的结构框图；

图7是本发明实施方式三中实施例3的电子设备的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施方式一

实施例1

请参见图1，本发明实施例提供了一种基于图像筛选的私密行为识别方法，该方法包括：

S1：获取与婴幼儿看护相关的视频流，将所述视频流分解为多帧图像，并按照第一视频帧数量存储至第一图像池P中；

具体地，获取婴幼儿智能看护设备上摄像头采集的实时的视频流，所述实时的视频流包括白天采集的普通视频和夜晚采集的红外视频，由于看护设备是二十四小时运行的，用户可通过所述视频流中的婴幼儿信息、监护人信息和环境信息对婴幼儿进行行为习惯分析，从而实现智能看护。将所述实时的视频流分解为多帧图像，按照第一视频帧数量存储至第一图像池P中。

在一实施例中，所述S1包括：所述第一视频帧数量为预先设定的N帧，其中15＝＜N＝＜25，N为整数。

具体地，获取分解出的多帧图像，按照每N帧存储至第一图像池P中其中15＝＜N＝＜25，N为整数，即大约一秒存储一次图像。

S2：对所述第一图像池P中的图像进行相似度筛选，将筛选后的第二视频帧数量的图像输出至第二图像池Q；

具体地，由于第一图像池P是在一段时间内连续拍摄完成的，而在实际监护场景中，一段时间内视频画面的区别变化不会太大，导致所述第一图像池P中的存在很多相似的图像，若将这些相似的图像都输入私密行为识别模型中进行私密行为的识别，会占用太多空间，造成缓存区的溢出，此时，用户不能连贯地观看实时视频，看护体验较差。因此，需要对第一图像池中的图像进行相似度筛选，通过剔除相似的图像，减少图像数据处理量，提升了识别效率。

在一实施例中，请参见图2，所述S2包括：

S21：将所述N帧图像转换为对应的灰度图像，计算所述灰度图像的归一化直方图；

具体地，将所述N帧图像转换为对应的灰度图像，首先得出灰度直方图：获取灰度图像的所有像素值，再分别统计每个像素值所对应的像素点个数bin，以像素值为横坐标，bin为纵坐标绘制直方图作为灰度直方图，再对灰度直方图进行归一化处理：将每个bin值转换为对应浮点数binpi，其中，pi表示像素值，对应0～255之间的数值，0＝＜binpi＝＜1，输出归一化直方图。

S22：依据所述归一化直方图，判定归一化直方图之间是否相似；

具体地，例如，分别描述两张归一化直方图P和Q的特征为：P＝{(p1,binp1),...,(pm,binpm)}和Q＝{(q1,binq1),...,(qn,binqn)}，其中，pm，qn为像素值，且0＝＜pm，qn＝＜255，binpm，binpn为浮点数，且0＝＜binpm，binpn＝＜1。对于在P和Q中相同的像素值pi和qj，定义一个pi和qj之间距离为dij，找到矩阵[fij]，其中每一项的fij代表从pi到qj的流动数量，计算得出代价函数WORK(P，Q，F)，其计算公式如下：

将WORK(P，Q，F)归一化以后的表达作为EMD相似度，根据EMD相似度来判断各归一化直方图之间是否相似。

在一实施例中，请参见图3，所述S22包括：

S221：依据时间顺序，对所述灰度图像进行排序，确定初始帧图像P1；

S222：计算所述P1对应的归一化直方图H1，并计算P中非P1的其他灰度图像对应的归一化直方图Hi，其中1＝＜i＝＜N-1，i为整数；

具体地，将所有灰度图像输入，按照步骤S21进行处理，输出初始帧图像P1对应的归一化直方图H1和非P1图像对应的多幅归一化直方图Hi，其中1＝＜i＝＜N-1，i为整数。

S223：预先设置EMD相似度阈值，其中，0＝＜EMD阈值＝＜1，计算所述Hi与H1之间的EMD相似度；

具体地，预先设定EMD相似度阈值，这里以0.75为例，先输入初始帧图像P1对应的归一化直方图H1，再按照时间的先后顺序输入非P1图像对应的多幅归一化直方图Hi，按照步骤S22进行处理，依次计算H1和Hi之间的EMD相似度。

S224：若判定所述Hi与H1之间的EMD相似度大于所述EMD相似度阈值，则剔除Hi对应的灰度图像Pi；

具体地，若计算出H1与H2之间的EMD相似度为0.8，此时0.8大于0.75，认为H2与H1相似度过高，此时将H2对应的灰度图像P2从第一图像池P中剔除。

S225：若判定所述Hi与H1之间的EMD相似度不大于所述EMD相似度阈值，则将Hi对应的灰度图像Pi作为新的初始帧图像P1。

具体地，若计算出H1与H2之间的EMD相似度为0.6，此时0.6不大于0.75，认为H2与H1相似度较低，则将H2对应的灰度图像P2作为新的初始帧图像P1。

S23：当判定所述归一化直方图之间互不相似时，输出与归一化直方图对应的M帧图像至第二图像池Q中。

具体地，通过剔除相似度较高的灰度图像，使得输出的第二图像池Q中的M帧图像之间互不相似，在保证能够较好地概括婴幼儿看护场景特征信息的同时，也减少了后续图像数据的处理量，提升了后续对于私密行为的识别效率。

在一实施例中，请参见图4，所述S23包括：

重复步骤S222至S225，直至判定所述P中灰度图像对应的所有归一化直方图之间的EMD相似度均不大于所述EMD相似度阈值时，输出与归一化直方图对应的M帧图像至第二图像池Q中。

具体地，对于被标记为新的初始帧图像P1的灰度图像P2，重复步骤S222至S225,通过不断地得出新的初始帧图像和剔除相似度高的图像，直至判定到第一图像池P中剩余的所有灰度图像之间互不相似，即所有灰度图像对应的归一化直方图之间的EMD相似度均不大于所述EMD相似度阈值，此时将剩余的M帧图像输入第二图像池Q中。

S3：将所述目标图像集输入预设的私密行为识别模型，识别是否存在私密行为。

在一实施例中，请参见图5，所述S3包括：

S31：获取所述第二图像池Q，识别所述第二图像池Q中M帧图像的婴幼儿信息和成人信息；

具体地，在婴幼儿看护设备出厂前，收集大量社会公开的婴幼儿各成长阶段的图像进行分析，在看护场景下，预先标注并构建包括婴幼儿信息和成人信息的训练图像数据，以这些图像数据作为Yolov5s第一目标检测网络的训练基础，将所述第二图像池Q中的M帧图像输入所述Yolov5s第一目标检测模型中，识别出婴幼儿信息和成人信息。

在一实施例中，所述私密行为包括：成人给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为。

具体地，在实际的对婴幼儿的看护场景中，由于婴幼儿的年龄较小，常需要父母等监护人的照料，照料过程中难以避免地会出现婴幼儿裸体、露点和给婴幼儿喂乳行为，同时婴幼儿通常需要与父母等监护人同房居住，看护场景中也会涉及到父母等监护人的私密行为，因此，主要识别的私密行为包括：母亲给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为。通过对上述私密行为的有效识别，帮助用户保护隐私不被泄露。

S32：将所述婴幼儿信息和成人信息输入所述私密行为识别模型，识别是否存在私密行为。

具体地，识别出的婴幼儿信息和成人信息中常会出现母亲给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为信息，若不对上述私密行为信息进行保护，会导致用户隐私泄露，保护私密行为信息的前提是识别当前的第二图像池中是否包括私密行为信息，为此，在婴幼儿看护设备出厂前，收集大量社会公开的婴幼儿各成长阶段的图像进行分析，在看护场景下，预先标注并构建包括母亲给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为信息的训练图像数据，将包括成人裸体和露点行为信息的训练图像数据作为Yolov5s第二目标检测模型的训练基础，将包括婴幼儿裸体和非婴幼儿裸体行为信息的训练数据作为Resnet18目标分类模型的训练基础，将包括母亲给婴幼儿喂乳行为信息的训练数据作为Yolov5s第三目标检测模型的训练基础，所述私密行为识别模型包括所述Yolov5s第二目标检测模型、Resnet18目标分类模型和Yolov5s第三目标检测模型，将所述婴幼儿信息和成人信息输入所述私密行为识别模型，识别是否存在私密行为中的母亲给婴幼儿喂乳行为、成人露点行为、婴幼儿裸体行为及成人裸体行为。同时，以通过Yolov5s第一目标检测模型检测到两个成人为例，标注出检测到的成人甲和乙分别的最小外接矩形框，表示为P甲(x1,y1,w1,h1)和P乙(x2,y2,w2,h2)，其中x1，x2为矩形框左顶点横坐标，y1，y2为矩形框左顶点纵坐标，w1，w2和h1，h2分别为矩形框长宽，计算成人甲和乙分别的最小外接矩形框各自的中心为：C1(x1+w1/2,y1+h1/2),C2(x2+w2/2,y2+h2/2)；再计算两中心像素的欧式距离Dis，其计算公式为：Dis＝sqrt((x1+w1/2x2+w2/2)*(x1+w1/2-x2+w2/2)+(y1+h1/2y2+h2/2)*(y1+h1/2-y2+h2/2))若满足两个成人中心像素的欧式距离小于两个成人身体框较小的框的一半并且两个成人中心像素坐标竖直方向的坐标差小于最小纵向高度的1/4，即Dis

S4：若存在私密行为，则不存储所述视频流；若不存在私密行为，则存储所述视频流。

具体地，识别是否出现所述婴幼儿裸体行为、成人裸体行为、成人之间的亲密行为和成人露点行为中的一种或多种行为，若存在，则不存储所述视频流；若不存在私密行为，则对所述视频流进行常规保存，从而进一步保证私密行为信息不泄露，使得用户在对婴幼儿进行智能看护的同时也不泄露个人隐私，提升了用户体验。

实施方式二

实施例2

请参见图6，本发明实施例提供了一种基于图像筛选的私密行为识别装置，所述装置包括：

图像获取模块，用于获取与婴幼儿看护相关的视频流，将所述视频流分解为多帧图像，并按照第一视频帧数量存储至第一图像池P中；

图像筛选模块，用于对所述第一图像池P中的图像进行相似度筛选，将筛选后的第二视频帧数量的图像输出至第二图像池Q；

私密行为识别模块，用于将所述第二图像池Q中的图像送入预先设置的私密行为识别模型中，识别是否存在私密行为；

视频屏蔽存储模块，用于若存在私密行为，则不存储所述视频流；若不存在私密行为，则存储所述视频流。

具体地，采用本发明实施例提供的基于图像筛选的私密行为识别装置，图像获取模块，用于获取与婴幼儿看护相关的视频流，将所述视频流分解为多帧图像，并按照第一视频帧数量存储至第一图像池P中；图像筛选模块，用于对所述第一图像池P中的图像进行相似度筛选，将筛选后的第二视频帧数量的图像输出至第二图像池Q；私密行为识别模块，用于将所述第二图像池Q中的图像送入预先设置的私密行为识别模型中，识别是否存在私密行为；视频屏蔽存储模块，用于若存在私密行为，则不存储所述视频流；若不存在私密行为，则存储所述视频流。由于在实际婴幼儿看护场景中，看护设备上摄像头采集的实时视频流是通过一段时间连续录制完成的，连续录制过程中看护场景变化不大，其分解出的多帧图像难免存在相似度较高的图像，对相似度较高的图像进行处理的意义不大，通过对多帧图像的相似度筛选，剔除了相似度较高的图像，再进行私密行为识别，减小了看护设备的图像数据处理量，提高了私密行为识别效率，避免了因缓存区图像数据溢出而导致的用户观看实时看护视频画面不连续的问题，从而提升了用户体验。

实施方式三

实施例3

另外，结合图1描述的本发明实施例的基于图像筛选的私密行为识别方法可以由电子设备来实现。图7示出了本发明实施例提供的电子设备的硬件结构示意图。

电子设备可以包括处理器以及存储有计算机程序指令的存储器。

具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种基于图像筛选的私密行为识别方法。

在一个示例中，电子设备还可包括通信接口和总线。其中，如图7所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。

通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

实施方式四

实施例4

另外，结合上述实施例中的基于图像筛选的私密行为识别方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于图像筛选的私密行为识别方法。

综上所述，本发明实施例提供了一种基于图像筛选的私密行为识别方法、装置及设备。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。