基于私密行为信息提取的图像处理方法、装置及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于私密行为信息提取的图像处理方法、装置及设备。

背景技术

当前，针对婴幼儿的智能看护被广大年轻父母所推崇，如何实现有效地智能看护是AI智能看护设备占有市场的重要因素。

现有技术中，针对婴幼儿的智能看护，监护人不是被关注的对象，AI智能看护设备通过采集当前监控场景图像信息来进行婴幼儿行为习惯分析，采集的场景图像信息中可能包括私密行为(喂乳、裸体、露点和其他亲密行为)信息时，若此时有访客来访，会导致用户隐私的泄露，影响用户使用体验；现有的看护设备上摄像头保护用户隐私的方式主要是通过两种方式：一是在看护摄像头上设计硬件遮蔽功能，用户可以选择自主关闭；二是用户选择将摄像头旋转背对用户，这两种方式虽然都可以有效保证用户隐私不被泄漏，但是由于摄像头此时被遮蔽或者不再对准实际需要的看护场景，用户无法再对婴幼儿进行有效的看护。

为此，如何在保护用户隐私的同时，也能实现对婴幼儿的看护是亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种基于私密行为信息提取的图像处理方法、装置及设备，用以解决现有技术中无法在保护用户隐私的同时，也能实现对婴幼儿的看护的问题。

第一方面，本发明实施例提供了一种基于私密行为信息提取的图像处理方法，所述方法包括：

S1：获取实时采集的与婴幼儿看护场景相关的视频流中存在私密行为信息的各目标视频帧；

S2：根据各所述目标视频帧进行私密行为信息提取，得到与各私密行为信息对应的基础图像；

S3：对各所述基础图像进行二次处理，得出各目标图像；

S4：将各所述基础图像和各所述目标图像同时进行保存，得到可选择播放类别的目标视频。

优选地，所述私密行为包括：成人给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为。

优选地，所述S2包括：

S21：依据预设的检测方式对所述目标视频帧进行检测，得出婴幼儿数量Q1和成人数量Q2，其中Q1，Q2＞＝0且Q1，Q2为整数；

S22：当婴幼儿数量Q1大于0时，依据预设的分类方式对所述目标视频帧进行分类，得出婴幼儿裸体行为信息；

S23：当成人数量Q2大于0时，依据预设的检测方式检测出所述目标视频帧中的成人裸体行为信息和成人露点行为信息；

S24：当成人数量Q2大于1时，依据预设的检测方式检测出所述目标视频帧中的成人之间的亲密行为信息；

S25：当Q1大于0且Q2大于0时，依据预设的检测方式检测出所述目标视频帧中的成人给婴幼儿喂乳行为信息。

优选地，所述预设的检测方式包括：预先标注婴幼儿、成人、成人给婴幼儿喂乳行为、成人露点行为及成人裸体行为的第一图像数据，利用Yolov5s对所述第一图像数据进行训练，输出目标检测模型。

优选地，所述预设的分类方式包括：预先标注婴幼儿裸体和非婴幼儿裸体行为的第二图像数据，利用Resnet18对所述第二图像数据进行训练，输出目标分类模型。

优选地，其特征在于，所述S3包括：

S31：获取与所述成人给婴幼儿喂乳行为信息、成人之间的亲密行为信息、成人露点行为信息、婴幼儿裸体行为信息及成人裸体行为信息对应的基础图像；

S32：利用预设的均值卷积算法对所述基础图像进行模糊处理，将模糊处理后的图像作为目标图像。

优选地，所述S32包括：

S321：获取所述目标图像中的像素点，标记为当前像素点，并将所述当前像素点的周围的点记为周围像素点；

S322：计算出所述周围像素点和当前像素点的算术平均值作为当前点的像素值。

第二方面，本发明实施例提供了一种基于私密行为信息提取的图像处理装置，所述装置包括：

视频帧获取模块，用于获取实时采集的与婴幼儿看护场景相关的视频流中存在私密行为信息的各目标视频帧；

私密行为信息提取模块，用于根据各所述目标视频帧进行私密行为信息提取，得到与各私密行为信息对应的基础图像；

图像处理模块，用于对各所述基础图像进行二次处理，得出各目标图像；

图像存储模块，用于将各所述基础图像和各所述目标图像同时进行保存，得到可选择播放类别的目标视频。

第三方面，本发明实施例提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

综上所述，本发明的有益效果如下：

本发明实施例提供的基于私密行为信息提取的图像处理方法、装置及设备，获取实时采集的与婴幼儿看护场景相关的视频流中存在私密行为信息的各目标视频帧；根据各所述目标视频帧进行私密行为信息提取，得到与各私密行为信息对应的基础图像；对各所述基础图像进行二次处理，得出各目标图像；将各所述基础图像和各所述目标图像同时进行保存，得到可选择播放类别的目标视频。由于在实际婴幼儿看护场景中，看护设备上摄像头采集的实时视频流是通过一段时间连续录制完成的，其分解出的多帧图像中难以避免的会录入用户的私密行为(成人给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为)有关的信息，通过提取上述私密行为信息，找出相对应的图像作为基础图像，对包括私密行为信息的图像进行二次处理得出目标图像，用户在观看目标视频时，既可以选择未经处理的基础图像实现对婴幼儿的看护，又可以选择目标图像来保护隐私，提升了用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。

图1是本发明实施方式一中实施例1的基于私密行为信息提取的图像处理方法的流程示意图；

图2是本发明实施方式一中实施例1的提取私密行为信息的流程示意图；

图3是本发明实施方式一中实施例1的对基础图像进行二次处理的流程示意图；

图4是本发明实施方式一中实施例1的模糊处理图像的流程示意图；

图5是本发明实施方式二中实施例2的基于私密行为信息提取的图像处理装置的结构框图；

图6是本发明实施方式三中实施例3的电子设备的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施方式一

实施例1

请参见图1，本发明实施例提供了一种基于私密行为信息提取的图像处理方法，所述方法包括：

S1：获取实时采集的与婴幼儿看护场景相关的视频流中存在私密行为信息的各目标视频帧；

具体地，获取看护设备实时采集的与婴幼儿看护场景相关的视频流中存在私密行为信息的各目标视频帧，由于看护设备是二十四小时运行的，用户可通过所述视频流中的婴幼儿信息、监护人信息和环境信息对婴幼儿进行行为习惯分析，从而实现智能看护。

S2：根据各所述目标视频帧进行私密行为信息提取，得到与各私密行为信息对应的基础图像；

具体地，在婴幼儿看护设备出厂前，收集大量社会公开的婴幼儿看护场景下的图像进行分析，在看护场景下，预先标注并构建包括私密行为的训练图像数据，以这些图像数据作为私密行为识别模型的训练基础，将所述目标视频帧输入所述私密行为识别模型中，提取出私密行为信息，并将包括各私密行为信息对应的图像作为基础图像。基础图像中虽然包括私密行为信息，但是没有经过处理，用户可在访客的情况下实时观看未经处理的视频流来实现对婴幼儿的有效看护。

在一实施例中，所述私密行为包括：成人给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为。

具体地，在实际的对婴幼儿的看护场景中，由于婴幼儿的年龄较小，常需要父母等监护人的照料，照料过程中难以避免地会出现婴幼儿裸体、露点和给婴幼儿喂乳行为，同时婴幼儿通常需要与父母等监护人同房居住，看护场景中也会涉及到父母等监护人的私密行为，因此，主要识别的私密行为包括：母亲给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为。通过对上述私密行为的有效识别，帮助用户保护隐私不被泄露。

在一实施例中，请参见图2，所述S2包括：

S21：依据预设的检测方式对所述目标视频帧进行检测，得出婴幼儿数量Q1和成人数量Q2，其中Q1，Q2＞＝0且Q1，Q2为整数；

具体地，在婴幼儿看护设备出厂前，收集大量社会公开的婴幼儿各成长阶段的图像进行分析，主要关注婴幼儿的看护场景下的图像，预先标注并构建婴幼儿看护场景下包括婴幼儿和监护人的训练数据，以这些数据作为Yolov5s第一目标检测模型的训练数据基础，将所述目标视频帧输入所述目标检测模型中，识别目标视频帧中是否存在婴幼儿和成人，若存在，则统计婴幼儿数量Q1和成人数量Q2，其中Q1，Q2＞＝0且Q1，Q2为整数。

S22：当婴幼儿数量Q1大于0时，依据预设的分类方式对所述目标视频帧进行分类，得出婴幼儿裸体行为信息；

具体地，在婴幼儿看护设备出厂前，收集大量社会公开的婴幼儿各成长阶段的图像进行分析，主要关注婴幼儿的看护场景下的图像，预先标注并构建婴幼儿看护场景下包括婴幼儿裸体和非婴幼儿裸体的训练数据，以这些数据作为Resnet18目标分类模型的训练数据基础，当婴幼儿数量Q1大于0时，将所述目标视频帧输入所述Resnet18目标分类模型中，提取出婴幼儿裸体信息。

S23：当成人数量Q2大于0时，依据预设的检测方式检测出所述目标视频帧中的成人裸体行为信息和成人露点行为信息；

具体地，在婴幼儿看护设备出厂前，收集大量社会公开的成人的图像进行分析，主要关注婴幼儿的看护场景下的图像，预先标注并构建婴幼儿看护场景下包括成人裸体、非成人裸体、成人露点和非成人露点的训练数据，以这些数据作为Yolov5s第二目标检测模型的训练数据基础，当识别存在成人时，将所述目标视频帧输入所述Yolov5s第二目标检测模型中，提取出所述成人裸体行为信息和成人露点行为信息；

S24：当成人数量Q2大于1时，依据预设的检测方式检测出所述目标视频帧中的成人之间的亲密行为信息；

具体地，当识别存在两个及两个以上成人时，假定检测到两个成人甲和乙，标记所述甲和乙的最小外接矩形框，并获取甲的最小外接矩形框左顶点P1(x1,y1,w1,h1)和乙的最小外接矩形框左顶点P2(x2,y2,w2,h2)，其中x1，x2为横坐标，y1，y2为纵坐标，w1，w2和h1，h2分别为矩形框长宽；计算两个矩形框各自的中心为C1(x1+w1/2,y1+h1/2)，C2(x2+w2/2,y2+h2/2)；并依据公式：Dis＝sqrt((x1+w1/2-x2+w2/2)*(x1+w1/2-x2+w2/2)+(y1+h1/2-y2+h2/2)*(y1+h1/2-y2+h2/2))计算两中心像素的的欧式距离Dis；当满足所述欧式距离小于目标矩形框的一半并且两个成人的中心的纵坐标之差小于两个成人的纵向高度的1/4时，即Dis

S25：当Q1大于0且Q2大于0时，依据预设的检测方式检测出所述目标视频帧中的成人给婴幼儿喂乳行为信息。

具体地，在婴幼儿看护设备出厂前，收集大量社会公开的婴幼儿和成人的图像进行分析，主要关注婴幼儿的看护场景下的图像，预先标注并构建婴幼儿看护场景下包括母婴喂乳的训练数据，以这些数据作为Yolov5s第三检测模型的训练数据基础，当识别到既有婴幼儿又有成人时，将所述目标视频帧输入所述Yolov5s第三检测模型模型中，提取出所述成人给婴幼儿喂乳行为信息。

S3：对各所述基础图像进行二次处理，得出各目标图像；

具体地，为了保证用户的隐私不被泄露，对存在成人给婴幼儿喂乳行为信息、成人之间的亲密行为信息、成人露点行为信息、婴幼儿裸体行为信息及成人裸体行为信息中的一种或多种行为信息的基础图像进行二次处理，来遮挡隐私。

在一实施例中，请参见图3，所述S3包括：

S31：获取与所述成人给婴幼儿喂乳行为信息、成人之间的亲密行为信息、成人露点行为信息、婴幼儿裸体行为信息及成人裸体行为信息对应的基础图像；

S32：利用预设的均值卷积算法对所述基础图像进行模糊处理，将模糊处理后的图像作为目标图像。

具体地，对所述视频流进行二次处理来遮挡隐私，其遮挡方法是使用25×25的均值卷积算法对所述视频流进行模糊操作。通过对识别出包括私密行为信息的基础图像进行模糊处理，保护了用户隐私，提升了用户体验。

在一实施例中，请参见图4，所述S32包括：

S321：获取所述目标图像中的像素点，标记为当前像素点，并将所述当前像素点的周围的点记为周围像素点；

S322：计算出所述周围像素点和当前像素点的算术平均值作为当前点的像素值。

具体地，以获取所述目标图像中的像素点A为例，标记为当前像素点，并将所述当前像素点A的周围25×25的点记为周围像素点；计算出所述周围像素点和当前像素点的算术平均值作为当前点的像素值，可以直观的看出来，在整个计算中，整个图像每个像素点的差值变得很小，就会使得图像看起来像连成一块，图像模糊变得更加模糊，同时该操作能够有效的去除噪声，等同于一个LPF(低通)滤波器。

S4：将各所述基础图像和各所述目标图像同时进行保存，得到可选择播放类别的目标视频。

具体地，将各所述基础图像和各所述目标图像同时进行保存，得到可选择播放类别的目标视频。用户在观看目标视频时，既可以选择未经处理的基础图像实现对婴幼儿的看护，又可以在有访客等情况时选择模糊的目标图像来保护隐私，提升了用户体验。

实施方式二

实施例2

请参见图5，本发明实施例提供了一种基于私密行为信息提取的图像处理装置，所述装置包括：

视频帧获取模块，用于获取实时采集的与婴幼儿看护场景相关的视频流中存在私密行为信息的各目标视频帧；

私密行为信息提取模块，用于根据各所述目标视频帧进行私密行为信息提取，得到与各私密行为信息对应的基础图像；

图像处理模块，用于对各所述基础图像进行二次处理，得出各目标图像；

图像存储模块，用于将各所述基础图像和各所述目标图像同时进行保存，得到可选择播放类别的目标视频。

本发明实施例提供的基于私密行为信息提取的图像处理装置，视频帧获取模块，获取实时采集的与婴幼儿看护场景相关的视频流中存在私密行为信息的各目标视频帧；私密行为信息提取模块，根据各所述目标视频帧进行私密行为信息提取，得到与各私密行为信息对应的基础图像；图像处理模块，对各所述基础图像进行二次处理，得出各目标图像；图像存储模块，将各所述基础图像和各所述目标图像同时进行保存，得到可选择播放类别的目标视频。由于在实际婴幼儿看护场景中，看护设备上摄像头采集的实时视频流是通过一段时间连续录制完成的，其分解出的多帧图像中难以避免的会录入用户的私密行为(成人给婴幼儿喂乳行为、成人之间的亲密行为、成人露点行为、婴幼儿裸体行为及成人裸体行为)有关的信息，通过提取上述私密行为信息，找出相对应的图像作为基础图像，对包括私密行为信息的图像进行二次处理得出目标图像，用户在观看目标视频时，既可以选择未经处理的基础图像实现对婴幼儿的看护，又可以选择目标图像来保护隐私，提升了用户体验。

实施方式三

实施例3

另外，结合图1描述的本发明实施例的基于私密行为信息提取的图像处理方法可以由电子设备来实现。图6示出了本发明实施例提供的电子设备的硬件结构示意图。

电子设备可以包括处理器以及存储有计算机程序指令的存储器。

具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种基于私密行为信息提取的图像处理方法。

在一个示例中，电子设备还可包括通信接口和总线。其中，如图6所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。

通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

实施方式四

实施例4

另外，结合上述实施例中的基于私密行为信息提取的图像处理方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于私密行为信息提取的图像处理方法。

综上所述，本发明实施例提供了一种基于私密行为信息提取的图像处理方法、装置及设备。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。