掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本申请涉及电子技术领域,尤其涉及一种摄像头遮挡检测方法及电子设备。

背景技术

在日常生产生活中,经常在各种场景下安装图像采集装置,例如城市交通场景部署的摄像头,又例如车辆上安装的摄像头,家庭内部或外部安装的摄像头,又例如智能门锁产品中猫眼摄像头等,这些图像采集装置可以记录周围环境的实时画面,如果有人对摄像头进行恶意遮挡,例如使用肢体(如手指、手掌、身体等)遮挡、使用粘性物体(如口香糖、胶带纸等)遮挡、使用固定物体(如木板、金属块等)遮挡等手段遮挡,会导致一些安全事件记录的缺失,也会给用户的安全带来很大的危害。在遮挡发生时,如果能及时地提醒用户,可以让用户有效的预防恶意事件的发生。

目前常用的摄像头遮挡检测方法复杂度过高,例如采用神经网络检测目标对象是否被遮挡,但这种神经网络类或者复杂度较高的机器学习类的检测方法需要耗费大量的时间用于前期训练,对于设备的算力要求高,而且这类检测方法强依赖硬件手段,容易受硬件稳定性影响,导致检测精度降低。

发明内容

本申请实施例提供一种摄像头遮挡检测方法及电子设备,用以降低摄像头遮挡检测的计算量。

第一方面,本申请实施例提供一种摄像头遮挡检测方法,该方法应用于包括摄像头的电子设备,该方法包括:获取摄像头采集的参考图像,参考图像包括位于第一位置的目标对象,确定参考图像中目标对象所在区域的第一纹理特征信息;获取摄像头采集的待检测图像;确定待检测图像中位于第一位置的区域的第二纹理特征信息;根据第一纹理特征信息以及第二纹理特征信息,确定摄像头是否存在遮挡。

基于上述方案,根据参考图像中的部分区域与待检测图像中的部分区域的纹理特征信息,确定摄像头是否存在遮挡,相较于通过比较两幅完整图像的相似度差异、或者是机器学习类的检测方式来说,可以减少计算量。而且,上述方案中采用纹理特征信息进行遮挡检测,可以降低对光照变化的敏感度,提高检测精度。

一种可能的设计中,该第一纹理特征信息以及第二纹理特征信息中的任一特征信息包括以下至少一项:颜色直方图CH特征值;角二节矩ASM能量特征值;局部二值模式LBP特征值;熵值。

一种可能的设计中,根据第一纹理特征信息以及第二纹理特征信息,确定摄像头是否存在遮挡之前,还包括:根据目标对象中各个像素点的灰度值,确定目标对象的熵值。熵值可以表示纹理信息的无序程度,熵值越大表示纹理越混乱,通过确定熵值可以作为判断场景复杂程度的依据。

一种可能的设计中,根据第一纹理特征信息以及第二纹理特征信息,确定摄像头是否存在遮挡,包括:若熵值大于第一阈值,则根据第一纹理特征信息包括的CH特征值、ASM能量特征值、LBP特征值构建第一特征向量,并根据第二纹理特征信息包括的CH特征值、ASM能量特征值、LBP特征值构建第二特征向量;根据第一特征向量以及第二特征向量,确定摄像头是否存在遮挡。

通过该设计,熵值大于第一阈值,说明门前场景为复杂场景,可以通过纹理特征信息包括的CH特征值、ASM能量特征值、LBP特征值等特征值构建特征向量,确定摄像头是否存在遮挡,提高检测结果的准确性。

一种可能的设计中,根据第一特征向量以及第二特征向量,确定摄像头是否存在遮挡,包括:

若第一特征向量与第二特征向量之间的欧式距离小于第二阈值,则确定摄像头不存在遮挡;

或者,若第一特征向量与第二特征向量之间的欧式距离大于第三阈值,则确定摄像头存在遮挡;或者,若第一特征向量与第二特征向量之间的欧式距离大于或等于第二阈值、且欧式距离小于或等于第三阈值、且电子设备中的PIR探测器探测到预设波长范围内的红外辐射,第二阈值小于第三阈值,则确定摄像头存在遮挡;或者,若第一特征向量与第二特征向量之间的欧式距离大于或等于第二阈值、且欧式距离小于或等于第三阈值、且PIR探测器未探测到预设波长范围内的红外辐射,则确定摄像头不存在遮挡。

通过该设计,在参考图像的第一特征向量与待检测图像的第二特征向量之间的欧式距离小于第二阈值,说明参考图像与待检测图像的纹理特征信息的差别很小,可以确定摄像头未被遮挡;在欧式距离大于第二阈值时,说明参考图像与待检测图像的纹理特征信息的差别较大,可以确定摄像头被遮挡;在欧式距离在第二阈值与第三阈值之间时,可能会存在被遮挡以及未被遮挡两种情况,此时结合PIR探测器的探测结果进一步确定摄像头是否被遮挡,可以提高检测结果的准确性。

一种可能的设计中,根据第一纹理特征信息以及第二纹理特征信息,确定摄像头是否存在遮挡,包括:若熵值小于或等于第一阈值,则根据第一纹理特征信息包括的ASM能量特征值以及第二纹理特征信息包括的ASM能量特征值,确定摄像头是否存在遮挡。通过该设计,熵值小于或等于第一阈值,说明门前场景为简单场景,可以通过纹理特征信息包括的ASM能量特征值,确定摄像头是否存在遮挡,相较于复杂场景来说,可以进一步降低计算量。

一种可能的设计中,根据第一纹理特征信息包括的ASM能量特征值以及第二纹理特征信息包括的ASM能量特征值,确定摄像头是否存在遮挡,包括:若第一纹理特征信息包括的ASM能量特征值与第二纹理特征信息包括的ASM能量特征值的比值小于第四阈值,则确定摄像头不存在遮挡;或者,若第一纹理特征信息包括的ASM能量特征值与第二纹理特征信息包括的ASM能量特征值的比值大于第五阈值,则确定摄像头存在遮挡,第五阈值大于第四阈值;或者,若第一纹理特征信息包括的ASM能量特征值与第二纹理特征信息包括的ASM能量特征值的比值大于第四阈值、且比值小于或等于第五阈值、且电子设备中的PIR探测器探测到预设波长范围内的红外辐射,第四阈值小于第五阈值,则确定摄像头存在遮挡;或者,若第一纹理特征信息包括的ASM能量特征值与第二纹理特征信息包括的ASM能量特征值的比值大于第四阈值、且比值小于或等于第五阈值、且PIR探测器未探测到预设波长范围内的红外辐射,则确定摄像头不存在遮挡。

通过该设计,在参考图像的ASM能量特征值与待检测图像的ASM能量特征值之间的比值小于第四阈值,说明参考图像与待检测图像的能量偏差很小,可以确定摄像头未被遮挡;在比值大于第五阈值时,说明参考图像与待检测图像的能量偏差较大,可以确定摄像头被遮挡;在欧式距离在第二阈值与第三阈值之间时,可能会存在被遮挡以及未被遮挡两种情况,此时结合PIR探测器的探测结果进一步确定摄像头是否被遮挡,可以提高检测结果的准确性。

一种可能的设计中,目标对象为人脸。

一种可能的设计中,该还包括:若确定摄像头存在遮挡,则向移动设备发送告警消息,告警消息用于移动设备提示用户摄像头被遮挡。通过该设计,可以实现及时上报用户,保障摄像头的安全性。

第二方面,本申请实施例还提供一种装置,该装置包括执行上述任一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。

第三方面,本申请实施例提供一种电子设备,包括处理器和存储器。其中,存储器用于存储一个或多个计算机程序;当存储器存储的一个或多个计算机程序被处理器执行时,使得该电子设备能够实现上述第一方面以及第一方面的任意一种可能的设计的方法。

第四方面,本申请实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行上述第一方面以及第一方面的任意一种可能的设计的方法。

第五方面,本申请实施例还提供一种包含计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行上述第一方面以及第一方面的任意一种可能的设计的方法。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

图1为本申请实施例适用的场景示意图;

图2为本申请实施例提供电子设备的硬件结构示意图;

图3为本申请实施例提供的摄像头遮挡检测方法的流程示意图;

图4为本申请实施例提供的参考图像和待检测图像的示意图;

图5为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

以下,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。

感兴趣区域,在采用机器视觉技术对待检测对象进行检测时,先获取包括待检测对象的图像,并不需要对整个图像的所有区域进行检测,通常只需要对整个图像中包括待检测对象的部分区域进行检测即可完成对待检测对象的检测,即在图像处理过程中,只需要对整个图像中的一部分进行检测即可,获取的图像以方框、圆、不规则多边形等方式确定需要处理的区域,称为感兴趣区域。例如在智能门锁场景中,猫眼摄像头拍摄到的参考图像中,人脸区域即为感兴趣区域。

灰度共生矩阵,被定义为从灰度为i的像素点出发,离开某个固定位置的点上灰度值为不同值的概率,即所有估计的值可以表示成一个矩阵的形式,以此被称为灰度共生矩阵,它是一种通过研究灰度的空间相关特性来描述纹理的常用方法,由于灰度共生矩阵的数据量较大,一般不直接作为区分纹理的特征,而是基于它构建的一些统计量作为纹理分类特征,例如能量、熵、对比度、均匀性、相关性等。

本申请实施例涉及的多个,是指大于或等于两个。

需要说明的是,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合,例如a、b或c中的至少一项(个),可以表示:a,或b,或c,或a和b,或b和c,或a和c,或a和b和c。且在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序,也不能理解为隐含指明所指示的技术特征的数量。

本申请公开的各个实施例可以应用于电子设备中,该电子设备能够实现摄像头遮挡检测功能。在本申请一些实施例中,电子设备可以是便携式终端,诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(如智能手表)等。该便携式终端包含能够采集图像,并对采集的图像进行特征提取的器件(比如处理器)。便携式终端的示例性实施例包括但不限于搭载

在本申请另一些实施例中,电子设备也可以无需具有图像处理(例如特征信息提取等)的功能,而是具有通信功能。比如,电子设备采集图像之后,可以将该图像发送到其它设备比如服务器,由其他设备使用本申请实施例提供的摄像头遮挡检测方法对图像进行图像处理(例如特征信息提取),然后将图像处理结果发送给电子设备。

本申请实施例中的技术方案可以应用于图1所示的场景中,如图1所示,该场景中包括电子设备100,图1中以电子设备100为智能门锁为例进行示意。电子设备100可以是实体设备,也可以是逻辑装置,所述逻辑装置可以理解为具有智能门锁的功能的逻辑单元/模块,不对硬件设备的类型、性能等作限制。例如,所述逻辑装置可以是一个或多个硬件设备中的一个或多个逻辑单元/模块。

本申请实施例中,电子设备100可以通过摄像头采集图像,例如采集参考图像以及实时采集待检测图像,电子设备100还可以提取采集到的参考图像中的纹理特征信息以及待检测图像中的纹理特征信息,然后根据参考图像中纹理特征信息以及待检测图像中的纹理特征信息,确定摄像头是否存在遮挡。

如图1所示的场景中,还可以包括移动设备200,图1中以移动设备200为手机为例进行示意。电子设备100可以通过Wi-Fi芯片与移动设备200进行交互,例如,电子设备100可以将摄像头遮挡检测的结果发送至移动设备200,并在移动设备200的显示屏上显示,以便用户在电子设备100的摄像头被遮挡时可以及时知晓。

示例性地,图2示出了本申请实施例提供的电子设备的硬件结构图。如图2所示,电子设备100可以包括处理器110,通信模块120,扬声器130A,麦克风130B,传感器模块140,摄像头150,显示屏160、门铃/按压部件170、多媒体子系统180、被动红外传感器(passiveinfrared sensor,PIR)探测器190A以及TOF传感器190B等。其中,通信模块120可以包括Wi-Fi无线子系统120A、蓝牙模块120B、近距离无线通信技术(near field communication,NFC)模块120C等,传感器模块140可以包括指纹传感器140A,触摸传感器140B。

其中,处理器110可以连接通信模块120,扬声器130A,麦克风130B,传感器模块140,摄像头150,显示屏160、门铃/按压部件170、多媒体子系统180、被动式红外探测器(passive infrared detector,PIR)探测器190A以及TOF传感器190B等部件,处理器110可以用于接收这些部件发送的信号(或数据),并进行相应的处理。

通信模块120可以为无线通信模块,该通信模块120可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,WLAN)、蓝牙(bluetooth,BT)、NFC等无线通信的解决方案。在本申请实施例中,电子设备可以通过无线保真(wirelessfidelity,Wi-Fi)无线子系统120A向移动设备发送图像、视频等数据、以及摄像头遮挡检测结果。

电子设备100可以通过扬声器130A、麦克风130B等实现音频功能。在本申请实施例中,扬声器130A、麦克风130B可用于与门内的用户进行通话。

指纹传感器140A用于采集指纹。在电子设备100为智能门锁时,可以利用采集的指纹特性实现指纹解锁。应理解,在本申请实施例中,电子设备100可以采集并保存至少一个用户的指纹信息。

触摸传感器140B,也称“触控面板”。触摸传感器140B可以设置于显示屏160,由触摸传感器140B与显示屏160组成触摸屏,也称“触控屏”。触摸传感器140B用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给MCU,以确定触摸事件类型。可以通过显示屏160提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器140B也可以设置于电子设备100的表面,与显示屏160所处的位置不同。

传感器模块140还可包括振动传感器B。振动传感器可以检测振动信号,并将检测到的振动信号传输给处理器110。处理器110后续可基于预先设置的敲门振动波形,与接收到的振动信号的比较,来确定是否为访客敲门的情形。预先设置的敲门振动波形可以预先存储在本地,也可存储在服务器上。可选地,在需要比较时,电子设备100可通过通信模块120从服务器上获取到敲门振动波形。

摄像头150用于采集图像或视频。示例性地,当被动式红外探测器(passiveinfrared detector,PIR)探测器190A探测到预设波长范围内的红外辐射时,PIR探测器190A向处理器110发送信号,进而处理器110通过摄像头采集画面。示例性地,当访客触发门铃/按压部件170时,门铃/按压部件170可向处理器110告知有触发事件,进而处理器110通过摄像头采集画面;比如,可采集触发门铃的用户的人脸信息等。

显示屏160可以用于显示数字界面,用户可在显示屏160的数字界面上输入数字生成密码。然后可通过数字密码打开门锁。显示屏160包括显示面板。本申请实施例中,显示屏160位于门的内侧,用户可以在家里通过显示屏了解门外的情况。

门铃/按压部件170可作为部件集成在电子设备内。可替换地,电子设备100也可不包括门铃/按压部件170,而是与门铃通信连接(比如,有线通信或无线通信)。其中,对门铃/按压部件的触摸,可以触发电子设备采集视觉信息。

多媒体子系统180可以包括摄像头以及猫眼功能,其中摄像头可以拍摄门的外部空间的视频数据或图像数据,猫眼功能用于实现将摄像头拍摄到的视频数据或图像数据显示在显示屏160上。

PIR探测器190A可以探测来自门的周围空间的红外辐射,并将探测结果发送至处理器110。示例性地,PIR探测器可以通过接收来自门的周围空间的红外辐射,来探测门的周围空间是否存在人。如果PIR探测器在门的周围空间内探测预设波长范围内的红外辐射时,例如,预设波长范围为人体发射红外辐射的波长范围,例如预设波长范围设置为5.6~15um,如果PIR探测器探测到波长为9um的红外辐射,说明PIR探测器探测到人。如果在门的周围空间内未探测预设波长范围内的红外辐射时,则门的周围空间不存在人。

TOF传感器190B可以用于检测门的周围空间的预设范围内是否检测到移动物体。

处理器110是整个电子设备的控制单元,本申请实施例中,处理器110可以根据采集到的参考图像以及待检测图像,分别提取纹理特征信息,并根据参考图像的纹理特征信息以及待检测图像的纹理特征信息,确定摄像头是否被遮挡。

可选的,处理器110还可以将摄像头遮挡检测结果发送给移动设备200。

可以理解的是,图2示意的结构并不构成对电子设备100的具体限定。在本申请的一些实施例中,电子设备100可以包括比图2所示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

示例的,移动设备200可以是手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端、增强现实(augmented reality,AR)终端、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等,本申请对智能设备以及移动设备所采用的具体技术和具体设备形态不作限定。示例性的,本申请实施例的移动设备包括但不限于搭载鸿蒙

示例性地,图3为本申请实施例提供的一种摄像头遮挡检测方法的流程图。该摄像头遮挡检测方法可以应用于图1或图2所示的电子设备100。如图3所示,该方法可包括如下步骤:

步骤301,电子设备获取摄像头采集的参考图像,该参考图像包括位于第一位置的目标对象。

示例性地,为便于描述,下面描述中以电子设备为智能门锁,摄像头为智能门锁上的猫眼摄像头为例对步骤301进行说明。

在用户首次安装智能门锁时,智能门锁上的猫眼摄像头可以拍摄门前初始的环境图像,参考图像可以为初始的环境图像,目标对象可以为门前的鞋柜、贴画、或者其它物品。

智能门锁还可以通过输出提示信息,引导用户进入猫眼摄像头的拍摄范围内,然后猫眼摄像头拍摄包括人脸的环境图像,参考图像为包括人脸的环境图像,目标对象可以为人脸。其中,提示信息可以为语音提示信息或文字信息。在其它一些实施例中,智能门锁也可以通过移动设备输出上述提示信息。

电子设备猫眼摄像头可以实时监测门外的情况,可以将最近拍摄到的包括人脸的环境图像作为参考图像。

电子设备的处理器获取到参考图像之后,可以对参考图像进行图像识别,以目标对象为人脸为例,处理器可以通过图像识别算法识别出参考图像中的人脸,并将人脸所在区域标记为感兴趣区域。

步骤302,处理器获取参考图像中目标对象所在区域的第一纹理特征信息。

在步骤302中的目标对象所在区域即为感兴趣区域,处理器对感兴趣区域进行特征提取,得到第一纹理特征信息,其中第一纹理特征信息包括但不限于以下至少一项:目标对象的位置信息、角二节矩(angular second moment,ASM)能量特征值、颜色直方图(colorhistogram,CH)特征值以及局部二值模式(local binary pattern,LBP)特征值,这些特征值可以保存在电子设备中。例如目标对象为人脸,目标对象的位置信息包括人脸在参考图像中的位置坐标。

其中,ASM能量为灰度共生矩阵每个元素的平方之和,也可以称为能量,可以反映的图像的灰度分布均匀程度以及纹理的粗细程度。如果灰度共生矩阵的元素分布比较集中,即特定空间关系下像素点对的灰度值对出现概率大,那么ASM能量特征值就比较大;如果灰度共生矩阵的元素分布比较均匀,那么得到的ASM能量特征值就比较小。

颜色直方图特征值可以用于描述图像中颜色的全局分布,即不同颜色在图像中所占的比例,不受图像旋转和平移变化的影响。

LBP特征值是描述图像局部纹理特征的算子。

步骤303,处理器获取摄像头采集的待检测图像。

示例的,智能门锁的猫眼摄像头可以实时采集门前的环境图像,也可以周期性采集门前的环境图像,智能门锁的猫眼摄像头采集的环境图像为待检测图像。

步骤304,处理器对待检测图像进行目标对象识别,并确定是否识别到目标对象;若识别到目标对象,则执行步骤305;若未识别到目标对象,则执行步骤306。

例如,目标对象为人脸,智能门锁的处理器可以对待检测图像进行人脸识别,如果待检测图像中存在人脸,则说明此刻猫眼摄像头并未被遮挡。

如果待检测图像中未检测到人脸,可能包括两种情况,一种情况为门前没有人,猫眼摄像头没有被遮挡,另一种情况,猫眼摄像头被遮挡,因为这两种情况的存在,所以需要继续通过步骤306判断是否遮挡。

步骤305,处理器对该待检测图像中包括的人脸所在区域进行特征提取,并将得到的特征信息替换为参考图像的第一纹理特征信息。

此处,处理器对该待检测图像中包括的人脸所在区域进行特征提取的具体实现方式可以参见针对步骤302的相关描述,此处不再赘述。

该步骤305可以实现包括人脸的待检测图像作为新的参考图像,也就是说,在步骤304中的待检测图像中识别到目标对象(例如人脸)的情况下,将步骤304中的待检测图像作为新的参考图像,该新的参考图像的第一纹理特征信息可以用于在执行至步骤307时与后续的不包括人脸的待检测图像的第二纹理特征信息进行比较,然后判断猫眼摄像头是否被遮挡。在步骤305之后,可以继续执行步骤303。如此,可以实现采用最新的包括人脸的待检测图像作为参考图像。这种情况下,步骤307中的第一纹理特征信息也就是最新的参考图像的第一纹理特征信息。

上述步骤305为可选的步骤,也就是说,若步骤304中未识别到目标对象,也可以不更新参考图像,即直接根据初始的参考图像以及实时采集的待检测图像进行遮挡检测。这种情况下,步骤307中的第一纹理特征信息为初始的参考图像的第一纹理特征信息。

步骤306,确定待检测图像中位于第一位置的区域的第二纹理特征信息。

该步骤306中的待检测图像不包括目标对象。

图4示出了参考图像和待检测图像的示意图,如图4中(a)所示的参考图像中目标对象为人脸(即粗实线401框出的区域),人脸在参考图像中的第一位置处,如图4中(b)所示,待检测图像的对应第一位置的区域(即虚线402框出的区域)。处理器对该待检测图像中位于第一位置的区域(即虚线402框出的区域)进行特征提取,得到第二纹理特征信息。

第二纹理特征信息包括但不限于以下至少一项:目标对象的位置信息、ASM能量特征值、颜色直方图特征值以及LBP特征值,这些特征值可以保存在电子设备中。

需要说明的是,第一纹理特征信息包括的内容与第二纹理特征信息包括的内容对应,也就是说,如果第一纹理特征信息包括参考图像的ASM能量特征值,例如记为ASM

步骤307,处理器根据第一纹理特征信息以及第二纹理特征信息,确定摄像头是否存在遮挡。

在步骤307之前,处理器还可以对参考图像中目标对象所在的区域进行边缘检测,例如采用拉普拉斯边缘检测算法对目标对象所在的区域进行边缘检测,计算边缘检测后图像的熵值。边缘检测以及计算熵值的步骤可以在步骤301之后的任一步骤进行,此处不做限制。可选的,边缘检测以及计算熵值的步骤也可以在步骤302或者步骤305中进行,即第一纹理特征信息还可以包括熵(entropy,ENT)值,熵值可以表示感兴趣区域的纹理信息的无序程度,熵值越大表示纹理越混乱。

上述步骤307可以通过以下两种可能的实施方式实现。

可能的实施方式A,若参考图像中目标对象所在的区域的熵值大于第一阈值,说明门前场景为复杂场景,则根据第一纹理特征信息以及第二纹理特征信息分别构建特征向量,然后根据两个特征向量之间的欧式距离确定摄像头是否存在遮挡。应理解,第一阈值可以根据实际需要进行设置,示例性地,例如第一阈值为1.8,此处对第一阈值的具体数值不作限制。

首先,根据第一纹理特征信息包括的参考图像的ASM能量特征值ASM

V

示例性地,构建三维的第一特征向量V

(1)计算参考图像的ASM能量特征相似度ASM

(2)计算参考图像的CH特征相似度CH

(3)计算参考图像的LBP特征相似度LBP

所以,上述公式(1)可以表示为:

V

之后,根据第二纹理特征信息包括的待检测图像的ASM能量特征值ASM

V

示例性地,构建三维的第二特征向量V

(1)计算待检测图像的ASM能量特征值与参考图像的ASM能量特征值之间的相似度ASM

ASM

(2)计算待检测图像的CH特征值与参考图像的CH特征值之间的相似度CH

在公式(5)中,m表示颜色直方图的维度的总数,i取遍1~m。max(CH

(3)计算待检测图像的LBP特征值与参考图像的LBP特征值之间的相似度LBP

在公式(6)中,m表示颜色直方图的维度的总数,i取遍1~m。max(LBP

所以,分别根据上述公式(4)、公式(5)以及公式(6)可以分别计算出CH

然后,确定参考图像对应的第一特征向量V

在公式(7)中i表示特征向量的维数,i可以取遍1~3中的任一整数。

当i取1时,V

需要说明的是,上述实施例中是以第一纹理特征信息包括的3个特征值构建三维的第一特征向量V

在计算得到第一特征向量V

本申请实施例中,根据PIR探测器的探测结果可以判断门外是否有人,若门外有人、且dis大于或等于第二阈值、且小于或等于第三阈值,则判断摄像头存在遮挡,若门外无人、且dis大于或等于第二阈值、且小于或等于第三阈值,则判断摄像头不存在遮挡。

应理解,上述第二阈值以及第三阈值可以根据实际需要进行设置,示例性地,例如第二阈值为0.6,第三阈值为0.8,此处对第二阈值以及第三阈值的具体数值不作限制。

下面介绍根据PIR探测器的探测结果判断门外是否有人的实现方式。

若PIR探测器在门的周围空间内探测预设波长范围内的红外辐射时,预设波长范围可以设置为人体发射红外辐射的波长范围,例如预设波长范围设置为5.6~15um,说明门的周围空间有人,示例性的,PIR探测器探测到波长为9um的红外辐射,说明PIR探测器探测到人。若在门的周围空间内未探测预设波长范围内的红外辐射时,则门外不存在人。

可能的实施方式B,参考图像中目标对象所在的区域的熵值小于或等于第一阈值,说明门前场景为单一场景,根据第一纹理特征信息包括的ASM能量特征值ASM

Perc

若能量偏差小于第四阈值,则确定摄像头不存在遮挡;若能量偏差大于第五阈值,则确定摄像头存在遮挡;若能量偏差大于或等于第四阈值、且小于或等于第五阈值,则结合PIR探测器的探测结果判断门外是否有人,若门外有人,则判断摄像头存在遮挡,若门外无人,则判断摄像头不存在遮挡。此处,根据PIR探测器的探测结果判断门外是否有人的具体实现方式可以参见上述可能的实施方式A的相关内容,此处不再赘述。

应理解,上述第四阈值以及第五阈值可以根据实际需要进行设置,示例性地,例如第四阈值为0.7,第五阈值为1.3,本申请实施例对第四阈值以及第五阈值的具体数值不作限制。

以上实施例中,摄像头存在遮挡也可以理解为摄像头被遮挡,相应的,摄像头不存在遮挡也可以理解为摄像头未被遮挡。

通过上述两种实施方式,基于感兴趣区域的熵值确定门前场景为复杂场景或单一场景,场景覆盖完整,同时在不同的场景模式下,可以进一步增强后续提出的用来判断遮挡检测的特征区分度。而且,本申请实施例中,根据感兴趣区域的特征值进行遮挡检测,相较于通过比较两幅完整图像的相似度差异、或者是判断两幅图像的亮度变化给出最后的遮挡检测判断结果的方式来说,可以减少计算量。同时,本申请实施例中利用图像纹理特征的统计量计算门前环境复杂度,针对不同环境复杂度的场景,选取一些对光照变化不敏感的特征值,例如LBP算子、ASM能量特征值等特征并组合构造图像的特征向量,可以降低对光照变化的敏感度,进一步,结合智能门锁上PIR探测器的探测结果,辅助判断临界情况下(例如复杂场景中dis大于或等于第二阈值、且小于或等于第三阈值,又例如单一场景中能量偏差大于或等于第四阈值、且小于或等于第五阈值等)的遮挡情况,进一步提升遮挡检测准确率。

基于上述实施例,若上述步骤307中确定摄像头不存在遮挡,继续对摄像头实时采集的待检测图像进行摄像头遮挡检测,若上述步骤307中确定摄像头存在遮挡,电子设备还可以向移动设备发送告警消息,该告警消息用于提示用户摄像头被遮挡。如此,可以实现及时上报用户,保障摄像头的安全性。

以上实施例中,是以目标对象为人脸为例进行说明的,如果目标对象为其它物体,也可以适用于上述摄像头遮挡方案。

上述本申请提供的实施例中,从电子设备作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,终端可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。

基于以上实施例以及相同构思,本申请实施例还提供一种电子设备,用于执行上述方法实施例中电子设备所执行的步骤,相关特征的可参见上述方法实施例,在此不再赘述。

请参见图5,该电子设备500包括:一个或多个处理器501;一个或多个存储器502;一个或多个摄像头503;以及一个或多个计算机程序(图5中未示出),可选的,该电子设备还可以包括PIR探测器504;上述各器件可以通过一个或多个通信总线505连接。示例性地,该电子设备500可以为前述实施例中的智能门锁。

上述一个或多个摄像头503可以采集图像,PIR探测器504可以探测周围是否有人。

存储器502中存储有一个或多个计算机程序,该一个或多个计算机程序包括指令;处理器501调用存储器502中存储的指令,使得处理器501可以执行上述实施例中的摄像头遮挡检测方法。

其中,处理器501可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(random access memory,RAM)、闪存、只读存储器(read-only memory,ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的指令,结合其硬件完成上述方法的步骤。

在本申请实施例中,存储器502可以是非易失性存储器,比如硬盘(hard diskdrive,HDD)或固态硬盘(solid-state drive,SSD)等,还可以是易失性存储器(volatilememory),例如RAM。存储器还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储指令和/或数据。

装置的具体实现方式的相关特征可以参照上文的方法部分,此处不再赘述。

基于相同的技术构思,本申请实施例还提供一种芯片,所述芯片与设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现本申请实施例上述方法。

基于相同的技术构思,本申请实施例还提供一种计算机存储介质,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行本申请实施例上述方法。

基于相同的技术构思,本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括指令,当所述指令被执行时,使得计算机执行实现本申请实施例上述方法。

本申请的各个实施例可以单独使用,也可以相互结合使用,以实现不同的技术效果。

以上所述,以上实施例仅用以对本申请的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本申请实施例的方法,不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换,都应涵盖在本申请实施例的保护范围之内。

上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请的技术方案的目的。

以上所述,仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式,可想到变化或替换,都应涵盖在本申请的保护范围之内。

相关技术
  • 用于充气车辆轮胎、优选地用于充气车辆轮胎的带束箍带层的加强层
  • 用于充气轮胎的改进的隔音泡沫型材
  • 用于充气轮胎的改进的隔音泡沫型材
技术分类

06120116516018