掌桥专利:专业的专利平台
掌桥专利
首页

基于图像识别的监管方法、相关设备及存储介质

文献发布时间:2023-06-19 11:44:10


基于图像识别的监管方法、相关设备及存储介质

技术领域

本申请涉及图像检测技术领域,应用于智慧城市领域,尤其涉及一种基于图像识别的监管方法、相关设备及存储介质。

背景技术

目前,针对待监管对象(例如餐企、学校等)的传统监管中,通常步骤繁琐、耗时长。其中,关于监管的重要环节一般是在线下进行,例如,需要监管人员到现场进行检查以确定待监管对象是否有违规行为。以监管餐企的违规情况为例,通常是委派监管人员到待监管的餐企进行线下的卫生检查,或是通过消费者的投诉,从而得知相应餐企是否出现违规操作,并基于人为的检查结果对相应餐企提出整改指示等。可见,现有监管方式无法及时发现待监管对象的违规操作,监管处理效率低。因此,如何提高监管处理效率成为了一个亟待解决的问题。

发明内容

本申请实施例提供了一种基于图像识别的监管方法、相关设备及存储介质,可以有效地提高监管处理效率。

一方面,本申请实施例提出了一种基于图像识别的监管方法,所述方法应用于监管系统中监管平台对应的监管服务器,所述监管系统中还包括部署在待监管对象的监管区域中的监测设备和所述监管平台,所述监测设备用于采集所述监管区域的环境图像,所述方法包括:

获取所述监测设备采集到的所述环境图像;

对所述环境图像进行预处理,得到所述环境图像对应的目标图像;所述预处理包括灰度化处理和标准化处理;

对所述目标图像进行矩阵转换处理得到目标矩阵,并确定所述目标矩阵和各异常矩阵之间的匹配度;所述各异常矩阵是通过对各异常场景对应异常图像进行矩阵转换处理得到的;

基于所述匹配度确定所述监管区域的环境异常类型;

获取所述待监管对象的对象信息,依照所述对象信息和所述环境异常类型生成异常处理信息;所述对象信息包括所述待监管对象的位置信息;

依照所述位置信息确定所述待监管对象所属的目标网格,并将所述异常处理信息发送至所述监管平台和所述目标网格对应的环境监管设备。

一方面,本申请实施例提供了一种基于图像识别的监管装置,所述装置配置于监管系统中监管平台对应的监管服务器,所述监管系统中还包括部署在待监管对象的监管区域中的监测设备和所述监管平台,所述监测设备用于采集所述监管区域的环境图像,所述装置包括:

获取模块,用于获取所述监测设备采集到的所述环境图像;

处理模块,用于对所述环境图像进行预处理,得到所述环境图像对应的目标图像;所述预处理包括灰度化处理和标准化处理;

所述处理模块,还用于对所述目标图像进行矩阵转换处理得到目标矩阵,并确定所述目标矩阵和各异常矩阵之间的匹配度;所述各异常矩阵是通过对各异常场景对应异常图像进行矩阵转换处理得到的;

确定模块,用于基于所述匹配度确定所述监管区域的环境异常类型;

所述处理模块,还用于获取所述待监管对象的对象信息,依照所述对象信息和所述环境异常类型生成异常处理信息;所述对象信息包括所述待监管对象的位置信息;

发送模块,用于依照所述位置信息确定所述待监管对象所属的目标网格,并将所述异常处理信息发送至所述监管平台和所述目标网格对应的环境监管设备。

一方面,本申请实施例提供了一种监管服务器,所述监管服务器包括处理器和存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述方法中的部分或全部步骤。

一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,用于执行上述方法中的部分或全部步骤。

本申请实施例中,监管服务器获取监测设备采集到的环境图像,并对环境图像进行预处理,得到环境图像对应的目标图像,对目标图像进行矩阵转换处理得到目标矩阵,并确定目标矩阵和各异常矩阵之间的匹配度,基于匹配度确定监管区域的环境异常类型,获取待监管对象的对象信息,依照对象信息和环境异常类型生成异常处理信息,并依照位置信息确定待监管对象所属的目标网格,将异常处理信息发送至监管平台和目标网格对应的环境监管设备。通过实施上述方案,可以通过对待监管对象的环境图像进行异常识别来实现线上的智能监管,有利于提高监管处理效率。

附图说明

为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1a为本申请实施例提供的一种监管系统的结构示意图;

图1b为本申请实施例提供的另一种监管系统的结构示意图;

图2为本申请实施例提供的一种基于图像识别的监管方法的流程示意图;

图3为本申请实施例提供的一种确定目标矩阵的场景示意图;

图4为本申请实施例提供的一种确定匹配度的场景示意图;

图5为本申请实施例提供的另一种基于图像识别的监管方法的流程示意图;

图6a为本申请实施例提供的另一种确定目标矩阵的场景示意图;

图6b为本申请实施例提供的又一种确定目标矩阵的场景示意图;

图7为本申请实施例提供的一种处理异常的场景示意图;

图8为本申请实施例提供的另一种处理异常的场景示意图;

图9为本申请实施例提供的一种基于图像识别的监管装置的结构示意图;

图10为本申请实施例提供的一种监管服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

为了能够更好地进行对待监管对象的监管,本申请实施例提出了一种监管系统以及在该系统的基础上执行的基于图像识别的监管方案,以实现监管的智能化,以及有效地提高监管处理效率。请参见图1a所示,本申请实施例提出的监管系统可包括部署在待监管对象的监管区域中的监测设备、监管平台,以及监管平台对应的监管服务器。其中,监测设备可用于采集监管区域的环境图像,监管服务器可用于对采集到的环境图像进行异常识别以确定监管区域的环境异常类型,监管平台用于根据异常处理信息对待监管对象的异常进行处理。

具体地,监管服务器获取到环境图像时,对该图像进行预处理,得到对应的目标图像,并根据目标图像和预设异常场景对应异常图像的匹配度确定监管区域的异常环境类型,以及根据待监管对象的对象信息,依照该信息和环境异常类型生成异常处理信息,并将该异常处理信息发送至监管平台,以使得监管人员通过监管平台对待监管对象的异常进行处理。其中,监测设备可以包括用于拍摄监管区域的图像或视频的摄像设备,监管服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。可选的,可以将异常场景对应异常图像、由异常图像得到的异常矩阵等信息写入区块链中,以便于监管服务器可以在区块链上获取所需信息。

此外,请参见图1b,在图1a的基础上,上述监管系统还可以包括环境监管设备,监管服务器获得的待监管对象的对象信息包括位置信息,监管服务器在生成异常处理信息的时候,根据该位置信息确定待监管对象所属的目标网格,并将该异常处理信息发送至目标网格对应的环境监管设备,以使得监管人员通过环境监管设备对待监管对象的异常进行处理。其中,环境监管设备可以是终端设备,终端设备可以包括智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。环境监管设备以及监管服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。

需要说明的是,图1a和图1b只是示例性地表征本申请实施例所提出的监管系统的系统架构,并不对该监管系统的具体架构进行限定。为了便于阐述,除非特别指明,后续所提及的基于图像识别的监管方法均以图1b所示的监管系统为例进行说明。

可以理解的是,本申请实施例提出的监管系统,可以应用于智慧城市或智慧餐饮领域,该系统可以应用于任何需要进行监管的场景,以执行本申请实施例的技术方案。其中,可应用的场景可以是餐企卫生情况的监管场景、或者学校老师、学生违规行为的监管场景等等,此处对应用场景不作限制。为了便于阐述,除非特别指明,后续所提及的基于图像识别的监管方法均已对餐饮卫生情况的监管为例进行说明。

基于上述的描述,本申请实施例提出一种基于图像识别的监管方法,该方法应用于监管系统中监管平台对应的监管服务器,由前述可知,该监管系统还包括部署在待监管对象的监管区域中的监测设备和监管平台。如图2所示,本申请实施例中的基于图像识别的监管方法的流程可以包括:

S201、获取监测设备采集到的环境图像。

在一个实施例中,监测设备将监测待监管对象的监管区域,并采集监管区域当前的环境图像,并将采集到的环境图像发送至监管服务器。其中,监测设备预先部署于待监管对象的监管区域,待监管对象可以是需要被监管的餐企,监管区域可以是餐企中需要被监管的区域,例如,餐企后厨区域、餐企排放污水的区域,或者放置餐厨垃圾的区域等等。监管服务器可以对多个待监管对象进行监管,以及监测设备可以部署在待监管对象的多个区域。

可选的,监测设备可以实时或周期性地对待监管对象的监管区域进行监测。进一步可选的,监测设备可以通过监管平台下发的监管任务对待监管对象进行监测。其中,监管任务可以是规定监测时间,还可以是由监管人员下达的针对一个或多个待监管对象的监测请求。例如,待监管对象为目标餐企,监管任务为规定12:00-14:00、17:00-20:00、22:00-01:00这些时间段内对该目标餐企进行监测,则监测设备会在这些时间段对目标餐企的监管区域进行监测,或者,监测任务为监管人员下达针对目标餐企的监测请求时,监测设备对目标餐企的监管区域进行监测。

在一个实施例中,当有多个待监管对象时,可以是在监测时间内监测设备同时对该多个待监管对象进行监测,具体可以是监测设备依照预设时间间隔(例如1分钟)采集监管区域当前的环境图像;也可以是在监测时间内轮流对多个待监管对象进行监测,具体可以是监测设备可以在预设时长(例如5分钟)内依照预设时间间隔(例如1分钟)采集监管区域当前的环境图像。

S202、对环境图像进行预处理,得到环境图像对应的目标图像;其中,预处理包括灰度化处理和标准化处理。

在一个实施例中,由于监管服务器会接收到不同格式或不同尺寸的环境图像,例如格式为bmp、jpg,或png的环境图像,因此需要对环境图像进行标准化处理,即对接收到环境图像进行标准化处理,得到为指定格式和指定尺寸的环境图像。例如,标准化处理为:得到指定格式为jpg格式、指定尺寸为8x8尺寸的目标图像,此时目标图像为64个像素点。

在一个实施例中,为了降低图像色彩差异的影响,以及为了在不减少图像特征信息的基础上有效降低图像包含的特征维度,并且为了便于后续的异常识别步骤,可以对环境图像进行灰度化处理,通过对灰度化处理后的图像进行识别可以提高效率和准确性。

在一个实施例中,监管服务器可以先对环境图像进行灰度化处理,再进行标准化处理,也可以是先进行标准化处理,再进行灰度化处理,本申请实施例对灰度化处理和标准化处理的先后顺序不作限制。可以理解的是,当进行完灰度化处理和标准化处理后,则表示由环境图像得到对应的目标图像。进一步的,在得到目标图像之后,还可以采用直方图均衡化的方法对目标图像进行处理,可以使得目标图像的特征更明显。

S203、对目标图像进行矩阵转换处理得到目标矩阵,并确定目标矩阵和各异常矩阵之间的匹配度;其中,各异常矩阵是通过对各异常场景对应异常图像进行矩阵转换处理得到的。

在一个实施例中,监管服务器对目标图像进行矩阵转换处理得到目标矩阵的具体实施方式可以是,假设目标图像中各像素点的任一像素点为目标像素点,根据目标图像中各像素点的灰度值得到灰度均值,若目标像素点的灰度值大于或等于灰度均值,则将目标像素点的标记值确定为第一标记值,若目标像素点的灰度值小于灰度均值,则将目标像素点的标记值确定为第二标记值,并根据各像素点的标记值得到目标图像的目标矩阵。可以理解的是,当目标图像的指定尺寸为NxM时,可以得到NxM个像素点,进而可以得到NxM的目标矩阵。

示例性的,如图3所示,矩阵1中各个数值表示尺寸为8x8的目标图像中各个像素点对应灰度值,通过计算各个像素点对应灰度值的平均值得到灰度均值,假设第一标记值为1、第二标记值为0,从而可以得到8x8的0-1矩阵2,即目标矩阵。

在一个实施例中,可以针对监管区域可能出现的异常情况预设异常场景,以及预设异常场景对应的异常图像。可选的,一个监管区域可以有多个异常场景,一个异常场景可以有多张异常图像,以及一个异常场景对应一种异常类型。其中,对于异常场景的选择,以应用于餐饮为例,监管区域为放置餐厨垃圾的区域,则异常场景可以为餐厨垃圾堆积等,或者,监管区域为后厨区域,则异常场景可以为未清理隔油池等。

可选的,可以通过对异常场景对应的异常图像进行同目标矩阵的矩阵转换处理得到异常矩阵。可以理解的是,一张异常图像得到一个异常矩阵,以及异常图像与目标图像的图像格式以及图像尺寸是相同的。

在一个实施例中,可以通过确定目标矩阵和各异常矩阵的匹配度近似确定目标图像和各异常图像的匹配度,进而可确定目标图像是否涉及各异常场景中的任一异常场景。确定目标矩阵和各异常矩阵之间的匹配度的具体实施方式可以是,根据目标矩阵和目标异常矩阵中各个元素的数值,确定目标矩阵和目标异常矩阵之间的匹配度。其中,目标异常矩阵为各异常矩阵中任一异常矩阵。具体的,可以通过目标矩阵和目标异常矩阵中相同位置对应元素的数值不相同的位数占比来确定匹配度,即匹配度=1-不相同的位数/总位数。例如,如图4所示,目标矩阵和目标异常矩阵是8x8的矩阵,即有64个元素(即64个总位数),其中,不相同的位数有4位,则匹配度=1-4/64=93.75%。

S204、基于匹配度确定监管区域的环境异常类型。

在一个实施例中,若目标矩阵和目标异常矩阵之间的匹配度高于预设匹配阈值,则确定监管区域存在异常,且该监管区域的环境异常类型为目标异常矩阵对应异常场景的异常类型。该目标异常矩阵为各异常矩阵中的任一异常矩阵。其中,该预设匹配阈值可以是技术人员预先通过对环境图像的异常识别进行大量测试得到的最佳匹配阈值。

S205、获取待监管对象的对象信息,依照对象信息和环境异常类型生成异常处理信息;其中,对象信息包括待监管对象的位置信息。

其中,对象信息可以包括待监管对象的名称、位置信息,以及联系人信息等。

在一个实施例中,监管服务器预先会存储待监管对象的对象信息,当确定了待监管对象的环境异常类型后,会根据对象信息和环境异常类型生成异常处理信息。其中,异常处理信息可以包括待监管对象的对象信息、环境异常类型相关内容、发生异常的时间、对应的处理措施,以及异常处理期限等。

S206、依照位置信息确定待监管对象所属的目标网格,并将异常处理信息发送至监管平台和目标网格对应的环境监管设备。

在一个实施例中,监管服务器依照位置信息确定待监管对象所述的目标网格,并将异常处理信息发送至监管平台和目标网格对应的环境监管设备。其中,网格可以是按照国家指定的区域划分的,例如XX市XX区。进一步的,还可以是按照国家指定的区域的下一级划分的,例如XX市XX区XX街道。一个网格可以包含一个或多个待监管对象。

在一个实施例中,一个网格可分配一个或多个监管人员,一个监管人员对应一个环境监管设备,当环境监管设备接收到异常处理信息时,可及时对待监管对象的异常进行处理。其中,当目标网格分配了多个监管人员,即监管服务器匹配到的目标网格对应的环境监管设备有多个时,可以根据该多个环境监管设备的位置信息选择距离待监管对象所在位置最近的环境监管设备。

本申请实施例中,监管服务器获取监测设备采集到的环境图像,并对环境图像进行预处理,得到环境图像对应的目标图像,对目标图像进行矩阵转换处理得到目标矩阵,并确定目标矩阵和各异常矩阵之间的匹配度,基于匹配度确定监管区域的环境异常类型,并获取待监管对象的对象信息,依照对象信息和环境异常类型生成异常处理信息,依照位置信息确定待监管对象所属的目标网格,并将异常处理信息发送至监管平台和目标网格对应的环境监管设备。通过实施上述方法,可以有效地提高监管处理效率。

图5为本申请实施例提出的一种基于图像识别的监管方法,该方法应用于监管系统中监管平台对应的监管服务器,由前述可知,该监管系统还包括部署在待监管对象的监管区域中的监测设备和监管平台。如图5所示,本申请实施例中的基于图像识别的监管方法的流程可以包括:

S501、获取监测设备采集到的环境图像。

S502、对环境图像进行预处理,得到环境图像对应的目标图像;其中,预处理包括灰度化处理和标准化处理。其中步骤S501-S502的具体实施方式可以参见上述实施例中的步骤S201-S202的相关描述。

可选的,在一个实施例中,预处理包括灰度化处理,对环境图像进行预处理得到目标图像之后,还可以计算目标图像的灰度数据,并根据灰度数据判断监测设备是否存在设备异常。具体的,灰度数据可包括以下任一种或多种:灰度均值、灰度方差,和灰度梯度,当灰度数据满足异常条件时,则确定监测设备存在设备异常,并生成关于监测设备的设备异常提示信息,并将设备异常提示信息发送至监管平台,该设备异常提示信息用于提示监管人员待监管对象的监管区域所部署的监测设备存在设备异常。

可选的,若灰度数据包括灰度均值,则对应的异常条件为灰度均值与预设均值的差值大于指定范围。例如,预设均值为128,指定范围为(-30,30),若灰度均值为120,则差值为-8,在指定范围内,即不满足异常条件;或者,若灰度均值为160,则差值为32,大于指定范围,即满足异常条件。

可选的,若灰度数据包括灰度方差,则对应的异常条件为灰度方差小于预设方差阈值。例如,预设方差阈值为30,若灰度方差为28,则满足异常条件。

可选的,若灰度数据包括灰度梯度,则对应的异常条件为灰度梯度小于预设梯度阈值。例如,预设梯度阈值为50,若灰度梯度为45,则满足异常条件。上述预设均值、预设方差阈值和预设梯度阈值可根据经验进行设定。

示例性的,当监管人员登陆监管平台,则可查看到该设备异常提示信息,如提示“XX餐企的XX区域所部署的监测设备存在设备异常,异常时间为XX月:XX日,地点为XX区XX街道XX号”,监管人员查看到该提示信息后可通知维修人员进行设备维修。

可选的,可以是每次对待监管对象进行监测时获取一张或多张目标图像进行设备异常的检查,也可以是在预设时间点获取一张或多张待监管对象的目标图像进行设备异常的检查,例如每两周进行一次设备异常的检查。

S503、对目标图像进行矩阵转换处理得到目标矩阵,以及对各异常场景对应异常图像进行矩阵转换处理得到各异常场景的异常矩阵。

在一个实施例中,监管服务器对目标图像进行矩阵转换处理得到目标矩阵的具体实施方式可以是,假设目标图像中各像素点的任一像素点为目标像素点,计算目标像素点与周围领域的像素点的灰度值差值,d

示例性的,如图6a所示,矩阵1中各个数值表示尺寸为8x8的目标图像中各个像素点对应灰度值,以A点为例,计算A点与周围领域的像素点的灰度值差值,即大于0部分的和d

可选的,在得到目标矩阵之后,由于目标矩阵的阶数较多,可以对目标矩阵进行降阶处理。可选的,可以通过对异常场景对应的异常图像进行同目标矩阵的矩阵转换处理得到异常矩阵。

S504、利用距离公式计算目标矩阵和待匹配矩阵之间的矩阵距离;其中,待匹配矩阵为各异常场景的异常矩阵中的任一异常场景的异常矩阵。

在一个实施例中,距离公式可以是欧式距离公式,则计算目标矩阵和待匹配矩阵之间的矩阵距离具体实施方式可以是:

假设目标矩阵A=(a

在一个实施例中,距离公式还可以是曼哈顿距离公式,则计算目标矩阵和待匹配矩阵之间的矩阵距离具体实施方式可以是:

假设目标矩阵A=(a

S505、若目标矩阵与待匹配矩阵之间的矩阵距离小于或等于预设距离阈值,则确定监管区域的环境异常类型。

在一个实施例中,若目标矩阵与待匹配矩阵之间的矩阵距离小于或等于预设距离阈值,则确定监管区域存在异常,且该监管区域的环境异常类型为待匹配矩阵对应异常场景的异常类型。其中,该预设匹配阈值可以是技术人员预先通过对环境图像的异常识别进行大量测试得到的最佳距离阈值。

S506、获取待监管对象的对象信息,依照对象信息和环境异常类型生成异常处理信息;其中,对象信息包括待监管对象的位置信息。其中步骤S506的具体实施方式可以参见上述实施例中的步骤S205的相关描述。

S507、依照位置信息确定待监管对象所属的目标网格,并将异常处理信息发送至监管平台和目标网格对应的环境监管设备。

在一个实施例中,监管服务器在生成异常处理信息之后,还可以生成异常处理审批单并发送至监管平台,监管平台对应第一监管人员根据异常处理信息对待监管对象的异常进行处理并填写异常处理审批单,具体可以是第一监管人员通过监管平台向环境监管设备对应的第二监管人员发送检查指示,也可以是下达针对该待监管对象的监测请求,监管服务器接收到监测请求后指示监测设备对发生异常的监管区域进行监测,第一监管人员可实时查看到该监管区域的图像或视频。若第一监管人员确认异常已解除,则在异常处理审批单填写异常处理情况,若第一监管人员确认异常未解除,则可以下发针对待监管对象的异常整改通知,异常整改通知包括针对待监管对象的异常整改措施和整改期限。

例如,如图7所示,第一监管人员可以在监管平台的监管任务中查看到待监管对象的异常处理信息,点击异常处理信息可以查看到识别出有异常的目标图像、相关的异常内容和待监管对象的对象信息,以及可以查看审批单,下方的检查方式表示可选择指示第二监管人员对待监管对象进行检查,或选择通过监测设备进行检查,点击通知按钮可以下发或查看异常整改通知。

在一个实施例中,环境监管设备可以是移动终端,环境监管设备对应的第二监管人员可根据异常处理信息对待监管对象的异常进行处理,具体可以是,第二监管人员在接收到异常处理信息时,对待监管对象进行检查,或者,在接收到监管平台发送的针对待监管对象的检查指示时,对待监管对象进行检查,若第一监管人员确认待监管对象的异常已解除,则发送针对待监管对象的异常解除通知至监管平台,第一监管人员接收到异常解除通知时在异常处理审批单填写异常处理情况,若待监管对象确认待监管对象的异常未解除,第一监管人员可以下发针对待监管对象的异常整改通知。例如,如图8所示,第二监管人员可以在环境监管设备的监管界面查看到待监管对象的异常处理信息,点击异常处理信息可以查看到识别出有异常的目标图像、相关的异常内容和待监管对象的对象信息,以及当对待监管对象进行检查时,将异常已/未解除通知发送至监管平台。

可选的,在整改期限到达时,若确认异常已解除,则第一监管人员在异常处理审批单填写异常处理情况,并将审批结果进行公示,若确认异常仍未解除,可生成待监管对象的异常信息并发送给待监管对象关联的监管部门(例如卫生管理局等)。

可选的,监管服务器可以统计待监管对象在不同时间段内出现异常的次数,以及每次出现异常时的环境异常类型,以确定各待监管对象的监管评分,并依照该监管平台动态调整针对待监管对象的监管时间,以及将该监管评分发送至监管平台,监管人员可通过监管平台看到各待监管对象的监管评分。例如,待监管对象一个月内未有异常发生,则评分在90分以上,待监管对象对应的监管区域一周内未有异常发生,则评分在80-90分之间,待监管对象对应的监管区域一周内有三次异常发生,则评分在70-80分之间,以及,评分在90分以上的待监管对象只需在22:00-01:00时间段进行监测,评分在80-90分之间的待检测对象需在17:00-20:00、22:00-01:00时间段进行监测,评分在70-80之间的待监管对象需在12:00-14:00、17:00-20:00、22:00-01:00时间段进行监测。

本申请实施例中,监管服务器获取监测设备采集到的环境图像,对环境图像进行预处理,得到环境图像对应的目标图像,并对目标图像进行矩阵转换处理得到目标矩阵,以及对各异常场景对应异常图像进行矩阵转换处理得到各异常场景的异常矩阵,利用距离公式计算目标矩阵和待匹配矩阵之间的矩阵距离,若目标矩阵与待匹配矩阵之间的矩阵距离小于或等于预设距离阈值,则确定监管区域的环境异常类型,获取待监管对象的对象信息,依照对象信息和环境异常类型生成异常处理信息,并依照位置信息确定待监管对象所属的目标网格,并将异常处理信息发送至监管平台和目标网格对应的环境监管设备。通过实施上述方法,可以有效地提高监管处理效率。

请参见图9,为本申请提供的一种基于图像识别的监管装置的结构示意图,该装置配置于监管系统中监管平台对应的监管服务器,由前述可知,该监管系统还包括部署在待监管对象的监管区域中的监测设备和监管平台。该装置用于执行本申请图2和图5所示实施例的方法,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示,可参照本申请图2和图5所示的实施例。该基于图像识别的监管装置900可包括:获取模块901、处理模块902、确定模块903、发送模块904。

获取模块901,用于获取所述监测设备采集到的所述环境图像;

处理模块902,用于对所述环境图像进行预处理,得到所述环境图像对应的目标图像;所述预处理包括灰度化处理和标准化处理;

所述处理模块902,还用于对所述目标图像进行矩阵转换处理得到目标矩阵,并确定所述目标矩阵和各异常矩阵之间的匹配度;所述各异常矩阵是通过对各异常场景对应异常图像进行矩阵转换处理得到的;

确定模块903,用于基于所述匹配度确定所述监管区域的环境异常类型;

所述处理模块902,还用于获取所述待监管对象的对象信息,依照所述对象信息和所述环境异常类型生成异常处理信息;所述对象信息包括所述待监管对象的位置信息;

发送模块904,用于依照所述位置信息确定所述待监管对象所属的目标网格,并将所述异常处理信息发送至所述监管平台和所述目标网格对应的环境监管设备。

在一种可能的实施方式中,所述处理模块902在用于对所述目标图像进行矩阵转换处理得到目标矩阵时,具体用于:

根据所述目标图像中各像素点的灰度值得到灰度均值;

若目标像素点的灰度值大于或等于所述灰度均值,则将所述目标像素点的标记值确定为第一标记值;

若所述目标像素点的灰度值小于所述灰度均值,则将所述目标像素点的标记值确定为第二标记值;所述目标像素点为所述各像素点中的任一像素点;

根据所述各像素点的标记值得到所述目标图像的目标矩阵。

在一种可能的实施方式中,所述处理模块902在用于确定所述目标矩阵和各异常矩阵之间的匹配度时,具体用于:

根据所述目标矩阵和目标异常矩阵中各个元素的数值,确定所述目标矩阵和所述目标异常矩阵之间的匹配度;所述目标异常矩阵为所述各异常矩阵中的任一异常矩阵。

在一种可能的实施方式中,所述确定模块903在用于基于所述匹配度确定所述监管区域的环境异常类型时,具体用于:

若所述目标矩阵与所述目标异常矩阵之间的匹配度高于预设匹配阈值,则确定所述监管区域存在异常,且所述监管区域的环境异常类型为:所述目标异常矩阵对应异常场景的异常类型。

在一种可能的实施方式中,所述处理模块902在用于确定所述目标矩阵和各异常矩阵之间的匹配度时,具体用于:

利用距离公式计算所述目标矩阵和待匹配矩阵之间的矩阵距离;所述待匹配矩阵为所述各异常矩阵中的任一异常矩阵。

在一种可能的实施方式中,所述确定模块903在用于基于所述匹配度确定所述监管区域的环境异常类型时,具体用于:

若所述目标矩阵与所述待匹配矩阵之间的矩阵距离小于或等于预设距离阈值,则确定所述监管区域存在异常,且所述监管区域的环境异常类型为:所述待匹配矩阵对应异常场景的异常类型。

在一种可能的实施方式中,所述预处理包括灰度化处理,所述处理模块902在用于对所述环境图像进行预处理之后,还用于:

计算所述目标图像的灰度数据;所述灰度数据包括以下任一种或多种:灰度均值、灰度方差和灰度梯度;

若所述灰度数据满足异常条件时,则确定所述监测设备存在设备异常;

生成关于所述监测设备的设备异常提示信息,并将所述设备异常提示信息发送至所述监管平台。

在一种可能的实施方式中,若所述灰度数据包括灰度均值,则所述异常条件包括:所述灰度均值与预设均值的差值大于指定范围;若所述灰度数据包括灰度方差,则所述异常条件包括:所述灰度方差小于预设方差阈值;若所述灰度数据包括灰度梯度,则所述异常条件包括:所述灰度梯度小于预设梯度阈值。

本申请实施例中,获取模块获取监测设备采集到的环境图像,处理模块对环境图像进行预处理,得到环境图像对应的目标图像,处理模块对目标图像进行矩阵转换处理得到目标矩阵,并确定目标矩阵和各异常矩阵之间的匹配度,确定模块基于匹配度确定监管区域的环境异常类型,处理模块获取待监管对象的对象信息,依照对象信息和所述环境异常类型生成异常处理信息,发送模块依照位置信息确定待监管对象所属的目标网格,并将异常处理信息发送至监管平台和目标网格对应的环境监管设备。通过上述所提出的装置,可以有效地提高监管处理效率。

在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现,本申请不做限定。

请参见图10,为本申请实施例提供的一种监管服务器的结构示意图。如图10所示,该监管服务器1000包括:至少一个处理1001、存储器1002。可选的,该监管服务器还可包括网络接口1003。其中,所述处理器1001、存储器1002以及网络接口1003之间可以交互数据,网络接口1003受所述处理器1001的控制用于收发消息,存储器1002用于存储计算机程序,所述计算机程序包括程序指令,处理器1001用于执行存储器1002存储的程序指令。其中,处理器1001被配置用于调用所述程序指令执行上述方法。

所述存储器1002可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器1002也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;所述存储器1002还可以包括上述种类的存储器的组合。

所述处理器1001可以是中央处理器(central processing unit,CPU)。在一个实施例中,所述处理器1001还可以是图形处理器(Graphics Processing Unit,GPU)。所述处理器1001也可以是由CPU和GPU的组合。

在一个实施例中,所述存储器1002用于存储程序指令。所述处理器1001可以调用所述程序指令,执行以下步骤:

获取所述监测设备采集到的所述环境图像;

对所述环境图像进行预处理,得到所述环境图像对应的目标图像;所述预处理包括灰度化处理和标准化处理;

对所述目标图像进行矩阵转换处理得到目标矩阵,并确定所述目标矩阵和各异常矩阵之间的匹配度;所述各异常矩阵是通过对各异常场景对应异常图像进行矩阵转换处理得到的;

基于所述匹配度确定所述监管区域的环境异常类型;

获取所述待监管对象的对象信息,依照所述对象信息和所述环境异常类型生成异常处理信息;所述对象信息包括所述待监管对象的位置信息;

依照所述位置信息确定所述待监管对象所属的目标网格,并将所述异常处理信息发送至所述监管平台和所述目标网格对应的环境监管设备。

在一种可能的实施方式中,所述处理器1001在用于对所述目标图像进行矩阵转换处理得到目标矩阵时,具体用于:

根据所述目标图像中各像素点的灰度值得到灰度均值;

若目标像素点的灰度值大于或等于所述灰度均值,则将所述目标像素点的标记值确定为第一标记值;

若所述目标像素点的灰度值小于所述灰度均值,则将所述目标像素点的标记值确定为第二标记值;所述目标像素点为所述各像素点中的任一像素点;

根据所述各像素点的标记值得到所述目标图像的目标矩阵。

在一种可能的实施方式中,所述处理器1001在用于确定所述目标矩阵和各异常矩阵之间的匹配度,基于所述匹配度确定所述监管区域的环境异常类型时,具体用于:

根据所述目标矩阵和目标异常矩阵中各个元素的数值,确定所述目标矩阵和所述目标异常矩阵之间的匹配度;所述目标异常矩阵为所述各异常矩阵中的任一异常矩阵;

若所述目标矩阵与所述目标异常矩阵之间的匹配度高于预设匹配阈值,则确定所述监管区域存在异常,且所述监管区域的环境异常类型为:所述目标异常矩阵对应异常场景的异常类型。

在一种可能的实施方式中,所述处理器1001在用于确定所述目标矩阵和各异常矩阵之间的匹配度,基于所述匹配度确定所述监管区域的环境异常类型时,具体用于:

利用距离公式计算所述目标矩阵和待匹配矩阵之间的矩阵距离;所述待匹配矩阵为所述各异常矩阵中的任一异常矩阵;

若所述目标矩阵与所述待匹配矩阵之间的矩阵距离小于或等于预设距离阈值,则确定所述监管区域存在异常,且所述监管区域的环境异常类型为:所述待匹配矩阵对应异常场景的异常类型。

在一种可能的实施方式中,所述预处理包括灰度化处理,所述处理器1001在用于对所述环境图像进行预处理之后,还用于:

计算所述目标图像的灰度数据;所述灰度数据包括以下任一种或多种:灰度均值、灰度方差和灰度梯度;

若所述灰度数据满足异常条件时,则确定所述监测设备存在设备异常;

生成关于所述监测设备的设备异常提示信息,并将所述设备异常提示信息发送至所述监管平台。

在一种可能的实施方式中,若所述灰度数据包括灰度均值,则所述异常条件包括:所述灰度均值与预设均值的差值大于指定范围;

若所述灰度数据包括灰度方差,则所述异常条件包括:所述灰度方差小于预设方差阈值;

若所述灰度数据包括灰度梯度,则所述异常条件包括:所述灰度梯度小于预设梯度阈值。

具体实现中,本申请实施例中所描述的装置、处理器1001、存储器1002等可执行上述方法实施例所描述的实现方式,也可执行本申请实施例所描述的实现方式,在此不再赘述。

本申请实施例中还提供一种计算机(可读)存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,可执行上述方法实施例中所执行的部分或全部步骤。可选的,该计算机存储介质可以是易失性的,也可以是非易失性的。所述的计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。

在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

其中,本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机存储介质中,该计算机存储介质可以为计算机可读存储介质,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于本申请所涵盖的范围。

相关技术
  • 基于图像识别的监管方法、相关设备及存储介质
  • 基于生物特征识别的定点医药机构的监管方法及相关设备
技术分类

06120113033810