掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法及装置、计算机设备和存储介质

文献发布时间:2023-06-19 12:02:28


图像处理方法及装置、计算机设备和存储介质

技术领域

本公开涉及计算机技术领域,具体而言,涉及一种图像处理方法及装置、计算机设备和存储介质。

背景技术

目前,图像识别技术应用的越来越广泛,例如,应用在障碍物检测、行为识别、人脸识别等场景中,但是,现有的图像识别技术能够识别的数据维度较为单一,无法提供内容丰富的识别结果。

发明内容

本公开实施例至少提供一种图像处理方法及装置、计算机设备和存储介质。

第一方面,本公开实施例提供了一种图像处理方法,包括:

获取目标图像对应的目标应用;其中,所述目标图像中包括至少一个类型事件,所述目标应用包括所述目标图像对应的所有事件的事件处理通道,所述事件处理通道包括至少一个检测模型和/或事件判定逻辑;

利用所述目标应用对所述目标图像进行处理,得到所述目标图像对应的每个所述事件的事件信息。

这样,利用事件处理通道中的检测模型对目标图片进行处理,能够实现对目标图片的特征信息检测,事件判定逻辑能够用于对多个单独的特征信息进行逻辑组合,基于检测模型和/或事件判定逻辑,能够将目标图像中包括的具有逻辑关联的特征信息进行组合输出,提高了输出的事件信息的关联性和完整性。

在一种可能的实施方式中,所述利用所述目标应用对所述目标图像进行处理,得到所述目标图像对应的每个所述事件的事件信息,包括:

针对每个所述事件,在所述事件处理通道包括至少一个检测模型和事件判定逻辑的情况下,利用该事件对应的检测模型从所述目标图像中提取与该事件对应的目标特征信息;

基于所述目标特征信息和与该事件对应的事件判定逻辑,确定所述目标图像对应于该事件的事件信息。

这样,先利用检测模型提取事件对应的所有的目标特征信息,之后利用预设的事件判定逻辑对提取的目标特征信息进行逻辑关联,实现了对目标特征信息的有效关联和组合,提高了输出的事件信息的关联性和完整性。

在一种可能的实施方式中,在所述利用所述目标应用对所述目标图像进行处理之前,包括:

基于所述目标图像,从所述目标应用所包括的至少一个事件处理通道中,筛选出所述目标图像对应的至少一个事件的事件处理通道。

这样,能够选取到与目标图像相匹配的事件处理通道,继而,利用筛选出的事件处理通道能够较为准确地提取到目标特征信息。

在一种可能的实施方式中,所述利用该事件对应的检测模型从所述目标图像中提取与该事件对应的目标特征信息,包括:

在确定该事件对应的事件处理通道包括具有依赖关系的至少两个检测模型的情况下,基于所述至少两个检测模型之间的依赖关系,从所述目标图像中提取该事件对应的目标特征信息。

这样,基于检测模型之间的依赖关系提取目标特征信息,有利于对目标图像的信息的进一步提取,得到更加准确和全面的目标特征信息。

在一种可能的实施方式中,所述依赖关系包括依赖顺序,以及

所述基于所述至少两个检测模型之间的依赖关系,从所述目标图像中提取该事件对应的目标特征信息,包括:

将具有在先顺序的检测模型的输出结果作为具有在后顺序的检测模型的输入信息,将具有在后顺序的检测模型的输出结果作为从所述目标图像中提取出的该事件对应的目标特征信息。

这样,通过具有在后顺序的检测模型直接对具有在先顺序的检测模型的输出结果进行分析,可以实现对目标图像中的特征信息的进一步提取,有利于提高最终提取得到的目标特征信息的准确性和全面性,并且两个模型不用对目标图像进行重复分析,减少了图像分析的运算量。

在一种可能的实施方式中,所述方法还包括:

从所述目标图像对应的至少一个事件的事件处理通道中,确定具有组合关系的至少两个事件处理通道以及所述至少两个事件处理通道对应的通道判定逻辑;

基于所述至少两个事件处理通道输出的事件信息和所述通道判定逻辑,输出所述目标图像对应的事件信息。

这样,利用通道判定逻辑对具有组合关系的事件处理通道输出的事件信息进行逻辑组合,能够实现对目标图像对应的事件信息的充分挖掘,提高了确定的事件信息的全面性。

在一种可能的实施方式中,所述获取目标图像对应的目标应用,包括:

获取目标图像对应的场景信息;其中,所述场景信息中包括待检测的至少一个类型事件;

获取多个预设应用;其中,每个所述预设应用中包括至少一个所述事件处理通道;

利用所述场景信息,在多个所述预设应用中筛选与所述目标图像匹配的目标应用。

这样,基于场景信息筛选目标应用,可以实现筛选出来的目标应用是适用于目标场景包括的类型事件的,利用该目标应用能够提取到与目标图像相关联的事件的目标特征信息,有利于提高输出的事件信息的准确性。

在一种可能的实施方式中,所述利用所述场景信息,在多个所述预设应用中筛选与所述目标图像匹配的目标应用之后,包括:

获取所述目标图像采集设备的接入点位和所述目标图像中的感兴趣区域;

根据所述接入点位和所述感兴趣区域,确认所述目标应用在所述目标图像内的检测区域。

这样,能够确定出对目标图像进行检测的过程中需要重点检测的目标区域,即检测区域。

在一种可能的实施方式中,相应的,所述利用所述目标应用对所述目标图像进行处理,得到所述目标图像对应的每个所述事件的事件信息,包括:

利用所述目标应用所包括的至少一个事件处理通道对所述目标图像内的检测区域进行处理,得到所述目标图像对应的每个所述事件的事件信息。

这样,将确定的检测区域作为重点检测区域进行处理,能够提高在对目标图像进行处理的过程中的检测针对性,防止对重点检测区域中的特征信息的检测遗漏,提高了确定的目标特征信息的全面性,从而,提高了确定的事件信息的全面性。

第二方面,本公开实施例还提供一种图像处理装置,包括:

获取模块,用于获取目标图像对应的目标应用;其中,所述目标图像中包括至少一个类型事件,所述目标应用包括所述目标图像对应的所有事件的事件处理通道,所述事件处理通道包括至少一个检测模型和/或事件判定逻辑;

处理模块,用于利用所述目标应用对所述目标图像进行处理,得到所述目标图像对应的每个所述事件的事件信息。

在一种可能的实施方式中,所述处理模块,用于针对每个所述事件,在所述事件处理通道包括至少一个检测模型和事件判定逻辑的情况下,利用该事件对应的检测模型从所述目标图像中提取与该事件对应的目标特征信息;

基于所述目标特征信息和与该事件对应的事件判定逻辑,确定所述目标图像对应于该事件的事件信息。

在一种可能的实施方式中,所述处理模块,还用于在所述利用所述目标应用对所述目标图像进行处理之前,基于所述目标图像,从所述目标应用所包括的至少一个事件处理通道中,筛选出所述目标图像对应的至少一个事件的事件处理通道。

在一种可能的实施方式中,所述处理模块,用于在确定该事件对应的事件处理通道包括具有依赖关系的至少两个检测模型的情况下,基于所述至少两个检测模型之间的依赖关系,从所述目标图像中提取该事件对应的目标特征信息。

在一种可能的实施方式中,所述依赖关系包括依赖顺序,所述处理模块用于将具有在先顺序的检测模型的输出结果作为具有在后顺序的检测模型的输入信息,将具有在后顺序的检测模型的输出结果作为从所述目标图像中提取出的该事件对应的目标特征信息。

在一种可能的实施方式中,所述处理模块,还用于从所述目标图像对应的至少一个事件的事件处理通道中,确定具有组合关系的至少两个事件处理通道以及所述至少两个事件处理通道对应的通道判定逻辑;

基于所述至少两个事件处理通道输出的事件信息和所述通道判定逻辑,输出所述目标图像对应的事件信息。

在一种可能的实施方式中,所述获取模块,用于获取目标图像对应的场景信息;其中,所述场景信息中包括待检测的至少一个类型事件;

获取多个预设应用;其中,每个所述预设应用中包括至少一个所述事件处理通道;

利用所述场景信息,在多个所述预设应用中筛选与所述目标图像匹配的目标应用。

在一种可能的实施方式中,所述处理模块,用于所述获取模块利用所述场景信息,在多个所述预设应用中筛选与所述目标图像匹配的目标应用之后,获取所述目标图像采集设备的接入点位和所述目标图像中的感兴趣区域;

根据所述接入点位和所述感兴趣区域,确认所述目标应用在所述目标图像内的检测区域。

在一种可能的实施方式中,相应的,所述处理模块,用于利用所述目标应用所包括的至少一个事件处理通道对所述目标图像内的检测区域进行处理,得到所述目标图像对应的每个所述事件的事件信息。

第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。

第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。

关于上述图像处理装置、计算机设备、及计算机可读存储介质的效果描述参见上述图像处理方法的说明,这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种图像处理方法的流程图;

图2示出了本公开实施例所提供的一种输出事件信息的示意图;

图3示出了本公开实施例所提供的一种获取目标应用的方法的流程图;

图4示出了本公开实施例所提供的一种提取目标图像中的事件信息的示意图;

图5示出了本公开实施例所提供的一种图像处理装置的示意图;

图6示出了本公开实施例所提供的一种计算机设备结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

另外,本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

经研究发现,现有的图像识别技术中,只能根据对获取的图像进行单一维度的分析,独立地输出其中所包括的每一种维度的信息,导致无法提供内容丰富的识别结果。

基于上述研究,本公开提供了一种图像处理方法及装置、计算机设备和存储介质,利用事件处理通道中的检测模型对目标图片进行处理,能够实现对目标图片的特征信息检测,事件判定逻辑能够用于对多个单独的特征信息进行逻辑组合,基于检测模型和/或事件判定逻辑,能够将目标图像中包括的具有逻辑关联的特征信息进行组合输出,提高了输出的事件信息的关联性和完整性。

针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是,本公开实施例所包括的专有名词包括:

Applet:对一个或多个模型进行业务层包装的应用称为Applet,它获取模型的输入,执行具体模型,获取模型的结果,并提供最终用户所需的业务呈现;一个Applet会有一个或多个事件逻辑封装,一个Applet可以下发多个任务,每个任务可将Applet封装的事件全部输出。

事件信息:将对结构化信息进行有效关联和组合封装后输出的数据定义为事件信息;

结构化信息:在图像中具有一定的关联关系的特征信息。

为便于对本实施例进行理解,首先对本公开实施例所公开的一种图像处理方法进行详细介绍,本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面以执行主体为计算机设备为例对本公开实施例提供的图像处理方法加以说明。

如图1所示,为本公开实施例提供的一种图像处理方法的流程图,可以包括以下步骤:

S101:获取目标图像对应的目标应用,其中,目标图像中包括至少一个类型事件,目标应用包括目标图像对应的所有事件的事件处理通道,事件处理通道包括至少一个检测模型和/或事件判定逻辑。

这里,先对本公开实施例所涉及的图像处理方法的应用背景进行介绍,一个目标图像中可能包括多个预设对象和图像背景等信息,各个预设对象可能还会包括不同的特征信息,不同的预设对象之间也会具有一定的关联关系,通过将各个预设对象的关联关系和各个预设对象的特征信息以及图像背景等信息进行有效结合,才能完整地获取目标图像中包括的所有信息,也即,可以获取完整的至少一个类型事件。

例如,以人工的方式对目标图像进行分析,可以有效的将目标图像中所包括的各种信息进行关联,完整地获取目标图像中包括的所有信息,甚至可以实现对目标图像中的信息的下一步预测;现有的机器识别技术中,针对获取的任何一个目标图像,只能通过对获取的目标图像的分析处理,得到其中所包括的各个预设对象、各个对象的特征信息以及图像背景等,但无法根据不同的预设对象之间的关联关系,输出具有关联性的事件。例如,无法输出某个预设对象在某场景下做了什么事情,导致无法完整反映出目标图像中所包括的信息,降低了输出的信息的完整性和关联性。

基于此,本公开实施例提供了以一种图像处理方法,以提高输出的事件信息的关联性和完整性。

具体实施时,目标应用为用于对目标图像进行解析并输出事件信息的应用。一个类型事件可以对应于至少一个事件处理通道,事件处理通道用于提取目标图像中包括的至少一个类型事件,检测模型用于提取目标图像中的目标特征信息,不同的检测模型用于提取不同的目标特征信息。事件判定逻辑用于对提取的目标特征信息进行关联组合。目标图像可以为利用设置在采集位置的目标图像采集设备采集得到的。

其中,目标特征信息可以包括以下至少一项:对象类型、对象属性、事件类型、事件状态、事件位置、目标图像的图像属性。例如,对象类型可以是目标图像中包括的人脸、人体,机动车、非机动车、骑手等;对象属性可以是目标图像中包括的人体、物体(非人体)、对象性别等;事件类型可以是预先定义的一种类型事件,如厨房里有没有戴口罩等;事件状态可以是目标图像中包括的事件的进行状态,如事件处于开始状态、事件处于进行中状态、事件处于结束状态等;事件位置可以是目标图像中事件的发生地点或目标图像的采集位置等;目标图像的图像属性可以是目标图像的拍摄时间或目标图像对应的目标图像采集设备信息等。

在一种实施方式中,目标应用可以是封装多个事件处理通道的Applet,目标图像可以是由视频流或图片流组成的视频源。

S102:利用目标应用对目标图像进行处理,得到目标图像对应的每个事件的事件信息。

本步骤中,在获取到目标应用之后,目标应用可以下发对目标图像进行事件解析的任务指令,之后,调用目标应用中事件处理通道,事件处理通道可以基于该任务指令,对目标图像进行处理,以得到目标图像对应的每个事件的事件信息。

具体实施时,针对每一个事件处理通道,可以利用该通道中的检测模型对目标图像进行检测,得到由目标特征信息组成的检测结果,然后基于得到的检测结果,直接输出目标图像中的所有事件信息。

或者,在确定目标图像的检测结果之后,利用得到检测结果的检测模型对应的事件处理通道中的事件判定逻辑,对检测结果进行逻辑判定,得到具有逻辑关系的事件信息。

进而,可以基于调用的每个事件处理通道输出事件信息,得到目标图像对应的每个事件的事件信息。

这样,利用事件处理通道中的检测模型对目标图片进行处理,能够实现对目标图片的特征信息检测,事件判定逻辑能够用于对多个单独的特征信息进行逻辑组合,基于检测模型和/或事件判定逻辑,能够将目标图像中包括的具有逻辑关联的特征信息进行组合输出,提高了输出的事件信息的关联性和完整性。

在一种实施例中,针对S102,可以按照以下步骤实施:

步骤一、针对每个事件,在事件处理通道包括至少一个检测模型和事件判定逻辑的情况下,利用该事件对应的检测模型从目标图像中提取与该事件对应的目标特征信息。

步骤二、基于目标特征信息和与该事件对应的事件判定逻辑,确定目标图像对应于该事件的事件信息。

具体实施时,针对每个事件,可以利用该事件对应的事件处理通道中的检测模型对目标图像进行检测,提取出目标图像中的目标特征信息。然后,在确定目标图像中的目标特征信息之后,利用上述事件处理通道中的事件判定逻辑,对提取的目标特征信息进行逻辑关联,得到目标图像对应于该类型事件的事件信息。

进一步的,目标应用可以输出得到的事件信息。

另外,目标应用不仅可以输出目标图像对应的事件信息,还可以输出提取出的每一个独立的目标特征信息,基于此,用户既可以直接获取目标图像中具有关联关系的事件信息,也可以获取每一个独立的目标特征信息,提高了输出的信息的多样性。

以获取的目标图像为部署在厨房中的目标图像采集设备(摄像机/抓拍机)传输进来的目标图像,确定的Applet对应的事件判定逻辑为:厨房是否有人没戴口罩、厨房是否有人抽烟、厨房是否有人没穿厨师服,提取的目标特征信息为厨师A、没戴口罩、没穿厨师服、没抽烟,厨师B、戴口罩、穿厨师服、没抽烟为例,利用事件判定逻辑对提取的目标特征信息进行判定,可以输出的三个事件信息分别为厨房有人没戴口罩、厨房没有人抽烟以及厨房有人没穿厨师服。

另外,在基于事件处理通道对应的事件判定逻辑对提取的目标特征信息进行逻辑关联之前,还可以获取目标图像的拍摄时间,利用事件判定逻辑将目标特征信息和拍摄时间进行组合,得到目标图像对应于该类型事件的事件信息。例如,得到的事件信息可以为在下午三点十五分,厨房里有人在吸烟。此外,还可以获取目标图像的拍摄地点,利用事件判定逻辑将目标特征信息和拍摄地点进行组合,得到目标图像对应的事件信息。为了提高输出的事件信息的完整性,可以同时获取拍摄时间和拍摄地点以及其他的拍摄信息并与目标特征信息进行逻辑关联,进而输出目标图像对应的事件信息。

以事件处理通道提取出的目标特征信息包括“男生、黄头发、白衣服、开车门”,拍摄时间为下午2点01分,拍摄地点为XX大厦为例,基于事件处理通道对应的事件判定逻辑,输出的事件信息可以为“下午2点01分,在XX大厦,有一个黄头发、白衣服的男生正在开车门,可能会驾车离开。”。

在另一种实施例中,针对每个事件,在确定提取的目标图像中的目标特征信息对应于一个长尾事件的情况下,也可以直接基于提取出的目标特征信息,输出目标图像中的事件信息。这里,不需要使用事件判定逻辑进行处理,即可输出目标图像对应于该类型事件的事件信息。

在一种实施例中,在利用目标应用对目标图像进行处理之前,可以基于目标图像,从目标应用所包括的至少一个事件处理通道中,筛选出与目标图像对应的至少一个事件的事件处理通道。

具体实施时,由于目标应用中包括目标图像对应的所有事件的事件处理通道,所以在利用目标应用对目标图像进行处理之前,可以先确定需要从目标图像中提取出的事件信息对应的至少一个事件,然后基于确定的至少一个事件,确定目标应用中能够提取该事件的事件处理通道。

并且,目标应用可以基于筛选出的事件处理通道,生成进行事件解析的任务指令,并调用筛选出的事件处理通道。其中,任务指令中可以包括筛选出的每个事件处理通道对应的解析任务,解析任务中可以包括目标应用确定的每个事件对应的任务参数,任务参数可以包括感兴趣区域、解析参数等信息。

进而,筛选出的每个事件处理通道可以基于任务指令,确定对应的解析任务,并基于解析任务中的任务参数,完成对目标图像的解析。

在一种实施例中,针对上述步骤一,在确定该事件对应的事件处理通道包括具有依赖关系的至少两个检测模型的情况下,可以直接基于两个检测模型之间的依赖关系,从目标图像中提取该事件对应的目标特征信息。

其中,依赖关系包括依赖顺序。依赖顺序用于反映检测模型的处理顺序。

具体实施时,基于至少两个检测模型之间的依赖关系,确定每一个检测模型之间的依赖顺序,然后利用具有在先顺序的检测模型,基于确定的解析任务中的任务参数对获取的目标图片进行分析处理,得到该检测模型的输出结果,然后将该输出结果作为具有在后顺序的检测模型的输入信息,利用具有在后顺序的检测模型对上一个检测模型的输出结果进行处理,得到新的输出结果,并作为相对该检测模型且具有在后顺序的检测模型的输入信息,基于此,可以将具有最后顺序的检测模型的输出结果作为从目标图像中提取出的该事件对应的目标特征信息。这里,通过具有在后顺序的检测模型直接对具有在先顺序的检测模型的输出结果进行分析,可以实现对目标图像的信息的进一步提取,有利于提高最终提取得到的目标特征信息的准确性和全面性,并且具有依赖关系的模型不用对目标图像进行重复分析,减少了图像分析的运算量。

例如,在确定事件处理通道中包括具有依赖关系的检测模型为两个的情况下,具有在先顺序的检测模型可以为拆分模型,既可以实现对目标图像的拆分,具有在后顺序的检测模型为特征提取模型,将拆分模型的拆分结果作为特征提取模型的输入信息,则可以实现通过对拆分结果的分析,提取目标图像中的事件对应的目标特征信息。

在一种实施例中,目标应用还包括通道判定逻辑。

其中,通道判定逻辑用于对不同的事件处理通道输出的事件信息进行逻辑关联。

具体实施时,在确定某类型事件对应于多个事件处理通道的情况下,可以确定多个事件处理通道中具有组合关系的至少两个事件处理通道,以及上述至少两个事件处理通道对应的通道判定逻辑。其中,具有组合关系的至少两个事件处理通道输出的事件信息可以进行逻辑组合,得到新的事件信息。

进而,可以确定上述至少两个事件处理通道中每个事件处理通道输出的事件信息,然后,基于确定的通道判定逻辑,对上述每个事件处理通道输出的事件信息进行逻辑组合,得到新的事件信息,也即,得到目标图像对应的事件信息。这样,可以提高输出的事件信息的内容的丰富性和完整性。

如图2所示,为本公开实施例所提供的一种输出事件信息的示意图,其中,任务参数是根据任务指令确定的,检测模型1为一个独立的检测模型,对应于一个事件处理通道;检测模型2和检测模型3为具有依赖关系的两个检测模型,对应于另一个事件处理通道,其中,检测模型2具有在先顺序,检测模型3具有在后顺序;检测模型1对应的事件处理通道与检测模型2和检测模型3对应的事件处理通道具有组合关系。

具体实施时,在检测模型1其提取出目标图像中的目标特征信息之后,可以利用事件判定逻辑对目标特征信息进行逻辑关联,得到检测模型1对应的事件处理通道的两个事件信息:事件信息1和事件信息2,其中,事件信息1和事件信息2可以为不同类型的事件信息。基于检测模型2和检测模型3以及事件判定逻辑,可以得到检测模型2和检测模型3对应的事件处理通道的三个事件信息:事件信息3、事件信息4和事件信息5。基于检测模型1对应的事件处理通道输出的事件信息和检测模型2和检测模型3对应的事件处理通道输出的事件信息以及通道判定逻辑,可以确定目标图像对应的事件信息6。

在一种实施例中,针对S101,可以按照如图3所示的方法获取目标应用,如图3所示,为本公开实施例所提供的一种获取目标应用的方法的流程图,可以包括以下步骤:

S301:获取目标图像对应的场景信息;其中,场景信息中包括待检测的至少一个类型事件。

S302:获取多个预设应用;其中,每个预设应用中包括至少一个事件处理通道。

S303:利用场景信息,在多个预设应用中筛选与目标图像匹配的目标应用。

这里,不同的预设应用适用于不同的场景信息对应的场景,一个场景信息中可以包括待检测的至少一个类型事件,不同的场景信息中可以包括不同类型事件。每个预设应用中可以包括至少一个事件处理通道,不同的预设应用中可以包括不同的事件处理通道。

具体实施时,在确定目标应用之前,需要先获取目标图像对应的场景信息以及多个预设应用,然后可以利用场景信息,从多个预设应用中筛选与目标图像匹配的目标应用,也即,筛选出适用于目标图像对应的场景的目标应用。进而,可以利用目标应用对目标图像进行处理,得到目标图像对应的事件信息。

另外,在筛选出目标应用之后,还可以获取目标图像采集设备的接入点位信息以及目标图像中的感兴趣区域(region of interest,ROI)。其中,接入点信息可以根据目标图像采集设备的采集位置确定,ROI可以根据目标图像对应的场景信息确定。

进而,可以根据接入点位信息对应的接入点位和感兴趣区域,确定目标应用在目标图像内的检测区域。进一步的,基于确定的检测区域,可以利用目标应用包括的至少一个事件处理通道对检测区域进行处理,得到目标图像对应的每个事件的事件信息。

如图4所示,为本公开实施例所提供的一种提取目标图像中的事件信息的示意图,其中,目标图像为设置在厨房的目标图像采集设备采集的厨房图像,Camera 01为目标图像采集设备的标识,基于该标识可以确定目标图像采集设备的接入点信息。A表示目标图像对应的ROI,在利用目标应用中的事件处理通道对目标图像进行处理的过程中,事件处理通道可以基于任务参数,确定目标图像对应的ROI和检测区域,然后,事件处理通道1中的检测模型可以检测到B1和B2,其中,B1和B2反映检测到的同一类型的事件,即厨房里玩手机,事件处理通道2中检测模型可以检测到C,其中,C反映检测到的另一类型的事件,即厨房里打赤膊。

进一步的,目标应用可以基于事件处理通道1和事件处理通道2检测到的事件信息,输出目标图像对应的事件信息。

需要说明的是,目标应用在获取目标图像之后,也可以同时生成目标图像对应的热力图和密度图,以及对目标图像进行区域分析得到事件大图或事件小图等,关于目标应用根据目标图像生成的图像的类型,本公开实施例不进行限定。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思,本公开实施例中还提供了与图像处理方法对应的图像处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

如图5所示,为本公开实施例提供的一种图像处理装置的示意图,包括:

获取模块501,用于获取目标图像对应的目标应用;其中,所述目标图像中包括至少一个类型事件,所述目标应用包括所述目标图像对应的所有事件的事件处理通道,所述事件处理通道包括至少一个检测模型和/或事件判定逻辑;

处理模块502,用于利用所述目标应用对所述目标图像进行处理,得到所述目标图像对应的每个所述事件的事件信息。

在一种可能的实施方式中,所述处理模块502,用于针对每个所述事件,在所述事件处理通道包括至少一个检测模型和事件判定逻辑的情况下,利用该事件对应的检测模型从所述目标图像中提取与该事件对应的目标特征信息;

基于所述目标特征信息和与该事件对应的事件判定逻辑,确定所述目标图像对应于该事件的事件信息。

在一种可能的实施方式中,所述处理模块502,还用于在所述利用所述目标应用对所述目标图像进行处理之前,基于所述目标图像,从所述目标应用所包括的至少一个事件处理通道中,筛选出所述目标图像对应的至少一个事件的事件处理通道。

在一种可能的实施方式中,所述处理模块502,用于在确定该事件对应的事件处理通道包括具有依赖关系的至少两个检测模型的情况下,基于所述至少两个检测模型之间的依赖关系,从所述目标图像中提取该事件对应的目标特征信息。

在一种可能的实施方式中,所述依赖关系包括依赖顺序,所述处理模块502用于将具有在先顺序的检测模型的输出结果作为具有在后顺序的检测模型的输入信息,将具有在后顺序的检测模型的输出结果作为从所述目标图像中提取出的该事件对应的目标特征信息。

在一种可能的实施方式中,所述处理模块502,还用于从所述目标图像对应的至少一个事件的事件处理通道中,确定具有组合关系的至少两个事件处理通道以及所述至少两个事件处理通道对应的通道判定逻辑;

基于所述至少两个事件处理通道输出的事件信息和所述通道判定逻辑,输出所述目标图像对应的事件信息。

在一种可能的实施方式中,所述获取模块501,用于获取目标图像对应的场景信息;其中,所述场景信息中包括待检测的至少一个类型事件;

获取多个预设应用;其中,每个所述预设应用中包括至少一个所述事件处理通道;

利用所述场景信息,在多个所述预设应用中筛选与所述目标图像匹配的目标应用。

在一种可能的实施方式中,所述处理模块502,用于所述获取模块利用所述场景信息,在多个所述预设应用中筛选与所述目标图像匹配的目标应用之后,获取所述目标图像采集设备的接入点位和所述目标图像中的感兴趣区域;

根据所述接入点位和所述感兴趣区域,确认所述目标应用在所述目标图像内的检测区域。

在一种可能的实施方式中,相应的,所述处理模块502,用于利用所述目标应用所包括的至少一个事件处理通道对所述目标图像内的检测区域进行处理,得到所述目标图像对应的每个所述事件的事件信息。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。

本公开实施例还提供了一种计算机设备,如图6所示,为本公开实施例提供的一种计算机设备结构示意图,包括:

处理器601和存储器602;所述存储器602存储有处理器601可执行的机器可读指令,处理器601用于执行存储器602中存储的机器可读指令,所述机器可读指令被处理器601执行时,处理器601执行下述步骤:S101:获取目标图像对应的目标应用,其中,目标图像中包括至少一个类型事件,目标应用包括目标图像对应的所有事件的事件处理通道,事件处理通道包括至少一个检测模型和/或事件判定逻辑以及S102:利用目标应用对目标图像进行处理,得到目标图像对应的每个事件的事件信息。

上述存储器602包括内存6021和外部存储器6022;这里的内存6021也称内存储器,用于暂时存放处理器601中的运算数据,以及与硬盘等外部存储器6022交换的数据,处理器601通过内存6021与外部存储器6022进行数据交换。

在一种可能的实施方式中,处理器601执行的指令中,所述利用所述目标应用对所述目标图像进行处理,得到所述目标图像对应的每个所述事件的事件信息,包括:

针对每个所述事件,在所述事件处理通道包括至少一个检测模型和事件判定逻辑的情况下,利用该事件对应的检测模型从所述目标图像中提取与该事件对应的目标特征信息;

基于所述目标特征信息和与该事件对应的事件判定逻辑,确定所述目标图像对应于该事件的事件信息。

在一种可能的实施方式中,处理器601执行的指令中,在所述利用所述目标应用对所述目标图像进行处理之前,包括:

基于所述目标图像,从所述目标应用所包括的至少一个事件处理通道中,筛选出所述目标图像对应的至少一个事件的事件处理通道。

在一种可能的实施方式中,处理器601执行的指令中,所述利用该事件对应的检测模型从所述目标图像中提取与该事件对应的目标特征信息,包括:

在确定该事件对应的事件处理通道包括具有依赖关系的至少两个检测模型的情况下,基于所述至少两个检测模型之间的依赖关系,从所述目标图像中提取该事件对应的目标特征信息。

在一种可能的实施方式中,处理器601执行的指令中,所述依赖关系包括依赖顺序,以及

所述基于所述至少两个检测模型之间的依赖关系,从所述目标图像中提取该事件对应的目标特征信息,包括:

将具有在先顺序的检测模型的输出结果作为具有在后顺序的检测模型的输入信息,将具有在后顺序的检测模型的输出结果作为从所述目标图像中提取出的该事件对应的目标特征信息。

在一种可能的实施方式中,处理器601执行的指令中,所述方法还包括:

从所述目标图像对应的至少一个事件的事件处理通道中,确定具有组合关系的至少两个事件处理通道以及所述至少两个事件处理通道对应的通道判定逻辑;

基于所述至少两个事件处理通道输出的事件信息和所述通道判定逻辑,输出所述目标图像对应的事件信息。

在一种可能的实施方式中,处理器601执行的指令中,所述获取目标图像对应的目标应用,包括:

获取目标图像对应的场景信息;其中,所述场景信息中包括待检测的至少一个类型事件;

获取多个预设应用;其中,每个所述预设应用中包括至少一个所述事件处理通道;

利用所述场景信息,在多个所述预设应用中筛选与所述目标图像匹配的目标应用。

在一种可能的实施方式中,处理器601执行的指令中,所述利用所述场景信息,在多个所述预设应用中筛选与所述目标图像匹配的目标应用之后,包括:

获取所述目标图像采集设备的接入点位和所述目标图像中的感兴趣区域;

根据所述接入点位和所述感兴趣区域,确认所述目标应用在所述目标图像内的检测区域。

在一种可能的实施方式中,处理器601执行的指令中,相应的,所述利用所述目标应用对所述目标图像进行处理,得到所述目标图像对应的每个所述事件的事件信息,包括:

利用所述目标应用所包括的至少一个事件处理通道对所述目标图像内的检测区域进行处理,得到所述目标图像对应的每个所述事件的事件信息。

上述指令的具体执行过程可以参考本公开实施例中所述的图像处理方法的步骤,此处不再赘述。

本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的图像处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

相关技术
  • 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
  • 图像处理方法、装置、计算机设备及计算机可读存储介质
技术分类

06120113147842