掌桥专利:专业的专利平台
掌桥专利
首页

信息的存储方法、检索方法及装置、设备、存储介质

文献发布时间:2023-06-19 13:49:36


信息的存储方法、检索方法及装置、设备、存储介质

技术领域

本申请涉及计算机视觉领域,涉及但不限定于信息的存储方法、检索方法及装置、设备、存储介质。

背景技术

随着人工智能(Artificial Intelligence,AI)算法在智慧城市应用里面的逐步推广,该算法的优势逐渐显示出来:较传统算法更高的准确率,对场景更好的适应性等。对于普通的视频流,由于其巨大的信息量,模型会输出海量的信息。因此如何有效地存储这些信息,以及检索这些信息就变得非常有必要了。

发明内容

本申请实施例提供一种信息的存储方法、检索方法及装置、设备、存储介质。

本申请实施例的技术方案是这样实现的:

第一方面,本申请实施例提供一种信息的存储方法,所述方法包括:

获取图像帧序列;

对所述图像帧序列进行解析,得到所述图像帧序列的解析结果;其中,所述解析结果包括所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息;

将所述解析结果作为所述图像帧序列的存储结果进行存储。

在一些实施例中,所述对所述图像帧序列进行解析,得到所述图像帧序列的解析结果,包括:对所述图像帧序列中所发生的事件进行检测,得到发生的每一事件的一组事件状态信息。这样,通过建立事件的概念,对图像帧序列进行事件检测,得到图像帧序列中所发生的每一事件的一组事件状态信息,能够有效减少图像帧序列的解析信息的输出量。

在一些实施例中,所述解析结果还包括与每一所述事件相关的至少一个对象的对象信息,所述对所述图像帧序列进行解析,得到所述图像帧序列的解析结果,还包括:从所述图像帧序列中确定每一所述事件的事件发生区域序列;对所述事件发生区域序列进行对象识别,得到与每一所述事件相关的至少一个对象的对象信息;相应地,所述将所述解析结果作为所述图像帧序列的存储结果进行存储,包括:将与每一所述事件相关的至少一个对象的对象信息作为每一所述事件的关联信息;对每一所述事件的一组事件状态信息和每一所述事件的关联信息进行关联,得到所述图像帧序列的存储结果。这样,在检测出图像帧序列中所发生的事件后,进一步确定与事件相关的对象信息并与事件的一组事件状态信息进行关联,得到所述图像帧序列的存储结果,从而将事件状态信息与对象信息之间建立联系,方便后续索引有关联性的信息。

在一些实施例中,所述一组事件状态信息中包括至少一组第一关联字段,所述对每一所述事件的一组事件状态信息和每一所述事件的关联信息进行关联,得到所述图像帧序列的存储结果,包括:确定与每一所述事件相关的每一所述对象的属性信息;在所述一组事件状态信息中所包括的一组所述第一关联字段中添加一所述对象的属性信息;将添加每一所述对象的属性信息之后的每一组事件状态信息和每一所述事件的关联信息,作为所述图像帧序列的存储结果。这样,基于第一关联字段将事件状态信息和对象信息关联起来,解决了不同信息之间孤立的问题。

在一些实施例中,所述对象为人,所述对象的属性信息包括人体标识和/或人脸标识,每一组所述第一关联字段包括类型信息和标识信息;所述在所述一组事件状态信息中所包括的一组所述第一关联字段中添加一每一所述对象的属性信息,包括:在每一组所述第一关联字段的类型信息中添加人体类型,且相应第一关联字段的标识信息中添加所述人体标识;和/或,在每一组所述第一关联字段的类型信息中添加人脸类型,且相应第一关联字段的标识信息中添加所述人脸标识。这样,对于以人为对象检测到的事件,将与事件相关的人体标识、人脸标识分别添加到第一关联字段并标明类型,方便后续基于该第一关联字段检索到所有与事件有关的信息。

在一些实施例中,所述对象为人,所述对象信息包括人脸信息,所述人脸信息中包括至少一组第二关联字段;所述方法还包括:将所述图像帧序列的解析结果中,与所述人脸信息相关的人体信息和/或至少一组事件状态信息作为所述人脸信息的关联信息;基于每一组所述第二关联字段,将所述人脸信息和所述人脸信息的关联信息进行关联。这样,针对人脸信息,通过第二关联字段将与人脸信息相关的人体信息和事件状态信息进行关联,解决不同信息之间孤立的问题。

在一些实施例中,每一组所述第二关联字段包括类型信息和标识信息;所述基于每一组所述第二关联字段,将所述人脸信息和所述人脸信息的关联信息进行关联,包括:确定所述人脸信息的关联信息中的人体标识和/或至少一个事件标识;在每一组所述第二关联字段的类型信息中添加人体类型,且相应第二关联字段的标识信息中添加所述人体标识;和/或,在每一组所述第二关联字段的类型信息中添加事件类型,且相应第二关联字段的标识信息中添加每一所述事件标识。这样,将与人脸信息相关的人体标识、事件标识分别添加到第二关联字段并标明类型,方便后续基于该第二关联字段检索到所有与人脸有关的信息。

在一些实施例中,所述对象为人,所述对象信息包括人体信息,所述人体信息中包括至少一个第三关联字段;所述方法还包括:将所述图像帧序列的解析结果中,与所述人体信息相关的人脸信息和/或至少一组事件状态信息作为所述人体信息的关联信息;基于每一组所述第三关联字段,将所述人体信息和所述人体信息的关联信息进行关联。这样,针对人体信息,通过第三关联字段将与人体信息相关的人脸信息和事件状态信息进行关联,解决不同信息之间孤立的问题。

在一些实施例中,每一组所述第三关联字段包括类型信息和标识信息;所述基于每一组所述第三关联字段,将所述人体信息和所述人体信息的关联信息进行关联,包括:确定所述人体信息的关联信息中的人脸标识和/或至少一个事件标识;在每一组所述第三关联字段的类型信息中添加人体类型,且相应第三关联字段的标识信息中添加所述人脸标识;和/或,在每一组所述第三关联字段的类型信息中添加事件类型,且相应第三关联字段的标识信息中添加每一所述事件标识。这样,将与人体信息相关的人脸标识、事件标识分别添加到第三关联字段并标明类型,方便后续基于该第三关联字段检索到所有与人体有关的信息。

在一些实施例中,所述对所述图像帧序列中所发生的事件进行检测,得到发生的每一事件的一组事件状态信息,包括:响应于在所述图像帧序列中检测到每一所述事件进入激活状态,将所述激活状态的图像帧作为初始图像帧;基于在所述初始图像帧的采集时间之后的至少两个时间段内采集的图像帧,检测每一所述事件在每一所述时间段内的状态;其中,不同所述时间段表征每一所述事件的不同状态阶段;基于每一所述事件在每一所述时间段内的状态,输出每一所述事件的一组输出状态信息。这样,避免冗余信息的输出,极大地缩减了解析结果信息的规模。

在一些实施例中,所述至少两个时间段包括第一时间段和以所述第一时间段的结束时刻为起始时刻的至少一个连续的第二时间段;所述一组输出状态信息包括事件开始信息、事件持续信息或事件结束信息;所述基于每一所述事件在每一所述时间段内的状态,输出每一所述事件的一组输出状态信息,包括:响应于每一所述事件的开始时长超过所述第一时间段,确认所述事件为开始状态,在所述第一时间段的结束时刻,输出所述事件开始信息;响应于每一所述事件在所述至少一个第二时间段内为持续状态,在每间隔所述第二时间段后输出一次所述事件持续信息;响应于每一所述事件在所述第二时间段内为结束状态,在所述第二时间段的结束时刻,输出所述事件结束信息。这样,在每一个事件状态的变化阶段输出不同的事件状态信息,极大减少信息的输出量,简洁高效地描述了事件本身,极大地方便了使用者对事件的理解。

第二方面,本申请实施例提供一种信息的检索方法,所述方法包括:

获取待检索的至少一个关键词;

从图像帧序列的存储结果中,确定每一所述关键词对应的检索结果;其中,图像帧序列的存储结果包括以下至少之一:所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息;

输出所述检索结果。

在一些实施例中,所述至少一个关键词为所述图像帧序列中所发生的至少一个事件的事件标识,所述从图像帧序列的存储结果中,确定每一所述关键词对应的检索结果,包括:基于每一所述事件标识,从所述图像帧序列的存储结果中,确定相应事件对应的一组事件状态信息。这样,在关键词为事件标识的情况下,可以直接从存储结果中快速检索出一组事件状态信息,便于使用者完整了解事件过程。

在一些实施例中,所述一组事件状态信息中包括至少一个第一关联字段,所述存储结果还包括每一所述事件的关联信息;所述从图像帧序列的存储结果中,确定每一所述关键词对应的检索结果,还包括:基于每一组所述第一关联字段,从每一所述事件的一组事件状态信息中确定与相应事件相关的每一所述对象的属性信息;基于每一所述对象的属性信息,从每一所述事件的关联信息中确定相应对象的对象信息。这样,在检索出的一组事件状态信息之后,可以进一步基于第一关联字段检索出与事件相关的所有对象信息,从而达到高效索引有关联性的信息。

在一些实施例中,所述至少一个关键词为与事件相关的至少一个目标对象的属性信息,所述存储结果还包括所述事件的关联信息;所述从图像帧序列的存储结果中,确定每一所述关键词对应的检索结果,包括:基于每一所述目标对象的属性信息,从所述事件的关联信息中确定所述目标对象的对象信息。这样,在关键词为目标对象的属性信息的情况下,可以直接从事件的关联信息中检索出该目标对象的对象信息,提高了事件中所涉及对象的信息检索效率。

在一些实施例中,所述对象信息中包括至少一组事件关联字段,所述事件关联字段用于存储与相应对象信息相关的一个事件标识,所述方法还包括:基于所述至少一组事件关联字段,确定所述目标对象所参与的至少一个关联事件的事件标识;基于每一所述关联事件的事件标识,从所述图像帧序列的存储结果中,确定与相应关联事件对应的一组事件状态信息。这样,在检索出目标对象的对象信息之后,可以基于事件关联字段进一步确定目标对象所参与的关联事件以及相应的事件状态信息,从而追踪目标对象的事件行为实现智能化的输出。

在一些实施例中,所述一组事件状态信息至少包括事件开始信息和事件结束信息,所述方法还包括:基于每一所述关联事件对应的一组事件状态信息,确定所述目标对象参与每一所述关联事件的持续时间。这样,确定目标对象参与关联事件的持续时间,可以进一步为相关部门的数据分析提供支持。

在一些实施例中,所述基于每一所述事件的事件标识对应的一组事件状态信息,确定所述目标对象参与每一所述关联事件的持续时间,包括:确定所述目标对象参与每一所述关联事件对应的所述事件开始信息的第一输出时刻和所述事件结束信息的第二输出时刻;基于所述第一输出时刻和所述第二输出时刻,确定所述目标对象参与每一所述关联事件的持续时间。这样,通过输出事件开始信息到输出事件结束信息之间的时间间隔,快速确定目标对象参与关联事件的持续时间,提高信息处理效率。

在一些实施例中,所述目标对象为人,所述目标对象的属性信息包括人体标识和/或人脸标识,所述对象信息包括人体信息和/或人脸信息;

在所述人脸信息中,所述至少一组事件关联字段为至少一组包括类型信息和标识信息的第二关联字段,其中,每一组所述第二关联字段的类型信息用于添加人体类型或事件类型,且每一组所述第二关联字段的标识信息用于添加相应人体标识,或与所述人脸信息相关的事件标识;在所述人体信息中,所述至少一组事件关联字段为至少一组包括类型信息和标识信息的第三关联字段,其中,每一组所述第三关联字段的类型信息用于添加人脸类型或事件类型,且每一组所述第二关联字段的标识信息用于添加相应人脸标识,或与所述人体信息相关的事件标识。这样,在对象为人以及对象信息为人脸人体信息的情况下,限定事件关联字段的不同描述方式,以便用于人脸信息和人体信息的检索。

第三方面,本申请实施例提供一种信息的存储装置,包括第一获取模块、解析模块和存储模块,其中:

所述第一获取模块,用于获取图像帧序列;

所述解析模块,用于对所述图像帧序列进行解析,得到所述图像帧序列的解析结果;其中,所述解析结果包括所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息;

所述存储模块,用于将所述解析结果作为所述图像帧序列的存储结果进行存储。

第四方面,本申请实施例提供一种信息的检索装置,包括第二获取模块、第三确定模块和输出模块,其中:

所述第二获取模块,用于获取待检索的至少一个关键词;

所述第三确定模块,用于从图像帧序列的存储结果中,确定每一所述关键词对应的检索结果;其中,图像帧序列的存储结果包括以下至少之一:所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息;

所述输出模块,用于输出所述检索结果。

第五方面,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述信息的存储方法中的步骤;或者所述处理器执行所述程序时实现上述信息的检索方法中的步骤。

第六方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述信息的存储方法中的步骤;或者,所述计算机程序被处理器执行时实现上述信息的检索方法中的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括:

在本申请实施例中,首先对获取的图像帧序列进行解析,得到图像帧序列的解析结果;其中,所述解析结果包括所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息;然后,将所述解析结果作为所述图像帧序列的存储结果进行存储。这样,通过建立事件的概念,在每一个事件状态的变化阶段输出信息,及时反馈图像帧序列中所发生事件的进展状态;并通过存储有与事件相关的对象的属性信息的一组事件状态信息,有效组织图像帧序列的存储结果,解决图像帧序列中单帧输出所带来的信息冗余。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:

图1为本申请实施例提供的信息的存储方法的流程示意图;

图2为本申请实施例提供的信息的存储方法的流程示意图;

图3为本申请实施例提供的信息的存储方法的流程示意图;

图4A为本申请实施例提供的信息的存储方法的流程示意图;

图4B为本申请实施例提供的信息的存储方法的流程示意图;

图5为本申请实施例提供的信息的存储方法的流程示意图;

图6为本申请实施例提供的信息的检索方法的流程示意图;

图7A为本申请实施例提供的信息的检索方法的流程示意图;

图7B为本申请实施例提供的信息的检索方法的流程示意图;

图8A为本申请实施例提供的信息的存储方法的逻辑流程图;

图8B为本申请实施例提供的输出事件状态信息的过程示意图;

图9A为本申请实施例提供的一种信息的存储装置的组成结构示意图;

图9B为本申请实施例提供的一种信息的检索装置的组成结构示意图;

图10为本申请实施例提供的一种电子设备的硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。以下实施例用于说明本申请,但不用来限制本申请的范围。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。

需要指出,本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请实施例所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。

本申请实施例提供的方案涉及人工智能技术,具体通过如下实施例进行说明:

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例所涉及机器学习技术。

其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请实施例提供一种信息的存储方法,该方法应用于对事件的存储装置,在一些实施方式中,对事件的存储装置可以为处理器或芯片,处理器或芯片可以应用于电子设备中。在另一些实施方式中,对事件的存储装置可以为电子设备。本公开实施例中的电子设备、下述的其它设备、显示设备或者终端设备可以包括以下至少之一:服务器、手机(MobilePhone)、平板电脑(Pad)、带无线收发功能的电脑、掌上电脑、台式计算机、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、智能手表、智能眼镜、智能项链等可穿戴设备、计步器、数字TV、虚拟现实(Virtual Reality,VR)终端设备、增强现实(Augmented Reality,AR)终端设备、工业控制(Industrial Control)中的无线终端、无人驾驶(Self Driving)中的无线终端、远程手术(Remote Medical Surgery)中的无线终端、智能电网(Smart Grid)中的无线终端、运输安全(Transportation Safety)中的无线终端、智慧城市(Smart City)中的无线终端、智慧家庭(Smart Home)中的无线终端以及车联网系统中的车、车载设备或车载模块等。

图1为本申请实施例提供的信息的存储方法的流程示意图,如图1所示,所述方法至少包括以下步骤:

步骤S110,获取图像帧序列;

可以理解的,图像帧序列为由摄像模组实时采集的多帧图像构成的帧序列,用于传输到服务器或其他管理设备进行图像识别和解析。其中每一帧图像中可以能包含至少一个对象或者未包含对象,若干帧连续图像则可能包含相应对象的行为。这里的对象包括人、车辆、动物等,在实施中根据实际场景确定,本申请实施例对此不作限定。

步骤S120,对所述图像帧序列进行解析,得到所述图像帧序列的解析结果;

这里,所述解析结果包括所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息,其中,对象为人时对象的属性信息可以包括人体标识、人脸标识等。

本申请实施例将图像帧序列中对象发生某种期待行为称为一个事件,事件的一组事件状态信息可以包括事件开始信息、事件持续信息、事件结束信息,分别在每一个事件状态的变化阶段输出。在一组事件状态信息同时保留与相应事件相关的对象的属性信息,这样通过这几个状态信息完整地描述了事件的详细信息,且冗余信息尽可能被被排除掉。

需要说明的是,通常对图像帧序列进行解析,会以帧为单位,输出海量信息。例如对于一个视频流来说,在一分钟内可能会达到1500帧图像,显然基于每一帧的信息来输出解析结果会产生惊人的海量信息,且存在大量冗余信息。本申请实施例通过建立事件的概念,有效组织事件输出,极大地减少信息的输出量;同时输出的一组时间状态信息及时地反馈了现场事件的进展状态,简洁高效地描述了事件本身,极大地方便了使用者对事件的理解。

步骤S130,将所述解析结果作为所述图像帧序列的存储结果进行存储。

这里,对于每一所述事件的一组事件状态信息,通过存储与相应事件相关的对象的属性信息,建立与相关对象的对象信息之间的连接,将每一所述事件的一组事件状态信息和与相应事件相关的对象信息一起作为图像帧序列的存储结果,从而完整地描述图像帧序列中对象所发生行为的过程,压缩图像解析的输出信息量的同时保证了存储信息的价值。

在本申请实施例中,首先对获取的图像帧序列进行解析,得到图像帧序列的解析结果;其中,所述解析结果包括所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息;然后,将所述解析结果作为所述图像帧序列的存储结果进行存储。这样,通过建立事件的概念,在每一个事件状态的变化阶段输出信息,及时反馈图像帧序列中所发生事件的进展状态;并通过存储有与事件相关的对象的属性信息的一组事件状态信息,有效组织图像帧序列的存储结果,解决图像帧序列中单帧输出所带来的信息冗余。

图2为本申请实施例提供的信息的存储方法的流程示意图,如图2所示,所述方法可以通过以下步骤实现:

步骤S210,获取图像帧序列;

步骤S220,对所述图像帧序列中所发生的事件进行检测,得到发生的每一事件的一组事件状态信息;

这里,所述图像帧序列中所发生的事件可以为图像帧序列中对象发生某种期待行为。

在实施中,可以使用基于深度学习的图像检测算法,训练事件检测模型,实现对图像帧序列中所发生事件的检测。例如图像帧序列中对象为人时,待检测的事件可以打架斗殴事件,可以通过训练人体姿态估计模型,将图像帧序列中的人体图像序列作为输入,每隔一段时间输出一个打架斗殴事件的事件状态信息,充分考虑了视频的时间与空间信息,保证了结果输出的可靠性。

这样,对于图像帧序列中所发生的每一个持续的事件,就被简化成几个简单的事件状态信息,但是这些事件状态信息却完整地描述了整个事件的过程。

在一些实施方式中,将所述图像帧序列输入至深度神经网络,或者,将从所述图像帧序列中提取的对象输入至深度神经网络,通过所述深度神经网络得到所述图像帧序列中是否存在特定事件,以及所述图像帧序列的每一图像中的存在特定事件的事件区域。这样,由于深度神经网络是通过训练得到的,从而通过深度神经网络得到图像帧序列中是否存在行为事件的检测结果,能够使得确定的是否存在特定事件的检测结果准确。

在一些实施方式中,在所述图像帧序列检测到预设事件的情况下,输出告警信息;所述告警信息包括以下在所述图像帧序列中展示的至少之一:发生所述预设事件的事件区域、所述预设事件的时空信息、发生所述预设事件的事件区域中的至少一者、参与所述预设事件对象的人脸框、参与所述预设事件对象的人体框、所述人脸框中的人脸图像、所述人体框中的人体图像、参与所述预设事件的对象的人脸和/或人体的属性信息、参与所述预设事件的对象关联家属的属性信息。

其中,所述预设事件可以为危险事件例如打架斗殴事件。这样,在行为事件为预设事件的情况下,可以输出告警信息,从而使得工作人员能够确定存在预设事件,进而能够及时地对预设事件进行处理。

步骤S230,从所述图像帧序列中确定每一所述事件的事件发生区域序列;

这里,所述事件发生区域序列是从所述图像帧序列的每一帧图像中的包括相应事件的一组区域图像。

在实施中,通过图像检测算法,可以确定出图像帧序列中发生每一事件的事件发生区域,例如打架斗殴事件所在的区域范围。然后通过相关的图像处理方法截取每一帧图像得到包括相应事件的一组区域图像作为事件发生区域序列,本申请实施例对此不作限定。

步骤S240,对所述事件发生区域序列进行对象识别,得到与每一所述事件相关的至少一个对象的对象信息;

这里,对象为人的情况下,对象信息可以包括人体信息和人脸信息等。其中,人体信息可以为人体特征及相关属性,人脸信息可以为人脸特征及相关属性。

在实施中,可以使用基于深度学习的图像检测算法,训练对象检测模型,例如对象为人时,对打架斗殴区域内所出现的人的人脸与人体进行特征与属性的提取。

在一些实施方式中,在确定所述图像帧序列中存在特定行为事件的情况下,生成与所述图像帧序列对应的特定事件的标识;检测所述图像帧序列中参与特定行为事件的至少一个对象;确定所述至少一个对象的对象信息。

这样,通过在确定图像帧序列中存在特定事件的情况下,才生成特定事件的标识,并确定参与特定事件的至少一个对象的对象信息,从而提供了一种合理化的确定事件的标识和至少一个对象的对象信息的实施方式。

在一些实施方式中,所述对象包括人脸;所述确定所述至少一个对象的对象信息,包括:在所述图像帧序列的每一图像中,确定至少一个人脸在所述每一图像中的人脸位置信息;确定所述每一图像中所述至少一个人脸的人脸特征信息;基于所述人脸特征信息,确定所述每一图像中所述至少一个人脸的人脸属性信息;其中,所述人脸位置信息、所述人脸特征信息、所述人脸属性信息、所述至少一个人脸的标识中的至少一者,包括在所述对象的对象信息中。

这样,通过人脸位置信息、人脸特征信息、人脸属性信息、至少一个人脸的标识中的至少一者,包括在至少一个对象的对象信息中,其中,人脸属性信息包括是否戴眼镜、是否戴口罩、年龄、性别等信息。从而通过人脸位置信息能够确定参与行为事件的人脸在图像帧序列的每一图像中的位置信息;通过人脸特征信息、人脸属性信息确定人脸的相关信息;通过至少一个人脸的标识,能够确定某一对象的对象信息所属的人脸。

在一些实施方式中,所述对象包括人体;所述确定所述至少一个对象的对象信息,包括:在所述图像帧序列的每一图像中,确定至少一个人体在所述每一图像中的人体位置信息;确定所述每一图像中所述至少一个人体的人体特征信息;基于所述人体特征信息,确定所述每一图像中所述至少一个人体的人体属性信息;其中,所述人体位置信息、所述人体特征信息、所述人体属性信息、所述至少一个人体的标识中的至少一者,包括在所述对象的对象信息中。

这样,通过人体位置信息、人体特征信息、人体属性信息、至少一个人体的标识中的至少一者,包括在至少一个对象的对象信息中,其中,人体属性信息包括身高、体型、体重、穿着信息等。从而通过人体位置信息能够确定参与行为时间的人体在图像帧序列的每一图像中的位置信息;通过人体特征信息、人体属性信息确定人体的相关信息;通过至少一个人体的标识,能够确定某一对象的对象信息所属的人体。

步骤S250,将与每一所述事件相关的至少一个对象的对象信息作为每一所述事件的关联信息;

这里,将上一步骤中识别到的与每一所述事件相关的至少一个对象的对象信息进行封装,作为每一所述事件的关联信息。例如对图像帧序列进行事件检测得到的是人的异常行为事件,那么该异常行为事件的主要关联信息即为行为人的所有人脸人体信息。

步骤S260,对每一所述事件的一组事件状态信息和每一所述事件的关联信息进行关联,得到所述图像帧序列的存储结果。

在一些实施方式中,可以通过在事件的一组事件状态信息和事件的关联信息中分别添加关联字段,实现两者之间彼此关联。在另一些实施方式中,可以建立事件的一组事件状态信息和事件的关联信息之间的映射关系,实现两者之间彼此关联。将关联后的事件的一组事件状态信息和事件的关联信息作为图像帧序列的存储结果,从而方便使用者后续进行检索。

在一些实施方式中,将所述图像帧序列中所发生的每一事件的标识,与所述参与所述相应事件的至少一个对象的标识中每一对象的标识进行关联,得到第一关联信息。

在一些实施方式中,图像帧序列中不同图像中同一对象的对象标识相同。在另一些实施方式中,图像帧序列中不同图像中同一对象的对象标识不同。

每一个第一关联信息表征事件的标识与每一个对象的标识之间的关联关系,从而通过行为事件的标识,能够容易确定出图像帧序列中参与行为事件的每一对象。

例如,对于某一个图像帧序列,生成与该图像帧序列中每一事件的唯一标识,该事件的唯一标识可以为记为le,至少一个第一关联信息可以包括在事件的关联项(associations1)中。例如,associations1={{le,lf

这样能够得到与图像帧序列中某一事件的标识所匹配的至少一个对象的标识,从而能够容易得到图像帧序列中参与事件的每一对象。

在本申请实施例中,首先对图像帧序列中所发生的事件进行检测,将所发生的事件都用一组事件状态信息反馈了现场事件的进展状态,简洁高效地描述了事件本身;然后针对每一帧图像中的事件发生区域进行对象识别,得到与每一事件相关的至少一个对象的对象信息,并作为相应事件的关联信息;最后再将每一事件的一组事件状态信息和相应事件的关联信息进行关联存储,解决事件状态信息与关联信息之间孤立的问题,可以将事件与相关的对象信息绑定起来,实现了图像帧序列的解析结果的智能存储。

图3为本申请实施例提供的信息的存储方法的流程示意图,如图3所示,上述步骤S260“对每一所述事件的一组事件状态信息和每一所述事件的关联信息进行关联,得到所述图像帧序列的存储结果”可以通过以下步骤实现:

步骤S310,确定与每一所述事件相关的每一所述对象的属性信息;

这里,在对象为人的情况下,对象的属性信息可以包括人脸标识和/或人体标识。在实施中,可以基于识别的与事件相关的对象信息,进一步确定对象的属性信息。

步骤S320,在所述一组事件状态信息中所包括的一组所述第一关联字段中添加一所述对象的属性信息;

在实施中,可以通过以下方式实现上述关联过程:在每一组所述第一关联字段的类型信息中添加人体类型,且相应第一关联字段的标识信息中添加人体标识;和/或,在每一组所述第一关联字段的类型信息中添加人脸类型,且相应第一关联字段的标识信息中添加人脸标识。

步骤S330,将添加每一所述对象的属性信息之后的每一组事件状态信息和每一所述事件的关联信息,作为所述图像帧序列的存储结果。

在本申请实施例中,图像帧序列的存储结果中包括了每一事件的一组事件状态信息和每一事件的关联信息,且通过在一组事件状态信息的第一关联字段中添加对象的属性信息,实现事件的事件状态信息与事件的关联信息即对象信息之间的关联。

在一些实施例中,所述对象为人,所述对象信息包括人脸信息,所述人脸信息中包括至少一组第二关联字段。图4A为本申请实施例提供的信息的存储方法的流程示意图,如图4A所示,在所述步骤250“将与每一所述事件相关的至少一个对象的对象信息作为每一所述事件的关联信息”之后,所述方法还包括以下步骤:

步骤S410a,将所述图像帧序列的解析结果中,与所述人脸信息相关的人体信息和/或至少一组事件状态信息作为所述人脸信息的关联信息;

这里,与人脸信息相关的人体信息为对同一对象人进行检测识别得到的。

在一些实施方式中,在所述图像帧序列的每一图像中,确定参与某一事件的每一人脸与每一人体之间的位置关系;在所述每一图像中,基于所述每一人脸与每一人体之间的位置关系,关联属于同一对象的人脸和人体。这样,通过参与事件的每一人脸与每一人体之间的位置关系,关联属于同一对象的人脸和人体,从而不仅提供了一种人脸和人体的关联方案,且通过位置关系确定关联的人脸和人体的方式简单。

将每一指定人脸的标识与关联的人体的标识进行关联,得到第二关联信息。

例如,在至少一个第一关联信息包括{le,lf

在一些实施方式中,第二关联信息可以包括在人脸的关联项(associations2)中,associations2={{le,lf

这样通过第二关联信息能够在至少一个第一关联信息中包括的所有人脸中,确定具有关联的人体的每一指定人脸,进而得到每一指定人脸对应的关联的人体的标识,从而使得工作人员不仅能够得到人脸的标识,还能够得到关联的人体的标识,使得信息的检索更加全面。

需要说明的是,在实施中,可以通过特征属性提取模块将从图像帧序列中识别到的人脸与人体进行特征提取和属性分析,并通过空间几何关系将属于同一对象人的人脸与人体关联起来,从而关联后的人体信息可以作为人脸信息的关联信息。

这里,与人脸信息相关的至少一组事件状态信息,是指在至少一组事件的事件发生区域中检测到人脸,从而每一事件的事件状态信息可以作为人脸信息的关联信息。

步骤S420a,基于每一组所述第二关联字段,将所述人脸信息和所述人脸信息的关联信息进行关联。

这里,所述第二关联字段用于存储与相应人脸信息相关的一个事件标识和/或人体标识。

在实施中,所述第二关联字段可以包括类型信息和标识信息,通过第二关联字段将所述人脸信息和所述人脸信息的关联信息进行关联的过程,可以通过以下方式实现:确定所述人脸信息的关联信息中的人体标识和/或至少一个事件标识;在每一组所述第二关联字段的类型信息中添加人体类型,且相应第二关联字段的标识信息中添加所述人体标识;和/或,在每一组所述第二关联字段的类型信息中添加事件类型,且相应第二关联字段的标识信息中添加每一所述事件标识。

在一些实施例中,所述对象为人,所述对象信息包括人体信息,所述人体信息中包括至少一组第三关联字段。图4B为本申请实施例提供的信息的存储方法的流程示意图,如图4B所示,在所述步骤250“将与每一所述事件相关的至少一个对象的对象信息作为每一所述事件的关联信息”之后,所述方法还包括以下步骤:

步骤S410b,将所述图像帧序列的解析结果中,与所述人体信息相关的人脸信息和/或至少一组事件状态信息作为所述人体信息的关联信息;

这里,与人体信息相关的人脸信息为对同一对象人进行检测识别得到的。

需要说明的是,在实施中,可以通过特征属性提取模块将从图像帧序列中识别到的人脸与人体进行特征提取和属性分析,并通过空间几何关系将属于同一对象人的人脸与人体关联起来,从而关联后的人脸信息可以作为人体信息的关联信息。

这里,与人体信息相关的至少一组事件状态信息,是指在至少一组事件的事件发生区域中检测到人体,从而每一事件的事件状态信息可以作为人体信息的关联信息。

步骤S420b,基于每一组所述第三关联字段,将所述人体信息和所述人体信息的关联信息进行关联。

这里,所述第三关联字段用于存储与相应人体信息相关的一个事件标识和/或人脸标识。

在一些实施方式中,将每一指定人体的标识与关联的人脸的标识进行关联,得到第三关联信息。例如,在至少一个第一关联信息包括{le,lp

在一些实施方式中,第三关联信息可以包括在人脸的关联项(associations3)中,associations3={{le,lp

在实施中,所述第三关联字段可以包括类型信息和标识信息,通过第三关联字段将所述人体信息和所述人体信息的关联信息进行关联的过程,可以通过以下方式实现:确定所述人体信息的关联信息中的人脸标识和/或至少一个事件标识;在每一组所述第三关联字段的类型信息中添加人体类型,且相应第三关联字段的标识信息中添加所述人脸标识;和/或,在每一组所述第三关联字段的类型信息中添加事件类型,且相应第三关联字段的标识信息中添加每一所述事件标识。

图5为本申请实施例提供的信息的存储方法的流程示意图,如图5所示,所述步骤S220“对所述图像帧序列中所发生的事件进行检测,得到发生的每一事件的一组事件状态信息”可以通过以下步骤实现:

步骤S510,响应于在所述图像帧序列中检测到每一所述事件进入激活状态,将所述激活状态的图像帧作为初始图像帧;

这里,对于每一事件都有预设的表明事件开始的行为标识,当检测到当前帧图像中出现该行为标识的情况下,则表明对应事件进入激活状态。其中,行为标识可以是当前帧图像中某人出现异常姿态,或者某个对象进入到预览框中。至于采用何种行为标识,可以根据实际检测的具体事件确定,本申请实施例对此不作限定。

步骤S520,基于在所述初始图像帧的采集时间之后的至少两个时间段内采集的图像帧,检测每一所述事件在每一所述时间段内的状态;

这里,不同所述时间段表征每一所述事件的不同状态阶段,每一所述事件在每一所述时间段内的状态可以包括开始状态、持续状态和结束状态等。

步骤S530,基于每一所述事件在每一所述时间段内的状态,输出每一所述事件的一组输出状态信息。

在一些实施方式中,所述至少两个时间段包括第一时间段和以所述第一时间段的结束时刻为起始时刻的至少一个连续的第二时间段;所述一组输出状态信息包括事件开始信息、事件持续信息或事件结束信息。

这里,第一时间段和第二时间段的时长可以相同,也可以不相同,具体的时长可以根据业务需要设定。例如对于一个持续一小时的视频序列进行解析,可以设定第一时间段的时长和第二时间段的时长均为5分钟,那么最终将会产生11条事件状态信息输出,这样将极大地缩减了解析结果信息的规模。

在一些实施方式中,响应于每一所述事件的开始时长超过所述第一时间段,确认所述事件为开始状态,在所述第一时间段的结束时刻,输出所述事件开始信息;响应于每一所述事件在所述至少一个第二时间段内为持续状态,在每间隔所述第二时间段后输出一次所述事件持续信息;响应于每一所述事件在所述第二时间段内为结束状态,在所述第二时间段的结束时刻,输出所述事件结束信息。

这里,事件的开始状态、持续状态和结束状态可以根据事件发展过程的变化阶段确定,不同事件的变化趋势确定,在每一个事件状态的变化阶段输出不同的事件状态信息,极大减少信息的输出量,简洁高效地描述了事件本身,极大地方便了使用者对事件的理解。

图6为本申请实施例提供的信息的检索方法的流程示意图,如图6所示,所述方法至少包括以下步骤:

步骤S610,获取待检索的至少一个关键词;

这里,所述关键词可以为所述图像帧序列中所发生的至少一个事件的事件标识,还可以为与事件相关的至少一个目标对象的属性信息。

在一些实施方式中,所述关键词以检索字段形式表示,检索字段包括检索的时空信息,以及基于用户配置的事件和/或对象等,其中,对象可以是用于用户确认的对象身份信息也可以是图搜的方式。

在一些实施方式中,所述检测字段包括时段信息和地址信息;所述方法还包括:响应于输入的所述待检索的时段信息和所述待检索的地址信息,得到所述待检索的时段信息和所述待检索的地址信息;或者,响应于输入的所述待检索的时段信息,输出与所述待检索的时段信息匹配的至少一个地址信息;响应于对所述至少一个地址信息中所述待检索的地址信息的触发操作,得到所述待检索的地址信息;或者,响应于输入的所述待检索的地址信息;输出与所述待检索的地址信息匹配的至少一个时段信息;响应于对所述至少一个时段信息中所述待检索的时段信息的触发操作,得到所述待检索的时段信息。

这样,获取的目标行为事件的标识不仅与工作人员感兴趣的待检索的时段信息有关,还与工作人员感兴趣的待检索的地址信息有关,从而使得工作人员可以容易地在海量的信息中,检索到感兴趣的待检索的时段和待检索的地址信息中参与行为事件的对象的对象信息。

步骤S620,从图像帧序列的存储结果中,确定每一所述关键词对应的检索结果;

这里,图像帧序列的存储结果包括以下至少之一:所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息。

在一些实施方式中,从图像帧序列集合的存储结果中,获取与目标事件的标识,和/或,参与所述目标行为事件对象的对象信息;所述图像帧序列集合的存储结果包括所述图像帧序列中发生事件的标识,与参与所述事件的至少一个对象的对象信息。

在一些实施方式中,从所述图像帧序列集合的存储结果中存储的多个第一关联信息中,获取与目标事件的标识关联的所有人脸的标识和/或所有人体的标识;从所述图像帧序列集合的存储结果中存储对象的对象信息中,获取与所述所有人脸的标识对应的人脸信息,和/或,与所述所有人体的标识对应的人体信息。

这样,通过存储的多个第一关联信息,获取与目标行为事件的标识关联的所有人脸的标识和/或所有人体的标识,从而能够容易地获取到与所有人脸的标识对应的人脸信息和/或与所有人体的标识对应的人体信息。

在一些实施方式中,从所述图像帧序列集合的存储结果中存储的第二关联信息中,获取所述所有人脸中指定人脸关联的人体的标识;所述指定人脸为具有关联的人体的人脸;获取所述参与所述目标事件的对象的对象信息,包括:从所述图像帧序列集合的存储结果中存储的对象的对象信息中,获取与所述关联的人体的标识对应的人体信息。

这样,不仅获取所有人脸的标识对应的人脸信息,还获取关联的人体的标识对应的人体信息,从而使得工作人员不仅可以得知参与行为事件的人脸的人脸信息,还能够得知参与行为事件的人脸所匹配的人体信息,进而使得工作人员能够更加全面的了解到参与行为事件的对象。

在一些实施方式中,从所述图像帧序列集合的存储结果中存储的第三关联信息中,获取所述所有人体中指定人体关联的人脸的标识;所述指定人体为具有关联的人脸的人体;获取所述参与所述目标事件的对象的对象信息,包括:从所述图像帧序列集合的存储结果中存储的对象的对象信息中,获取与所述关联的人脸的标识对应的人脸信息。

这样,不仅获取所有人体的标识对应的人体信息,还获取关联的人脸的标识对应的人脸信息,从而使得工作人员不仅可以得知参与行为事件的人体的人体信息,还能够得知参与行为事件的人体所匹配的人脸信息,进而使得工作人员能够更加全面的了解到参与行为事件的对象。

步骤S630,输出所述检索结果。

这里,所述检索结果包括每一所述事件的一组事件状态信息和/或与每一所述事件相关的对象信息。

在本申请实施例中,由于预先将图像帧序列中所发生的每一事件的一组事件状态信息作为图像帧序列的存储结果,同时一组事件状态信息中存储有与相应事件相关的对象的属性信息,因此通过获取事件标识或对象的属性信息作为关键词,可以快速从上述存储结果中检索出对应的事件状态信息或与事件相关的对象信息。

在一些实施方式中,所述至少一个关键词为所述图像帧序列中所发生的至少一个事件的事件标识,图7A为本申请实施例提供的信息的检索方法的流程示意图,如图7A所示,所述方法至少包括以下步骤:

步骤S710a,获取图像帧序列中所发生的至少一个事件的事件标识;

这里,所述事件标识可以表征唯一的一个所述事件。

需要说明的是,通过已训练的事件检测模型对图像帧序列中所发生事件进行检测,例如检测到打架事件发生时,会生成事件E,对于事件E生成其唯一的事件标识。

步骤S720a,基于每一所述事件标识,从所述图像帧序列的存储结果中,确定相应事件对应的一组事件状态信息;

这里,由于图像帧序列的存储结果中存储了所发生的各个事件各自的一组事件状态信息,也就是说,每一事件的事件标识对应一组事件状态信息。

步骤S730a,基于每一组所述第一关联字段,从每一所述事件的一组事件状态信息中确定与相应事件相关的每一所述对象的属性信息;

这里,所述一组事件状态信息中包括至少一个第一关联字段,所述第一关联字段中存储了与相应事件相关的每一所述对象的属性信息。

步骤S740a,基于每一所述对象的属性信息,从每一所述事件的关联信息中确定相应对象的对象信息。

这里,每一所述事件的关联信息为与相应事件相关的所有对象的对象信息的集合,可以基于每一对象的属性信息,从中选取属于该对象的对象信息。

在本申请实施例中,首先基于事件标识从图像帧序列的存储结果中检索出相应事件的一组事件状态信息;然后基于事件状态信息中的第一关联字段,确定出与事件相关的至少一个对象的属性信息;最后在基于每一对象的属性信息,从事件的关联信息中获取到对象信息。这样,通过事件标识和第一关联字段,依次检索出事件状态信息和与事件相关的对象信息,极大地提高了信息的检索效率。

在一些实施方式中,所述至少一个关键词为与事件相关的至少一个目标对象的属性信息,所述图像帧序列的存储结果还包括所述事件的关联信息;图7B为本申请实施例提供的信息的检索方法的流程示意图,如图7B所示,所述方法至少包括以下步骤:

步骤S710b,获取与目标事件相关的至少一个目标对象的属性信息;

在一些实施方式中,所述目标对象的属性信息包括人体标识和/或人脸标识,所述对象信息包括人体信息和/或人脸信息。

步骤S720b,基于每一所述目标对象的属性信息,从所述事件的关联信息中确定所述目标对象的对象信息;

在一些实施方式中,所述目标对象的对象信息中包括至少一组事件关联字段;所述事件关联字段用于表征存储与相应对象信息相关的一个事件标识。

在所述人脸信息中,所述至少一组事件关联字段为至少一组包括类型信息和标识信息的第二关联字段,其中,每一组所述第二关联字段的类型信息中添加人体类型或事件类型,且每一组所述第二关联字段的标识信息中添加相应人体标识,或与所述人脸信息相关的事件标识;

在所述人体信息中,所述至少一组事件关联字段为至少一组包括类型信息和标识信息的第三关联字段,其中,每一组所述第三关联字段的类型信息中添加人脸类型或事件类型,且每一组所述第二关联字段的标识信息中添加相应人脸标识,或与所述人体信息相关的事件标识。

步骤S730b,基于所述至少一组事件关联字段,确定所述目标对象所参与的至少一个关联事件的事件标识;

这里,所述事件关联字段用于存储与相应对象信息相关的一个事件标识,从而可以基于一事件关联字段确定该目标对象参与了哪些关联事件。

步骤S740b,基于每一所述关联事件的事件标识,从所述图像帧序列的存储结果中,确定与相应关联事件对应的一组事件状态信息;

步骤S750b,基于每一所述关联事件对应的一组事件状态信息,确定所述目标对象参与每一所述关联事件的持续时间。

这里,所述一组事件状态信息至少包括事件开始信息和事件结束信息。

在实施中,首先,确定所述目标对象参与每一所述关联事件对应的所述事件开始信息的第一输出时刻和所述事件结束信息的第二输出时刻;然后,基于所述第一输出时刻和所述第二输出时刻,确定所述目标对象参与每一所述关联事件的持续时间。

下面结合一个实施示例对上述存储方法进行说明,然而值得注意的是,该具体实施例仅是为了更好地说明本申请,并不构成对本申请的不当限定。

传统的算法一般是基于当前帧来输出结果,例如事件的处理是基于每一帧的信息来输出。这样的输出方式对于一个视频流来说,在一分钟内,可能会达到惊人的1500帧(尽管其这些信息存在着大量冗余)。对于智慧城市安装的百万级别的摄像头来说,一天下来的输出结果是不可想象的。这样的输出方式显然是不可被接受的。因此,一种有效组织事件输出,能完整性描述事件过程,冗余性信息能尽可能被排除掉的技术亟待开发。

对于这些存储的信息,如果只是存储,而不按照某一定方式编排,那么想找到信息之间是否存在关联关系几乎变得不可能,信息的存储也就变得无意义。因此一种能够描述信息之间的关系,能够高效的提升信息的检索速度的方法也是很有必要被提出来。

图8A为本申请实施例提供的信息的存储方法的逻辑流程图,如图8A所示,该方法包括以下两部分:

步骤S810,对视频序列中发生的事件进行检测,输出一组事件状态信息;

在对事件的检测过程中,通过判断事件发生的阶段,将视频序列的解析信息通过一组事件状态信息来描述,以减少冗余信息的输出。通过建立事件的概念,在每一个事件状态的变化阶段输出一条事件状态信息,极大减少信息的输出量,并保留关键信息,同时输出的状态信息及时地反馈了现场事件的进展状态。该组织方式有效地减少了输出;同时每一个事件都用一组信息输出,简洁高效地描述了事件本身,极大地方便了使用者对事件的理解。

如8B所示,输出事件的事件状态信息的过程包括事件检测发生阶段81和事件检测未发生阶段82,具体地:对于某一事件并不是检测到发生之后就立即输出,而是要在事件被激活之后等事件持续一段时间才决定是否输出。对于某一事件,当第一次检测到发生后,如果在某一段时间段e内,事件一直被检测到发生,那么会输出第一个消息:事件开始信息811。当该事件持续被检测到,每隔一个时间段c,都会有一个消息被输出,例如在第一次持续时间c之后输出事件持续信息812,在第二次持续时间c之后输出事件持续信息813。如果某一次事件在某一个持续时间c之后被检测到未发生,那么也会输出一个信息:事件结束信息814。如此往复进行,一个持续的事件,就被简化成几个简单的信息,但是这些信息却完整地描述了整个事件的过程。假定对于一个一小时的视频,一直都在持续输出,那么设定c=5min,e=5min,那么最终将会产生11条输出,这样将极大地缩减了输出的规模。

步骤S820,基于关联字段和事件状态信息,组织视频序列的存储结果。

在事件状态信息中添加第一关联字段将输出的事件信息和对象信息串联起来,极大地提高信息的检索效率。通过在输出的事件状态信息中将与该事件状态信息有关的对象信息添加到该第一关联字段中,以此来解决事件状态信息与对象信息之间孤立的问题。同时,该方式也能方便使用者通过该第一关联字段检索到所有与事件有关的对象信息。

假如事件检测到的是人脸人体,那么事件的主要关联信息如下表1:

表1 事件的主要关联信息

由表1可以看出,对于输出的一组事件状态信息,标定一个唯一的事件标识。对于与事件相关的关联信息即人脸人体集合,可能包含人脸标识1、人脸标识2、人体标识1、人体标识2等元素,将集合中的每一元素添加在第一关联字段中,并标明相应的类型信息和标识信息。

对于视频序列中检测到的人脸信息,描述人脸的主要关联信息如表2所示:

表2 人脸的主要关联信息

由表2可以看出,对于输出的人脸信息,标定人脸标识,同时需要添加该人脸信息的关联信息如人体信息和事件信息,则分别添加在第二关联字段中,并标明相应的类型信息和标识信息。

对于视频序列中检测到的人脸信息,描述人脸的主要关联信息如表3所示:

表3 事件的主要关联信息

由表3可以看出,对于输出的人体信息,标定人体标识,同时需要添加该人体信息的关联信息如人脸信息和事件信息,则分别添加在第三关联字段中,并标明相应的类型信息和标识信息。

需要注意的是,由于面向的智慧城市出现的复杂场景,很多时候,出现的人脸与人体并不能成对出现,因此可能出现人脸的关联关系中没有人体信息,人体的关联关系中没有人脸的相关信息。以上便是对输出信息的描述,经过这样的设计,极大地方便了检索的过程。

假如想通过某一事件去检索相关的参与人,那么只要获取到事件标识,通过关联字段(associations)输出人脸标识与人体标识即可。

假如只有人脸或者人体的图片,那么想要知道该人参与了哪些事件,只需要获取该人脸或者人体在图库中的比对信息,获取其人脸标识或人体标识即身份标识,根据这个身份标识去检索事件的事件标识,则可以输出其参与的事件,以及参与事件的时间长短。如上设计便能极大地压缩了事件输出的信息量,删除了冗余的信息,以及极大地提升了检索的效率,将事件与参与人信息绑定起来,实现了输出信息的智能化。

本申请实施例定义了视频序列中出现事件时,通过一组事件状态信息完整地描述了事件的详细信息,同时由于设置了在每一个状态的输出,极大地减少了冗余信息的输出,保证了存储信息的价值。这样考虑了事件输出的压缩,以及完整描述了事件发生过程,解决了相关技术中事件输出冗余,信息量庞大,未能将事件过程体现出来的问题。

本申请实施例定义了输出信息的关联性:将事件和参与人等信息通过关联字段关联起来,有效地串联了事件和参与人。能有效地减少检索的过程以及丰富了检索的方法。这样充分考虑了输出事件与参与人的关系,提供了关联字段,极大地方便了检索过程。本申请实施例可以应用于能实时获取视频流,且视频中有事件发生的各种场景中。

基于前述的实施例,本申请实施例再提供一种信息的存储装置,所述装置包括所包括的各模块、以及各模块所包括的各子模块以及各单元,可以通过电子设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(Central Processing Unit,CPU)、微处理器(Micro Processing Unit,MPU)、数字信号处理器(Digital Signal Processor,DSP)或现场可编程门阵列(Field Programmable GateArray,FPGA)等。

图9A为本申请实施例提供的一种信息的存储装置的组成结构示意图,如图9A所示,所述存储装置900a包括第一获取模块910a、解析模块920a和存储模块930a,其中:

所述第一获取模块910a,用于获取图像帧序列;

所述解析模块920a,用于对所述图像帧序列进行解析,得到所述图像帧序列的解析结果;其中,所述解析结果包括所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息;

所述存储模块930a,用于将所述解析结果作为所述图像帧序列的存储结果进行存储。

在一些实施例中,所述解析模块920a包括事件检测子模块,用于对所述图像帧序列中所发生的事件进行检测,得到发生的每一事件的一组事件状态信息。

在一些实施例中,所述解析结果还包括与每一所述事件相关的至少一个对象的对象信息,所述解析模块920a还包括区域确定子模块和对象识别子模块,其中:所述区域确定子模块,用于从所述图像帧序列中确定每一所述事件的事件发生区域序列;所述对象识别子模块,用于对所述事件发生区域序列进行对象识别,得到与每一所述事件相关的至少一个对象的对象信息;相应地,所述存储模块930a包括信息确定子模块和关联子模块,其中:所述信息确定子模块,用于将与每一所述事件相关的至少一个对象的对象信息作为每一所述事件的关联信息;所述关联子模块,用于对每一所述事件的一组事件状态信息和每一所述事件的关联信息进行关联,得到所述图像帧序列的存储结果。

在一些实施例中,所述一组事件状态信息中包括至少一组第一关联字段,所述关联子模块包括属性确定单元、关联添加单元和存储单元;其中,所述属性确定单元,用于确定与每一所述事件相关的每一所述对象的属性信息;所述关联添加单元,用于在所述一组事件状态信息中所包括的一组所述第一关联字段中添加一所述对象的属性信息;所述存储单元,用于将添加每一所述对象的属性信息之后的每一组事件状态信息和每一所述事件的关联信息,作为所述图像帧序列的存储结果。

在一些实施例中,所述对象为人,所述对象的属性信息包括人体标识和/或人脸标识,每一组所述第一关联字段包括类型信息和标识信息;所述关联添加单元还用于在每一组所述第一关联字段的类型信息中添加人体类型,且相应第一关联字段的标识信息中添加所述人体标识;和/或,在每一组所述第一关联字段的类型信息中添加人脸类型,且相应第一关联字段的标识信息中添加所述人脸标识。

在一些实施例中,所述对象为人,所述对象信息包括人脸信息,所述人脸信息中包括至少一组第二关联字段;所述存储装置900a还包括第一确定模块和第一关联模块,其中:所述第一确定模块,用于将所述图像帧序列的解析结果中,与所述人脸信息相关的人体信息和/或至少一组事件状态信息作为所述人脸信息的关联信息;所述第一关联模块,用于基于每一组所述第二关联字段,将所述人脸信息和所述人脸信息的关联信息进行关联。

在一些实施例中,每一组所述第二关联字段包括类型信息和标识信息;所述第一关联模块包括第一确定子模块和第一添加子模块,其中:所述第一确定子模块,用于确定所述人脸信息的关联信息中的人体标识和/或至少一个事件标识;所述第一添加子模块,用于在每一组所述第二关联字段的类型信息中添加人体类型,且相应第二关联字段的标识信息中添加所述人体标识;和/或,在每一组所述第二关联字段的类型信息中添加事件类型,且相应第二关联字段的标识信息中添加每一所述事件标识。

在一些实施例中,所述对象为人,所述对象信息包括人体信息,所述人体信息中包括至少一个第三关联字段;所述存储装置900a还包括第二确定模块和第二关联模块,其中:所述第二确定模块,还用于将所述图像帧序列的解析结果中,与所述人体信息相关的人脸信息和/或至少一组事件状态信息作为所述人体信息的关联信息;所述第二关联模块,还用于基于每一组所述第三关联字段,将所述人体信息和所述人体信息的关联信息进行关联。

在一些实施例中,每一组所述第三关联字段包括类型信息和标识信息;所述第二关联模块包括第二确定子模块和第二添加子模块,其中:所述第二确定子模块,用于确定所述人体信息的关联信息中的人脸标识和/或至少一个事件标识;所述第二添加子模块,用于在每一组所述第三关联字段的类型信息中添加人体类型,且相应第三关联字段的标识信息中添加所述人脸标识;和/或,在每一组所述第三关联字段的类型信息中添加事件类型,且相应第三关联字段的标识信息中添加每一所述事件标识。

在一些实施例中,所述事件检测子模块包括初始帧确定单元、状态检测单元、信息输出单元,其中:所述初始帧确定单元,用于响应于在所述图像帧序列中检测到每一所述事件进入激活状态,将所述激活状态的图像帧作为初始图像帧;所述状态检测单元,用于基于在所述初始图像帧的采集时间之后的至少两个时间段内采集的图像帧,检测每一所述事件在每一所述时间段内的状态;其中,不同所述时间段表征每一所述事件的不同状态阶段;所述信息输出单元,用于基于每一所述事件在每一所述时间段内的状态,输出每一所述事件的一组输出状态信息。

在一些实施例中,所述至少两个时间段包括第一时间段和以所述第一时间段的结束时刻为起始时刻的至少一个连续的第二时间段;所述一组输出状态信息包括事件开始信息、事件持续信息或事件结束信息;所述信息输出单元,还用于响应于每一所述事件的开始时长超过所述第一时间段,确认所述事件为开始状态,在所述第一时间段的结束时刻,输出所述事件开始信息;响应于每一所述事件在所述至少一个第二时间段内为持续状态,在每间隔所述第二时间段后输出一次所述事件持续信息;响应于每一所述事件在所述第二时间段内为结束状态,在所述第二时间段的结束时刻,输出所述事件结束信息。

这里需要指出的是:以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。

基于前述的实施例,本申请实施例再提供一种信息的检索装置,所述装置包括所包括的各模块、以及各模块所包括的各子模块以及各单元,可以通过电子设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器、微处理器、数字信号处理器或现场可编程门阵列等。

图9B为本申请实施例提供的一种信息的检索装置的组成结构示意图,如图9B所示,所述检索装置900b包括第二获取模块910b、第三确定模块920b和输出模块930b,其中:

所述第二获取模块910b,用于获取待检索的至少一个关键词;

所述第三确定模块920b,用于从图像帧序列的存储结果中,确定每一所述关键词对应的检索结果;其中,图像帧序列的存储结果包括以下至少之一:所述图像帧序列中所发生的每一事件的一组事件状态信息;所述一组事件状态信息中存储有与相应事件相关的对象的属性信息;

所述输出模块930b,用于输出所述检索结果。

在一些实施例中,所述至少一个关键词为所述图像帧序列中所发生的至少一个事件的事件标识,所述第三确定模块920b包括事件信息确定子模块,用于基于每一所述事件标识,从所述图像帧序列的存储结果中,确定相应事件对应的一组事件状态信息。

在一些实施例中,所述一组事件状态信息中包括至少一个第一关联字段,所述存储结果还包括每一所述事件的关联信息;所述第三确定模块920b还包括对象属性确定子模块和对象信息确定子模块,其中:所述对象属性确定子模块,用于基于每一组所述第一关联字段,从每一所述事件的一组事件状态信息中确定与相应事件相关的每一所述对象的属性信息;所述对象信息确定子模块,用于基于每一所述对象的属性信息,从每一所述事件的关联信息中确定相应对象的对象信息。

在一些实施例中,所述至少一个关键词为与事件相关的至少一个目标对象的属性信息,所述存储结果还包括所述事件的关联信息;所述第三确定模块920b包括对象信息确定子模块,用于基于每一所述目标对象的属性信息,从所述事件的关联信息中确定所述目标对象的对象信息。

在一些实施例中,所述对象信息中包括至少一组事件关联字段,所述事件关联字段用于存储与相应对象信息相关的一个事件标识,所述检索装置900b还包括第四确定模块和第五确定模块,其中:所述第四确定模块,用于基于所述至少一组事件关联字段,确定所述目标对象所参与的至少一个关联事件的事件标识;所述第五确定模块,用于基于每一所述关联事件的事件标识,从所述图像帧序列的存储结果中,确定与相应关联事件对应的一组事件状态信息。

在一些实施例中,所述一组事件状态信息至少包括事件开始信息和事件结束信息,所述检索装置900b还包括第六确定模块,用于基于每一所述关联事件对应的一组事件状态信息,确定所述目标对象参与每一所述关联事件的持续时间。

在一些实施例中,所述第六确定模块包括时刻确定子模块和时长确定子模块,其中:所述时刻确定子模块,用于确定所述目标对象参与每一所述关联事件对应的所述事件开始信息的第一输出时刻和所述事件结束信息的第二输出时刻;所述时长确定子模块,用于基于所述第一输出时刻和所述第二输出时刻,确定所述目标对象参与每一所述关联事件的持续时间。

在一些实施例中,所述目标对象为人,所述目标对象的属性信息包括人体标识和/或人脸标识,所述对象信息包括人体信息和/或人脸信息;在所述人脸信息中,所述至少一组事件关联字段为至少一组包括类型信息和标识信息的第二关联字段,其中,每一组所述第二关联字段的类型信息用于添加人体类型或事件类型,且每一组所述第二关联字段的标识信息用于添加相应人体标识,或与所述人脸信息相关的事件标识;在所述人体信息中,所述至少一组事件关联字段为至少一组包括类型信息和标识信息的第三关联字段,其中,每一组所述第三关联字段的类型信息用于添加人脸类型或事件类型,且每一组所述第二关联字段的标识信息用于添加相应人脸标识,或与所述人体信息相关的事件标识。

这里需要指出的是:以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。

需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述信息的存储方法或检索方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是具有摄像头的智能手机、平板电脑等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ReadOnly Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。

对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中任一所述信息的存储方法中的步骤;或者该计算机程序被处理器执行时实现上述实施例中任一所述信息的检索方法中的步骤。对应地,本申请实施例中,还提供了一种芯片,所述芯片包括可编程逻辑电路和/或程序指令,当所述芯片运行时,用于实现上述实施例中任一所述信息的存储方法中的步骤;或者用于实现上述实施例中任一所述信息的检索方法中的步骤。对应地,本申请实施例中,还提供了一种计算机程序产品,当该计算机程序产品被电子设备的处理器执行时,其用于实现上述实施例中任一所述信息的存储方法中的步骤;或者用于实现上述实施例中任一所述信息的检索方法中的步骤。

基于同一技术构思,本申请实施例提供一种电子设备,用于实施上述方法实施例记载的信息的存储方法或者检索方法。图10为本申请实施例提供的一种电子设备的硬件实体示意图,如图7所示,所述电子设备1000包括存储器1010和处理器1020,所述存储器1010存储有可在处理器1020上运行的计算机程序,所述处理器1020执行所述程序时实现本申请实施例任一所述信息的存储方法中的步骤;或者执行所述程序时实现本申请实施例任一所述信息的检索方法中的步骤。

存储器1010配置为存储由处理器1020可执行的指令和应用,还可以缓存待处理器1020以及电子设备中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。

处理器1020执行程序时实现上述任一项的信息的存储方法的步骤,或者实现上述任一项的信息的检索方法的步骤。处理器1020通常控制电子设备1000的总体操作。

上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable LogicDevice,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。

上述计算机存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。

这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。

应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。

另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。

以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

相关技术
  • 信息的存储方法、检索方法及装置、设备、存储介质
  • 模组信息存储方法、模组信息检索方法、模组信息存储装置和测试设备
技术分类

06120113822336