掌桥专利:专业的专利平台
掌桥专利
首页

一种对象抓拍方法及装置

文献发布时间:2023-06-19 13:43:30


一种对象抓拍方法及装置

技术领域

本申请涉及视频监控技术领域,特别是涉及一种对象抓拍方法及装置。

背景技术

随着视频监控技术的发展,视频监控设备被广泛地布控在各类公共场所。大量的视频监控设备的广泛布控,导致视频监控设备的数量急剧增多。大量的视频监控设备会产生海量的视频数据。为了提高视频数据的使用效率,抓拍技术得到了迅速发展。

目前,相关技术中多为人脸抓拍方法,具体为,过滤掉视频数据中大量非人脸数据和质量差的数据,而保留高质量的人脸数据。相关技术中的人脸抓拍方法,采用固定的质量评价模型,人脸抓拍的灵活性较差。

发明内容

本申请实施例的目的在于提供一种对象抓拍方法及装置,以提高对象抓拍的灵活性。具体技术方案如下:

第一方面,本申请实施例提供了一种对象抓拍方法,所述方法包括:

获取包含所述对象的图像序列数据,所述图像序列数据包括多个第一对象图像;

基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分;其中,所述预设质量评价模型包括可调节的各个图像质量因素的权重;

根据每个第一对象图像的质量评分,从所述多个第一对象图像中确定第一目标对象图像。

可选的,所述基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分的步骤,包括:

确定每个第一对象图像中各个图像质量因素的目标分数;

针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像中各个图像质量因素的目标分数输入预设质量评价模型,以利用各个图像质量因素的目标权重,对该第一对象图像中各个图像质量因素的目标分数进行加权处理,得到该第一对象图像的质量评分。

可选的,所述预设质量评价模型为根据第一预设训练数据对预设神经网络模型进行训练得到的模型,所述第一预设训练数据包括:样本对象图像中各个质量因素的样本分数、各个图像质量因素的权重以及所述样本对象图像的样本质量评分;

所述基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分的步骤,包括:

确定每个第一对象图像中各个图像质量因素的目标分数;

针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像中各个图像质量因素的目标分数输入所述预设质量评价模型,得到该第一对象图像的质量评分。

可选的,所述预设质量评价模型为根据第二预设训练数据对预设神经网络模型进行训练得到的模型,所述第二预设训练数据包括:样本对象图像、各个图像质量因素的权重以及所述样本对象图像的样本质量评分;

所述基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分的步骤,包括:

针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像分别输入所述预设质量评价模型,得到该第一对象图像的质量评分。

可选的,所述获取包含所述对象的图像序列数据的步骤,包括:

对视频流数据中的所述对象进行行为分析,得到包含所述对象的图像序列数据。

可选的,在确定所述第一目标对象图像之后,还包括:

将所述第一目标对象图像与多个预存图像进行匹配,获得与所述第一目标对象图像匹配的预存图像;

执行所获得的预存图像对应的处理操作。

可选的,所述图像序列数据为第一应用场景的数据;

当获取到第二应用场景的新图像序列数据时,重新确定各个图像质量因素的目标权重,所述新图像序列数据包括多个第二对象图像;

基于重新确定的各个图像质量因素的目标权重,以及所述预设质量评价模型,确定每个第二对象图像的质量评分;

根据每个第二对象图像的质量评分,从所述多个第二对象图像中确定第二目标对象图像。

第二方面,本申请实施例提供了一种对象抓拍装置,所述装置包括:

获取模块,用于获取包含所述对象的图像序列数据,所述图像序列数据包括多个第一对象图像;

第一确定模块,用于基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分;其中,所述预设质量评价模型包括可调节的各个图像质量因素的权重;

第二确定模块,用于根据每个第一对象图像的质量评分,从所述多个第一对象图像中确定第一目标对象图像。

可选的,所述第一确定模块,具体用于:

确定每个第一对象图像中各个图像质量因素的目标分数;

针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像中各个图像质量因素的目标分数输入预设质量评价模型,以利用各个图像质量因素的目标权重,对该第一对象图像中各个图像质量因素的目标分数进行加权处理,得到该第一对象图像的质量评分。

可选的,所述预设质量评价模型为根据第一预设训练数据对预设神经网络模型进行训练得到的模型,所述第一预设训练数据包括:样本对象图像中各个质量因素的样本分数、各个图像质量因素的权重以及所述样本对象图像的样本质量评分;

所述第一确定模块,具体用于:

确定每个第一对象图像中各个图像质量因素的目标分数;

针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像中各个图像质量因素的目标分数输入所述预设质量评价模型,得到该第一对象图像的质量评分。

可选的,所述预设质量评价模型为根据第二预设训练数据对预设神经网络模型进行训练得到的模型,所述第二预设训练数据包括:样本对象图像、各个图像质量因素的权重以及所述样本对象图像的样本质量评分;

所述第一确定模块,具体用于:

针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像分别输入所述预设质量评价模型,得到该第一对象图像的质量评分。

可选的,所述获取模块,具体用于:

对视频流数据中的所述对象进行行为分析,得到包含所述对象的图像序列数据。

可选的,所述第二确定模块,还用于:

将所述第一目标对象图像与多个预存图像进行匹配,获得与所述第一目标对象图像匹配的预存图像;

执行所获得的预存图像对应的处理操作。

可选的,所述图像序列数据为第一应用场景的数据;所述装置还包括:

第三确定模块,用于当获取到第二应用场景的新图像序列数据时,重新确定各个图像质量因素的目标权重,所述新图像序列数据包括多个第二对象图像;

所述第一确定模块,还用于基于重新确定的各个图像质量因素的目标权重,以及所述预设质量评价模型,确定每个第二对象图像的质量评分;

所述第二确定模块,还用于根据每个第二对象图像的质量评分,从所述多个第二对象图像中确定第二目标对象图像。

第三方面,本申请实施例提供了一种电子设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现上述任一所述的对象抓拍方法步骤。

第四方面,本申请实施例提供了一种抓拍机,包括摄像头、处理器和机器可读存储介质,所述摄像头用于采集图像序列数据,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令以及所述图像序列数据,所述处理器被所述机器可执行指令促使:实现上述任一所述的对象抓拍方法步骤。

第五方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序产品,所述计算机程序产品被处理器执行时实现上述任一所述的对象抓拍方法步骤。

本申请实施例有益效果:

本申请实施例提供的技术方案中,获取包含对象的图像序列数据,基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分。根据每个第一对象图像的质量评分,从多个第一对象图像中确定第一目标对象图像。其中,预设质量评价模型包括可调节的各个图像质量因素的权重。如果需要切换应用场景,只要调节该第一对象图像对应的各个图像质量因素的权重,便可强化或弱化图像质量因素对整体质量评分的影响,从而适应性的改变质量评价结果,提高对象抓拍的灵活性。

当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的对象抓拍方法的第一种流程示意图;

图2为本申请实施例提供的对象抓拍方法的第二种流程示意图;

图3为本申请实施例提供的对象抓拍方法的第三种流程示意图;

图4为本申请实施例提供的预设质量评价模型的训练方法的第一种流程示意图;

图5为本申请实施例提供的对象抓拍方法的第四种流程示意图;

图6为本申请实施例提供的预设质量评价模型的训练方法的第二种流程示意图;

图7为本申请实施例提供的对象抓拍方法的第五种流程示意图;

图8为本申请实施例提供的对象抓拍方法的第六种流程示意图;

图9为本申请实施例提供的对象抓拍装置的一种结构示意图;

图10为本申请实施例提供的电子设备的一种结构示意图;

图11为本申请实施例提供的抓拍机的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。

随着视频监控技术的发展,视频监控设备被广泛地布控在各类公共场所。大量的视频监控设备的广泛布控,导致视频监控设备的数量急剧增多。大量的视频监控设备会产生海量的视频数据。为了提高视频数据的使用效率,抓拍技术得到了迅速发展。

目前,相关技术中,多为人脸抓拍方法,具体为,过滤掉视频数据中大量非人脸数据和质量差的数据,而保留高质量的人脸数据。

然而,相关技术中的人脸抓拍方法,采用固定的质量评价模型,确定特定应用场景中人脸图像的质量评分。如果需要切换应用场景,则需要重新获取训练集,训练质量评价模型,以使质量评价模型适用于切换后的应用场景。这使得人脸抓拍的灵活性较差。

为了解决上述问题,本申请实施例提供了一种对象抓拍方法。该对象抓拍方法可以适用于视频监控设备以及与视频监控设备连接的电子设备,视频监控设备可以为抓拍机。该对象抓拍方法中,获取包含对象的图像序列数据,基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分。根据每个第一对象图像的质量评分,从多个第一对象图像中确定第一目标对象图像。其中,预设质量评价模型包括可调节的各个图像质量因素的权重。如果需要切换应用场景,只要调节该第一对象图像对应的各个图像质量因素的权重,便可强化或弱化图像质量因素对质量评分的影响,从而适应性的改变质量评价结果,提高对象抓拍的灵活性。

下面通过具体实施例,对本申请实施例提供的对象抓拍方法进行详细说明。为便理解,下面以电子设备为执行主体进行说明,并不起限定作用。

如图1所示,图1为本申请实施例提供的对象抓拍方法的第一种流程示意图,该对象抓拍方法包括如下步骤。

步骤S101,获取包含对象的图像序列数据,图像序列数据包括多个第一对象图像。

本申请实施例中,对象可以为面部或身体。其中,面部可以为人脸或动物面部等;身体可以为人体或动物身体等。

本申请实施例中,图像序列数据可以从视频流数据中提取得到。例如,电子设备获取视频流数据,对视频流数据中的对象进行行为分析,得到包含同一对象的图像序列数据。其中,视频流数据可以为视频监控设备实时采集的数据,也可以为预先存储在电子设备中的数据,对此不进行限定。

本申请实施例中,图像序列数据还可以为预先存储在电子设备中的数据。即,电子设备可以直接获取预先存储的包含同一对象的图像序列数据。

步骤S102,基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分;其中,预设质量评价模型包括可调节的各个图像质量因素的权重。

其中,图像质量因素可以包括面部姿态、面部大小、清晰程度、光照程度和面部的被遮挡程度等因素中的一种或多种。

预设质量评价模型可以为神经网络模型,也可以为深度神经网络模型,对此不进行限定。预设质量评价模型包括可调节的各个图像质量因素的权重。也就是,可以根据对象所处的应用场景,调节预设质量评价模型所包括的各个图像质量因素的权重,强化或弱化各个图像质量因素对图像质量评价的影响。

本申请实施例中,各个图像质量因素的目标权重可以根据应用场景的切换而改变。以对象为人脸为例进行说明。例如,在戴口罩人脸的数量较少,不戴口罩人脸的数量较多的场景中,人脸被遮挡程度的目标权重可以增大,以提高人脸被遮挡程度因素对整体质量评分的影响;在戴口罩人脸的数量较多,不戴口罩人脸的数量较少的场景中,人脸被遮挡程度的目标权重可以减小,以降低人脸被遮挡程度因素对整体质量评分的影响。

本申请实施例中,在获取到图像序列数据后,电子设备基于各个图像质量因素的目标权重,可以将预设质量评价模型所包括的各个图像质量因素的权重调整为相应的目标权重。进而电子设备利用该具有各个图像质量因素的目标权重的预设质量评价模型,对图像序列数据中每个第一对象图像进行质量评价,得到每个第一对象图像的质量评分。

步骤S103,根据每个第一对象图像的质量评分,从多个第一对象图像中确定第一目标对象图像。

本申请实施例中,电子设备中可以预设抓拍策略。电子设备通过预设质量评价模型得出每个第一对象图像的质量评分之后,根据预设抓拍策略,可以从多个第一对象图像中确定第一目标对象图像。电子设备可以存储第一目标对象图像,以便后续进行对象识别。

抓拍策略可以为:将质量评分高于预设质量评分的该第一对象图像作为第一目标对象图像。其中,预设质量评分可以根据实际需求进行设定。

例如,预设质量评分为90,则对于每个第一对象图像,若该第一对象图像的质量评分高于90,则将该第一对象图像确定为第一目标对象图像;反之,该第一对象图像的质量评分等于或小于90,则该第一对象图像不作为第一目标对象图像。

抓拍策略还可以为:将质量评分最高的预设数量张第一对象图像确定为第一目标对象图像。其中,预设数量可以根据实际需求进行设定。例如,预设数量可以为10或20等。

上述两种抓拍策略仅作为举例,对抓拍策略并不进行限定。

本申请实施例提供的技术方案中,获取包含对象的图像序列数据,基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分。根据每个第一对象图像的质量评分,从多个第一对象图像中确定第一目标对象图像。其中,预设质量评价模型包括可调节的各个图像质量因素的权重。如果需要切换应用场景,只要调节该第一对象图像对应的各个图像质量因素的权重,便可强化或弱化图像质量因素对质量评分的影响,从而适应性的改变质量评价结果,提高对象抓拍的灵活性。

本申请的一个实施例中,当应用场景发生变化时,例如步骤S101中图像序列数据为第一应用场景的数据;当获取到第二应用场景的新图像序列数据时,电子设备重新确定各个图像质量因素的目标权重,新图像序列数据包括多个第二对象图像。该重新确定的各个图像质量因素的目标权重适用于第二应用场景。电子设备基于重新确定的各个图像质量因素的目标权重,执行步骤S102和103,即基于重新确定的各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第二对象图像的质量评分;根据每个第二对象图像的质量评分,从多个第二对象图像中确定第二目标对象图像。

可见,本申请实施例中,如果需要切换应用场景,只要调节该第一对象图像对应的各个图像质量因素的权重,便可强化或弱化图像质量因素对质量评分的影响,从而适应性的改变质量评价结果,提高对象抓拍的灵活性。

本申请的一个实施例中,本申请实施例还提供了一种对象抓拍方法,如图2所示。该方法中,步骤S102可以细化为步骤S1021和步骤S1022。

步骤S1021,确定每个第一对象图像中各个图像质量因素的目标分数。

本申请实施例中,对于每个第一对象图像,电子设备对该第一对象图像中各个图像质量因素分别进行统计,得到各个图像质量因素的分数,即各个图像质量因素的目标分数。

例如,图像质量因素包括面部姿态、面部大小、清晰程度、光照程度和面部的被遮挡程度。对于每个第一对象图像,电子设备对该第一对象图像中各个图像质量因素分别进行统计,得到面部姿态的目标分数、面部大小的目标分数、清晰程度的目标分数、光照程度的目标分数和面部的被遮挡程度的目标分数。

本申请实施例中,第一对象图像中各个图像质量因素的目标分数的确定可以通过深度神经网络学习得到,也可以利用人工选择的特征按照预设算法计算得到,对此不进行限定。

步骤S1022,针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像中各个图像质量因素的目标分数输入预设质量评价模型,以利用各个图像质量因素的目标权重,对该第一对象图像中各个图像质量因素的目标分数进行加权处理,得到该第一对象图像的质量评分。

本申请实施例中,预设质量评价模型用于利用输入的各个图像质量因素的权重,对输入的各个图像质量因素的分数进行加权处理。基于此,针对每个第一对象图像,电子设备将各个图像质量因素的目标权重以及该第一对象图像中各个图像质量因素的目标分数输入预设质量评价模型,以将该第一对象图像中各个图像质量因素的目标分数和目标权重进行加权处理,可得到该第一对象图像的质量评分。

一个可选的实施例中,针对每个第一对象图像,电子设备可以利用如下公式(即预设质量评价模型),确定该第一对象图像的质量评分。

其中,Score表示第一对象图像的质量评分,n表示图像质量因素的总数,α

一个可选的实施例中,针对每个第一对象图像,电子设备可以利用如下公式(即预设质量评价模型),确定该第一对象图像的质量评分。

其中,Score表示第一对象图像的质量评分,n表示图像质量因素的总数,α

本申请实施例中,电子设备还可以采用其他方式对第一对象图像中各个图像质量因素的目标分数和目标权重进行加权处理,对此不进行限定。

本申请实施例提供的技术方案中,可以通过开放的接口,根据实际情况自行配置各个图像质量因素的权重,获取符合需求的个性化最优第一对象图像,进而提升了对象抓拍的适应性。

本申请的一个实施例中,预设质量评价模型为根据第一预设训练数据对神经网络模型进行训练得到的模型,第一预设训练数据可以包括:样本对象图像中各个图像质量因素的样本分数、各个图像质量因素的权重以及样本对象图像的样本质量评分。

在这种情况下,本申请实施例还提供了一种对象抓拍方法,如图3所示。该方法中,步骤S102可以细化为步骤S1023和步骤S1024。

步骤S1023,确定每个第一对象图像中各个图像质量因素的目标分数。步骤S1023与步骤S1021相同。

步骤S1024,针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像中各个图像质量因素的目标分数输入预设质量评价模型,得到该第一对象图像的质量评分。

实际应用中,神经网络模型通过不断的学习和总结,在这些训练数据中找到有共性的可归类的重复模式,并基于这种重复模式建立一个具有数据特征规律的模型。本申请实施例中,第一预设训练数据包括样本对象图像中各个图像质量因素的样本分数、各个图像质量因素的权重以及样本对象图像的样本质量评分,电子设备利用第一预设训练数据,可以建立起符合第一预设训练数据中数据特征规律的神经网络模型,即预设质量评价模型。

对于每个第一对象图像,电子设备将该第一对象图像的各个图像质量因素的目标分数和目标权重作为输入数据,并将该第一对象图像的输入数据输入预设质量评价模型;预设质量评价模型对输入数据进行处理后,输出该第一对象图像的质量评分。

本申请实施例提供的技术方案中,预设质量评价模型利用第一预设训练数据进行训练得到,该预设质量评价模型能够充分学习到图像质量因素的分数和权重,以及第一对象图像的样本质量评分之间的数据特征规律,避免了主观因素的影响,提高第一对象图像的质量评分的准确性,进而提升了对象抓拍的适应性。

基于上述图3所示实施例,本申请实施例提供了一种预设质量评价模型的训练方法,如图4所示,该方法可以包括如下步骤:

步骤S401,获取第一预设训练数据,其中,第一预设训练数据包括:样本对象图像中各个质量因素的样本分数、各个图像质量因素的权重以及样本对象图像的样本质量评分。

本申请实施例中,第一预设训练数据可以包括多个样本对象图像的相应数据,如上样本对象图像中各个质量因素的样本分数、各个图像质量因素的权重以及样本对象图像的样本质量评分等。第一预设训练数据包括的数据所来自的样本对象图像的数量可根据实际需求设置。

若对预设质量评价模型进行质量评估的准确性要求较高,样本对象图像的数量可以设置为较大的值。若电子设备的性能较低,样本对象图像的数量可以设置为较小的值。

步骤S402,将各个质量因素的样本分数以及各个图像质量因素的权重输入预设神经网络模型,得到样本对象图像的预测质量评分。

电子设备将第一预设训练数据中各个图像质量因素的样本分数和各个图像质量因素的权重作为输入数据,并将该输入数据输入预设神经网络模型;预设神经网络模型对该输入数据进行处理后,输出样本对象图像的预测质量评分。

步骤S403,根据样本对象图像的预测质量评分和样本质量评分,确定质量评估的损失值。

本申请实施例中,电子设备可以计算样本对象图像的预测质量评分和样本质量评分的差值,将该差值作为质量评估的损失值。

电子设备还可以使用均方误差(Mean Squared Error,MSE)函数作为损失函数,利用样本对象图像的预测质量评分和样本质量评分,确定质量评估的损失值。

本申请实施例中,电子设备还可以采用其他算法,确定质量评估的损失值,对此不进行限定。

步骤S404,根据质量评估的损失值,确定预设神经网络模型是否收敛;若是,则执行步骤S405;若否,则执行步骤S406。

本申请实施例中,电子设备可以预先设置一个损失阈值,即预设损失阈值。若所确定的损失值小于预设损失阈值,则电子设备可确定预设神经网络模型收敛,进而执行步骤S405。否则,电子设备可确定预设神经网络模型未收敛,进而执行步骤S406。

本申请实施例中,电子设备还可以设置预设迭代次数阈值。若所确定的损失值大于或等于预设损失阈值,但对预设神经网络模型进行迭代训练的次数达到预设迭代次数阈值,则电子设备可确定预设神经网络模型收敛,进而执行步骤S405。若所确定的损失值大于或等于预设损失阈值,且对预设神经网络模型进行迭代训练的次数小于预设迭代次数阈值,则电子设备可确定预设神经网络模型未收敛,进而执行步骤S406。

步骤S405,结束训练,将当前的预设神经网络模型作为预设质量评价模型。

步骤S406,调整预设神经网络模型的参数,返回执行步骤S402。

本申请实施例中,电子设备可以采用反向传播算法或梯度下降算法,调整预设神经网络模型的参数,并返回执行步骤S402,以继续对预设神经网络模型进行迭代训练,直至确定预设神经网络模型收敛。

本申请实施例提供的技术方案中,利用样本对象图像中各个质量因素的样本分数、适用于不同应用场景的各个图像质量因素的权重、以及样本对象图像的样本质量评分,对预设神经网络模型进行训练,得到预设质量评价模型。该预设质量评价模型能够充分学习到图像质量因素的分数、适用于不同应用场景的图像质量因素的权重,以及第一对象图像的样本质量评分之间的数据特征规律,避免了主观因素的影响。进而利用预设质量评价模型对第一对象图像进行质量评估,可以提高对不同应用场景的第一对象图像进行质量评估的准确性,满足不同应用场景的多样性需求,进而提升了对象抓拍的适应性。

本申请的另一个实施例中,预设质量评价模型为根据第二预设训练数据对预设神经网络模型进行训练得到的模型,第二预设训练数据可以包括:样本对象图像、各个图像质量因素的权重以及样本对象图像的样本质量评分。

在这种情况下,本申请实施例还提供了一种对象抓拍方法,如图5所示。该方法中,步骤S102可以细化为步骤S1025。

步骤S1025,针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像分别输入预设质量评价模型,得到该第一对象图像的质量评分。

对于每个第一对象图像,电子设备将该第一对象图像和各个图像质量因素的目标权重作为输入数据,并将该第一对象图像的输入数据输入预设质量评价模型;预设质量评价模型对输入数据进行处理后,输出该第一对象图像的质量评分。

本申请实施例提供的技术方案中,预设质量评价模型利用第二预设训练数据进行训练得到,该预设质量评价模型能够充分学习到第一对象图像、图像质量因素的权重,以及第一对象图像的样本质量评分之间的数据特征规律,避免了主观因素的影响,提高第一对象图像的质量评分的准确性,进而提升了对象抓拍的适应性。

另外,本申请实施例提供的技术方案中,省略了预先获取第一对象图像中各个图像质量因素的分数的中间过程,简化了图像质量评估的复杂度。

基于上述图5所示实施例,本申请实施例提供了一种预设质量评价模型的训练方法,如图6所示,该方法可以包括如下步骤:

步骤S601,获取第二预设训练数据,其中,第二预设训练数据包括:样本对象图像、各个图像质量因素的权重以及样本对象图像的样本质量评分。

本申请实施例中,第二预设训练数据可以包括多个样本对象图像的相应数据,如上样本对象图像、各个图像质量因素的权重以及样本对象图像的样本质量评分等。第二预设训练数据包括的数据所来自的样本对象图像的数量可根据实际需求设置。

若对预设质量评价模型进行质量评估的准确性要求较高,样本对象图像的数量可以设置为较大的值。若电子设备的性能较低,样本对象图像的数量可以设置为较小的值。

步骤S602,将样本对象图像和各个图像质量因素的权重输入预设神经网络模型,得到样本对象图像的预测质量评分。

电子设备将第二预设训练数据中样本对象图像和各个图像质量因素的权重作为输入数据,并将该输入数据输入预设神经网络模型;预设神经网络模型对该输入数据进行处理后,输出样本对象图像的预测质量评分。

步骤S603,根据样本对象图像的预测质量评分和样本质量评分,确定质量评估的损失值。

本申请实施例中,电子设备可以计算样本对象图像的预测质量评分和样本质量评分的差值,将该差值作为质量评估的损失值。

电子设备还可以使用均方误差函数作为损失函数,利用样本对象图像的预测质量评分和样本质量评分,确定质量评估的损失值。

本申请实施例中,电子设备还可以采用其他算法,确定质量评估的损失值,对此不进行限定。

步骤S604,根据质量评估的损失值,确定预设神经网络模型是否收敛;若是,则执行步骤S605;若否,则执行步骤S606。

本申请实施例中,电子设备可以预先设置一个损失阈值,即预设损失阈值。若所确定的损失值小于预设损失阈值,则电子设备可确定预设神经网络模型收敛,进而执行步骤S605。否则,电子设备可确定预设神经网络模型未收敛,进而执行步骤S606。

本申请实施例中,电子设备还可以设置预设迭代次数阈值。若所确定的损失值大于或等于预设损失阈值,但对预设神经网络模型进行迭代训练的次数达到预设迭代次数阈值,则电子设备可确定预设神经网络模型收敛,进而执行步骤S605。若所确定的损失值大于或等于预设损失阈值,且对预设神经网络模型进行迭代训练的次数小于预设迭代次数阈值,则电子设备可确定预设神经网络模型未收敛,进而执行步骤S606。

步骤S605,结束训练,将当前的预设神经网络模型作为预设质量评价模型。

步骤S606,调整预设神经网络模型的参数,返回执行步骤S602。

本申请实施例中,电子设备可以采用反向传播算法或梯度下降算法,调整预设神经网络模型的参数,并返回执行步骤S602,以继续对预设神经网络模型进行迭代训练,直至确定预设神经网络模型收敛。

本申请实施例提供的技术方案中,利用样本对象图像、适用于不同应用场景的各个图像质量因素的权重、以及样本对象图像的样本质量评分,对预设神经网络模型进行训练,得到预设质量评价模型。该预设质量评价模型能够充分学习到样本对象图像、适用于不同应用场景的图像质量因素的权重,以及第一对象图像的样本质量评分之间的数据特征规律,避免了主观因素的影响。进而利用预设质量评价模型对第一对象图像进行质量评估,可以提高对不同应用场景的第一对象图像进行质量评估的准确性,满足不同应用场景的多样性需求,进而提升了对象抓拍的适应性。

本申请的一个实施例中,本申请实施例还提供了一种对象抓拍方法,如图7所示。该方法中,在步骤S103后还可以包括步骤S104和步骤S105。

步骤S104,将第一目标对象图像与多个预存图像进行匹配,获得与第一目标对象图像匹配的预存图像。

本申请实施例中,电子设备中可以预先存储多个图像,即多个预存图像。在确定第一目标对象图像后,电子设备将第一目标对象图像与多个预存图像进行匹配,获得与第一目标对象图像匹配的预存图像。

本申请实施例中,电子设备可以计算第一目标对象图像与预存图像之间的相似度,若计算得到相似度大于预设相似度阈值,则可确定第一目标对象图像与该预存图像匹配。

本申请实施例中,若电子设备计算得到的相似度大于预设相似度阈值的预存图像的数量为多个,则可将相似度最大的预存图像作为与第一目标对象图像匹配的预存图像;还可以从相似度大于预设相似度阈值的多个预存图像中,随机地选择一个预存图像,作为与第一目标对象图像匹配的预存图像,对此不进行限定。

步骤S105,执行所获得的预存图像对应的处理操作。

本申请实施例中,电子设备中可以预先存储预存图像与处理操作的对应关系。在获得与第一目标对象图像匹配的预存图像后,电子设备可以获取该预存图像对应的处理操作,进而执行相应的处理操作。

以小区的门禁系统为例进行说明,第一对象图像为人脸图像。门禁系统包括后台的电子设备和小区门口的视频监控设备。小区门口的视频监控设备获取实时的视频流数据,电子设备基于该视频流数据进行人脸抓拍,并获取目标人脸图像。电子设备将确定的目标人脸图像与预先存储的小区住户的人脸图像进行匹配;若存在与目标人脸图像相匹配的预存人脸图像,则可确定目标人脸图像对应的人员为小区住户,打开门禁,使得目标人脸图像对应的人员进入小区;若不存在与目标人脸图像相匹配的预存人脸图像,则可确定目标人脸图像对应的人员不是小区住户,保持门禁关闭,以禁止非小区人员进入小区。

本申请实施例提供的技术方案中,在获取第一目标对象图像后,将第一目标对象图像与预存第一对象图像进行匹配,得出与该第一目标对象图像相匹配的预存第一对象图像,并执行该预存第一对象图像所对应的处理操作。这样,获得的第一目标对象图像可以通过与该第一目标对象图像相匹配的预存图像,以及预先存储的预存图像与处理操作的对应关系,应用在各类复杂的场景中,极大地增加了对象抓拍方法的实用性。

本申请的一个实施例中,本申请实施例还提供了一种对象抓拍方法,如图8所示,可以包括如下步骤。

步骤S801,获取视频流数据。

步骤S802,对视频流数据进行对象检测识别,得到包含对象的图像序列数据。

步骤S803,基于调节的图像质量因素的权重和预设质量评价模型,获取第一对象图像序列数据中第一对象图像的质量评分。

步骤S804,基于第一对象图像的质量评分,从图像序列数据中提取第一目标对象图像。

步骤S805,上传第一目标对象图像。

本申请实施例中,步骤S801-S805部分的描述相对简单,具体可参见图1-图7的实施例。

本申请实施例提供的技术方案中,可以通过视频监控设备获取视频流数据,并对视频流数据中的对象进行检测与识别,获取同一对象的图像序列数据,基于调节的各个图像质量因素的权重和预设质量评价模型,获取第一对象图像的质量评分,基于抓拍策略对该图像序列数据进行抓拍选帧,获取第一目标对象图像,将第一目标对象图像进行上传存档或进一步做对象对比识别。

这样,通过调节各个质量因素的权重,实现强化或弱化对应图像质量因素对整体质量评分的影响,可以适应性改变质量评价结果,改变抓拍得到的第一目标对象图像,满足不同的第一目标对象图像的定义需求,灵活适应于不同人员对抓拍对象的个性化需求,以及不同应用场景对抓拍对象质量优劣的适应性要求。从而极大地提高了对象抓拍的灵活性。

与上述对象抓拍方法对应,本申请实施例提供了一种对象抓拍装置,如图9所示,该装置包括:

获取模块901,用于获取包含对象的图像序列数据,图像序列数据包括多个第一对象图像;

第一确定模块902,用于基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分;其中,预设质量评价模型包括可调节的各个图像质量因素的权重;

第二确定模块903,用于根据每个第一对象图像的质量评分,从多个第一对象图像中确定第一目标对象图像。

本申请的一个实施例中,第一确定模块902,具体可以用于:

确定每个第一对象图像中各个图像质量因素的目标分数;

针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像中各个图像质量因素的目标分数输入预设质量评价模型,以利用各个图像质量因素的目标权重,对该第一对象图像中各个图像质量因素的目标分数进行加权处理,得到该第一对象图像的质量评分。

本申请的一个实施例中,预设质量评价模型为根据第一预设训练数据对预设神经网络模型进行训练得到的模型,第一预设训练数据包括:样本对象图像中各个质量因素的样本分数、各个图像质量因素的权重以及样本对象图像的样本质量评分;

这种情况下,第一确定模块902,具体可以用于:

确定每个第一对象图像中各个图像质量因素的目标分数;

针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像中各个图像质量因素的目标分数输入预设质量评价模型,得到该第一对象图像的质量评分。

本申请的一个实施例中,预设质量评价模型为根据第二预设训练数据对预设神经网络模型进行训练得到的模型,第二预设训练数据包括:样本对象图像、各个图像质量因素的权重以及样本对象图像的样本质量评分;

这种情况下,第一确定模块902,具体可以用于:

针对每个第一对象图像,将各个图像质量因素的目标权重以及该第一对象图像分别输入预设质量评价模型,得到该第一对象图像的质量评分。

本申请的一个实施例中,获取模块901,具体可以用于:

对视频流数据中的对象进行行为分析,得到包含对象的图像序列数据。

本申请的一个实施例中,第二确定模块903,还可以用于:

将第一目标对象图像与多个预存图像进行匹配,获得与第一目标对象图像匹配的预存图像;

执行所获得的预存图像对应的处理操作。

本申请的一个实施例中,图像序列数据为第一应用场景的数据;上述对象抓拍装置还可以包括:

第三确定模块,用于当获取到第二应用场景的新图像序列数据时,重新确定各个图像质量因素的目标权重,新图像序列数据包括多个第二对象图像;

第一确定模块902,还可以用于基于重新确定的各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第二对象图像的质量评分;

第二确定模块903,还可以用于根据每个第二对象图像的质量评分,从多个第二对象图像中确定第二目标对象图像。

本申请实施例提供的技术方案中,获取包含对象的图像序列数据,基于各个图像质量因素的目标权重,以及预设质量评价模型,确定每个第一对象图像的质量评分。根据每个第一对象图像的质量评分,从多个第一对象图像中确定第一目标对象图像。其中,预设质量评价模型包括可调节的各个图像质量因素的权重。如果需要切换应用场景,只要调节该第一对象图像对应的各个图像质量因素的权重,便可强化或弱化图像质量因素对质量评分的影响,从而适应性的改变质量评价结果,提高对象抓拍的灵活性。

与上述对象抓拍方法对应,本申请实施例还提供了一种电子设备,如图10所示,包括处理器1001和机器可读存储介质1002,机器可读存储介质1002存储有能够被处理器1001执行的机器可执行指令,处理器1001被机器可执行指令促使:实现上述任一对象抓拍方法步骤。

与上述对象抓拍方法对应,在本申请提供的又一实施例中,还提供了一种抓拍机,如图11所示,包括摄像头1101、处理器1102和机器可读存储介质1103,摄像头1101用于采集图像序列数据,机器可读存储介质1103存储有能够被处理器1102执行的机器可执行指令以及图像序列数据,处理器1102被机器可执行指令促使:实现上述任一对象抓拍方法步骤。

机器可读存储介质可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,机器可读存储介质还可以是至少一个位于远离前述处理器的存储装置。

处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

与上述对象抓拍方法对应,在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序产品,所述计算机程序产品被处理器执行时实现上述任一对象抓拍方法步骤。

与上述对象抓拍方法对应,在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一对象抓拍方法。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序产品指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质和计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

相关技术
  • 一种目标对象抓拍方法、装置、视频监控设备及存储介质
  • 一种目标对象抓拍方法、装置及视频监控设备
技术分类

06120113788545