掌桥专利:专业的专利平台
掌桥专利
首页

基于目标检测的主动学习方法、装置、设备及存储介质

文献发布时间:2023-06-19 12:10:19


基于目标检测的主动学习方法、装置、设备及存储介质

技术领域

本申请涉及人工智能中的图像处理的技术领域,尤其涉及一种基于目标 检测的主动学习方法、装置、设备及存储介质。

背景技术

目标检测是计算机视觉领域的经典任务,在自动驾驶、视频监控、人机 交互和人脸检测等领域有重要应用价值,其目的是在自然场景中快速准确地 定位和识别特定目标。近年来,基于卷积神经网络的目标检测模型获得了广 泛关注和研究,极大地提升了目标检测的准确性。然而,目标检测模型要用 到大量的标注数据,需要花费大量时间和人工的方式来标注图像数据中的每 个目标,导致模型训练过程非常的耗时,且成本很高。

主动学习可以在海量的未标注数据中找到对当前模型精度提升最有帮助 的部分样本作为待标注样本,从而达到减少人力标注成本的目的,实现仅对 部分样本进行标注就能达到较好的训练效果,提升标注效率。然而,当前应 用于目标检测领域的主动学习方法通过计算图像数据的信息熵来选取样本图 像数据,选取的样本图像数据通常包括多个目标,导致单个样本图像数据的 标注成本较高,样本图像数据的总体标注成本与样本图像数据对目标检测模 型的性能改善之间的收益比不尽人意。

发明内容

本申请的主要目的在于提供一种基于目标检测的主动学习方法、装置、 设备及存储介质,旨在提高目标检测模型的样本图像数据的标注收益,从而 提高同等标注成本下的目标检测的精度。

第一方面,本申请提供一种基于目标检测的主动学习方法,包括:

获取多个候选样本图像,并从所述候选样本图像中确定第一图像块;

根据所述第一图像块,从所述候选样本图像中确定多个第二图像块,其 中,每个所述第二图像块均包含所述第一图像块;

将每个所述第二图像块输入至预设的目标检测模型进行特征识别,得到 每个所述第二图像块中的目标框的位置信息和目标类别的概率信息;

根据每个所述第二图像块中的目标框的位置信息和目标类别的概率信 息,计算所述候选样本图像的不确定度;

根据每个所述候选样本图像的不确定度,从所述多个候选样本图像中选 取目标图像进行标注,并根据标注好的所述目标图像对所述目标检测模型进 行训练。

第二方面,本申请还提供一种基于目标检测的主动学习装置,所述基于 目标检测的主动学习装置包括:

获取模块,用于获取多个候选样本图像,并从所述候选样本图像中确定 第一图像块;

确定模块,用于根据所述第一图像块,从所述候选样本图像中确定多个 第二图像块,其中,每个所述第二图像块均包含所述第一图像块;

检测模块,用于将每个所述第二图像块输入至预设的目标检测模型进行 特征识别,得到每个所述第二图像块中的目标框的位置信息和目标类别的概 率信息;

计算模块,用于根据每个所述第二图像块中的目标框的位置信息和目标 类别的概率信息,计算所述候选样本图像的不确定度;

选取模块,用于根据每个所述候选样本图像的不确定度,从所述多个候 选样本图像中选取目标图像进行标注;

训练模块,用于根据标注好的所述目标图像对所述目标检测模型进行训 练。

第三方面,本申请还提供一种计算机设备,所述计算机设备包括处理器、 存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其 中所述计算机程序被所述处理器执行时,实现如上所述的基于目标检测的主 动学习方法的步骤。

第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存 储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如 上所述的基于目标检测的主动学习方法的步骤。

本申请提供一种基于目标检测的主动学习方法、装置、设备及存储介质, 本申请通过获取多个候选样本图像,并从候选样本图像中确定第一图像块; 根据第一图像块,从候选样本图像中确定多个第二图像块,每个第二图像块 均包含第一图像块;将每个第二图像块输入至预设的目标检测模型进行特征 识别,得到每个第二图像块中的目标框的位置信息和目标类别的概率信息; 根据每个第二图像块中的目标框的位置信息和目标类别的概率信息,计算候 选样本图像的不确定度;根据每个候选样本图像的不确定度,从多个候选样 本图像中选取目标图像进行标注,并根据标注好的目标图像对目标检测模型 进行训练。本申请根据目标框的位置信息和目标类别的概率信息计算候选样 本图像的不确定度,能够更加准确地确定每个候选样本图像的重要性,从而 选取目标图像作为目标检测模型的训练样本,提高样本图像数据的标注成本 与模型性能改善之间的收益比,使同等标注成本下的目标检测的精度更高。

附图说明

为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需 要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一 些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下, 还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于目标检测的主动学习方法的步骤流 程示意图;

图2为实施本实施例提供的候选样本图像的一示意图;

图3为图1中的基于目标检测的主动学习方法的子步骤流程示意图;

图4为实施本实施例提供的候选样本图像的另一示意图;

图5为实施本实施例提供的公共图像块的一示意图;

图6为实施本实施例提供的高斯分布图的一示意图;

图7为本申请实施例提供的一种基于目标检测的主动学习装置的示意性 框图;

图8为图7中的基于目标检测的主动学习装置的子模块的示意性框图;

图9为本申请实施例提供的一种计算机设备的结构示意性框图。

本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步 说明。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是 全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创 造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步 骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组 合或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,虽然 在装置示意图中进行了功能模块的划分,但是在某些情况下,可以以不同于 装置示意图中的模块划分。

一般情况下,衡量一个主动学习方法的有效性是通过比较获取等量图片 时主动学习相比于随机挑选对模型的精度提升幅度。当图片中的目标的数量 越多,常规的主动学习方法计算得到的图片的不确定度越大。而在获取等量 图片时,尽管相比于随机挑选,主动学习对模型的精度提升更大,但是相应 地,每张图片需要标注的目标框也会随之增加,所以最终的标注成本与精度 的收益比往往并不尽人意。

本申请根据目标框的位置信息和目标类别的概率信息计算候选样本图像 的不确定度,更加准确地确定每个候选样本图像的重要性,从而选取目标图 像作为目标检测模型的训练样本,提高样本图像数据的标注成本与模型性能 改善之间的收益比,使同等标注成本下的目标检测的精度更高。

本申请实施例提供一种基于目标检测的主动学习方法、装置、设备及存 储介质。其中,该主动学习方法可应用于终端设备或服务器中,该终端设备 可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设 备等电子设备;该服务器可以为单台的服务器,也可以为由多台服务器组成 的服务器集群。以下以该主动学习方法应用于服务器为例进行解释说明。

下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况 下,下述的实施例及实施例中的特征可以相互组合。

请参照图1,图1为本申请实施例提供的一种基于目标检测的主动学习方 法的步骤流程示意图。

如图1所示,该基于目标检测的主动学习方法包括步骤S101至步骤S105。

步骤S101、获取多个候选样本图像,并从候选样本图像中确定第一图像 块。

其中,候选样本图像可以是从云端数据库或本地存储器中获取的图像数 据,通过多个候选样本图像实现主动学习,从多个候选样本图像中找到对目 标检测模型精度提升最有帮助的部分候选样本图像作为待标注样本,从而达 到减少人力标注成本的目的。

在一实施例中,候选样本图像可以根据目标检测的业务场景进行选取。 例如,当目标检测的业务场景为车辆识别时,候选样本图像可以是包括小汽 车、出租车、大巴车等各种类型的车辆图像。当目标检测的业务场景为人脸 识别时,候选样本图像可以是包括不同年龄段、不同性别、不同人种等人物 特征的人脸图像。本实施例对此不做具体限定。

在一实施例中,从候选样本图像中确定第一图像块,包括:从候选样本 图像中选取预设面积、预设尺寸和/或预设形状的图像块作为第一图像块,该 预设面积小于候选样本图像的面积,预设尺寸小于候选样本图像的尺寸,预 设面积、预设尺寸和/或预设形状可根据实际情况灵活设置,例如预设面积为 候选样本图像的总面积的20%。

示例性的,如图2所示,从候选样本图像10中选取预设长度和预设宽度 的矩形图像块20作为第一图像块。

需要说明的是,第一图像块的位置可以随机确定,也可以以候选样本图 像的预设定点(例如图像中点)为中心而确定,本实施例不做具体限定。每 个候选样本图像均确定一个第一图像块,不同候选样本图像的第一图像块的 确定规则可以相同或者不同,例如不同候选样本图像的第一图像块的面积、 尺寸和/或形状可以相同或者不同。

步骤S102、根据第一图像块,从候选样本图像中确定多个第二图像块, 其中,每个第二图像块均包含第一图像块。

根据每个候选样本图像的第一图像块,从每个候选样本图像中确定多个 第二图像块。也即,每个候选样本图像对应多个第二图像块,每个第二图像 块均包含第一图像块。通过包含第一图像块的多个第二图像块,能够计算候 选样本图像的不确定度,能够更加准确地确定每个候选样本图像的重要性。

示例性的,如图2所示,候选样本图像10包括第一图像块20,根据第一 图像块20,可以从候选样本图像10中确定多个第二图像块,例如从候选样本 图像10中确定第二图像块21、第二图像块22和第二图像块23,且第二图像 块21、第二图像块22和第二图像块23均包括第一图像块20。

需要说明的是,第二图像块的尺寸、面积均大于第一图像块,第二图像 块的尺寸、面积和/或形状可根据实际情况灵活设置,候选样本图像的多个第 二图像块的位置不同,多个第二图像块之间的面积、尺寸和/或形状可以相同 或者不同,本实施例不做具体限定。

在一实施例中,根据第一图像块,生成候选样本图像的多个候选框,每 个候选框包括第一图像块;根据每个候选框的位置信息,从候选样本图像中 裁剪图像块,得到多个第二图像块。其中,候选框与第二图像块的区别在于, 候选框可以看做由坐标集合构成的闭合线段,第二图像块可以看做由像素集 合构成的图像片段。多个候选框可根据第一图像块的位置信息生成,每个候 选框包裹第一图像块。候选样本图像的每个候选框的位置信息不同,面积、 尺寸和/或形状可以相同或者不同。根据每个候选框的位置信息,从候选样本图像中沿着候选框进行裁剪,快捷便利地得到候选样本图像的多个第二图像 块。

进一步地,根据第一图像块,从候选样本图像中确定多个第二图像块之 后,还包括:向每个第二图像块中添加随机高斯噪声。通过向每个第二图像 块中添加随机高斯噪声,能够增加第二图像块之间的差异性,有助于扩大样 本数量,提高候选样本图像对目标检测模型的性能改善效果,提高目标检测 的准确性。

可以理解的是,除了向每个第二图像块中添加随机高斯噪声之外,还可 以对每个第二图像块进行其他图像处理,例如图像分割、腐蚀、膨胀、过滤 等,本实施例不做具体限定。

步骤S103、将每个第二图像块输入至预设的目标检测模型进行特征识别, 得到每个第二图像块中的目标框的位置信息和目标类别的概率信息。

其中,目标检测模型包括Faster R-CNN模型、SSD模型和YOLO模型, 通过多个样本图像对目标检测模型进行训练,直至目标检测模型收敛,并将 目标检测模型预先存储于服务器。

得到多个第二图像块之后,服务器调用预先存储的目标检测模型,将每 个第二图像块输入至该目标检测模型,以使目标检测模型对每个第二图像块 进行特征识别,输出每个第二图像块中的目标框的位置信息和目标类别的概 率信息。每个第二图像块可以包括一个或多个目标,通过目标框对第二图像 块中的目标进行标记,得到目标框的位置信息,并识别出目标框标记对象的 目标类别,以及目标类别对应的概率信息。

示例性的,目标框的位置信息可以是目标框的四个角点的坐标信息,目 标类别可以是多个,例如目标框内的物体的目标类别为小汽车、大巴车和面 包车,目标类别对应的概率信息也可以相应的是多个,例如小汽车对应的概 率信息为0.85、大巴车对应的概率信息为0.05、面包车对应的概率信息为0.1。

步骤S104、根据每个第二图像块中的目标框的位置信息和目标类别的概 率信息,计算候选样本图像的不确定度。

与当前适用于目标检测的主动学习方法不同,本申请根据每个第二图像 块中的目标框的位置信息和目标类别的概率信息,计算候选样本图像的不确 定度,得到每个候选样本图像的不确定度。候选样本图像的不确定度在一定 程度上能够代表候选样本图像的重要性,不确定度较小的候选样本图像的重 要性较高,本申请的不确定度计算方法有利于提高目标检测模型的精度。

在一实施例中,如图3所示,步骤S104包括:子步骤S1041至子步骤 S1043。

子步骤S1041、根据每个第二图像块中的目标类别的概率信息,计算候选 样本图像的第一不确定度。

根据每个第二图像块中的目标类别的概率信息,能够计算候选样本图像 的第一不确定度,从而得到每个候选样本图像的第一不确定度。在一些实施 例中,根据预设的交叉熵计算公式和每个第二图像块中的目标类别的概率信 息,计算候选样本图像的类别不确定度(第一不确定度),得到每个候选样 本图像的第一不确定度。具体地,将每个第二图像块中的目标类别的概率信 息输入至预设的交叉熵计算公式,得到每个第二图像块的第一不确定度;根 据每个第二图像块的第一不确定度,确定候选样本图像的第一不确定度,从 而得到每个候选样本图像的第一不确定度。也即,根据每个候选样本图像的 多个第二图像块的第一不确定度,确定每个候选样本图像的第一不确定度。

例如,第二图像块中的目标类别的概率信息包括prob

其中,H(X)即为第二图像块的第一不确定度,候选样本图像包括n个第 二图像块,则对候选样本图像的n个第二图像块的第一不确定度求取平均值, 得到候选样本图像的第一不确定度,从而能够得到每个候选样本图像的第一 不确定度。

需要说明的是,将每个第二图像块中的目标类别的概率信息输入交叉熵 计算公式进行计算,能够快速得出第一不确定度,从而得到每个候选样本图 像的第一不确定度。

子步骤S1042、根据每个第二图像块中的目标框的位置信息,计算候选样 本图像的第二不确定度。

其中,目标框的位置信息包括目标框的坐标信息,例如目标框的角坐标, 通过每个第二图像块中的目标框的位置信息,能够计算候选样本图像的第二 不确定度,从而得到每个候选样本图像的第二不确定度(位置不确定度)。 具体地,根据每个第二图像块中的目标框的位置信息,计算每个第二图像块 的第二不确定度;根据每个第二图像块的第二不确定度,计算候选样本图像 的第二不确定度,从而得到每个候选样本图像的第二不确定度。

例如,将每个第二图像块中的目标框的四个角坐标代入预设的方差估计 公式,得到每个第二图像块的第二不确定度;对每个第二图像块的第二不确 定度求取平均值,得到候选样本图像的第二不确定度。

在一实施例中,将每两个第二图像块进行对比,以保留每两个第二图像 块的公共区域,得到多个公共图像块;根据每个公共图像块中的目标框的位 置信息,计算候选样本图像的第二不确定度。通过每个公共图像块中的目标 框的位置信息求取候选样本图像的第二不确定度,能够更加准确地确定每个 候选样本图像的重要性,从而选取重要性较高的目标图像作为目标检测模型 的训练样本,提高样本图像数据的标注成本与模型性能改善之间的收益比, 使同等标注成本下的目标检测的精度更高。

示例性的,如图4所示,候选样本图像10包括第二图像块21和第二图 像块22,且第二图像块21、第二图像块22均包括第一图像块20,将第二图 像块21和第二图像块22进行对比,以保留第二图像块21和第二图像块22 的公共区域,得到公共图像块31。其中,公共图像块31包括目标框C1和目 标框C2。将公共图像块31中的目标框C1和目标框C2的坐标信息输入至预 设的方差估计公式或者KL散度公式,得到公共图像块31的第二不确定度。 若候选样本图像10仅包括公共图像块31,则候选样本图像10的第二不确定 度即为公共图像块31的第二不确定度;若候选样本图像10还包括其他公共 图像块,则求取公共图像块31与其他公共图像块的第二不确定度的平均值, 得到候选样本图像10的第二不确定度。

在一实施例中,根据每个公共图像块中的目标框的位置信息,计算候选 样本图像的第二不确定度,包括:确定每个公共图像块中的目标框的两个目 标角坐标;根据每个公共图像块中的目标框的两个目标角坐标,计算每个公 共图像块各自对应的每两个第二图像块之间的KL散度;求取每两个第二图像 块之间的KL散度的平均值,得到候选样本图像的第二不确定度。从而准确地 得到每个候选样本图像的第二不确定度,有利于提高主动学习选取重要性较 高的目标图像的准确性。

需要说明的是,每个目标框例如包括四个角坐标,目标角坐标可以从四 个角坐标中选取,例如两个目标角坐标为目标框的左上角坐标和右下角坐标; 分别计算每个公共图像块中的目标框的两个目标角坐标的概率分布,并将两 个目标角坐标的概率分布输入至预设的KL散度公式,得到每两个第二图像块 之间的KL散度;候选样本图像通常包括多个第二图像块,即存在多个公共图 像块,能够得到多个KL散度,求取每两个第二图像块之间的KL散度的平均 值,得到候选样本图像的第二不确定度。

其中,KL散度的计算公式为:

示例性的,如图5所示,公共图像块31包括目标框C1和目标框C2。选 取目标框的左上角坐标和右下角坐标作为两个目标角坐标,则目标框C1的目 标角坐标包括角坐标51和角坐标52,目标框C2的目标角坐标包括角坐标61 和角坐标62,根据目标框C1的角坐标51和角坐标52,能够确定目标框C1 的第一KL散度,根据目标框C2的角坐标61和角坐标62,能够确定目标框 C2的第二KL散度。求取第一KL散度和第二KL散度的均值,得到公共图 像块31的KL散度。若候选样本图像仅包括公共图像块31,则公共图像块31 的KL散度即为候选样本图像的第二不确定度。若候选样本图像还包括其他的 公共图像块,则计算公共图像块31与其他的公共图像块的KL散度的平均值, 得到候选样本图像的第二不确定度。

在一实施例中,确定每个公共图像块中的目标框的两个目标角坐标;根 据每个公共图像块中的目标框的两个目标角坐标,生成每个公共图像块的高 斯分布图;根据每个公共图像块的高斯分布图,计算每两个第二图像块之间 的KL散度;求取每两个第二图像块之间的KL散度的平均值,得到候选样本 图像的第二不确定度。需要说明的是,可以选取两个目标角坐标作为二维点 的高斯分布图的中心,峰值为1,通过生成高斯分布图计算每两个第二图像块 之间的KL散,计算量相较方差估计公式要小,且不容易引入错误,KL散度 的准确性更高。

其中,高斯分布公式为:

其中,每两个第二图像块之间的KL散度的计算公式为:

示例性的,如图6所示,图6为公共图像块的高斯分布图。公共图像块 的高斯分布图包括两个目标框的四个目标角坐标,分别为角坐标51、角坐标 52、角坐标61和角坐标62。根据角坐标51和角坐标52能够计算高斯分布图 的第一KL散度,根据角坐标61和角坐标62能够高斯分布图的第二KL散度。 求取第一KL散度和第二KL散度的均值,即得到公共图像块的KL散度。

子步骤S1043、根据第一不确定度和第二不确定度,确定候选样本图像的 不确定度。

根据第一不确定度和第二不确定度,确定候选样本图像的不确定度,能 够更加准确地确定每个候选样本图像的重要性,从而选取目标图像作为目标 检测模型的训练样本,提高样本图像数据的标注成本与模型性能改善之间的 收益比,使同等标注成本下的目标检测的精度更高。

在一实施例中,求取候选样本图像的第一不确定度和第二不确定度之和, 得到候选样本图像的不确定度,从而得到每个候选样本图像的不确定度。需 要说明的是,根据候选样本图像的不确定度能够确定每个候选样本图像的重 要性,不确定度较高的候选样本图像的重要性较低。

在一实施例中,确定第一不确定度的第一权值,并确定第二不确定度的 第二权值;根据候选样本图像的第一不确定度和第一权值、以及第二不确定 度和第二权值,计算候选样本图像的不确定度。其中,第一权值和第二权值 可灵活设置,可选的,第一权值与第二权值之和为1。

例如,设定第一不确定度(概率不确定度)为Uncentainty

在一实施例中,求取图像数据的第一不确定度和第二不确定度之和,得 到候选样本图像的第三不确定度;根据候选样本图像中的目标框的数量,对 候选样本图像的第三不确定度进行加权调整,得到候选样本图像的不确定度。 其中,加权调整包括对第三不确定度赋予一个权值进行加权计算,该权值可 与目标框的数量呈反比。

需要说明的是,为了防止主动学习方法倾向于选择图片中包含较多目标 的候选样本图像作为目标图像,尽管同等条件下查询到的样本图像确实代表 了一定程度上的重要性,且相比于随机采样可以更进一步地提高模型精度, 但并不利于显著降低标注成本,对候选样本图像的第三不确定度进行加权调 整,可以降低包含较多目标的候选样本图像的不确定度,避免过多地选取包 含较多目标的候选样本图像作为目标图像,提高目标检测模型的样本图像数 据的标注收益。

示例性的,根据加权调整公式为:

步骤S105、根据每个候选样本图像的不确定度,从多个候选样本图像中 选取目标图像进行标注,并根据标注好的目标图像对目标检测模型进行训练。

需要说明的是,按照步骤S102至步骤S104的实施例计算每个候选样本 图像的不确定度,候选样本图像的不确定度与候选样本图像的重要性相关, 从多个候选样本图像中选取重要性较高的目标图像进行标注,根据标注好的 目标图像对目标检测模型进行训练,能够提高目标图像的总体标注成本与目 标图像对目标检测模型的性能改善之间的收益比,从而提高同等标注成本下 的目标检测模型的检测精度,有利于提升主动学习的直观效益。

在一实施例中,根据每个候选样本图像的不确定度,从多个候选样本图 像中选取目标图像进行标注,包括:根据每个候选样本图像的不确定度,对 每个候选样本图像进行排序,得到样本图像序列;按照样本图像序列的排列 顺序,从样本图像序列中选取目标图像;获取目标图像的标注信息,并根据 标注信息对目标图像进行标注。需要说明的是,可以按照从小到大的排列顺 序,从样本图像序列中选取预设数量个不确定度较小的目标图像,并对该选 取的预设数量个目标图像进行标注。预设数量可根据实际情况进行确定,本 实施例不做具体限定。

在一实施例中,根据每个候选样本图像的不确定度,从多个候选样本图 像中选取目标图像进行标注,包括:确定预设的不确定度阈值,从多个候选 样本图像中选取小于或等于不确定度阈值的目标图像进行标注。其中,不确 定度阈值可根据实际情况进行确定。需要说明的是,选取小于或等于不确定 度阈值的目标图像进行标注,有利于选取出重要性较高的目标图像,根据标 注好的目标图像对目标检测模型进行训练,能够提高目标图像的总体标注成 本与目标图像对目标检测模型的性能改善之间的收益比,从而提高同等标注成本下的目标检测模型的检测精度。

在一实施例中,根据标注好的目标图像对目标检测模型进行训练,直至 目标检测模型收敛。具体地,根据标注好的目标图像对目标检测模型进行训 练,并确定该目标检测模型是否达到收敛状态;若目标检测模型达到收敛状 态,则停止训练;若目标检测模型未达到收敛状态,则继续通过多个候选样 本图像或者多个目标图像对目标检测模型进行训练,直至目标检测模型达到 收敛状态。其中,确定该目标检测模型是否达到收敛状态,包括:确定该目 标检测模型的训练次数是否达到预设次数,若是,则确定该目标检测模型达到收敛状态;或者,确定该目标检测模型的训练时长是否达到预设时长,若 是,则确定该目标检测模型达到收敛状态;或者,确定该目标检测模型的模 型参数是否小于或等于预设模型参数,若是,则确定该目标检测模型达到收 敛状态。

需要说明的是,为进一步保证上述目标图像等相关信息的私密和安全性, 上述目标图像等相关信息还可以存储于一区块链的节点中,本申请的技术方 案还可适用于添加其他存储于区块链上的数据文件,本申请所指区块链是分 布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用 模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密 码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信 息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块 链底层平台、平台产品服务层以及应用服务层等。

在一实施例中,为了能够更好地衡量主动学习的实际效益,在根据标注 好的目标图像对目标检测模型进行训练后,可以不以目标检测模型的精度与 图片数量的增量比作为衡量标准,而是采用下述公式作为主动学习方法的性 能指标:improve=(mAP

上述实施例提供的基于目标检测的主动学习方法,通过获取多个候选样 本图像,并从候选样本图像中确定第一图像块;根据第一图像块,从候选样 本图像中确定多个第二图像块,每个第二图像块均包含第一图像块;将每个 第二图像块输入至预设的目标检测模型进行特征识别,得到每个第二图像块 中的目标框的位置信息和目标类别的概率信息;根据每个第二图像块中的目 标框的位置信息和目标类别的概率信息,计算候选样本图像的不确定度;根 据每个候选样本图像的不确定度,从多个候选样本图像中选取目标图像进行标注,并根据标注好的目标图像对目标检测模型进行训练。本申请根据目标 框的位置信息和目标类别的概率信息计算候选样本图像的不确定度,能够更 加准确地确定每个候选样本图像的重要性,从而选取目标图像作为目标检测 模型的训练样本,提高样本图像数据的标注成本与模型性能改善之间的收益 比,使同等标注成本下的目标检测的精度更高。

请参照图7,图7为本申请实施例提供的一种基于目标检测的主动学习装 置的示意性框图。

如图7所示,该基于目标检测的主动学习装置200,包括:获取模块201、 确定模块202、检测模块203、计算模块204、选取模块205和训练模块206。

获取模块201,用于获取多个候选样本图像,并从所述候选样本图像中确 定第一图像块;

确定模块202,用于根据所述第一图像块,从所述候选样本图像中确定多 个第二图像块,其中,每个所述第二图像块均包含所述第一图像块;

检测模块203,用于将每个所述第二图像块输入至预设的目标检测模型进 行特征识别,得到每个所述第二图像块中的目标框的位置信息和目标类别的 概率信息;

计算模块204,用于根据每个所述第二图像块中的目标框的位置信息和目 标类别的概率信息,计算所述候选样本图像的不确定度;

选取模块205,用于根据每个所述候选样本图像的不确定度,从所述多个 候选样本图像中选取目标图像进行标注;

训练模块206,用于根据标注好的所述目标图像对所述目标检测模型进行 训练。

在一个实施例中,如图8所示,计算模块204包括:

第一计算子模块2041,用于根据每个所述第二图像块中的目标类别的概 率信息,计算所述候选样本图像的第一不确定度;

第二计算子模块2042,用于根据每个所述第二图像块中的目标框的位置 信息,计算所述候选样本图像的第二不确定度;

第三计算子模块2043,用于根据所述第一不确定度和所述第二不确定度, 确定所述候选样本图像的不确定度。

在一个实施例中,计算模块204还用于:

将每两个所述第二图像块进行对比,以保留每两个所述第二图像块的公 共区域,得到多个公共图像块;

根据每个所述公共图像块中的目标框的位置信息,计算所述候选样本图 像的第二不确定度。

在一个实施例中,计算模块204还用于:

确定每个所述公共图像块中的目标框的两个目标角坐标;

根据每个所述公共图像块中的目标框的两个目标角坐标,计算每个所述 公共图像块各自对应的每两个所述第二图像块之间的KL散度;

求取每两个所述第二图像块之间的KL散度的平均值,得到所述候选样本 图像的第二不确定度。

在一个实施例中,确定模块202还用于:

根据所述第一图像块,生成所述候选样本图像的多个候选框,每个所述 候选框包括所述第一图像块;

根据每个所述候选框的位置信息,从所述候选样本图像中裁剪图像块, 得到多个第二图像块。

在一个实施例中,确定模块202还用于:

向每个所述第二图像块中添加随机高斯噪声。

在一个实施例中,选取模块205还用于:

根据每个所述候选样本图像的不确定度,对每个所述候选样本图像进行 排序,得到样本图像序列;

按照所述样本图像序列的排列顺序,从所述样本图像序列中选取目标图 像;

获取所述目标图像的标注信息,并根据所述标注信息对所述目标图像进 行标注。

需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方 便和简洁,上述描述的装置和各模块及单元的具体工作过程,可以参考前述 基于目标检测的主动学习方法实施例中的对应过程,在此不再赘述。

上述实施例提供的装置可以实现为一种计算机程序的形式,该计算机程 序可以在如图9所示的计算机设备上运行。

请参阅图9,图9为本申请实施例提供的一种计算机设备的结构示意性框 图。该计算机设备可以为服务器或终端设备。

如图9所示,该计算机设备包括通过系统总线连接的处理器、存储器和 网络接口,其中,存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程 序指令,该程序指令被执行时,可使得处理器执行任意一种基于目标检测的 主动学习方法。

处理器用于提供计算和控制能力,支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算 机程序被处理器执行时,可使得处理器执行任意一种基于目标检测的主动学 习方法。

该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员 可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图, 并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设 备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不 同的部件布置。

应当理解的是,处理器可以是中央处理单元(Central Processing Unit, CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、 现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程 逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理 器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机 程序,以实现如下步骤:

获取多个候选样本图像,并从所述候选样本图像中确定第一图像块;

根据所述第一图像块,从所述候选样本图像中确定多个第二图像块,其 中,每个所述第二图像块均包含所述第一图像块;

将每个所述第二图像块输入至预设的目标检测模型进行特征识别,得到 每个所述第二图像块中的目标框的位置信息和目标类别的概率信息;

根据每个所述第二图像块中的目标框的位置信息和目标类别的概率信 息,计算所述候选样本图像的不确定度;

根据每个所述候选样本图像的不确定度,从所述多个候选样本图像中选 取目标图像进行标注,并根据标注好的所述目标图像对所述目标检测模型进 行训练。

在一个实施例中,所述处理器在实现所述根据每个所述第二图像块中的 目标框的位置信息和目标类别的概率信息,计算所述候选样本图像的不确定 度时,用于实现:

根据每个所述第二图像块中的目标类别的概率信息,计算所述候选样本 图像的第一不确定度;

根据每个所述第二图像块中的目标框的位置信息,计算所述候选样本图 像的第二不确定度;

根据所述第一不确定度和所述第二不确定度,确定所述候选样本图像的 不确定度。

在一个实施例中,所述处理器在实现所述根据每个所述第二图像块中的 目标框的位置信息,计算所述候选样本图像的第二不确定度时,用于实现:

将每两个所述第二图像块进行对比,以保留每两个所述第二图像块的公 共区域,得到多个公共图像块;

根据每个所述公共图像块中的目标框的位置信息,计算所述候选样本图 像的第二不确定度。

在一个实施例中,所述处理器在实现所述根据每个所述公共图像块中的 目标框的位置信息,计算所述候选样本图像的第二不确定度时,用于实现:

确定每个所述公共图像块中的目标框的两个目标角坐标;

根据每个所述公共图像块中的目标框的两个目标角坐标,计算每个所述 公共图像块各自对应的每两个所述第二图像块之间的KL散度;

求取每两个所述第二图像块之间的KL散度的平均值,得到所述候选样本 图像的第二不确定度。

在一个实施例中,所述处理器在实现所述根据所述第一图像块,从所述 候选样本图像中确定多个第二图像块时,用于实现:

根据所述第一图像块,生成所述候选样本图像的多个候选框,每个所述 候选框包括所述第一图像块;

根据每个所述候选框的位置信息,从所述候选样本图像中裁剪图像块, 得到多个第二图像块。

在一个实施例中,所述处理器在实现所述根据所述第一图像块,从所述 候选样本图像中确定多个第二图像块之后,还用于实现:

向每个所述第二图像块中添加随机高斯噪声。

在一个实施例中,所述处理器在实现所述根据每个所述候选样本图像的 不确定度,从所述多个候选样本图像中选取目标图像进行标注时,用于实现:

根据每个所述候选样本图像的不确定度,对每个所述候选样本图像进行 排序,得到样本图像序列;

按照所述样本图像序列的排列顺序,从所述样本图像序列中选取目标图 像;

获取所述目标图像的标注信息,并根据所述标注信息对所述目标图像进 行标注。

需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方 便和简洁,上述描述计算机设备的具体工作过程,可以参考前述基于目标检 测的主动学习方法实施例中的对应过程,在此不再赘述。

本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介 质上存储有计算机程序,所述计算机程序中包括程序指令,所述程序指令被 执行时所实现的方法可参照本申请基于目标检测的主动学习方法的各个实施 例。

其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的 内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介 质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的 插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。

应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施 例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所 使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个” 及“该”意在包括复数形式。

还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或” 是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包 括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他 变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物 品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者 是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制 的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上所述, 仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉 本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的 修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本 申请的保护范围应以权利要求的保护范围为准。

相关技术
  • 基于目标检测的主动学习方法、装置、设备及存储介质
  • 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质
技术分类

06120113194582