掌桥专利:专业的专利平台
掌桥专利
首页

应用于图像检测的后处理方法、检测方法及相关设备

文献发布时间:2024-04-18 19:58:26


应用于图像检测的后处理方法、检测方法及相关设备

技术领域

本发明实施例涉及图像检测技术领域,具体涉及一种应用于图像检测的后处理方法、检测方法及相关设备。

背景技术

图像在经过目标检测模型以后,并不是一个目标只生成一个预测框,如图1所示。所以在预测完成以后,还需要进行后处理,将多余的框删除,尽量使一个目标只对应一个预测框。

非极大值抑制(Non-MaximumSuppression,NMS)在多个领域都有应用,主要用于抑制非极大值,筛选出最好结果。原始检测结果通常要经过两次去重:置信度去重和NMS去重。前者只是简单的根据置信度是否达到超参数阈值来判别是否去除,后者则有一套完整的算法流程,NMS主要是为了消除冗余框,避免出现同一个目标被多个检测框重复检出,以获得目标的最佳位置。

然而,本申请的发明人发现,NMS算法的通用性很强,能适应大部分场景需求,但对于密集目标检测任务来说,仍存在明显的不足:

(1)同类目标密集出现时,二者真实框之间的IoU可能已经达到阈值,导致被遮挡程度较大的框被误删,影响检测的准确度。

(2)NMS阈值的设置是一个比较困难的事情,当设置的较小时,对目标框的筛选过于严格,位置相近的目标容易发生相互抑制的情况,导致目标丢失或者选择一个远离另一个目标较差的预测框。设置较大时,可能会出现一个目标多个预测框的问题。

发明内容

鉴于上述问题,本发明实施例提供了一种应用于图像检测的后处理方法、检测方法及相关设备,用于解决现有技术中存在的预测框筛选不准确的问题。

根据本发明实施例的一个方面,提供了一种应用于图像检测的后处理方法,所述方法包括:

获取待检测图像;

将所述待检测图像输入图像检测模型中,得到候选框列表;所述候选框列表中包括多个候选框以及候选框信息;每个所述候选框信息包括候选框的置信度及可视度信息;

将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除;

计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值;

根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框;

重复执行所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值,以及根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框的步骤,直至所述候选框列表为空;

根据所述输出列表中的各个候选框,确定处理结果。

在一种可选的方式中,所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,包括:对候选框列表中的各个候选框的置信度进行排序,得到置信度最高的目标候选框。

在一种可选的方式中,所述根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框,包括:

将所述候选框列表中所述交并比值大于第一交并比阈值的候选框,从所述所述候选框列表中删除;

删除所述候选框列表中所述交并比值大于第二交并比阈值,且所述可视度差值小于预设可视度阈值的候选框;所述第一交并比阈值大于所述第二交并比阈值;

保留所述候选框列表中所述交并比值小于所述第一交并比阈值大于第二交并比阈值,且所述可视度差值大于预设可视度阈值的候选框;

保留所述候选框列表中所述交并比值小于所述第二交并比阈值的候选框。

在一种可选的方式中,所述将所述待检测图像输入图像检测模型中,得到候选框列表之前,所述方法还包括:

获取训练样本,所述训练样本包括样本图片以及样本标签,所述样本标签包括样本图片中的标记框及所述标记框的位置信息、样本目标信息、样本可视度信息及样本类别信息;

将所述训练样本输入目标检测网络中训练,得到预测框信息;

根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数;

根据所述损失函数,调整所述目标检测网络的参数,并继续执行所述将所述训练样本输入目标检测网络中训练,得到预测框信息,根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数,以及根据所述损失函数,调整所述目标检测网络的参数的步骤,得到图像检测模型。

在一种可选的方式中,所述目标检测网络为Yolov7网络。

在一种可选的方式中,所述根据所述输出列表中的各个候选框,确定处理结果,包括:

对所述输出列表中的各个候选框进行加权计算,得到所述处理结果;

将所述处理结果作为所述图像检测模型的输出结果。

根据本发明实施例的另一方面,提供了一种图像检测方法,所述方法包括:

根据所述的应用于图像检测的后处理方法,处理得到所述处理结果;

根据所述处理结果,输出图像检测结果。

根据本发明实施例的另一方面,提供了一种应用于图像检测的后处理装置,包括:

获取模块,用于获取待检测图像;

输入模块,用于将所述待检测图像输入图像检测模型中,得到候选框列表;所述候选框列表中包括多个候选框以及候选框信息;每个所述候选框信息包括候选框的置信度及可视度信息;

添加模块,用于将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除;

计算模块,用于计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值;

删除模块,用于根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框;

迭代模块,用于重复执行所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值,以及根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框的步骤,直至所述候选框列表为空;

结果模块,用于根据所述输出列表中的各个候选框,确定处理结果。

根据本发明实施例的另一方面,提供了一种计算机设备,包括:

处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行所述的应用于图像检测的后处理方法或所述的图像检测方法的操作

根据本发明实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令在计算机设备上运行时,使得计算机设备执行所述的应用于图像检测的后处理方法或所述的图像检测方法的操作。

本发明实施例通过将待检测图像输入图像检测模型中,得到候选框列表。其中,候选框列表中包括多个候选框以及候选框信息,每个所述候选框信息包括候选框的置信度及可视度信息;然后根据交并比值以及可视度差值对候选框列表中候选框进行筛选,能够更加合理且准确的筛选候选框,更加有效的利用候选框中的信息,提升被遮挡的目标检测,从而实现了对图像中目标的准确检测。

上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

附图说明

附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:

图1示出了现有的预测框的示意图;

图2示出了本发明实施例提供的应用于图像检测的后处理方法的流程示意图;

图3示出了本发明实施例提供的图像检测模型的训练示意图;

图4示出了本发明实施例提供的采用NMS-Vis与采用NMS进行候选框筛选后的示意图;

图5示出了本发明实施例提供的采用NMS-Vis与采用NMS进行候选框筛选后的数据对比示意图;

图6示出了本发明实施例提供的应用于图像检测的后处理装置的结构示意图;

图7示出了本发明实施例提供的计算机设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。

图2示出了本发明实施例提供的应用于图像检测的后处理方法的流程图,该方法由计算机设备执行。该计算机设备可以是可以进行图像检测的设备,如台式电脑、平板电脑、智能终端、穿戴式设备、分布式设备等,本发明实施例不做具体限制。如图2所示,该方法包括以下步骤:

步骤110:获取待检测图像。

其中,该待检测图像为需要对图像中的目标进行目标检测的图像。本发明实施例并不具体限制该待检测图像的具体格式。

步骤120:将所述待检测图像输入图像检测模型中,得到候选框列表。

其中,所述候选框为图像检测模型输出的预测框,该候选框列表中包括多个候选框以及候选框信息。每个所述候选框信息包括候选框的置信度及可视度信息。

本发明一个实施例中,候选框信息信息包含(x,y,w,h,obj,vis,Cls)这几种信息。其中(x,y,w,h)表示候选框的位置信息;obj代表当前候选框是否包含目标的置信度;vis代表预测框的可视度的置信度;Cls是一个序列,代表的是目标属于某种类别的置信度是多少。

本发明实施例中,预先对图像检测模型进行训练,具体地,包括以下步骤:

步骤1101:获取训练样本,所述训练样本包括样本图片以及样本标签。所述样本标签包括样本图片中的标记框及所述标记框的位置信息、样本目标信息、样本可视度信息及样本类别信息。其中,可视度信息表示图像中目标被遮盖的程度,也即目标在图像中被显示出的程度信息。如图4所示,其中两个目标分别具有不同的可视度。

步骤1102:将所述训练样本输入目标检测网络中训练,得到预测框信息.

其中,如图3所示,该目标检测网络可以为Yolov7网络。YOLOv7是一种端到端的目标检测网络,其采用重参数化的思想,使得网络模型更加轻量高效,采用了更先进的标签分配策略,以及ELAN高效网络结构。在网络结构的Head阶段,将目标可视度作为一个新增的监督信息进行模型训练,让网路输出的通道信息包含(x,y,w,h,obj,vis,Cls)这几种信息。其中(x,y,w,h)表示预测框的位置信息;obj代表当前框是否包含目标;vis代表预测框的可视度;Cls是一个序列,代表的是目标属于某种类别的置信度是多少。

步骤1103:根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数。

步骤1104:根据所述损失函数,调整所述目标检测网络的参数,并继续执行所述将所述训练样本输入目标检测网络中训练,得到预测框信息,根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数,以及根据所述损失函数,调整所述目标检测网络的参数的步骤,得到图像检测模型。

可以看出,本发明实施例通过在训练时,添加了可视度信息,使得可以对样本中的目标能够显示的程度的信息,也被反映出来。因此,使得检测更加准确。

步骤130:将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除。

其中,本发明实施例对候选框列表中的各个候选框的置信度进行排序,得到置信度最高的目标候选框,将其添加至输出列表,并从候选框列表中删除。其中,这里的置信度指的是候选框信息信息(x,y,w,h,obj,vis,Cls)中的obj,也即目标的置信度。

步骤140:计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值。

其中,可以根据交集面积A∪B

其中,C表示目标候选框A与候选框列表中第i个候选框B

其中,可视度差值为目标候选框A的可视度visA与候选框列表中第i个候选框B

步骤150:根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框。

本发明实施例中,通过迭代执行如下步骤,删选候选框:

步骤1501:将所述候选框列表中所述交并比值大于第一交并比阈值的候选框,从所述所述候选框列表中删除。本发明实施例中,并不具体限制第一交并比阈值,可以根据实际需求进行相应设置。例如,在本发明实施例的一个具体实现中,该第一交并比阈值为0.8。

步骤1502:删除所述候选框列表中所述交并比值大于第二交并比阈值,且所述可视度差值小于预设可视度阈值的候选框;所述第一交并比阈值大于所述第二交并比阈值。

本发明实施例中,并不具体限制第二交并比阈值,可以根据实际需求进行相应设置。例如,在本发明实施例的一个具体实现中,该第二交并比阈值为0.6。

其中,当所述候选框列表中不存在所述交并比值大于第一交并比阈值的候选框时,返回执行步骤130。

步骤1503:保留所述候选框列表中所述交并比值小于所述第一交并比阈值大于第二交并比阈值,且所述可视度差值Vis_diff大于预设可视度阈值Vis_thres的候选框。本发明实施例并不具体限制该预设可视度阈值Vis_thres的具体数值,本领域技术人员可以根据实际需求进行相应设置。

步骤1504:保留所述候选框列表中所述交并比值小于所述第二交并比阈值的候选框。

步骤160:重复执行所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值,以及根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框的步骤,直至所述候选框列表为空。

如图4所示,本发明实施例的后处理利用可视度信息,对NMS阈值依赖大大降低。通过设置宽松的条件通过可视度都可以找回来NMS抑制掉的目标,有效提升了目标检测的召回率。并且,可以优化目标检测位置的精度。当两个目标相近时,通过NMS会导致目标丢失或者选择一个远离另一个目标较差的预测框以小于IoU阈值。使用可视度则会留下高置信度的预测框。如图4所示,使用两种不同的后处理方式得到的结果。观察白颜色上衣的人左上角,第一个值是类别置信度,第二值是可视度,发现使用相同的权重得到的结果却是不一样的,仔细观察其位置框的底部,发现右图对其底部预测没有到最底部,置信度也相对较低(左图置信度0.86,右图0.79),说明不同的后处理方式,可能使优秀的框被抛弃,只留下次优的预测框。

如图5所示,各结果前者对应NMS-Vis,后者对应NMS,可以看出,NMS非常依赖于IoU阈值,当阈值逐渐减小时,召回率将会快速下降,导致mAP也是跨快速下降。而NMS-Vis随着IoU阈值的逐渐缩小,只是产生了微微下降,影响非常小。

步骤170:根据所述输出列表中的各个候选框,确定处理结果。

其中,本发明实施例对所述输出列表中的各个候选框进行加权计算,得到所述处理结果;将所述处理结果作为所述图像检测模型的输出结果。

本发明实施例通过将待检测图像输入图像检测模型中,得到候选框列表。其中,候选框列表中包括多个候选框以及候选框信息,每个所述候选框信息包括候选框的置信度及可视度信息;然后根据交并比值以及可视度差值对候选框列表中候选框进行筛选,能够更加合理且准确的筛选候选框,更加有效的利用候选框中的信息,从而实现了对图像中目标的准确检测。

本发明另一实施例还提供一种图像检测方法的流程图,该方法由计算机设备执行。该计算机设备可以是可以进行图像检测的设备,如台式电脑、平板电脑、智能终端、穿戴式设备、分布式设备等,本发明实施例不做具体限制。该方法包括以下步骤:

步骤210:根据所述的应用于图像检测的后处理方法,处理得到所述处理结果。

步骤220:根据所述处理结果,输出图像检测结果。

本发明实施例通过将待检测图像输入图像检测模型中,得到候选框列表。其中,候选框列表中包括多个候选框以及候选框信息,每个所述候选框信息包括候选框的置信度及可视度信息;然后根据交并比值以及可视度差值对候选框列表中候选框进行筛选,能够更加合理且准确的筛选候选框,从而实现了对图像中目标的准确检测。

图6示出了本发明实施例提供的应用于图像检测的后处理装置的结构示意图。如图6所示,该装置300包括:

获取模块310,用于获取待检测图像;

输入模块320,用于将所述待检测图像输入图像检测模型中,得到候选框列表;所述候选框列表中包括多个候选框以及候选框信息;每个所述候选框信息包括候选框的置信度及可视度信息;

添加模块330,用于将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除;

计算模块340,用于计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值;

删除模块350,用于根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框;

迭代模块360,用于重复执行所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值,以及根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框的步骤,直至所述候选框列表为空;

结果模块370,用于根据所述输出列表中的各个候选框,确定处理结果。

在一种可选的方式中,所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,包括:对候选框列表中的各个候选框的置信度进行排序,得到置信度最高的目标候选框。

在一种可选的方式中,所述根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框,包括:

将所述候选框列表中所述交并比值大于第一交并比阈值的候选框,从所述所述候选框列表中删除;

删除所述候选框列表中所述交并比值大于第二交并比阈值,且所述可视度差值小于预设可视度阈值的候选框;所述第一交并比阈值大于所述第二交并比阈值;

保留所述候选框列表中所述交并比值小于所述第一交并比阈值大于第二交并比阈值,且所述可视度差值大于预设可视度阈值的候选框;

保留所述候选框列表中所述交并比值小于所述第二交并比阈值的候选框。

在一种可选的方式中,所述将所述待检测图像输入图像检测模型中,得到候选框列表之前,所述方法还包括:

获取训练样本,所述训练样本包括样本图片以及样本标签,所述样本标签包括样本图片中的标记框及所述标记框的位置信息、样本目标信息、样本可视度信息及样本类别信息;

将所述训练样本输入目标检测网络中训练,得到预测框信息;

根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数;

根据所述损失函数,调整所述目标检测网络的参数,并继续执行所述将所述训练样本输入目标检测网络中训练,得到预测框信息,根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数,以及根据所述损失函数,调整所述目标检测网络的参数的步骤,得到图像检测模型。

在一种可选的方式中,所述目标检测网络为Yolov7网络。

在一种可选的方式中,所述根据所述输出列表中的各个候选框,确定处理结果,包括:

对所述输出列表中的各个候选框进行加权计算,得到所述处理结果;

将所述处理结果作为所述图像检测模型的输出结果。

本发明实施例通过将待检测图像输入图像检测模型中,得到候选框列表。其中,候选框列表中包括多个候选框以及候选框信息,每个所述候选框信息包括候选框的置信度及可视度信息;然后根据交并比值以及可视度差值对候选框列表中候选框进行筛选,能够更加合理且准确的筛选候选框,从而实现了对图像中目标的准确检测。

图7示出了本发明实施例提供的计算机设备的结构示意图,本发明具体实施例并不对计算机设备的具体实现做限定。

如图7所示,该计算机设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中:处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。处理器402,用于执行程序410,具体可以执行上述用于所述的应用于图像检测的后处理方法或所述的图像检测方法的实施例中的相关步骤。

具体地,程序410可以包括程序代码,该程序代码包括计算机可执行指令。

处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。

存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。

程序410具体可以被处理器402调用使计算机设备执行以下操作:

获取待检测图像;

将所述待检测图像输入图像检测模型中,得到候选框列表;所述候选框列表中包括多个候选框以及候选框信息;每个所述候选框信息包括候选框的置信度及可视度信息;

将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除;

计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值;

根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框;

重复执行所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值,以及根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框的步骤,直至所述候选框列表为空;

根据所述输出列表中的各个候选框,确定处理结果。

在一种可选的方式中,所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,包括:对候选框列表中的各个候选框的置信度进行排序,得到置信度最高的目标候选框。

在一种可选的方式中,所述根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框,包括:

将所述候选框列表中所述交并比值大于第一交并比阈值的候选框,从所述所述候选框列表中删除;

删除所述候选框列表中所述交并比值大于第二交并比阈值,且所述可视度差值小于预设可视度阈值的候选框;所述第一交并比阈值大于所述第二交并比阈值;

保留所述候选框列表中所述交并比值小于所述第一交并比阈值大于第二交并比阈值,且所述可视度差值大于预设可视度阈值的候选框;

保留所述候选框列表中所述交并比值小于所述第二交并比阈值的候选框。

在一种可选的方式中,所述将所述待检测图像输入图像检测模型中,得到候选框列表之前,所述方法还包括:

获取训练样本,所述训练样本包括样本图片以及样本标签,所述样本标签包括样本图片中的标记框及所述标记框的位置信息、样本目标信息、样本可视度信息及样本类别信息;

将所述训练样本输入目标检测网络中训练,得到预测框信息;

根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数;

根据所述损失函数,调整所述目标检测网络的参数,并继续执行所述将所述训练样本输入目标检测网络中训练,得到预测框信息,根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数,以及根据所述损失函数,调整所述目标检测网络的参数的步骤,得到图像检测模型。

在一种可选的方式中,所述目标检测网络为Yolov7网络。

在一种可选的方式中,所述根据所述输出列表中的各个候选框,确定处理结果,包括:

对所述输出列表中的各个候选框进行加权计算,得到所述处理结果;

将所述处理结果作为所述图像检测模型的输出结果。

本发明实施例通过将待检测图像输入图像检测模型中,得到候选框列表。其中,候选框列表中包括多个候选框以及候选框信息,每个所述候选框信息包括候选框的置信度及可视度信息;然后根据交并比值以及可视度差值对候选框列表中候选框进行筛选,能够更加合理且准确的筛选候选框,从而实现了对图像中目标的准确检测。

本发明实施例提供了一种计算机可读存储介质,所述存储介质存储有至少一可执行指令,该可执行指令在计算机设备上运行时,使得所述计算机设备执行上述任意方法实施例中的所述的应用于图像检测的后处理方法或所述的图像检测方法的操作。

可执行指令具体可以用于使得计算机设备执行以下操作:

获取待检测图像;

将所述待检测图像输入图像检测模型中,得到候选框列表;所述候选框列表中包括多个候选框以及候选框信息;每个所述候选框信息包括候选框的置信度及可视度信息;

将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除;

计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值;

根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框;

重复执行所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,计算所述目标候选框与所述候选框列表中各个候选框的交并比值,以及可视度差值,以及根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框的步骤,直至所述候选框列表为空;

根据所述输出列表中的各个候选框,确定处理结果。

在一种可选的方式中,所述将所述置信度最高的目标候选框,添加至输出列表,并从候选框列表中删除,包括:对候选框列表中的各个候选框的置信度进行排序,得到置信度最高的目标候选框。

在一种可选的方式中,所述根据所述交并比值以及所述可视度差值,从所述候选框列表中删除至少一个候选框,包括:

将所述候选框列表中所述交并比值大于第一交并比阈值的候选框,从所述所述候选框列表中删除;

删除所述候选框列表中所述交并比值大于第二交并比阈值,且所述可视度差值小于预设可视度阈值的候选框;所述第一交并比阈值大于所述第二交并比阈值;

保留所述候选框列表中所述交并比值小于所述第一交并比阈值大于第二交并比阈值,且所述可视度差值大于预设可视度阈值的候选框;

保留所述候选框列表中所述交并比值小于所述第二交并比阈值的候选框。

在一种可选的方式中,所述将所述待检测图像输入图像检测模型中,得到候选框列表之前,所述方法还包括:

获取训练样本,所述训练样本包括样本图片以及样本标签,所述样本标签包括样本图片中的标记框及所述标记框的位置信息、样本目标信息、样本可视度信息及样本类别信息;

将所述训练样本输入目标检测网络中训练,得到预测框信息;

根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数;

根据所述损失函数,调整所述目标检测网络的参数,并继续执行所述将所述训练样本输入目标检测网络中训练,得到预测框信息,根据预测框信息以及所述样本标签,计算所述目标检测网络的损失函数,以及根据所述损失函数,调整所述目标检测网络的参数的步骤,得到图像检测模型。

在一种可选的方式中,所述目标检测网络为Yolov7网络。

在一种可选的方式中,所述根据所述输出列表中的各个候选框,确定处理结果,包括:

对所述输出列表中的各个候选框进行加权计算,得到所述处理结果;

将所述处理结果作为所述图像检测模型的输出结果。

本发明实施例通过将待检测图像输入图像检测模型中,得到候选框列表。其中,候选框列表中包括多个候选框以及候选框信息,每个所述候选框信息包括候选框的置信度及可视度信息;然后根据交并比值以及可视度差值对候选框列表中候选框进行筛选,能够更加合理且准确的筛选候选框,从而实现了对图像中目标的准确检测。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。

类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。

本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

相关技术
  • 土壤图像获取设备、土壤含水量检测系统以及检测方法
  • 货车运行故障动态图像检测设备及检测方法
  • 图像检测方法、图像检测模型训练方法及相关设备
  • 图像检测方法和检测模型的训练方法及相关装置、设备
技术分类

06120116493204