掌桥专利:专业的专利平台
掌桥专利
首页

车辆匹配模型生成方法、装置、计算机设备和存储介质

文献发布时间:2023-06-19 11:49:09


车辆匹配模型生成方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域,特别是涉及一种车辆匹配模型生成方法、装置、计算机设备和存储介质。

背景技术

随着计算机视觉技术的发展,出现了识别图像中同一车辆的车身、车头、车尾和车身其他部位的技术,应用该技术可以实现对车辆的定位及跟踪。传统方法中,通常是通过检测器分别检测出车身框、车头框和车尾框,然后通过预设的匹配规则确定出车身框、车头框和车尾框之间的关联关系,进一步确定车身框、车头框和车尾框是否属于同一车辆。

然而,传统方法中,当图像中的车辆较为密集或图像中的车辆相互遮挡时,会出现严重的车辆误匹配现象。

发明内容

基于此,有必要针对上述技术问题,提供一种能够避免车辆误匹配现象的车辆匹配模型生成方法、装置、计算机设备和存储介质。

一种车辆匹配模型生成方法,所述方法包括:

获取至少一个第一锚框和标注框;其中,所述标注框为对图像中的每一车辆的车辆类型进行标注生成的框,所述车辆类型包括车身、车头和车尾,所述标注框包括车身标注框、车头标注框和车尾标注框;

根据所述第一锚框与所述车身标注框之间的交并比,从所述至少一个第一锚框中确定出车身样本框;其中,所述车身样本框包括车身正样本框和车身负样本框;

对所述车身正样本框进行分割,得到预设数量的第二锚框;

根据所述第二锚框与所述车头标注框、所述车尾标注框之间的交并比,从所述预设数量个第二锚框中确定出车头样本框和车尾样本框;其中,所述车身样本框、所述车头样本框和所述车尾样本框之间属于同一车辆;

采用所述车身样本框、所述车头样本框和所述车尾样本框,对预设的初始车辆匹配模型进行训练,得到车辆匹配模型;其中,所述车辆匹配模型包括分类分支和回归分支;所述分类分支用于输出车辆输出框为对应车辆类型的概率,所述回归分支用于输出车辆输出框的坐标参数。

在其中一个实施例中,所述分类分支的层数为2(n-1)+1;其中,n为所述车辆类型的数量;

所述回归分支的层数为m*n;其中,m为所述车辆输出框的坐标参数的数量,所述坐标参数包括所述车辆输出框的横坐标、纵坐标、宽度和高度。

在其中一个实施例中,所述根据所述第一锚框与所述车身标注框之间的交并比,从所述至少一个第一锚框中确定出所述车身样本框,包括:

对于每一所述第一锚框,获取所述第一锚框与所述车身标注框之间的交并比,得到第一交并比;

检测所述第一交并比与第一预设阈值之间的大小关系;

若所述第一交并比大于所述第一预设阈值,则将所述第一锚框确定为所述车身正样本框,否则将所述第一锚框确定为所述车身负样本框。

在其中一个实施例中,所述根据所述第二锚框与所述车头标注框、所述车尾标注框之间的交并比,从所述预设数量个第二锚框中确定出所述车头样本框和所述车尾样本框,包括:

获取所述第二锚框与所述车头标注框之间的交并比,得到第二交并比;

获取所述第二锚框与所述车尾标注框之间的交并比,得到第三交并比;

根据所述第二交并比与所述第三交并比之间的大小关系,从所述预设数量个第二锚框中确定出车头样本框和车尾样本框。

在其中一个实施例中,所述根据所述第二交并比与所述第三交并比之间的大小关系,从所述预设数量个第二锚框中确定出车头样本框和车尾样本框,包括:

检测所述第二交并比与所述第三交并比之间的大小关系;

若所述第二交并比大于所述第三交并比,则将所述第二锚框确定为所述车头样本框,否则将所述第二锚框确定为所述车尾样本框。

在其中一个实施例中,所述车头样本框包括车头正样本框和车头负样本框;

所述将所述第二锚框确定为所述车头样本框,包括:

检测所述第二交并比与第二预设阈值之间的大小关系;

若所述第二交并比大于所述第二预设阈值,则将所述第二锚框确定为所述车头正样本框,否则将所述第二锚框确定为所述车头负样本框。

在其中一个实施例中,所述车尾样本框包括车尾正样本框和车尾负样本框;

所述将所述第二锚框确定为所述车尾样本框,包括:

检测所述第三交并比与所述第二预设阈值之间的大小关系;

若所述第三交并比大于所述第二预设阈值,则将所述第二锚框确定为所述车尾正样本框,否则将所述第二锚框确定为所述车尾负样本框。

一种车辆匹配模型生成装置,所述装置包括:

数据获取模块,用于获取至少一个第一锚框和标注框;其中,所述标注框为对图像中的每一车辆的车辆类型进行标注生成的框,所述车辆类型包括车身、车头和车尾,所述标注框包括车身标注框、车头标注框和车尾标注框;

第一样本框确定模块,用于根据所述第一锚框与所述车身标注框之间的交并比,从所述至少一个第一锚框中确定出车身样本框;其中,所述车身样本框包括车身正样本框和车身负样本框;

锚框分割模块,用于对所述车身正样本框进行分割,得到预设数量的第二锚框;

第二样本框确定模块,用于根据所述第二锚框与所述车头标注框、所述车尾标注框之间的交并比,从所述预设数量个第二锚框中确定出车头样本框和车尾样本框;其中,所述车身样本框、所述车头样本框和所述车尾样本框之间属于同一车辆;

模型生成模块,用于采用所述车身样本框、所述车头样本框和所述车尾样本框对预设的初始车辆匹配模型进行训练,得到车辆匹配模型;其中,所述车辆匹配模型包括分类分支和回归分支;所述分类分支用于输出车辆输出框为对应车辆类型的概率,所述回归分支用于输出车辆输出框的坐标参数。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项实施例所述的方法。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项实施例所述的方法。

上述车辆匹配模型生成方法、装置、计算机设备和存储介质,获取至少一个第一锚框和标注框;其中,标注框为对图像中的每一车辆的车辆类型进行标注生成的框,车辆类型包括车身、车头和车尾,标注框包括车身标注框、车头标注框和车尾标注框;根据第一锚框与车身标注框之间的交并比,从至少一个第一锚框中确定出车身样本框;其中,车身样本框包括车身正样本框和车身负样本框;对车身正样本框进行分割,得到预设数量的第二锚框;根据第二锚框与车头标注框、车尾标注框之间的交并比,从预设数量个第二锚框中确定出车头样本框和车尾样本框;其中,车身样本框、车头样本框和车尾样本框之间属于同一车辆;采用车身样本框、车头样本框和车尾样本框,对预设的初始车辆匹配模型进行训练,得到车辆匹配模型;其中,车辆匹配模型包括分类分支和回归分支;分类分支用于输出车辆输出框为对应车辆类型的概率,回归分支用于输出车辆输出框的坐标参数。由于模型的训练样本为同一车辆的车辆样本框,模型输出也是同一车辆的车辆输出框为对应车辆类型的概率,因此该车辆匹配模型能够识别同一车辆的车身、车头、车尾,能避免车辆误匹配的现象,匹配精度高。

附图说明

图1为一个实施例中车辆匹配模型生成方法的流程示意图;

图2为一个实施例中步骤S200的一种可实施方式的流程示意图;

图3为一个实施例中步骤S400的一种可实施方式的流程示意图;

图4为一个具体实施例中车辆匹配模型生成方法的流程示意图;

图5为一个实施例中车辆关联匹配样本框示意图;

图6为一个实施例中车辆匹配模型生成装置的结构框图;

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在一个实施例中,如图1所示,提供了一种车辆匹配模型生成方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:

步骤S100,获取至少一个第一锚框和标注框;其中,标注框为对图像中的每一车辆的车辆类型进行标注生成的框,车辆类型包括车身、车头和车尾,标注框包括车身标注框、车头标注框和车尾标注框。

步骤S200,根据第一锚框与车身标注框之间的交并比,从至少一个第一锚框中确定出车身样本框;其中,车身样本框包括车身正样本框和车身负样本框。

步骤S300,对车身正样本框进行分割,得到预设数量的第二锚框。

步骤S400,根据第二锚框与车头标注框、车尾标注框之间的交并比,从预设数量个第二锚框中确定出车头样本框和车尾样本框;其中,车身样本框、车头样本框和车尾样本框之间属于同一车辆。

步骤S500,采用车身样本框、车头样本框和车尾样本框,对预设的初始车辆匹配模型进行训练,得到车辆匹配模型;其中,车辆匹配模型包括分类分支和回归分支;分类分支用于输出车辆输出框为对应车辆类型的概率,回归分支用于输出车辆输出框的坐标参数。

其中,锚框(Anchor)是指根据包含车辆的图像的尺寸生成的具有多尺度、多种宽高比例的框。标注框为对图像中的每一车辆的车辆类型进行标注生成的框,车辆类型包括车身、车头和车尾,标注框包括车身标注框、车头标注框和车尾标注框。预设数量是指对第一锚框进行分割得到第二锚框的数量,例如,当将第一锚框按照车头车尾分成两部分时,预设数量为2,将当将第一锚框按照车头、车中、车尾分成三部分时,预设数量为3。可选地,预设数量还可以为4、5、6不等。

具体地,获取至少一个第一锚框和标注框,根据第一锚框与车身标注框之间的交并比,从第一锚框中确定出每一车辆的车身样本框,车身样本框包括车身正样本框和车身负样本框,车身正样本框中为包括车身的第一锚框,车身负样本框为不包括车身的第一锚框。接着,对车身正样本框进行分割,得到预设数量的第二锚框,根据第二锚框与车头标注框、车尾标注框之间的交并比,从预设数量个第二锚框中确定出车头样本框和车尾样本框。同样地,车头样本框包括车头正样本框和车头负样本框,车尾样本框包括车尾正样本框和车尾负样本框。由于车身负样本框为不包括车身,因此不对车身负样本框进行再次处理,车身负样本框分割后的子样本框均为负样本框,既是车头负样本框也是车尾负样本框。在得到同一车辆的车身样本框、车头样本框和车尾样本框后,采用车身样本框、车头样本框和车尾样本框,对预设的初始车辆匹配模型进行训练,得到车辆匹配模型,该车辆匹配模型包括分类分支和回归分支,分类分支能够输出同一车辆的车辆输出框为对应车辆类型的概率,回归分支能够输出车辆输出框的坐标参数。

上述车辆匹配模型生成方法,获取至少一个第一锚框和标注框;其中,标注框为对图像中的每一车辆的车辆类型进行标注生成的框,车辆类型包括车身、车头和车尾,标注框包括车身标注框、车头标注框和车尾标注框;根据第一锚框与车身标注框之间的交并比,从至少一个第一锚框中确定出车身样本框;其中,车身样本框包括车身正样本框和车身负样本框;对车身正样本框进行分割,得到预设数量的第二锚框;根据第二锚框与车头标注框、车尾标注框之间的交并比,从预设数量个第二锚框中确定出车头样本框和车尾样本框;采用车身样本框、车头样本框和车尾样本框,对预设的初始车辆匹配模型进行训练,得到车辆匹配模型;其中,车辆匹配模型包括分类分支和回归分支;分类分支用于输出车辆输出框为对应车辆类型的概率,回归分支用于输出车辆输出框的坐标参数。由于模型的训练样本为同一车辆的车辆样本框,模型输出也是同一车辆的车辆输出框为对应车辆类型的概率,因此该车辆匹配模型能够识别同一车辆的车身、车头、车尾,能避免车辆误匹配的现象,匹配精度高。

可选地,在一个实施例中,车辆匹配模型中的分类分支的层数为2(n-1)+1;其中,n为车辆类型的数量;车辆匹配模型的回归分支的层数为m*n;其中,m为车辆输出框的坐标参数的数量,坐标参数包括车辆输出框的横坐标、纵坐标、宽度和高度。

其中,分类分支用于输出同一车辆的车辆输出框为对应车辆类型的概率。由于车身对应的框为一个完整的第一锚框,而车头和车尾对应的框为对第一锚框进行分割形成的第二锚框,因此,当与车身对应的第一锚框有一个时,需要将第一锚框分割为(n-1)个第二锚框,并判断(n-1)个第二锚框的类型。第二锚框的类型分为两种,一种为包括需要的目标,一种为不包括需要的目标,因此需要2(n-1)个对第二锚框进行描述的分支。加上一个对第一锚框进行描述的分支,总计需要2(n-1)+1个对锚框进行描述的分支。

本实施例中车辆类型为车身、车头、车尾三种,n为3,需要将第一锚框分割为(n-1)=2个第二锚框(左子框、右子框),分类分支的层数为2(n-1)+1=5,其中的每一层输出分别表示第一锚框是否包括车身、左子框是否包括车头、左子框是否包括车尾、右子框是否包括车头和右子框是否包括车尾。可选地,n的具体数值可以根据需要确定的车辆类型的数量确定,车辆类型还可以包括车门、车胎、车窗等。

回归分支用于输出车辆输出框的坐标参数,坐标参数包括车辆输出框的横坐标、纵坐标、宽度和高度时,表明坐标参数的数量为4,此时回归分支的层数为m*n=12。

示例地,以模型RetinaNet作为初始车辆匹配模型为例,初始车辆匹配模型的分类分支的层数为C1=5,回归分支的层数为H×W×A×12。

在模型训练过程中,可以根据锚框与标注框的匹配结果计算分类分支的损失,目标是判断第一锚框是否包括车身、左子框是否包括车头、左子框是否包括车尾、右子框是否包括车头和右子框是否包括车尾。进一步通过匹配结果编码产生回归目标值,计算方式如公式(1),再通过回归损失函数不断与目标值接近。具体公式(1)表示如下:

其中,

在模型的测试和调用阶段,需要对模型的回归分支的输出进行解码,并在解码后将每个图片的输出维度改变为[X,12],其中X=H×W×A,前四列表示第一锚框回归后的车辆输出框(车身输出框)、中间四列表示左子框回归后的车辆输出框(车头输出框或车尾输出框)、最后四列表示右子框回归后的车辆输出框(车尾输出框或车头输出框),三种框一一对应,且存在匹配状态,为同一辆车的不同区域,解码方式如公式(2)所示:

其中,(t

分类分支将每个图片的输出维度设置为[X,5],第一列表示车辆输出框为车身的概率,第二、三列分别表示左子框回归后的车辆输出框为车头和车尾的概率,通过比较二三列的概率值大小,可以得到最后是车头车尾的标签,第四、五列表示右子框的类别计算,同第二、三列。最后可以得到匹配的车身输出框、车头输出框、车尾输出框,如果一个子框(左子框、右子框)既不属于车头也不属于车尾,可以通过设置概率阈值的方式过滤掉。

上述实施例中,可以对模型的具体参数进行设定,可以将车辆类型的识别和车辆类型的匹配两个流程整合到一个模型中,流程简单,且模型输出是同一车辆的车辆输出框为对应车辆类型的概率,能避免车辆误匹配的现象。

在一个实施例中,如图2所示,为步骤S200的一种可实施方式的流程示意图,包括:

步骤S210,对于每一第一锚框,获取第一锚框与车身标注框之间的交并比,得到第一交并比。

步骤S220,检测第一交并比与第一预设阈值之间的大小关系。

步骤S230,若第一交并比大于第一预设阈值,则将第一锚框确定为车身正样本框,否则将第一锚框确定为车身负样本框。

其中,第一预设阈值是指用于确定第一锚框是否能代表车身标注框的临界值。当第一交并比大于第一预设阈值时,说明第一锚框与车身标注框的重合部分较多,能在一定程度上代表车身标注框。当第一交并比小于或等于第一预设阈值时,说明第一锚框与车身标注框的重合部分较少,无法代车身表标注框。可选地,第一预设阈值可以为0.7、0.8、0.9不等。

具体地,对于每一第一锚框,采用公式“第一交并比=(第一锚框面积∩车身标注框面积)/(第一锚框面积∪车身标注框面积)”,确定出第一锚框与车身标注框之间的交并比,得到第一交并比。接着,检测第一交并比与第一预设阈值之间的大小关系,若第一交并比大于第一预设阈值,说明第一锚框与车身标注框的重合部分较多,能在一定程度上代表车身标注框,则将第一锚框确定为车身正样本框。否则说明第一锚框与车身标注框的重合部分较少,无法代车身表标注框,则将第一锚框确定为车身负样本框。

上述实施例中,对于每一第一锚框,获取第一锚框与车身标注框之间的交并比,得到第一交并比;检测第一交并比与第一预设阈值之间的大小关系;若第一交并比大于第一预设阈值,则将第一锚框确定为车身正样本框,否则将第一锚框确定为车身负样本框。从而能够根据第一锚框和车身标注框得到多个车身正样本框和车身负样本框,为后续模型训练提供大量的样本数据,提高模型的匹配精度。

在一个实施例中,如图3所示,为步骤S400的一种可实施方式的流程示意图,包括:

步骤S411,获取第二锚框与车头标注框之间的交并比,得到第二交并比。

步骤S412,获取第二锚框与车尾标注框之间的交并比,得到第三交并比。

步骤S420,根据第二交并比与第三交并比之间的大小关系,从预设数量个第二锚框中确定出车头样本框和车尾样本框。

具体地,采用公式“第二交并比=(第二锚框面积∩车头标注框面积)/(第二锚框面积∪车头标注框面积)”,获取第二锚框与车头标注框之间的交并比,得到第二交并比。采用公式“第三交并比=(第三锚框面积∩车尾标注框面积)/(第三锚框面积∪车尾标注框面积)”,获取第三锚框与车尾标注框之间的交并比,得到第三交并比。根据第二交并比与第三交并比之间的大小关系,从预设数量个第二锚框中确定出车头样本框和车尾样本框。

可选地,步骤S430包括:检测第二交并比与第三交并比之间的大小关系;若第二交并比大于第三交并比,则将第二锚框确定为车头样本框,否则将第二锚框确定为车尾样本框。

具体地,检测第二交并比与第三交并比之间的大小关系,若第二交并比大于第三交并比,说明第二锚框包含车头的部分大于包含的车尾的部分,此时将第二锚框确定为车头样本框。否则说明第二锚框包含车头的部分小于或等于包含的车尾的部分,此时将第二锚框确定为车尾样本框。

可选地,在将第二锚框确定为车头样本框时,需要进一步检测第二交并比与第二预设阈值之间的大小关系;若第二交并比大于第二预设阈值,则将第二锚框确定为车头正样本框,否则将第二锚框确定为车头负样本框。

其中,第二预设阈值是指用于确定第二锚框是否能代表车头标注框或车尾标注框的临界值。当第二交并比大于第二预设阈值时,说明第二锚框与车头标注框的重合部分较多,能在一定程度上代表车头标注框。当第二交并比小于或等于第二预设阈值时,说明第二锚框与车头标注框的重合部分较少,无法代车头表标注框。同理,当第三交并比大于第二预设阈值时,说明第二锚框与车尾标注框的重合部分较多,能在一定程度上代表车尾标注框。当第三交并比小于或等于第二预设阈值时,说明第二锚框与车尾标注框的重合部分较少,无法代车尾表标注框。可选地,第二预设阈值可以为0.7、0.8、0.9不等。车头样本框包括车头正样本框和车头负样本框。

具体地,检测第二交并比与第二预设阈值之间的大小关系,若第二交并比大于第二预设阈值,说明第二锚框与车头标注框的重合部分较多,能在一定程度上代表车头标注框,则将第二锚框确定为车头正样本框。否则说明第二锚框与车头标注框的重合部分较少,无法代车头表标注框,则将第二锚框确定为车头负样本框。

可选地,在将第二锚框确定为车尾样本框时,需要进一步检测第三交并比与第二预设阈值之间的大小关系;若第三交并比大于第二预设阈值,则将第二锚框确定为车尾正样本框,否则将第二锚框确定为车尾负样本框。

其中,车尾样本框包括车尾正样本框和车尾负样本框。

具体地,检测第三交并比与第二预设阈值之间的大小关系,若第三交并比大于第二预设阈值,说明第二锚框与车尾标注框的重合部分较多,能在一定程度上代表车尾标注框,则将第二锚框确定为车尾正样本框。否则说明第二锚框与车尾标注框的重合部分较少,无法代车尾表标注框,则将第二锚框确定为车尾负样本框。

上述实施例中,通过获取第二锚框与车头标注框之间的交并比,得到第二交并比;获取第二锚框与车尾标注框之间的交并比,得到第三交并比;根据第二交并比与第三交并比之间的大小关系,从预设数量个第二锚框中确定出车头样本框和车尾样本框。通过上述方式,可以快速地得到大量的车头样本框和车尾样本框,并进一步确定出具体的车头正样本框、车头负样本框、车尾正样本框和车尾负样本框。能为后续模型训练提供大量的样本数据,提高模型的匹配精度。

在一个具体的实施例中,如图4所示,提供了一种车辆匹配模型生成方法。其中,车辆类型为三种,分别为车身、车头和车尾。首先获取训练样本,并在训练样本中增加一个是否匹配项,如图5所示,为车辆关联匹配样本框示意图。图中上半部分的三个框属于一车辆的车身、车头和车尾,图中下半部分的三个框属于另一辆的车身、车头、车尾,如果某辆车因为遮挡等原因车头或车尾不可见,则将对应位置标注占位补零。在标注文件中,以两辆车的车身、车头、车尾标注为例,样本数据的两辆车的标注框存储为两行文本,每行有一辆车的三种框坐标和三种框分别对应的类别(车身、车头和车尾),标注中每一行就代表一个车辆,从而形成关联关系。可选地,上述标注的生成除了通过人工标注的方式产生,还可以通过已有算法生成,如匈牙利算法。

在本实施例中,将第一锚框与车身标注框进行匹配,匹配方法与上述相同,可得到对应的车身正样本框和车身负样本框,为了让第一锚框更好的匹配车头车尾,将车辆匹配的车身正样本框(从多个第一锚框中确定出来的)以中线平均切分成左右两个子框(第二锚框),分别与同一车辆的车头标注框和车尾标注框计算交并比,交并比大的子框用来回归和分类对应的标注框,如果该车辆不存在可见的车头车尾即标注框标注为0,则子框作为负样本框,具体如图4所示。

首先,获取至少一个第一锚框和标注框,并获取所有第一锚框与车身标注框之间的交并比,若该交并比大于第一预设阈值,则将该第一锚框确定为车身正样本框,否则为车身负样本框,车身负样本框对应的左右子框均为负样本框(车头负样本框、车尾负样本框)。接着,将车身正样本框分为左右两个子框(第二锚框),可选地,还可以分为更多个子框,这里以分为左右两个子框为例进行说明。在得到左右两个子框后,将左右子框分为与车头标注框和车尾标注框进行交并比的计算。当车头交并比(第二交并比)大于车尾交并比(第三交并比)时,则计算车头交并比与第二预设阈值之间的大小关系,将大于第二预设阈值的子框,确定为车头正样本框,否则为车头负样本框。当车尾交并比(第三交并比)大于车头交并比(第二交并比)时,则计算车尾交并比与第二预设阈值之间的大小关系,将大于第二预设阈值的子框,确定为车尾正样本框,否则为车尾负样本框。

可选地,为了让模型输出具有匹配信息,也可以直接用与同一个车身框匹配的锚框再去回归车头和车尾。在对第一锚框进行切分时,还可以通过将第一锚框分为三部分,以解决侧面可见的车辆,用中间子框去解决正面或反面可见的车辆。

可选地,在得到上述车身正样本框、车身负样本框、车头正样本框、车头负样本框、车尾正样本框和车尾负样本框后,采用车身正样本框、车身负样本框、车头正样本框、车头负样本框、车尾正样本框和车尾负样本框,对预设的初始车辆匹配模型进行训练,得到车辆匹配模型;其中,车辆匹配模型包括分类分支和回归分支;分类分支用于输出车辆输出框为对应车辆类型的概率,回归分支用于输出车辆输出框的坐标参数。

上述实施例中,切分第一锚框的方式原理简单易于实现,对模型计算量影响不大,同时能够解决车辆侧面面对摄像头拍照的图片,对于其他角度车辆的车头标注框、车尾标准框通过选取交并比大的切分框可以得到很好的结果,鲁棒性强。

需要说明的是,上述方案不仅可以用于车辆的匹配和关联,还可以应用于其他领域,例如人体、人头关联匹配等,且易于扩展。

应该理解的是,虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图6所示,提供了一种车辆匹配模型生成装置,包括:数据获取模块601、第一样本框确定模块602、锚框分割模块603、第二样本框确定模块604和模型生成模块605,其中:

数据获取模块601,用于获取至少一个第一锚框和标注框;其中,标注框为对图像中的每一车辆的车辆类型进行标注生成的框,车辆类型包括车身、车头和车尾,标注框包括车身标注框、车头标注框和车尾标注框;

第一样本框确定模块602,用于根据第一锚框与车身标注框之间的交并比,从至少一个第一锚框中确定出车身样本框;其中,车身样本框包括车身正样本框和车身负样本框;

锚框分割模块603,用于对车身正样本框进行分割,得到预设数量的第二锚框;

第二样本框确定模块604,用于根据第二锚框与车头标注框、车尾标注框之间的交并比,从预设数量个第二锚框中确定出车头样本框和车尾样本框;其中,车身样本框、车头样本框和车尾样本框之间属于同一车辆;

模型生成模块605,用于采用车身样本框、车头样本框和车尾样本框对预设的初始车辆匹配模型进行训练,得到车辆匹配模型;其中,车辆匹配模型包括分类分支和回归分支;分类分支用于输出车辆输出框为对应车辆类型的概率,回归分支用于输出车辆输出框的坐标参数。

在其中一个实施例中,分类分支的层数为2(n-1)+1;其中,n为车辆类型的数量;回归分支的层数为m*n;其中,m为车辆输出框的坐标参数的数量,坐标参数包括车辆输出框的横坐标、纵坐标、宽度和高度。

在其中一个实施例中,第一样本框确定模块602还用于:对于每一第一锚框,获取第一锚框与车身标注框之间的交并比,得到第一交并比;检测第一交并比与第一预设阈值之间的大小关系;若第一交并比大于第一预设阈值,则将第一锚框确定为车身正样本框,否则将第一锚框确定为车身负样本框。

在其中一个实施例中,第二样本框确定模块604还用于:获取第二锚框与车头标注框之间的交并比,得到第二交并比;获取第二锚框与车尾标注框之间的交并比,得到第三交并比;根据第二交并比与第三交并比之间的大小关系,从预设数量个第二锚框中确定出车头样本框和车尾样本框。

在其中一个实施例中,第二样本框确定模块604还用于:检测第二交并比与第三交并比之间的大小关系;若第二交并比大于第三交并比,则将第二锚框确定为车头样本框,否则将第二锚框确定为车尾样本框。

在其中一个实施例中,第二样本框确定模块604还用于:检测第二交并比与第二预设阈值之间的大小关系;若第二交并比大于第二预设阈值,则将第二锚框确定为车头正样本框,否则将第二锚框确定为车头负样本框。

在其中一个实施例中,第二样本框确定模块604还用于:检测第三交并比与第二预设阈值之间的大小关系;若第三交并比大于第二预设阈值,则将第二锚框确定为车尾正样本框,否则将第二锚框确定为车尾负样本框。

关于车辆匹配模型生成装置的具体限定可以参见上文中对于车辆匹配模型生成方法的限定,在此不再赘述。上述车辆匹配模型生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车辆匹配模型生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:

获取至少一个第一锚框和标注框;其中,标注框为对图像中的每一车辆的车辆类型进行标注生成的框,车辆类型包括车身、车头和车尾,标注框包括车身标注框、车头标注框和车尾标注框;

根据第一锚框与车身标注框之间的交并比,从至少一个第一锚框中确定出车身样本框;其中,车身样本框包括车身正样本框和车身负样本框;

对车身正样本框进行分割,得到预设数量的第二锚框;

根据第二锚框与车头标注框、车尾标注框之间的交并比,从预设数量个第二锚框中确定出车头样本框和车尾样本框;其中,车身样本框、车头样本框和车尾样本框之间属于同一车辆;

采用车身样本框、车头样本框和车尾样本框对预设的初始车辆匹配模型进行训练,得到车辆匹配模型;其中,车辆匹配模型包括分类分支和回归分支;分类分支用于输出车辆输出框为对应车辆类型的概率,回归分支用于输出车辆输出框的坐标参数。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:分类分支的层数为2(n-1)+1;其中,n为车辆类型的数量;回归分支的层数为m*n;其中,m为车辆输出框的坐标参数的数量,坐标参数包括车辆输出框的横坐标、纵坐标、宽度和高度。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:对于每一第一锚框,获取第一锚框与车身标注框之间的交并比,得到第一交并比;检测第一交并比与第一预设阈值之间的大小关系;若第一交并比大于第一预设阈值,则将第一锚框确定为车身正样本框,否则将第一锚框确定为车身负样本框。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取第二锚框与车头标注框之间的交并比,得到第二交并比;获取第二锚框与车尾标注框之间的交并比,得到第三交并比;根据第二交并比与第三交并比之间的大小关系,从预设数量个第二锚框中确定出车头样本框和车尾样本框。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:检测第二交并比与第三交并比之间的大小关系;若第二交并比大于第三交并比,则将第二锚框确定为车头样本框,否则将第二锚框确定为车尾样本框。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:检测第二交并比与第二预设阈值之间的大小关系;若第二交并比大于第二预设阈值,则将第二锚框确定为车头正样本框,否则将第二锚框确定为车头负样本框。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:检测第三交并比与第二预设阈值之间的大小关系;若第三交并比大于第二预设阈值,则将第二锚框确定为车尾正样本框,否则将第二锚框确定为车尾负样本框。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

获取至少一个第一锚框和标注框;其中,标注框为对图像中的每一车辆的车辆类型进行标注生成的框,车辆类型包括车身、车头和车尾,标注框包括车身标注框、车头标注框和车尾标注框;

根据第一锚框与车身标注框之间的交并比,从至少一个第一锚框中确定出车身样本框;其中,车身样本框包括车身正样本框和车身负样本框;

对车身正样本框进行分割,得到预设数量的第二锚框;

根据第二锚框与车头标注框、车尾标注框之间的交并比,从预设数量个第二锚框中确定出车头样本框和车尾样本框;其中,车身样本框、车头样本框和车尾样本框之间属于同一车辆;

采用车身样本框、车头样本框和车尾样本框对预设的初始车辆匹配模型进行训练,得到车辆匹配模型;其中,车辆匹配模型包括分类分支和回归分支;分类分支用于输出车辆输出框为对应车辆类型的概率,回归分支用于输出车辆输出框的坐标参数。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:分类分支的层数为2(n-1)+1;其中,n为车辆类型的数量;回归分支的层数为m*n;其中,m为车辆输出框的坐标参数的数量,坐标参数包括车辆输出框的横坐标、纵坐标、宽度和高度。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对于每一第一锚框,获取第一锚框与车身标注框之间的交并比,得到第一交并比;检测第一交并比与第一预设阈值之间的大小关系;若第一交并比大于第一预设阈值,则将第一锚框确定为车身正样本框,否则将第一锚框确定为车身负样本框。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取第二锚框与车头标注框之间的交并比,得到第二交并比;获取第二锚框与车尾标注框之间的交并比,得到第三交并比;根据第二交并比与第三交并比之间的大小关系,从预设数量个第二锚框中确定出车头样本框和车尾样本框。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:检测第二交并比与第三交并比之间的大小关系;若第二交并比大于第三交并比,则将第二锚框确定为车头样本框,否则将第二锚框确定为车尾样本框。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:检测第二交并比与第二预设阈值之间的大小关系;若第二交并比大于第二预设阈值,则将第二锚框确定为车头正样本框,否则将第二锚框确定为车头负样本框。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:检测第三交并比与第二预设阈值之间的大小关系;若第三交并比大于第二预设阈值,则将第二锚框确定为车尾正样本框,否则将第二锚框确定为车尾负样本框。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

相关技术
  • 车辆匹配模型生成方法、装置、计算机设备和存储介质
  • 模型匹配方法、装置、计算机可读存储介质和计算机设备
技术分类

06120113066196