掌桥专利:专业的专利平台
掌桥专利
首页

车辆识别方法及相关装置、电子设备和存储介质

文献发布时间:2023-06-19 16:04:54



技术领域

本申请涉及车辆搜索技术领域,特别是涉及一种车辆识别方法及相关装置、电子设备和存储介质。

背景技术

车辆识别对于违章判断、危险预警等诸多场景中都具有格外重要的应用价值。例如,在违章判断场景中,通过对违章车辆识别,有助于相关人员快速检索违章车辆信息;或者,在危险预警场景中,通过跨摄像头车辆检索,有助于相关人员快速掌握危险车辆的位置信息等,如此种种,不一而足。

目前,一般采用车牌识别方式进行车辆识别。以违章判断实际应用场景为例,相关人员需要跨摄像头对车牌信息进行识别,但是随着假牌、套牌、车牌污损等情况的出现,通过车牌识别方式进行车辆识别的准确性随之降低。有鉴于此,如何提高车辆识别的准确性成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种车辆识别方法及相关装置、电子设备和存储介质,能够提高车辆识别的准确性。

为了解决上述技术问题,本申请第一方面提供了一种车辆识别方法,包括:获取车辆特征库;其中,车辆特征库包括由若干第一车辆图像分别提取到的第一车辆特征,且第一车辆特征由第一车辆图像的细节特征和视角特征融合得到;对待识别车辆的第二车辆图像进行特征提取,得到第二车辆特征;其中,第二车辆特征由第二车辆图像的细节特征和视角特征融合得到;再基于第二车辆特征分别与各第一车辆特征之间的相似度,得到待识别车辆的车辆信息。

为了解决上述技术问题,本申请第二方面提供了一种车辆识别装置,包括获取模块、提取模块和选择模块,获取模块用于获取车辆特征库;其中,车辆特征库包括由若干第一车辆图像分别提取到的第一车辆特征,且第一车辆特征由车辆图像的细节特征和视角特征融合得到;提取模块用于对待识别车辆的第二车辆图像进行特征提取,得到第二车辆特征;其中,第二车辆特征由第二车辆图像的细节特征和视角特征融合得到;选择模块用于基于第二车辆特征分别与各第一车辆特征之间的相似度,得到待识别车辆的车辆信息。

为了解决上述技术问题,本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,存储器中存储有程序指令,处理器用于执行程序指令以实现上述第一方面中的车辆识别方法。

为了解决上述技术问题,本申请第四方面提供了一种计算机可读存储介质,存储有能够被处理器运行的程序指令,所述程序指令用于实现上述第一方面中的车辆识别方法。

上述方案,通过获取车辆特征库,且车辆特征库包括由若干第一车辆图像分别提取到的第一车辆特征,第一车辆特征由第一车辆图像的细节特征和视角特征融合得到,并对待识别车辆的第二车辆图像进行特征提取,得到第二车辆特征,且第二车辆特征由第二车辆图像的细节特征和视角特征融合得到。在此基础上,再基于第二车辆特征分别与各第一车辆特征之间的相似度,得到待识别车辆的车辆信息。由于第一车辆特征由第一车辆图像的细节特征和视角特征融合得到,而第二车辆特征也由第二车辆图像的细节特征和视角特征融合得到,故能够从视角和细节两方面分别描述第一车辆图像和第二车辆图像的车辆特征,有助于通过视角特征使车辆特征最终包含更为准确的细节特征,提升第一车辆特征和第二车辆特征的显著性,从而通过第二车辆特征分别与各第一车辆特征之间进行相似度计算,最终确定识别车辆的车辆信息,能够提高车辆识别的准确性。

附图说明

图1是本申请车辆识别方法一实施例的流程示意图;

图2是本申请车辆识别方法一实施例的网络模型图;

图3是训练车辆特征提取模型一实施例的流程示意图;

图4是本申请车辆识别装置一实施例的框架示意图;

图5是本申请电子设备一实施例的框架示意图;

图6是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图,对本申请实施例的方案进行详细说明。

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。

请参阅图1,图1是本申请车辆识别方法一实施例的流程示意图。具体而言,可以包括如下步骤:

步骤S11:获取车辆特征库。

本公开实施例中,车辆特征库包括由若干第一车辆图像分别提取到的第一车辆特征,且第一车辆特征由第一车辆图像的细节特征和视角特征融合得到。需要说明的是,通过融合细节特征和视角特征得到第一车辆特征,可以更准确地进行车辆识别,示例性地,同一辆车在不同的视角下应该关注的细节区域不同,例如,车辆的正前方,可以重点关注挡风玻璃上的年检标志,而对于车辆的尾部区域,可以重点关注尾灯和车辆尾部轮廓。

在一个实施场景中,为了获取第一车辆特征,可以先提取待处理车辆图像的最终视角特征和第一细节特征,并将最终视角特征变换为与第一细节特征具有相同维度的变换视角特征;将第一细节特征和变换视角特征融合得到融合车辆特征;再基于融合车辆特征进行细节特征提取,得到最终车辆特征;其中,在待处理车辆图像为第一车辆图像的情况下,最终车辆特征为第一车辆特征。示例性地,为了将最终视角特征变换为与第一细节特征具有相同维度的变换视角特征,可以将视角特征经过反卷积函数映射,使最终视角特征变换为与第一细节特征具有相同维度的变换视角特征。具体反卷积函数可以根据实际情况进行设置,在此不做具体限定。将最终视角特征变换为与第一细节特征具有相同维度的变换视角特征之后,将第一细节特征和变换视角特征融合得到融合车辆特征,示例性地,可以选择将第一细节特征和变换视角特征进行相加的融合方式,得到融合车辆特征,第一细节特征和变换视角特征之间的融合方式可以根据实际情况进行设置,在此不做具体限定。在得到融合车辆特征之后,可以进一步基于融合车辆特征进行细节特征提取,得到最终车辆特征。需要说明的是,在提取第一车辆特征的情况下,上述待处理车辆图像为第一车辆图像,上述最终车辆特征为第一车辆特征。上述方式,通过将最终视角特征变换为与第一细节特征具有相同维度的变换视角特征,有利于第一细节特征和变换视角特征的融合,有助于提取得到更为准确的车辆特征。

在一个具体实施场景中,视角特征可以是不同的方位眼睛观察到的区域特征,示例性地,可以在车辆的正前方观察得到视觉特征,也可以在车辆的左前方观察得到视觉特征。视觉特征可以根据实际情况进行选择,在此不做具体限定。

在一个具体实施场景中,细节特征可以是图像中的特殊区域的特点,细节特征可以对同一类车中不同车辆进行区分,示例性地,细节特征可以包括车窗上的明显标记,细节特征也可以包括车灯的形状,细节特征还可以包括车门把手上的标记等。细节特征可以根据实际情况进行选择,在此不做具体限定。

在一个具体的实施场景中,相同维度可以是变换视角特征与第一细节特征具有相同的特征尺寸,示例性地,第一细节特征的维度为224*224,对应最终视角特征变换为与第一细节特征具有相同维度的变换视角特征,则变换视角特征的维度也为224*224,由此,最终视角特征变换为与第一细节特征具有相同维度的变换视角特征。变换视角特征与第一细节特征的相同维度可以根据实际情况进行设置,在此不做具体限定。

在一个具体实施场景中,如前所述,可以基于上述融合车辆特征进行细节特征提取,得到最终车辆特征。具体而言,可以先对融合车辆特征执行细节特征提取,得到第二细节特征;并进一步,可以响应于细节特征提取的执行次数少于预设阈值,将第二细节特征作为新的第一细节特征,并重新执行前述将最终视角特征变换为与第一细节特征具有相同维度的变换视角特征的步骤以及后续步骤;此外,也可以响应于细节特征提取的执行次数不少于预设阈值,将第二细节特征作为最终车辆特征。示例性地,可以将细节特征提取的执行次数的预设阈值设置为n次,当执行细节特征提取之后,得到第二细节特征,并对细节特征提取的执行次数加一,将执行细节特征提取的执行次数与n进行比较,若执行细节特征提取的次数少于n,则将得到的第二细节特征作为新的第一细节特征,并重新执行将最终视角特征变换为与第一细节特征具有相同维度的变换视角特征的步骤以及后续步骤;若执行细节特征提取的次数不少于n,将第二细节特征作为最终车辆特征。细节特征提取的执行次数的预设阈值可以根据实际情况进行设置,在此不做具体限定。上述方式,通过对细节特征执行多次细节特征提取,进一步提高了提取细节特征的准确性,进而得到更加鲁棒的车辆特征。

在一个实施场景中,为了提升特征提取效率,可以预先训练一个车辆特征提取模型,且第一车辆特征可以由车辆特征提取模型提取得到,车辆特征提取模型可以包括视角特征提取网络、细节特征提取网络和特征融合网络;且视角特征提取网络用于提取视角特征,细节特征提取网络用于提取细节特征,特征融合网络用于融合视角特征和细节特征。上述方式,通过对视角网络与细节网络进行提取进而得到视角特征与细节特征,并将视角特征和细节特征进行融合,进一步提高车辆识别的准确性。

请参阅图2,图2是本申请车辆识别方法一实施例的网络模型图,如图2所示,细节特征提取网络23包括若干顺序连接的细节特征提取层231,特征融合网络22包括若干融合子网络221,融合子网络221包括相互连接的维度变换层222和特征融合层224,且各融合子网络221的特征融合层224分别与不同细节特征提取层231连接,各融合子网络221的维度变换层222均与视角特征提取网络21连接,视角特征提取网络21包括若干视角特征提取层211。为了便于区分不同融合子网络221中的变换视角特征223,不同变换视角特征223以数字1、2、3、4进行区分;为了便于区分不同融合子网络221中的维度变换层222,不同维度变换层222也以数字1、2、3、4进行区分;示例性地,细节特征提取网络23和视角特征提取网络21均可以使用ImageNet数据集预训练的Resnet(Residual Network,残差网络)作为特征提取器,对样本车辆图像进行特征提取,ImageNet是一个用于视觉对象识别软件研究的大型可视化数据库,并且ImageNet就像一个网络一样,拥有多个节点;Resnet是残差网络,且相关系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分,常见的网络有Resnet50,Resnet101等,Resnet网络的证明网络能够向更深的方向发展;细节特征提取网络23和视角特征提取网络21均还可以使用注意力网络结构作为特征提取器,对样本车辆图像进行特征提取的网络结构可以根据实际情况进行选择,在此不做具体限定。上述方式,通过从多尺度融合特征逐渐提取得到深层的细节特征,进而使车辆特征的准确性更高。

请参阅图3,图3是训练车辆特征提取模型一实施例的流程示意图。具体而言,可以包括如下步骤:

步骤S30:对样本车辆图像进行预处理。

在一实施场景中,样本车辆图像具有多张样本车辆图像,并且样本车辆图像中包含有相同车辆图像和不同车辆图像,示例性地,送入网络模型每批次的大小为36为例,即样本车辆图像的数量为36(例如,12辆车,每辆车3张图像)。

在一个实施场景中,进行图像预处理可以是对图像进行调整,示例性地,预处理可以是图片的输入大小需要调整,可以对图片大小的缩放等操作。预处理可以根据实际情况进行选择,在此不做具体限定。

在一个实施场景中,进行图像预处理需要构建车辆特征模型,车辆特征提取模型包括视角特征提取网络、细节特征提取网络和特征融合网络;其中,视角特征提取网络用于提取视角特征,细节特征提取网络用于提取细节特征,特征融合网络用于融合视角特征和细节特征。在一个实施场景中,进行图像预处理需要构建损失函数,示例性地,视角特征提取网络可以根据交叉熵损失函数进行约束,细节特征提取网络可以根据交叉熵损失函数和三元组损失函数进行约束,损失函数可以根据实际情况进行选择,在此不做具体限定。

在一个实施场景中,进行图像预处理需要对网络进行初始化,通常将网络模型参数特别是权重参数,进行随机初始化,示例性地,如果将每个隐藏单元的参数都初始化为相等的值,那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值,并传递至输出层。在反向传播中,每个隐藏单元的参数梯度值相等,因此,这些参数在使用基于梯度的优化算法迭代后依然相等,之后的迭代也是如此。此时,无论隐藏单元有多少,隐藏层本质上只有1个隐藏单元在发挥作用,因此,需要对网络进行随机初始化。

步骤S31:对样本车辆图像进行特征提取。

在一个实施场景中,进行一轮迭代,需要构建采样模板,可以对每批次样本随机采样12类车辆,每类车辆随机采样3张图像,对图像进行实时数据增强后输入网络。示例性地,以使用ImageNet数据集预训练的Resnet作为特征提取器且送入网络模型每批次的大小为36为例,即图像的数量为36(例如,12辆车,每辆车3张图像),使用视角特征提取网络对视角特征进行提取,得到一个36*512(36是送入网络模型每批次的大小,512是所用残差网络的输出维度)的视角特征,使用细节特征提取网络对细节特征进行提取,将的得到的视角特征融合子网络进行融合,即维度变换层对视角特征进行反卷积函数(projection)映射后得到与细节特征提取网络中细节特征提取层输出相同维度的变换视角特征,这些经过函数映射后的变换视角特征与对应细节特征提取层输出的特征进行融合,得到第二细节特征。在开始进行特征提取时,通过视角特征提取网络提取到的36*512的车辆视角特征分别经过四个不同的维度变换层,进而得到四个不同的变换视角特征,进而融入车辆特征学习中,视角特征经过第一层维度变换层之后转换成36*3*256*256维变换视角特征,变换视角特征与细节特征提取网络输入的第一细节特征进行相加,得到第二细节特征,将第二细节特作为新的第一细节特征输入到细节特征提取网络的第一层(layer1)中;经过第二层维度变换层之后转换成36*64*64*64维变换视角特征,变换视角特征与细节特征提取网络输入的第一细节特征进行相加,得到第二细节特征,将第二细节特作为新的第一细节特征输入到细节特征提取网络的第二层(layer2)中;经过第三层维度变换层之后转换成36*256*16*16维变换视角特征,变换视角特征与细节特征提取网络输入的第一细节特征进行相加,得到第二细节特征,将第二细节特作为新的第一细节特征输入到细节特征提取网络的第三层(layer3)中;经过第四层维度变换层之后转换成36*512*8*8维变换视角特征,变换视角特征与细节特征提取网络输入的第一细节特征进行相加,得到第二细节特征,将第二细节特作为新的第一细节特征输入到细节特征提取网络的第四层(layer4)中,将细节特征提取网络的第四层(layer4)提取的细节特征作为最终的车辆特征。

在一个具体实施场景中,车辆提取模型可以由样本图像集合训练得到,样本图像集合包括若干样本车辆图像,且细节特征提取网络在视角特征提取网络训练收敛之后再进行训练。上述方式,通过对细节特征提取网络在视角特征提取网络训练收敛之后再进行训练,进一步提高车辆特征的鲁棒性,有助于提高车辆识别的准确性。步骤S32:计算损失,调整网络参数。

在一个实施场景中,通过计算损失,分别对视角特征提取网络、细节特征提取网络和特征融合网络进行参数的调整,进而使特征提取的准确性更强。

在一个具体实施场景中,基于上述样本车辆图像标注有样本视角,对视角特征提取网络的训练可以先提取样本车辆图像的样本视角特征;基于样本视角特征进行视角预测,得到预测视角;再基于样本视角和预测视角之间的差异,调整视角特征提取网络的网络参数。示例性地,可以利用交叉熵损失函数调整视角特征提取网络的网络参数,具体表示为:

其中,B表示每批次图像的数量,M表示车辆训练集的类别总数,

在一个具体实施场景中,样本图像集合标注有参考信息,且参考信息包括样本车辆图像两两之间是否属于相同车辆,细节特征提取网络的训练步骤可以基于车辆特征提取模型分别提取各个样本车辆图像的样本车辆特征;基于参考信息,在各个样本车辆图像的样本车辆特征中分别选择得到样本车辆特征的正例车辆特征和负例车辆特征;再基于样本车辆特征分别与其正例车辆特征、反例车辆特征之间的差异,调整细节特征提取网络的网络参数。示例性地,基于样本车辆特征分别与其正例车辆特征、反例车辆特征之间的差异,可以用车辆的身份标签做有监督的训练,输出的特征可以经过交叉熵损失函数和三元组损失函数约束,交叉熵损失的具体可以参考前述调整视角特征提取网络的网络参数的具体内容,三元组损失函数具体表示为:

其中X

步骤S33:判断训练次数是否小于阈值;若是,执行步骤S31;否则执行步骤S34。

在一个实施场景中,训练次数的阈值可以根据实际情况进行设置,在此不做具体限定。

步骤S34:停止训练,保存当前网络参数。

在一个实施场景中,对网络参数进行确定,进而使特征提取的准确性更强。

步骤S12:对待识别车辆的第二车辆图像进行特征提取,得到第二车辆特征。

本公开实施例中,第二车辆特征由第二车辆图像的细节特征和视角特征融合得到。为了提升第二车辆特征的提取效率,第二车辆特征也可以由车辆特征提取模型提取得到,车辆特征提取模型包括视角特征提取网络、细节特征提取网络和特征融合网络。需要说明的是,第二车辆特征与第一车辆特征的提取过程相同,可以参阅前述第一车辆特征的提取过程,在此不再赘述。

步骤S13:基于第二车辆特征分别与各第一车辆特征之间的相似度,得到待识别车辆的车辆信息。

在一个具体实施场景中,第一车辆特征和第二车辆特征可以是一组数据,即用这一组数据来描述第一车辆图像和第二车辆图像,并且数据的代表性越好,图像特征越不受光线、噪点、几何形变等因素的干扰。第二车辆特征分别与各第一车辆特征之间的相似度可以通过对第二车辆特征分别与各第一车辆特征之间进行距离计算,进而确定相似度,示例性地,可以根据夹角余弦计算得到相似度,并且夹角余弦取值范围为[-1,1],根据余弦取值范围可以得到两个特征之间的相似度,即夹角余弦值越大表示两个特征的夹角越小,夹角余弦越小表示两特征的夹角越大。当两个特征的方向重合时夹角余弦取最大值1,当两个特征的方向完全相反夹角余弦取最小值-1;还可以根据欧氏距离计算得到相似度,并且欧氏距离计算得到的值与图像特征之间的相似度成反比,欧式距离越小图像特征之间的相似度越大,欧式距离越大图像特征之间的相似度越小。相似度的计算可以根据实际情况进行设置,在此不做具体限定。

在一个具体实施场景中,车辆信息可以是前述第一车辆图像,车辆信息还可以包括车辆识别号码等信息,车辆信息可以根据实际情况进行设置,在此不做具体限定。

在一个实施场景中,响应于第二车辆特征分别与各第一车辆特征之间的相似度均不满足预设条件,将第二车辆特征作为新的第一车辆特征,并将第二车辆图像作为新的第一车辆图像,一同纳入车辆特征库。上述方式,通过将不满足预设条件第二车辆特征,一同纳入车辆特征库,可以不断地对车辆特征库进行更新和扩充,进一步提高车辆识别的准确性。

在一个具体实施场景中,预设条件可以是第二车辆特征与第一车辆特征之间的相似度大于预设阈值,其中,预设阈值可以设置为70%、80%、90%中任一数值,预设阈值可以根据实际情况进行设置,在此不做具体限定;预设条件还可以是第二车辆特征分别与各第一车辆特征之间的相似度最大,即对第二车辆特征分别与各第一车辆特征之间的相似度进行排序,相似度最大的一者满足预设条件;预设条件也可以第二车辆特征与第一车辆特征之间的相似度大于预设阈值且第二车辆特征分别与各第一车辆特征之间的相似度最大,预设条件可以根据实际情况进行设置,在此不做具体限定。

上述方案,通过获取车辆特征库,且车辆特征库包括由若干第一车辆图像分别提取到的第一车辆特征,第一车辆特征由第一车辆图像的细节特征和视角特征融合得到,并对待识别车辆的第二车辆图像进行特征提取,得到第二车辆特征,且第二车辆特征由第二车辆图像的细节特征和视角特征融合得到,在此基础上,再基于第二车辆特征分别与各第一车辆特征之间的相似度,得到待识别车辆的车辆信息。由于第一车辆特征由第一车辆图像的细节特征和视角特征融合得到,而第二车辆特征也由第二车辆图像的细节特征和视角特征融合得到,故能够从视角和细节两方面分别描述第一车辆图像和第二车辆图像的车辆特征,有助于通过视角特征使车辆特征最终包含更为准确的细节特征,提升第一车辆特征和第二车辆特征的显著性,从而通过第二车辆特征分别与各第一车辆特征之间进行相似度计算,最终确定识别车辆的车辆信息,能够提高车辆识别的准确性。

请参阅图4,图4是本申请车辆识别装置一实施例的框架示意图。车辆识别装置40包括获取模块41、提取模块42和选择模块43。其中,获取模块41用于获取车辆特征库;其中,车辆特征库包括由若干第一车辆图像分别提取到的第一车辆特征,且第一车辆特征由车辆图像的细节特征和视角特征融合得到;提取模块42用于对待识别车辆的第二车辆图像进行特征提取,得到第二车辆特征;其中,第二车辆特征由第二车辆图像的细节特征和视角特征融合得到;选择模块43用于基于第二车辆特征分别与各第一车辆特征之间的相似度,得到待识别车辆的车辆信息。

上述方案,由于第一车辆特征由第一车辆图像的细节特征和视角特征融合得到,而第二车辆特征也由第二车辆图像的细节特征和视角特征融合得到,故能够从视角和细节两方面分别描述第一车辆图像和第二车辆图像的车辆特征,有助于通过视角特征使车辆特征最终包含更为准确的细节特征,提升第一车辆特征和第二车辆特征的显著性,从而通过第二车辆特征分别与各第一车辆特征之间进行相似度计算,最终确定识别车辆的车辆信息,能够提高车辆识别的准确性。

在一些公开实施例中,获取模块41包括第一提取子模块,提取模块42包括第二提取子模块,第一提取子模块/第二提取子模块用于提取待处理车辆图像的最终视角特征和第一细节特征,并将最终视角特征变换为与第一细节特征具有相同维度的变换视角特征;获取模块41包括第一融合子模块,提取模块42包括第二融合子模块,第一融合子模块/第二融合子模块用于将第一细节特征和变换视角特征融合得到融合车辆特征;获取模块41还包括第一确定子模块,提取模块42还包括第二确定子模块,第一确定子模块/第二确定子模块用于基于融合车辆特征进行细节特征提取,得到最终车辆特征。

因此,通过将最终视角特征变换为与第一细节特征具有相同维度的变换视角特征,有利于第一细节特征和变换视角特征的融合,有助于提取得到更为准确的车辆特征。

在一些公开实施例中,第一确定子模块/第二确定子模块包括提取单元,提取单元用于对融合车辆特征执行细节特征提取,得到第二细节特征;第一确定子模块/第二确定子模块还包括比较单元,比较单元用于响应于细节特征提取的执行次数少于预设阈值,将第二细节特征作为新的第一细节特征,并重新执行将最终视角特征变换为与第一细节特征具有相同维度的变换视角特征的步骤以及后续步骤;比较单元还用于响应于细节特征提取的执行次数不少于预设阈值,将第二细节特征作为最终车辆特征。

因此,通过对细节特征执行多次细节特征提取,进一步提高了提取细节特征的准确性,进而得到更加鲁棒的车辆特征。

在一些公开实施例中,第一车辆特征和/或第二车辆特征由车辆特征提取模型提取得到,车辆特征提取模型包括视角特征提取网络、细节特征提取网络和特征融合网络;且视角特征提取网络用于提取视角特征,细节特征提取网络用于提取细节特征,特征融合网络用于融合视角特征和细节特征。

因此,通过对视角网络与细节网络进行提取进而得到视角特征与细节特征,并将视角特征和细节特征进行融合,进一步提高车辆识别的准确性。

在一些公开实施例中,细节特征提取网络包括若干顺序连接的细节特征提取层,特征融合网络包括若干融合子网络,融合子网络包括相互连接的维度变换层和特征融合层,且各融合子网络的特征融合层分别与不同细节特征提取层连接,各融合子网络的维度转换层均与视角特征提取网络连接。

因此,通过从多尺度融合特征逐渐提取得到深层的细节特征,进而使车辆特征的准确性更高。

在一些公开实施例中,车辆提取模型由样本图像集合训练得到,样本图像集合包括若干样本车辆图像,且细节特征提取网络在视角特征提取网络训练收敛之后再进行训练。

因此,通过对细节特征提取网络在视角特征提取网络训练收敛之后再进行训练,进一步提高车辆特征的鲁棒性,有助于提高车辆识别的准确性。

在一些公开实施例中,获取模块41/提取模块42包括第一调整子模块,第一调整子模块用于提取样本车辆图像的样本视角特征;并基于样本视角特征进行视角预测,得到预测视角;再基于样本视角和预测视角之间的差异,调整视角特征提取网络的网络参数。

因此,通过对视角特征提取网络的网络参数进行调整,进一步使视角特征提取网络对视角特征的提取更加准确。

在一些公开实施例中,获取模块41/提取模块42还包括第二调整子模块,第二调整子模块用于基于车辆特征提取模型分别提取各个样本车辆图像的样本车辆特征;且基于参考信息,在各个样本车辆图像的样本车辆特征中分别选择得到样本车辆特征的正例车辆特征和负例车辆特征;再基于样本车辆特征分别与其正例车辆特征、反例车辆特征之间的差异,调整细节特征提取网络的网络参数。

因此,通过样本车辆特征分别与其正例车辆特征、反例车辆特征之间的差异,调整细节特征提取网络的网络参数,有助于细节特征提取网络的网络参数调整的精准性,使细节特征提取鲁棒性更强,进一步提高车辆识别的准确性。

在一些公开实施例中,车辆识别装置40还包括更新模块,更新模块用于响应于第二车辆特征分别与各第一车辆特征之间的相似度均不满足预设条件,将第二车辆特征作为新的第一车辆特征,并将第二车辆图像作为新的第一车辆图像,一同纳入车辆特征库。

因此,通过将不满足预设条件第二车辆特征,一同纳入车辆特征库,可以不断地对车辆特征库进行更新和扩充,进一步提高车辆识别的准确性。

请参阅图5,图5是本申请电子设备一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52,存储器51中存储有程序指令,处理器52用于执行程序指令以实现上述任一车辆识别方法实施例中的步骤。具体地,电子设备50可以包括但不限于:台式计算机、笔记本电脑、服务器、手机、平板电脑等等,在此不做限定。

具体而言,处理器52用于控制其自身以及存储器51以实现上述任一车辆识别方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit,中央处理单元)。处理器52可能是一种集成电路芯片,具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器52可以由集成电路芯片共同实现。

上述方案,由于第一车辆特征由第一车辆图像的细节特征和视角特征融合得到,而第二车辆特征也由第二车辆图像的细节特征和视角特征融合得到,故能够从视角和细节两方面分别描述第一车辆图像和第二车辆图像的车辆特征,有助于通过视角特征使车辆特征最终包含更为准确的细节特征,提升第一车辆特征和第二车辆特征的显著性,从而通过第二车辆特征分别与各第一车辆特征之间进行相似度计算,最终确定识别车辆的车辆信息,能够提高车辆识别的准确性。

请参阅图6,图6是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令61,程序指令61用于实现上述任一车辆识别方法实施例中的步骤。

上述方案,由于第一车辆特征由第一车辆图像的细节特征和视角特征融合得到,而第二车辆特征也由第二车辆图像的细节特征和视角特征融合得到,故能够从视角和细节两方面分别描述第一车辆图像和第二车辆图像的车辆特征,有助于通过视角特征使车辆特征最终包含更为准确的细节特征,提升第一车辆特征和第二车辆特征的显著性,从而通过第二车辆特征分别与各第一车辆特征之间进行相似度计算,最终确定识别车辆的车辆信息,能够提高车辆识别的准确性。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

相关技术
  • 车辆识别方法及相关装置、电子设备和存储介质
  • 语音识别方法及相关装置、电子设备、存储介质
技术分类

06120114692211