掌桥专利:专业的专利平台
掌桥专利
首页

检测方法、装置及路侧单元

文献发布时间:2023-06-19 11:08:20


检测方法、装置及路侧单元

技术领域

本申请实施例涉及互联网技术领域,尤其涉及一种检测方法、装置及路侧单元。

背景技术

路侧单元(英文:Road Side Unit,简称:RSU)是一种部署在道路两侧,在智能交通系统中,用于对道路中行驶的车辆等对象进行识别以实现追踪目的装置,因此,不同路侧单元之间存在对同一个对象进行追踪的需求。

目前,路侧单元通常会连接一个或多个摄像头,用以采集路侧单元覆盖路段范围内的图像,通过识别两个路侧单元对应图像中是否存在同一个对象,即可以实现对象追踪,那么,如何高效实现对象识别成为本领域技术人员需要解决的技术问题。

发明内容

本申请实施例提供一种检测方法、装置及路侧单元(英文:Road Side Unit,简称:RSU),用于实现高效的对象识别。

第一方面,本申请实施例中提供了一种检测方法,应用于第一路侧单元RSU中,包括:

确定采集获得的第一图像;

从所述第一图像中提取第一对象对应的第一图像特征;

发送所述第一图像特征至第二RSU;

其中,所述第一图像特征结合所述第二RSU从第二图像中提取的第二对象的第二图像特征,用于确定所述第一对象与所述第二对象是否为同一对象。

第二方面,本申请实施例中提供了一种检测方法,应用于第二RSU,所述方法包括:

接收第一RSU发送的第一对象的第一图像特征;其中,所述第一图像特征从第一图像中提取获得;

确定采集获得的第二图像;

从所述第二图像中提取第二对象对应的第一图像特征;

基于所述第一图像特征以及所述第二图像特征,确定所述第一对象与所述第二对象是否为同一对象。

第三方面,本申请实施例中提供了一种检测装置,包括:

第一图像获取模块,用于确定采集获得的第一图像;

第一特征提取模块,用于从所述第一图像中提取第一对象对应的第一图像特征;

第一特征发送模块,用于发送所述第一图像特征至第二RSU;

其中,所述第一图像特征结合所述第二RSU从第二图像中提取的第二对象的第二图像特征,用于确定所述第一对象与所述第二对象是否为同一对象。

第四方面,本申请实施例中提供了一种检测装置,包括:

第一特征接收模块,用于接收第一RSU发送的第一对象的第一图像特征;其中,所述第一图像特征从第一图像中提取获得;

第二图像获取模块,用于图像确定采集获得的第二图像;

第二特征提取模块,用于从所述第二图像中提取第二对象对应的第一图像特征;

第一对象识别模块,用于基于所述第一图像特征以及所述第二图像特征,确定所述第一对象与所述第二对象是否为同一对象。

第五方面,本申请实施例中提供了一种路侧单元,包括存储组件以及处理组件;

其中,所述存储组件存储一个或多个计算机指令;当所述一个或多个计算机指令被所述处理组件调用执行时,使所述处理组件执行如权利要求1至18任一项所述的检测方法。

第六方面,本申请实施例中提供了一种路侧单元,包括存储组件以及处理组件;

其中,所述存储组件存储一个或多个计算机指令;当所述一个或多个计算机指令被所述处理组件调用执行时,使所述处理组件执行如权利要求19所述的检测方法。

本申请实施例中,第一RSU对于采集获得的第一图像,识别第一图像中的第一对象并提取第一对象对应的第一图像特征,将第一图像特征发送至第二RSU,第二RSU对于采集获得的第二图像,从中提取第二对象对应的第二图像特征,并基于第一RSU传输的第一图像特征与该第二图像特征,即可以识别第一对象与第二对象是否为同一对象,第一RSU与第二RSU为相邻的任意两个RSU,对象识别由RSU本地执行,且两个RSU之间仅传递图像特征,降低了数据传输量,从而可以实现高效、精确的对象识别.实现高效、精确的对象追踪。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了本申请提供的一种检测方法一个实施例的流程图;

图2示出了本申请实施例的特征编码模型在一个实际应用中的模型结构示意图;

图3示出了本申请提供的一种检测方法又一个实施例的流程图;

图4示出了本申请实施例在一个实际应用中一个路段中的部分路侧单元的部署示意图;

图5示出了本申请提供的一种检测装置一个实施例的结构示意图;

图6示出了本申请提供的一种路侧单元一个实施例的结构示意图;

图7示出了本申请提供的一种检测装置又一个实施例的结构示意图;

图8示出了本申请提供的一种路侧单元又一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。

本申请实施例的技术方案主要应用于智能交通场景中,依托于无线通信技术及互联网技术,智能交通技术逐渐兴起。为了实现智能交通运输管理,通常会在道路两侧的不同路段中分别部署路侧单元(英文:Road Side Unit,简称:RSU)。RSU部署在道路两侧,并可以连接一个或多个采集单元,如摄像头,从而RSU可以获得采集单元采集得到的图像,而一个采集单元可以连接至少一个RSU,也即采集范围可以覆盖至少一个RSU的覆盖范围。

为了实现对道路中行驶的车辆等对象进行追踪,发明人想到,一种可行方式是,由RSU将采集获得的图像上传至云端,也即服务端,由云端进行对象识别,再将识别结果告知RSU,这就需要云端进行大量的计算和存储,如果云端处理或者存储能力较低,将影响对象识别效率。

发明人经过进一步研究,为了降低云端处理压力,可以由RSU进行本地处理,由于需要实现不同RSU之间的对象追踪,一个RSU可以将其采集获得的图像传递至与其相邻的下一个RSU,由下一个RSU进行对象识别,但是发明人又发现,由RSU进行对象识别,虽然可以降低云端处理压力,但是RSU之间传递图像或者视频将占用大量的带宽,甚至短时间内不可能完成,基于这一问题发现,发明人经过进一步思考,提出了本申请实施例的技术方案,本申请实施例中,由RSU进行对象识别,无需云端识别,且RSU之间不直接传输图像,而是传输从图像中提取的图像特征,从而即可以降低数据传输量,降低传输压力且可以降低对硬件要求,因此,可以实现高效、精确的对象识别,从而提高对象追踪的效率和精度。

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

图1为本申请实施例提供的一种检测方法一个实施例的流程图,本实施例的技术方案可以由第一RSU执行,该第一RSU可以是指任一个RSU,该方法可以包括以下几个步骤:

101:确定采集获得的第一图像。

可选地,该第一图像可以是所述第一RSU连接的至少一个采集单元采集获得任一个图像。采集单元可能是拍摄视频数据,因此,所述确定采集获得的第一图像可以包括:

将所述第一RSU连接的至少一个采集单元采集获得的任一个视频帧作为第一图像。

可选地,由于实际应用中,一个采集单元可能会连接多个RSU,一个采集单元连续采集的视频帧之间的差距可能不会特别大。因此,可以是从所述第一RSU连接的每一个采集单元此采集获得的视频中每间隔预定时间获取一个视频帧作为该第一图像。

102:从所述第一图像中提取第一对象对应的第一图像特征。

其中,可以是首先对第一图像进行对象检测,确定该第一对象,再提取该第一对象对应的第一图像特征。因此,所述从所述第一图像中提取第一对象对应的第一图像特征可以包括:

检测所述第一图像中第一对象的对象位置;

从所述第一图像中提取所述第一对象的对象位置所在第一图像区域;

提取所述第一图像区域的第一图像特征。

当然,也可以直接从第一图像中识别第一对象并提取第一对象对应的第一图像特征。

其中,第一图像中可能识别获得多个对象,该第一对象可以是指其中任一个对象。

在智能交通场景中,对象可以是指道路中行驶的车辆或者行人等等。

其中,本申请实施例中,图像特征提取有多种实现方式,例如可以采用传统的Harris算子提取获得Harris特征,当然,也可以是其它图像特征,如边缘特征、颜色特征、运动特征等中的一个或将多个加权处理得到的特征。此外,为了进一步提高准确度,可以利用神经网络模型提取,因此图像特征可以是神经网络特征,在下面实施例中会详细进行介绍。

此外,还可以首先对第一对象进行识别,根据识别结果可以确定对应的提取策略,从而可以是按照提取策略从所述第一图像中提取第一对象对应的第一图像特征。该提取策略例如可以包括提取的特征类型和/或特征个数等等。

因此,所述,所述从所述第一图像中提取第一对象对应第一图像特征包括:

检测所述第一图像中的第一对象;

对所述第一对象进行识别,获得识别结果;

确定所述识别结果对应的提取策略;

按照所述提取策略,提取所述第一对象对应的第一图像特征。

其中,检测第一图像中的第一对象可以利用对象检测模型实现,以确定第一对象在第一图像的对象位置,进而进行识别,具体实现会在下文实施例中描述。

其中,所述对所述第一对象进行识别,获得识别结果包可以是对所述第一对象进行颜色、类别或者品牌识别、获得识别结果;其中,不同颜色、不同类别或者不同品牌等对应不同提取策略,从而基于识别结果,可以确定对应的提取策略。

由于提取策略可以包括提取的特征类型等;因此,可选地,所述按照所述提取策略,提取所述第一对象对应的第一图像特征可以包括:

按照所述提取策略,提取所述第一对象对应的至少一个特征类型的图像特征;

将所述至少一个特征类型的图像特征进行融合,获得所述第一对象对应的第一图像特征。

其中,将至少一个特征类型的图像特征进行融合例如可以是进行加权平均等。

例如,可以对第一对象进行颜色识别,对于目标颜色(如在道路中出现次数较多的颜色)的第一对象,可以提取多个类型的特征,比如在道路中出现灰色或者银色的车辆比较多,为了有效区分比如同时为灰色的不同车辆,就需要采集更多特征类型的图像特征,该多个特征类型的图像特征例如可以包括神经网络特征、边缘特征、运动特征等,再将多个特征类型的图像特征进行加权平均得到第一图像特征,而对于非目标颜色的第一对象,可以仅提取神经网络特征。又如,第一对象为车辆时,可以对第一对象进行品牌识别,对于特定品牌(如在道路中出现次数较多的品牌)的车辆,可以提取多个类型的特征,以实现对第一对象的有效区分等。又如可以对第一对象进行车型识别,对于小型汽车,由于在道路中出现次数较多,可以提取多个类型的特征等等,以便于和其它对象进行有效区分。

103:发送所述第一图像特征至第二RSU。

其中,所述第一图像特征结合所述第二RSU从第二图像中提取的第二对象的第二图像特征,用于确定所述第一对象与所述第二对象是否为同一对象。

第二RSU可以通过比对第一图像特征以及第二图像特征,以确定第一对象和第二对象是否相同,无线上传云端识别,本地即可以实现识别,若第一对象与第二对象相同,即可以实现对象追踪。

其中,第二RSU与第一RSU相邻,其可以是指第一RSU相邻的下一个RSU。

本实施例中,将第一图像编码获得第一图像特征,直接传输第一图像特征,而不是图像本身,可以降低数据传输量,因此可以降低带宽压力,提高数据传输效率,保证数据处理效率,且由RSU本地进行对象识别,无需上传云端,也可以保证数据处理效率,因此本实施例可以高效、精确地的实现对象识别,提高对象追踪的效率。

其中,与第一RSU相邻的前一个RSU也会执行第一RSU所执行的操作,并向第一RSU传递图像特征,以实现对象连续追踪。因此,在某些实施例中,接收第三RSU发送的第三对象的第三图像特征;

基于所述第一图像特征与所述第三图像特征,确定所述第一对象与所述第三对象是否为同一对象。

其中,该第三RSU即为与第一RSU相邻的前一个RSU。

在某些实施例中,所述基于所述第一图像特征与所述第三图像特征,确定所述第一对象与所述第三对象是否相同包括:

计算所述第一图像特征与所述第三图像特征的特征相似度;

基于所述特征相似度,确定所述第一对象与所述第三对象是否相同。

其中,由于图像特征通常是以向量表示,因此,计算第一图像特征与第三图像特征的特征相似度可以是通过计算所述第一图像特征与所述第三图像特征之间的向量距离实现,如欧式距离、余弦距离等等。

基于特征相似度,可以是如果特征相似度大于第一阈值,则可以确定第一对象与第二对象相同,否则认为第一对象与第三对象不同。

为了进一步提高对象识别精确度,在某些实施例中,所述方法还可以包括:

识别所述第一对象与所述第一图像对应的采集单元之间的第一距离和/或第一角度;

接收所述第三RSU发送的第三对象与其对应的采集单元之间的第三距离和/或第三角度;

计算所述第一距离与所述第三距离的距离相似度,和/或计算所述第一角度与所述第三角度的角度相似度;

所述基于所述特征相似度,确定所述第一对象与所述第三对象是否相同包括:

基于所述距离相似度和/或所述角度相似度,以及所述特征相似度,确定所述第一对象与所述第三对象是否相同。

其中,基于所述距离相似度和/或所述角度相似度,以及所述特征相似度,确定所述第一对象与所述第三对象是否相同包括:

基于所述距离相似度以及所述特征相似度,确定所述第一对象与所述第三对象是否相同;

基于所述角度相似度以及所述特征相似度,确定所述第一对象与所述第三对象是否相同;

或者,

基于所述距离相似度、所述角度相似度以及所述特征相似度,确定所述第一对象与所述第三对象是否相同。

其中,距离相似度可以通过距离差所在距离范围对应预先设置的相似度确定。角度相似度也可以通过角度差所在角度范围对应预先设置的相似度确定。

由于一个采集单元可能覆盖多个RSU,因此,相邻RSU分别获得的图像可能差距并不是很大,因此可以加入对象与采集单元之间的距离或者角度,参与对象识别。

其中,可以通过计算不同类型的相似度之间的加权平均或者加权求和值作为对象相似度,基于对象相似度,确定所述第一对象与所述第三对象是否相同,例如,基于所述距离相似度、所述角度相似度以及所述特征相似度,确定所述第一对象与所述第三对象是否相同可以包括:

基于所述距离相似度、所述角度相似度以及所述特征相似度,计算对象相似度;其中,可以是将所述距离相似度、所述角度相似度以及所述特征相似度的加权平均值或者加权求和值等,作为对象相似度;

若对象相似度大于第二阈值,确定所述第一对象与所述第三对象相同,否则确定所述第一对象与所述第三对象不同。

其中,第一对象与其对应采集单元的第一距离以及第一角度可以通过图像分析获得,也可以通过部署在采集单元所在位置的雷达测量获得等,距离与角度测量方式与现有技术相同,在此不再赘述。

此外,第三RSU可能会发送多个对象的特征数据,因此,在某些实施例中,

所述接收所述第三RSU发送的第三对象与其采集单元之间的第三距离和/或第三角度可以包括:

接收所述第三RSU发送的多个对象分别与其采集单元之间的距离和/或角度;

查找与所述第一距离的距离差小于预设距离、和/或与所述第一角度的角度差小于预设角度的第三对象;

确定所述第三对象与其对应的采集单元之间的第三距离和/或第三角度。

为了进一步提高对象识别精确度,在某些实施例中,所述方法还可以包括:

识别所述第一对象的第一对象属性;

接收所述第三RSU发送的第三对象的第三对象属性;

计算所述第一对象属性与所述第三对象属性的属性相似度;

所述基于所述特征相似度,确定所述第一对象与所述第三对象是否相同包括:

基于所述属性相似度以及所述特征相似度,确定所述第一对象与所述第三对象是否相同。

其中,对象属性可以包括至少一个属性因子,该至少一个属性因子可以包括对象高度、对象宽度、对象长度中的一个或多个等。

因此,计算所述第一对象属性与所述第三对象属性的属性相似度可以包括:

计算所述第一对象属性与所述第三对象属性中同一类型属性因子的子相似度;

基于至少一个属性因子对应的子相似度,计算对象属性相似度。可以是将至少一个属性因子对应的子相似度的加权平均值或加权求和值等作为对象属性相似度。

其中,基于所述属性相似度以及所述特征相似度,确定所述第一对象与所述第三对象是否相同可以是基于属性相似度以及特征相似度,计算对象相似度,基于对象相似度再确定第一对象与所述第三对象是否相同,比如对象相似度大于一定阈值可以确定第一对象与第三对象相同,否则则认为第一对象与第三对象不同。

为了进一步提高对象识别精确度,在某些实施例中,所述方法还可以包括:

识别所述第一对象与所述第一图像对应的采集单元之间的第一距离以及第一角度;

接收所述第三RSU发送的第三对象与其对应的采集单元之间的第三距离以及第三角度;

计算所述第一距离与所述第三距离的距离相似度,以及计算所述第一角度与所述第三角度的角度相似度;

识别所述第一对象的第一对象属性;

接收所述第三RSU发送的第三对象的第三对象属性;

计算所述第一对象属性与所述第三对象属性的属性相似度;

所述基于所述特征相似度,确定所述第一对象与所述第三对象是否相同包括:

基于所述距离相似度、所述角度相似度、所述属性相似度以及所述特征相似度,确定所述第一对象与所述第三对象是否相同。

可选地,可以是计算距离相似度、所述角度相似度、所述属性相似度以及所述特征相似度的加权平均值或者加权求和值等,作为对象相似度;基于对象相似度,确定第一对象与第三对象是否相同。

由上文描述可知,可以加入角度、距离以及对象属性等参与对象识别。

因此,在某些实施例中,所述方法还可以包括:

识别所述第一对象与所述第一图像的采集单元之间的第一距离和/或第一角度;

将所述第一距离和/或所述第一角度发送至第二RSU,以供所述第二RSU基于所述第二对象与所述第二图像的采集单元之间的第二距离和/或第一角度,确定所述第一对象与所述第二对象的距离相似度和/或角度相似度,并基于所述距离相似度和/或所述角度相似度,以及所述第一对象与所述第二对象的特征相似度,确定所述第一对象与所述第二对象是否相同。

在某些实施例中,所述方法还可以包括:

识别所述第一对象的第一对象属性;

将所述第一对象的第一对象属性发送至第二RSU,以供所述第二RSU基于所述第二对象的第二对象属性以及所述第一对象属性,确定所述第一对象与所述第一对象的属性相似度,并基于所述属性相似度以及所述第一对象与所述第二对象的特征相似度,确定所述第一对象与所述第二对象是否相同。

为了方便进行对象追踪,可以为识别获得对象设置对象标识。因此,在某些实施例中,所述方法还可以包括:

确定所述第一对象的对象标识;

将所述第一对象的对象标识发送至所述第二RSU,以供所述第二RSU确定所述第二对象与所述第一对象相同时,将所述第一对象的对象标识设置为所述第二对象的对象标识。

该对象标识可以是唯一标识第一对象的对象编号等。

在某些实施例,所述方法还可以包括:

接收所述第三RSU发送的所述第三对象的对象标识;

如果所述第一对象与所述第三对象相同,将所述第三对象的对象标识设置为所述第一对象的对象标识。

在实际应用中,对象可以具体是指车辆,因此,在某些实施例中,所述方法还可以包括:

从所述第一图像中识别所述第一车辆的车牌号码;

如果识别成功,将所述第一车辆的车票号码发送至所述第二RSU,以供所述第二RSU从所述第二图像中识别所述第二车辆的车牌号码,如果识别成功,基于所述第二车辆的车牌号码以及所述第二车辆的车牌号码,确定所述第一车辆与所述第二车辆是否为相同;如果识别失败,基于所述第一图像特征以及所述第二图像特征,确定所述第一车辆与所述第二车辆是否相同。

在某些实施例中,所述对象为车辆,所述方法还包括:

接收第三RSU发送的所述第三车辆的车牌号码;

从所述第一图像中识别所述第一车辆的车牌号码;

所述基于所述第一图像特征与所述第三图像特征,确定所述第一对象与所述第三对象是否相同包括:

如果车牌识别成功,基于所述第三车辆的车牌号码以及所述第一车牌的车牌号码,确定所述第一车辆与所述第二车辆是否相同;

如果车牌识别失败,基于所述第一图像特征与所述第三图像特征,确定所述第一车辆与所述第三车辆是否相同。

也即如果可以识别获得车牌号码,即可以将车牌号码作为车辆标识以及实现车辆追踪。

但是,由于车牌号码识别对图像要求较高,且是一种精细识别,有可能无法成功识别,因此在无法成功识别车牌号码,在基于第一图像特征以及第二图像特征进行车辆识别。

其中,从所述第一图像中识别所述第一车辆的车牌号码可以是:

利用车牌识别模型从所述第一图像中识别所述第一车辆的车牌号码。

该车辆识别模型可以是利用标注车牌号码的车辆样本图像训练获得,车辆样本图像作为模型输入,车牌号码作为模型标签,进行模型训练获得。

车辆识别模型为机器学习模型,如神经网络模型等。

由上文描述可知,作为一种可选方式,所述从所述第一图像中提取第一对象对应的第一图像特征可以包括:

检测所述第一图像中第一对象的对象位置;

从所述第一图像中提取所述第一对象的对象位置所在第一图像区域;

提取所述第一图像区域的第一图像特征。

在某些实施例中,所述检测所述第一图像中第一对象的对象位置包括:

利用对象检测模型检测所述第一图像中第一对象的对象位置;

其中,所述对象检测模型基于标注对象所在位置的样本图像训练获得。样本图像可以作为模型输入,对象所在位置作为训练标签,进行模型训练获得。

对象检测模型可以采用神经网络模型实现,如图RNN、CNN等。

在某些实施例中,所述提取所述第一图像区域的第一图像特征可以包括:

利用特征编码模型,从所述第一图像区域中提取第一图像特征。

为了提高图像特征的准确度,使得图像特征可以准确表达对象所述特征编码模型可以基于三元组样本图像训练获得;所述三元组样本图像包括原点(Anchor)样本图像、正例(Positive)样本图像及反例(Negative)样本图像。

特征编码模型可以为无监督或半监督、一种端到端模型,可以采用神经网络模型实现。

其中,原点样本图像与正例样本图像为同一个对象的图像,而反例样本图像与原点样本图像不是同一个对象。训练过程中,以原点样本图像与同类样本图像之间的相似度小于原点图像与异类样本图像之间的相似度为约束进行训练。

利用三元组样本图像使得训练获得的特征编码模型更加准确,从而可以提取特征提取的准确度,进而可以提高对象识别的精确度。

在某些实施例中,所述特征编码模型可以按照如下方式预先训练获得:

获取三元组样本图像;

确定所述三元组样本图像的图像特征;

基于所述三元组样本图像的图像特征,利用三元组损失函数训练特征编码模型。

其中,三元组损失函数(Triplet Loss),让同一对象的图像更加相互接近,而不同对象的图像要互相远离。通过三元组损失函数将原点样本图像与整理样本图像之间的距离最小化了,这两者具有同样的对象,同时将原点样本图像与异类样本图像之间的距离最大化,从而实现训练。

其中,进行模型训练时,三元组样本图像的图像特征可以预先设定,通过三元组损失函数训练得到特征编码模型,即可以用于提取图像特征。

为了进一步降低数据量,图像特征可以采用embedding(嵌入)向量表示。

作为一种可选方式,如图2中所示,该特征编码模型可以由输入层201、特征提取层202、归一化层203、embedding层204以及输出层205构成。其中特征提取层202可以由卷积层、池化层和/全连接层等构成,其中,输入层与特征提取层可以采用CNN架构实现等。

训练时,三元组样本图像经由输入层输入,由特征提取层提取特征,再经过归一化层进行归一化处理之后,经过embedding层处理获三元组样本图像的embedding向量,在训练过程中,三元组样本图像的embedding向量为已知数值,以用来训练得到模型参数,之后三元组样本图像的embedding向量再经由输出层的三元组损失函数进行约束训练,即可以获得特征编码模型的模型参数,经过大量的三元组样本图像训练,即可以获得特征编码模型。

从而,将第一图像区域输入特征编码模型,即可以获得第一图像区域对应的embedding向量,该embedding向量即作为第一图像特征。

此外,为了进一步简化操作,对象检测模型以及该特征编码模型可以合成在一个网络结构中,形成特征提取模型,从而计算过程中,无需先提取对象所在区域再进行特征提取,将图像输入特征提取模型即可以直接获得图像特征。因此,在某些实施例中,所述从所述第一图像中提取第一对象对应第一图像特征包括:

利用特征提取模型,从所述第一图像中提取第一对象对应第一图像特征;其中,所述特征提取模型基于标注对象所在位置的三元组样本图像训练获得。

上文以第一RSU为执行主体,主要从特征提取角度对本申请方案进行描述,下面以第二RSU为执行主体,从对象比对角度对本申请技术方案进行描述,可以理解的是,第二RSU所执行的对象比对操作,第一RSU也会执行,参见上文中所描述的与第三RSU之间的交互操作。也即每一个RSU均会对其获得的图像进行对象识别以提取图像特征,并与其相邻的前一个RSU发送的图像特征进行比对,并将提取的图像特征发送至与其相邻的后一个RSU,以便后一个RSU继续进行比对。

如图3所示,为本申请实施例提供的一种检测方法又一个实施例的流程图,本实施例技术方案由第二RSU执行,该第二RSU为与第一RSU相邻的下一个RSU,该方法可以包括如下几个步骤:

301:接收第一RSU发送的第一对象的第一图像特征。

其中,所述第一图像特征从第一图像中提取获得,具体提取方式可以参见上文中所述,在此将不再赘述。

302:确定采集获得的第二图像。

可选地,可以是将所述第二RSU连接的至少一个采集单元采集获得的任一个视频帧作为第二图像。

303:从所述第二图像中提取第二对象对应的第二图像特征。

其中,从第二图像中提取第二对象对应的第二图像特征的提取方式,与从第一图像中提取第一对象对应的第一图像特征的提取方式相同,在此不再赘述。

其中,可以首先对第二对象进行识别,根据识别结果可以确定对应的提取策略,从而可以是按照提取策略从所述第二图像中提取第二对象对应的第二图像特征。该提取策略例如可以包括提取的特征类型和/或特征个数等等。

因此,可选地,所述从所述第二图像中提取第二对象对应的第二图像特征可以包括:

检测所述第二图像中的第二对象;

对所述第二对象进行识别,获得识别结果;

确定所述识别结果对应的提取策略;

按照所述提取策略,提取所述第二对象对应的第二图像特征。

其中,所述按照所述提取策略,提取所述第一对象对应的第一图像特征可以包括:

按照所述提取策略,提取所述第一对象对应的至少一个特征类型的图像特征;

将所述至少一个特征类型的图像特征进行融合,获得所述第一对象对应的第一图像特征。

可选地,所述对所述第一对象进行识别,获得识别结果可以包括:

对所述第一对象进行颜色、类别或者品牌识别、获得识别结果;其中,不同颜色、不同类别或者不同品牌对应不同提取策略。

304:基于所述第一图像特征以及所述第二图像特征,确定所述第一对象与所述第二对象是否为同一对象。

可选地,可以计算所述第一图像特征与所述第二图像特征的特征相似度;

基于所述特征相似度,确定所述第一对象与所述第二对象是否相同,例如若特征相似度大于第一阈值,确定所述第一对象与所述第二对象相同,否则即不同。

其中,第二RSU片确定第一对象与第二对象是否为同一对象的具体方式,与第一RSU确定第一对象与第三对象是否为同一对象的方式相同,在此处以及下文将不再详细描述,实现细节可以参见上文相应实施例中所述。

在某些实施例中,所述方法还可以包括:

识别所述第二对象与所述第二图像对应的采集单元之间的第二距离和/或第二角度;

接收所述第一RSU发送的第一对象与其对应的采集单元之间的第一距离和/或第二角度;

计算所述第一距离与所述第二距离的距离相似度,和/或计算所述第一角度与所述第二角度的角度相似度;

所述基于所述特征相似度,确定所述第一对象与所述第二对象是否相同包括:

基于所述距离相似度和/或所述角度相似度,以及所述特征相似度,确定所述第一对象与所述第二对象是否相同。

在某些实施例中,所述方法还可以包括:

识别所述第二对象的第二对象属性;

接收所述第一RSU发送的第一对象的第一对象属性;

计算所述第一对象属性与所述第二对象属性的属性相似度;

所述基于所述特征相似度,确定所述第一对象与所述第二对象是否相同包括:

基于所述属性相似度以及所述特征相似度,确定所述第一对象与所述第二对象是否相同。

在某些实施例中,所述方法还可以包括:

接收所述第一RSU发送的所述第一对象的对象标识;

如果所述第一对象与所述第二对象相同,将所述第一对象的对象标识设置为所述第二对象的对象标识。

在某些实施例中,所述对象为车辆,所述方法还可以包括:

接收第一RSU发送的第一车辆的车牌号码;

从所述第二图像中识别第二车辆的车牌号码;

所述基于所述第一图像特征与所述第三图像特征,确定所述第一对象与所述第二对象是否相同包括:

如果车牌识别成功,基于所述第二车辆的车牌号码以及所述第一车辆的车牌号码,确定所述第一车辆与所述第二车辆是否相同;

如果车牌识别失败,基于所述第一图像特征与所述第二图像特征,确定所述第一车辆与所述第二车辆是否相同。

此外,第二RSU同第一RSU一样,也会将其采集得到的第二对象的第二图像特征继续传递至与其相邻的下一个RSU,从而实现不同RSU之间针对同一对象的连续追踪。

在一个实际应用中,本申请实施例中所述的对象可以是指车辆,在智能交通场景下,也主要是用来对车辆进行追踪,以实现相应处理或者为车辆提供相应服务等。

为了方便理解,图4示出了在一个实际应用中的某一路段一侧的RSU部署示意图,以三个RSU为例进行说明,为了保持与上文一致描述,该三个RSU可以分别表示为第一RSU401、第二RSU402以及第三RSU403。其中,第三RSU403、第一RSU401、以及第二RSU402连续排列部署在路段400的一侧。车辆行驶方向为从第一RSU指向第二RSU所在方向。

其中,每个RSU可以连接至少一个采集单元404。而一个采集单元404也可以连接至少一个RSU,因此,车辆速度很快时,相邻的两个RSU获得的图像中的图像内容可能差距会比较小,甚至相同。

车辆405在该路段400中行驶时,会依次经过第三RSU403、第一RSU401、以及第二RSU402。由于每个RSU执行操作相同,与邻居RSU的交互操作也相同,因此,下面主要以第一RSU401与第二RSU402为例进行说明:

第一RSU可以将其连接的至少一个采集单元采集得到的任一个视频帧,作为第一图像,当然也可以将每间隔一定时间从至少一个采集单元获得的一个视频帧作为第一图像。

第一RSU基于第一图像可以进行车辆识别,对于识别获得的任一个车辆可以作为第一车辆,从而可以从第一图像中提取第一车辆对应的第一图像特征。

第一RSU会将每个车辆的车辆特征发送至第二RSU,以第一车辆的第一图像特征为例;

同样,第二RSU也会从与连接的至少一个采集单元获得一个视频帧,作为第二图像,并基于第二图像可以进行车辆识别,对于识别获得的任一个车辆可以作为第二车辆,从而可以从第二图像中提取第二车辆对应的第二图像特征。

其中,图像特征提取的具体方式可以参见上文中所述,在此将不再重复赘述。

第二RSU基于第一图像特征以及第二图像特征,即可以判断第一车辆与第二车票是否为同一个车辆,从而实现车辆追踪。

由于RSU之间传输的是图像特征,而非图像,传输数据量减少,降低了带宽占用,从而提高了对象识别效率,此外,由RSU进行本地识别,而无需上传云端,降低了云端的处理压力,同时可以保证对象识别效率。其中,图像特征可以采用利用三元组样本图像训练得到神经网络模型进行提取获得,可以提高图像特征准确度,提高对象识别精确度,因此,实现了高效、精确的车辆识别。

图5为本申请实施例提供的一种检测装置一个实施例的结构示意图,该装置可以包括:

第一图像获取模块501,用于确定采集获得的第一图像;

第一特征提取模块502,用于从所述第一图像中提取第一对象对应的第一图像特征;

第一特征发送模块503,用于发送所述第一图像特征至第二RSU;

其中,所述第一图像特征结合所述第二RSU从第二图像中提取的第二对象的第二图像特征,用于确定所述第一对象与所述第二对象是否为同一对象。

在某些实施例中,所述第一图像获取模块具体用于将所述第一RSU连接的至少一个采集单元采集获得的任一个视频帧作为第一图像。

在某些实施例中,该装置还可以包括:

第二特征接收模块,用于接收第三RSU发送的第三对象的第三图像特征;

基于所述第一图像特征与所述第三图像特征,确定所述第一对象与所述第三对象是否为同一对象。

第二对象识别模块,用于基于所述第一图像特征与所述第三图像特征,确定所述第一对象与所述第三对象是否为同一对象。

在某些实施例中,所述第二对象识别模块具体用于计算所述第一图像特征与所述第三图像特征的特征相似度;基于所述特征相似度,确定所述第一对象与所述第三对象是否相同。

在某些实施例中,该装置还可以包括:

第一参数识别模块,用于识别所述第一对象与所述第一图像对应的采集单元之间的第一距离和/或第一角度;

第一参数接收模块,用于接收所述第三RSU发送的第三对象与其对应的采集单元之间的第三距离和/或第三角度;

第一计算模块,用于计算所述第一距离与所述第三距离的距离相似度,和/或计算所述第一角度与所述第三角度的角度相似度;

所述第二对象识别模块基于所述特征相似度,确定所述第一对象与所述第三对象是否相同可以具体是基于所述距离相似度和/或所述角度相似度,以及所述特征相似度,确定所述第一对象与所述第三对象是否相同。

在某些实施例中,所述第一参数接收模块具体用于接收所述第三RSU发送的多个对象分别与其采集单元之间的距离和/或角度;查找与所述第一距离的距离差小于预设距离、和/或与所述第一角度的角度差小于预设角度的第三对象;确定所述第三对象与其对应的采集单元之间的第三距离和/或第三角度。

在某些实施例中,该装置还可以包括:

第一属性识别模块,用于识别所述第一对象的第一对象属性;

第一属性接收模块,用于接收所述第三RSU发送的第三对象的第三对象属性;

第二计算模块,用于计算所述第一对象属性与所述第三对象属性的属性相似度;

所述第二对象识别模块基于所述特征相似度,确定所述第一对象与所述第三对象是否相同可以具体是基于所述属性相似度以及所述特征相似度,确定所述第一对象与所述第三对象是否相同。

在某些实施例中,该装置还可以包括:

第一参数识别模块,用于识别所述第一对象与所述第一图像对应的采集单元之间的第一距离和/或第一角度;

第一参数发送模块,用于将所述第一距离和/或所述第一角度发送至第二RSU,以供所述第二RSU基于所述第二对象与所述第二图像的采集单元之间的第二距离和/或第一角度,确定所述第一对象与所述第二对象的距离相似度和/或角度相似度,并基于所述距离相似度和/或所述角度相似度,以及所述第一对象与所述第二对象的特征相似度,确定所述第一对象与所述第二对象是否相同。

在某些实施例中,该装置还可以包括:

第一属性识别模块,用于识别所述第一对象的第一对象属性;

第二属性发送模块,用于将所述第一对象的第一对象属性发送至第二RSU,以供所述第二RSU基于所述第二对象的第二对象属性以及所述第一对象属性,确定所述第一对象与所述第一对象的属性相似度,并基于所述属性相似度以及所述第一对象与所述第二对象的特征相似度,确定所述第一对象与所述第二对象是否相同。

在某些实施例中,该装置还可以包括:

标识确定模块,用于确定所述第一对象的对象标识;

标识发送模块,将所述第一对象的对象标识发送至所述第二RSU,以供所述第二RSU确定所述第二对象与所述第一对象相同时,将所述第一对象的对象标识设置为所述第二对象的对象标识。

在某些实施例中,所述对象为车辆,所述装置还包括:

车牌识别模块,用于从所述第一图像中识别所述第一车辆的车牌号码;

车牌发送模块,用于如果识别成功,将所述第一车辆的车票号码发送至所述第二RSU,以供所述第二RSU从所述第二图像中识别所述第二车辆的车牌号码,如果识别成功,基于所述第二车辆的车牌号码以及所述第二车票的车牌号码,确定所述第一车辆与所述第二车辆是否为相同;如果识别失败,基于所述第一图像特征以及所述第二图像特征,确定所述第一车辆与所述第二车辆是否相同。

在某些实施例,该装置还可以包括:

标识接收模块,用于接收所述第三RSU发送的所述第三对象的对象标识;

标识设置模块,用于如果所述第一对象与所述第三对象相同,将所述第三对象的对象标识设置为所述第一对象的对象标识。

在某些实施例中,所述对象为车辆,所述装置还可以包括:

车牌接收模块,用于接收第三RSU发送的第三车辆的车牌号码;

车牌识别模块,用于从所述第一图像中识别第一车辆的车牌号码;

所述第二对象识别模块具体用于如果车牌识别成功,基于所述第三车辆的车牌号码以及所述第一车辆的车牌号码,确定所述第一车辆与所述第三车辆是否相同;如果车牌识别失败,基于所述第一图像特征与所述第三图像特征,确定所述第一车辆与所述第三车辆是否相同。

在某些实施例中,所述第一特征提取模块具体用于检测所述第一图像中第一对象的对象位置;从所述第一图像中提取所述第一对象的对象位置所在第一图像区域;提取所述第一图像区域的第一图像特征。

在某些实施例中,所述的第一特征提取模块检测所述第一图像中第一对象的对象位置包括:利用对象检测模型检测所述第一图像中第一对象的对象位置;其中,所述对象检测模型基于标注对象所在位置的样本图像训练获得。

在某些实施例中,所述的第一特征提取模块提取所述第一图像区域的第一图像特征包括:利用特征编码模型,从所述第一图像区域中提取第一图像特征;其中,所述特征编码模型基于三元组样本图像训练获得;所述三元组样本图像包括原点样本图像、同类样本图像及异类样本图像。

在某些实施例中,该装置还可以包括:

模型训练模块,用于获取三元组样本图像;确定所述三元组样本图像的图像特征;基于所述三元组样本图像的图像特征,利用三元组损失函数训练特征编码模型。

在某些实施例中,所述第一特征提取模块具体用于利用特征提取模型,从所述第一图像中提取第一对象对应第一图像特征;其中,所述特征提取模型基于标注对象所在位置的三元组样本图像训练获得。

在某些实施例中,第一特征提取模块可以具体用于检测所述第一图像中的第一对象;对所述第一对象进行识别,获得识别结果;确定所述识别结果对应的提取策略;按照所述提取策略,提取所述第一对象对应的第一图像特征。

在某些实施例中,所述第一特征提取模块按照所述提取策略,提取所述第一对象对应的第一图像特征包括:按照所述提取策略,提取所述第一对象对应的至少一个特征类型的图像特征;将所述至少一个特征类型的图像特征进行融合,获得所述第一对象对应的第一图像特征。

在某些实施例中,所述第一特征提取模块对所述第一对象进行识别,获得识别结果包括:对所述第一对象进行颜色、类别或者品牌识别、获得识别结果;其中,不同颜色、不同类别或者不同品牌对应不同提取策略。

图5所述的检测装置可以执行图1所示实施例所述的检测方法,其实现原理和技术效果不再赘述。对于上述实施例中的检测装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

在一个可能的设计中,图5所示实施例的检测装置可以实现为路侧单元,如图6所示,该路侧单元可以包括存储组件601以及处理组件602;

所述存储组件601存储一条或多条计算机指令,当所述一个或多个计算机指令被所述处理组件调用执行时,使所述处理组件602执行图1所示实施例的检测方法。

其中,处理组件602可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。

存储组件601被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。

当然,计算设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。

输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备、采集组件等。

通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。

本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图1所示实施例的检测方法。

图7为本申请实施例提供的一种检测装置又一个实施例的结构示意图,该装置可以包括:

第一特征接收模块701,用于接收第一RSU发送的第一对象的第一图像特征;其中,所述第一图像特征从第一图像中提取获得;

第二图像获取模块702,用于图像确定采集获得的第二图像;

第二特征提取模块703,用于从所述第二图像中提取第二对象对应的第一图像特征;

第一对象识别模块704,用于基于所述第一图像特征以及所述第二图像特征,确定所述第一对象与所述第二对象是否为同一对象。

图7所述的检测装置可以执行图3所示实施例所述的检测方法,其实现原理和技术效果不再赘述。对于上述实施例中的检测装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

在一个可能的设计中,图7所示实施例的检测装置可以实现为路侧单元,如图8所示,该路侧单元可以包括存储组件801以及处理组件802;

所述存储组件801存储一条或多条计算机指令,当所述一个或多个计算机指令被所述处理组件调用执行时,使所述处理组件802执行图1所示实施例的检测方法。

其中,处理组件802可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。

存储组件801被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。

当然,计算设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。

输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备、采集组件等。

通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。

本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图3所示实施例的检测方法。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

相关技术
  • 一种路侧单元同步方法、装置、处理器及路侧单元
  • 路侧单元设备输出功率控制方法和装置以及路侧单元设备
技术分类

06120112810068