掌桥专利:专业的专利平台
掌桥专利
首页

一种图像采集设备的标定方法、装置、设备及介质

文献发布时间:2024-04-18 20:02:18


一种图像采集设备的标定方法、装置、设备及介质

技术领域

本说明书涉及图像采集设备的标定技术领域,尤其涉及一种图像采集设备的标定方法。

背景技术

在智慧交通系统中,需要在道路上部署大量的路侧感知设备,其中包括图像采集设备,可以通过图像采集设备采集的视频或者图像数据针对一些交通场景进行计算,比如车辆故障停驶、追尾等。通常在对图像采集设备所采集的视频和图像数据进行进一步处理之前,需要针对图像采集设备进行标定,以确定所拍到的车辆等对象的实际位置和距离。

现有技术中针对智慧交通中的多个图像采集设备进行标定,通常会利用传统的单应矩阵建模法分别针对每个图像采集设备进行标定,具体的,首先获取图像采集设备感知范围内的特征点在世界坐标系中的位置信息;然后,利用图像采集设备,针对图像采集设备感知范围内的图像进行采集,并确定图像中关于上述特征点的像素坐标;最后,再根据特征点在世界坐标系中的位置信息,以及,确定的图像中的关于上述特征点的像素坐标之间投影变换,针对图像采集设备的标定参数进行求解,标定过程复杂且费时费力。

基于此,如何提供一种简单、省时省力的多摄像头标定方法成为亟待解决的技术问题。

发明内容

本说明书实施例提供一种图像采集设备的标定方法、装置及设备,以提升针对图像采集设备的标定的便捷性。

为解决上述技术问题,本说明书实施例是这样实现的:

本说明书实施例提供的一种图像采集设备的标定方法,所述方法可以包括:

获取第一图像采集设备的第一单应矩阵;

获取所述第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对;任一所述第一特征点对中包括第一特征点和第二特征点,所述第一特征点为所述第一图像采集设备针对所述第一重叠感知区域采集的第一图像中的指定特征点,所述第二特征点为所述第二图像采集设备针对所述第一重叠感知区域采集的第二图像中的所述指定特征点;

根据多个所述第一特征点对中的所述第一特征点的第一图像坐标和所述第二特征点的第二图像坐标,计算所述第一图像采集设备与所述第二图像采集设备之间的第一基础矩阵;

根据所述第一单应矩阵、所述第一基础矩阵以及所述第二图像采集设备的内参矩阵,计算所述第二图像采集设备的第二单应矩阵,得到所述第二图像采集设备的标定结果。

本说明书实施例提供的一种图像采集设备的标定装置,所述装置可以包括:

第一获取模块,用于获取第一图像采集设备的第一单应矩阵;

第二获取模块,用于获取所述第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对;任一所述第一特征点对中包括第一特征点和第二特征点,所述第一特征点为所述第一图像采集设备针对所述第一重叠感知区域采集的第一图像中的指定特征点,所述第二特征点为所述第二图像采集设备针对所述第一重叠感知区域采集的第二图像中的所述指定特征点;

第一计算模块,用于根据多个所述第一特征点对中的所述第一特征点的第一图像坐标和所述第二特征点的第二图像坐标,计算所述第一图像采集设备与所述第二图像采集设备之间的第一基础矩阵;

第二计算模块,用于根据所述第一单应矩阵、所述第一基础矩阵以及所述第二图像采集设备的内参矩阵,计算所述第二图像采集设备的第二单应矩阵,得到所述第二图像采集设备的标定结果。

本说明书实施例提供的一种图像采集设备的标定设备,包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

获取第一图像采集设备的第一单应矩阵;

获取所述第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对;任一所述第一特征点对中包括第一特征点和第二特征点,所述第一特征点为所述第一图像采集设备针对所述第一重叠感知区域采集的第一图像中的指定特征点,所述第二特征点为所述第二图像采集设备针对所述第一重叠感知区域采集的第二图像中的所述指定特征点;

根据多个所述第一特征点对中的所述第一特征点的第一图像坐标和所述第二特征点的第二图像坐标,计算所述第一图像采集设备与所述第二图像采集设备之间的第一基础矩阵;

根据所述第一单应矩阵、所述第一基础矩阵以及所述第二图像采集设备的内参矩阵,计算所述第二图像采集设备的第二单应矩阵,得到所述第二图像采集设备的标定结果。

本说明书实施例提供的计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现一种图像采集设备的标定方法。

本说明书中至少一个实施例能够达到以下有益效果:

通过获取第一图像采集设备的第一单应矩阵,然后获取第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对,以利用多个第一特征点对去计算第一图像采集设备与第二图像采集设备之间的基础矩阵,从而根据获取第一图像采集设备的第一单应矩阵,第一图像采集设备与第二图像采集设备之间的基础矩阵,以及第二图像采集设备的内参矩阵去计算第二图像采集设备的第二单应矩阵,以得到所述第二图像采集设备的标定结果。由于本申请在针对第二图像采集设备的标定过程中,仅获取了第一重叠感知区域这一较小区域内的第一特征点对,减小了获取第一特征点对的区域范围,简化了第一特征点对的获取过程,从而简化了第二图像采集设备的标定过程。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的一种图像采集设备的标定方法的流程示意图;

图2是本说明书实施例提供的一种图像采集设备的标定装置的结构示意图;

图3是本说明书实施例提供的一种图像采集设备的标定设备的结构示意图。

具体实施方式

为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书一个或多个实施例保护的范围。

以下结合附图,详细说明本说明书各实施例提供的技术方案。

图1为本说明书实施例提供的一种图像采集设备的标定方法的流程示意图。从程序角度而言,流程的执行主体可以是图像采集设备处的服务器或图像采集设备处的控制设备以及控制设备处搭载的目标应用的服务端。

如图1所示,该流程可以包括以下步骤:

步骤102:获取第一图像采集设备的第一单应矩阵。

在本说明书实施例中,所述第一图像采集设备可以是布置在道路两侧的,用于获取道路中运动对象的运动状态的图像采集设备;当然所述第一图像采集设备也可以是布置在其他用于监控的区域中的,用于进行标定的图像采集设备,在此不做具体限定。在实际应用中,所述第一图像采集设备可以用于获取所述第一图像采集设备感知范围内的图像数据或视频数据;所述第一图像采集设备可以是相机、摄像头等用于获取图像数据或视频数据的设备。

在本说明书实施例中,所述第一单应矩阵(homography matrix)可以反映物体在世界坐标系中坐标与在第一图像采集设备的像素坐标系中的坐标之间的映射关系;所述第一单应矩阵中包括第一图像采集设备的内参矩阵以及外参矩阵。

在本说明书实施例中,获取所述第一图像采集设备的第一单应矩阵的过程,即针对所述第一图像采集设备进行标定的过程;在实际应用中,图像采集设备标定是一个重要的步骤,用于确定图像采集设备的内部参数和外部参数,以便利用标定后的图像采集设备采集的图像或视频,进行准确的图像测量和三维重建。

在本说明书实施例中,可以利用现有的张氏(张正友)标定法或棋盘格法获取所述第一图像采集设备的第一单应矩阵,以实现针对所述第一图像采集设备的标定。

在本说明书实施例中,还提供了一种获取第一单应矩阵的方法,具体的,首先在所述第一图像采集设备的感知区域内选定特征点,针对选定的特征点进行标记,并确定选定的特征点的在世界坐标系中的世界坐标,其中,选取的所述特征点在第一图像采集设备的感知区域内应尽量均匀分布且密集,应尽量呈网状分布,以提高第一图像采集设备标定的准确性;然后,利用第一图像采集设备针对所述第一图像采集设备的感知区域进行图像采集,并确定选定的特征点在图像的像素坐标系中的像素坐标;最后,计算选定的特征点的世界坐标与选定的特征点的像素坐标之间的映射关系,所述映射关系即为所述第一单应矩阵。

步骤104:获取所述第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对;任一所述第一特征点对中包括第一特征点和第二特征点,所述第一特征点为所述第一图像采集设备针对所述第一重叠感知区域采集的第一图像中的指定特征点,所述第二特征点为所述第二图像采集设备针对所述第一重叠感知区域采集的第二图像中的所述指定特征点。

在本说明书实施例中,任一所述第一特征点对中的第一特征点与第二特征点可以反映同处于一个世界坐标系中的指定特征点。

在本说明书实施例中,所述第一图像采集设备以及所述第二图像采集设备在布置时,要有重叠感知区域,即本申请中的第一重叠感知区域。

在本说明书实施例中,所述第一重叠感知区域是第一图像采集设备的感知区域中的部分感知区域;同时,所述第一重叠感知区域也是第二图像采集设备的感知区域中的部分感知区域;因此,所述第一重叠感知区域小于所述第一图像采集设备的感知区域;同时也小于第二图像采集设备的感知区域。在本说明书实施例中,所述第一特征点对中的第一特征点和第二特征点用于反映第一重叠感知区域内同一个指定特征点,所述指定特征点可以为不随图像采集设备的移动,旋转或者光照的变化而变化的点;所述指定特征点可以是重叠感知区域内的角点,例如斑马线的角点,车道线的角点,人行横道预告标线角点,当然也可以是其他角点,在此不做具体限定。

在本说明书实施例中,通过获取较小区域内(第一重叠感知区域内)的第一特征点对,以利用较小区域内的特征点对针对所述第二图像采集设备进行标定,有效减小了为获取第一特征点对而需要标记特征点的区域,同时减少了需要标记的特征点的数量,减小了为获取第一特征点对而标记特征点的工作量,进而简化了标定过程。

步骤106:根据多个所述第一特征点对中的所述第一特征点的第一图像坐标和所述第二特征点的第二图像坐标,计算所述第一图像采集设备与所述第二图像采集设备之间的第一基础矩阵。

在本说明书实施例中,所述第一图像坐标可以是第一特征点在第一图像处的第一图像坐标系中的坐标;所述第二图像坐标可以是第二特征点在第二图像处的第二图像坐标系中的坐标。

在本说明书实施例中,所述第一基础矩阵可以用于反映第一重叠感知区域内任意一点P的像素点在第一图像采集设备采集的第一图像处的第一图像坐标系中的坐标,与在第二图像采集设备的采集的第二图像处的第二图像坐标系中的坐标之间的映射关系。在实际应用中,假设已知第一基础矩阵以及任意一个3D点在第一图像坐标系中的图像坐标p,则通过基础矩阵以及3D点在第一图像坐标系中的图像坐标p,可以求得3D点在第二图像坐标系中的图像坐标p’。

在本说明书实施例中,可以利用归一化8点算法根据至少4个第一特征点对中的第一特征点的第一图像坐标以及第二特征点的第二图像坐标去估计基础矩阵,当然也可以利用其他方法技术基础矩阵,在此不做具体限定。

步骤108:根据所述第一单应矩阵、所述第一基础矩阵以及所述第二图像采集设备的内参矩阵,计算所述第二图像采集设备的第二单应矩阵,得到所述第二图像采集设备的标定结果。

在本说明书实施例中,所述第二图像采集设备的内参矩阵可以从生产或销售所述第二图像采集设备的厂家获取。

在本说明书实施例中,可以通过第二图像采集设备的第二单应矩阵与第一单应矩阵、第一基础矩阵以及第二图像采集设备的内参矩阵之间的目标关系直接计算第二图像采集设备的第二单应矩阵,从而实现针对第二图像采集设备的标定,避免了针对第二图像采集设备的较大的感知区域内去采集均匀地、密集的特征点,简化了标定过程。

图1中的方法,通过获取第一图像采集设备的第一单应矩阵,然后获取第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对,以利用多个第一特征点对去计算第一图像采集设备与第二图像采集设备之间的基础矩阵,从而根据获取第一图像采集设备的第一单应矩阵,第一图像采集设备与第二图像采集设备之间的基础矩阵,以及第二图像采集设备的内参矩阵去计算第二图像采集设备的第二单应矩阵,以得到所述第二图像采集设备的标定结果。由于本申请在针对第二图像采集设备的标定过程中,仅获取了第一重叠感知区域这一较小区域内的第一特征点对,减小了获取第一特征点对的区域范围,简化了第一特征点对的获取过程,从而简化了第二图像采集设备的标定过程。

基于图1的方法,本说明书实施例还提供了该方法的一些具体实施方式,下面进行说明。

为了便于理解,在本说明书实施例中还提供了获取第一图像采集设备的第一单应矩阵的具体方法。

具体的,所述获取第一图像采集设备的第一单应矩阵,具体可以包括:

获取所述第一图像采集设备采集的第三图像中包含的第三特征点的像素坐标。

确定所述第三特征点在世界坐标系中的世界坐标。

计算所述世界坐标与所述像素坐标之间的坐标转换关系,得到所述第一单应矩阵。

在本说明书实施例中,所述第三特征点为在所述第一图像采集设备的感知区域内选定并标记的特征点,选定并标记的第三特征点应尽量均匀分布在所述第一图像采集设备的感知区域内,且第三特征点应尽量密集,成网状分布。在实际应用中,所述第三特征点可以是不随第一图像采集设备的移动,旋转或者光照的变化而变化的点;具体的,所述第三特征点可以是第一图像采集设备的感知区域内的角点,例如斑马线角点,车道线角点,人行横道预告标线角点,当然所述第三特征点也可以是其他角点,在此不做具体限定。

在本说明书实施例中,可以利用第一图像采集设备针对第一图像采集设备的感知区域进行图像采集,以获取第三图像;可以理解的所述第三图像中包括各个所述第三特征点,在实际应用中,可以利用画图等工具确定各个第三特征点的在第三图像处的像素坐标系中的像素坐标。

在本说明书实施例中,可以将定位装置放置在各个第三特征点处,以利用定位装置获取各个第三特征点在世界坐标中的世界坐标。

为了便于理解,在本说明书实施例中还提供了获取所述第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对的具体方法。

具体的,所述指定特征点为所述第一重叠感知区域内的任一目标特征点;所述获取所述第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对,具体可以包括:

分别利用所述第一图像采集设备以及所述第二图像采集设备针对所述第一重叠感知区域进行图像采集,得到包含有多个所述目标特征点的所述第一图像以及包含有多个所述目标特征点的所述第二图像。

针对所述第一图像中包含的多个所述目标特征点以及所述第二图像中包含的多个所述目标特征点进行特征匹配,得到多个所述第一特征点对。

在本说明书实施例中,所述目标特征点为在所述第一重叠感知区域内选定并标记的特征点。在利用第一图像采集设备以及第二图像采集设备针对所述第一重叠感知区域进行图像采集之前,可以在第一重叠感知区域内进行目标特征点标记,由于第一重叠感知区域仅为第二图像采集设备的部分感知区域,因此,在第一重叠感知区域内进行目标特征点标记相较于在第二图像采集设备的感知区域内进行目标特征点标记,缩小了目标特征点标记的区域范围,同时也减少了目标特征点的标记数量,简化了标记过程,进而简化了第二图像采集设备的标定过程。

在本说明书实施例中,由于所述第一图像以及所述第二图像是针对同一区域(第一重叠感知区域)进行图像采集分别得到的图像,因此,第一图像与第二图像中包含相同的目标特征点,从而可以针对第一图像以及第二图像中的目标特征点进行特征匹配,筛选出用于反映同一个目标特征点的多个第一特征点对。

在本说明书实施例中,当针对第一图像以及第二图像中包含的目标特征点进行特征匹配后,可以从特征匹配的特征点对中筛选出在第一重叠感知区域内分布较为均匀的目标特征点的特征点对作为第一特征点对。例如,针对第一重叠感知区域内同一条直线或近似一条直线上的多个目标特征点的特征点对仅选取其中一个或两个,然后可以从其他区域再选取其他目标特征点的特征点对。

为了便于理解,在本说明书实施例中还提供了针对所述第一图像中包含的多个所述目标特征点以及所述第二图像中包含的多个所述目标特征点进行特征匹配,得到所述多个第一特征点对的具体方法。

具体的,所述针对所述第一图像中包含的多个所述目标特征点以及所述第二图像中包含的多个所述目标特征点进行特征匹配,得到所述多个第一特征点对,具体可以包括:

利用特征点提取算法,针对所述第一图像中的多个所述目标特征点进行特征点提取,得到第一特征点集合。

利用所述特征点提取算法,针对所述第二图像中的多个所述目标特征点进行特征点提取,得到第二特征点集合。

利用匹配算法针对所述第一特征点集合中的第四特征点以及所述第二特征点集合中的第五特征点进行特征匹配,得到所述多个特征点对;所述任一所述特征点对中的第四特征点为所述第一图像中的所述指定特征点;所述任一所述特征点对中的第五特征点为所述第二图像中的所述指定特征点。

在本说明书实施例中,可以利用角点检测算法(Harris Corner Detection,英文简称Harris),尺度不变特征转换(ScaleInvariant Feature Transform,英文简称SIFT),SURF算法(Speeded-Up Robust Features,英文简称SURF)中的至少一种,针对所述第一图像以及第二图像中的特征点进行提取。

在本说明书实施例中,可以利用特征描述子匹配算法(如SIFT匹配、光流法等)针对第一图像与第二图像中的特征点进行匹配。通过匹配算法,确定第一图像与第二图像中对应的第一特征点对。

在本说明书实施例中,可以仅利用一张第一图像以及第二图像中进行特征点提取、匹配,去获取多个用于针对第二图像采集装置进行标定的第一特征点对,简化了目标特征点提取匹配的过程。

当所述第一图像采集设备与第二图像采集设备为布置在道路侧的图像采集设备时,由于,道路车辆较多,容易针对标记的目标特征点形成遮挡,从而无法获取包含多个目标特征点的第一图像以及第二图像;且人工针对目标特征点进行标记,费时费力。

基于此,本说明书实施例还提供了一种较为简单的获取所述第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对的方法。

具体的,所述指定特征点为第一重叠感知区域内的标定件;所述获取所述第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对,具体可以包括:

当所述标定件在所述第一重叠感知区域内移动的过程中,分别利用所述第一图像采集设备以及所述第二图像采集设备针对所述第一重叠感知区域进行图像采集,得到图像数据集;所述图像数据集中的图像均包含所述标定件。

针对所述图像数据集中的所述图像进行匹配处理,得到多个图像对;任一所述图像对中包括,利用所述第一图像采集设备与所述第二图像采集设备在同一时刻分别针对所述第一重叠感知区域采集的,包含有所述标定件的所述第一图像以及所述第二图像。

针对各个所述图像对,分别确定所述标定件在所述第一图像中的第一图像坐标,以及,所述标定件在所述第二图像中的第二图像坐标,得到多个包括所述第一图像坐标以及所述第二图像坐标的所述第一特征点对。

在本说明书实施例中,可以利用标定车搭载的标定件作为目标特征点,当标定车搭载标定件在第一重叠感知区域内移动的过程中,可以分别利用第一图像采集设备以及第二图像采集设备在同一时刻针对第一重叠感知区域进行图像采集,以使第一图像采集设备与第二图像采集设备是针对同一位置处的标定件采集的图像。当然也可以在标定车搭载标定件移动到第一重叠感知区域内的指定位置时,利用第一图像采集设备以及第二图像采集设备分别针对第一重叠感知区域进行图像采集,以保证第一图像采集设备与第二图像采集设备是针对同一位置处的标定件采集的图像。

由于计算所述第一图像采集设备与所述第二图像采集设备之间的第一基础矩阵需要采用多个第一特征点对,因此,可以利用第一图像采集设备以及第二图像采集设备,在标定车搭载标定件的移动过程中同时针对第一重叠感知区域采集的多个不同时刻的图像;即,可以利用第一图像采集设备以及第二图像采集设备在标定车搭载标定件处于第一重叠感知区域内的多个不同的指定位置时分别针对第一重叠感知区域进行图像采集。

在本说明书实施例中,可以利用第一图像采集设备以及第二图像采集设备针对第一重叠感知区域进行图像采集的采集时刻,或标定件处于所述第一重叠感知区域内的指定位置作为标志,针对利用第一图像采集设备针对第一重叠感知区域进行图像采集得到的第一图像,以及,利用利用第一图像采集设备针对第一重叠感知区域进行图像采集得到的第一图像进行标记,以便于可以利用上述标志针对所述第一图像数据集中的第一图像与第二图像数据集中的第二图像进行匹配。

在本说明书实施例中,任一所述图像对中第一图像中反映的标定件的位置与第二图像中反映的标定件的位置相同。

在本说明书实施例中,利用标定件作为目标特征点,避免了因道路车辆对目标特征点遮挡,从而无法获取包含目标特征点的图像的问题;同时利用标定车搭载标定件在第一重叠感知区域内运动,形成多个目标特征点,避免了人工针对目标特征点进行标记,同时,简单便捷。

为了便于理解,在本说明书实施例中还提供了得到所述第二图像采集设备的标定结果的具体方法。

具体的,所述根据所述第一单应矩阵、所述第一基础矩阵以及所述第二图像采集设备的内参矩阵,计算所述第二图像采集设备的第二单应矩阵,得到所述第二图像采集设备的标定结果,具体可以包括:

利用目标关系式计算所述第二图像采集设备的第二单应矩阵。

所述目标关系式为H2=K_B*F_AB*H1;其中,所述H2为所述第二图像采集设备的第二单应矩阵,所述K_B为所述第二图像采集设备的内参矩阵,所述H1为所述第一图像采集设备的所述第一单应矩阵,所述F_AB为所述第一基础矩阵。

在本说明书实施例中,所述第二单应矩阵(homography matrix)可以用于反映物体在世界坐标系中坐标与在第二图像采集设备的像素坐标系中的坐标之间的映射关系;所述第二单应矩阵可以用于反映第二图像采集设备的内参矩阵以及外参矩阵。

在本说明书实施例中,直接利用目标关系式计算得到第二图像采集设备的第二单应矩阵,简单便捷。

在本说明书实施例中,重复上述方法可以实现针对具有重叠感知区域的的图像采集设备的连续标定。

具体的,所述根据所述第一单应矩阵、所述第一基础矩阵以及所述第二图像采集设备的内参矩阵,计算所述第二图像采集设备的第二单应矩阵,得到所述第二图像采集设备的标定结果之后,还可以包括:

获取所述第二图像采集设备与第三图像采集设备的第二重叠感知区域内的多个第二特征点对;任一所述第二特征点对中包括第六特征点和第七特征点,所述第六特征点为所述第二图像采集设备针对所述第二重叠感知区域采集的第四图像中的选定特征点,所述第七特征点为所述第三图像采集设备针对所述第二重叠感知区域采集的第五图像中的所述选定特征点;所述第二图像采集设备以及所述第三图像采集设备为布置在路侧用于监控交通路况的图像采集设备。

根据多个所述第二特征点对中的所述第六特征点的第三图像坐标和所述第七特征点的第四图像坐标,计算所述第二图像采集设备与所述第三图像采集设备之间的第二基础矩阵。

根据所述第二单应矩阵、所述第二基础矩阵以及所述第三图像采集设备的内参矩阵,计算所述第三图像采集设备的第三单应矩阵,得到所述第三图像采集设备的标定结果。

在本说明书实施例中,第二重叠感知区域是第二图像采集设备感知区域内的部分感知区域,同时也是第三图像采集设备感知区域内的部分感知区域。

在本说明书实施例中,获取多个第二特征点对的方法与前文中获取多个第一特征点对的方法相同,在此不再赘述。

在本说明书实施例中,可以利用归一化8点算法根据至少4个第二特征点对中的第六特征点的第三图像坐标以及第七特征点的第四图像坐标去估计第二基础矩阵,当然也可以利用其他方法计算第二基础矩阵,在此不做具体限定。

在本说明书实施例中,计算第三图像采集设备的第三单应矩阵,得到所述第三图像采集设备的标定结果的具体方法与计算第二图像采集设备的第二单应矩阵,得到所述第二图像采集设备的标定结果的方式方法相同,在此不再赘述。

在本说明书实施例中,可以理解的,当所述第一图像采集设备与所述第三图像采集设备之间存在重叠感知区域时,也可以根据第一图像采集设备的标定结果针对第三图图像采集设备进行标定,标定过程与前文中描述的利用第一图像采集设备的标定结果针对第二图像采集设备进行标定,或利用第二图像采集设备的标定结果针对第三图像采集设备进行标定的方式相同,在此不再赘述。

在本说明书实施例中,仅需针对第一图像采集设备利用传统的单应矩阵建模法进行标定,而针对除第一图像采集设备以外的其他图像采集设备可以根据第一图像采集设备的标定结果进行标定,简化了标定过程。

基于同样的思路,本说明书实施例还提供了上述方法对应的装置。图2为本说明书实施例提供的对应于图1的图像采集设备的标定装置的结构示意图。如图2所示,该装置可以包括:

第一获取模块202,用于获取第一图像采集设备的第一单应矩阵。

第二获取模块204,用于获取所述第一图像采集设备与第二图像采集设备的第一重叠感知区域内的多个第一特征点对;任一所述第一特征点对中包括第一特征点和第二特征点,所述第一特征点为所述第一图像采集设备针对所述第一重叠感知区域采集的第一图像中的指定特征点,所述第二特征点为所述第二图像采集设备针对所述第一重叠感知区域采集的第二图像中的所述指定特征点。

第一计算模块206,用于根据多个所述特征点对中的所述第一特征点的第一图像坐标和所述第二特征点的第二图像坐标,计算所述第一图像采集设备与所述第二图像采集设备之间的第一基础矩阵。

第二计算模块208,用于根据所述第一单应矩阵、所述第一基础矩阵以及所述第二图像采集设备的内参矩阵,计算所述第二图像采集设备的第二单应矩阵,得到所述第二图像采集设备的标定结果。

基于图2的装置,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。

可选的,所述第一获取模块202,具体可以用于:

获取所述第一图像采集设备采集的第三图像中包含的第三特征点的像素坐标。

确定所述第三特征点在世界坐标系中的世界坐标。

计算所述世界坐标与所述像素坐标之间的坐标转换关系,得到所述第一单应矩阵。

所述指定特征点为所述第一重叠感知区域内的任一目标特征点,所述第二获取模块204,具体可以包括:

第一图像采集单元,用于分别利用所述第一图像采集设备以及所述第二图像采集设备针对所述第一重叠感知区域进行图像采集,得到包含有多个所述目标特征点的所述第一图像以及包含有多个所述目标特征点的所述第二图像;

第一特征匹配单元,用于针对所述第一图像中包含的多个所述目标特征点以及所述第二图像中包含的多个所述目标特征点进行特征匹配,得到多个所述第一特征点对。

可选的,所述第一特征匹配单元,具体可以用于:

利用特征点提取算法,针对所述第一图像中的多个所述目标特征点进行特征点提取,得到第一特征点集合。

利用所述特征点提取算法,针对所述第二图像中的多个所述目标特征点进行特征点提取,得到第二特征点集合。

利用匹配算法针对所述第一特征点集合中的第四特征点以及所述第二特征点集合中的第五特征点进行特征匹配,得到多个所述特征点对;所述任一所述特征点对中的第四特征点为所述第一图像中的所述指定特征点;所述任一所述特征点对中的第五特征点为所述第二图像中的所述指定特征点。

可选的,所述指定特征点为第一重叠感知区域内的标定件;所述第二获取模块204,还可以包括:

第二图像采集单元,用于当所述标定件在所述第一重叠感知区域内移动的过程中,分别利用所述第一图像采集设备以及所述第二图像采集设备针对所述第一重叠感知区域进行图像采集,得到图像数据集;所述图像数据集中的图像均包含所述标定件。

图像匹配单元,用于针对所述图像数据集中的所述图像进行匹配处理,得到多个图像对;任一所述图像对中包括,利用所述第一图像采集设备与所述第二图像采集设备在同一时刻分别针对所述第一重叠感知区域采集的,包含有所述标定件的所述第一图像以及所述第二图像。

第二特征匹配单元,用于针对各个所述图像对,分别确定所述标定件在所述第一图像中的第一图像坐标,以及,所述标定件在所述第二图像中的第二图像坐标,得到多个包括所述第一图像坐标以及所述第二图像坐标的所述第一特征点对。

可选的,所述第二计算模块208,具体可以用于:

利用目标关系式计算所述第二图像采集设备的第二单应矩阵。

所述目标关系式为H2=K_B*F_AB*H1;其中,所述H2为所述第二图像采集设备的第二单应矩阵,所述K_B为所述第二图像采集设备的内参矩阵,所述H1为所述第一图像采集设备的所述第一单应矩阵,所述F_AB为所述第一基础矩阵。

可选的,图2中的装置,还可以包括:

第三获取模块,用于获取所述第二图像采集设备与第三图像采集设备的第二重叠感知区域内的多个第二特征点对;任一所述第二特征点对中包括第六特征点和第七特征点,所述第六特征点为所述第二图像采集设备针对所述第二重叠感知区域采集的第四图像中的选定特征点,所述第七特征点为所述第三图像采集设备针对所述第二重叠感知区域采集的第五图像中的所述选定特征点;所述第二图像采集设备以及所述第三图像采集设备为布置在路侧用于监控交通路况的图像采集设备;

第三计算模块,用于根据多个所述第二特征点对中的所述第六特征点的第三图像坐标和所述第七特征点的第四图像坐标,计算所述第二图像采集设备与所述第三图像采集设备之间的第二基础矩阵;

第四计算模块,用于根据所述第二单应矩阵、所述第二基础矩阵以及所述第三图像采集设备的内参矩阵,计算所述第三图像采集设备的第三单应矩阵,得到所述第三图像采集设备的标定结果。

图3为本说明书实施例提供的对应于图1的一种图像采集设备的标定设备的结构示意图。如图3所示,设备300可以包括:

至少一个处理器310;以及,

与所述至少一个处理器通信连接的存储器330;其中,

所述存储器330存储有可被所述至少一个处理器310执行的指令320,所述指令被所述至少一个处理器310执行,以使所述至少一个处理器310能够:

获取缓存数据集,所述缓存数据集中包含有用于反映在第一时刻之前被感知到的第一图像采集设备的标定对象的各个目标轨迹点的第一历史轨迹数据;

若所述第一图像采集设备的标定对象的所述目标轨迹点的数量大于预设数量,则利用多项式运动模型,根据所述第一图像采集设备的标定对象的所述第一历史轨迹数据预测得到所述第一图像采集设备的标定对象在所述第一时刻处的预测轨迹数据;

若所述第一图像采集设备的标定对象的所述目标轨迹点的数量小于所述预设数量,则利用匀速直线运动模型,根据所述第一图像采集设备的标定对象的所述第一历史轨迹数据预测得到所述第一图像采集设备的标定对象在所述第一时刻处的预测轨迹数据;

获取检测数据集,所述检测数据集中包含有利用传感器获取到的第二图像采集设备的标定对象在所述第一时刻处的观测轨迹数据;

针对所述第一图像采集设备的标定对象在所述第一时刻处的预测轨迹数据,以及,所述第二图像采集设备的标定对象在所述第一时刻处的观测轨迹数据进行处理,得到目标对象跟踪结果。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图3所示的图像采集设备的标定设备而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

技术分类

06120116576224