掌桥专利:专业的专利平台
掌桥专利
首页

一种数据处理方法、设备以及可读存储介质

文献发布时间:2023-06-19 13:45:04


一种数据处理方法、设备以及可读存储介质

技术领域

本申请涉及计算机技术领域,尤其涉及一种数据处理方法、设备以及可读存储介质。

背景技术

视觉惯性里程计(Visual-Inertial Odometry,VIO)作为一种空间定位方法,被广泛应用于虚拟现实技术(Virtual Reality,VR)领域/增强现实技术(Augmented Reality,AR)领域、无人驾驶领域和移动机器人领域。通常情况下,视觉惯性里程计(VIO)系统包含两个传感器,一个视觉传感器(称为相机或摄像头)和一个惯性传感器(InertialMeasurement Unit,IMU),VIO系统的工作离不开这两个传感器的作用。

一般情况下,在VIO系统工作时会认为IMU和相机时间是同步和对齐的,然而,由于硬件系统会存在触发延时、传输延时和没有准确同步时钟等问题,IMU和相机之间通常会存在时间偏差,那么错误的认为IMU和相机时间是同步和对齐的,会影响VIO系统的性能。而为了估计并纠正相机与IMU之间的时间偏差,从而有效提升VIO系统的性能,现有技术通常采用标定板测量相机的旋转,提取出角点从而计算角速度,再将相机的角速度与IMU的读数作对比,从而可以求出相机与IMU之间的时间差。但是,这种方式十分依赖于标定板与特定的标定场景,需要花费较大的人力物力来部署标定场景,成本较大;同时,对于硬件质量(如相机成像质量)的要求也较高,对于相机成像质量较差的场景,相机所拍摄的图像质量清晰度不够高,通过标定板根本无法准确地提取出角点,导致无法准确地计算出角速度,所对比出来的时间差的准确率也很低。

发明内容

本申请实施例提供一种数据处理方法、设备以及可读存储介质,可以在时间标定场景中,减少标定成本,提高标定准确率。

本申请实施例一方面提供了一种数据处理方法,包括:

获取与交通工具相关联的行驶图像;行驶图像由配置在交通工具上的摄像头设备所拍摄得到;行驶图像包含交通工具所行驶的道路地面中的车道线;

根据行驶图像中包括的车道线,确定交通工具在第一时间区间内的第一角速度变化曲线;

根据传感器在第二时间区间内所检测到的针对交通工具的角速度集合,确定交通工具在第二时间区间内的第二角速度变化曲线;

根据交通工具在第一时间区间内的第一角速度变化曲线,与交通工具在第二时间区间内的第二角速度变化曲线之间的曲线关联度,对摄像头设备与传感器进行时间标定。

本申请实施例一方面提供了一种数据处理装置,包括:

图像获取模块,用于获取与交通工具相关联的行驶图像;行驶图像由配置在交通工具上的摄像头设备所拍摄得到;行驶图像包含交通工具所行驶的道路地面中的车道线;

曲线确定模块,用于根据行驶图像中包括的车道线,确定交通工具在第一时间区间内的第一角速度变化曲线;

曲线确定模块,还用于根据传感器在第二时间区间内所检测到的针对交通工具的角速度集合,确定交通工具在第二时间区间内的第二角速度变化曲线;

时间标定模块,用于根据交通工具在第一时间区间内的第一角速度变化曲线,与交通工具在第二时间区间内的第二角速度变化曲线之间的曲线关联度,对摄像头设备与传感器进行时间标定。

在一个实施例中,时间标定模块包括:

关联度匹配单元,用于确定处于第一时间区间内的第一角速度变化曲线,与处于第二时间区间内的第二角速度变化曲线之间的曲线关联度,将曲线关联度与关联度阈值进行匹配;

时间更新单元,用于若曲线关联度小于关联度阈值,则对用于映射第二角速度变化曲线的第二时间区间进行时间更新,得到用于重新映射第二角速度变化曲线的更新时间区间;更新时间区间的时长等于第二时间区间的时长;

时间标定单元,用于根据交通工具在更新时间区间内的第二角速度变化曲线,与交通工具在第一时间区间内的第一角速度变化曲线,对摄像头设备与传感器进行时间标定;

时间标定单元,还用于若曲线关联度大于关联度阈值,则将时间匹配结果作为摄像头设备与传感器之间的时间标定结果。

在一个实施例中,第二角速度变化曲线处于曲线坐标系中,曲线坐标系包括时间轴;

时间更新单元,包括:

曲线平移子单元,用于获取平移量,将曲线坐标系中的处于第二时间区间的第二角速度变化曲线,按照平移量与目标平移方向进行平移;目标平移方向与时间轴的轴方向之间属于平行关系;

时间戳获取子单元,用于在曲线坐标系中获取平移后的第二角速度变化曲线的曲线起始位置以及曲线结束位置,在时间轴上获取曲线起始位置对应的起始时间戳以及曲线结束位置对应的结束时间戳;

区间确定子单元,用于将起始时间戳与结束时间戳所组成的时间区间确定为更新时间区间。

在一个实施例中,时间标定单元,还具体用于确定处于更新时间区间内的第二角速度变化曲线,与处于第二时间区间内的第一角速度变化曲线之间的更新曲线关联度,将更新曲线关联度与关联度阈值进行匹配;

时间标定单元,还具体用于若更新曲线关联度大于关联度阈值,则确定更新时间区间与第二时间区间之间的时间差值,将时间差值确定为摄像头设备与传感器之间的时间标定结果。

在一个实施例中,行驶图像中包括第一行驶图像对与第二行驶图像对;第一行驶图像对中包括第一行驶子图像与第二行驶子图像;第二行驶图像对中包括第三行驶子图像与第四行驶子图像;

曲线确定模块,包括:

角速度确定单元,用于根据第一行驶子图像与第二行驶子图像中分别包括的车道线,确定交通工具在第一时刻对应的第一角速度;第一时刻是基于第一拍摄时刻与第二拍摄时刻所确定,第一拍摄时刻为摄像头设备拍摄第一行驶子图像的时刻,第二拍摄时刻为摄像头设备拍摄第二行驶子图像的时刻;

角速度确定单元,还用于根据第三行驶子图像与第四行驶子图像中分别包括的车道线,确定交通工具在第二时刻对应的第二角速度;第二时刻根据第三拍摄时刻与第四拍摄时刻所确定,第三拍摄时刻为摄像头设备拍摄第三行驶子图像的时刻,第四拍摄时刻为摄像头设备拍摄第四行驶子图像的时刻;

曲线确定单元,用于根据第一角速度、第二角速度、第一时刻以及第二时刻,确定交通工具对应的第一角速度变化曲线。

在一个实施例中,角速度确定单元,包括:

偏移度确定子单元,用于根据第一行驶子图像中包括的车道线,确定交通工具在第一拍摄时刻对应的第一偏移角度;第一偏移角度为交通工具在第一拍摄时刻时的行驶方向,与车道线之间的偏移角度;

偏移度确定子单元,还用于根据第二行驶子图像包括的车道线,确定交通工具在第二拍摄时刻对应的第二偏移角度;第二偏移角度为交通工具在第二拍摄时刻时的行驶方向,与车道线之间的偏移角度;

角速度确定子单元,用于根据第一偏移角度、第二偏移角度、第一拍摄时刻以及第二拍摄时刻,确定交通工具在第一时刻对应的第一角速度。

在一个实施例中,偏移度确定子单元,还具体用于识别第一行驶子图像中包括的车道线,确定车道线对应的像素点在图像坐标系中的像素坐标;图像坐标系为第一行驶子图像对应的坐标系;

偏移度确定子单元,还具体用于根据初始俯仰角度值将像素坐标进行坐标转换,得到像素点在世界坐标系中的空间位置坐标;

偏移度确定子单元,还具体用于将空间位置坐标进行直线拟合,得到像素点对应的拟合直线,根据拟合直线确定交通工具在第一拍摄时刻对应的第一偏移角度。

在一个实施例中,偏移度确定子单元,还具体用于获取摄像头设备对应的垂直距离;垂直距离是指将摄像头设备与道路地面之间的直线距离;

偏移度确定子单元,还具体用于根据初始俯仰角度值确定摄像头设备对应的旋转矩阵,根据旋转矩阵、垂直距离以及像素坐标,确定像素点在世界坐标系中的空间位置坐标。

在一个实施例中,第一行驶子图像中包括的车道线包括N条车道线,第一行驶子图像对应N条拟合直线;

偏移度确定子单元,还具体用于获取N条拟合直线中每条拟合直线分别对应的直线斜率;

偏移度确定子单元,还具体用于将N个直线斜率按照大小顺序进行排序,得到直线斜率序列;

偏移度确定子单元,还具体用于在直线斜率序列中按序获取第一直线斜率与第二直线斜率,将第一直线斜率对应的拟合直线确定为第一目标拟合直线,将第二直线斜率对应的拟合直线确定为第二目标拟合直线;

偏移度确定子单元,还具体用于根据第一目标拟合直线与第二目标拟合直线,确定交通工具在第一拍摄时刻对应的第一偏移角度。

在一个实施例中,偏移度确定子单元,还具体用于确定摄像头设备在道路水平地面上的垂直投影地面位置,将垂直投影地面位置确定为世界坐标系的世界坐标原点;

偏移度确定子单元,还具体用于确定第一目标拟合直线与第二目标拟合直线之间的交点,以及交点与世界坐标原点之间的距离;

偏移度确定子单元,还具体用于根据距离确定第一目标拟合直线与第二目标拟合直线之间的直线关系;

偏移度确定子单元,还具体用于根据直线关系确定交通工具在第一拍摄时刻对应的第一偏移角度。

在一个实施例中,偏移度确定子单元,还具体用于若直线关系为平行关系,则确定初始俯仰角度值为正确俯仰角度值,将交通工具在第一拍摄时刻时的行驶方向,与第一目标拟合直线之间的夹角确定为第一偏移角度;

偏移度确定子单元,还具体用于若直线关系为非平行关系,则对初始俯仰角度值进行调整,按照调整俯仰角度值将像素坐标进行坐标转换,得到像素点在世界坐标系中的更新空间位置坐标,将更新空间位置坐标进行直线拟合,得到像素点对应的更新拟合直线,根据更新拟合直线确定交通工具在第一拍摄时刻对应的第一偏移角度。

在一个实施例中,第一拍摄时刻与第二拍摄时刻为相邻拍摄时刻;

角速度确定子单元,还具体用于确定第一偏移角度与第二偏移角度之间的角度差值绝对值;

角速度确定子单元,还具体用于获取第一拍摄时刻与第二拍摄时刻之间的中间拍摄时刻,将中间拍摄时刻确定为第一时刻;

角速度确定子单元,还具体用于确定第一拍摄时刻与第二拍摄时刻之间的拍摄间隔时长,根据角度差值绝对值与拍摄间隔时长确定交通工具在第一时刻对应的第一角速度。

在一个实施例中,曲线确定单元包括:

初始曲线确定子单元,用于根据第一时刻、第一角速度、第二时刻以及第二角速度,确定交通工具对应的初始角速度变化曲线;

均值数据确定子单元,用于确定第一时刻与第二时刻之间的均值时刻,将第一角速度与第二角速度之间的均值角速度,确定为交通工具在均值时刻对应的角速度;

曲线确定子单元,用于根据第一时刻、第一角速度、第二时刻、第二角速度、均值时刻以及均值角速度,确定交通工具对应的第一角速度变化曲线。

本申请实施例一方面提供了一种计算机设备,包括:处理器和存储器;

存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请实施例中的方法。

本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,执行本申请实施例中的方法。

本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中一方面提供的方法。

在本申请实施例中,可通过摄像头设备拍摄交通工具行驶在道路地面中的行驶图像,其中该行驶图像中包括有车道线。随后,通过该行驶图像中的车道线,可以确定出交通工具在第一时间区间内的第一角速度变化曲线;而交通工具中的传感器也可以检测到交通工具的角速度集合,根据这个角速度集合又可以确定出交通工具在第二时间区间内的第二角速度变化曲线;可以计算第一角速度变化曲线与第二角速度变化曲线之间的曲线关联度(即曲线相关性程度),即可对摄像头设备与传感器进行时间标定。可以看出,本申请在将摄像头设备与传感器之间进行时间标定时,无需使用额外的设备、也无需特殊的外部环境,只需有车道线即可,灵活性较高,也极大降低了标定成本;同时,确定摄像头设备对应的角速度变化曲线与传感器对应的角速度变化曲线之间的曲线关联度,来进行时间标定的方式,可以在摄像头设备拍摄的角速度与传感器检测的角速度之间的相关性较高(即角速度是极为关联的)的情况下,再进行时间标定,由此得到的时间标定结果是具备较高准确性的。综上,本申请可以在对摄像头设备与传感器进行时间标定的场景中,提高标定灵活性与准确率,减少标定成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种网络架构图;

图2是本申请实施例提供的一种数据处理方法的流程示意图;

图3是本申请实施例提供的一种角速度变化曲线的示意图;

图4是本申请实施例提供的一种平移角速度变化曲线进行时间标定的示意图;

图5是本申请实施例提供的一种数据处理的流程示意图;

图6是本申请实施例提供的一种对曲线进行平滑处理的示意图;

图7是本申请实施例提供的一种确定交通工具的偏移角度的流程示意图;

图8a是本申请实施例提供的一种确定偏移角度的场景示意图;

图8b是本申请实施例提供的一种确定偏移角度的场景示意图;

图9是本申请实施例提供的一种数据处理装置的结构示意图;

图10是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请涉及到智能交通领域,为便于理解,以下将首先对智能交通及其相关概念进行阐述。

智能车路协同系统(Intelligent Vehicle Infrastructure CooperativeSystems,IVICS),简称车路协同系统,是智能交通系统(ITS)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术,全方位实施车车、车路动态实时信息交互,并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理,充分实现人车路的有效协同,保证交通安全,提高通行效率,从而形成的安全、高效和环保的道路交通系统。

本申请涉及智能车路协同系统中的高级驾驶辅助系统(Advanced DrivingAssistance System,ADAS)与视觉惯性导航系统(Visual-Inertial Navigation Systems,VINS)。

其中,ADAS是利用安装在车上的各式各样传感器(如毫米波雷达、激光雷达、单/双目摄像头以及卫星导航等),在汽车行驶过程中随时来感应周围的环境,收集数据,进行静态、动态物体的辨识、侦测与追踪,并结合导航地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。

视觉惯性导航系统(或称为视觉惯性里程计(Visual-Inertial Odometry,VIO))是一项使用相机和惯性测量单元(Inertial Measurement Unit,IMU)作为传感器进行测量然后来估计位移和姿态变化的计算机视觉技术,主要通过融合相机和IMU数据来实现即时定位与地图构建(simultaneous localization and mapping,SLAM)。其中,该相机传感器可以通过在一定曝光时间内捕获光子产生电信号从而得到数字图片,因此在慢速运动下能得到丰富的精确的信息,而IMU能测量本体角速度和线加速度,且不受外部环境影响。相机由于依靠在一定曝光时间捕获光子,容易受到曝光时间、光圈(决定光量)、工作距离的影响,且对于低材质(如白墙、雪地等)、高速场景(容易产生运动模糊)和高动态范围无法精确估计位置,相机的输出帧率一般是100HZ。相对而言,IMU在快速场景下精度更高,而在低速场景下由于漂移和量测噪声的存在,精度较低,IMU的输出频率比相机高很多,一般在1000HZ。因此相机传感器和IMU在使用场景下是互补的,通过融合相机信息和IMU信息就能更精确的导航定位。

VIO作为一种空间定位方法,被广泛应用于VR/AR领域、无人驾驶领域和移动机器人领域进行空间定位,或给载具导航。为了更好地融合相机传感器信息与IMU传感器信息,本申请主要提供一种在VIO系统中对相机与IMU进行时间标定的方法。

请参见图1,图1是本申请实施例提供的一种网络架构图。如图1所示,该网络架构可以包括业务服务器1000和终端设备集群,终端设备集群可以包括一个或者多个终端设备,这里将不对终端设备的数量进行限制。如图1所示,多个终端设备可以包括终端设备100a、终端设备100b、终端设备100c、…、终端设备100n;如图1所示,终端设备100a、终端设备100b、终端设备100c、…、终端设备100n可以分别与业务服务器1000进行网络连接,以便于每个终端设备可以通过该网络连接与业务服务器1000之间进行数据交互。

本申请实施例可以在多个终端设备中选择一个终端设备作为目标终端设备,该终端设备可以为智能车载设备,但并不局限于此。该智能车载设备可以部署于交通工具(如公共车、汽车、货车等等)中。例如,本申请实施例可以将图1所示的终端设备100a作为该目标终端设备,该目标终端设备中可以部署在交通工具中,该交通工具还可以部署有摄像头设备(也可称为视觉传感器或相机设备)与惯性测量单元(也可称为惯性传感器或IMU)。其中,该摄像头设备可以拍摄到交通工具在道路地面上行驶时的图像(可称为行驶图像),该IMU也可以测量到交通工具在不同时刻下对应的角速度集合。该摄像头设备所拍摄的行驶图像与IMU所测量的在不同时刻下的角速度集合,可作为业务数据,该目标终端设备可通过网络连接将该业务数据发送至业务服务器1000。

随后,业务服务器1000可根据该行驶图像中包括的车道线(也就是行驶图像中的道路地面上的车道线),确定出交通工具在第一时间区间内的第一角速度变化曲线;同样的,业务服务器1000也可根据IMU所测量的在不同时刻下的角速度集合,确定出交通工具在第二时间区间(由IMU测量的角速度集合对应的不同时刻所组成的时间区间)内的第二角速度变化曲线。业务服务器1000可计算第一角速度变化曲线与第二角速度变化曲线之间的相关性程度(可称为曲线关联度),根据该相关性程度可将摄像头设备(即相机传感器)与IMU传感器进行时间标定,从而可以更好地将相机传感器的信息与IMU传感器的信息进行融合,进行更为精准的定位或导航。其中,对于确定第一角速度变化曲线、对摄像头设备与IMU传感器进行时间标定的具体实现方式,可以参见后续图2所对应实施例中的描述。

可以理解的是,本申请实施例提供的方法可以由计算机设备执行,计算机设备包括但不限于终端设备或业务服务器。其中,业务服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中,终端设备以及业务服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。

可选的,可以理解的是,上述计算机设备(如上述业务服务器1000、终端设备100a、终端设备100b等等)可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成的点对点(P2P,Peer To Peer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission Control Protocol)协议之上的应用层协议。在分布式系统中,任意形式的计算机设备,比如业务服务器、终端设备等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。为便于理解,以下将对区块链的概念进行说明:区块链是一种分布式数据存储、点对点传输、共识机制以及加密算法等计算机技术的新型应用模式,主要用于对数据按时间顺序进行整理,并加密成账本,使其不可被篡改和伪造,同时可进行数据的验证、存储和更新。当计算机设备为区块链节点时,由于区块链的不可被篡改特性与防伪造特性,可以使得本申请中的数据(如行驶图像、角速度变化曲线、时间标定结果等等)具备真实性与安全性,从而可以使得基于这些数据进行相关数据处理后,得到的结果更为可靠。

进一步地,请参见图2,图2是本申请实施例提供的一种数据处理方法的流程示意图。其中,该数据处理方法可以由业务服务器(如,上述图1所对应实施例中的业务服务器1000)执行,也可以由终端设备(如,上述图1所对应实施例中的终端设备集群中的任一终端设备,如终端设备100a)执行;还可以由终端设备与业务服务器共同执行,为便于理解,以下以该数据处理方法由终端设备执行为例进行说明。如图2所示,该流程可以至少包括以下步骤S101-步骤S104:

步骤S101,获取与交通工具相关联的行驶图像;行驶图像由配置在交通工具上的摄像头设备所拍摄得到;行驶图像包含交通工具所行驶的道路地面中的车道线。

本申请中,摄像头设备可以是指相机、行车记录仪等具有拍摄功能的视觉传感器,摄像头设备可部署于交通工具中,可用于拍摄交通工具在道路地面的行驶过程中的行驶环境,得到行驶图像。终端设备可以包括车载电脑、计算机等具备计算功能的设备。该终端设备可以与交通工具的摄像头设备相连接。终端设备可以向摄像头设备发送请求,以使摄像头设备反馈其在交通工具在道路地面(该道路地面可以包括有车道线,这些车道线在道路地面中是处于平行关系)行驶的过程中拍摄的图像(可称为行驶图像)。摄像头设备在拍摄采集到行驶图像后,还可以主动将行驶图像发送至终端设备,以使终端设备可以接收到行驶图像。

其中,该终端设备可以设置在交通工具上,该交通工具可以是车辆(如自动驾驶车辆,还可以是设置有高级驾驶辅助系统(Advanced Driving Assistance System,ADAS)的车辆)、无人机等等。

应当理解,该终端设备还可以具备感知功能,在交通工具在路上实际行驶时,该终端设备可以基于摄像头设备采集的环境图像识别交通工具周围的物体,进而确定交通工具的行驶策略。

可以理解的是,摄像头设备所采集的图像可以是视频图像,终端设备可以将视频图像中的每一帧图像作为行驶图像(也就是将进行处理的图像),或者在视频图像中筛选出需要进行处理的图像作为行驶图像,例如每隔几帧采集一图像作为行驶图像进行处理。当然,实际应用时,摄像头设备所采集的图像还可以是图片,摄像头设备可以每隔一段时间(如每隔几毫秒、每隔几秒、每隔几分钟等等)拍摄一张图片,该图片即可作为行驶图像发送至终端设备。

可以理解的是,假设终端设备所采集的行驶图像为图片为例,可以控制交通工具在包括有车道线的道路地面中,以较高速度(如40km/s)进行变道行驶(例如,连续两次变道行驶),而在此过程中,设定摄像头设备每隔2秒便拍摄一帧图片(称为行驶图像),由此便可以得到在不同时刻所拍摄的多张行驶图像,摄像头设备可将这些不同时刻下所拍摄到的多张行驶图像发送至终端设备。

步骤S102,根据行驶图像中包括的车道线,确定交通工具在第一时间区间内的第一角速度变化曲线。

本申请中,终端设备在获取到摄像头设备在不同时刻拍摄的多张行驶图像后,可以根据这些不同时刻组成一个时间区间(可称为第一时间区间),根据每张行驶图像中所包括的车道线,可以确定出交通工具在第一时间区间内的各个时刻下的角速度。可以建立一个包括时间轴与角速度轴的坐标系,根据交通工具在第一时间区间内各个时刻下对应的角速度,可以在该坐标系中绘制出一个角速度变化曲线(可称之为第一角速度变化曲线)。

为便于理解第一角速度变化曲线,请一并参见图3,图3是本申请实施例提供的一种角速度变化曲线的示意图。如图3所示,以建立平面直角坐标系(在同一平面上由互相垂直且有公共原点的两条数轴所构成的坐标系,)为例,在该平面直角坐标系中的两条数轴分别置于水平位置与垂直位置,可取向右与向上的方向分别为两条数轴的正方向。其中,可将处于水平方向的数轴称为x轴(或横轴);可将与该x轴垂直的数轴称为y轴(或纵轴)。应当理解,x轴与y轴可统称为坐标轴,可将x轴与y轴中的任一坐标轴作为时间轴(同时,另一坐标轴作为角速度轴),这里可将x轴作为时间轴、将y轴作为角速度轴。x轴与y轴的公共原点(可称为相交点)称为直角坐标系的原点。

如图3所示,以处于某个时刻时(例如交通工具开始变道行驶时的时刻,2021年9月14日10点30分0秒),摄像头设备每隔10s便拍摄一张图片为例,那么在第0至50秒内,摄像头设备可拍摄5张图片,得到5个行驶图像。可将第一时间区间确定为[0,50](即第0s至第50s。若对应于时刻,即为2021年9月14日10点30分0秒至2021年9月14日10点30分50秒),根据摄像头设备所拍摄的5个行驶图像中所分别包括的车道线,可以确定出交通工具在第一时间区间[0,50]中各个时刻下对应的角速度,例如,可以确定出交通工具在第0s时对应的角速度为0rad/s(假设在第0s时,该交通工具并未行驶(或并未变道行驶),该交通工具在第0s时对应的角速度为0)、第5秒时对应的角速度为0.025(单位可为弧度/s:rad/s)、在第10秒时对应的角速度为0.1rad/s、在第15秒时对应的角速度为0.2rad/s、…、在第50秒时对应的角速度0.07rad/s。

可将一个时刻及其对应的角速度,组成一个坐标,例如,可以将第5秒以及对应的角速度0.025rad/s,组成一个坐标(5,0.025)。由此可得到多个坐标,可在该平面直角坐标系中获取到这些坐标所对应的点,随后可将这些点进行平滑连接,由此即可绘制得到如图3所示的角速度变化曲线,该角速度变化曲线即可称为第一角速度变化曲线。需要说明的是,图3所对应实施例所提供的摄像头拍摄图像的时间间隔(每隔10s)、时间区间([0,50])、角速度以及角速度变化曲线等,均是为便于理解所作出的举例说明,并不具备实际参考意义。

对于上述根据每张行驶图像中所包括的车道线,确定出交通工具在第一时间区间内的各个时刻下的角速度,再确定出第一角速度变化曲线的具体实现方式,可以参见后续图5所对应实施例中的描述。

步骤S103,根据传感器在第二时间区间内所检测到的针对交通工具的角速度集合,确定交通工具在第二时间区间内的第二角速度变化曲线。

本申请中,这里的传感器可为惯性传感器,其中,惯性传感器可以是检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DoF)运动的传感器。惯性传感器是解决导航、定向和运动载体控制的重要部件。惯性传感器可以包括加速度传感计、角速度传感器(也可称为陀螺仪)、航姿参考系(Attitude and heading reference system,AHRS)、惯性测量单元(Inertial Measurement Unit,IMU),等等。其中,加速度传感计是利用传感质量的惯性力测量的传感器,一般由标准质量块(传感元件)和检测电路组成。陀螺仪是利用震动质量块被基座(壳体)带动旋转时的哥氏效应来传感角速度的原理制成,主要形式有框架驱动式(内、外框架)、梳状驱动式、电磁驱动式等。AHRS则主要由三轴陀螺仪、加速度传感计和磁传感器所组成,依据四元素法进行解算,直接可输出一个运动体的俯仰角、横滚角和航向角。IMU主要由三个加速度传感器、三个陀螺仪及解算电路组成,主要用于测量本体角速度和线加速度,且不受外界影响。而本申请中的惯性传感器可以是指能够测量本体角速度的惯性传感器,如角速度传感器(也可称为陀螺仪)、IMU等。

该惯性传感器可部署于交通工具中,当交通工具通过快速地变道行驶时,惯性传感器可测量出交通工具在各个时刻下的角速度,终端设备可以与惯性传感器进行连接,从而可以在各个时刻读取惯性传感器所测量的角速度数值,从而可以得到惯性传感器所测量到的交通工具在各个时刻下对应的角速度集合,可以根据这些时刻确定出第二时间区间(该第二时间区间可以与上述第一时间区间相同,当然也可以不同,例如该第二时间区间可以略小于该第一时间区间)。根据惯性传感器所测量到的交通工具在第二时间区间内各个时刻下对应的角速度集合,同样可以绘制得到交通工具在第二时间区间内的第二角速度变化曲线。对于根据惯性传感器所测量的交通工具在各个时刻下对应的角速度,来确定第二角速度变化曲线的具体实现方式,与根据车道线所确定的交通工具在各个时刻下对应的角速度来确定第一角速度变化曲线的方式相同(即建立坐标系,再在坐标系中进行绘制),这里将不再赘述如何绘制第二角速度变化曲线。

可以理解的是,可在上述第一角速度变化曲线所在的坐标系(如平面直角坐标系)中,对第二角速度变化曲线进行绘制。由此可将第一角速度变化曲线与第二角速度变化曲线置于同一坐标系中,由此可以便于比较第一角速度变化曲线与第二角速度变化曲线。

步骤S104,根据交通工具在第一时间区间内的第一角速度变化曲线,与交通工具在第二时间区间内的第二角速度变化曲线之间的曲线关联度,对摄像头设备与传感器进行时间标定。

本申请中,当确定出第一角速度变化曲线与第二角速度变化曲线后,可计算处于第一时间区间内的第一角速度变化曲线,与处于第二时间区间内的第二角速度变化曲线之间的相关性程度(可以理解为摄像头设备拍摄到的角速度(即,对应于第一角速度变化曲线)与惯性传感器测量到的角速度(即,对应于第二角速度变化曲线)之间的相关性程度),该相关性程度可称为曲线关联度。根据该曲线关联度即可对摄像头设备与传感器进行时间标定。

其中,对于根据处于第一时间区间内的第一角速度变化曲线,与处于第二时间区间内的第二角速度变化曲线之间的曲线关联度,对摄像头设备与惯性传感器进行时间标定的一种具体实现方式可为:可确定处于第一时间区间内的第一角速度变化曲线,与处于第二时间区间内的第二角速度变化曲线之间的曲线关联度,随后,可获取关联度阈值(可为人工规定数值也可为机器通过算法所生成数值;该关联度阈值的呈现形式可为百分数(如,90%)呈现形式、分数呈现形式(如,9/10)、小数呈现形式(如,0.9),等等,这里将不进行限制),随后,可将曲线关联度与关联度阈值进行匹配;若曲线关联度小于该关联度阈值,则可对用于映射第二角速度变化曲线的第二时间区间进行时间更新,得到用于重新映射第二角速度变化曲线的更新时间区间,根据交通工具在更新时间区间内的第二角速度变化曲线,与交通工具在第一时间区间内的第一角速度变化曲线,对摄像头设备与传感器进行时间标定;其中,更新时间区间的时长等于第二时间区间的时长;而若曲线关联度大于关联度阈值,则可将时间匹配结果作为摄像头设备与传感器之间的时间标定结果。

应当理解,当确定出处于第一时间区间内的第一角速度变化曲线,与处于第二时间区间内的第二角速度变化曲线时,因为触发延时、传输延时以及时钟未准确同步等问题的存在,所以摄像头设备(相机)与惯性传感器(IMU)之间的时间很有可能并不同步,也就是说摄像头设备与惯性传感器(IMU)之间会存在时间差,那么本申请可以通过第一角速度变化曲线与第二角速度变化曲线之间的曲线关联度,来判断摄像头设备与惯性传感器之间的时间是否同步;且在摄像头设备与惯性传感器之间的时间不同步时,通过曲线关联度来确定出摄像头设备与惯性传感器之间的时间差,从而可以将摄像头设备与惯性传感器进行时间标定,进而将摄像头设备与惯性传感器进行更好地融合,实现更精准地定位。

其中,可以理解的是,当第一时间区间与第二时间区间相同时(即第一时间区间与第二时间区间为相同时间区间),当处于第一时间区间内的第一角速度变化曲线,与处于第二时间区间内的第二角速度变化曲线,之间的曲线关联度(即相关性程度)是大于(或等于)关联度阈值的,那么可以认为摄像头设备所拍摄到的角速度,与惯性传感器所测量到的角速度是非常具备相关性的(重合度非常高),摄像头设备与惯性传感器均在相同的时间区间内,测量到了重合度非常高的角速度,那么此时可以认为摄像头设备与惯性传感器之间的时间是同步的(即摄像头设备与惯性传感器之间的时间标定结果为时间匹配结果,时间差为0)。

而若处于第二时间区间内的第二角速度变化曲线,之间的曲线关联度(即相关性程度)是小于关联度阈值的,那么可以认为摄像头设备所拍摄到的角速度,与惯性传感器所测量到的角速度并不具备相关性(或相关性程度不够高,那么此时可以保持第一角速度变化曲线或第二角速度变化曲线不变,将第一角速度变化曲线或第二角速度变化曲线进行移动(移动至越来越重合),通过移动,可以改变被移动的那一个角速度变化曲线的时间区间,得到更新时间区间,同时也可以使得第一角速度变化曲线与第二角速度变化曲线更为重合相关,直到这两个角速度变化曲线之间的曲线关联度大于关联度阈值时,可以查看此时被移动的那一个角速度变化曲线的时间变化量,该时间变化量可以理解为更新时间区间与原时间区间(被移动的那一个角速度变化曲线所对应的时间区间(即,第一时间区间与第二时间区间中的某一个时间区间))之间的时间差,该时间差即可作为该摄像头设备与惯性传感器之间的时间差,该时间差即可为时间标定结果。

其中,本申请中,为便于计算比较,可将第一角速度变化曲线与第二角速度变化曲线在同一坐标系中进行绘制展示。当处于第一时间区间内的第一角速度变化曲线,与处于第二时间区间内的第二角速度变化曲线之间的曲线关联度,小于关联度阈值时,可以在坐标系中,移动第一角速度变化曲线与第二角速度变化曲线中的某一个角速度变化曲线,来改变这个角速度变化曲线的时间区间,使得这两个角速度变化曲线之间的曲线关联度得到改变。

以第一角速度变化曲线与第二角速度变化曲线均处于同一坐标系(可称为曲线坐标系)为例,该曲线坐标系可为平面直角坐标系,以该曲线坐标系的横轴为时间轴、纵轴为角速度轴为例。当处于第一时间区间的第一角速度变化曲线,与处于第二时间区间内的第二角速度变化曲线之间的曲线关联度小于关联度阈值时,可以保持第一角速度变化曲线的位置不变,将第二角速度变化曲线在水平方向(与时间轴相平行的方式)进行平移移动,由此第二角速度变化曲线的时间区间(即第二时间区间)即会更新。也就是说,对于对用于映射第二角速度变化曲线的第二时间区间进行时间更新,得到用于重新映射第二角速度变化曲线的更新时间区间的一种具体实现方式可为:可获取平移量,随后,可将曲线坐标系中的处于第二时间区间的第二角速度变化曲线,按照平移量与目标平移方向进行平移;其中,目标平移方向与时间轴的轴方向之间属于平行关系;随后,可在曲线坐标系中获取平移后的第二角速度变化曲线的曲线起始位置以及曲线结束位置,在时间轴上获取曲线起始位置对应的起始时间戳以及曲线结束位置对应的结束时间戳;可将起始时间戳与结束时间戳所组成的时间区间确定为更新时间区间。

进一步地,当将第二角速度变化曲线进行平移后,此时,可再次确定处于更新时间区间内的第二角速度变化曲线,与处于第一时间区间内的第一角速度变化曲线之间的曲线关联度(可称为更新曲线关联度),可将更新曲线关联度与关联度阈值进行匹配;若此时的更新曲线关联度大于(或等于)关联度阈值,则可确定更新时间区间与第二时间区间之间的时间差值,可将时间差值确定为摄像头设备与传感器之间的时间标定结果。而若该更新曲线关联度小于关联度阈值,则可继续将第二角速度变化曲线进行再次平移(在目标平移方向上按照平移量进行平移),然后再次计算处于新的时间区间内的第二角速度变化曲线,与处于第一时间区间内的第一角速度变化曲线之间的新的曲线关联度,直至这个曲线关联度大于关联度阈值为止,此时可以确定出第二角速度变化曲线所对应的时间平移量(也就是通过平移,所对应的时间变化量),该时间平移量即可作为该摄像头设备与惯性传感器之间的时间差(即时间标定结果)。

其中,应当理解,上述的平移量可以是指单次平移量,该单次平移量可以为在曲线坐标系中固定的单次时间改变量所对应的长度。在每次移动角速度变化曲线时,均可以平移单次时间改变量所对应的长度,由此可以在曲线坐标系中,将角速度变化曲线平移至新的位置,得到新的时间区间。例如,单次时间改变量为0.05s,则可以在曲线坐标系中的时间轴上,获取到该单词时间改变量0.05s所对应的长度,然后再将角速度变化曲线在水平方向上(以横轴为时间轴。若以纵轴为时间轴,则是将角速度变化曲线在垂直方向上)进行平移,且平移的长度为该0.05s所对应的长度。应当理解,当通过平移使得两条角速度变化曲线的曲线关联度大于关联度阈值时,此时可获取到平移次数,将该平移次数与单词时间改变量相乘,得到的乘积结果即可为摄像头设备与惯性传感器之间的时间差值。当然,每次的平移量也可以不同,当通过平移使得两条角速度变化曲线的曲线关联度大于关联度阈值时,此时可以获取到最后的时间区间与原始时间区间(如第二时间区间)之间的时间差值(如,将最后的时间区间的起始时间戳减去原始时间区间的起始时间戳),该时间差值即可作为该摄像头所具备与惯性传感器之间的时间差(时间标定结果)。或者,此时可以将每次平移的时间改变量进行相加求和,所得到的求和结果即可作为该摄像头设备与该惯性传感器之间的时间差。

为便于理解,请一并参见图4,图4是本申请实施例提供的一种平移角速度变化曲线进行时间标定的示意图。如图4所示的曲线坐标系可以为上述图3所对应实施例中的平面直角坐标系,在该曲线坐标系中,曲线40a可为上述图3所对应实施例中的曲线,该曲线40a可为摄像头设备对应的第一角速度变化曲线,该第一角速度变化曲线对应的第一时间区间为[0,50];在该曲线坐标系中,可以同样根据惯性传感器所测量得到的角速度,绘制得到第二角速度变化曲线(即曲线40b),该第二角速度变化曲线对应的第二时间区间也为[0,50]。

进一步地,可计算处于第一时间区间[0,50]内的第一角速度变化曲线(即曲线40a),与处于第二时间区间[0,50]内的第二角速度变化曲线(即曲线40b)之间的曲线关联度,随后,可将该曲线关联度与关联度阈值进行比较。假若该曲线关联度为0.8,而关联度阈值为0.95,则通过比较,可以确定该曲线关联是小于该关联度阈值的,那么此时可将第二角速度变化曲线(即曲线40b)进行平移。

如图4所示,可获取此次曲线的时间变化量为2.5秒,则可在该曲线坐标系中,获取到该当前时间变化量2.5秒所对应的长度,可将该曲线40b沿着时间轴的正方向(水平方向)平移时间变化量2.5秒所对应的长度,此时曲线40b会到达新位置,会处于一个新的时间区间[2.5,52.5]。此时,可再次计算曲线40a与曲线40b之间的新的曲线关联度为0.96,将该新的曲线关联度0.96与关联度阈值0.95进行比较后,可确定该新的曲线关联度是大于关联度阈值的,此时可认为该曲线40a与曲线40b之间具备了足够高的相关性。摄像头设备在时间区间[0,50]所拍摄得到的角速度,与惯性传感器应在时间区间[2.5,52.5]所测量得到的角速度是相关的(可理解为是相同步的),因为通过平移曲线40b所变化的时间为2.5秒,则可以将该2.5秒作为该摄像头设备与该惯性传感器之间的时间差,即该2.5秒为该摄像头设备与该惯性传感器之间的时间标定结果。

在本申请实施例中,可通过摄像头设备拍摄交通工具行驶在道路地面中的行驶图像,其中该行驶图像中包括有车道线。随后,通过该行驶图像中的车道线,可以确定出交通工具在第一时间区间内的第一角速度变化曲线;而交通工具中的传感器也可以检测到交通工具的角速度集合,根据这个角速度集合又可以确定出交通工具在第二时间区间内的第二角速度变化曲线;可以计算第一角速度变化曲线与第二角速度变化曲线之间的曲线关联度(即曲线相关性程度),即可对摄像头设备与传感器进行时间标定。可以看出,本申请在将摄像头设备与传感器之间进行时间标定时,无需使用额外的设备、也无需特殊的外部环境,只需有车道线即可,灵活性较高,也极大降低了标定成本;同时,确定摄像头设备对应的角速度变化曲线与传感器对应的角速度变化曲线之间的曲线关联度,来进行时间标定的方式,可以在摄像头设备拍摄的角速度与传感器检测的角速度之间的相关性较高(即角速度是极为关联的)的情况下,再进行时间标定,由此得到的时间标定结果是具备较高准确性的。综上,本申请可以在对摄像头设备与传感器进行时间标定的场景中,提高标定灵活性与准确率,减少标定成本。

进一步地,请参见图5,图5是本申请实施例提供的一种数据处理的流程示意图。该流程可以对应于上述图2所对应实施例中的确定交通工具在第一时间区间内的各个时刻下的角速度,以及确定第一角速度变化曲线的流程。如图5所示,该流程可以至少包括以下步骤S501-步骤S503:

步骤S501,根据第一行驶子图像与第二行驶子图像中分别包括的车道线,确定交通工具在第一时刻对应的第一角速度;第一时刻是基于第一拍摄时刻与第二拍摄时刻所确定,第一拍摄时刻为摄像头设备拍摄第一行驶子图像的时刻,第二拍摄时刻为摄像头设备拍摄第二行驶子图像的时刻。

具体的,本申请实施例是以行驶图像中包括第一行驶图像对与第二行驶图像对(第一行驶图像对中包括第一行驶子图像与第二行驶子图像;第二行驶图像对中包括第三行驶子图像与第四行驶子图像)为例,通过上述图2所对应实施例,摄像头设备可每隔一段时间变拍摄一张行驶图像(或随机时间进行拍摄)得到一段时间内的多张行驶图像,终端设备在获取到多张行驶图像后,可按照拍摄时间,将行驶图像进行两两分组,得到多个行驶图像对。而每个行驶图像对中所包含的行驶图像可称为行驶子图像。而这里的第一行驶图像对可为多个行驶图像对中的任一行驶图像对,而第一行驶子图像与第二行驶子图像可为该第一行驶图像对中所包含的行驶图像。而第二行驶图像对可为拍摄时间紧邻第一行驶图像对之后的行驶图像对,而第三行驶子图像与第四行驶子图像可为该第二行驶图像对中所包含的行驶图像。

例如,行驶图像包括行驶图像1、行驶图像2、行驶图像3、行驶图像4、行驶图像5、行驶图像6,其中,行驶图像1的拍摄时间早于行驶图像2,行驶图像2的拍摄时间早于行驶图像3,行驶图像3的拍摄时间早于行驶图像4,行驶图像4的拍摄时间早于行驶图像5,行驶图像5的拍摄时间早于行驶图像6。这里将按照相邻拍摄时间,将行驶图像1与行驶图像2组成行驶图像对(行驶图像1,行驶图像2)、将行驶图像2与行驶图像3组成行驶图像对(行驶图像2,行驶图像3)、将行驶图像3与行驶图像4组成行驶图像对(行驶图像3,行驶图像4)、将行驶图像4与行驶图像5组成行驶图像对(行驶图像4,行驶图像5)、将行驶图像5与行驶图像6组成行驶图像对(行驶图像5,行驶图像6)。而各个行驶图像对中所包含的行驶图像可包括行驶子图像,例如,行驶图像对(行驶图像1,行驶图像2)可作为第一行驶图像对,该行驶图像对(行驶图像1,行驶图像2)中所包含的行驶图像1可称为第一行驶子图像、行驶图像2可称为第二行驶子图像。而因为拍摄时间位于该第一行驶图像对之后的行驶图像对为行驶图像对(行驶图像2,行驶图像3)(该行驶图像对(行驶图像2,行驶图像3)中的最早拍摄时间为行驶图像2的拍摄时间,该行驶图像对(行驶图像1,行驶图像2)中的最早拍摄时间为行驶图像1的拍摄时间,该行驶图像2的拍摄时间位于行驶图像1之后),那么可以将该行驶图像对(行驶图像2,行驶图像3)作为第二行驶图像对。

进一步地,可以根据第一行驶图像对中的第一行驶子图像与第二行驶子图像中分别包括的车道线,确定交通工具在第一时刻对应的第一角速度。也就是说,可通过摄像头设备所拍摄的前后两个行驶图像,确定出交通工具在某一时刻下的角速度(在单位时间内所走的弧度,如没秒内所走的弧度)。其具体方法可为:可根据第一行驶子图像中包括的车道线,确定交通工具在第一拍摄时刻对应的第一偏移角度;其中,第一偏移角度可为交通工具在第一拍摄时刻时的行驶方向,与车道线之间的偏移角度;随后,可根据第二行驶子图像包括的车道线,确定交通工具在第二拍摄时刻对应的第二偏移角度;其中,第二偏移角度为交通工具在第二拍摄时刻时的行驶方向,与车道线之间的偏移角度;根据第一偏移角度、第二偏移角度、第一拍摄时刻以及第二拍摄时刻,即可确定交通工具在第一时刻对应的第一角速度。其中,对于根据第一行驶子图像中包括的车道线,确定交通工具在第一拍摄时刻对应的第一偏移角度的具体实现方式,可以参见后续图6所对应实施例中的描述。而对于根据第二行驶子图像中包括的车道线,确定交通工具在第二拍摄时间对应的第二偏移角度的具体实现方式,可以参见确定第一偏移角度的描述。

进一步地,以第一拍摄时刻与第二拍摄时刻为相邻时刻为例,对于根据第一偏移角度、第二偏移角度、第一拍摄时刻以及第二拍摄时刻,确定交通工具在第一时刻对应的第一角速度的具体方法可为:可确定第一偏移角度与第二偏移角度之间的角度差值绝对值;随后,可获取第一拍摄时刻与第二拍摄时刻之间的中间拍摄时刻,可将中间拍摄时刻确定为第一时刻;随后,可确定第一拍摄时刻与第二拍摄时刻之间的拍摄间隔时长,可根据角度差值绝对值与拍摄间隔时长来确定交通工具在第一时刻对应的第一角速度。例如,可将角度差值绝对值除以拍摄间隔时长,所得到的值即可作为该交通工具在第一时刻下对应的第一角速度。

当然,对于第一时刻的确定,也可以将第一拍摄时刻与第二拍摄时刻中的其他时刻(若1/3位置处的时刻)作为第一时刻,该第一时刻的确定可按实际场景需求来进行确定。

步骤S502,根据第三行驶子图像与第四行驶子图像中分别包括的车道线,确定交通工具在第二时刻对应的第二角速度;第二时刻根据第三拍摄时刻与第四拍摄时刻所确定,第三拍摄时刻为摄像头设备拍摄第三行驶子图像的时刻,第四拍摄时刻为摄像头设备拍摄第四行驶子图像的时刻。

具体的,对于第二角速度的确定,与确定第一角速度的方式相同,可以参见上述步骤S501中确定第一角速度的描述,这里将不再进行赘述。

步骤S503,根据第一角速度、第二角速度、第一时刻以及第二时刻,确定交通工具对应的第一角速度变化曲线。

具体的,对于根据第一角速度、第二角速度、第一时刻以及第二时刻,确定交通工具对应的第一角速度变化曲线的具体方法可为:可根据第一时刻、第一角速度、第二时刻以及第二角速度,确定交通工具对应的初始角速度变化曲线;随后,可确定第一时刻与第二时刻之间的均值时刻,可将第一角速度与第二角速度之间的均值角速度,确定为交通工具在均值时刻对应的角速度;随后,可根据第一时刻、第一角速度、第二时刻、第二角速度、均值时刻以及均值角速度,确定交通工具对应的第一角速度变化曲线。

应当理解,确定出交通工具在第一时刻下对应的第一角速度、在第二时刻下对应的第二角速度,可理解为确定出了交通工具在各个时刻下的角速度。此时即可建立坐标系绘制角速度变化曲线,绘制得到的角速度变化曲线可称为初始角速度变化曲线。此时该初始角速度变化曲线即可作为最终的第一角速度变化曲线。

而在一种可行的实施例中,为使得角速度变化曲线更为平滑,可使用均值平滑方法对角速度变化曲线进行平滑处理。即:可确定前后两个时刻(如第一时刻与第二时刻)之间的均值时刻,可将这两个时刻分别对应的角速度值求取平均值,得到均值角速度,该均值角速度即可作为该均值时刻下对应的角速度值,那么由此即可得到多个均值时刻下对应的角速度值,通过第一时刻、第二时刻、均值时刻所分别对应的角速度,可以重新绘制得到最终的更为平滑的第一角速度变化曲线。

为便于理解,请一并参见图6,图6是本申请实施例提供的一种对曲线进行平滑处理的示意图。如图6所示,可根据第0s时的角速度0、第10s(第10秒)时的角速度0.1,第20s时的角速度0.2,第30s的角速度0.15,第40s的角速度0.1,以及第50s的角速度0.15,在坐标系中绘制得到曲线60b(可为初始角速度变化曲线)。进一步地,可根据该第0s与第10s时的角速度,确定出第5s(即第0s与第10s之间的均值时刻,(10+0)/2=5)的角速度为0.05(即0.1与0之间的均值,(0.1+0)/2=0.05);根据第10s与第20s时的角速度,可确定出第15s(即第10s与第20s之间的均值时刻,(10+20)/2=15)时的角速度(即0.1与0.2之间的差值绝对值的均值,(0.2+0.1)/2=0.15)。同理,可确定出第25s时的角速度为0.175,在第35s时的角速度为0.125,在第45s时的角速度为0.125。

进一步地,根据第0s、第5s、第10s、第15s、第20s、第25s、第30s、第35s、第40s、第45s以及第50s时所分别对应的角速度,重新绘制得到曲线60b。相比于曲线60a,因为坐标点更多,可以使得曲线60b更为平滑。需要说明的是,图6所对应实施例所提供的各项数值以及曲线,均是为便于理解所作出的举例说明,其并不具备实际参考意义。

在本申请实施例中,可通过摄像头设备拍摄交通工具行驶在道路地面中的行驶图像,其中该行驶图像中包括有车道线。随后,通过该行驶图像中的车道线,可以确定出交通工具在第一时间区间内的第一角速度变化曲线;而交通工具中的传感器也可以检测到交通工具的角速度集合,根据这个角速度集合又可以确定出交通工具在第二时间区间内的第二角速度变化曲线;可以计算第一角速度变化曲线与第二角速度变化曲线之间的曲线关联度(即曲线相关性程度),即可对摄像头设备与传感器进行时间标定。可以看出,本申请在将摄像头设备与传感器之间进行时间标定时,无需使用额外的设备、也无需特殊的外部环境,只需有车道线即可,灵活性较高,也极大降低了标定成本;同时,确定摄像头设备对应的角速度变化曲线与传感器对应的角速度变化曲线之间的曲线关联度,来进行时间标定的方式,可以在摄像头设备拍摄的角速度与传感器检测的角速度之间的相关性较高(即角速度是极为关联的)的情况下,再进行时间标定,由此得到的时间标定结果是具备较高准确性的。综上,本申请可以在对摄像头设备与传感器进行时间标定的场景中,提高标定灵活性与准确率,减少标定成本。

进一步地,请参见图7,图7是本申请实施例提供的一种确定交通工具的偏移角度的流程示意图。该流程可以对应于上述图5所对应实施例中,根据第一行驶子图像中包括的车道线,确定交通工具在第一拍摄时刻对应的第一偏移角度的流程。如图7所述,该流程可以至少包括以下步骤S601-步骤S603:

步骤S601,识别第一行驶子图像中包括的车道线,确定车道线对应的像素点在图像坐标系中的像素坐标;图像坐标系为第一行驶子图像对应的坐标系。

具体的,终端设备可以具备图像识别功能,具体可以在终端设备中部署一个预先训练的图像识别模块,并通过该图像识别模块对行驶图像中的车道线进行识别。

实际应用时,可以预先采集大量的训练图像,例如可以是包括各种车道线的图像,还可以是不包括车道线的图像。可以先对每一个训练图像进行车道线的标记,具体可以标记训练图像中的车道线的位置。该标记可以作为该训练图像的真实车道线标签,从而可以通过带有真实车道线标签的训练深度学习网络,从而可以得到训练后的深度学习网络(即得到上述图像识别模块)。

可以理解的是,将行驶图像输入至图像识别模块中,图像识别模块可以提取行驶图像中每个像素点的特征,并通过像素点特征确定出属于车道线的像素点。例如,可以识别出一像素点属于行驶图像中的某一车道线。进一步地,若行驶图像中包括虚线类型的车道线,则图像识别模块还可以根据提取的像素特征,将虚线车道线中的空白位置对应的像素点也确定为属于该车道线的像素点,该空白位置可以是指虚线车道线中未画车道线的位置(即虚线车道线中,未画线的位置)。

在实际应用时,在行驶图像中,每个像素点都可以具备像素坐标。可以以图像任一顶点作为坐标原点,以该顶点的两条相交图像边作为坐标轴,由此可以得到建立得到一个图像坐标系,使得每个像素点均具有一组坐标值(如坐标值(x,y)),像素点在图像坐标系中的坐标值可以称为像素坐标。而通过该图像识别模块,可以输出每条车道线上的每个像素点的像素坐标。

实际应用时,上述深度学习网络可以是指车道线检测网络(如LaneNet网络),通过训练后,LaneNet网络可以准确地识别出属于同一车道线的像素点以及每个像素点的像素坐标。

步骤S602,根据初始俯仰角度值将像素坐标进行坐标转换,得到像素点在世界坐标系中的空间位置坐标。

具体的,世界坐标系可以是指交通工具所处的坐标系。该世界坐标系可以为空间坐标系,该世界坐标系的原点可以是指摄像头设备在道路地面上的垂直投影位置(可以理解为正下方位置)。当摄像头设备安装于交通工具上时,摄像头设备与道路地面(水平地面)其实存在一定高度(一定距离,可以理解为垂直距离,即摄像头设备与道路地面之间的直线距离),那么在将行驶图像中的像素坐标转换为世界坐标系中的空间位置坐标时,可以设置一个摄像头设备的初始的俯仰角度值(俯仰角参数),从而可以使得世界坐标系中的空间位置坐标包括初始的俯仰角参数。基于此,可以根据初始俯仰角度值、摄像头高度(垂直距离),确定出每个像素点对应的空间位置坐标。其具体方法可为:获取摄像头设备对应的垂直距离;其中,垂直距离是指将摄像头设备与道路地面之间的直线距离;根据初始俯仰角度值确定摄像头设备对应的旋转矩阵,根据旋转矩阵、垂直距离以及像素坐标,确定像素点在世界坐标系中的空间位置坐标。

为便于理解,请参见公式(1),确定像素点的空间位置坐标可以根据公式(1)所确定:

其中,公式(1)中的P

步骤S603,将空间位置坐标进行直线拟合,得到像素点对应的拟合直线,根据拟合直线确定交通工具在第一拍摄时刻对应的第一偏移角度。

具体的,在确定出每条车道线上的每个像素点对应的空间位置坐标后,可将这些空间位置坐标进行直线拟合,得到每条车道线所对应的拟合直线。根据每张行驶图像中(如第一行驶子图像)所对应的一条或多条拟合直线,可确定交通工具在各个拍摄时刻下(如第一拍摄时刻下)对应的偏移角度。以第一行驶子图像为例,假设该第一行驶子图像中包括的车道线包括N条,那么该第一行驶子图像所对应的拟合直线也会有N条。对于根据N条拟合直线确定交通工具在第一拍摄时刻对应的第一偏移角度的具体方法可为:可获取N条拟合直线中每条拟合直线分别对应的直线斜率;随后,可将N个直线斜率按照大小顺序进行排序,得到直线斜率序列;随后,可在直线斜率序列中按序获取第一直线斜率与第二直线斜率,将第一直线斜率对应的拟合直线确定为第一目标拟合直线,将第二直线斜率对应的拟合直线确定为第二目标拟合直线;根据第一目标拟合直线与第二目标拟合直线,即可确定交通工具在第一拍摄时刻对应的第一偏移角度。

具体的,对于根据第一目标拟合直线与第二目标拟合直线,确定交通工具在第一拍摄时刻对应的第一偏移角度的一种具体实现方式可为:可确定摄像头设备在道路水平地面上的垂直投影地面位置,可将垂直投影地面位置确定为世界坐标系的世界坐标原点;随后,可确定第一目标拟合直线与第二目标拟合直线之间的交点,以及交点与世界坐标原点之间的距离;根据距离确定第一目标拟合直线与第二目标拟合直线之间的直线关系;根据直线关系确定交通工具在第一拍摄时刻对应的第一偏移角度。

具体的,对于根据直线关系确定交通工具在第一拍摄时刻对应的第一偏移角度的一种具体实现方式可为:若直线关系为平行关系,则可确定初始俯仰角度值为正确俯仰角度值,可将交通工具在第一拍摄时刻时的行驶方向,与第一目标拟合直线之间的夹角确定为第一偏移角度;而若直线关系为非平行关系,则可对初始俯仰角度值进行调整,按照调整俯仰角度值将像素坐标进行坐标转换,即可得到像素点在世界坐标系中的更新空间位置坐标,可将更新空间位置坐标进行直线拟合,得到像素点对应的更新拟合直线,根据更新拟合直线确定交通工具在第一拍摄时刻对应的第一偏移角度。

为便于理解,请一并参见图8a,图8a是本申请实施例提供的一种确定偏移角度的场景示意图。如图8a所示,行驶图像700a可为第一行驶子图像,行驶图像700a中包括有多条车道线。针对行驶图像700a,可将行驶图像700a输入至图像识别模块(如训练后的Lannet网络),通过图像识别模块可以识别出每条车道线中的像素点及其像素点坐标;随后,可将这些像素点,按照相机内参、相机外参以及安装角投影至水平地面(也就是道路地面)(也就是将该像素坐标转换为控件位置坐标),为便于展示,本申请在进行投影后可计算其俯视图,俯视图如俯视图像700b所示,在该俯视图像700b中包括有多条车道线对应的像素点,图像700b所示的箭头方向可为车道线实际的前进方向。

进一步地,通过属于同一车道线上的像素点的空间位置坐标进行拟合,即可得到多条拟合直线。如图像700c所以,该拟合直线可包括拟合直线700a、拟合直线700b、拟合直线700c、拟合直线700d、拟合直线700e。

进一步地,请一并参见图8b,图8b是本申请实施例提供的一种确定偏移角度的场景示意图。如图8b所示,在图像700c中,可确定出每条拟合直线的斜率(例如,每条拟合直线可通过像素点的空间位置坐标确定出直线方程,再根据直线方程确定出其斜率),在这些斜率中,可选择出最大的斜率和次大的(仅小于该最大的斜率但同时大于其他所有斜率)斜率,可将该最大的斜率与次大的斜率所对应的拟合直线作为第一目标拟合直线与第二目标拟合直线。

例如,如图8b所示,该拟合直线70d的斜率为最大、拟合直线70c的斜率为次大,则可选择出该拟合直线70c与拟合直线70d,将之分别作为第一目标拟合直线与第二目标拟合直线。进一步地,可确定出该拟合直线70c与拟合直线70d的交点,可确定出该交点与世界坐标系中的世界坐标原点之间的距离,将之记录为距离1。若该交点不存在,则该交点可记录为0或空值,那么该距离1也为空值(或为负值),那么此时可证明该拟合直线70c与拟合直线70d为平行关系。在实际三维空间中,该拟合直线70c与拟合直线70d应该为平行关系,所以可表明该上述所设置的摄像头设备的俯仰角度值(即初始俯仰角度值)是个正确的值,通过其所得到的空间位置坐标也是正确的值,能够得到正确的拟合直线。

而若该距离1为正值,则可证明该交点存在,该拟合直线70c与拟合直线70d之间为相交关系,但在实际三维空间中,该拟合直线70c与拟合直线70d应该为平行关系,则此时可证明上述所设置的摄像头设备的俯仰角度值(即初始俯仰角度值)是个错误的值,通过其所得到的空间位置坐标也是错误的值,那么此时可对该初始俯仰角度值进行调整,得到调整俯仰角度值;随后,可利用该调整俯仰角度值再次将像素点的像素坐标进行转换,得到新的空间位置坐标,由此也可通过该新的空间位置坐标得到新的拟合直线70c与新的拟合直线70d。应当理解,通过调整俯仰角度值的意义在于使得拟合直线70c与拟合直线70d能够不断接近于平行关系。此时,可再次确定出该新的拟合直线70c与新的拟合直线70d之间的交点,并得到新交点与世界坐标原点之间的距离,可记录为距离2。若该交点不存在,则该新交点可记录为0或空值(或正无穷),那么该距离2也为空值(或为负值、正无穷),那么此时可证明该新的拟合直线70c与新的拟合直线70d为平行关系。在实际三维空间中,该拟合直线70c与拟合直线70d应该为平行关系,所以可表明该上述所设置的摄像头设备的俯仰角度值(即初始俯仰角度值)是个正确的值,通过其所得到的空间位置坐标也是正确的值,能够得到正确的拟合直线。而若该距离2为正值,那么此时可表明该新的拟合直线70c与新的拟合直线70d为相交关系,此时可再次调整俯仰角度值,再次进行坐标转换得到新的空间位置坐标,然后再次进行直线拟合得到新的直线70c与新的拟合直线70d,直至通过距离确定最终的拟合直线70c与最终的拟合直线70d为平行关系为止,此时可得到摄像头设备的正确的俯仰角度值。

在拟合直线70c与拟合直线70d平行后,如图8b所示,可选择拟合直线70c与拟合直线70d中的任一条拟合直线来确定偏移角度(可理解为与车道线相比,交通工具的偏航角度)。如图8b所示,可选择拟合直线70c来确定交通工具的偏移角度,可获取交通工具在此时的行驶方向(如图像700c中的箭头方向),可确定该行驶方向与拟合直线70c之间的夹角M的角度值,该夹角M的角度即可为该交通工具在拍摄该行驶图像700a时的偏航角度(即偏移角度)。

应当理解,在本申请实施例中,通过获取摄像头设备拍摄的行驶图像,再通过行驶图像中的车道线即可计算得到交通工具的偏航角以及角速度,进而可以根据摄像头设备的角速度与惯性传感器的角速度之间的相关性,来将摄像头设备与惯性传感器之间进行时间标定。无需使用额外的硬件设备,也无需要求摄像头设备的成像质量,只需存在车道线即可进行准确地时间标定,更具备灵活性。

进一步地,请参见图9,图9是本申请实施例提供的一种数据处理装置的结构示意图。该数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该数据处理装置为一个应用软件;该数据处理装置可以用于执行图3所示的方法。如图9所示,该数据处理装置1可以包括:图像获取模块11、曲线确定模块12以及时间标定模块13。

图像获取模块11,用于获取与交通工具相关联的行驶图像;行驶图像由配置在交通工具上的摄像头设备所拍摄得到;行驶图像包含交通工具所行驶的道路地面中的车道线;

曲线确定模块12,用于根据行驶图像中包括的车道线,确定交通工具在第一时间区间内的第一角速度变化曲线;

曲线确定模块12,还用于根据传感器在第二时间区间内所检测到的针对交通工具的角速度集合,确定交通工具在第二时间区间内的第二角速度变化曲线;

时间标定模块13,用于根据交通工具在第一时间区间内的第一角速度变化曲线,与交通工具在第二时间区间内的第二角速度变化曲线之间的曲线关联度,对摄像头设备与传感器进行时间标定。

其中,图像获取模块11、曲线确定模块12以及时间标定模块13的具体实现方式,可以参见上述图2所对应实施例中步骤S101-步骤S104的描述,这里将不再进行赘述。

在一个实施例中,时间标定模块13可以包括:关联度匹配单元131、时间更新单元132以及时间标定单元133。

关联度匹配单元131,用于确定处于第一时间区间内的第一角速度变化曲线,与处于第二时间区间内的第二角速度变化曲线之间的曲线关联度,将曲线关联度与关联度阈值进行匹配;

时间更新单元132,用于若曲线关联度小于关联度阈值,则对用于映射第二角速度变化曲线的第二时间区间进行时间更新,得到用于重新映射第二角速度变化曲线的更新时间区间;更新时间区间的时长等于第二时间区间的时长;

时间标定单元133,用于根据交通工具在更新时间区间内的第二角速度变化曲线,与交通工具在第一时间区间内的第一角速度变化曲线,对摄像头设备与传感器进行时间标定;

时间标定单元133,还用于若曲线关联度大于关联度阈值,则将时间匹配结果作为摄像头设备与传感器之间的时间标定结果。

其中,关联度匹配单元131、时间更新单元132以及时间标定单元133的具体实现方式,可以参见上述图2所对应实施例中步骤S104的描述,这里将不再进行赘述。

在一个实施例中,第二角速度变化曲线处于曲线坐标系中,曲线坐标系包括时间轴;

时间更新单元132可以包括:曲线平移子单元1321、时间戳获取子单元1322以及区间确定子单元1323。

曲线平移子单元1321,用于获取平移量,将曲线坐标系中的处于第二时间区间的第二角速度变化曲线,按照平移量与目标平移方向进行平移;目标平移方向与时间轴的轴方向之间属于平行关系;

时间戳获取子单元1322,用于在曲线坐标系中获取平移后的第二角速度变化曲线的曲线起始位置以及曲线结束位置,在时间轴上获取曲线起始位置对应的起始时间戳以及曲线结束位置对应的结束时间戳;

区间确定子单元1323,用于将起始时间戳与结束时间戳所组成的时间区间确定为更新时间区间。

其中,曲线平移子单元1321、时间戳获取子单元1322以及区间确定子单元1323的具体实现方式,可以参见上述图2所对应实施例中步骤S104的描述,这里将不再进行赘述。

在一个实施例中,时间标定单元133,还具体用于确定处于更新时间区间内的第二角速度变化曲线,与处于第二时间区间内的第一角速度变化曲线之间的更新曲线关联度,将更新曲线关联度与关联度阈值进行匹配;

时间标定单元133,还具体用于若更新曲线关联度大于关联度阈值,则确定更新时间区间与第二时间区间之间的时间差值,将时间差值确定为摄像头设备与传感器之间的时间标定结果。

在一个实施例中,行驶图像中包括第一行驶图像对与第二行驶图像对;第一行驶图像对中包括第一行驶子图像与第二行驶子图像;第二行驶图像对中包括第三行驶子图像与第四行驶子图像;

曲线确定模块12可以包括:角速度确定单元121与曲线确定单元122。

角速度确定单元121,用于根据第一行驶子图像与第二行驶子图像中分别包括的车道线,确定交通工具在第一时刻对应的第一角速度;第一时刻是基于第一拍摄时刻与第二拍摄时刻所确定,第一拍摄时刻为摄像头设备拍摄第一行驶子图像的时刻,第二拍摄时刻为摄像头设备拍摄第二行驶子图像的时刻;

角速度确定单元121,还用于根据第三行驶子图像与第四行驶子图像中分别包括的车道线,确定交通工具在第二时刻对应的第二角速度;第二时刻根据第三拍摄时刻与第四拍摄时刻所确定,第三拍摄时刻为摄像头设备拍摄第三行驶子图像的时刻,第四拍摄时刻为摄像头设备拍摄第四行驶子图像的时刻;

曲线确定单元122,用于根据第一角速度、第二角速度、第一时刻以及第二时刻,确定交通工具对应的第一角速度变化曲线。

其中,角速度确定单元121与曲线确定单元122的具体实现方式,可以参见上述图2所对应实施例中步骤S102的描述,这里将不再进行赘述。

在一个实施例中,角速度确定单元121可以包括:偏移度确定子单元1211与角速度确定子单元1212。

偏移度确定子单元1211,用于根据第一行驶子图像中包括的车道线,确定交通工具在第一拍摄时刻对应的第一偏移角度;第一偏移角度为交通工具在第一拍摄时刻时的行驶方向,与车道线之间的偏移角度;

偏移度确定子单元1211,还用于根据第二行驶子图像包括的车道线,确定交通工具在第二拍摄时刻对应的第二偏移角度;第二偏移角度为交通工具在第二拍摄时刻时的行驶方向,与车道线之间的偏移角度;

角速度确定子单元1212,用于根据第一偏移角度、第二偏移角度、第一拍摄时刻以及第二拍摄时刻,确定交通工具在第一时刻对应的第一角速度。

其中,偏移度确定子单元1211与角速度确定子单元1212的具体实现方式,可以参见上述图2所对应实施例中步骤S102的描述,这里将不再进行赘述。

在一个实施例中,偏移度确定子单元1211,还具体用于识别第一行驶子图像中包括的车道线,确定车道线对应的像素点在图像坐标系中的像素坐标;图像坐标系为第一行驶子图像对应的坐标系;

偏移度确定子单元1211,还具体用于根据初始俯仰角度值将像素坐标进行坐标转换,得到像素点在世界坐标系中的空间位置坐标;

偏移度确定子单元1211,还具体用于将空间位置坐标进行直线拟合,得到像素点对应的拟合直线,根据拟合直线确定交通工具在第一拍摄时刻对应的第一偏移角度。

在一个实施例中,偏移度确定子单元1211,还具体用于获取摄像头设备对应的垂直距离;垂直距离是指将摄像头设备与道路地面之间的直线距离;

偏移度确定子单元1211,还具体用于根据初始俯仰角度值确定摄像头设备对应的旋转矩阵,根据旋转矩阵、垂直距离以及像素坐标,确定像素点在世界坐标系中的空间位置坐标。

在一个实施例中,第一行驶子图像中包括的车道线包括N条车道线,第一行驶子图像对应N条拟合直线;

偏移度确定子单元1211,还具体用于获取N条拟合直线中每条拟合直线分别对应的直线斜率;

偏移度确定子单元1211,还具体用于将N个直线斜率按照大小顺序进行排序,得到直线斜率序列;

偏移度确定子单元1211,还具体用于在直线斜率序列中按序获取第一直线斜率与第二直线斜率,将第一直线斜率对应的拟合直线确定为第一目标拟合直线,将第二直线斜率对应的拟合直线确定为第二目标拟合直线;

偏移度确定子单元1211,还具体用于根据第一目标拟合直线与第二目标拟合直线,确定交通工具在第一拍摄时刻对应的第一偏移角度。

在一个实施例中,偏移度确定子单元1211,还具体用于确定摄像头设备在道路水平地面上的垂直投影地面位置,将垂直投影地面位置确定为世界坐标系的世界坐标原点;

偏移度确定子单元1211,还具体用于确定第一目标拟合直线与第二目标拟合直线之间的交点,以及交点与世界坐标原点之间的距离;

偏移度确定子单元1211,还具体用于根据距离确定第一目标拟合直线与第二目标拟合直线之间的直线关系;

偏移度确定子单元1211,还具体用于根据直线关系确定交通工具在第一拍摄时刻对应的第一偏移角度。

在一个实施例中,偏移度确定子单元1211,还具体用于若直线关系为平行关系,则确定初始俯仰角度值为正确俯仰角度值,将交通工具在第一拍摄时刻时的行驶方向,与第一目标拟合直线之间的夹角确定为第一偏移角度;

偏移度确定子单元1211,还具体用于若直线关系为非平行关系,则对初始俯仰角度值进行调整,按照调整俯仰角度值将像素坐标进行坐标转换,得到像素点在世界坐标系中的更新空间位置坐标,将更新空间位置坐标进行直线拟合,得到像素点对应的更新拟合直线,根据更新拟合直线确定交通工具在第一拍摄时刻对应的第一偏移角度。

在一个实施例中,第一拍摄时刻与第二拍摄时刻为相邻拍摄时刻;

角速度确定子单元1212,还具体用于确定第一偏移角度与第二偏移角度之间的角度差值绝对值;

角速度确定子单元1212,还具体用于获取第一拍摄时刻与第二拍摄时刻之间的中间拍摄时刻,将中间拍摄时刻确定为第一时刻;

角速度确定子单元1212,还具体用于确定第一拍摄时刻与第二拍摄时刻之间的拍摄间隔时长,根据角度差值绝对值与拍摄间隔时长确定交通工具在第一时刻对应的第一角速度。

在一个实施例中,曲线确定单元122可以包括:初始曲线确定子单元1221、均值数据确定子单元1222以及曲线确定子单元1223。

初始曲线确定子单元1221,用于根据第一时刻、第一角速度、第二时刻以及第二角速度,确定交通工具对应的初始角速度变化曲线;

均值数据确定子单元1222,用于确定第一时刻与第二时刻之间的均值时刻,将第一角速度与第二角速度之间的均值角速度,确定为交通工具在均值时刻对应的角速度;

曲线确定子单元1223,用于根据第一时刻、第一角速度、第二时刻、第二角速度、均值时刻以及均值角速度,确定交通工具对应的第一角速度变化曲线。

其中,初始曲线确定子单元1221、均值数据确定子单元1222以及曲线确定子单元1223的具体实现方式,可以参见上述图2所对应实施例中步骤S102中的描述,这里将不再进行赘述。

在本申请实施例中,可通过摄像头设备拍摄交通工具行驶在道路地面中的行驶图像,其中该行驶图像中包括有车道线。随后,通过该行驶图像中的车道线,可以确定出交通工具在第一时间区间内的第一角速度变化曲线;而交通工具中的传感器也可以检测到交通工具的角速度集合,根据这个角速度集合又可以确定出交通工具在第二时间区间内的第二角速度变化曲线;可以计算第一角速度变化曲线与第二角速度变化曲线之间的曲线关联度(即曲线相关性程度),即可对摄像头设备与传感器进行时间标定。可以看出,本申请在将摄像头设备与传感器之间进行时间标定时,无需使用额外的设备、也无需特殊的外部环境,只需有车道线即可,灵活性较高,也极大降低了标定成本;同时,确定摄像头设备对应的角速度变化曲线与传感器对应的角速度变化曲线之间的曲线关联度,来进行时间标定的方式,可以在摄像头设备拍摄的角速度与传感器检测的角速度之间的相关性较高(即角速度是极为关联的)的情况下,再进行时间标定,由此得到的时间标定结果是具备较高准确性的。综上,本申请可以在对摄像头设备与传感器进行时间标定的场景中,提高标定灵活性与准确率,减少标定成本。

进一步地,请参见图10,图10是本申请实施例提供的一种计算机设备的结构示意图。如图10所示,上述图9所对应实施例中的装置1可以应用于上述计算机设备8000,上述计算机设备8000可以包括:处理器8001,网络接口8004和存储器8005,此外,上述计算机设备8000还包括:用户接口8003,和至少一个通信总线8002。其中,通信总线8002用于实现这些组件之间的连接通信。其中,用户接口8003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口8003还可以包括标准的有线接口、无线接口。网络接口8004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器8005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器8005可选的还可以是至少一个位于远离前述处理器8001的存储装置。如图10所示,作为一种计算机可读存储介质的存储器8005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图10所示的计算机设备8000中,网络接口8004可提供网络通讯功能;而用户接口8003主要用于为用户提供输入的接口;而处理器8001可以用于调用存储器8005中存储的设备控制应用程序,以实现:

获取与交通工具相关联的行驶图像;所述行驶图像由配置在所述交通工具上的摄像头设备所拍摄得到;所述行驶图像包含所述交通工具所行驶的道路地面中的车道线;

根据所述行驶图像中包括的车道线,确定所述交通工具在第一时间区间内的第一角速度变化曲线;

根据传感器在第二时间区间内所检测到的针对所述交通工具的角速度集合,确定所述交通工具在所述第二时间区间内的第二角速度变化曲线;

根据所述交通工具在所述第一时间区间内的所述第一角速度变化曲线,与所述交通工具在所述第二时间区间内的所述第二角速度变化曲线之间的曲线关联度,对所述摄像头设备与所述传感器进行时间标定。

应当理解,本申请实施例中所描述的计算机设备8000可执行前文图2到图7所对应实施例中对该数据处理方法的描述,也可执行前文图9所对应实施例中对该数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。

此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的数据处理的计算机设备1000所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文图2到图7所对应实施例中对上述数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。

上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中一方面提供的方法。

本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。

以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

技术分类

06120113791873