基于位置信息的多传感器时间同步方法

技术领域

本发明涉及传感器数据应用技术领域，具体涉及一种基于位置信息的多传感器时间同步方法。

背景技术

在自动驾驶领域以及机器人应用领域中，需要使用多种传感器来感知设备周围的环境并确定设备自身的状态。但是由于各类传感器因其实现的差异及其在系统中设置方式的不同，会造成多种传感器数据在延迟、频率、精度、类型等方面存在较大区别，如何有效地对不同传感器进行时间同步将直接影响后续算法的效果。

目前，主要存在两种进行传感器时间同步的方式：一是采用硬件同步，该方式虽然精度高，但其成本高且灵活性低；二是采用软件同步，采用软件同步方法，或者计算过程复杂、实现难度高，或者只能利用传感器提供的角度变化信息来对齐时间，但无法适用于仅能提供位置信息的传感器。

发明内容

本发明为解决现有技术提出的问题，提出一种基于位置信息的多传感器时间同步方法，目的在于解决现有技术进行传感器时间同步，或者采用硬件同步，但成本高且灵活性低，或者采用软件同步只能利用传感器提供的角度变化信息来对齐时间，无法适用于仅能提供位置信息的传感器的问题。

本发明为解决其技术问题，提出以下技术方案:

一种基于位置信息的多传感器时间同步方法，其特点是:包括以下步骤:

步骤一、通过滑动时间窗口的方式处理传感器的位置序列，得到能够反映相应时刻该传感器运动状态的表征向量序列Y；具体过程如下:

1)将传感器数据X至位置序列P；

具体过程如下:

i、传感器的输出x为时间t的函数，记作x(t)；

对于单目摄像头，x(t)为传感器在t时刻捕捉到的图像；对于GPS接

收器，x(t)为传感器在t时刻计算得到经纬度坐标序列；

ii、设传感器的子位置p为时间t的函数，记作p(t)；

对于单目摄像头，p(t)为其在t时刻的图像帧在初始帧的相机坐标系

中的坐标；对于GPS接收器，p(t)为其在t时刻的经纬度坐标点在UTM坐标系中的坐标；

iii、设传感器的采样时刻的集合为T＝{t

传感器数据的集合为X＝{x

传感器位置的集合为P＝{p

对于单目摄像头，X和P分别为其在离散的采样时刻集合T时，所对应的图像序列与位置序列；对于GPS接收器，X和P分别为其在离散的采样时刻集合T时，所对应的经纬度坐标序列与位置序列；

iv、实现传感器数据系列到位置序列的转换：f(x

对于单目摄像头，实现其图像序列到其位置序列的转换；对于GPS传感器，实现其经纬度坐标序列到位置序列的转换。

2)采用时间窗口将位置序列至一系列子位置序列

具体过程如下:

i、设滑动时间窗口的时间长度为t

ii、对位置序列P应用滑动时间窗口后，得到一系列子位置序列，即子位置序列的集合，为

3)将一系列子位置序列至表征向量序列Y；具体过程如下:

i、设离散时间T的表征向量的集合为Y＝{y

ii、计算得到传感器在t

步骤二、对该表征向量定义差分运算，得到能够反映相应时刻该传感器运动状态变化的表征变化序列Z；具体过程如下:

1)对该表征向量定义差分运算，该差分运算结果仅反映表征向量间的变化程度，与坐标系、初始状态无关；将表征差分运算记作h：Y

2)得到能够反映相应时刻传感器运动状态变化程度的表征变化序列：将表征变化记作z；在时刻t时的表征向量，记作z(t)；对于离散时间T，有表征向量的集合为Z＝{z

步骤三、对多传感器中不同传感器的表征变化序列进行对齐处理，得到不同传感器数据间的时间差，从而实现不同传感器间的时间同步；

其中，所述的不同传感器，包括能够提供位置信息的第一传感器和第二传感器，第一传感器包括但不限于单目摄像头，第二传感器包括但不限于GPS接收器，单目摄像头用于时间同步过程中的目标对齐传感器，GPS接收器用于时间同步过程中的被插值传感器；

具体过程如下:

1)对不同传感器的原始数据X、X′计算对应的表征变化序列Z、Z′；

具体过程如下:

i、不同的传感器具有不同的采样时刻或采样频率，记第一传感器的采样时刻的集合为T＝{t

如果第一传感器为单目摄像头，第二传感器为GPS接收器，则，T和T′分别为单目摄像头和GPS接收器的采样时刻的集合；X为单目摄像头的图像序列，X′为GPS接收器的经纬度坐标序列；

ii、对两传感器的X与X′，可以得到第一传感器的表征变化序列Z＝{z

2)不同传感器表征变化序列的时间戳间隔对齐，得到插值近似后的第二传感器表征变化新序列Z″；假设是将第二传感器的表征变化序列的时间戳向第一传感器对齐，具体过程如下:

i、记插值算法为Interp，该插值算法以第二传感器的采样时刻的集合T′以及表征变化序列Z′作为参数，通过插值计算得到任一给定时刻t时，第二传感器所对应的表征变化的近似值z″，记作z″(t)＝Interp(t；T′,Z′)；插值方法包括但不限于：邻近点插值、线性插值、三次样条插值，采用相邻点线性插值的方式，其具体计算公式为

ii、利用该插值算法得到第二传感器的表征变化序列在第一传感器的时间戳下的近似，记插值近似后的第二传感器表征变化序列为Z″＝{z″

3)通过序列匹配得到第二传感器对齐后的表征变化序列Z″′＝{z″′

4)对第二传感器的时间及数据修正，得到与第一传感器同步的新采样时刻的集合T″′；

所述步骤三的过程3)的通过匹配得到传感器间的时间差Δt、以及过程4)的多传感器的时间同步、得到与第一传感器同步的新采样时刻的集合T″′，具体过程如下:

i、以Z与Z″作为输入，寻找Δt；

其中，Z为用于对齐的第一传感器的表征变化序列，Z″为插值近似后的被插值的第二传感器表征变化新序列Z″；

ii、使得对于相同的n时，z

iii、对第二传感器的采样时刻的集合T′，使用Δt进行修正，得到与第一传感器同步的新采样时刻的集合T″′＝{t″′

本发明的优点效果

1、本发明仅通过传感器数据得到位置信息，便可以实现传感器间的时间同步，不依赖于传感器的外参信息，不依赖于传感器位置的尺度信息，高鲁棒性，不易收噪声、异常点的干扰，对表征向量序列进行差分运算得到表征变化序列，有效提高计算效率，使用软件实现传感器间的时间同步，降低应用成本，可扩展性强，针对不同的场景可以选择不同类型的表征或多表征组合。

2、本发明将以下几种技术有机组合，取得了组合以后新的效果，解决了基于位置信息的多传感器时间同步问题，填补了国内空白：通过实时获取传感器输出数据、将传感器输出数据转换为在世界坐标系下的位置序列、将传感器位置序列转化为子位置序列、再将子位置序列转换为表征向量、使用查分运算得到相邻两个表征向量主成分方向的改变程度进而得到表征变化序列、根据不同传感器的表征变化序列进行插值运算和对齐时间戳，最终实现了不同传感器的时间同步。

附图说明

图1为本发明多传感器时间同步方法概要流程图；

图2为本发明计算单目摄像头的表征变化序列流程图；

图3为本发明计算GPS接收器的表征变化序列流程图；

图4为本发明使用表征变化序列同步单目摄像头与GPS接收器示意图；

图5-1为本发明传感器1的位置序列示意图；

图5-2为本发明传感器1的用时间窗口划分子位置序列示意图；

图5-3为本发明传感器1的划分后的各个子位置序列示意图；

图5-4为本发明传感器1的使用PCA计算主方向得到表征向量示意图；

图5-5为本发明传感器1的在相邻两个表征向量上定义差分运算、且输出一标量示意图；计算后的标量对应图5-6的角度变化1、角度变化2、角度变化3、角度变化4；

图5-6为本发明传感器1的将各个标量连接构成表征变化序列示意图；

图6-1为本发明多传感器时间同步实现过程示意图一；

图6-2为本发明多传感器时间同步实现过程示意图二；

图6-3为本发明多传感器时间同步实现过程示意图三；

具体实施方式

本发明的设计原理

1、本发明最终目的；最终目的是实现多个传感器之间的时间同步。所述时间同步为时间戳同步。所述时间戳同步就是传感器1、传感器2各自表征变化序列到达峰值的时间是相同的，如图6-3所示，时间戳同步以后，传感器2的表征变化序列到达峰值的时间是3-4秒，与传感器2的表征变化序列到达峰值的时间3-4秒相同，这就是时间戳同步。而时间戳不同步的情况如图6-1、6-2的情况。

现实工作中，造成不同传感器的时间戳和频率不同的原因很复杂，比如两个不同类型传感器由于时钟不同，各自的起始时间很难相同，或者其中一个传感器的数据处理模块来不及在规定时间完成处理，造成处理数据时间延长，应该第2秒给出处理结果，但是却在第3秒才给出处理结果，而传感器1在第2秒就给出了处理结果，相差1秒的时间。而车载控制器往往需要在两个不同传感器在相同时间戳给出各自的处理结果，由于传感器2延迟1秒，使得第3秒给出的结果应该是第2秒的结果，第4秒给出的结果应该是第3秒给出的结果，以此类推，处理器拿到的传感器2的第3秒以后的时间戳都是错误的。由于传感器2的时间戳错误，使得处理器不能根据相同时间戳情况下两个不同传感器反馈的结果做出判断。现实工作中，如果不解决多传感器时间同步问题，则难以满足多传感器载具的需求。

2、本发明设计难点。难点在于时间戳的校正，如何把多个传感器错误的时间戳校正位正确的时间戳。时间戳校正的难点在于如何在多个物理参数完全不同的传感器中找到一个能够反映各自在相应时刻运动状态的共性，该共性作为时间戳校正的比较量，该比较量称作表征向量，该表征向量与传感器的外参及尺度无关，仅仅用于代表该传感器在相应时刻的运动状态。

3、本发明设计原理。第一、使用传感器提供的位置信息、或者通过传感器数据计算得到位置信息，来实现多传感器数据的时间同步。使用位置信息对传感器类型的要求更加宽松。第二、使用滑动时间窗口的方式处理位置序列，得到一系列与不同时刻相对应的子位置序列；不同传感器的位置序列，使用相同时间长度的滑动时间窗口，使得不同传感器的各子位置序列保持了时间一致性，从而允许后续处理中在时间维度上的比较。第三、本发明提出了对滑动时间窗口内的子位置序列计算、能够反映其特点的表征向量，该表征向量与传感器的外参及尺度无关，用于代表该传感器在相应时刻的运动状态。通过滑动时间窗口采集数据、及选择带核函数的拟合方法，可以有效减弱噪音及异常值的影响。(表征向量包括但不限于：滑动时间窗口内的子位置序列的PCA向量、拟合直线的方向、拟合曲线的曲率、数据点相对密度分布)；第四，本发明在表征向量上定义差分运算，该运算输出一标量，用以反映不同时刻间的传感器运动状态的改变程度；通过对传感器的表征向量序列进行差分运算，得到一标量序列，称作表征变化序列，该序列与传感器位置序列的初始位置无关，仅反映该传感器在相应时刻的运动状态的改变程度。将多维表征向量序列变为一维表征变化序列，有效减少了后续步骤的计算量。(差分运算包括但不限于：求表征向量内积、求表征向量夹角，求表征向量距离)；第五、本发明对不同传感器给出的位置序列求得相应的表征变化序列；若传感器间的采样频率不同、或采样时刻不同，则通过插值的方式将对应表征变化序列的时间戳对齐；最后，对处理过的表征变化序列进行匹配，得到不同传感器间的时间差，从而实现不同传感器间的时间同步。(匹配过程包括但不限于：滤波寻找最大响应值、滑动寻找最小误差项、动态时间规整)。第六、两个传感器频率相等。频率相等就是传感器1和传感器2各自表征变化序列相邻2个标量的间隔是相等的，也就是传感器1表征变化序列相邻2个标量的距离和传感器2表征变化序列相邻两个标量的距离相等。图6-1的传感器1相邻两个标量的距离小于图6-1传感器2相邻两个标量的距离，图6-2、图6-3传感器1相邻两个标量的距离等于图6-2、图6-3传感器2相邻两个标量的距离，所以，图6-1的传感器1、传感器2的频率不等、而图6-2、图6-3的传感器1、传感器2的频率相等。

下面结合附图对本发明做出进一步的解释:

基于以上发明原理，本发明设计了一种

一种基于位置信息的多传感器时间同步方法如图1、图2、图3、图4所示，其特点是:包括以下步骤:

步骤一、通过滑动时间窗口的方式处理传感器的位置序列，得到能够反映相应时刻该传感器运动状态的表征向量序列Y；具体过程如下:

1)将传感器数据X至位置序列P；

具体过程如下:

i、传感器的输出x为时间t的函数，记作x(t)；

对于单目摄像头，x(t)为传感器在t时刻捕捉到的图像；对于GPS接

收器，x(t)为传感器在t时刻计算得到经纬度坐标序列；

ii、设传感器的子位置p为时间t的函数，记作p(t)；

对于单目摄像头，p(t)为其在t时刻的图像帧在初始帧的相机坐标系

中的坐标；对于GPS接收器，p(t)为其在t时刻的经纬度坐标点在UTM坐标系中的坐标；

iii、设传感器的采样时刻的集合为T＝{t

传感器数据的集合为X＝{x

传感器位置的集合为P＝{p

对于单目摄像头，X和P分别为其在离散的采样时刻集合T时，所对应的图像序列与位置序列；对于GPS接收器，X和P分别为其在离散的采样时刻集合T时，所对应的经纬度坐标序列与位置序列；

iv、实现传感器数据系列到位置序列的转换：f(x

对于单目摄像头，实现其图像序列到其位置序列的转换；对于GPS传感器，实现其经纬度坐标序列到位置序列的转换。

2)采用时间窗口将位置序列至一系列子位置序列

具体过程如下:

i、设滑动时间窗口的时间长度为t

ii、对位置序列P应用滑动时间窗口后，得到一系列子位置序列，即子位置序列的集合，为

a.如图5-1所示，为传感器采集的物体的位置序列，该位置序列为一条离散点运动轨迹，每个离散点具有物体的位置信息；

b.本发明时间窗口是以固定时间划分的时间窗口，例如，时间窗口的固定时间为10秒，每10秒截取的一段为一个子位置序列；

c.如图5-2、5-3所示，为采用滑动的时间窗口的方式将图5-1的一整条位置序列划分为若干个子位置序列，一共截取了5个子位置序列，称为子位置序列的集合，子位置序列集合表示为

3)将一系列子位置序列至表征向量序列Y；具体过程如下:

i、设离散时间T的表征向量的集合为Y＝{y

ii、计算得到传感器在t

如图5-4所示，子位置序列划分完成以后，还需要计算每个子位置序列的主方向，采用PCA计算每个子位置序列的主方向后，每个子位置序列就是一个表征向量，最终完成将一系列子位置序列至表征向量序列Y：

Y＝{y

步骤二、对该表征向量定义差分运算，得到能够反映相应时刻该传感器运动状态变化的表征变化序列Z；具体过程如下:

1)对该表征向量定义差分运算，该差分运算结果仅反映表征向量间的变化程度，与坐标系、初始状态无关；将表征差分运算记作h：Y

2)得到能够反映相应时刻传感器运动状态变化程度的表征变化序列：将表征变化记作z；在时刻t时的表征向量，记作z(t)；对于离散时间T，有表征向量的集合为Z＝{z

a.所述该差分运算结果反应表征向量间的变化程度，如图5-5所示:用相邻两个表征向量y

b.所述得到能够反映相应时刻该传感器运动状态变化的表征变化序列，如图5-6所示，将多个表征向量y

步骤三、对多传感器中不同传感器的表征变化序列进行对齐处理，得到不同传感器数据间的时间差，从而实现不同传感器间的时间同步；

其中，所述的不同传感器，包括能够提供位置信息的第一传感器和第二传感器，第一传感器包括但不限于单目摄像头，第二传感器包括但不限于GPS接收器，单目摄像头用于时间同步过程中的目标对齐传感器，GPS接收器用于时间同步过程中的被插值传感器；

具体过程如下:

1)对不同传感器的原始数据X、X′计算对应的表征变化序列Z、Z′；

具体过程如下:

i、不同的传感器具有不同的采样时刻或采样频率，记第一传感器的采样时刻的集合为T＝{t

如果第一传感器为单目摄像头，第二传感器为GPS接收器，则，T和T′分别为单目摄像头和GPS接收器的采样时刻的集合；X为单目摄像头的图像序列，X′为GPS接收器的经纬度坐标序列；

ii、对两传感器的X与X′，可以得到第一传感器的表征变化序列Z＝{z

2)不同传感器表征变化序列的时间戳间隔对齐，得到插值近似后的第二传感器表征变化新序列Z″；假设是将第二传感器的表征变化序列的时间戳向第一传感器对齐，具体过程如下:

i、记插值算法为Interp，该插值算法以第二传感器的采样时刻的集合T′以及表征变化序列Z′作为参数，通过插值计算得到任一给定时刻t时，第二传感器所对应的表征变化的近似值z″，记作z″(t)＝Interp(t；T′,Z′)；插值方法包括但不限于：邻近点插值、线性插值、三次样条插值，采用相邻点线性插值的方式，其具体计算公式为

ii、利用该插值算法得到第二传感器的表征变化序列在第一传感器的时间戳下的近似，记插值近似后的

第二传感器表征变化序列为Z″＝{z″

3)通过序列匹配得到第二传感器对齐后的表征变化序列Z″′＝{z″′

4)对第二传感器的时间及数据修正，得到与第一传感器同步的新采样时刻的集合T′″；

匹配算法便是以Z与Z″作为输入，寻找Δt，使得对于相同的n时，z

所述步骤三的过程3)的通过匹配得到传感器间的时间差Δt、以及过程4)的多传感器的时间同步、得到与第一传感器同步的新采样时刻的集合T″′，具体过程如下:

i、以Z与Z″作为输入，寻找Δt；

其中，Z为用于对齐的第一传感器的表征变化序列，Z″为插值近似后的被插值的第二传感器表征变化新序列Z″；

ii、使得对于相同的n时，z

iii、对第二传感器的采样时刻的集合T′，使用Δt进行修正，得到与第一传感器同步的新采样时刻的集合T″′＝{t″′

i、所述以Z与Z″作为输入，寻找Δt，如图6-1所示，传感器1和传感器2在高峰处相差2秒，传感器1在3-4秒之间有一个高峰，传感器2在5-6秒之间有一个高峰，所以，Δt＝2秒；

ii、对低频传感器插值，插值的原则是，低频传感器向高频传感器看齐进行插值，由于低频传感器表征变化量离散点之间的距离大，高频传感器表征变化量离散点之间的距离小，所以在低频传感器的两个相邻离散点之间插值，插值的目标是低频传感器表征变化量离散点之间的距离和高频传感器表征变化量离散点之间的距离相等。插值后低频和高频的频率相等。如图6-2每个点代表一个表征变化量，该表征变化量的计算过程与图5-5、5-6计算过程相同。

iii、所述对第二传感器的采样时刻的集合T′，使用Δt进行修正，从而完成传感器间的时间同步，如图6-2，将传感器2向左平移，得到完成时间同步以后的图6-3，在图6-3中，将图6-2中传感器2高峰段的5-6秒，修改成与传感器1高峰段相同3-4秒，同样的，将传感器2高峰段左右的时间戳也都修改成和传感器1的时间戳相同。由此完成了第一传感器与第二传感器的时间同步，所述时间同步就是时间戳同步。

实施例一:单目摄像头与GPS接收器的时间同步

1)计算单目摄像头的表征变化序列

如图2所示，描述了计算单目摄像头的表征变化序列的处理过程。

对于单目摄像头，相应的形式化描述的符号含义为：

X为摄像头捕捉到的图片序列；

f:X→P为实时视觉SLAM算法，例如ORB_SLAM2；

P为摄像头在视觉SLAM算法中所提供坐标系中的位置序列；

t

P

g:P

Y为摄像头的表征向量序列；

h:Y

Z为摄像头的表征变化序列；

2)计算GPS接收器的表征变化序列

如图3所示，描述了计算GPS接收器的表征变化序列的处理过程。

对于GPS接收器，相应的形式化描述的符号含义为：

X为GPS接收器获得经纬度坐标；

f:X→P为坐标系转换算法，将经纬度坐标转换至UTM坐标；

P为GPS接收器在UTM坐标中的位置序列；

t

P

g:P

Y为GPS接收器的表征向量序列；

h:Y

Z为GPS接收器的表征变化序列；

3)使用表征变化序列同步单目摄像头与GPS接收器

如图4所示，描述了使用表征变化序列同步单目摄像头与GPS接收器的处理过程。

对于该场景，相应的形式化描述的符号含义为：

T为单目摄像头的采样时间的集合；

X为单目摄像头的采用数据的集合，即图像序列；

Z为单目摄像头的表征变化序列；

T′为GPS接收器的采样时间的集合；

X′为GPS接收器的采用数据的集合，即经纬度坐标序列；

Z′为GPS接收器的表征变化序列；

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例。