掌桥专利:专业的专利平台
掌桥专利
首页

视觉惯性系统的初始化方法、装置、电子设备及介质

文献发布时间:2024-04-18 19:58:21


视觉惯性系统的初始化方法、装置、电子设备及介质

技术领域

本申请涉及系统标定领域,尤其涉及一种视觉惯性系统的初始化方法、装置、电子设备及介质。

背景技术

SLAM(Simultaneous Localization And Mapping,即时建图与定位)技术能够在复杂环境中提供高精度的位置姿态信息,并对场景进行精确建模,是智能机器人、无人驾驶、VR/AR领域的基础核心技术之一。目前SLAM的主流方法是集成IMU(InertialMeasurement Unit,惯性测量单元),称为视觉惯性SLAM;IMU能够为系统提供比较精确的短时间内的旋转、位置和速度信息,可大大提高视觉SLAM系统中状态估计的精度和鲁棒性。

初始化能够为视觉惯性SLAM系统提供在全局坐标系下的状态量以及特征点位置的初始值,是系统能够运行的前提。而现有的初始化方法存在初始化不准确的问题。

发明内容

本申请提供了一种视觉惯性系统的初始化方法、装置、电子设备及介质,旨在解决现有技术中SLAM系统初始化不准确的技术问题。

为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种视觉惯性系统的初始化方法,所述方法包括步骤:

获取视觉图像数据,并在所述视觉图像数据中确定多个关键帧以及特征点;

获取各所述关键帧对应的运动数据,并根据所述运动数据构建惯性测量模型;

获取所述特征点的位置信息,并根据所述位置信息构建多视几何模型;

联立所述惯性测量模型与所述多视几何模型,得到与所述关键帧以及所述特征点对应的线性方程组;

确定所述线性方程组的求解结果;

根据所述求解结果确定各所述关键帧在全局坐标系中的状态量,以及各所述特征点在所述全局坐标系中的位置。

可选地,所述获取视觉图像数据,并在所述视觉图像数据中确定多个关键帧以及特征点的步骤包括:

获取所述视觉图像数据中的多个图像帧,并对各所述图像帧中的特征点进行跟踪;

设置所述图像帧中的首帧图像帧为关键帧,并将所述首次跟踪到的所述特征点的数量作为第一数量;

依次针对每一除所述首帧图像帧之外的非首帧图像帧,将所述首帧图像帧与所述非首帧图像帧之间包含的共视特征点的数量作为第二数量;

判断所述第二数量是否小于所述第一数量的预设倍数,且所述非首帧图像帧与在前关键帧之间的图像帧的帧数是否大于预设帧数;

若所述第二数量小于所述第一数量的预设倍数,且所述非首帧图像帧与在前关键帧之间的图像帧的帧数大于预设帧数,则所述非首帧图像帧为关键帧。

可选地,所述获取各所述关键帧对应的运动数据,并根据所述运动数据构建惯性测量模型的步骤包括:

针对连续的两个所述关键帧,获取对应的加速度数据、角速度数据以及时间间隔,其中,所述加速度数据、所述角速度数据以及所述时间间隔为所述运动数据;

通过所述加速度数据、所述角速度数据以及所述时间间隔对在前关键帧的惯性状态量进行预积分,得到在后关键帧的惯性状态量;

根据对所有所述关键帧的连续积分确定各所述关键帧的惯性状态量;

将各所述关键帧的惯性状态量转换到首帧坐标系中得到所述惯性测量模型。

可选地,所述位置信息包括所述特征点在关键帧的关键帧坐标系中的关键位置,以及所述特征点在首帧坐标系中的初始位置;所述获取所述特征点的位置信息,并根据所述位置信息构建多视几何模型的步骤包括:

通过所述关键位置与所述初始位置构建位置转换模型;

将所述位置转换模型转换到首帧坐标系中得到所述多视几何模型。

可选地,所述联立所述惯性测量模型与所述多视几何模型,得到与所述关键帧以及所述特征点对应的线性方程组的步骤包括:

联立所述惯性测量模型与所述多视几何模型,得到基础线性方程;

针对每一所述特征点,确定所述特征点对应观测关键帧的所述基础线性方程,其中,所述观测关键帧为跟踪到所述特征点的关键帧;

将各所述观测关键帧的对应的所述基础线性方程联立得到特征点方程组;

将各所述特征点对应的所述特征点方程组联立得到所述线性方程组。

可选地,所述确定所述线性方程组的求解结果的步骤包括:

以重力加速度为约束,将所述线性方程组转换为线性最小二乘优化形式;

通过拉格朗日乘子法将所述线性最小二乘优化形式转换为最小二乘优化形式;

计算最小二乘优化形式下,最小拉格朗日乘子对应的所述求解结果。

可选地,所述求解结果包括各所述特征点在首帧坐标系中的初始位置、以及首帧图像帧在首帧坐标系中速度与重力加速度构成的速度向量;所述根据所述求解结果确定各所述关键帧在全局坐标系中的全局状态量,以及各所述特征点在所述全局坐标系中的全局位置的步骤包括:

根据所述速度向量计算各所述关键帧在所述首帧坐标系中的初始状态量;

将所述初始状态量转换至所述全局坐标系中,得到所述全局状态量;

将所述初始位置转换至所述全局坐标系中,得到所述全局位置。

为实现上述目的,本发明还提供一种视觉惯性系统的初始化装置,所述视觉惯性系统的初始化装置包括:

第一获取模块,用于获取视觉图像数据,并在所述视觉图像数据中确定多个关键帧以及特征点;

第二获取模块,用于获取各所述关键帧对应的运动数据,并根据所述运动数据构建惯性测量模型;

第三获取模块,用于获取所述特征点的位置信息,并根据所述位置信息构建多视几何模型;

第一联立模块,用于联立所述惯性测量模型与所述多视几何模型,得到与所述关键帧以及所述特征点对应的线性方程组;

第一确定模块,用于确定所述线性方程组的求解结果;

第二确定模块,用于根据所述求解结果确定各所述关键帧在全局坐标系中的状态量,以及各所述特征点在所述全局坐标系中的位置。

为实现上述目的,本发明还提供一种电子设备,所述电子设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的视觉惯性系统的初始化方法的步骤。

为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的视觉惯性系统的初始化方法的步骤。

本发明提出的一种视觉惯性系统的初始化方法、装置、电子设备及介质,获取视觉图像数据,并在所述视觉图像数据中确定多个关键帧以及特征点;获取各所述关键帧对应的运动数据,并根据所述运动数据构建惯性测量模型;获取所述特征点的位置信息,并根据所述位置信息构建多视几何模型;联立所述惯性测量模型与所述多视几何模型,得到与所述关键帧以及所述特征点对应的线性方程组;确定所述线性方程组的求解结果;根据所述求解结果确定各所述关键帧在全局坐标系中的状态量,以及各所述特征点在所述全局坐标系中的位置。通过联立惯性测量模型与多视几何模型,使得能够结合视觉传感器与惯性传感器的优势,保证了对于系统的运行情况的估计的准确性,从而提高了视觉惯性系统初始化的精度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明视觉惯性系统的初始化方法第一实施例的流程示意图;

图2为本发明视觉惯性系统的初始化方法的整体流程示意图;

图3为本发明视觉惯性系统的初始化方法的一实施例中关键帧与共视特征点的示意图;

图4为本发明电子设备的模块结构示意图。

具体实施方式

应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

本发明提供一种视觉惯性系统的初始化方法,参照图1,图1为本发明视觉惯性系统的初始化方法第一实施例的流程示意图,所述方法包括步骤:

步骤S10,获取视觉图像数据,并在所述视觉图像数据中确定多个关键帧以及特征点;

视觉图像数据为通过视觉传感器采集到的图像数据;本实施例中的视觉传感器为双目相机。

视觉图像数据中包括多帧图像帧;关键帧为图像帧中用以执行后续初始化操作的图像帧。

特征点的具体跟踪方法可以基于实际应用场景进行设置,如本实施例中通过KLTTracker(Kanade-Lucas-Tomasi Tracker,稀疏光流跟踪算法)来对视觉图像数据中的特征点进行跟踪。

步骤S20,获取各所述关键帧对应的运动数据,并根据所述运动数据构建惯性测量模型;

运动数据用于反映关键帧之间的运动情况,运动数据可以通过IMU检测得到;惯性测量模型用于反映不同关键帧的运动状态之间的关联关系,因此,通过关键帧对应的运动数据能够准确构建惯性测量模型。

步骤S30,获取所述特征点的位置信息,并根据所述位置信息构建多视几何模型;

位置信息用于反映特征点在坐标系中的位置;可以理解的是,系统中包括多个坐标系,如全局坐标系{G}、相机坐标系{C}、惯性测量单元坐标系{I};本实施例中的全局坐标系为惯性系,全局坐标系的Z轴与地球水平面垂直;由于双目相机与惯性测量单元相对位置是固定的,因此,相机坐标系与惯性测量单元坐标系之间为刚体变化,相机坐标系到惯性测量单元坐标系的变换矩阵

其中,

需要说明的,由于在不同的关键帧,惯性测量单元对应位置不一定相同,因此,不同的关键帧对应的惯性测量单元坐标系不同,本实施例中,首帧关键帧对应的惯性测量单元坐标系为首帧坐标系{I

步骤S40,联立所述惯性测量模型与所述多视几何模型,得到与所述关键帧以及所述特征点对应的线性方程组;

将惯性测量模型与多视几何模型联立之后,即能够结合视觉数据与惯性数据来描述关键帧之间的关系以及特征点的位置;通过将关键帧与特征点的相关参数带入到联立后的模型中,即可得到基于关键帧与特征点的线性方程组,而线性方程组则反映了关键帧之间的关系以及特征点的位置。

步骤S50,确定所述线性方程组的求解结果;

具体线性方程组求解结果的计算方式可以基于实际应用场景进行选择。

步骤S60,根据所述求解结果确定各所述关键帧在全局坐标系中的状态量,以及各所述特征点在所述全局坐标系中的位置。

在确定求解结果之后,即可确定各关键帧的状态量以及特征点的位置;可以理解的是,视觉惯性系统的初始化需要确定全局坐标系下的相关数据;因此,需要将关键帧的状态量以及特征点的位置转换到全局坐标系下。

本实施例通过联立惯性测量模型与多视几何模型,使得能够结合视觉传感器与惯性传感器的优势,保证了对于系统的运行情况的估计的准确性,从而提高了视觉惯性系统初始化的精度。

进一步地,后续一并参见图2,在基于本发明的第一实施例所提出的本发明视觉惯性系统的初始化方法第二实施例中,所述步骤S10包括步骤:

步骤S11,获取所述视觉图像数据中的多个图像帧,并对各所述图像帧中的特征点进行跟踪;

步骤S12,设置所述图像帧中的首帧图像帧为关键帧,并将所述首次跟踪到的所述特征点的数量作为第一数量;

步骤S13,依次针对每一除所述首帧图像帧之外的非首帧图像帧,将所述首帧图像帧与所述非首帧图像帧之间包含的共视特征点的数量作为第二数量;

步骤S14,判断所述第二数量是否小于所述第一数量的预设倍数,且所述非首帧图像帧与在前关键帧之间的图像帧的帧数是否大于预设帧数;

步骤S15,若所述第二数量小于所述第一数量的预设倍数,且所述非首帧图像帧与在前关键帧之间的图像帧的帧数大于预设帧数,则所述非首帧图像帧为关键帧。

本实施例中,通过KLT Tracker算法对视觉图像数据进行Harris角点检测来实现对特征点的跟踪。

首帧图像帧为视觉图像数据中采集时间最早的图像帧;首帧图像帧反映了系统的初始状况,而后续图像帧都是基于首帧图像帧的变化得到的,因此,将首帧图像帧作为关键帧。

共视特征点为在多帧图像帧之间存在共视关系的特征点;具体地,本实施例中,当特征点在多帧图像帧中的已跟踪次数大于2,则认为该特征点位共视特征点。

第二数量为到当前关键帧为止,已检测到的共视特征点数量,当共视特征点数量大于一定数量时,认为共视特征点过多,数据量过大,因此,将共视特征点数量限制在一定范围内,即第一数量的预设倍数。

可以理解的是,连续的图像帧之间的信息差异程度较小,因此,本实施例在选取关键帧时,为了避免重复信息过多,设置预设帧数,即选取的相邻的两帧关键帧之间,至少间隔预设帧数帧图像帧,从而保证关键帧之间信息的差异化。具体地,当非首帧图像帧满足以下条件时,将该图像帧作为关键帧:

其中,N

其中,N

本实施例能够准确对关键帧进行选取。

进一步地,在基于本发明的第一实施例所提出的本发明视觉惯性系统的初始化方法第三实施例中,所述步骤S20包括步骤:

步骤S21,针对连续的两个所述关键帧,获取对应的加速度数据、角速度数据以及时间间隔,其中,所述加速度数据、所述角速度数据以及所述时间间隔为所述运动数据;

步骤S22,通过所述加速度数据、所述角速度数据以及所述时间间隔对在前关键帧的惯性状态量进行预积分,得到在后关键帧的惯性状态量;

步骤S23,根据对所有所述关键帧的连续积分确定各所述关键帧的惯性状态量;

步骤S24,将各所述关键帧的惯性状态量转换到首帧坐标系中得到所述惯性测量模型。

加速度数据可以通过IMU中的加速度计获得;角速度数据可以通过IMU中的陀螺仪获得。

本实施例中的状态量包括旋转量R、平移量P以及速度量V;在全局坐标系下,在前关键帧的惯性状态量包括在前旋转量

其中:

其中,Exp(.)对应的是旋转向量到李群的映射;b

可以理解的是,前述在后关键帧的惯性状态量是基于全局坐标系的,而本实施例中后续需要基于首帧坐标系进行计算,因此,需要将惯性状态量转换到首帧坐标系中;具体地,对于在后旋转量:

其中,

同理,在后平移量为:

其中,

同理,在后速度量为:

在对连续两帧关键帧进行预积分之后,即可对所有关键帧进行连续积分,即从首帧图像帧开始进行积分,具体地,第k+1个关键帧在首帧坐标系下的状态量为:

其中,Δt

进一步地,在基于本发明的第一实施例所提出的本发明视觉惯性系统的初始化方法第四实施例中,所述位置信息包括所述特征点在关键帧的关键帧坐标系中的关键位置,以及所述特征点在首帧坐标系中的初始位置;所述步骤S30包括步骤:

步骤S31,通过所述关键位置与所述初始位置构建位置转换模型;

步骤S32,将所述位置转换模型转换到首帧坐标系中得到所述多视几何模型。

需要说明的是,本实施例中的位置信息包括特征点在不同关键帧中的位置,因此,构建多视几何模型的特征点为共视特征点。

关键位置为特征点在关键帧中的观测值;具体地,关键位置

根据多视几何原理,有:

其中,

对上式进行转换可得:

其中,

进一步地,在基于本发明的第一实施例所提出的本发明视觉惯性系统的初始化方法第五实施例中,所述步骤S40包括步骤:

步骤S41,联立所述惯性测量模型与所述多视几何模型,得到基础线性方程;

步骤S42,针对每一所述特征点,确定所述特征点对应观测关键帧的所述基础线性方程,其中,所述观测关键帧为跟踪到所述特征点的关键帧;

步骤S43,将各所述观测关键帧的对应的所述基础线性方程联立得到特征点方程组;

步骤S44,将各所述特征点对应的所述特征点方程组联立得到所述线性方程组。

将前述惯性测量模型与多视几何模型进行联立可得基础线性方程:

其中,

参见图3,图3为本发明视觉惯性系统的初始化方法的一实施例中关键帧与共视特征点的示意图;当特征点被多个关键帧观测到时,每个关键帧都能够基于特征点构建对应的基础线性方程,将单个特征点对应的基础线性方程联立即可得到该特征点对应的特征点方程组,如特征点被关键帧I

将所有特征点方程组进行联立,即可得到线性方程组:

需要说明的是,在具体应用中,关键帧的数量是不确定的,因此,为了控制具体的计算强度,本实施例中,设置滑动窗口,滑动窗口中包括连续的多个关键帧,此时,关键帧基于在滑动窗口中的位置进行排序,即滑动窗口中的第一个关键帧为首帧关键帧;在生成线性方程组时,只采用滑动窗口中的关键帧的相关数据。

进一步地,在基于本发明的第一实施例所提出的本发明视觉惯性系统的初始化方法第六实施例中,所述步骤S50包括步骤:

步骤S51以重力加速度为约束,将所述线性方程组转换为线性最小二乘优化形式;

步骤S52,通过拉格朗日乘子法将所述线性最小二乘优化形式转换为最小二乘优化形式;

步骤S53,计算最小二乘优化形式下,最小拉格朗日乘子对应的所述求解结果。

首先将线性方程组进行简化得到:

其中,

可以理解的是,由于A的维度太大,且是非正定阵,直接进行求解耗时过长,且存在解不稳定的问题;而重力加速度的模长是已知的,即||

再通过拉格朗日乘子法将上述问题转换为最小二乘优化问题,具体地:

其中,λ为拉格朗日乘子,

本实施例通过将线性方程组转换为带有二次约束的最小二乘问题,从而实现了对线性方程组中未知量的快速求解。

进一步地,在基于本发明的第一实施例所提出的本发明视觉惯性系统的初始化方法第七实施例中,所述求解结果包括各所述特征点在首帧坐标系中的初始位置、以及首帧图像帧在首帧坐标系中速度与重力加速度构成的速度向量;所述步骤S60包括步骤:

步骤S61,根据所述速度向量计算各所述关键帧在所述首帧坐标系中的初始状态量;

步骤S62,将所述初始状态量转换至所述全局坐标系中,得到所述全局状态量;

步骤S63,将所述初始位置转换至所述全局坐标系中,得到所述全局位置。

由前述说明可知,求解结果是基于首帧坐标系的;因此需要将其转换至全局坐标系;具体地,由前述说明可知:

I0

其中:

即Rot(.)函数返回两个向量之间的旋转矩阵,⌊c⌋

关键帧k的在首帧坐标系中的初始状态量包括旋转量

通过首帧坐标系到全局坐标系的旋转量

通过上述公式即可得到所有关键帧在全局坐标系下的全局状态量。

同理,对于首帧坐标系下特征点的初始位置

通过上述公式即可得到所有特征点在全局坐标系下的全局位置。

本实施例准确、快速地实现了视觉惯性系统的初始化。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。

本申请还提供一种用于实施上述视觉惯性系统的初始化方法的视觉惯性系统的初始化装置,视觉惯性系统的初始化装置包括:

第一获取模块,用于获取视觉图像数据,并在所述视觉图像数据中确定多个关键帧以及特征点;

第二获取模块,用于获取各所述关键帧对应的运动数据,并根据所述运动数据构建惯性测量模型;

第三获取模块,用于获取所述特征点的位置信息,并根据所述位置信息构建多视几何模型;

第一联立模块,用于联立所述惯性测量模型与所述多视几何模型,得到与所述关键帧以及所述特征点对应的线性方程组;

第一确定模块,用于确定所述线性方程组的求解结果;

第二确定模块,用于根据所述求解结果确定各所述关键帧在全局坐标系中的状态量,以及各所述特征点在所述全局坐标系中的位置。

本视觉惯性系统的初始化装置

需要说明的是,该实施例中的第一获取模块可以用于执行本申请实施例中的步骤S10,该实施例中的第二获取模块可以用于执行本申请实施例中的步骤S20,该实施例中的第三获取模块可以用于执行本申请实施例中的步骤S30,该实施例中的第一联立模块可以用于执行本申请实施例中的步骤S40,该实施例中的第一确定模块可以用于执行本申请实施例中的步骤S50,该实施例中的第二确定模块可以用于执行本申请实施例中的步骤S60。

进一步地,所述第一获取模块包括:

第一获取单元,用于获取所述视觉图像数据中的多个图像帧,并对各所述图像帧中的特征点进行跟踪;

第一设置单元,用于设置所述图像帧中的首帧图像帧为关键帧,并将所述首次跟踪到的所述特征点的数量作为第一数量;

第一执行单元,用于依次针对每一除所述首帧图像帧之外的非首帧图像帧,将所述首帧图像帧与所述非首帧图像帧之间包含的共视特征点的数量作为第二数量;

第一判断单元,用于判断所述第二数量是否小于所述第一数量的预设倍数,且所述非首帧图像帧与在前关键帧之间的图像帧的帧数是否大于预设帧数;

第二执行单元,用于若所述第二数量小于所述第一数量的预设倍数,且所述非首帧图像帧与在前关键帧之间的图像帧的帧数大于预设帧数,则所述非首帧图像帧为关键帧。

进一步地,所述第二获取模块包括:

第二获取单元,用于针对连续的两个所述关键帧,获取对应的加速度数据、角速度数据以及时间间隔,其中,所述加速度数据、所述角速度数据以及所述时间间隔为所述运动数据;

第三执行单元,用于通过所述加速度数据、所述角速度数据以及所述时间间隔对在前关键帧的惯性状态量进行预积分,得到在后关键帧的惯性状态量;

第一确定单元,用于根据对所有所述关键帧的连续积分确定各所述关键帧的惯性状态量;

第一转换单元,用于将各所述关键帧的惯性状态量转换到首帧坐标系中得到所述惯性测量模型。

进一步地,所述位置信息包括所述特征点在关键帧的关键帧坐标系中的关键位置,以及所述特征点在首帧坐标系中的初始位置;所述第三获取模块包括:

第一构建单元,用于通过所述关键位置与所述初始位置构建位置转换模型;

第二转换单元,用于将所述位置转换模型转换到首帧坐标系中得到所述多视几何模型。

进一步地,所述第一联立模块包括:

第一联立单元,用于联立所述惯性测量模型与所述多视几何模型,得到基础线性方程;

第二确定单元,用于针对每一所述特征点,确定所述特征点对应观测关键帧的所述基础线性方程,其中,所述观测关键帧为跟踪到所述特征点的关键帧;

第二联立单元,用于将各所述观测关键帧的对应的所述基础线性方程联立得到特征点方程组;

第三联立单元,用于将各所述特征点对应的所述特征点方程组联立得到所述线性方程组。

进一步地,所述第一确定模块包括:

第三转换单元,用于以重力加速度为约束,将所述线性方程组转换为线性最小二乘优化形式;

第四转换单元,用于通过拉格朗日乘子法将所述线性最小二乘优化形式转换为最小二乘优化形式;

第一计算单元,用于计算最小二乘优化形式下,最小拉格朗日乘子对应的所述求解结果。

进一步地,所述求解结果包括各所述特征点在首帧坐标系中的初始位置、以及首帧图像帧在首帧坐标系中速度与重力加速度构成的速度向量;所述第二确定模块包括:

第二计算单元,用于根据所述速度向量计算各所述关键帧在所述首帧坐标系中的初始状态量;

第五转换单元,用于将所述初始状态量转换至所述全局坐标系中,得到所述全局状态量;

第六转换单元,用于将所述初始位置转换至所述全局坐标系中,得到所述全局位置。

此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。

参照图4,在硬件结构上所述电子设备可以包括通信模块10、存储器20以及处理器30等部件。在所述电子设备中,所述处理器30分别与所述存储器20以及所述通信模块10连接,所述存储器20上存储有计算机程序,所述计算机程序同时被处理器30执行,所述计算机程序执行时实现上述方法实施例的步骤。

通信模块10,可通过网络与外部通讯设备连接。通信模块10可以接收外部通讯设备发出的请求,还可以发送请求、指令及信息至所述外部通讯设备,所述外部通讯设备可以是其它电子设备、服务器或者物联网设备,例如电视等等。

存储器20,可用于存储软件程序以及各种数据。存储器20可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如获取视觉图像数据)等;存储数据区可包括数据库,存储数据区可存储根据系统的使用所创建的数据或信息等。此外,存储器20可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器30,是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器20内的软件程序和/或模块,以及调用存储在存储器20内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器30可包括一个或多个处理单元;可选地,处理器30可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器30中。

尽管图4未示出,但上述电子设备还可以包括电路控制模块,所述电路控制模块用于与电源连接,保证其他部件的正常工作。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

本发明还提出一种计算机可读存储介质,其上存储有计算机程序。所述计算机可读存储介质可以是图4的电子设备中的存储器20,也可以是如ROM(Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘中的至少一种,所述计算机可读存储介质包括若干指令用以使得一台具有处理器的终端设备(可以是电视,汽车,手机,计算机,服务器,终端,或者网络设备等)执行本发明各个实施例所述的方法。

在本发明中,术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的,而不能理解为指示或暗示相对重要性,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例,本发明保护的范围并不局限于此,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换,这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

相关技术
  • 视觉惯性里程计的状态确定方法、装置和电子设备
  • 视觉惯性系统的初始化方法、装置、电子设备及存储介质
  • 视觉惯性系统初始化方法及装置、介质和电子设备
技术分类

06120116483313