一种深度估计方法、装置、计算机设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种深度估计方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的快速发展，计算机视觉相关技术领域也随之蓬勃发展。其中，计算机视觉技术是指利用摄像机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉识别操作。

而深度估计是计算机视觉领域中一个重要分支，其目的是获取图像中物体的深度信息，进而得到物体和拍摄点之间的距离信息，在汽车领域中有着十分重要的应用。然而，在汽车领域进行深度估计的方法主要是依靠激光雷达完成的，存在成本高并且不利于集成的问题。

发明内容

本公开实施例至少提供一种深度估计方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种深度估计方法，该方法包括：

获取车辆上多个摄像装置分别拍摄得到的第一环境图像；

确定不同的摄像装置拍摄得到的第一环境图像之间的重叠图像区域；

基于所述重叠图像区域中各特征点在不同第一环境图像中的位置信息，以及拍摄所述第一环境图像的摄像装置之间的位姿关系，确定所述重叠图像区域对应的特征点深度信息；

基于所述重叠图像区域对应的特征点深度信息，训练得到深度估计模型；所述深度估计模型用于对车辆行驶过程中拍摄的第二环境图像进行全局深度估计。

采用上述实施方式，通过获取车辆上多个摄像装置分别拍摄得到的第一环境图像，确定来自不同摄像装置拍摄得到的第一环境图像之间的重叠图像区域；确定重叠图像区域后，基于重叠图像区域中各特征点在不同第一环境图像中的位置信息，以及拍摄对应第一环境图像的摄像装置之间的位姿关系，确定重叠图像区域中特征点的深度信息；然后，利用重叠图像区域中特征点的深度信息，训练能够在车辆行驶过程中，对摄像装置拍摄得到的第二环境图像进行深度估计的深度估计模型。这样，能够利用车辆上相邻摄像装置拍摄的不同第一环境图像间重叠图像区域中特征点的深度信息(作为训练监督信号)，来训练深度估计模型，不再依赖激光雷达进行深度估计，并且不需要人工进行训练样本中深度信息的标注，降低了深度信息检测的硬件成本和人工成本。

一种可选的实施方式中，所述确定不同的摄像装置拍摄得到的第一环境图像之间的重叠图像区域，包括：

根据多个所述摄像装置分别拍摄的第一环境图像对应的时间戳信息，确定对应相同时间戳信息的各个第一环境图像；

确定对应相同时间戳信息的各个第一环境图像之间的重叠图像区域。

采用该实施方式，能够保证来自不同摄像装置的第一环境图像在用于确定重叠图像区域时，是在同一时间节点下的环境图像，进而保证了后续基于该重叠图像区域得到的深度信息的准确性。

一种可选的实施方式中，所述确定对应相同时间戳信息的各个第一环境图像之间的重叠图像区域，包括：

若任一摄像装置拍摄的第一环境图像中不存在对应所述相同时间戳信息的第一环境图像，则从所述任一摄像装置拍摄的各第一环境图像中，选择与所述相同时间戳信息距离最近的时间戳下的第一环境图像，作为与所述相同时间戳信息对应的第一环境图像。

采用该实施方式，在任一摄像装置拍摄的第一环境图像不存在对应相同时间戳信息的第一环境图像的情况下，可以从该摄像装置拍摄的各第一环境图像中，选择与所述相同时间戳信息距离最近的时间戳下的第一环境图像，作为相同时间戳信息下的第一环境图像，这样在时间戳信息无法严格对齐的情况下，可以最大程度的降低因时间戳不对齐带来的误差。

一种可选的实施方式中，所述基于所述重叠图像区域中各特征点在不同第一环境图像中的位置信息，以及拍摄所述第一环境图像的摄像装置之间的位姿关系，确定所述重叠图像区域对应的特征点深度信息，包括：

针对位于两个摄像装置分别拍摄的第一环境图像中的相同特征点，根据所述特征点在两个摄像装置分别拍摄的第一环境图像中的位置信息，确定所述特征点分别相对于所述两个摄像装置的相对位姿信息；

基于所述特征点分别相对于所述两个摄像装置的相对位姿信息、所述两个摄像装置之间的相对位姿信息、以及所述两个摄像装置的参数信息，确定所述特征点的深度信息。

在该实施方式下，能够根据两个摄像装置分别拍摄的第一环境图像中的相同特征点分别在对应第一环境图像中的位置信息，得到所述特征点分别相对于两个摄像装置的相对位姿信息；并基于所述特征点分别相对于两个摄像装置的相对位姿信息、两个摄像装置之间的相对位姿信息、以及两个摄像装置的参数信息，利用双目测距原理计算得到对应特征点的深度信息。

一种可选的实施方式中，所述方法还包括：

获取车辆行驶过程中目标摄像装置拍摄的第二环境图像；

利用所述深度估计模型对所述第二环境图像进行深度估计，确定所述第二环境图像中的目标对象与所述车辆之间的距离信息。

在该实施方式下，能够将通过前述中的步骤训练得到的深度估计模型，应用到车辆行驶过程中，通过前述方法训练的深度估计模型可以确定车辆上设置的摄像装置拍摄到的第二环境图像中的目标对象的深度信息，也即得到目标对象与车辆之间的距离。

在一种可选的实施方式中，所述目标摄像装置包括多个；所述利用所述深度估计模型对所述第二环境图像进行深度估计，确定所述第二环境图像中的目标对象与所述车辆之间的距离信息，包括：

对多个所述目标摄像装置分别拍摄的第二环境图像进行融合处理，得到全局图像；

利用所述深度估计模型对所述全局图像进行深度估计，确定所述全局图像中的目标对象与所述车辆之间的距离信息。

采用该实施方式，通过对多个摄像装置分别拍摄的第二环境图像进行融合处理，得到视野范围更大的环境图像，利用上述深度估计模型，可以得到更大视野范围的环境图像中的任意目标对象与自车的距离，进而能够提高车辆在驾驶过程中的安全性。

在一种可选的实施方式中，所述对多个所述目标摄像装置分别拍摄的第二环境图像进行融合处理，得到全局图像，包括：

根据多个所述目标摄像装置分别拍摄的第二环境图像对应的时间戳信息，确定对应相同时间戳信息的各个第二环境图像；

若存在任一摄像装置，其拍摄的第二环境图像中不存在对应所述相同时间戳信息的第二环境图像，则从所述任一摄像装置拍摄的历史第二环境图像中，选择与所述相同时间戳信息距离最近的时间戳下的历史第二环境图像，作为与所述相同时间戳信息对应的第二环境图像；

将对应相同时间戳信息的各个第二环境图像进行融合处理，得到全局图像。

采用该实施方式，在任一摄像装置拍摄的第二环境图像不存在对应相同时间戳信息的第二环境图像的情况下，可以从该摄像装置拍摄的各第二环境图像中，选择与所述相同时间戳信息距离最近的时间戳下的历史第二环境图像，作为相同时间戳信息下的第二环境图像，并将对应相同时间戳信息的各个第二环境图像融合成全局图像；这样，在因丢帧导致时间戳信息无法严格对齐的情况下，选择距离目标时间戳距离最近的时间戳下的历史第二环境图像，最大程度的降低因时间戳不对齐带来的误差。

一种可选的实施方式中，所述方法还包括：

在车辆行驶过程中，周期性确定多个摄像装置分别拍摄的第二环境图像之间的重叠图像区域；

基于所述第二环境图像之间的重叠图像区域中各特征点在不同第二环境图像中的位置信息，以及拍摄所述第二环境图像的摄像装置之间的位姿关系，确定所述第二环境图像之间的重叠图像区域对应的特征点深度信息；

根据所述第二环境图像之间的重叠图像区域对应的特征点深度信息，对所述深度估计模型进行更新调整。

采用该实施方式，在车辆性能允许的前提下，可以周期性利用重叠区域对训练的深度估计模型进行更新调整，使该深度估计模型能够能加适应当前车辆的摄像系统，进而得到更准确的深度估计结果。

一种可选的实施方式中，所述基于所述重叠图像区域对应的特征点深度信息，训练得到深度估计模型，包括：

以所述多个摄像装置在各时间戳拍摄的第一环境图像和所述多个摄像装置之间的相对位姿信息作为模型输入信息，以在各时间戳下的所述重叠图像区域对应的特征点深度信息作为训练监督信号，训练所述深度估计模型。

在该实施方式下，可以基于各摄像装置分别相对于车辆的位姿信息，确定多个摄像装置之间的相对位姿关系，并以此作为深度估计模型的输入信息，将在各个时间戳下的重叠其余对应的特征点深度信息作为训练监督信号，训练对应的深度估计模型。

第二方面，本公开实施例提供一种深度估计装置，包括：

获取模块，用于获取车辆上多个摄像装置分别拍摄得到的第一环境图像；

第一确定模块，用于确定不同的摄像装置拍摄得到的第一环境图像之间的重叠图像区域；

第二确定模块，用于基于所述重叠图像区域中各特征点在不同第一环境图像中的位置信息，以及拍摄所述第一环境图像的摄像装置之间的位姿关系，确定所述重叠图像区域对应的特征点深度信息；

训练模块，用于基于所述重叠图像区域对应的特征点深度信息，训练得到深度估计模型；所述深度估计模型用于对车辆行驶过程中拍摄的第二环境图像进行全局深度估计。

在一种实施方式中，所述第一确定模块具体用于：

根据多个所述摄像装置分别拍摄的第一环境图像对应的时间戳信息，确定对应相同时间戳信息的各个第一环境图像；

确定对应相同时间戳信息的各个第一环境图像之间的重叠图像区域。

在一种实施方式中，所述第一确定模块具体用于：

若任一摄像装置拍摄的第一环境图像中不存在对应所述相同时间戳信息的第一环境图像，则从所述任一摄像装置拍摄的各第一环境图像中，选择与所述相同时间戳信息距离最近的时间戳下的第一环境图像，作为与所述相同时间戳信息对应的第一环境图像。

在一种实施方式中，所述第二确定模块具体用于：

针对位于两个摄像装置分别拍摄的第一环境图像中的相同特征点，根据所述特征点在两个摄像装置分别拍摄的第一环境图像中的位置信息，确定所述特征点分别相对于所述两个摄像装置的相对位姿信息；

基于所述特征点分别相对于所述两个摄像装置的相对位姿信息、所述两个摄像装置之间的相对位姿信息、以及所述两个摄像装置的参数信息，确定所述特征点的深度信息。

在一种实施方式中，所述装置还包括：

应用模块，用于获取车辆行驶过程中目标摄像装置拍摄的第二环境图像；利用所述深度估计模型对所述第二环境图像进行深度估计，确定所述第二环境图像中的目标对象与所述车辆之间的距离信息。

在一种实施方式中，所述目标摄像装置包括多个；所述应用模块还用于：

对多个所述目标摄像装置分别拍摄的第二环境图像进行融合处理，得到全局图像；

利用所述深度估计模型对所述全局图像进行深度估计，确定所述全局图像中的目标对象与所述车辆之间的距离信息。

在一种实施方式中，所述应用模块具体用于：

根据多个所述目标摄像装置分别拍摄的第二环境图像对应的时间戳信息，确定对应相同时间戳信息的各个第二环境图像；

若存在任一摄像装置，其拍摄的第二环境图像中不存在对应所述相同时间戳信息的第二环境图像，则从所述任一摄像装置拍摄的历史第二环境图像中，选择与所述相同时间戳信息距离最近的时间戳下的历史第二环境图像，作为与所述相同时间戳信息对应的第二环境图像；

将对应相同时间戳信息的各个第二环境图像进行融合处理，得到全局图像。

在一种实施方式中，所述应用模块还用于：

在车辆行驶过程中，周期性确定多个摄像装置分别拍摄的第二环境图像之间的重叠图像区域；

基于所述第二环境图像之间的重叠图像区域中各特征点在不同第二环境图像中的位置信息，以及拍摄所述第二环境图像的摄像装置之间的位姿关系，确定所述第二环境图像之间的重叠图像区域对应的特征点深度信息；

根据所述第二环境图像之间的重叠图像区域对应的特征点深度信息，对所述深度估计模型进行更新调整。

在一种实施方式中，所述训练模块具体用于：

以所述多个摄像装置在各时间戳拍摄的第一环境图像和所述多个摄像装置之间的相对位姿信息作为模型输入信息，以在各时间戳下的所述重叠图像区域对应的特征点深度信息作为训练监督信号，训练所述深度估计模型。

第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的深度估计方法的步骤。

第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中深度估计方法的步骤。

采用上述任一方面的深度估计方法，能够利用相邻摄像装置拍摄的环境图像的重叠图像区域进行深度信息的直接计算，进而以该重叠区域的深度信息作为监督信号进行深度估计模型的训练，进而可以利用训练后的深度估计模型对车辆行驶过程中拍摄的任何图像进行深度估计；从而本公开实施例能够脱离对激光雷达的依赖，也无需对训练样本进行深度信息的人工标注，降低了硬件成本和人力成本。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种深度估计方法的流程图；

图2示出了本公开实施例所提供的深度估计方法中，一种在车辆上设置多个摄像装置的示意图；

图3a示出了本公开实施例所提供的深度估计方法中，得到特征点深度信息的示意图；

图3b示出了本公开实施例所提供的深度估计方法中，针对左前摄像头得到特征点深度信息的示意图；

图3c示出了本公开实施例所提供的深度估计方法中，针对正前摄像头得到特征点深度信息的示意图；

图4示出了本公开实施例所提供的一种深度估计装置的示意图；

图5示出了本公开实施例所提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

深度估计在各个技术领域都具有广泛的应用，其中尤以汽车领域为例。在进行车辆外环境感知、智能驾驶辅助等方面，进行准确的深度信息估计是保障车辆行驶安全的关键。通过获取车辆与路面车道线、障碍物、行人以及其他交通参与者的距离信息，车辆能够更好地做出驾驶决策和规划，提高驾驶的安全性和效率。

然而，传统的深度估计方法主要依赖于激光雷达等传感技术。激光雷达通过发射激光束并测量其返回时间来计算物体与传感器之间的距离，从而实现精确的深度估计，尽管激光雷达在准确性方面表现出色，但其高昂的成本和复杂的集成流程限制了其在大规模消费级汽车中的应用；此外，激光雷达也可能收到天气条件(如雨雪等)的影响，从而影响其性能。

基于上述研究，本公开实施例提供了一种深度估计方法：获取车辆上设置的多个摄像装置拍摄得到的第一环境图像之间的重叠图像区域，基于所述重叠图像区域中各特征点在不同第一环境图像中的位置信息，以及拍摄所述第一环境图像的摄像装置之间的位姿关系，确定所述重叠图像区域内对应的特征点的深度信息；再基于此深度信息，训练得到深度估计模型。该深度估计模型可以在车辆驾驶过程中，通过车辆上设置的目标摄像装置，对目标摄像装置拍摄得到的第二环境图像中的目标对象进行深度估计。

上述方案所针对的技术问题是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种深度估计方法进行详细介绍，本公开实施例所提供的深度估计方法的执行主体一般为具有一定计算能力的计算机设备，在一些可能的实现方式中，该深度估计方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面以执行主体为终端设备为例对本公开实施例提供的深度估计方法加以说明。

实施例一

参见图1所示，为本公开实施例一提供的深度估计方法的流程图，所述方法包括步骤S101～S104，其中：

S101：获取车辆上多个摄像装置分别拍摄得到的第一环境图像。

在此步骤中，可以通过车辆上设置的多个摄像装置，获取多个摄像装置拍摄到的第一环境图像。

在具体实施中，可以在车辆的不同位置上分别布置摄像装置，其中，多个摄像装置的角度可以不同，以便覆盖车辆周围的环境，并且每两个相邻的摄像装置的视野范围需要具有一定的重叠区域。如图2所示，为本公开实施例提供的一种摄像装置部署方法的示意图。在本公开实施例中，在车辆的左前、前、右前、左后、后、右后方分别布置有摄像装置，以拍摄车辆周围环境的第一环境图像。

需要说明的是，车辆上多个摄像装置的部署可以采取任意方式，以能够覆盖车辆周围环境，并保证每两个相邻的摄像装置的视野范围具有一定的重叠区域为准，本申请实施例对多个摄像装置的数量、位置、角度等方面不作具体限定。

在具体实施中，可以通过设置多个摄像装置的图像采集频率，来控制摄像装置采集每张第一环境图像的时间间隔，为提高后续训练的深度估计模型的准确性，此处设置图像采集频率不宜过低，另外，为多个摄像装置设置的图像采集频率需要相同，这样，获取的摄像装置的每张第一环境图像都有相邻摄像装置拍摄的与之对应时间戳信息的第一环境图像。

一种可能的实施方式中，可以对获取到的来自不同摄像装置的第一环境图像进行预处理，比如可以对第一环境图像进行去噪、矫正畸变等，以确保获得更高质量的第一环境图像，进而能够提高深度估计模型的准确性。

S102：确定不同的摄像装置拍摄得到的第一环境图像之间的重叠图像区域。

在此步骤中，由于车辆上部署有多个摄像装置，每两个相邻的摄像装置之间存在视野重叠的区域，因此在多个摄像装置拍摄得到的第一环境图像中，来自每两个相邻摄像装置的第一环境图像之间，存在图像画面重叠的部分。

在本公开实施例中，在每两个相邻摄像装置分别拍摄得到的第一环境图像中，会存在具体相同物体信息的部分，可以利用特征提取算法，从各个第一环境图像中提取关键特征点，然后采用特征匹配算法，在不同摄像装置拍摄得到的第一环境图像之间建立特征点的对应关系，再基于特征点的对应关系，确定各第一环境图像之间的重叠区域。

另外，在一种可能的实施方式中，考虑到车辆上部署的多个摄像装置之间可能存在视角变化和镜头畸变，在计算重叠图像区域之前，可以使用摄像装置的内参和外参对各第一环境图像进行校正，从而提高特征点的匹配精度，使重叠图像区域的确定更为准确。

在具体实施中，来自不同的摄像装置、用于确定重叠图像区域的多张第一环境图像最好是在同一时刻下拍摄得到的，也即需要多张第一环境图像进行时间对齐后，基于具有相同的时间戳信息的第一环境图像进行重叠图像区域的计算。

具体地，多个摄像装置获取的第一环境图像为序列图，即每个摄像装置在不同时间戳信息下有不同的第一环境图像与之对应；在本公开实施例中，根据多个摄像装置分别拍摄的第一环境图像对应的时间戳信息，选取同一时间戳信息下的、来自不同摄像装置的各个第一环境图像，并确定这些时间戳信息相同的第一环境图像之间的重叠图像区域。

一种可能的实施方式中，由于进行图像帧传输过程中可能出现丢帧，因此有些情况下出现时间无法严格对齐的情况。这种情况下，可以在出现丢帧情况的摄像装置拍摄的各第一环境图像中，选择与丢失的第一环境图像对应时间戳最接近的一张第一环境图像，来代替当前时间戳下的第一环境图像，比如选择在当前时间戳之前最接近的历史时间戳下的一张第一环境图像。

也即，如果在确定对应相同时间戳信息的各个第一环境图像时，车辆部署的任一摄像装置拍摄的第一环境图像中不存在对应相同时间戳信息的第一环境图像，则可以从该摄像装置拍摄的各第一环境图像中，选择与目标时间戳信息距离最近的时间戳下的第一环境图像，并以此第一环境图像作为相同时间戳信息对应的第一环境图像。

S103：基于所述重叠图像区域中各特征点在不同第一环境图像中的位置信息，以及拍摄所述第一环境图像的摄像装置之间的位姿关系，确定所述重叠图像区域对应的特征点深度信息。

在该步骤中，可以基于重叠图像区域中各特征点在不同第一环境图像中的位置信息，结合图像坐标系与世界坐标系之间的转换关系，可以确定各特征点在现实世界中分别相对于不同摄像装置的相对位姿信息；结合拍摄对应第一环境图像的摄像装置之间的位姿关系，以及各特征点分别相对于不同摄像装置的相对位姿信息，可以得到重叠图像区域内对应的特征点的深度信息。

在具体实施中，针对来自两个不同摄像装置分别拍摄的第一环境图像中的重叠图像区域中的相同特征点，可以根据特征点在两个摄像装置分别拍摄的第一环境图像中的位置信息，确定特征点分别相对于两个摄像装置的相对位姿信息；再基于特征点分别相对于两个摄像装置的相对位姿信息、两个摄像装置之间的相对位姿信息、以及两个摄像装置的参数信息，确定特征点的深度信息。

如图3a所示，为本公开实施例中得到特征点深度信息的方法的示意图。具体地，如图3a所示，假设车辆的左前位置的摄像头A和正前位置的摄像头B在y轴和z轴上对齐，仅在x轴上有区别，特征点p位于A、B两摄像头的视野范围的重叠区域内，并假设特征点p的实际三维坐标为(X,Y,Z)；左右两摄像头的焦距为f。

在本公开实施例中，可以根据图3b所示的三角阴影区域，确定特征点p与摄像头A的相对位姿信息。在如图3b所示的三角阴影区域内，摄像头A的焦距为f，摄像头A与特征点p的连线与x轴的交点在x轴上的坐标为x

同理，可以根据如图3c所示的三角阴影区域，确定特征点p与摄像头B的相对位姿信息。在如图3c所示的三角阴影区域内，摄像头B的焦距为f，A、B两摄像头之间的相对位姿信息指示的距离为b，摄像头B与特征点p的连线与x轴的交点在x轴上的坐标为x

综合上述特征点p相对A、B两个摄像头在z轴上的相对位姿信息，能够得到特征点p在z轴上的纵向距离Z＝b·f/d，其中，d为上述特征点p与A、B两摄像头的连线在x轴的交点坐标的差值，即d＝x

同理，根据上述公式以及A、B两摄像头的焦距，可以得到特征点p在x轴上的横向距离X＝Z·x

S104：基于所述重叠图像区域对应的特征点深度信息，训练得到深度估计模型；所述深度估计模型用于对车辆行驶过程中拍摄的第二环境图像进行全局深度估计。

在该步骤中，可以利用通过上述步骤得到的特征点的深度信息作为监督信号，训练得到深度估计模型，该深度估计模型能够在车辆行驶过程中，对车辆上设置的目标摄像装置拍摄得到的第二环境图像中的目标对象进行深度估计。

在具体实施中，可以以多个摄像装置在各时间戳信息下拍摄得到的第一环境图像、以及多个摄像装置之间的相对位姿信息作为深度估计模型的输入信息，以在各时间戳下的重叠图像区域中的各特征点的深度信息作为训练监督信号，训练深度估计模型。

这里，多个摄像装置之间的相对位姿信息可以基于各摄像装置分别相对车辆的位姿信息确定的。在训练深度估计模型时，可以将上述方法计算得到的深度信息作为监督信息(代替人工标注的真值信息)进行深度估计模型的训练，减少了收集训练样本时的人工标注过程，极大提高了训练效率。

在本公开实施例中，训练得到的深度估计模型，能够在车辆行驶过程中，对车辆上设置的目标摄像装置拍摄到的第二环境图像中的目标对象进行深度估计。

具体地，通过获取车辆行驶过程中，目标摄像装置拍摄得到的第二环境图像，对第二环境图像进行深度估计，以确定第二环境图像中的目标对象与车辆之间的距离信息，并且可以将得到的距离信息以及对应的目标对象在车辆的车机界面中进行展示。

一种可能的实施方式中，在车辆上设置有多个目标摄像装置的情况下，可以对多个摄像装置分别拍摄得到的第二环境图像进行融合处理，得到对应的全有视野范围内的全局图像；再利用训练得到的深度估计模型对该全局图像进行深度估计，得到该全局图像中，如其他车辆、行人等任意目标对象，与当前车辆的距离信息，并且可以将目标对象与对应的距离信息展示在车辆的车机界面中，从而让用户直观观测到车辆外各个环境对象与自车的距离，提高驾驶安全。

在具体实施中，进行融合处理、得到全局图像的各第二环境图像，需要具有相同的时间戳信息；具体地，可以根据多个目标摄像装置分别拍摄的第二环境图像对应的时间戳信息，确定对应相同时间戳信息的各个第二环境图像。

若存在任一目标摄像装置拍摄的第二环境图像中不存在对应相同时间戳信息的第二环境图像，则可以从该目标摄像装置拍摄的历史第二环境图像中，选取与对应相同时间戳信息距离最近的时间戳下的历史第二环境图像，作为对应相同时间戳信息的第二环境图像，与各个具有相同时间戳信息的第二环境图像进行融合处理，以得到全局图像。

在一种实施方式中，考虑到不同车辆之间在摄像装置的部署上存在差异，为使上述训练得到的深度估计模型能够适应不同车辆，从而得到更为准确的深度估计结果，可以在车辆行驶过程中对深度估计模型进行更新调整。

在具体实施中，可以在车辆行驶过程中，周期性确定多个目标摄像装置分别拍摄的第二环境图像之间的重叠图像区域；并基于重叠图像区域中各特征点在不同第二环境图像中的位置信息，以及拍摄第二环境图像的摄像装置之间的位姿关系，确定第二环境图像之间的重叠图像区域对应的特征点的深度信息；再根据第二环境图像之间的重叠图像区域对应的特征点深度信息对深度估计模型进行更新调整。上述对深度估计模型进行更新调整的过程中，得到第二环境图像之间的重叠图像区域中各特征点的深度信息，以及利用该深度信息对深度估计模型进行更新调整的方法，与前文训练深度估计模型的对应方法是类似的，此处不再赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与深度估计方法对应的深度估计装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述深度估计方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

实施例二

参照图4所示，为本公开实施例提供的一种深度估计装置的示意图，所述装置包括：获取模块401、第一确定模块402、第二确定模块403、确定模块404；其中，

获取模块401，用于获取车辆上多个摄像装置分别拍摄得到的第一环境图像；

第一确定模块402，用于确定不同的摄像装置拍摄得到的第一环境图像之间的重叠图像区域；

第二确定模块403，用于基于所述重叠图像区域中各特征点在不同第一环境图像中的位置信息，以及拍摄所述第一环境图像的摄像装置之间的位姿关系，确定所述重叠图像区域对应的特征点深度信息；

训练模块404，用于基于所述重叠图像区域对应的特征点深度信息，训练得到深度估计模型；所述深度估计模型用于对车辆行驶过程中拍摄的第二环境图像进行全局深度估计。

在一种实施方式中，所述第一确定模块402具体用于：

根据多个所述摄像装置分别拍摄的第一环境图像对应的时间戳信息，确定对应相同时间戳信息的各个第一环境图像；

确定对应相同时间戳信息的各个第一环境图像之间的重叠图像区域。

在一种实施方式中，所述第一确定模块402具体用于：

若任一摄像装置拍摄的第一环境图像中不存在对应所述相同时间戳信息的第一环境图像，则从所述任一摄像装置拍摄的各第一环境图像中，选择与所述相同时间戳信息距离最近的时间戳下的第一环境图像，作为与所述相同时间戳信息对应的第一环境图像。

在一种实施方式中，所述第二确定模块403具体用于：

针对位于两个摄像装置分别拍摄的第一环境图像中的相同特征点，根据所述特征点在两个摄像装置分别拍摄的第一环境图像中的位置信息，确定所述特征点分别相对于所述两个摄像装置的相对位姿信息；

基于所述特征点分别相对于所述两个摄像装置的相对位姿信息、所述两个摄像装置之间的相对位姿信息、以及所述两个摄像装置的参数信息，确定所述特征点的深度信息。

在一种实施方式中，所述装置还包括：

应用模块405，用于获取车辆行驶过程中目标摄像装置拍摄的第二环境图像；利用所述深度估计模型对所述第二环境图像进行深度估计，确定所述第二环境图像中的目标对象与所述车辆之间的距离信息。

在一种实施方式中，所述目标摄像装置包括多个；所述应用模块405还用于：

对多个所述目标摄像装置分别拍摄的第二环境图像进行融合处理，得到全局图像；

利用所述深度估计模型对所述全局图像进行深度估计，确定所述全局图像中的目标对象与所述车辆之间的距离信息。

在一种实施方式中，所述应用模块405具体用于：

根据多个所述目标摄像装置分别拍摄的第二环境图像对应的时间戳信息，确定对应相同时间戳信息的各个第二环境图像；

若存在任一摄像装置，其拍摄的第二环境图像中不存在对应所述相同时间戳信息的第二环境图像，则从所述任一摄像装置拍摄的历史第二环境图像中，选择与所述相同时间戳信息距离最近的时间戳下的历史第二环境图像，作为与所述相同时间戳信息对应的第二环境图像；

将对应相同时间戳信息的各个第二环境图像进行融合处理，得到全局图像。

在一种实施方式中，所述应用模块405还用于：

在车辆行驶过程中，周期性确定多个摄像装置分别拍摄的第二环境图像之间的重叠图像区域；

基于所述第二环境图像之间的重叠图像区域中各特征点在不同第二环境图像中的位置信息，以及拍摄所述第二环境图像的摄像装置之间的位姿关系，确定所述第二环境图像之间的重叠图像区域对应的特征点深度信息；

根据所述第二环境图像之间的重叠图像区域对应的特征点深度信息，对所述深度估计模型进行更新调整。

在一种实施方式中，所述训练模块404具体用于：

以所述多个摄像装置在各时间戳拍摄的第一环境图像和所述多个摄像装置之间的相对位姿信息作为模型输入信息，以在各时间戳下的所述重叠图像区域对应的特征点深度信息作为训练监督信号，训练所述深度估计模型。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

对应于图1中深度估计方法，本公开实施例还提供了一种计算机设备500，如图5所示，为本公开实施例提供的就是计算机设备500结构示意图，包括：

处理器501、存储器502、和总线503；存储器502用于存储执行指令，包括内存521和外部存储器522；这里的内存521也称内存储器，用于暂时存放处理器501中的运算数据，以及与硬盘等外部存储器522交换的数据，处理器501通过内存521与外部存储器522进行数据交换，当所述计算机设备500运行时，所述处理器501与所述存储器502之间通过总线503通信，使得所述处理器501执行以下指令：

获取车辆上多个摄像装置分别拍摄得到的第一环境图像；

确定不同的摄像装置拍摄得到的第一环境图像之间的重叠图像区域；

基于所述重叠图像区域中各特征点在不同第一环境图像中的位置信息，以及拍摄所述第一环境图像的摄像装置之间的位姿关系，确定所述重叠图像区域对应的特征点深度信息；

基于所述重叠图像区域对应的特征点深度信息，训练得到深度估计模型；所述深度估计模型用于对车辆行驶过程中拍摄的第二环境图像进行全局深度估计。

本公开实施例还一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的深度估计方法的步骤，或者，执行上述方法实施例中所述的深度估计方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的深度估计方法的步骤，或者，执行上述方法实施例中所述的深度估计方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。