一种机器人和一种单目深度估计方法、系统及存储介质

技术领域

本发明涉及机器人控制领域，特别涉及一种机器人和一种单目深度估计方法、系统及存储介质。

背景技术

在传统技术中，出于躲避障碍和环境交互的考虑，一般会使用RGB-D相机或者双目相机计算深度，然而在实际使用的过程中RGB-D通常视野比较小，而双目相机的深度估计出于原理上的原因的计算复杂度较高，需要的算力较多，从而导致在实际的使用过程中，其效果较差，而如果要提高双目相机的使用效果，就需要更多的算力，也就意味着更昂贵的算力设备成本。

发明内容

为解决现有技术中机器人的移动控制中关于图像的深度无法同时兼顾快速、廉价、视野范围大的技术问题，本发明提供一种机器人和一种单目深度估计方法、系统及存储介质，具体的技术方案如下：

一方面提供一种单目深度估计方法，包括：

获取单目图像和单线激光深度数据；

将所述单目图像和所述单线激光深度数据导入到预先训练好的估计模型中并输出深度图；

所述估计模型基于High-resolution Net构建。

在本技术方案中，通过单线激光结合单目图像，使用高分辨率神经网络模型来实现对于深度图的构建，实现了在不增加本地算力的情况下，快速构建视野范围广泛的深度图的技术效果。

优选地，所述获取单目图像和单线激光深度数据前还包括：

训练所述估计模型，具体包括：

初始化所述估计模型；

获取单线激光深度数据集、单目图像数据集和深度图数据集；所述单线激光深度数据集、所述单目图像数据集和所述深度图数据集中的元素之间一一对应；

将所述单线激光深度数据集和所述单目图像数据集导入到所述估计模型中；

对比所述估计模型的输出结果集与所述深度图数据集并产生偏差评估结果；

根据所述偏差评估结果修正所述估计模型。

优选地，所述单线激光深度数据作为竖直方向上直线的锚点。

优选地，将所述单目图像和所述单线激光深度数据导入到预先训练好的估计模型中并输出深度图具体包括：

使用所述估计模型对所述单目图像进行分类，将所述单目图像的内容划分为无影响单目图像和有影响单目图像，所述估计模型仅输出所述有影响单目图像的深度图。

在本技术方案中，通过赋予神经网络模型以两个任务，不止仅限于对于深度图进行构建，同时也用于对图像本身的内容进行分类，一方面节约了算力，另一方面也可以通过分类任务辅助进行神经网络模型的修正。

另一方面，提供一种单目深度估计系统，包括：

输入数据获取模块，用于获取单目图像和单线激光深度数据；

估计模块，用于将所述单目图像和所述单线激光深度数据导入到预先训练好的估计模型中并输出深度图；所述估计模型基于High-resolution Net构建。

优选地，还包括：估计模型训练模块，具体包括：

模型初始化模块，用于初始化所述估计模型；

训练数据获取模块，用于获取单线激光深度数据集、单目图像数据集和深度图数据集；所述单线激光深度数据集、所述单目图像数据集和所述深度图数据集中的元素之间一一对应；

模型训练模块，用于将所述单线激光深度数据集和所述单目图像数据集导入到所述估计模型中并产生输出结果集；

效果评估模块，用于对比所述输出结果集与所述深度图数据集并产生偏差评估结果；

模型修正模块，用于根据所述偏差评估结果修正所述估计模型。

优选地，所述单线激光深度数据作为竖直方向上直线的锚点。

优选地，还包括：估计模块具体包括，分类识别模块，使用所述估计模型对所述单目图像进行分类，将所述单目图像的内容划分为无影响单目图像和有影响单目图像；

所述估计模型仅输出所述有影响单目图像的深度图。

另一方面，提供一种机器人，包括单目相机、单目激光发射器和控制中枢，所述控制中枢运行有所述的一种单目深度估计系统，以实现所述的一种单目深度估计方法。

另一方面，提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被配置为由处理器调用时，实现所述的一种单目深度估计方法的步骤。

本发明至少包括以下一项技术效果：

(1)通过单线激光结合单目图像，使用高分辨率神经网络模型来实现对于深度图的构建，实现了在不增加本地算力的情况下，快速构建视野范围广泛的深度图的技术效果；

(2)通过赋予神经网络模型以两个任务，不止仅限于对于深度图进行构建，同时也用于对图像本身的内容进行分类，一方面节约了算力，另一方面也可以通过分类任务辅助进行神经网络模型的修正。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的流程示意图；

图2为本发明实施例3的流程示意图；

图3为本发明实施例4的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘出了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

High-resolution Net：高分辨率神经网络，常用于人体姿态的识别。整个网络中始终保持高分辨率表征，逐步引入低分辨率卷积，并且将不同分辨率的卷积并行连接。同时，通过不断在多分辨率表征之间进行信息交换，来提升高分辨率和低分辨率表征的表达能力，让多分辨率表征之间更好地相互促进。先前的分类将分辨率从高到低的卷积串行连接，HRNet则是并行连接。

具体内容参见：

Ke Sun,Bin Xiao,Dong Liu,Jingdong Wang:Deep High-ResolutionRepresentation Learning for Human Pose Estimation.CVPR 2019；

https://github.com/HRNet；

在此不做赘述。

实施例1：

如图1所示，本实施例公开了一种单目深度估计方法，包括：

S1：获取单目图像和单线激光深度数据；

S2：将所述单目图像和所述单线激光深度数据导入到预先训练好的估计模型中并输出深度图；所述估计模型基于High-resolution Net构建。

在传统技术中，出于躲避障碍和环境交互的考虑，一般会使用RGB-D相机或者双目相机计算深度，然而在实际使用的过程中RGB-D通常视野比较小，而双目相机的深度估计出于原理上的原因的计算复杂度较高，需要的算力较多，从而导致在实际的使用过程中，其效果较差。

而在本实施例中，使用单线激光结合单目图像，使用高分辨率神经网络模型来实现对于深度图的构建，一方面单目相机的视野要远高于RGB-D相机，另一方面神经网络的计算复杂度又要远远满足使用双目相机进行计算。

另一方面，相对于使用传统的神经网络，由于深度图的构建需要逐点对深度图进行构建，故在运用的过程中，其提取的特征必须具有较大的覆盖范围，也就是说其不能仅包含大尺度的特征，必须同时包含小尺度的特征，而由于HRNet具有通过不断在多分辨率表征之间进行信息交换，来提升高分辨率和低分辨率表征的表达能力，让多分辨率表征之间更好地相互促进，故非常适合于构建深度图的应用场景。

本实施例通过单线激光结合单目图像，使用高分辨率神经网络模型来实现对于深度图的构建，实现了在不增加本地算力的情况下，快速构建视野范围广泛的深度图的技术效果。

实施例2：

本实施例公开了一种单目深度估计方法，包括：

S0：训练所述估计模型：

S1：获取单目图像和单线激光深度数据；

S2：将所述单目图像和所述单线激光深度数据导入到预先训练好的估计模型中并输出深度图；所述估计模型基于High-resolution Net构建。

具体包括：

S0-1：初始化所述估计模型；

S0-2：获取单线激光深度数据集、单目图像数据集和深度图数据集；所述单线激光深度数据集、所述单目图像数据集和所述深度图数据集中的元素之间一一对应；

S0-3：将所述单线激光深度数据集和所述单目图像数据集导入到所述估计模型中；所述单线激光深度数据作为竖直方向上直线的锚点；

S0-4：对比所述估计模型的输出结果集与所述深度图数据集并产生偏差评估结果，若所述偏差评估结果满足阈值，进入S0-5，否则进入S1；

S0-5：根据所述偏差评估结果修正所述估计模型，并回到S0-3；

S1：获取单目图像和单线激光深度数据；

S2：将所述单目图像和所述单线激光深度数据导入到预先训练好的估计模型中并输出深度图；所述估计模型基于High-resolution Net构建。

在本实施例中，在训练估计模型的阶段，通过单线激光深度、单目图像和深度图来对模型进行计算，具体而言，将每个单线激光点的深度作为垂直方向上直线的锚点(anchor)，以此作为回归的基础进行模型的构建，并向估计模型中输入单目图像，并使用深度图作为Groundtruth使用，经过迭代训练，修正模型之后，产生最终的可使用的估计模型进行使用。

实施例3：

如图2所示，本实施例公开了一种单目深度估计方法，包括：

S0-1：初始化所述估计模型；

S0-2：获取单线激光深度数据集、单目图像数据集和深度图数据集；所述单线激光深度数据集、所述单目图像数据集和所述深度图数据集中的元素之间一一对应；

S0-3：将所述单线激光深度数据集和所述单目图像数据集导入到所述估计模型中；

S0-4：对比所述估计模型的输出结果集与所述深度图数据集并产生偏差评估结果，若所述偏差评估结果满足阈值，进入S0-5，否则进入S1；

S0-5：根据所述偏差评估结果修正所述估计模型，回到S0-3；

S1：获取单目图像和单线激光深度数据；

S2-1：使用所述估计模型对所述单目图像进行分类，将所述单目图像的内容划分为无影响单目图像和有影响单目图像；

S2-2：根据所述有影响单目图像和所述单线激光深度数据输出深度图；所述估计模型基于High-resolution Net构建；所述估计模型仅输出所述有影响单目图像的深度图。

在本实施例中，在具体的使用过程中，估计模型具有两个任务，一个是回归分析，通过神经网路做回归分析的方式对图像深度进行判断，另一个是分类，判断图像的哪些领域是对于应用场景有意义的图像，哪些是无意义的图像，并仅识别其中有意义部分的图像，对于其中没有意义的部分的图像则不进行深度判断，从而减少工作量。

具体到可移动的机器人的应用场景而言，无意义的图像指的是天花板和地面图像，而有意义的图像则是指的是，天花板和地面之间的图像，更具体而言，移动机器人会将图像划分为天花板、地面和可移动空间三个部分，其中只有可移动空间是有意义的，在具体的使用过程中会进行识别，而在训练过程中，输出结果集中同样包含着两种数据，一个是分类的结果，另一个则是深度数据，在修正过程中，分类的结果同样可以与深度数据耦合，从而实现对模型的进一步修正。

在本实施例中，通过赋予神经网络模型以两个任务，不止仅限于对于深度图进行构建，同时也用于对图像本身的内容进行分类，一方面节约了算力，另一方面也可以通过分类任务辅助进行神经网络模型的修正。

实施例4：

如图3所示，本实施例提供一种单目深度估计系统，包括：

输入数据获取模块1，用于获取单目图像和单线激光深度数据；

估计模块2，用于将所述单目图像和所述单线激光深度数据导入到预先训练好的估计模型中并输出深度图；所述估计模型基于High-resolution Net构建。

在传统技术中，出于躲避障碍和环境交互的考虑，一般会使用RGB-D相机或者双目相机计算深度，然而在实际使用的过程中RGB-D通常视野比较小，而双目相机的深度估计出于原理上的原因的计算复杂度较高，需要的算力较多，从而导致在实际的使用过程中，其效果较差。

而在本实施例中，使用单线激光结合单目图像，使用高分辨率神经网络模型来实现对于深度图的构建，一方面单目相机的视野要远高于RGB-D相机，另一方面神经网络的计算复杂度又要远远满足使用双目相机进行计算。

另一方面，相对于使用传统的神经网络，由于深度图的构建需要逐点对深度图进行构建，故在运用的过程中，其提取的特征必须具有较大的覆盖范围，也就是说其不能仅包含大尺度的特征，必须同时包含小尺度的特征，而由于HRNet具有通过不断在多分辨率表征之间进行信息交换，来提升高分辨率和低分辨率表征的表达能力，让多分辨率表征之间更好地相互促进，故非常适合于构建深度图的应用场景。

实施例5：

本实施例还提供一种单目深度估计系统，基于实施例4，还包括：

估计模型训练模块，具体包括：

模型初始化模块，用于初始化所述估计模型；

训练数据获取模块，用于获取单线激光深度数据集、单目图像数据集和深度图数据集；所述单线激光深度数据集、所述单目图像数据集和所述深度图数据集中的元素之间一一对应；所述单线激光深度数据作为竖直方向上直线的锚点；

模型训练模块，用于将所述单线激光深度数据集和所述单目图像数据集导入到所述估计模型中并产生输出结果集；

效果评估模块，用于对比所述输出结果集与所述深度图数据集并产生偏差评估结果；

模型修正模块，用于根据所述偏差评估结果修正所述估计模型。

在本实施例中，在训练估计模型的阶段，通过单线激光深度、单目图像和深度图来对模型进行计算，具体而言，将每个单线激光点的深度作为垂直方向上直线的锚点(anchor)，以此作为回归的基础进行模型的构建，并向估计模型中输入单目图像，并使用深度图作为Groundtruth使用，经过迭代训练，修正模型之后，产生最终的可使用的估计模型进行使用。

实施例6：

本实施例还提供一种单目深度估计系统，基于实施例5，还包括：估计模块具体包括，分类识别模块，使用所述估计模型对所述单目图像进行分类，将所述单目图像的内容划分为无影响单目图像和有影响单目图像，所述估计模型仅输出所述有影响单目图像的深度图。

在本实施例中，在具体的使用过程中，估计模型具有两个任务，一个是回归分析，通过神经网路做回归分析的方式对图像深度进行判断，另一个是分类，判断图像的哪些领域是对于应用场景有意义的图像，哪些是无意义的图像，并仅识别其中有意义部分的图像，对于其中没有意义的部分的图像则不进行深度判断，从而减少工作量。

具体到可移动的机器人的应用场景而言，无意义的图像指的是天花板和地面图像，而有意义的图像则是指的是，天花板和地面之间的图像，更具体而言，移动机器人会将图像划分为天花板、地面和可移动空间三个部分，其中只有可移动空间是有意义的，在具体的使用过程中会进行识别，而在训练过程中，输出结果集中同样包含着两种数据，一个是分类的结果，另一个则是深度数据，在修正过程中，分类的结果同样可以与深度数据耦合，从而实现对模型的进一步修正。

在本实施例中，通过赋予神经网络模型以两个任务，不止仅限于对于深度图进行构建，同时也用于对图像本身的内容进行分类，一方面节约了算力，另一方面也可以通过分类任务辅助进行神经网络模型的修正。

实施例7：

本实施例提供一种机器人，包括单目相机、单目激光发射器和控制中枢，所述控制中枢运行有实施例4-6任一所述的一种单目深度估计系统，以实现实施例1-3任一所述的一种单目深度估计方法。

实施例8：

本实施例提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被配置为由处理器调用时，实现实施例1-3任一所述的一种单目深度估计方法的步骤。

所述设备可以为桌上型计算机、笔记本、掌上电脑、平板型计算机、手机、人机交互屏等设备。所述设备可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，仅仅是设备的示例，并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，示例性的：设备还可以包括输入/输出接口、显示设备、网络接入设备、通信总线、通信接口等。通信接口和通信总线，还可以包括输入/输出接口，其中，处理器、存储器、输入/输出接口和通信接口通过通信总线完成相互间的通信。该存储器存储有计算机程序，该处理器用于执行存储器上所存放的计算机程序，实现上述实施例中的方法。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可以是所述设备的内部存储单元，示例性的：设备的硬盘或内存。所述存储器也可以是所述设备的外部存储设备，示例性的：所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(闪存Card)等。进一步地，所述存储器还可以既包括所述设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述设备所需要的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

通信总线是连接所描述的元素的电路并且在这些元素之间实现传输。示例性的，处理器通过通信总线从其它元素接收到命令，解密接收到的命令，根据解密的命令执行计算或数据处理。存储器可以包括程序模块，示例性的，内核(kernel)，中间件(middleware)，应用程序编程接口(Application Programming Interface，API)和应用。该程序模块可以是有软件、固件或硬件、或其中的至少两种组成。输入/输出接口转发用户通过输入/输出接口(示例性的，感应器、键盘、触摸屏)输入的命令或数据。通信接口将该设备与其它网络设备、用户设备、网络进行连接。示例性的，通信接口可以通过有线或无线连接到网络以连接到外部其它的网络设备或用户设备。无线通信可以包括以下至少一种：无线保真(WiFi)，蓝牙(BT)，近距离无线通信技术(NFC)，全球卫星定位系统(GPS)和蜂窝通信等等。有线通信可以包括以下至少一种：通用串行总线(USB)，高清晰度多媒体接口(HDMI)，异步传输标准接口(RS-232)等等。网络可以是电信网络和通信网络。通信网络可以为计算机网络、因特网、物联网、电话网络。设备可以通过通信接口连接网络，设备和其它网络设备通信所用的协议可以被应用、应用程序编程接口(API)、中间件、内核和通信接口至少一个支持。

在本申请所提供的实施例中，应该理解到，所揭露的设备/设备和方法，可以通过其他的方式实现。示例性的，以上所描述的设备/设备实施例仅仅是示意性的，示例性的，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，示例性的，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，设备或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序发送指令给相关的硬件完成，所述的计算机程序可存储于一介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述介质可以包括：能够携带所述计算机程序的任何实体或设备、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，示例性的：在某些司法管辖区，根据立法和专利实践，计算机可读的介质不包括电载波信号和电信信号。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序模块完成，即将所述设备的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

通过上述实施例，本发明的技术效果：

(1)通过单线激光结合单目图像，使用高分辨率神经网络模型来实现对于深度图的构建，实现了在不增加本地算力的情况下，快速构建视野范围广泛的深度图的技术效果；

(2)通过赋予神经网络模型以两个任务，不止仅限于对于深度图进行构建，同时也用于对图像本身的内容进行分类，一方面节约了算力，另一方面也可以通过分类任务辅助进行神经网络模型的修正。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。