目标运动的估计方法、设备及计算机存储介质

技术领域

本申请涉及机器人技术领域，特别是涉及目标运动的估计方法、设备及计算机存储介质。

背景技术

随着机器人技术的发展，越来越多的机器人产品走入人们的生活。动态目标的感知技术是支持机器人在动态环境中执行任务的重要保障。现有技术中，机器人采用背景检测识别技术及光流技术实现固定摄像头在静态视角及理想场景下的目标运动检测及目标运动估计，但上述方式仅限于固定摄像头在静态视角及理想场景下的目标运动检测及目标运动估计，若将其应用于移动平台，例如机器人运行场景下的目标运动估计，将导致机器人运行场景下的目标运动估计不准确。

发明内容

本申请至少提供一种目标运动的估计方法、设备及计算机存储介质，能够提高了目标运动估计的精度。

本申请第一方面提供了一种目标运动的估计方法，所述估计方法包括：

获取连续两帧多传感器的融合数据，其中，所述融合数据包括激光雷达的三维点云数据和双目相机的双目图像；

利用深度学习技术对所述融合数据进行处理，分别得到所述连续两帧双目图像的深度图像、所述连续两帧双目图像的初始分割标签及所述连续两帧双目图像的光流图像；

构建目标函数，利用所述三维点云数据、所述连续两帧双目图像的深度图像及所述连续两帧双目图像的光流图像计算所述目标函数中的初始目标运动；

构建能量函数，利用所述连续两帧双目图像的初始分割标签及所述目标函数中的初始目标运动对所述能量函数中目标分割标签和目标运动进行初始化，使所述能量函数迭代优化所述目标分割标签和所述目标运动，得到预测的目标运动轨迹。

本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的目标运动的估计方法。

本申请第三方面提供了一种计算机存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的目标运动的估计方法。

上述方案，获取连续两帧多传感器的融合数据，其中，融合数据包括激光雷达传感器的三维点云数据和双目相机的双目图像；利用深度学习技术对融合数据进行处理，分别得到连续两帧双目图像的深度图像、连续两帧双目图像目标的初始分割标签及连续两帧双目图像的光流图像；构建目标函数，利用三维点云数据、连续两帧双目图像的深度图像及连续两帧双目图像的光流图像计算目标函数中的初始目标运动；构建能量函数，利用连续两帧双目图像中目标的初始分割标签及目标函数中的初始目标运动对能量函数中的目标分割标签和目标运动进行初始化，使能量函数迭代优化目标分割标签和目标运动，得到预测的目标运动轨迹。能够利用获取的激光雷达的三维点云数据和双目相机的双目图像计算连续两帧双目图像的初始分割标签及初始目标运动，构建能量函数，利用初始分割标签及初始目标运动初始化能量函数中的目标分割标签和目标运动，使能量函数中的目标运动和目标分割标签能够同时被优化，得到精度高的目标运动轨迹，提高了目标运动轨迹的估计精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请提供的目标运动的估计方法第一实施例的流程示意图；

图2是本申请提供的目标运动的估计方法第二实施例的流程示意图；

图3是本申请提供的目标运动的估计方法中获取初始目标运动的流程示意图；

图4是本申请提供的电子设备一实施例的框架示意图；

图5是本申请提供的电子设备另一实施例的框架示意图；

图6是本申请提供的计算机存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

本申请提出了一种目标运动的估计方法，可应用于机器人在执行任务时估计动态环境中的目标运动，通过本申请的目标运动的估计方法可以提高目标运动估计的精度，具体请参见图1，图1是本申请提供的目标运动的估计方法第一实施例的流程示意图。本实施例的目标运动的估计方法可应用于目标运动估计装置，也可应用于具有数据处理能力的服务器,本申请以目标运动估计装置为例进行说明。

具体而言，本实施例的目标运动的估计方法包括以下步骤：

S101：获取连续两帧多传感器的融合数据。

本实施例中目标运动估计装置，例如自主导航机器人，在执行任务时，需对自身运行场景中的其他交通参与者进行准确定位及行为预测，避免自主导航机器人与其他交通参与者在执行任务时发生碰撞等问题。

具体地，多传感器包括激光雷达和双目相机，激光雷达获取当前运动环境中的三维点云数据，双目相机获取当前运行场景中的双目图像，双目图像包括左图像和右图像；融合数据包括激光雷达的三维点云数据和双目相机的双目图像。本实施例的目标运动估计装置可通过安装在目标运动估计装置中的激光雷达和双目相机，获取当前运行场景中的连续两帧三维点云数据和双目图像数据。采用目标运动估计装置内设置激光雷达和双目相机的方式获取融合数据，可以在目标运动估计装置开始执行任务时获取。

其中，激光雷达和双目相机可安装于目标运动估计装置的运行方向一侧，本实施例中，将激光雷达和双目相机安装于目标运动估计装置的运行方向一侧的中上部，以便于获取目标运动估计装置运行方向前方的三维点云数据和双目图像。

S102：利用深度学习技术对融合数据进行处理，分别得到连续两帧双目图像的深度图像、连续两帧双目图像的初始分割标签及连续两帧双目图像的光流图像。

为了准确估计连续两帧的融合数据中目标运动轨迹，本实施例的目标运动估计装置利用深度学习技术计算融合数据的初始值，初始值包括连续两帧双目图像的深度图像、连续两帧双目图像的初始分割标签及连续两帧双目图像的光流图像。

具体地，由于连续两帧的融合数据在深度神经网络中具有致密且稳定的视差效果，目标运动估计装置可利用连续两帧融合数据的视差效果获取连续两帧融合数据在双目相机坐标系下的深度图像。

由于分割结果是目标运动估计的精度保障，为了准确估计目标运动的轨迹，本实施例的目标运动估计装置可利用分割网络对连续两帧双目图像中的目标运动进行初始分割，得到分割准确性较低的初始分割标签。

为了提高目标运动估计的效率，本实施例的目标运动估计装置利用深度网络计算连续两帧双目图像的光流图像。

S103：构建目标函数，利用三维点云数据、连续两帧双目图像的深度图像及连续两帧双目图像的光流图像计算目标函数中的初始目标运动。

基于S102中获取的连续两帧双目图像的深度图像、连续两帧双目图像目标的初始分割标签及连续两帧双目图像的光流图像，粗略估算连续两帧双目图像中的初始目标运动。

具体地，本实施例目标运动估计装置通过构建目标函数，利用连续两帧双目图像的深度图像、连续两帧双目图像的初始分割标签及连续两帧双目图像的光流图像估算目标函数中的初始目标运动。

S104：构建能量函数，利用连续两帧双目图像的初始分割标签及目标函数中的初始目标运动对能量函数中目标分割标签和目标运动进行初始化，使能量函数迭代优化目标分割标签和目标运动，得到预测的目标运动轨迹。

由于分割标签是目标运动估计精度的保障，为了提高目标运动的估计精度，本实施例的目标运动估计装置利用初始分割标签及初始目标运动初始化能量函数中的目标分割标签和目标运动，使能量函数同时迭代优化能量函数中的目标运动和目标分割标签，得到精度高的预测目标运动轨迹，提高目标运动轨迹的估计精度。

上述方案中，目标运动估计装置获取连续两帧多传感器的融合数据，其中，融合数据包括激光雷达传感器的三维点云数据和双目相机的双目图像；利用深度学习技术对融合数据进行处理，分别得到连续两帧双目图像的深度图像、连续两帧双目图像的初始分割标签及连续两帧双目图像的光流图像；构建目标函数，利用三维点云数据、连续两帧双目图像的深度图像及连续两帧双目图像的光流图像计算目标函数中的初始目标运动；构建能量函数，利用连续两帧双目图像的初始分割标签及目标函数中的初始目标运动对能量函数中目标分割标签和目标运动进行初始化，使能量函数迭代优化目标分割标签和目标运动，得到预测的目标运动轨迹。能够利用获取的激光雷达的三维点云数据和双目相机的双目图像计算连续两帧双目图像的初始分割标签及初始目标运动，构建能量函数，利用初始分割标签及初始目标运动初始化能量函数中的目标分割标签和目标运动，使能量函数中的目标运动和目标分割标签能够同时被优化，得到精度高的目标运动轨迹，提高了目标运动轨迹的估计精度。

请继续参阅图2，图2是本申请提供的目标运动的估计方法第二实施例的流程示意图。具体而言，本公开实施例的方法可以包括如下步骤：

S201：获取连续两帧多传感器的融合数据。

本实施例的目标运动估计装置标定双目相机与激光雷达之间的外参T

S202：将融合数据输入视差网络，分别得到连续两帧双目图像的深度图像。

由于连续两帧的融合数据在深度神经网络中具有致密且稳定的视差效果，本实施例的目标运动估计装置可利用视差网络对融合数据进行处理，得到连续两帧双目图像的深度图像。

具体地，视差网络可以为分层金字塔的立方匹配网络PSM-Net(Pyramid StereoMatching Network)。例如，目标运动估计装置利用分层金字塔的立方匹配网络分别获取t0时刻双目图像中左图像I

S203：将融合数据输入语义分割网络，分别得到连续两帧双目图像的初始分割标签。

本实施例的目标运动估计装置利用语义分割网络对连续两帧双目图像中的目标进行语义分割，得到初始分割标签。

具体地，语义分割网络模型可以为Mask R-CNN。例如，目标运动估计装置利用MaskR-CNN获取t0时刻双目图像中左图像I

需要说明的是，

S204：将融合数据输入光流预测网络，得到连续两帧双目图像的光流图像。

由于现有的光流图像计算方法耗时量大，为了提高目标运动估计的效率，本实施例的目标运动估计装置利用光流预测网络获取连续两帧双目图像的光流图像。

具体地，光流预测网络可以为PWC-Net。例如，目标运动估计装置利用PWC-Net获取t0时刻双目图像中左图像I

S205：构建目标函数，利用三维点云数据、连续两帧双目图像的深度图像及连续两帧双目图像的光流图像计算目标函数中的初始目标运动。

本实施例的目标运动估计装置构建目标函数，利用S201中获取的三维点云数据及S204中获取的连续两帧双目图像的深度图像及连续两帧双目图像的光流图像计算目标函数中的初始目标运动。

具体地，利用三维点云数据、连续两帧双目图像的深度图像及连续两帧双目图像的光流图像计算目标函数中的初始目标运动可参阅图3，图3是本申请提供的目标运动的估计方法中获取初始目标运动的流程示意图。本实施例获取初始目标运动的过程可以包括如下步骤：

S1：获取三维点云数据的坐标对应的图像像素坐标及激光雷达深度图像。

本实施例的目标运动估计装置基于标定的双目相机和激光雷达之间的外参，将三维点云数据在激光雷达坐标系下的坐标(X

S2：利用连续两帧双目图像的光流图像及三维点云数据的坐标对应的图像像素坐标计算连续两帧三维点云数据的图像像素坐标的对应关系。

为了获知连续两帧三维点云数据的图像像素坐标的对应关系，以便根据对应关系计算初始目标运动，本实施例的目标运动估计装置利用连续两帧双目图像的光流图像及三维点云数据的坐标对应的图像像素坐标计算两帧双目图像中当前帧三维点云数据对应的图像像素坐标与后一帧三维点云数据对应的图像像素坐标间的对应关系。其中，光流图像包括每个像素点在双目图像上的平移向量(Δu,Δv)。例如，t0时刻三维点云数据的坐标对应的图像像素坐标为(u

S3：融合双目图像的深度图像和激光雷达深度图像，得到深度融合结果。

为了提高深度融合结果的准确性，本实施例的目标运动估计装置对双目图像的深度图像和激光雷达深度图像进行视差校验，若校验通过，则将激光雷达深度图像作为深度融合结果。

S4：构建目标函数，利用连续两帧三维点云数据的图像像素坐标的对应关系及深度融合结果计算目标函数的最小值。

本实施例的目标运动估计装置构建目标函数，利用S2中获取的连续两帧三维点云数据的图像像素坐标的对应关系及S4中获取的深度融合结果计算目标函数的最小值。

其中，目标函数满足下式：

其中，p0为t0时刻三维点云数据的图像像素坐标，

S5：利用目标函数最小值的对应值，计算初始目标运动。

在具体实施例中，目标运动估计装置可分别求解p0和p1的质心位置，将去质心后的坐标作为p0和p1的图像像素坐标，并通过SVD分解或非线性优化迭代的方法获取初始目标运动M

S206：获取双目相机约束函数、深度图像约束函数及分割标签约束函数，利用双目相机约束函数、深度图像约束函数及分割标签约束函数构建能量函数。

为了提高目标运动的估计精度，本实施例的目标运动估计装置利用双目相机约束函数、深度图像约束函数及分割标签约束函数构建能量函数。

具体地，能量函数满足下式：

其中，λ为双目相机约束函数、深度图像约束函数及分割标签约束函数的权重配置，ξ为预测的目标运动轨迹，S为目标分割标签。

双目相机约束函数满足下式：

其中，α

其中，

其中，K包含的f

深度图像约束函数满足下式：

其中，函数D(p)定义为p点所在深度图像对应的深度值，D

分割标签约束函数满足下式：

其中，

S207：利用初始分割标签和初始目标运动初始化能量函数中的目标分割标签和目标运动，固定初始目标运动，迭代更新优化能量函数，得到目标分割标签。

为了提高对能量函数的优化效率，本实施例的目标运动估计装置分步对能量函数进行优化。具体地，目标运动估计装置利用初始分割标签和初始目标运动初始化能量函数中的目标分割标签和目标运动，固定初始目标运动，将初始分割标签作为能量函数分割优化的候选值，进行多标签分割，得到目标分割标签。

在具体实施例中，采用QPBO(quadratic pseudo-Boolean optimization)迭代更新优化能量函数中的分割标签。

S208：固定目标分割标签，采用高斯牛顿方法优化能量函数，得到预测的目标运动轨迹。

基于S207中获取的目标分割标签，本实施例的目标运动估计装置固定目标分割标签，利用初始目标运动初始化能量函数中的目标运动，使能量函数迭代优化目标运动，得到预测的目标运动轨迹。

在具体实施例中，采用高斯牛顿方法优化能量函数的前两项，即E

为了避免双目相机在移动场景下自运动对目标运动估计的影响，本实施例的目标运动估计装置可将初始分割标签中前景目标的分割标签剔除，利用初始分割标签的其余分割标签初始化所述能量函数中的目标分割标签，使能量函数迭代更新优化目标分割标签。

上述方案中，目标运动估计装置利用获取的激光雷达的三维点云数据和双目相机的双目图像计算连续两帧双目图像的初始分割标签及初始目标运动，构建能量函数，利用初始分割标签及初始目标运动初始化能量函数中的目标分割标签和目标运动，使能量迭代优化目标分割标签和目标运动，得到预测的目标运动轨迹。目标运动估计装置利用激光雷达的三维点云数据和双目相机的双目图像对移动环境下的目标运动轨迹进行估计，提高了目标运动估计的准确性；目标运动估计装置将融合数据输入光流预测网络，分别得到连续两帧双目图像的光流图像，提高了目标运动估计的效率；目标运动估计装置对双目图像的深度图像和激光雷达深度图像进行视差校验，若校验通过，则将激光雷达深度图像作为深度融合结果，提高深度融合结果的准确性；目标运动估计装置结合激光雷达的三维点云数据和双目相机的双目图像的语义属性对能量函数进行优化，利于通过指定语义类别目标优化能量函数；目标运动估计装置利用初始分割标签和初始目标运动对能量函数进行分步优化，能够提高能量函数优化的效率及优化的准确性；目标运动估计装置将初始分割标签中前景目标的分割标签剔除，利用初始分割标签的其余分割标签迭代初始化能量函数中的目标分割标签，使能量函数更新优化目标分割标签，避免双目相机在移动场景下自运动对目标运动估计的影响。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

请参阅图4，图4是本申请提供的电子设备一实施例的框架示意图。电子设备包括获取模块、处理模块、第一计算模块和第二计算模块。

获取模块，用于获取连续两帧多传感器的融合数据，其中，融合数据包括激光雷达传感器的三维点云数据和双目相机的双目图像。

处理模块，用于利用深度学习技术对融合数据进行处理，分别得到连续两帧双目图像的深度图像、连续两帧双目图像的初始分割标签及连续两帧双目图像的光流图像。

第一计算模块，用于构建目标函数，利用三维点云数据、连续两帧双目图像的深度图像及连续两帧双目图像的光流图像计算目标函数中的初始目标运动。

第二计算模块，用于构建能量函数，利用连续两帧双目图像的初始分割标签及目标函数中的初始目标运动优化能量函数，得到预测的目标运动轨迹。

请参阅图5，图5是本申请提供的电子设备一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一目标运动的估计方法实施例的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑、耳机、手机等移动设备，在此不做限定。

具体而言，处理器52用于控制其自身以及存储器51以实现上述任一目标运动的估计方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。

请参阅图6，图6是本申请提供的计算机存储介质一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一目标运动的估计方法实施例的步骤。

在一些实施例中，本实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。