联合标定方法、其装置、电子设备及无人机

【技术领域】

本发明涉及数据融合技术领域，尤其涉及一种联合标定方法、其装置、电子设备及无人机。

【背景技术】

随着电子信息技术的不断发展，越来越多的自动化设备，诸如无人机等开始被广泛应用于各种不同的行业。这些自动化设备上通常会搭载多种不同类型的传感器，例如毫米波雷达和摄像头等。这些传感器设备具有各自的优势和特点，通过相互配合的方式来满足各种应用场景中的使用需求。

如何将一个自动化设备上搭载的多个传感器设备采集获得的数据(例如，毫米波雷达检测数据和视觉图像数据)进行融合，以使自动化设备能够方便的将不同的传感器设备进行整合是目前迫切需要解决的问题。

【发明内容】

本申请实施例提供的联合标定方法、其装置、电子设备及无人机，能够至少克服现有数据融合方法的至少一部分缺陷。

第一方面，本申请实施例提供了一种联合标定方法。该联合标定方法包括：获取并上传探测雷达的位姿信息；所述位姿信息包括：所述探测雷达的离地高度以及所述探测雷达的俯仰角度；接收与所述探测雷达的位姿信息相匹配的目标标定参数；基于所述目标标定参数，确定探测雷达与图像采集设备的空间转换关系。

可选地，所述探测雷达与图像采集设备的空间转换关系包括：目标的雷达检测数据以及所述目标在探测雷达坐标系的三维坐标之间的坐标对应关系；所述探测雷达坐标系与图像采集设备坐标系之间的第一坐标转换关系；所述图像采集设备坐标系与二维图像坐标系之间的第二坐标转换关系；以及所述二维图像坐标系与二维像素坐标系之间的第三坐标转换关系。

可选地，所述坐标对应关系与所述探测雷达的位姿信息相关；所述雷达检测数据包括：探测雷达与目标之间的距离以及探测雷达与目标之间的目标水平角。

可选地，所述坐标对应关系依照如下算式所示：

其中，目标在探测雷达坐标系中的坐标为(X

可选地，所述第一坐标转换关系依照如下算式所示：

其中，目标在探测雷达坐标系中的坐标为(X

可选地，所述第二坐标转换关系依照如下算式所示：

其中，目标在图像采集设备坐标系中的坐标为(X

可选地，所述第三坐标转换关系依照如下算式所示：

其中，二维图像坐标系的坐标原点在二维像素坐标系中的坐标为(u

第二方面，本申请实施例提供了一种联合标定方法。该方法包括：接收探测雷达的位姿信息；所述位姿信息包括：所述探测雷达的离地高度以及所述探测雷达的俯仰角度；获取在所述位姿信息下的若干测试坐标数据；通过所述测试坐标数据，计算确定预设的空间转换函数中的待定参数；其中，所述预设的空间转换函数被配置为：表示探测雷达和图像采集设备之间的空间转换关系；下发所述计算确定的待定参数。

可选地，所述探测雷达和图像采集设备之间的空间转换关系包括：探测雷达坐标系与二维像素坐标系之间的坐标转换关系；所述测试坐标数据包括：测试点在所述探测雷达坐标系中的第一坐标数据和同一个测试点在所述二维像素坐标系中的第二坐标数据。

可选地，所述方法还包括建立目标的雷达检测数据以及所述目标在探测雷达坐标系的三维坐标之间的坐标对应关系；依次确定探测雷达坐标系与图像采集设备坐标系之间的第一坐标转换关系；所述图像采集设备坐标系与二维图像坐标系之间的第二坐标转换关系；以及所述二维图像坐标系与二维像素坐标系之间的第三坐标转换关系；整合所述坐标对应关系、第一坐标转换关系、第二坐标转换关系以及第三坐标转换关系，获得所述预设的空间转换函数；其中，所述坐标对应关系与所述探测雷达的位姿信息相关；所述雷达检测数据包括：探测雷达与目标之间的距离以及探测雷达与目标之间的目标水平角。

可选地，所述预设的空间转换函数依照如下算式所示：

p＝K[R t]q

其中，坐标q为所述第一坐标数据，坐标p为所述第二坐标数据，K为图像采集设备的内参；R为正交旋转矩阵，t为三维平移向量；

所述正交旋转矩阵和三维平移向量中包括若干项待定参数，依照如下算式所示：

w＝[θ

其中，θ

可选地，所述通过所述测试坐标数据，计算确定预设的空间转换函数中的待定参数，具体包括：

通过计算如下约束函数的非线性最优解，计算确定所述待定参数；

其中，p为测试点在二维像素坐标系中的坐标数据；q为测试点在探测雷达坐标系中的坐标数据；K为图像采集设备的内参；R为正交旋转矩阵，t为三维平移向量。

第三方面，本申请实施例提供了一种联合标定装置。该联合标定装置包括：位姿信息获取模块，用于获取并上传探测雷达的位姿信息；所述位姿信息包括：所述探测雷达的离地高度以及所述探测雷达的俯仰角度；标定参数接收模块，用于接收与所述探测雷达的位姿信息相匹配的目标标定参数；联合标定模块，用于基于所述目标标定参数，确定探测雷达与图像采集设备的空间转换关系。

第四方面，本申请实施例提供了一种控制器。该控制器包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的联合标定方法。

第五方面，本申请实施例提供了一种联合标定装置。该联合标定装置包括：位姿信息接收模块，用于接收探测雷达的位姿信息；所述位姿信息包括：所述探测雷达的离地高度以及所述探测雷达的俯仰角度；测试数据获取模块，用于获取在所述位姿信息下的若干测试坐标数据；待定参数计算模块，用于通过所述测试坐标数据，计算确定预设的空间转换函数中的待定参数；其中，所述预设的空间转换函数被配置为：表示探测雷达和图像采集设备之间的空间转换关系；参数下发模块，用于下发所述计算确定的待定参数。

第六方面，本申请实施例提供了一种服务器。该服务器包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的联合标定方法。

第七方面，本申请实施例提供了一种电子设备。该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的联合标定方法。

第四方面，本申请实施例提供了一种无人机。该无人机包括：机身；所述机身上挂设有探测雷达以及图像采集设备；机臂，与所述机身相连；动力装置，设于所述机臂，用于给所述无人机提供飞行的动力；以及飞行控制器，所述飞行控制器设于所述机身，分别与所述探测雷达和图像采集设备通信连接；其中，所述飞行控制器存储有预设的标定参数集合，被配置为：执行如上所述的联合标定方法，确定所述探测雷达的雷达数据和所述图像采集设备的图像数据之间的对应关系。

可选地，该无人机还包括：云台；所述云台被设置在所述机身的腹部；所述探测雷达和所述图像采集设备被设置在所述云台上；其中，所述飞行控制器被配置为：通过所述云台的倾斜角度，获取所述探测雷达的俯仰角度。

可选地，该无人机还包括：测高雷达；所述测高雷达被设置在所述机身上，用于检测所述无人机的离地高度；其中，所述飞行控制器被配置为：通过所述测高雷达检测的无人机离地高度，获取所述探测雷达的离地高度。

第八方面，本申请实施例提供了一种系统。该系统包括：如上所述的服务器；如上所述的无人机；其中，所述服务器与所述无人机之间通信连接。

本申请实施例提供的联合标定方法的其中一个有利方面是：能够根据探测雷达的姿态变化(例如离地高度、俯仰角度变化)而相应的修正更新标定参数，确保了所获得的空间转换关系的准确性，提升了探测雷达和图像采集设备的数据融合效果。

本申请实施例提供的系统的其中一个有利方面是：通过服务器与无人机之间的相互配合，能够在确保计算实时性的同时，为探测雷达和图像采集设备之间的数据融合提供精确的标定参数。

【附图说明】

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1为本申请实施例的应用环境的示意图；

图2a为本申请实施例提供的坐标系对应关系示意图，示出了探测雷达坐标系与世界坐标系之间的立体几何关系；

图2b为本申请实施例提供的坐标系对应关系示意图，示出了图像采集设备坐标系从三维投影转换到二维坐标系的情形；

图2c为本申请实施例提供的坐标系对应关系示意图，示出了二维图像坐标系与二维像素坐标系之间的对应关系；

图3a为本申请实施例提供的联合标定方法的方法流程图，示出了由无人机执行的方法步骤；

图3b为本申请实施例提供的联合标定方法的方法流程图，示出了由服务器执行的方法步骤；

图4为本申请实施例提供的获得预设的空间转换函数的方法流程图；

图5为本申请实施例提供的标定参数集合的示意图，示出了记录了多组标定参数及其匹配的位姿信息区间的标定参数表；

图6为本申请实施例提供的无人机和服务器的信息交互示意图；

图7a为本申请实施例提供的联合标定装置的功能框图，示出了用于执行图3a所示的方法步骤的装置；

图7b为本申请实施例提供的联合标定装置的功能框图，示出了用于执行图3b所示的方法步骤的装置；

图8为本申请实施例提供的电子设备的示意图。

【具体实施方式】

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

此外，下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

“毫米波雷达”是指工作在毫米波波段的探测雷达。其穿透力强，可以穿透大雨、大雪和强沙尘等恶劣天气，也能够在光强环境导致视觉效果退化、夜视条件等场景下对弱小目标进行精确检测，从而解决自动化设备(例如无人机)在恶劣条件下能见度低、感知退化的问题，增强空间态势感知能力。在本申请中，以毫米波雷达为例进行详细描述。本领域技术人员可以理解，还可以使用其他不同类型的探测雷达。

“图像采集设备”是指感知目标区域的光信号并提供对应视觉数据的传感器(例如，运动相机或者摄像机)。其成本低，并且在物体高度与宽度测量精度、轮廓识别和行人识别准确度方面具有优势，是实现目标分类、标识识别等不可缺少的传感器。

通常地，将雷达数据与视觉数据进行融合，令两种传感器的优势互补，从而建立具有诸如传感器融合感知、威胁地形告警、威胁障碍物凸显、且具有辅助飞行能力的多功能控制系统，以实现对无人机操作员全天时、全天候和全地形的全场景环境感知能力，继而为危险地形、障碍物的及时规避提供足够的时间，保障无人机在任何空况下的安全飞行。

“联合标定”是指确定多个不同的坐标系之间的坐标转换关系的过程。其用于建立多源数据(例如雷达数据和视觉数据)之间的对应关系，能够使数据在不同的坐标系之间转换，是实现数据融合的前提。

传统的毫米波雷达数据和图像数据的联合标定过程中，所采用的数据模型都以二维平面为基础而建立的，未考虑毫米波雷达的高度相关信息。但在一些特定的使用场景(例如毫米波雷达被搭载在无人机上)，毫米波雷达可能会随无人机的飞行姿态变化而发生高度、俯仰角等变化。其中，俯仰角度可以是指毫米波雷达工作时，雷达法线方向与水平方向之间的夹角。

由此，传统的基于二维平面的数据模型无法很好的适应这些使用场景，在无人机的姿态发生变化的情况下，其数据模型会失效，造成雷达数据无法被精确的转换投影到图像数据的坐标系中，深度信息出现较大偏差等的问题。

申请人发现：通过建立基于三维空间的数据录取模型，可以适应无人机的姿态变化，不会损失毫米波雷达在高度和俯仰角上的数据信息。通过提供随高度和俯仰角变化的标定参数的方式，能够很好的实现雷达数据与视觉数据之间的数据融合。

图1为本申请实施例提供的应用环境的示意图。该应用环境以无人机和服务器组网形成的系统为例。如图1所示，该系统可以包括：若干无人机10以及服务器20。

其中，该无人机10可以包括：机身11、机臂12、动力装置13以及飞行控制器14。

机身11是无人机10的主体结构。其具有满足实际情况需要的合适体积以及形状，用于提供足够的空间以容纳一个或者多个功能模块和部件。例如，机身11上可以设置有多种不同的传感器设备，包括但不限于探测雷达以及图像采集设备。

在一些实施例中，机身的腹部还可以设置有可调整倾斜角度的云台或者其他类似的结构装置。探测雷达和图像采集设备均安装固定在云台上，能够方便的根据无人机的飞行高度来相应的调整自身的俯仰角度。

在另一些实施例中，该传感器设备还可以包括：测高雷达。该测高雷达是用于精确检测无人机离地高度的传感器设备。其具体可以是任何合适类型的精确距离检测装置，例如毫米波雷达。当然，在牺牲部分精确性的情况下，还可以替代性的使用诸如高度计等其他类似的传感器设备来检测获得当前的无人机离地高度。

机臂12是由机身向外延伸的部分，作为螺旋桨等无人机动力装置的安装或者固定结构。机臂可以与机身采用一体成型的结构，也可以以可拆卸连接的形式与机身连接。典型的，在四轴无人机上，机臂可以设置为4个，沿对角线对称延伸，形成四个螺旋桨的安装位置。

动力装置13是用于为无人机提供飞行动力的结构装置。其具体可以采用任何合适类型的动力和结构设计。例如，由电机驱动的，分别安装固定在机臂末端的安装位置的螺旋桨。

飞行控制器14是内置在机身中的无人机控制核心。其可以是任何类型的，具有合适逻辑判断以及计算能力的电子设备，包括但不限于基于大规模集成电路实现的处理器芯片，一体化的片上系统(SOC)以及通过总线连接的处理器和存储介质。基于所要实现的功能(例如执行本申请实施例提供的联合标定方法)，飞行控制器14可以包括若干个不同的功能模块，这些功能模块可以是软件模块、硬件模块或者软件和硬件结合的，用于实现某一项或多项功能的模块化装置。

服务器20是任何合适类型的，能够提供相对于飞行控制器14而言，显著强大的计算性能和存储能力电子化计算平台。在本申请实施例中不对服务器20的具体实现或者部署方式进行具体限定，其可以包括但不限于云端服务器、边缘服务器或者其他合适类型的服务器或者服务器集群。

服务器20被远程的部署在无人机10之外，可以通过任何合适类型的无线通信方式与无人机10的飞行控制器14之间建立通信连接，实现两者之间的数据传输。该通信连接可以是间接通信连接，也可以是直接通信连接，只需要能够实现服务器20与无人机10之间的数据交互即可。

应当说明的是，本申请实施例为陈述简便而示例性的展示了该联合标定方法的应用场景。本领域技术人员还可以对图1所示的应用场景中的一个或者多个设备进行调整，而不限于图1所示。例如，在服务器20与无人机10之间部署中继基站。多个无人机10可以由一个中继基站控制，经由中继基站实现服务器与无人机之间的通信连接。

本领域技术人员可以理解，基于相类似的原理，还可以将本申请实施例提供的联合标定方法应用于毫米波雷达可能发生高度和俯仰角度变化的其他应用场景之中。本申请实施例公开的发明思路并不限于在图1所示的应用场景。

为充分说明本申请实施例提供的联合标定方法在图1所示的应用场景中的具体应用过程，以下结合图2a至图2c，对基于三维空间的数据录取模型实例的构建进行详细描述。在本具体实例之中，该数据录取模型描述了探测雷达坐标系、图像采集设备坐标系、二维图像坐标系以及二维像素坐标系之间的坐标转换关系。

其中，探测雷达坐标系是以发射天线相位中心为坐标原点，满足右手法则的三维坐标系；图像采集设备坐标系是以设备的光学中心为坐标原点，满足右手法则的三维坐标系；二维像素坐标系是以图像平面的左上角为坐标原点的二维坐标系，坐标轴上为离散化的像素。二维图像坐标系以成像平面(如CCD)的中心为坐标原点，其坐标轴分别与二维像素坐标系的坐标轴平行。

首先，图2a为本申请实施例提供的探测雷达坐标系与世界坐标系之间的立体几何关系示意图，示出了毫米波雷达随无人机的飞行而处于特定高度和特定倾斜角度时，探测雷达坐标系与世界坐标系之间的立体几何关系。

如图2a所示，D为三维空间中的任意一点(例如探测目标)；世界坐标系的坐标原点为O，三个坐标轴分别表示为X1,Y1和Z1；探测雷达坐标系的坐标原点为C，三个坐标轴分别表示为X,Y和Z。

探测雷达的离地高度为H，探测雷达的俯仰角度为α(即毫米波雷达工作时雷达法线方向与水平方向之间的夹角)；毫米波雷达与D点之间的距离为R，Rs为毫米波雷达的中心斜距，D点相对于毫米波雷达的瞬时方位角为γ，D点相对于毫米波雷达的瞬时俯仰角为ψ；探测雷达在采用一维线性MIMO阵进行测角时，与D点之间的目标水平角为θ

1)在图2a中，可以过D点作垂直于OB的直线DG，过G点作垂直于CB的直线GE。结合三垂线定理，可以确定DE垂直于BC。在BCJ组成的平面内，作垂直于平面BCJ的DQ。经由这些辅助线段，可以确定D点在探测雷达坐标的三维坐标可以为D＝[DG,-GE,CE]。

2)毫米波雷达对D点的雷达检测数据主要包括雷达与D点之间的距离R以及雷达与D点之间的目标水平角。两个雷达检测数据的计算检测过程具体如下：

2.1)对于距离R，以调频连续波(FMCW)雷达为例，毫米波雷达可以发射调频连续波信号。该调频连续波信号的频率可以在每个调频周期内呈线性变化，当接收到反射回波信号时，可以首先对反射回波信号进行数字下变频，然后将样本值排序为二维矩阵，再将时域回波信号经二维(2-D)快速傅里叶变换(FFT)变换到频域维，从而得到待测目标对应的二维多普勒矩阵(RDM)，结合恒虚警检测(CFAR)算法即可得到待测目标的目标距离R。

2.2)对于目标水平角，以二维DOA(Direction Of Arrival)估计算法为例，具体检测过程如下：

假设对于D点，存在N个天线组成的雷达阵列，天线阵元间隔为的d＝λ/2，其中λ为波长，假设三维空间中D点相对于雷达的角度位置为(γ，ψ)。其中，γ∈(-π/2，π/2)，ψ∈(0，π/2)分别表示任意点目标对应的瞬时方位角和瞬时俯仰角，则用于估计波达方向(DOA)的信号向量s可以通过如下算式(1-1)表示：

s＝A·a(γ，ψ)(1-1)

其中，A表示任意点目标的散射系数，a(γ,ψ)表示信号导向矢量，可以通过如下算式(1-2)表示：

a(γ，ψ)＝[1，e

对于一维DOA估计，仅考虑方位角的导向矢量可表示为：

b＝[1-，e

由此，可以通过如下算式(1-4)得到方位估计角度：

在确定了目标距离R和目标高度差H之后，如图2a所示，探测雷达与任意点目标D之间的瞬时俯仰角可以按照如下算式(1-5)表示：

因此，考虑由高度引起的俯仰角对应的方位导向矢量可以按照如下算式(1-6)表示：

其中，d为均匀天线阵元间隔，N为接收天线数量，[]

3)结合上述步骤推导获得的导向矢量表达式，在采用一维线性MIMO阵进行测角时，雷达与待测目标D之间的角度为θ

sin∠θ

3.1)根据立体几何中的折叠角公式，可以确定不同角度之间满足如下算式(2-2)：

cos∠DCE＝cos∠QCE*cos∠DCQ(2-2)

3.2)联合算式(2-1)和算式(2-2)，可以化简获得如下算式(3)：

3.2)结合图2a中的几何关系，上述算式(3)可以被进一步化简为如下算式(4)：

QE＝DG＝Rsin∠θ

3.3)结合图2a中的几何关系，OB与OD之间的夹角满足如下算式(5)：

3.4)结合图2a中的几何关系，CE可以通过如下算式(6)计算获得：

CE＝Hsinα+OGcosα(6)

3.5)利用相似三角形的原理，可以确定线段之间的比例满足如下算式(7)：

其中，BE可以由Rs与CE相减获得。

由此，基于探测雷达探测的雷达数据和位姿信息，三维空间中的任意一点D在探测雷达坐标系中的三维坐标可以按照如下算式(8)所示：

如算式(8)所示，该数据录取模型在基于目标的雷达检测数据而确定其在探测雷达坐标系之中的三维坐标时，引入了探测雷达的离地高度H以及俯仰角度α这两项参数，从而使其能够很好的反映探测雷达在离地高度和俯仰角度变化时的情形。

其次，探测雷达坐标系与图像采集坐标系之间的坐标转换关系可以通过构造的正交旋转矩阵以及三维平移向量来表示。探测雷达坐标系与图像采集坐标系之间的转换关系可以按照如下算式(9)所示：

其中，(X

t＝(X

在已知多个三维空间样本点在探测雷达坐标系和图像采集设备坐标系的情况下，可以通过任何合适的方式计算确定该正交旋转矩阵中的三维旋转角度和三维平移向量中的平移量，从而获得探测雷达坐标系与图像采集坐标系之间的坐标转换关系。

应当说明的是，计算确定正交旋转矩阵和三维平移向量的具体方法为本领域技术人员所熟知，在此不作赘述。

再次，图2b为本申请实施例提供的图像采集设备坐标系与二维图像坐标系之间的投影关系示意图，示出了图像采集设备坐标系从三维投影转换到二维坐标系的情况。

如图2b所示，图像采集设备坐标系的坐标原点为O

1.1)在图2b中，点O

其中，f为焦距，P点在图像采集设备坐标系中的坐标表示为(X

1.2)将算式(10)进行变换后，可以获得如下算式(11)所示的p点的坐标数据：

1.3)对算式(10)进行整理，可以获得图像采集设备坐标系和二维图像坐标系之间的坐标转换关系如下算式(12)所示：

最后，经过算式(12)转换获得的二维图像坐标系中的坐标数据通常采用mm等类似长度单位，而非离散的像素点。而在常用的图像采集设备(例如数码相机)进行采集图像时，其首先形成标准电信号的形式，然后再通过数模转换为数字图像。采集获得的每幅图像的存储形式是一个M×N的数组，M行N列的图像中每一个元素的数值代表的是图像的灰度。由此，还可以进一步确定二维图像坐标系与二维像素坐标系之间的坐标转换关系，以便于完成雷达数据和图像数据之间的数据融合。

图2c为本申请实施例提供的二维图像坐标系与二维像素坐标系之间的对应关系示意图。如图2c所示，二维图像坐标系以图像平面的中心为坐标原点，两个坐标轴分别平行于图像平面的两条垂直边，分别使用X和Y表示。二维图像坐标系中的坐标可以使用(x，y)表示，单位为mm。

二维像素坐标系以图像平面的左上角顶点为原点，两个坐标轴分别平行于二维图像坐标系的X轴和Y轴，分别使用U和V表示。二维像素坐标系中的坐标可以使用(u，v)表示。

设1个像素等于dmm，二维图像坐标系与二维像素坐标系之间的坐标转换关系可以按照如下算式(13)所示：

其中，(u

由此，基于上述数据录取模型的具体实例，位于三维空间中的任意一点都可以通过如下所示的算式(15)，从探测雷达坐标系转换至像素坐标系之中，实现图像数据与雷达数据的数据融合。其中，算式(15)通过联立上述的算式(9)，算式(12)以及算式(14)获得。

本领域技术人员可以理解，在上述算式(15)之中，K是图像采集设备的内参。K具体的获取方法为本技术领域人员所熟知，可以通过诸如张正友标定法等的标定方法确定，在此不作赘述。T是与探测雷达的高度和俯仰角度相关的标定参数，会随探测雷达的高度和俯仰角度变化而变化。

应当说明的是，本申请实施例提供的数据录取模型的具体实例仅用于示例性的说明如何在探测雷达坐标系和二维像素坐标系之间的坐标转换关系之中引入探测雷达的高度信息和俯仰角度信息，而不用于对本申请的范围进行限制。根据实践的需要或者具体使用场景的特点等实际情况，本领域技术人员容易想到将其中的一个或者多个步骤、参数进行调整、替换或者变更，通过合理的推导获得其它的数据录取模型。

本申请实施例提供的数据录取模型的其中一个有利方面是：考虑了探测雷达在三维立体空间中的姿态变化所造成的影响，有效的解决了因高度和俯仰角度变化而导致数据录取平面失效的问题。

基于上述与探测雷达的高度和俯仰角相关的数据录取模型，本申请实施例还提供了一种联合标定方法。图3a为本申请实施例提供的联合标定方法的方法流程图。其可以由飞行控制器14所执行，以帮助实现无人机10的雷达数据和视觉数据的数据融合。如图3a所示，该联合标定方法包括如下步骤：

S310、获取并上传探测雷达的位姿信息。

其中，该位姿信息可以包括：探测雷达的离地高度以及探测雷达的俯仰角度。在实际操作中，以图1所示的应用场景为例，被固定设置在无人机云台上的探测雷达的离地高度即为无人机的飞行高度，可以通过无人机的测高雷达、GPS模块或者海拔传感器等传感器设备检测获得。而探测雷达的俯仰角度则可以通过读取无人机云台的倾斜角度来确定。在较佳的实施例中，可以采用具有较高检测精度的测高雷达来检测获得探测雷达的离地高度。具体的，该探测雷达可以是能够获取物体深度信息的毫米波雷达。

在本实施例中，使用“上传”这样的术语来表示将无人机10获得的位姿信息传递至服务器20的操作过程。其具体可以采用任何合适类型的数据格式以对应的数据传递方式来实现，在此不作限制。

S330、接收与探测雷达的位姿信息相匹配的目标标定参数。

其中，“目标标定参数”是指与探测雷达的当前位姿信息相匹配的一组标定参数。在实际操作中，目标标定参数可以由服务器20基于预先设定好的模型和当前位姿信息计算获得。这些目标标定参数被确定或生成以后，就可以通过任何合适的方式进行无线传递，被无人机控制器14所接收。

S350、基于目标标定参数，确定探测雷达与图像采集设备的空间转换关系。

其中，“空间转换关系”是指探测雷达到图像采集设备的对应关系。其可以通过一个或者多个旋转矩阵或者其他类似的方式表示，以使得雷达数据和/或视觉数据能够在多个不同的坐标系之间转换，进而完成数据融合。

具体的，以上述数据录取模型的具体实例为例，该目标标定参数可以是算式(15)中的T。在确定了目标标定参数T以后，就可以相应的获得探测雷达与图像采集设备之间的空间转换关系。

在一些实施例中，上述空间转换关系可以包括：目标的雷达检测数据以及所述目标在探测雷达坐标系的三维坐标之间的坐标对应关系；探测雷达坐标系与图像采集设备坐标系之间的第一坐标转换关系；图像采集设备坐标系与二维图像坐标系之间的第二坐标转换关系以及二维图像坐标系与二维像素坐标系之间的第三坐标转换关系。

其中，如图2a和算式(8)所示，该坐标对应关系是一个与探测雷达的离地高度和俯仰角度相关的函数。在特定的离地高度和俯仰角度下，基于毫米波雷达检测获得的目标的距离R以及目标水平角θ

换言之，探测雷达的离地高度和俯仰角度的变化会导致同一个目标在探测雷达坐标系中的三维坐标发生变化。通过这样的方式，将探测雷达的姿态变化信息也引入到模型之中，能够实现探测雷达获得的雷达数据与图像数据之间更精确的数据融合。

另外，第一坐标转换关系可以由算式(9)表示，第二坐标转换关系可以由算式(12)表示，第三坐标转换关系则可以由算式(14)表示。通过将第一坐标转换关系、第二坐标转换关系以及第三坐标转换关系整合，即可获得算式(15)所示的，探测雷达坐标系与二维像素坐标系之间的坐标转换函数。

本申请实施例提供的联合标定方法的其中一个有利方面是：可以根据探测雷达的位姿信息变化而相应的对标定参数进行修正，进而获得与当前探测雷达所处位置相匹配的精确空间转换关系。基于该空间转换关系，探测雷达获得的雷达数据能够方便的转换到二维像素坐标系之中，实现深度信息与图像视觉数据等多源数据之间的数据融合。

图3b为本申请另一实施例提供的联合标定方法，其可以由服务器20所执行，与图3a所示的方法步骤相配合，以帮助无人机10完成探测雷达和无人机控制器之间的联合标定。如图3b所示，该联合标定方法包括如下步骤：

S320、接收探测雷达的位姿信息。

其中，该位姿信息可以包括：探测雷达的离地高度以及探测雷达的俯仰角度。步骤S320是与步骤S310对向实现的步骤。在实际操作中，位姿信息可以直接或者间接来自与无人机10。

S340、获取在位姿信息下的若干测试坐标数据。

其中，测试坐标数据是已知的，一些测试点在不同的坐标系之中的坐标数据。其具体可以通过任何合适的方式，诸如软件模拟环境等获得。

S360、通过测试坐标数据，计算确定预设的空间转换函数中的待定参数。

其中，该预设的空间转换函数是表示探测雷达和图像采集设备之间的空间转换关系的函数，其可以与空间转换关系具有相同或者相近的表达式。在本实施例中，因其存在若干待定的参数而将其称为“空间转换函数”以便于与步骤S350的“空间转换关系”相区分。

在一些实施例中，测试坐标数据与实际使用的空间转换函数(或空间转换关系)相关。具体的，在探测雷达和图像采集设备之间的空间转换关系包括：探测雷达坐标系与二维像素坐标系之间的坐标转换关系时，该测试坐标数据可以包括：测试点在探测雷达坐标系中的第一坐标数据和同一个测试点在二维像素坐标系中的第二坐标数据。

S380、下发计算确定的待定参数。

其中，计算确定的待定参数即为步骤S340的目标标定参数，可以将其通过任何合适的数据传递方式提供至无人机。

在本实施例中，使用“下发”这样的术语来表示将服务器20计算确定的待定参数传递至无人机10的操作过程。其具体可以采用任何合适类型的数据格式以对应的数据传递方式来实现，在此不作限制。

本申请实施例提供的联合标定方法的其中一个有利方面是：利用服务器相对而言显著强大的计算能力，能够帮助无人机快速完成跟随探测雷达的位姿信息变化而变化的目标标定参数的计算，使其能够被应用于较高实时性的场景之中。

在一些实施例中，以上述数据录取模型的具体实例为例，如图4所示，获得空间转换函数的具体步骤可以包括：

S410、建立目标的雷达检测数据以及目标在探测雷达坐标系的三维坐标之间的坐标对应关系。

其中，该坐标对应关系可以如算式(8)所示，是一个与高度和俯仰角度相关的三维坐标表达式。其可以通过探测雷达与目标之间的距离以及探测雷达与目标之间的目标水平角来表示目标的三维坐标。

S420、依次确定探测雷达坐标系与图像采集设备坐标系之间的第一坐标转换关系、图像采集设备坐标系与二维图像坐标系之间的第二坐标转换关系以及二维图像坐标系与二维像素坐标系之间的第三坐标转换关系。

其中，第一坐标转换关系、第二坐标转换关系以及第三坐标转换关系分别如算式(9)，算式(12)以及算式(14)所示。在此，使用“第一”、“第二”以及“第三”仅用于区分不同坐标系之间的坐标转换关系，而不用于对其表达方式等具体方面进行限定。

S430、整合坐标对应关系、第一坐标转换关系、第二坐标转换关系以及第三坐标转换关系，获得预设的空间转换函数。

其中，本实施例使用“整合”这样的术语来表示：将多个转换关系和三维坐标表达式联立，并相应进行化简和/或整理的一个或者多个数据运算操作。具体的数学运算操作在此不作具体限定，可以根据实际情况的需要进行调整或者设置，只需要能够确定目标在探测雷达坐标系与二维像素坐标系之间的对应关系即可。

为充分说明本申请实施例的服务器确定待定参数的方法，以下以算式(15)所示的数据录入模型为例，详细描述确定空间转换函数及其函数中待定参数的具体过程。

1)划分连续的高度区间：

首先，设定高度区间的划分步进值和离地高度范围。

其中，该划分步进值是一个经验性数值，可以由技术人员根据实际情况的需要而设置或者调整。较佳的是，可以适当的扩大所使用的划分步进值以达到减少划分的高度区间数量，减少外参调整参数。离地高度范围可以根据无人机在正常工作时的飞行高度范围等实际情况的而设置，在此不作具体限定。

然后，按照如下算式(16-1)，将离地高度范围划分为m个高度区间：

其中，下标m为高度区间的序号，ceil为向上取整，H

2)划分连续的俯仰角度区间：

首先，设定俯仰角度区间的划分步进值和俯仰角度范围。

其中，俯仰角度的划分步进值与高度区间的相类似，同样也是一个经验性数值，可以由技术人员根据实际情况的需要而设置或者调整。俯仰角度范围是根据无人机正常工作时，云台可能调整的俯角角度范围而设定，在此不作具体限定。较佳的是，可以选择设置较大的俯仰角度范围以尽可能的将无人机飞行过程中的极端情况涵盖在内，以确保标定参数的正确性。

然后，按照如下算式(16-2)，将所述俯仰角度范围划分为n个俯仰角度区间：

其中，下标n为高度区间的序号，ceil为向上取整，α

由此，通过上述划分获得的m个高度区间和n个俯仰角度区间就可以组成m*n个位姿信息区间。

3)标定参数的计算：

假定对于空间中的一个测试目标，已知其在二维像素坐标系中的坐标为p，在探测雷达坐标系中的坐标为q，可以对上述算式(15)进行整理并变形为如下算式(17)：

p＝K[R t]q(17)

其中，K是不会随探测雷达的高度和俯仰角度变化的内参，可以通过诸如张正友标定法等方式，通过对图像采集设备的标定而获得，而R和t是需要确定的标定参数。

如以上数据录取模型所描述的，R和t之中需要求解确定的标定参数一共有六项，具体如以下算式(18)所示：

w＝[θ

其中，θ

基于已知的若干组对应的坐标p和q的情况下，通过求解如下算式(19)所示的约束函数的非线性最优解来确定上述的六项标定参数，以作为一组与位姿信息区间相匹配的标定参数。

4)生成标定参数集合：

通过多次改变探测雷达的高度和俯仰角度，重复进行步骤3)就可以遍历得到全部m*n个位姿信息区间及与其相匹配的一组标定参数。计算获得的多组标定参数及其与位姿信息区间的对应匹配关系可以由图5所示的标定参数表所记录。

其中，如图5所示，H

上述生成标定参数集合的步骤1)至步骤4)可以被预先在电子计算平台中搭建的模拟环境中执行，从而获得图5所示的标定参数表。该标定参数表被存储在非易失性存储介质之中，以便于被调用。

在一些实施例中，上述步骤1)和步骤2)中的高度区间和俯仰角度区间可以不断的缩小，直至被缩小为某个数值点。由此，服务器可以省略执行步骤1)和步骤2)，直接根据探测雷达当前的离地高度和俯仰角度执行步骤3)以获得与当前位姿信息相匹配的标定参数。

本领域技术人员可以理解的是，高度区间和俯仰角度区间的区间数值范围越窄，计算获得与当前位姿信息相匹配的标定参数就越准确。但相应地，高度区间和俯仰角度区间的区间数值范围越窄，计算获得标定参数的所需要计算量则越大。在具有显著较强的计算能力的服务器的应用场景下，较佳的是可以选择较窄的区间范围甚至是数值点以获得更准确的标定参数。

在另一些实施例中，上述步骤3)计算获得的标定参数还可以根据实际情况的需要，全部或者部分的存储到存储介质之中，以便于被调用。本领域技术人员可以理解的是，预先计算更多的标定参数并将其存储至存储介质之中有利于提升服务器计算确定标定参数的效率，同时也能减少所需要的运算量。而更多的采用实时计算的方式则能够减轻对于存储空间的需求。在具有足够的存储空间的应用场景下，较佳的是可以选择将每个数值点对应的标定参数均预先计算并保存，从而提供较佳的实时性以满足无人机在实际使用中的需要。

在图1所示的应用场景之中进行雷达数据和图像数据的数据融合时，如图6所示，无人机10首先基于相关传感器设备获得无人机当前的飞行高度以及云台的俯仰角度，并作为位姿信息打包发送至服务器20中。服务器20基于接收到的位姿信息，在预先存储的标定参数中搜索与当前位姿信息相匹配的目标标定参数。然后，服务器20将目标标定参数打包发送至无人机10。最后，无人机10利用读取的标定参数确定探测雷达坐标系与二维像素坐标系之间的坐标转换关系，使雷达数据能够被精确的转换至二维像素坐标系，实现雷达数据与视觉数据之间的数据融合。

例如，通过探测雷达获得的目标物体的深度信息可以被转换至二维像素坐标系之中，从而确定目标物体所在像素点的深度信息，进而实现威胁地形告警、威胁障碍物凸显以及辅助飞行等功能，从而帮助无人机操作员获得全天时、全天候和全地形的全场景环境感知能力，为危险地形、障碍物的及时规避提供足够的时间。

图7a为本申请实施例提供的联合标定装置的功能框图。如图7a所示，该联合标定装置可以包括：位姿信息获取模块710，标定参数接收模块730以及联合标定模块750。

其中，位姿信息获取模块710用于获取并上传探测雷达的位姿信息。所述位姿信息包括：所述探测雷达的离地高度以及所述探测雷达的俯仰角度。标定参数接收模块730用于接收与所述探测雷达的位姿信息相匹配的目标标定参数。联合标定模块750用于基于所述目标标定参数，确定探测雷达与图像采集设备的空间转换关系。

在一些实施例中，所述探测雷达与图像采集设备的空间转换关系包括：目标的雷达检测数据以及所述目标在探测雷达坐标系的三维坐标之间的坐标对应关系；所述探测雷达坐标系与图像采集设备坐标系之间的第一坐标转换关系；所述图像采集设备坐标系与二维图像坐标系之间的第二坐标转换关系以及所述二维图像坐标系与二维像素坐标系之间的第三坐标转换关系。

具体的，所述坐标对应关系与所述探测雷达的位姿信息相关；所述雷达检测数据包括：探测雷达与目标之间的距离以及探测雷达与目标之间的目标水平角。

图7b为本申请另一实施例的联合标定装置的功能框图。如图7b所示，该联合标定装置包括：位姿信息接收模块720，测试数据获取模块740，待定参数计算模块760以及参数下发模块780。

其中，位姿信息接收模块720用于接收探测雷达的位姿信息。所述位姿信息包括：所述探测雷达的离地高度以及所述探测雷达的俯仰角度。测试数据获取模块740用于获取在所述位姿信息下的若干测试坐标数据。待定参数计算模块760用于通过所述测试坐标数据，计算确定预设的空间转换函数中的待定参数。其中，所述预设的空间转换函数被配置为：表示探测雷达和图像采集设备之间的空间转换关系。参数下发模块780用于下发所述计算确定的待定参数。

应当说明的是，本申请实施例中以功能性命名的功能模块为例，详细的描述了本申请实施例提供的联合标定装置所要实现的方法步骤。本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

图8示出了本申请实施例的电子设备的结构示意图，本申请实施例并不对电子设备的具体实现做限定。例如，可以是图1所示的飞行控制器14。在另一些实施例中，也可以是图1所示的服务器20。

如图8所示，该电子设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。

其中：处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。通信接口804，用于与其它设备比如客户端或其它服务器等的网元通信。处理器802，用于执行程序810，具体可以执行上述联合标定方法实施例中的相关步骤。

具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。其具体可以用于使得处理器802执行上述任意方法实施例中的联合标定方法。

在本申请实施例中，根据所使用的硬件的类型，处理器802可以是中央处理单元(Central Processing Unit，CPU)，该处理器802还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

存储器806用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器、闪存器件或者其他非易失性固态存储器件。

其具有程序存储区和数据存储区，分别用于存储程序810及对应的数据信息。例如存储在程序存储区的非易失性软件程序、非易失性计算机可执行程序以及模块，或者是存储在数据存储区的运算处理结果、雷达数据以及图像信息等。

本申请实施例还提供一种计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序。

其中，计算机程序被处理器执行时实现本申请实施例公开的联合标定方法中的一个或者多个步骤。完整的计算机程序产品体现在含有本申请实施例公开的计算机程序的一个或多个计算机可读存储介质上(包括但不限于，磁盘存储器、CD-ROM、光学存储器等)。

综上所述，本申请实施例提供的联合标定方法及其装置所构建的数据录入模型考虑到了毫米波雷达的工作高度和俯仰角对方位DOA(Direction Of Arrival)估计的影响。其可以自适应的调整标定参数，以适用于任意高度和俯仰角下的工作状态。

另外，上述数据录入模型和联合标定方法基于三维空间而构建的，具有良好的可扩展性。其可以在继续使用本申请实施例的推导方法和计算结果的基础上，通过将高度和俯仰角同时置零的方式，退化至典型的二维数据采集模型从而将应用于合适的场景。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。