一种标定参数的获取方法、装置以及电子设备

技术领域

本发明涉及计算机视觉领域，尤其涉及一种标定参数的获取方法、装置以及电子设备。

背景技术

多模态设备在出厂前往往会进行联合标定，通常为基于标定板获取各自模态下对于同一组数据的信息，然后进行映射计算获取映射矩阵，从而实现模态间的配准。但是实际问题是，运输安装过程等往往会造成物理上的偏差，例如，多模态的设备(一般出厂时已经标定)，在安装等过程可能由于一些原因，造成各自模态位置的细微偏差，将导致多模态在一些远距离物体检测上存在配准偏差；且随着设备运行时间的增加，也会造成较大的模态偏差，例如，多模态设备在使用过程，会由于机械固件老化等原因，配准精度会慢慢下降，如RGB/Thermal，较好配准时，为两模态视角重合，出现偏差后，两模态偏移，出现重影等。而若需要维持较好的运行，往往需要人为辅助进行标定甚至返厂标定。理论上，两个RGB模态下，分别获取两张特征纹理较强的图，即可实现图片的配准，即实现在线标定；但是若设备安装在较为空旷的区域，缺少纹理特征，则不能实现较好的配准修正。此外，由于现在的多模态往往是跨模态的，如RGB和Thermal，RGB和Lidar等，传统的基于图形配准基本失效，由于模态间差异较大，无法较好的用现有单模态配准方式去实现修正。

针对上述的问题，尚未提出有效地解决方案。

发明内容

本发明实施例提供了一种标定参数的获取方法、装置以及电子设备，以至少解决由于多模态设备无法及时准确地实现配准修正，造成多模态信息融合效果差的技术问题。

根据本发明实施例的一个方面，提供了一种标定参数的获取方法，包括：获取多个目标在第一模态和第二模态下的运动轨迹；将各所述目标在所述第一模态和所述第二模态下的运动轨迹进行粗匹配，得到各所述目标的运动轨迹对应的初步匹配结果；根据各所述目标的运动轨迹对应的初步匹配结果和时间信息，获取各所述目标的点对信息，其中，所述点对信息为在所述第一模态和所述第二模态下同时出现的目标检测框的中心点坐标；根据所述各所述目标的点对信息对各所述目标在所述第一模态和所述第二模态下的运动轨迹进行细匹配，得到各所述目标的运动轨迹对应的最终匹配结果，其中，将各所述目标的运动轨迹对应的最终匹配结果作为所述第一模态和所述第二模态之间的标定参数。

可选地，获取多个目标在第一模态和第二模态下的运动轨迹，包括：获取各所述目标在所述第一模态和所述第二模态下的特征点信息，其中，所述特征点信息包括目标检测框的中心点坐标和时间信息；对各所述目标在所述第一模态和所述第二模态下的特征点信息进行处理，得到各所述目标在所述第一模态和所述第二模态下的运动轨迹。

可选地，对各所述目标在所述第一模态和所述第二模态下的特征点信息进行处理，得到各所述目标在所述第一模态和所述第二模态下的运动轨迹，包括：根据各所述目标在所述第一模态和所述第二模态下的特征点信息对各所述目标进行目标跟踪，获取各所述目标在所述第一模态和所述第二模态下的初始运动轨迹；将各所述目标在所述第一模态和所述第二模态下的初始运动轨迹进行平滑处理，得到各所述目标在所述第一模态和所述第二模态下的运动轨迹。

可选地，将各所述目标在所述第一模态和所述第二模态下的运动轨迹进行粗匹配，得到各所述目标的运动轨迹对应的初步匹配结果，包括：获取各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的轨迹纹路特征和/或特征描述子，其中，所述轨迹纹路特征包括目标位姿信息和移动方向，所述目标位姿信息为目标检测框的中心点坐标，所述移动方向为所述运动轨迹的切线方向，所述特征描述子用于表征多条所述运动轨迹交错形成的区域特征信息；将各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的轨迹纹路特征和/或特征描述子进行特征匹配，得到各所述目标的运动轨迹对应的初步匹配结果。

可选地，将各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的轨迹纹路特征进行特征匹配，得到各所述目标的运动轨迹对应的初步匹配结果，包括：将各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的目标位姿信息进行配对，得到各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的变换关系；根据各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的移动方向对各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的变换关系进行调整，得到各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的目标变换关系；根据各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的目标变换关系，分别计算各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的重合度；根据各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的重合度对各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的目标变换关系进行筛选，确定各所述目标的运动轨迹对应的初步匹配结果。

可选地，根据各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的重合度对各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的目标变换关系进行筛选，确定各所述目标的运动轨迹对应的初步匹配结果，包括：对各所述目标在所述第一模态和所述第二模态下的运动轨迹对应的重合度进行筛选，确定各所述目标的最优重合度；将各所述目标的最优重合度对应的目标变换关系作为各所述目标的运动轨迹对应的初步匹配结果。

可选地，根据各所述目标在所述第一模态和所述第二模态下的运动轨迹对应特征描述子进行特征匹配，得到各所述目标的运动轨迹对应的初步匹配结果，包括：将各所述目标在所述第一模态下的运动轨迹对应的特征描述子和所述第二模态下的运动轨迹对应的特征描述子进行配准，获取各所述目标的运动轨迹对应的初步匹配结果。

根据本发明实施例的另一个方面，还提供了一种标定参数的获取装置，包括：第一获取模块，用于获取多个目标在第一模态和第二模态下的运动轨迹；粗匹配模块，用于将各所述目标在所述第一模态和所述第二模态下的运动轨迹进行粗匹配，得到各所述目标的运动轨迹对应的初步匹配结果；第二获取模块，用于根据各所述目标的运动轨迹对应的初步匹配结果和时间信息，获取各所述目标的点对信息，其中，所述点对信息为在所述第一模态和所述第二模态下同时出现的目标检测框的中心点坐标；细匹配模块，用于根据所述各所述目标的点对信息对各所述目标在所述第一模态和所述第二模态下的运动轨迹进行细匹配，得到各所述目标的运动轨迹对应的最终匹配结果，其中，将各所述目标的运动轨迹对应的最终匹配结果作为所述第一模态和所述第二模态之间的标定参数。

根据本发明实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述中任一项所述的标定参数的获取方法。

根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述中任一项所述的标定参数的获取方法。

在本发明实施例中，采用获取多个目标在第一模态和第二模态下的运动轨迹；将各目标在第一模态和第二模态下的运动轨迹进行粗匹配，得到各目标的运动轨迹对应的初步匹配结果；根据各目标的运动轨迹对应的初步匹配结果和时间信息，获取各目标的点对信息，其中，点对信息为在第一模态和第二模态下同时出现的目标检测框的中心点坐标；根据各目标的点对信息对各目标在第一模态和第二模态下的运动轨迹进行细匹配，得到各目标的运动轨迹对应的最终匹配结果，其中，将各目标的运动轨迹对应的最终匹配结果作为第一模态和第二模态之间的标定参数。也就是说，本发明实施例不需要返厂进行标定、不需要人为辅助控制目标以及不需要设置阈值，通过获取多个目标在多模态下的运动轨迹，获取和模态特性无关的特征信息，建立模态间的联系，从而实现标定参数的在线自动校准，进而解决了由于多模态设备无法及时准确地实现配准修正，造成多模态信息融合效果差的技术问题，达到了提高多模态设备实现配准修正的实时性和准确性，保证多模态信息融合的有效性的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的一种标定参数的获取方法的流程图；

图2为本发明的可选实施例提供的多模态设备进行配准修正的示意图；

图3为本发明的可选实施例提供的实际场景中多个目标运动轨迹的示意图；

图4为本发明的可选实施例提供的A模态和B模态下所检测到的多个目标运动轨迹的示意图；

图5为本发明的可选实施例提供的A模态和B模态下基于特征描述子做特征匹配的示意图；

图6为本发明的可选实施例提供的模态A和模态B下的粗匹配前后的示意图；

图7为本发明的可选实施例提供的基于粗匹配结果获得模态A和模态B下所对应的目标信息的示意图；

图8为本发明的可选实施例提供的在A模态和B模态下提取轨迹纹路特征的示意图；

图9为本发明的可选实施例提供的A模态和B模态下提取的轨迹纹路特征的示意图；

图10为本发明的可选实施例提供的A模态和B模态下较差重合度的匹配情况的示意图；

图11为本发明的可选实施例提供的A模态和B模态下最佳重合度的匹配情况的示意图；

图12为本发明实施例提供的一种标定参数的获取装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。

为了便于描述，下面对本发明中出现的部分名词或术语进行详细说明。

多模态：包含两个或者两个以上的模态，如RGB-T双模态，即表示RGB和Thermal两个模态。

模态对齐：指对两个或多个模态进行标定，获取标定参数，基于标定参数进行仿射变换后，使得双模态的数据/图像等得到较好配准。

根据本发明实施例的一个方面，提供了一种标定参数的获取方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明实施例提供的一种标定参数的获取方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取多个目标在第一模态和第二模态下的运动轨迹；

上述第一模态为多个模态中选取的一个模态，第二模态为多个模态中除第一模态以外的其他模态。另外，上述第一模态和第二模态既可以是相同的模态，也可以是不同的模态；上述模态包括但不限于RGB、Lidar和Thermal等。上述多个目标既可以是类型相同的目标，也可以是类型不同的目标。

步骤S104，将各目标在第一模态和第二模态下的运动轨迹进行粗匹配，得到各目标的运动轨迹对应的初步匹配结果；

换言之，将各目标在第一模态下的运动轨迹和各目标在第二模态下的运动轨迹进行粗匹配，得到各目标的运动轨迹对应的初步匹配结果。对于任一目标而言，该目标的运动轨迹对应的初步匹配结果包括该目标在第一模态下的运动轨迹和该目标在第二模态下的运动轨迹之间的变换关系。

步骤S106，根据各目标的运动轨迹对应的初步匹配结果和时间信息，获取各目标的点对信息，其中，点对信息为在第一模态和第二模态下同时出现的目标检测框的中心点坐标；

对于任一目标而言，通过该目标的运动轨迹对应的初步匹配结果结合时间信息，就可以获取该目标的点对信息，也即是，同一个目标同一时间在不同模态下检测框的中心点坐标；同样可以获取其他多个目标的点对信息。

步骤S108，根据各目标的点对信息对各目标在第一模态和第二模态下的运动轨迹进行细匹配，得到各目标的运动轨迹对应的最终匹配结果，其中，将各目标的运动轨迹对应的最终匹配结果作为第一模态和第二模态之间的标定参数。

换言之，根据各目标的点对信息对各目标在第一模态下的运动轨迹和第二模态下的运动轨迹进行细匹配，建立更加准确的各目标在第一模态下的运动轨迹和该目标在第二模态下的运动轨迹之间的变换关系作为各目标的运动轨迹对应的最终匹配结果。该各目标的运动轨迹对应的最终匹配结果能够作为第一模态和第二模态之间的标定参数实现多模态设备之间的配准修正。因此，多模态下只需要两两模态间存在一定的视角交集即可实现模态对齐。另外，多模态设备为包含两个或者两个以上的模态的设备。

需要说明的是，上述方法具体可实现多个模态下的数据的在线对齐。其应用的实际场景，如双模态下，RGB与Lidar，RGB与Thermal，RGB与RGB，Lidar与Thermal等；也可以达到三模态或以上，具体为以某一个模态为基准，例如RGB/Thermal/Lidar三模态，基于该方法，先获取RGB和Thermal配准外参，再获取Thermal和Lidar配准外参，以Thermal为基准，从而获取RGB/Thermal/Lidar三模态的外参信息，达到互相间的较好配准修正。在实际场景中，若多模态设备出厂忘记标定，或者实际使用过程遇到了较大问题导致较大偏差，则可以基于该方法自动在线标定，不需要人为辅助控制目标，且不需要设置阈值。

在本发明实施例中，采用获取多个目标在第一模态和第二模态下的运动轨迹；将各目标在第一模态和第二模态下的运动轨迹进行粗匹配，得到各目标的运动轨迹对应的初步匹配结果；根据各目标的运动轨迹对应的初步匹配结果和时间信息，获取各目标的点对信息，其中，点对信息为在第一模态和第二模态下同时出现的目标检测框的中心点坐标；根据各目标的点对信息对各目标在第一模态和第二模态下的运动轨迹进行细匹配，得到各目标的运动轨迹对应的最终匹配结果，其中，将各目标的运动轨迹对应的最终匹配结果作为第一模态和第二模态之间的标定参数。也就是说，本发明实施例不需要返厂进行标定、不需要人为辅助控制目标以及不需要设置阈值，通过获取多个目标在多模态下的运动轨迹，获取和模态特性无关的特征信息，建立模态间的联系，从而实现标定参数的在线自动校准，进而解决了由于多模态设备无法及时准确地实现配准修正，造成多模态信息融合效果差的技术问题，达到了提高多模态设备实现配准修正的实时性和准确性，保证多模态信息融合的有效性的技术效果。

在一种示例性的实施方式中，获取多个目标在第一模态和第二模态下的运动轨迹，包括：获取各目标在第一模态和第二模态下的特征点信息，其中，特征点信息包括目标检测框的中心点坐标和时间信息；对各目标在第一模态和第二模态下的特征点信息进行处理，得到各目标在第一模态和第二模态下的运动轨迹。

可选地，通过检测算法来获取各目标在第一模态下的特征点信息和第二模态下的特征点信息。需要说明的是，上述特征点信息包括但不限于目标检测框的中心点坐标和时间信息；在对实际场景进行目标检测时，每个目标检测框和目标是一一对应的关系；目标检测框的中心点坐标用于表征目标的运行轨迹的特征点，目标的目标检测框的中心点也就是目标在任一模态下的特征点；时间信息为检测到目标检测框的中心点对应的绝对时间，可以使用时间戳表示。

进一步地，各目标在第一模态下的运动轨迹是根据各目标在第一模态下的特征点信息而生成的；各目标在第二模态下的运动轨迹是根据各目标在第二模态下的特征点信息而生成的。由于没有人为辅助，并不知道目标在各模态下的特征点的对应情况(即不知道第一模态下的某个特征点应该对应于第二模态下的哪个特征点)，引入时间信息，就可以各自模态下此时出现多个目标的运动轨迹线。在具体实施过程中，对于任一目标而言，按照时间信息将表征目标的运行轨迹的多个特征点连接起来就能够形成该目标的运行轨迹。需要说明的是，在获取目标的运动轨迹的过程中，并不关心目标的特征点，而只关心目标检测框的中心点坐标和时间信息。

在一种示例性的实施方式中，对各目标在第一模态和第二模态下的特征点信息进行处理，得到各目标在第一模态和第二模态下的运动轨迹，包括：根据各目标在第一模态和第二模态下的特征点信息对各目标进行目标跟踪，获取各目标在第一模态和第二模态下的初始运动轨迹；将各目标在第一模态和第二模态下的初始运动轨迹进行平滑处理，得到各目标在第一模态和第二模态下的运动轨迹。

在一种示例性的实施方式中，对于任一目标而言，对该目标进行目标跟踪，经过一段时间后，即可获取该目标在各模态下的原始运动轨迹；然后再对原始运动轨迹进行平滑处理，获取平滑处理后的原始运动轨迹，也就是该目标在各模态下的运动轨迹。上述平滑处理可以采用滑动平均平滑、基于局部多项式最小二乘拟合的SG滤波平滑等方式。

在本发明的上述实施方式中，利用目标在各模态下的特征点信息对目标进行目标跟踪，获取目标在各模态下的初始运动轨迹；再将目标在各模态下的初始运动轨迹进行平滑处理，最终将平滑处理后的原始运动轨迹作为目标在各模态下的运动轨迹。

在一种示例性的实施方式中，将各目标在第一模态和第二模态下的运动轨迹进行粗匹配，得到各目标的运动轨迹对应的初步匹配结果，包括：获取各目标在第一模态和第二模态下的运动轨迹对应的轨迹纹路特征和/或特征描述子，其中，轨迹纹路特征包括目标位姿信息和移动方向，目标位姿信息为目标检测框的中心点坐标，移动方向为运动轨迹的切线方向，特征描述子用于表征多条运动轨迹交错形成的区域特征信息；将各目标在第一模态和第二模态下的运动轨迹对应的轨迹纹路特征和/或特征描述子进行特征匹配，得到各目标的运动轨迹对应的初步匹配结果。

运动轨迹的轨迹特征信息包括但不限于运动轨迹对应的轨迹纹路特征和特征描述子；特征描述子包括但不限于尺度不变特征变换(Scale-invariant featuretransform，SIFT)、加速稳健特征(Speeded Up Robust Features，SURF)和ORB(OrientedFAST and Rotated BRIEF)等。

上述目标的运动轨迹可以采用类别信息进行标识，类别信息用于表示目标的类别属性，例如，车。在具体实施过程中，在粗匹配中可以引入类别信息，此时类别信息作为增加特征信息的维度，提高粗匹配的准确度。

上述步骤S104可以有多种实现方式，本发明实施例主要提供了三种实现方案：

方案一：获取各目标在第一模态下的运动轨迹对应的轨迹纹路特征和第二模态下的运动轨迹对应的轨迹纹路特征；将各目标在第一模态下的运动轨迹对应的轨迹纹路特征和第二模态下的运动轨迹对应的轨迹纹路特征进行特征匹配，得到各目标的运动轨迹对应的初步匹配结果。

方案二：获取各目标在第一模态下的运动轨迹对应的特征描述子和第二模态下的运动轨迹对应的特征描述子；将各目标在第一模态下的运动轨迹对应的特征描述子和第二模态下的运动轨迹对应的特征描述子进行特征匹配，得到各目标的运动轨迹对应的初步匹配结果。

方案三：获取各目标在第一模态下的运动轨迹对应的轨迹纹路特征和特征描述子以及第二模态下的运动轨迹对应的轨迹纹路特征和特征描述子；将各目标在第一模态下的运动轨迹对应的轨迹纹路特征和特征描述子分别与第二模态下的运动轨迹对应的轨迹纹路特征和特征描述子进行特征匹配，得到各目标的运动轨迹对应的初步匹配结果。

换言之，方案一使用轨迹纹路特征进行特征匹配实现粗匹配；方案二使用特征描述子进行特征匹配实现粗匹配；方案三使用轨迹纹路特征和特征描述子结合进行特征匹配实现粗匹配，其实质是将方案一和方案二同时结合起来。

需要说明的是，上述三种方案均可以得到较为准确的各目标的运动轨迹对应的初步匹配结果。至于采用何种方案可以根据实际场景而确定。

在本发明的上述实施方式中，将各目标在第一模态下的运动轨迹和第二模态下的运动轨迹进行粗匹配，得到各目标的运动轨迹对应的初步匹配结果，能够实现多模态设备之间的的初步对齐。

进一步地，将各目标在第一模态和第二模态下的运动轨迹对应的轨迹纹路特征进行特征匹配，得到各目标的运动轨迹对应的初步匹配结果，包括：将各目标在第一模态和第二模态下的运动轨迹对应的目标位姿信息进行配对，得到各目标在第一模态和第二模态下的运动轨迹对应的变换关系；根据各目标在第一模态和第二模态下的运动轨迹对应的移动方向对各目标在第一模态和第二模态下的运动轨迹对应的变换关系进行调整，得到各目标在第一模态和第二模态下的运动轨迹对应的目标变换关系；根据各目标在第一模态和第二模态下的运动轨迹对应的目标变换关系，分别计算各目标在第一模态和第二模态下的运动轨迹对应的重合度；根据各目标在第一模态和第二模态下的运动轨迹对应的重合度对各目标在第一模态和第二模态下的运动轨迹对应的目标变换关系进行筛选，确定各目标的运动轨迹对应的初步匹配结果。

可选地，首先将各目标在两种模态下的运动轨迹对应的目标位姿信息进行配对，得到各目标在两种模态下的运动轨迹对应的变换关系；然后根据各目标在两种模态下的运动轨迹对应的移动方向对各目标在两种模态下的运动轨迹对应的变换关系进行调整，得到各目标在两种模态下的运动轨迹对应的目标变换关系；再根据各目标在两种模态下的运动轨迹对应的目标变换关系，分别计算各目标在两种模态下的运动轨迹对应的重合度；最后根据各目标在两种模态下的运动轨迹对应的重合度对各目标在两种模态下的运动轨迹对应的目标变换关系进行筛选，确定各目标的运动轨迹对应的初步匹配结果。

在本发明的上述实施方式中，利用各目标在两种模态下的运动轨迹对应的轨迹纹路特征进行特征匹配，实现粗匹配，从而获取各目标的运动轨迹对应的初步匹配结果。

进一步地，根据各目标在第一模态和第二模态下的运动轨迹对应的重合度对各目标在第一模态和第二模态下的运动轨迹对应的目标变换关系进行筛选，确定各目标的运动轨迹对应的初步匹配结果，包括：对各目标在第一模态和第二模态下的运动轨迹对应的重合度进行筛选，确定各目标的最优重合度；将各目标的最优重合度对应的目标变换关系作为各目标的运动轨迹对应的初步匹配结果。

为了获取最优的各目标的运动轨迹对应的初步匹配结果，可以对各目标在第一模态下的运动轨迹和第二模态下的运动轨迹对应的重合度进行筛选，进而筛选出各目标的最优重合度；然后将各目标的最优重合度对应的目标变换关系作为各目标的运动轨迹对应的初步匹配结果，从而有效避免较差的匹配情形。

进一步地，根据各目标在第一模态和第二模态下的运动轨迹对应特征描述子进行特征匹配，得到各目标的运动轨迹对应的初步匹配结果，包括：将各目标在第一模态和第二模态下的运动轨迹对应的特征描述子进行配准，获取各目标的运动轨迹对应的初步匹配结果。

换言之，利用各目标在第一模态下的运动轨迹对应的特征描述子和第二模态下的运动轨迹对应的特征描述子进行配准，实现粗匹配，从而获取各目标的运动轨迹对应的初步匹配结果。

对于任一目标而言，基于目标的运动轨迹对应的初步匹配结果可得到第一模态下的某条运动轨迹应该对应于第二模态下的某一条轨迹，即获取同一个目标在两个模态下的运动轨迹。

以多模态设备为例对本发明可选的实施例进行详细说明。

图2为本发明的可选实施例提供的多模态设备进行配准修正的示意图，如图2所示，可以实现2个及2个以上模态的多模态设备的联合标定，核心先实现两两标定(如A模态和B模态)，在A模态和B模态配准后，B模态与C模态采用相同方式进行配准，以此拓展，最后再进行联合运算即可实现多模态设备的联合标定。

进一步地，从A模态中，通过检测算法(包含传统算法和基于网络学习的方式等)来获取A模态下的目标信息(对应于上述特征点信息)；同样，从B模态中，采用上述相似方式获取B模态下的目标信息。目标信息至少包含三种信息，特征点在各自模态下的位置信息和时间信息[x,y,t]，还可包括类别信息[person,car…]等。

需要说明的是，在A模态下，通过检测追踪算法获取到多类不同车的运动轨迹；在B模态下，通过该模态特有的检测追踪算法获取到到多类不同车的运动轨迹(运动轨迹做过平滑处理)。其中，形成运动轨迹的原始点为目标检测框的中心点坐标。

基于检测到目标的跟踪，通过一定时间的累加记录，即可获取多个目标运动轨迹(即目标的运动轨迹)。图3为本发明的可选实施例提供的实际场景中多个目标运动轨迹的示意图，如图3所示，一定时间内所记录的不同类(车)目标在实际场景中的运动轨迹，图3共记录了①～⑦，7个目标运动轨迹。

由于模态间存在差异，模态间的视角存在偏差，具体包括旋转、平移、缩放、仿射变换等。图4为本发明的可选实施例提供的A模态和B模态下所检测到的多个目标运动轨迹的示意图，如图4所示，对于实际场景，获取A模态下目标运动轨迹的结果为图4的左图；获取B模态下目标运动轨迹的结果为图4的右图。图4的左右两个图存在明显的差异，并且由于非人为辅助，并不知道具体的运动轨迹对应关系，全为没有标注和区别的运动轨迹。

获取A模态下目标运动轨迹和获取B模态下目标运动轨迹后，基于轨迹信息做A模态和B模态的粗匹配。现有图形匹配的问题是，跨模态间同一场景的差异较大，无法较好地跨模态获取对应特征点的信息，而本发明实施例较好解决了该问题。目标运动轨迹形成了大量的纹理特征，分别提取A模态和B模态下的轨迹纹路特征，和/或，多条轨迹的交错形成大量的区域特征信息作为特征描述子(具体可为SIFT描述子等)进行匹配，最后基于轨迹纹路特征和/或特征描述子进行匹配计算，实现A模态和B模态之间的初步配准，即粗匹配。此外，还可引入类别信息[person,car…]等，增加特征信息的维度，提高粗匹配的准确度。

进一步地，采用A模态和B模态下的轨迹纹路特征作为粗匹配方式，则为获得一系列不同时刻点的目标位姿信息，目标的类别信息和目标的移动方向等。图8为本发明的可选实施例提供的在A模态和B模态下提取轨迹纹路特征的示意图，如图8所示，某一时刻内两模态的轨迹纹路特征提取过程，如检测目标仅为两类情况[person，car],person为三角表示，car为方块；各模态下的目标位姿信息为目标检测框的中心点坐标；目标的移动方向为与前一帧目标的进行对比，即为轨迹线的切线方向。图9为本发明的可选实施例提供的A模态和B模态下提取的轨迹纹路特征的示意图，如图9所示，提取该时刻轨迹纹路特征后，基于A模态下的轨迹纹路特征和B模态下的轨迹纹路特征做匹配，即A模态的同类如person某个点与B模态的同类person某个特征点做配对，基于该对应点的方向信息，调整A模态和B模态的变换关系(具体可拓展为带方向点的线对匹配和三角匹配等)，查看其余特征点的重合度(调整变换关系后，A模态和B模态特征信息重合情况，重合度可统计A模态和B模态重合后，异模态同类别[person,car]最邻近特征点之间的欧氏距离)。图10为本发明的可选实施例提供的A模态和B模态下较差重合度的匹配情况的示意图，图11为本发明的可选实施例提供的A模态和B模态下最佳重合度的匹配情况的示意图，如图10、11所示，对所有点进行互相匹配后，获取该时刻最佳的重合度的变换矩阵。同样方式，结合不同时刻下A模态和B模态的数据进行验证修正，实现初步配准，从而获取A模态和B模态之间的轨迹对应关系。

采用基于多条轨迹的交错形成大量的区域特征信息作为特征描述子方式，则可以采用SIFI描述子进行配准。图5为本发明的可选实施例提供的A模态和B模态下基于特征描述子做特征匹配的示意图，如图5所示，A模态和B模态得到了一个初步配准，图5中的横线表示A模态下的某个特征点通过算法计算后，对应到B模态的某个点。

图6为本发明的可选实施例提供的模态A和模态B下的粗匹配前后的示意图，如图6所示，图6的左图为获取A模态下目标运动轨迹和获取B模态下目标运动轨迹，默认两模态配准下的直接配准，A模态和B模态存在明显的未配准。经过基于特征匹配做A模态和B模态的粗匹配后，A模态和B模态配准后，大致可以重合，实现粗匹配，从而获取A模态和B模态之间的轨迹线对应关系。

图7为本发明的可选实施例提供的基于粗匹配结果获得模态A和模态B下所对应的目标信息的示意图，如图7所示，可获取A模态和B模态中主要多个目标轨迹的对应目标，A模态的③轨迹，对应于B模态中的③，均为同一目标的运动轨迹。结合获取A模态下特定目标的信息，③目标轨迹的一定时间内的信息，如③轨迹在A模态和B模态下的目标信息为：

A模态下：…[X

B模态下：…[x

其中，目标信息[X,Y,t]含义，分别具体为：

目标检测框的中心点的横轴像素坐标为X；

目标检测框的中心点的纵轴像素坐标为Y；

检测到该目标框的绝对时间为t。

需要说明的是，各模态的特征点为目标检测框的中心点，例如，RGB模态下的特征点为2D框的中心点，Lidar模态下的特征点为3D框的中心点。

由于A模态和B模态存在差异，因此③轨迹的相关信息在A模态和B模态下不一致，即可能产生目标出现在A模态内但是还没出现在B模态内，或者目标离开了A模态视角但是还没离开B模态视角等，基于时间信息选出同时出现在A模态和B模态下的目标信息，③轨迹信息处理后如下：

A模态下：…[X

B模态下：…[x

获取A模态下目标运动轨迹和获取B模态下目标运动轨迹，存在多类目标的多条轨迹，因此可以获取大量的匹配数据，即获取A模态下特定目标的信息，都可以对应获取B模态下对应目标的信息，即形成了大量对应的特征匹配对数据。最终结合矩阵运算，完成A模态/B模态配准修正。

根据本发明实施例的另一个方面，还提供了一种标定参数的获取装置，图12为本发明实施例提供的一种标定参数的获取装置的示意图，如图12所示，该标定参数的获取装置包括：第一获取模块1202、粗匹配模块1204、第二获取模块1206和细匹配模块1208。下面对该标定参数的获取装置进行详细说明。

第一获取模块1202，用于获取多个目标在第一模态和第二模态下的运动轨迹；

粗匹配模块1204，连接至上述第一获取模块1202，用于将各目标在第一模态和第二模态下的运动轨迹进行粗匹配，得到各目标的运动轨迹对应的初步匹配结果；

第二获取模块1206，连接至上述粗匹配模块1204，用于根据各目标的运动轨迹对应的初步匹配结果和时间信息，获取各目标的点对信息，其中，点对信息为在第一模态和第二模态下同时出现的目标检测框的中心点坐标；

细匹配模块1208，连接至上述第二获取模块1206，用于根据各目标的点对信息对各目标在第一模态和第二模态下的运动轨迹进行细匹配，得到各目标的运动轨迹对应的最终匹配结果，其中，将各目标的运动轨迹对应的最终匹配结果作为第一模态和第二模态之间的标定参数。

在本发明实施例中，使用该标定参数的获取装置不需要返厂进行标定、不需要人为辅助控制目标以及不需要设置阈值，通过获取多个目标在多模态下的运动轨迹，获取和模态特性无关的特征信息，建立模态间的联系，从而实现标定参数的在线自动校准，进而解决了由于多模态设备无法及时准确地实现配准修正，造成多模态信息融合效果差的技术问题，达到了提高多模态设备实现配准修正的实时性和准确性，保证多模态信息融合的有效性的技术效果。

此处需要说明的是，上述第一获取模块1202、粗匹配模块1204、第二获取模块1206和细匹配模块1208对应于方法实施例中的步骤S102至S108，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。

在一种示例性的实施方式中，上述第一获取模块502包括：第一获取单元，用于获取各目标在第一模态和第二模态下的特征点信息，其中，特征点信息包括目标检测框的中心点坐标和时间信息；处理单元，用于对各目标在第一模态和第二模态下的特征点信息进行处理，得到各目标在第一模态和第二模态下的运动轨迹。

在一种示例性的实施方式中，上述处理单元包括：获取子单元，用于根据各目标在第一模态和第二模态下的特征点信息对各目标进行目标跟踪，获取各目标在第一模态和第二模态下的初始运动轨迹；处理子单元，用于将各目标在第一模态和第二模态下的初始运动轨迹进行平滑处理，得到各目标在第一模态和第二模态下的运动轨迹。

在一种示例性的实施方式中，上述粗匹配模块1204包括：第二获取单元，用于获取各目标在第一模态和第二模态下的运动轨迹对应的轨迹纹路特征和/或特征描述子，其中，轨迹纹路特征包括目标位姿信息和移动方向，目标位姿信息为目标检测框的中心点坐标，移动方向为运动轨迹的切线方向，特征描述子用于表征多条运动轨迹交错形成的区域特征信息；特征匹配单元，用于将各目标在第一模态和第二模态下的运动轨迹对应的轨迹纹路特征和/或特征描述子进行特征匹配，得到各目标的运动轨迹对应的初步匹配结果。

在一种示例性的实施方式中，上述特征匹配单元包括：配对子单元，用于将各目标在第一模态和第二模态下的运动轨迹对应的目标位姿信息进行配对，得到各目标在第一模态和第二模态下的运动轨迹对应的变换关系；调整子单元，用于根据各目标在第一模态和第二模态下的运动轨迹对应的移动方向对各目标在第一模态和第二模态下的运动轨迹对应的变换关系进行调整，得到各目标在第一模态和第二模态下的运动轨迹对应的目标变换关系；计算子单元，用于根据各目标在第一模态和第二模态下的运动轨迹对应的目标变换关系，分别计算各目标在第一模态和第二模态下的运动轨迹对应的重合度；筛选子单元，用于根据各目标在第一模态和第二模态下的运动轨迹对应的重合度对各目标在第一模态和第二模态下的运动轨迹对应的目标变换关系进行筛选，确定各目标的运动轨迹对应的初步匹配结果。

在一种示例性的实施方式中，上述筛选子单元包括：第一确定子单元，用于对各目标在第一模态和第二模态下的运动轨迹对应的重合度进行筛选，确定各目标的最优重合度；第二确定子单元，用于将各目标的最优重合度对应的目标变换关系作为各目标的运动轨迹对应的初步匹配结果。

在一种示例性的实施方式中，上述特征匹配单元包括：配准子单元，用于将各目标在第一模态下的运动轨迹对应的特征描述子和第二模态下的运动轨迹对应的特征描述子进行配准，获取各目标的运动轨迹对应的初步匹配结果。

根据本发明实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行上述中任一项的标定参数的获取方法。

可选地，上述电子设备可以是电子设备群中的任意一个电子设备。另外，上述电子设备也可以替换为移动终端等终端设备。

可选地，上述电子设备可以包括：一个或多个处理器以及存储器。

根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，该计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述中任一项的标定参数的获取方法。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。