基于图像识别目标定位的方法、装置及电子设备

技术领域

本申请涉及图像识别定位技术领域，具体而言，涉及一种基于图像识别目标定位的方法、装置及电子设备。

背景技术

在目标对象自动移动的过程中，通常采用GPS定位信号进行定位，以实现目标对象的控制。然而，在实际应用中由于GPS定位信号容易受到物体遮挡或者接收不稳定的影响，导致目标对象无法获取自身定位信息，从而使得目标对象无法自动降落到自动机场。

因此，如何提供一种精准的基于图像识别目标定位的方法的技术方案成为亟需解决的技术问题。

发明内容

本申请的一些实施例的目的在于提供一种基于图像识别目标定位的方法、装置及电子设备，通过本申请的实施例的技术方案可以在没有GPS定位信号的情况下，实现对目标对象的精准定位和降落。

第一方面，本申请的一些实施例提供了一种基于图像识别目标定位的方法，包括：通过视觉定位确定目标对象位置信息、姿态信息以及确定机场位置；基于所述目标对象位置信息和所述机场位置，调节所述姿态信息，以使目标对象在下降过程中所述机场位置始终处于机场图像的中心位置；识别所述机场图像中的辅助定位标识，生成降落引导信息，其中，所述降落引导信息用于引导所述目标对象降落。

本申请的一些实施例通过视觉定位方法可以确定目标对象位置信息、姿态信息和机场位置，进而可以通过位置信息调节目标对象姿态信息，并通过辅助定位标识生成降落引导信息，实现在没有GPS定位信号的情况下，实现对目标对象的精准降落的技术效果。

在一些实施例，所述通过视觉定位确定目标对象位置信息、姿态信息，包括： 采集周边环境的多帧图像；通过对提取的所述多帧图像中每帧图像的视觉特征点信息进行跟踪和匹配，确定多个关键帧图像；对所述多个关键帧图像中相邻关键帧图像间的飞控数据进行积分和优化，得到至少一个视觉估计值，所述视觉估计值包括：目标对象位置初始值和姿态初始信息；将所述至少一个视觉估计值累加，得到所述目标对象位置信息和所述姿态信息。

本申请的一些实施例通过对采集的周边环境的多帧图像进行提取、跟踪和匹配后，再结合飞控数据得到视觉估计值，进而通过累加得到目标对象位置信息和姿态信息，可以实现目标对象相关位置信息的准确获取。

在一些实施例，所述通过对提取的所述多帧图像中每帧图像的视觉特征点信息进行跟踪和匹配，确定多个关键帧图像，包括：利用特征点提取算法计算所述每帧图像的视觉特征点信息；对所述视觉特征点信息进行跟踪和匹配，得到匹配帧；清除所述匹配帧中的异常帧，得到图像队列；确认所述图像队列中第i帧图像的视觉特征点信息大于第一预设阈值，且所述第i帧图像与第i+1帧图像的特征平均视差大于第二预设阈值，则将所述第i帧图像作为一个关键帧图像，其中，所述第i帧图像为所述多帧图像中的任一帧。

本申请的一些实施例通过特征点提取算法对每帧图像进行计算得到视觉特征点信息，后续基于视觉特征点信息可以获取关键帧图像，为后续目标对象定位提供有效的数据支持。

在一些实施例，所述对所述多个关键帧图像中相邻关键帧图像间的飞控数据进行积分和优化，得到至少一个视觉估计值，包括：对所述相邻关键帧图像间的飞控数据进行积分，得到视觉估计初始值；利用目标函数对所述视觉估计初始值进行优化，得到所述视觉估计值，其中，所述目标函数与所述相邻关键帧图像的预积分增量、预积分误差的 雅可比矩阵和协方差项相关。

本申请的一些实施例通过对飞控数据进行积分得到视觉估计初始值，然后利用目标函数进行优化得到视觉估计值，为后续目标对象定位提供有效的数据支持。

在一些实施例，所述确定机场位置包括：采集目标对象俯视视角的机场图像；将所述机场图像输入至目标检测模型，得到所述机场位置。

本申请的一些实施例通过将机场图像输入到目标检测模型得到机场位置，效率较高。

在一些实施例，所述基于所述目标对象位置信息和所述机场位置，调节所述姿态信息，包括：计算所述目标对象位置信息和所述机场位置的中心点位置偏差；通过所述中心点位置偏差生成控制信号，并利用所述控制信号调节所述姿态信息，其中，所述姿态信息包括：目标对象的飞行速度和飞行角度。

本申请的一些实施例通过目标对象位置信息和机场位置的中心点位置偏差，可以生成调整目标对象姿态的控制信号，实现对目标对象的有效调整，便于精准降落。

第二方面，本申请的一些实施例提供了一种基于图像识别目标定位的装置，包括：位置确定模块，用于通过视觉定位确定目标对象位置信息、姿态信息以及确定机场位置；姿态调节模块，用于基于所述目标对象位置信息和所述机场位置，调节所述姿态信息，以使所述机场位置始终处于机场图像的中心位置；降落模块，用于识别所述机场图像中的辅助定位标识，生成降落引导信息，其中，所述降落引导信息用于引导所述目标对象降落。

在一些实施例，所述位置确定模块，用于：采集周边环境的多帧图像；通过对提取的所述多帧图像中每帧图像的视觉特征点信息进行跟踪和匹配，确定多个关键帧图像；对所述多个关键帧图像中相邻关键帧图像间的飞控数据进行积分和优化，得到至少一个视觉估计值，所述视觉估计值包括：目标对象位置初始值和姿态初始信息；将所述至少一个视觉估计值累加，得到所述目标对象位置信息和所述姿态信息。

第三方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的方法。

第四方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的方法。

附图说明

为了更清楚地说明本申请的一些实施例的技术方案，下面将对本申请的一些实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请的一些实施例提供的基于图像识别目标定位的系统图；

图2为本申请的一些实施例提供的基于图像识别目标定位的方法流程图之一；

图3为本申请的一些实施例提供的基于图像识别目标定位的方法流程图之二；

图4为本申请的一些实施例提供的基于图像识别目标定位的装置组成框图；

图5为本申请的一些实施例提供的一种电子设备示意图。

具体实施方式

下面将结合本申请的一些实施例中的附图，对本申请的一些实施例中的技术方案进行描述。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。 应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。 此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

相关技术中，自动巡检目标对象（例如，巡检无人机或其他类型的无人机）在降落到自动机场的过程中，通常采用GPS定位信号进行定位实现无人机的降落。若GPS定位信号受到干扰，则会导致降落失败。也就是说，由于无人机在自动飞行的过程中，由于GPS定位信号容易受到物体遮挡或者接收不稳定的影响，会导致无人机无法获取自身定位信息，从而使得无人机无法自动降落到自动机场。

由上述相关技术可知，现有技术中在没有GPS定位信号的情况下，无人机难以获取自身的位置信息，从而无法自动精准的降落到机场当中。

鉴于此，本申请的一些实施例提供了一种基于图像识别目标定位的方法，该方法通过视觉定位方法可以确定目标对象位置信息、姿态信息，然后通过确定机场位置可以调节目标对象的姿态信息。最后通过识别自动机场中的辅助定位标识，生成引导目标对象下降的降落引导信息。本申请的一些实施通过视觉定位的方式辅助目标对象获得稳定的自身定位信息，同时通过实时检测识别自动机场在机载云台的机场图像画面中的位置，辅助目标对象精准定位降落到自动机场。

为了便于理解本申请提供的一些实施例，下面以目标对象为无人机为例进行示例性阐述基于图像识别技术对无人机进行定位实现精准降落的实现过程。

下面结合附图1示例性阐述本申请的一些实施例提供的基于图像识别目标定位的系统的整体组成结构。

如图1所示，本申请的一些实施例提供了一种基于图像识别目标定位的系统，该系统包括：无人机100以及部署在无人机100上的四目鱼眼相机110和云台相机120。其中，四目鱼眼相机110可以获取360°周边环境的多帧全景图像信息。之后无人机100的处理器可以通过多帧全景图像信息和飞控数据，利用视觉定位算法确定无人机位置信息、姿态信息。云台相机120通过采集俯视视角的机场图像可以使得无人机100获取机场位置和辅助定位标识。最后无人机100通过无人机位置信息、姿态信息、机场位置和辅助定位标识对无人机的降落进行引导，以实现无人机的精准降落。

在本申请的一些实施例中，无人机100上部署的相机类型可以根据实际情况进行设定，本申请实施例并不局限于此。

下面结合附图2示例性阐述本申请的一些实施例提供的由无人机100执行的无人机降落的实现过程。

请参见附图2，图2为本申请的一些实施例提供的一种基于图像识别目标定位的方法流程图，该基于图像识别目标定位的方法包括：

S210，通过视觉定位确定目标对象位置信息、姿态信息以及确定机场位置。

例如，在本申请的一些实施例中，通过视觉定位的方式辅助无人机获得稳定的自身定位信息（作为目标对象位置信息的一个具体示例，可以简称位置）和姿态信息（或者简称姿态）。通过图像检测的方式得到自动机场位置。

在本申请的一些实施例中，S210可以包括：采集周边环境的多帧图像；通过对提取的所述多帧图像中每帧图像的视觉特征点信息进行跟踪和匹配，确定多个关键帧图像；对所述多个关键帧图像中相邻关键帧图像间的飞控数据进行积分和优化，得到至少一个视觉估计值，所述视觉估计值包括：目标对象位置初始值和姿态初始信息；将所述至少一个视觉估计值累加，得到所述目标对象位置信息和所述姿态信息。

例如，在本申请的一些实施例中，采用无人机100自身搭载的四目鱼眼相机110，获取360°周边环境的全景图像信息（作为多帧图像的一个具体示例），通过图像特征点提取算法，计算每帧图像中的视觉特征点信息，以及这些视觉特征点在采集的多帧图像中位于每帧图像的前后帧图像的对应匹配关系，联合前后多帧图像以及飞控IMU的数据，最终求解出无人机100的位置和姿态。

在本申请的一些实施例中，S210可以包括：利用特征点提取算法计算所述每帧图像的视觉特征点信息；对所述视觉特征点信息进行跟踪和匹配，得到匹配帧；清除所述匹配帧中的异常帧，得到图像队列；确认所述图像队列中第i帧图像的视觉特征点信息大于第一预设阈值，且所述第i帧图像与第i+1帧图像的特征平均视差大于第二预设阈值，则将所述第i帧图像作为一个关键帧图像，其中，所述第i帧图像为所述多帧图像中的任一帧。

例如，在本申请的一些实施例中，通过图像特征点提取算法取每帧图像的Harris角点；然后利用金字塔光流跟踪每帧图像的相邻帧的视觉特征点，得到匹配帧。通过RANSAC去除匹配帧中的异常点（例如，匹配错误的特征点），之后将跟踪到的视觉特征点对应的图像输入到图像队列中。最后判断去除异常点后的图像队列中的每帧图像的视觉特征点个数大于第一预设阈值，且每帧（作为第i帧的一个具体示例）图像相对最近的帧（作为第i+1帧的一个具体示例）图像的特征平均视差大于第二预设阈值就为关键帧。其中，第一预设阈值和第二预设阈值可以根据实际情况进行灵活设定，本申请实施例在此不作具体限定。

在本申请的一些实施例中，S210可以包括：对所述相邻关键帧图像间的飞控数据进行积分，得到视觉估计初始值；利用目标函数对所述视觉估计初始值进行优化，得到所述视觉估计值，其中，所述目标函数与所述相邻关键帧图像的预积分增量、预积分误差的雅可比矩阵和协方差项相关。

例如，在本申请的一些实施例中，对第k帧和第k+1帧（作为相邻关键帧的一个具体示例）之间所有的IMU（也就是飞控数据）进行积分，可得到第k+1帧的PVQ（初始位置、初始速度、初始旋转角度），作为视觉估计初始值。同时计算在优化中将用到的关键帧的相邻帧的预积分增量，及预积分误差的雅可比矩阵和协方差项，然后通过不同的优化因子，构建得到目标函数。通过目标函数对视觉估计初始值进行优化，得到视觉估计值。

具体的，目标函数的公式如下：

其中，

通过优化以上误差项，即可求解出更加精确的无人机的姿态信息和位置信息。

在本申请的一些实施例中，S210可以包括：采集目标对象俯视视角的机场图像；将所述机场图像输入至目标检测模型，得到所述机场位置。

例如，在本申请的一些实施例中，在前期准备工作中，通过无人机自身搭载的云台相机120采集一些俯视视角的自动机场照片，并采用人工标注的方式，在这些照片中标注出自动机场的位置；使用这些标注好的数据集训练一个轻量级的目标检测神经网络。训练好后的神经网络（作为目标检测模型的一个具体示例），能够自动识别云台相机120采集的照片（作为机场图像的一个具体示例）中自动机场的位置（也就是机场位置）。

S220，基于所述目标对象位置信息和所述机场位置，调节所述姿态信息，以使目标对象在下降过程中所述机场位置始终处于机场图像的中心位置。

例如，在本申请的一些实施例中，在无人机100自动降落的过程中，控制无人机100水平方向的速度（作为姿态信息的一个具体示例），使得云台相机画面（作为机场图像的一个具体示例）中的自动机场始终位于画面的中心位置，这样就保证无人机100可以完全对准自动机场降落。

在本申请的一些实施例中，S220可以包括：计算所述目标对象位置信息和所述机场位置的中心点位置偏差；通过所述中心点位置偏差生成控制信号，并利用所述控制信号调节所述姿态信息，其中，所述姿态信息包括：目标对象的飞行速度和飞行角度。

例如，在本申请的一些实施例中，基于上述得到的当前无人机100的位置信息和姿态信息，控制无人机在水平面的移动。通过不断识别机场在机场图像中的位置，以此可以识别到无人机100的位置与机场在机场图像中的预设的中心点的位置偏差。通过位置偏差作为控制信号输出至电调，电调控制无人机100按照对应的中心点的位置飞行，在此过程中不断的识别和调整飞行速度和角度，依据位置偏差控制无人机100进行位置移动，当判断机场在机场图像中的位置为中心位置时，此时无人机100完全对准自动机场降落，处于机场正上方。例如，可以按照位置偏差设置识别频率，偏差越大识别频率越低，偏差越大识别频率越高，这样使得无人机可以依据识别结果较快调整到预设的机场正上方位置。

S230，识别所述机场图像中的辅助定位标识，生成降落引导信息，其中，所述降落引导信息用于引导所述目标对象降落。

例如，在本申请的一些实施例中，无人机100通过上述不断调整可以缓慢的从高空中对准机场进行降落。由于降落的过程中，随着云台相机120的高度逐渐降低，云台相机120视野中的自动机场也越来越大，直至消失在画面当中。此时，无人机100离完全降落到自动机场中还有一定的高度，因而在自动机场里面粘贴了一张小二维码（作为辅助定位标识的一个具体示例），辅助无人机在最后阶段的对准降落。也就是说，无人机100在自动降落的过程中可以分为两个阶段，第一个阶段通过识别自动机场的位置实现无人机始终位于自动机场中心位置进行降落，第二个阶段无法识别到自动机场时，可以通过自动识别机场中的标注物（如二维码）来获得降落引导信息，实现无人机100更加精准的降落。需要说明的是，辅助定位标识也可以是除二维码之外的其他形式（如，条形码、自定义图像等），本申请实施例并不局限于此。

下面结合附图3示例性阐述本申请的一些实施例提供的基于图像识别目标定位的具体过程。

请参见附图3，图3为本申请的一些实施例提供的一种基于图像识别目标定位的方法流程图。

下面示例性阐述上述过程。

S310，无人机的四目鱼眼相机采集周边环境的多帧图像；

S320，利用图像特征点提取算法确定无人机位置信息和姿态信息；

S330，无人机的云台相机采集的机场图像输入至目标检测模型，得到机场位置；

S340，通过无人机位置信息和机场位置，调节无人机的姿态信息，以使无人机在下降过程中机场位置始终处于机场图像的中心位置；

S350，当无人机到达第二阶段时，识别机场图像中的辅助定位标识，生成降落引导信息。

应理解，无人机到达第二阶段的确定方式可以是在机场图像中无法检测出自动机场的位置的时刻，或者是当无人机离自动机场的距离不大于阈值时的时刻。具体的可以根据实际情况进行确认，本申请实施例并不局限于此。

需要说明的是，S310~S350的具体实现过程可以参照上文提供的方法实施例，为避免重复，此处适当省略详细描述。

通过上述本申请的一些实施例可知，本申请可以在无GPS情况下的自动精准降落到自动机场里面；而且，本申请还可以自动识别机场的开关和闭合状态，在自动机场处于关闭状态时，不强行降落，并发出告警信息，大大减少了无人机降落过程中的坠毁事故发生。

请参考图4，图4示出了本申请的一些实施例提供的基于图像识别目标定位的装置的组成框图。应理解，该基于图像识别目标定位的装置与上述方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该基于图像识别目标定位的装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

图4的基于图像识别目标定位的装置包括至少一个能以软件或固件的形式存储于存储器中或固化在基于图像识别目标定位的装置中的软件功能模块，该基于图像识别目标定位的装置包括：位置确定模块410，用于通过视觉定位确定目标对象位置信息、姿态信息以及确定机场位置；姿态调节模块420，用于基于所述目标对象位置信息和所述机场位置，调节所述姿态信息，以使所述机场位置始终处于机场图像的中心位置；降落模块430，用于识别所述机场图像中的辅助定位标识，生成降落引导信息，其中，所述降落引导信息用于引导所述目标对象降落。

在本申请的一些实施例中，位置确定模块410，用于采集周边环境的多帧图像；通过对提取的所述多帧图像中每帧图像的视觉特征点信息进行跟踪和匹配，确定多个关键帧图像；对所述多个关键帧图像中相邻关键帧图像间的飞控数据进行积分和优化，得到至少一个视觉估计值，所述视觉估计值包括：目标对象位置初始值和姿态初始信息；将所述至少一个视觉估计值累加，得到所述目标对象位置信息和所述姿态信息。

在本申请的一些实施例中，位置确定模块410，用于利用特征点提取算法计算所述每帧图像的视觉特征点信息；对所述视觉特征点信息进行跟踪和匹配，得到匹配帧；清除所述匹配帧中的异常帧，得到图像队列；确认所述图像队列中第i帧图像的视觉特征点信息大于第一预设阈值，且所述第i帧图像与第i+1帧图像的特征平均视差大于第二预设阈值，则将所述第i帧图像作为一个关键帧图像，其中，所述第i帧图像为所述多帧图像中的任一帧。

在本申请的一些实施例中，位置确定模块410，用于对所述相邻关键帧图像间的飞控数据进行积分，得到视觉估计初始值；利用目标函数对所述视觉估计初始值进行优化，得到所述视觉估计值，其中，所述目标函数与所述相邻关键帧图像的预积分增量、预积分误差的 雅可比矩阵和协方差项相关。

在本申请的一些实施例中，位置确定模块410，用于采集目标对象俯视视角的机场图像；将所述机场图像输入至目标检测模型，得到所述机场位置。

在本申请的一些实施例中，姿态调节模块420，用于计算所述目标对象位置信息和所述机场位置的中心点位置偏差；通过所述中心点位置偏差生成控制信号，并利用所述控制信号调节所述姿态信息，其中，所述姿态信息包括：目标对象的飞行速度和飞行角度。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

本申请的一些实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如上述实施例提供的上述方法中的任意实施例所对应方法的操作。

本申请的一些实施例还提供了一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如上述实施例提供的上述方法中的任意实施例所对应方法的操作。

为便于理解，图5示出根据本申请的一些实施例的可以实现本申请思想的电子设备500的示例性硬件和软件组件的示意图。 例如，处理器520可以用于电子设备500上，并且用于执行本申请中的功能。

电子设备500可以是通用计算机或特殊用途的计算机，诸如车载电脑、机器人等智能设备，都可以用于实现本申请的上述实施例所示的方法。本申请尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。

例如，电子设备500可以包括连接到网络的网络端口510、用于执行程序指令的一个或多个处理器520、通信总线530、和不同形式的存储介质540，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备500还包括计算机与其他输入输出设备（例如键盘、显示屏）之间的输入/输出（Input/Output，I / O）接口550。

为了便于说明，在电子设备500中仅描述了一个处理器。然而，应当注意，本申请中的电子设备500还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备500的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B等。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。