一种基于无人机平台的智能识别方法、设备及系统

技术领域

本发明涉及无人机应用领域，尤其涉及一种基于无人机平台的智能识别方法、设备及系统。

背景技术

传统的民用无人机限于无人机的荷载能力、数据处理能力以及数据流处理方式，仅具有航拍功能，如果需要进行复杂目标检测、目标跟踪功能，如人脸识别、车牌识别、人群密度检测、车流量检测等功能，需要将图像传输到地面端或者后台服务器进行，实时性差。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的是提供一种基于无人机平台的智能识别方法、设备及系统，可以在无人机上实时进行视频处理，进行复杂的目标检测，从而在实时获取的视频流中即可获得目标识别结果，而无需将视频传输到地面端或者后台服务器再进行处理。

为实现上述目的，本发明提供了一种基于无人机平台的智能识别方法，包括以下步骤：

设定目标识别类型；

目标检测：

接收视频流，并进行解码；接收无人机的惯性测量单元的测量数据；根据识别目标的设定，对解码后的视频流的当前帧图片中的目标进行识别，根据上一帧图片的预测信息给出的目标位置，融合惯性测量单元的测量数据，在预测信息指定位置找出目标，求当前帧图片中的目标和上一帧图片中的目标的图像相似度；当图像相似度小于等于设置值时，将当前帧图片的目标图片加入目标队列，跳转执行目标识别；当图像相似度大于设置值时，则根据当前目标位置刷新当前帧图片的预测信息；

目标识别：取出目标队列中的目标图片，进行目标识别，导出目标识别结果。

进一步的，所述对视频流进行目标检测，具体包括以下步骤：

接收视频流，并进行解码；

接收无人机的惯性测量单元的测量数据；

在当前帧图片中，根据目标识别类型的设定，执行目标搜索，目标对齐，记录目标的位置信息和记录目标的图片信息；

提取当前帧的图像特征点并与前一帧图片进行特征匹配，融合同步的所述惯性测量单元的测量数据，计算相机画面的运动速度与方向；

根据上一帧图片的预测信息的目标出现位置，结合相机画面的运动速度与方向，在当前帧图片的对应位置找出目标，求当前帧图片中的目标和上一帧图片中对应目标的图像相似度；

判断：当图像相似度大于设定阈值时，则根据当前目标位置刷新当前帧的预测信息；当图像相似度小于等于设定阈值时，则从当前帧图片中截取目标图片，将目标图片加入目标队列；跳转执行目标识别。

进一步的，所述对目标队列中的图片进行目标识别，具体包括以下步骤：获取目标队列的目标图片；从所述目标图片中提取图像特征；根据所述图像特征检索特征数据库，导出目标识别结果。

进一步的，所述导出目标识别结果的方式包括在屏显示，即将目标识别结果以在屏显示的方式叠加到回传的视频流上。

进一步的，所述图像特征点为ORB特征点、FAST特征点、BRIEF特征点、BRISK特征点、FREAK特征点、KAZE特征点中的一种。

进一步的，所述目标识别类型包括人脸识别、车牌识别、人群密度检测、车流量识别中的一种或多种。

为实现上述目的，本发明还提供了一种基于无人机平台的智能识别设备，所述智能识别设备配置在无人机上，与无人机的控制单元通信连接，用于接收云台相机的视频流和所述无人机的惯性测量单元的测量数据，执行如上任一方案所述的智能识别方法，并将目标识别结果返回给无人机的控制单元。

进一步的，所述智能识别设备通过以太网和所述无人机的控制单元通信连接。

进一步的，所述智能识别设备以板卡、硬件功能模块或软件功能模块的方式集成于无人机的控制单元。

为实现上述目的，本发明还提供了一种基于无人机平台的智能识别系统，包括无人机、云台相机和地面控制终端，其特征在于：还包括如上任一方案所述的智能识别设备；所述无人机具有惯性测量单元，用于获取所述无人机的运动和姿态数据；所述云台相机安装于所述无人机上，用于视频流的采集；所述地面控制终端用于无人机控制、提供用于识别目标设定的配置文件，及存储无人机回传的视频流；所述智能识别设备从所述地面控制终端获取用于识别目标设定的配置文件，及将叠加了目标识别结果的视频流发送到所述地面控制终端解码显示。

本发明实现了如下技术效果：

本发明的目标识别算法通过融合无人机机身的IMU数据以实现目标检测、预测，并根据目标相似度进行目标筛选；仅将相似度低的目标确定为新目标加入目标队列进行目标识别，可以实现不丢失画面中出现的目标，同时降低因对反复出现的目标进行识别而造成识别跟不上的问题。

附图说明

图1是本发明的智能识别设备和其所挂载的无人机的通信连接示意图；

图2是本发明的目标识别流程图；

图3是本发明的目标检测、目标识别的流程详图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

如图1所示，本发明公开了一种基于无人机平台的智能识别系统的实施例，包括无人机、云台相机、地面控制终端和智能识别设备。无人机的控制单元通过机载链路和云台相机连接，通过通信链路和地面控制终端连接。智能识别设备配置在无人机上，与无人机的控制单元通过以太网方式通信连接，获取云台相机导出的视频流，及无人机的IMU(惯性测量单元)的测量数据(无人机的运动和姿态数据)。所述智能识别设备内配置有人脸识别、车牌识别、人群密度检测、车流量识别等算法，可根据地面控制终端的提供的目标识别配置文件进行配置，设定目标识别类型，对视频流进行目标识别处理，以获取人脸信息、车牌信息、人群密度信息、车流量信息等目标识别结果，这些目标识别结果以OSD(在屏显示)方式叠加在视频流中，回传给无人机的控制单元，通过无人机的控制单元经通信链路发送给地面控制终端，并直接进行解码显示。

在本实施例中，智能识别设备是个单体设备。本领域技术人员应该理解，随着产品集成度的提高，该智能识别设备也可采用板卡、硬件功能模块(即集成于无人机控制单元的电路板上)或软件功能模块(即集成于无人机控制单元的应用程序内)的方式集成于无人机的控制单元中，智能识别设备和控制单元的通信连接也不再限于以太网方式，可以是其它高速的串行数据总线或并行数据总线的方式。

如图2所示，本实施例的目标识别具体的包括以下步骤：

获取云台相机的视频流；视频流解码；检查APP端(即地面控制终端)的配置文件，确定识别目标；执行如人脸识别、车牌识别、人群密度、车流量检测等目标识别算法；将识别结果以OSD(在屏显示)方式叠加到视频流中；对视频流进行编码，以满足通信链路传输带宽的要求；最后将已编码的叠加了识别结果的视频流发送到APP端进行解码显示。

更具体的，在本实施例中，智能识别设备对云台相机的视频流进行目标识别处理，具体包括两个线程：目标检测线程和目标识别线程。

目标检测线程是一个实时线程，根据目标识别类型的设定，抓取目标视频流中的目标并标识。在所述目标检测线程中，融合无人机IMU(惯性测量单元)测量数据(无人机的运动和姿态数据)对解码后的视频流的当前帧图片进行目标位置预测，根据上一帧图片的预测信息给出的目标位置，在当前帧图片的对应位置找出目标，并求当前帧图片中的目标和上一帧图片中的目标的图像相似度；当图像相似度小于等于设置值时，将当前帧图片中的目标图片加入目标队列，跳转执行目标识别；当图像相似度大于设置值时，则根据当前目标位置刷新当前帧图片的预测信息。而目标识别线程则从目标队列中取出目标图片，依次识别出目标的具体信息，导出目标识别结果。

如图3所示，以人脸检测为例，所述目标检测线程，具体包括以下步骤：

(1)接收视频流并解码；

(2)记录无人机的IMU测量数据；

(3)搜索人脸，对齐人脸，记录位置信息和记录人脸的图片信息；

(4)提取当前帧图片的ORB特征点并与前一帧图片进行特征匹配，融合IMU数据，计算相机画面的运动速度与方向；

(5)根据上一帧的预测信息的人脸出现位置，结合相机画面的运动速度与方向，在当前帧的对应位置找出人脸，求求当前帧图片中的人脸和上一帧图片中对应人脸的图像相似度pHash；

判断：当图像相似度pHash大于8(设定阈值)时，则根据当前目标位置刷新当前帧的预测信息；当图像相似度小于等于设定阈值时，则从当前帧图片中截取人脸图片，将人脸图片加入目标队列；跳转执行目标识别。

其中，ORB特征点是图像特征点的一种优选方案，本领域技术人员应当了解，也可以采用FAST、BRIEF、BRISK、FREAK、KAZE等图像特征点，以提供快速的图像检测和图像匹配。

优选的，以人脸识别为例，目标识别线程具体为：从人脸队列中取出图片；从取出的图片中提取人脸特征；根据人脸特征检索特征数据库，导出匹配的人员信息。

优选的，导出的匹配人员信息是以OSD(在屏显示)方式，写入回传的视频流中，从而实时、直观地体现目标检测识别结果。

本领域技术人员应当了解，该人脸检测识别的方法同样适用于车牌识别等具体目标识别。基于以上方法，通过人身识别、车身识别及结合统计分析等数据处理方法，可以得到人群密度或车流量等数据。

以人脸识别为例，本发明的人脸识别算法与现有技术的处理效果对比：

方案1：传统主流的人脸识别算法的流程是：

数据录入阶段：检测->对齐->提取特征->入库。

实时检索阶段：检测->对齐->提取特征->检索。

检测部分用于检测人脸在画面中出现的位置。然后应用人脸对齐算法将侧脸对齐为正脸。针对对齐后的正脸提取特征，最后将特征值与数据库中的数据进行比对，如果匹配则给出数据库中的人员信息记录。

这样一种方法，整个流程运行下来时间大约500ms，其中提取特征耗时固定约400ms，检索过程耗时根据人脸数据库大小而定。检测和对齐的耗时较小，约为二三十毫秒。这就存在一个问题，当我们要识别视频内容的时候，如果按顺序每一帧都去完整流程计算会浪费很多时间，无法达到在无人机端实时识别的要求。

方案2：现有的一种人脸识别的优化算法：将检测与对齐放在一个线程中，提取特征与检索放在一个线程中，两个线程并发执行，在识别后检测线程再将识别结果叠加到视频画面上，经过编码发送到地面端。但这种优化方式仍然存在一个问题：检测线程每过一帧就将画面上抓取到人脸推送到队列中，可能会推送进多个重复人脸，在无人机这种场景中，人数较少时，没有什么问题，人数较多时，识别进程消化来不及，会造成累计延迟，可能较为严重时会导致丢失一部分待识别人脸。也可以设定成检测进程每隔10帧采样一次，这样大大减轻识别的压力，但是在无人机这种运动变化量大的场合，可能会丢失目标。

本发明的人脸识别算法：智能识别设备获取云台相机和无人机机身的IMU数据。检测进程检测出第一帧中人脸后记录下人脸出现位置，同时裁出人脸后求Hash值，将人脸送入人脸队列。运用ORB特征点匹配的办法计算现在画面的运动速度，融合IMU速度去更精确地预估接下来的运动速度和方向。人脸位置结合相机画面运动速度，预测出第二帧中相应人脸出现位置。当第二帧画面到达时，我们把人脸位置处于预测位置的人脸与上一帧的人脸求pHash，当相似度大于8时判定为同一个人(相似度的范围设置为1-10，越接近10表示相似度越高，在此取8为判定阈值)，就丢弃这张人脸，否则判定为新的人脸，加到人脸队列中等待识别线程去检测。以这样的方式，可以实现不丢失画面中出现的人脸，同时降低因对反复出现的人脸进行识别而造成识别跟不上的问题。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。