一种基于三级视频感知的无人机动态三维重构系统和方法

技术领域

本发明涉及是三维重建领域的一种无人机三维重构系统和方法，特别是一种基于三级视频感知的无人机动态三维重构系统和方法。

背景技术

民用无人机已在世界范围内获得广泛应用，包括航拍、快递运输、灾难救援、电力巡检、农业植保、边境监控巡察、测绘、火情监视、环境保护等多个领域。然而，无人机的迅速普及也带来了严重的安全问题近年来，国内外媒体已报道了数十起无人机引发的公共安全事件，机场、监狱、体育场馆、公共建筑和其他重要敏感场所成为无人机侵扰的主要目标对公共安全和个人隐私造成了严重的影响。因此，对无人机实时侦测十分必要。目前大多数无人机侦测系统以射频、音频、视频为特征实现检测和跟踪上目标，以获得实时视频流，而缺少对目标无人机参数化的三维模型的构建。

三维模型的构建是对二维平面图像信息的拓展。与二维图像相比，三维模型可以从不同角度观察，可以更全面地显示目标物体，使目标物体更加生动，但大多数建模是针对固定物体的静态构建。对于动态飞行无人机的三维重构是一个难题，通过多视角跟踪并采集无人机图像，获得目标对象的实际参数，并通过与先验数据比对，实现对入侵无人机的更深程度认知。

发明内容

为了解决背景中存在的问题和需求，本发明的目的在于提供基于三级视频感知的无人机动态三维重构系统和方法。

为了达到上述目的，本发明采用的技术方案如下：

一、一种基于三级视频感知的无人机动态三维重构系统

系统包括三级视频感知模块组、信息处理与控制模块、运动结构恢复器和三维重构器；

三级视频感知模块组由第一级视频传感模块、第二级视频传感模块组和第三级视频传感模块组组成，第一级视频传感模块、第二级视频传感模块组、第三级视频传感模块组、运动结构恢复器和三维重构器均与信息处理与控制模块相连，运动结构恢复器和三维重构器相连。

所述第一级视频传感模块为一台红外摄像相机，红外摄像相机的视野监测范围为全部监控区域；第二级视传感模块组为多台区域性监视域摄像机，多台区域性监视域摄像机的视野监测范围之间无重叠，所有区域性监视域摄像机的视野监测范围之和为全部监控区域；第三级频传感模块组为多台云台变焦可变视域摄像机，区域性监视域摄像机与云台变焦可变视域摄像机的台数相同并且台数为合数，初始位姿下各台云台变焦可变视域摄像机的监控区域与各台区域性监视域摄像机的监控区域一一对应。

所述信息处理与控制模块包括图像处理单元、坐标解析单元、轨迹预测单元、第三级可视域控制单元和目标分类与识别单元；

第一级视频传感模块、第二级视频传感模块组和第三级视频传感模块组均与图像处理单元相连，图像处理单元还和坐标解析单元、运动结构恢复器以及目标分类与识别单元相连，坐标解析单元经轨迹预测单元后与第三级可视域控制单元相连，第三级可视域控制单元与第三级视频传感模块组相连，目标分类与识别单元与三维重构器相连；

所述图像处理单元用于对三级视频传感模块组采集的原始视频流进行图像处理与图像增强，实现目标前景和背景的分离，获得对应的可视域图像视频流；

所述目标分类与识别单元中，根据第一级视频传感模块对应的可视域图像视频流检测全部监控区域中是否存在疑似无人机，如果某一监测区域中存在则向坐标解析单元发送启动信号，还根据第三级视频传感模块组对应的可视域图像视频流对监控区域中的无人机进行特征提取和识别，获得三维重构的先验数据集并发送给三维重构器；

所述坐标解析单元用于根据目标分类器发送的启动信号对图像处理单元发送的第二级视频传感模块组对应的可视域图像视频流进行无人机目标检测，确定可视域图像视频流中是否存在无人机以及无人机在空间中的相对位置坐标；

所述轨迹预测单元用于根据无人机在空间中的相对位置坐标进行轨迹预测，得到无人机预测位置坐标；

所述第三级可视域控制单元用于根据无人机预测位置坐标和云台与变焦电机参数，计算并将控制信号发送给第三级视频传感模块组，实现第三级视频传感模块对无人机的实时跟踪。

所述目标分类与识别单元包括目标分类器、图像特征分析器和无人机分类器，目标分类器与图像特征分析器均与图像处理单元相连，目标分类器与坐标解析单元相连，图像特征分析器经无人机分类器后与三维重构器相连；

目标分类器用于根据第一级视频传感模块对应的可视域图像视频流检测全部监控区域中是否存在疑似无人机，如果某一监测区域中存在疑似无人机则向坐标解析单元发送启动信号；

图像特征分析器用于根据第三级视频传感模块组对应的可视域图像视频流对监控区域中的无人机进行特征提取，获得无人机特征向量组；

无人机分类器用于根据无人机特征向量组进行无人机类别识别以及数据提取，获得三维重构的先验数据集并发送给三维重构器。

初始状态时，所述第一级视频传感模块和第二级视频传感模块组工作，第三级视频传感模块组处于休眠状态；第一级视频传感模块和第二级视频传感模块组实时采集获得原始视频流并发送给信息处理与控制模块，如果信息处理与控制模块检测到某一监测区域中存在疑似无人机，则信息处理与控制模块根据第二级视频传感模块组中该监测区域的可视域图像视频流获得控制信号并发送给第三级视频传感模块，激活该监测区域的第三级视频传感模块组，实现无人机的实时跟踪。

所述第二级视传感模块组中多台区域性监视域摄像机的视野监测范围通过以下方法进行确定：

首先利用同步视频方法确定第二级视频传感模块组和第一级视频传感模块的约束关系，接着根据第二级视频传感模块组和第一级视频传感模块的约束关系计算获得在第一级视频传感模块的成像平面上每台区域性监视域摄像机的视野分界线，进而确定每台区域性监视域摄像机的视野监测范围。

二、一种基于三级视频感知的无人机动态三维重构方法

S1：对第一级视频传感模块和第二级视频传感模块组采集监测区域的原始视频流进行图像处理与图像增强，实现目标前景和背景的分离，获得对应的可视域图像视频流；

S2：对第一级视频传感模块对应的可视域图像视频流进行疑似无人机的检测，如果某一监测区域中存在则向坐标解析单元发送启动信号，坐标解析单元则根据启动信号和第二级视频传感模块组对应的可视域图像视频流进行精确无人检测，确定可视域图像视频流中是否存在无人机，如果存在无人机则确定无人机在空间中的相对位置坐标；

S3：再根据无人机在空间中的相对位置坐标计算获得第三级视频传感模块组的控制信号并发送给第三级视频传感模块组，使得第三级视频传感模块组对无人机实时跟踪；

S4：对第三级视频传感模块组中采集的原始视频流进行图像处理与图像增强，实现目标前景和背景的分离，获得对应的可视域图像视频流；

S5：对第三级视频传感模块组的可视域图像视频流进行无人机特征提取和识别，获得三维重构的先验数据集；

S6：利用运动结构恢复器对第三级视频传感模块组对应的可视域图像视频流进行空间特征点提取，获得无人机三维空间特征点在不同视角下的投影点和参数信息，结合当前无人机三维重构的先验数据集，利用三维重建器完成无人机三维重构，获得三维重构无人机，再对三维重构无人机进行局部3D特征提取与识别，获得当前无人机的局部差异部件。

所述S3具体为：

根据无人机在空间中的相对位置坐标进行无人机飞行预测，得到无人机预测位置坐标；再比较无人机预测位置坐标与当前无人机所在监测区域中云台变焦可变视域摄像机的可视域视场中心，结合云台与变焦电机参数，计算云台转动和镜头调整的控制信号，使得无人机始终位于当前云台变焦可变视域摄像机的可视域视场中心，云台转动和镜头调整的控制信号作为第三级视频传感模块组的控制信号。

所述S3具体为：

将无人机在空间中的相对位置坐标分别输入到卡尔曼滤波模型和LSTM模型中，分别输出对应坐标系下的无人机轨迹预测点，将两种坐标系下的无人机轨迹预测点转化到同一坐标系下，再利用RANSAC算法对同一坐标系下的两种无人机轨迹预测点进行曲线拟合，获得无人机飞行预测轨迹，无人机飞行预测轨迹上的轨迹点所在坐标为无人机预测位置坐标；

再将无人机预测位置坐标与当前无人机所在监测区域中云台变焦可变视域摄像机的可视域视场中心作差，获得在水平方向上的偏移距离S

当在水平方向上的偏移距离S

当前云台变焦可变视域摄像机的云台偏移视场角是根据当前云台变焦可变视域摄像机的云台水平方向的视场角θ和垂直方向的视场角

其中，△θ表示云台水平方向的视场偏移角，

当无人机的位置处于画面中心范围时，通过以下公式计算获得当前云台变焦可变视域摄像机的变倍率f

f

其中，S

由当前云台变焦可变视域摄像机的云台偏移视场角和变倍率f

所述S6具体为：

S61：对第三级视频传感模块组对应的可视域图像视频流中进行图像两两遍历性匹配，获得目标无人机图像重复区域；

S62：提取目标无人机图像重复区域中尺度不变特征变换特征点，获得对应的特征点描述符，再对特征点描述符的维度进行降维后，获得降维后的特征点描述符，接着根据降维后的特征点描述符计算各特征点之间的欧氏距离，从而获得各个尺度不变特征变换特征点的匹配点，获得初步匹配特征结果，最后使用RANSAC算法消除初步匹配特征结果中的错误匹配点，获得最终匹配特征结果；

S63：从可视域图像视频流的前m秒中选择两张无人机面积最大的可视域图像作为初始化图像，根据初始化图像对应的位姿关系以及最终匹配特征结果，通过三角原理恢复相关三维点坐标，获得初始重建结果，再加入可视域图像视频流中剩余可视域图像，进而扩展初始重建结果，获得初始重建结果，最后用光束平差法对初始重建结果进行优化，得到无人机的三维稀疏模型；

S64：利用平面扫描法对无人机的三维稀疏模型进行处理后，获得无人机的三维稠密模型；

S65：根据当前无人机三维重构的先验数据集对无人机的三维稠密模型进行辅助矫正，获得无人机整体三维重构模型；

S66：通过卷积神经网络比对获得无人机整体三维重构模型与先验数据集之间的无人机的局部3D差异特征，再对局部3D差异特征进行图像识别后获得无人机的局部差异部件类型，结合测量参数计算差异部件尺寸。

本发明具有的有益效果是：

本发明能对动态飞行的无人机实时观测，形成稳定可分辨的观测图像输出，并能构建具有实际参数尺寸的无人机三维模型。

附图说明

图1是本发明的系统结构图。

图2是本发明系统的流程图。

图3是第三级可视域控制单元跟踪的控制过程。

具体实施方式

以下结合附图和具体实施方式对本发明作进一步说明。

如图1所示，本发明包括三级视频感知模块组、信息处理与控制模块、运动结构恢复器和三维重构器；

三级视频感知模块组由第一级视频传感模块、第二级视频传感模块组和第三级视频传感模块组组成，第一级视频传感模块、第二级视频传感模块组、第三级视频传感模块组、运动结构恢复器和三维重构器均与信息处理与控制模块相连，运动结构恢复器和三维重构器相连。

第一级视频传感模块为一台红外摄像相机，红外摄像相机的视野监测范围为全部监控区域；第二级视传感模块组为多台区域性监视域摄像机，多台区域性监视域摄像机的视野监测范围之间无重叠，所有区域性监视域摄像机的视野监测范围之和为全部监控区域；第三级频传感模块组为多台云台变焦可变视域摄像机，区域性监视域摄像机与云台变焦可变视域摄像机的台数相同并且台数为合数，台数为n。初始位姿下各台云台变焦可变视域摄像机的监控区域与各台区域性监视域摄像机的监控区域一一对应。动态跟踪过程中视野重叠的两台云台变焦可变视域摄像机构成双目成像模型；不存在视野重叠时，则将正在跟踪的云台变焦可变视域摄像机的前后位姿构成双目成像模型。

第一级视频传感模块、第二级视频传感模块组和第三级视频传感模块组的视频分辨率为1:1:1。

信息处理与控制模块包括图像处理单元、坐标解析单元、轨迹预测单元、第三级可视域控制单元和目标分类与识别单元；

第一级视频传感模块、第二级视频传感模块组和第三级视频传感模块组均与图像处理单元相连，图像处理单元还和坐标解析单元、运动结构恢复器以及目标分类与识别单元相连，坐标解析单元经轨迹预测单元后与第三级可视域控制单元相连，第三级可视域控制单元与第三级视频传感模块组相连，目标分类与识别单元与三维重构器相连；

图像处理单元用于对三级视频传感模块组采集的原始视频流进行图像处理与图像增强，实现目标前景和背景的分离，获得对应的可视域图像视频流；

目标分类与识别单元中，根据第一级视频传感模块对应的可视域图像视频流检测全部监控区域中是否存在疑似无人机，如果某一监测区域中存在则向坐标解析单元发送启动信号，否则，不发送。如果监控区域中确实存在无人机，则还根据第三级视频传感模块组对应的可视域图像视频流对监控区域中的无人机进行特征提取和识别，获得三维重构的先验数据集并发送给三维重构器；

目标分类与识别单元包括目标分类器、图像特征分析器和无人机分类器，目标分类器与图像特征分析器均与图像处理单元相连，目标分类器与坐标解析单元相连，图像特征分析器经无人机分类器后与三维重构器相连；

目标分类器用于根据第一级视频传感模块对应的可视域图像视频流检测全部监控区域中是否存在疑似无人机，如果某一监测区域中存在疑似无人机则向坐标解析单元发送启动信号；否则，不发送；图像特征分析器用于根据第三级视频传感模块组中至少一台云台变焦可变视域摄像机对应的可视域图像视频流对监控区域中的无人机进行特征提取，获得无人机特征向量组，无人机分类器用于根据无人机特征向量组进行可视域图像中的无人机类别识别以及数据提取，根据无人机类别提取数据库中对应的无人机的尺寸、结构、无人机的旋翼数和无人机的轮廓并组成三维重构的先验数据集，从而获得三维重构的先验数据集并发送给三维重构器。

坐标解析单元用于根据目标分类器发送的启动信号对图像处理单元发送的第二级视频传感模块组中相应区域的区域性监视域摄像机对应的可视域图像视频流进行无人机目标检测，确定可视域图像视频流中是否存在无人机以及无人机在空间中的相对位置坐标(如果存在无人机)；

轨迹预测单元用于根据无人机在空间中的相对位置坐标进行轨迹预测，得到无人机预测位置坐标；

第三级可视域控制单元用于根据无人机预测位置坐标和云台与变焦电机参数，计算并将控制信号发送给第三级视频传感模块组，具体是将控制信号发送给与监控无人机所在监控区域的区域性监视域摄像机对应的云台变焦可变视域摄像机，实现第三级视频传感模块对无人机的实时跟踪。

初始状态时，第一级视频传感模块和第二级视频传感模块组工作，第三级视频传感模块组处于低功率休眠状态；第一级视频传感模块和第二级视频传感模块组实时采集获得原始视频流并发送给信息处理与控制模块的图像处理单元，如果信息处理与控制模块中的目标分类器根据图像处理单元处理后第一级对应的可视域图像视频流检测全部监控区域中是否存在疑似无人机，检测到某一监测区域中存在疑似无人机，则信息处理与控制模块的图像处理单元将第二级视频传感模块组中该监测区域所在的区域性监视域摄像机采集的可视域图像视频流发送给坐标解析单元，坐标解析单元根据第二级视频传感模块组中该监测区域的可视域图像视频流进行无人机识别和位置计算，进而轨迹预测单元、第三级可视域控制单元依次进行轨迹预测、控制信号生成，最终获得控制信号并发送给第三级视频传感模块，激活该监测区域的第三级视频传感模块组的云台变焦可变视域摄像机，实现无人机的实时跟踪。

第二级视传感模块组中多台区域性监视域摄像机的视野监测范围通过以下方法进行确定：

首先利用同步视频方法确定第二级视频传感模块组和第一级视频传感模块的约束关系，接着根据第二级视频传感模块组和第一级视频传感模块的约束关系计算获得在第一级视频传感模块的成像平面上每台区域性监视域摄像机的视野分界线，进而确定每台区域性监视域摄像机的视野监测范围。具体实施中，以第一级视频传感模块成像平面的左上角为原点O

其中，E

如图2所示，方法包括以下步骤：

S1：对第一级视频传感模块和第二级视频传感模块组采集监测区域的原始视频流进行图像处理与图像增强，实现目标前景和背景的分离，具体是提取原始视频流的各图像中前景目标的轮廓特征、运动特征和红外特征，将三个特征进行多特征融合后获得融合的特征向量，即获得对应的可视域图像视频流；

S11：目标分类器接受第一级视频流的图像，提取前景目标的轮廓特征、运动特征和红外特征后进行多特征融合，融合的特征向量输入到卷积神经网络完成疑似无人机目标的检测，并获得疑似无人机目标在第一级视频传感模块成像平面上的位置P

S12：根据疑似无人机目标在第一级视频传感模块成像平面的位置P

S2：对第一级视频传感模块对应的可视域图像视频流进行疑似无人机的检测，具体是将融合的特征向量输入到卷积神经网络中进行疑似无人机目标的检测，获得疑似无人机目标在第一级视频传感模块成像平面上的位置P

M

其中，H

S3：再根据无人机在空间中的相对位置坐标计算获得第三级视频传感模块组的控制信号并发送给第三级视频传感模块组，使得第三级视频传感模块组对无人机实时跟踪；区域性监视域摄像机与对应云台变焦可变视域摄像机组成双目视觉相机，从而获得测量参数。

S3具体为：

根据无人机在空间中的相对位置坐标进行无人机飞行预测，得到无人机预测位置坐标；再比较无人机预测位置坐标与当前无人机所在监测区域中云台变焦可变视域摄像机的可视域视场中心，结合云台与变焦电机参数，计算云台转动和镜头调整的控制信号，使得无人机始终位于当前云台变焦可变视域摄像机(至少一台)的可视域视场中心，云台转动和镜头调整的控制信号作为第三级视频传感模块组的控制信号。

其中，轨迹预测单元根据无人机在空间中的相对位置坐标进行无人机飞行预测，得到无人机预测位置坐标，具体为：

将一系列无人机在空间中的相对位置坐标分别输入到卡尔曼滤波模型和LSTM模型中，分别输出对应坐标系下的无人机轨迹预测点，将两种坐标系下的无人机轨迹预测点转化到同一坐标系下，再利用RANSAC算法对同一坐标系下的两种无人机轨迹预测点进行曲线拟合，获得无人机飞行预测轨迹，无人机飞行预测轨迹上的轨迹点所在坐标为无人机预测位置坐标。

其中，如图3所示，第三级可视域控制单元将无人机预测位置坐标P

其中，D1为云台变焦可变视域摄像机在水平方向的像素个数，D2为云台变焦可变视域摄像机在垂直方向的像素个数；

当在水平方向上的偏移距离S

具体公式如下：

其中，F表示云台移动方向函数值，S

当前云台变焦可变视域摄像机的云台偏移视场角是根据当前云台变焦可变视域摄像机的云台水平方向的视场角θ和垂直方向的视场角

其中，△θ表示云台水平方向的视场偏移角，

当无人机的位置处于画面中心范围时，通过以下公式计算获得当前云台变焦可变视域摄像机的变倍率f

f

其中，S

由当前云台变焦可变视域摄像机的云台偏移视场角和变倍率f

S4：对第三级视频传感模块组中采集的原始视频流进行图像处理与图像增强，实现目标前景和背景的分离，获得对应的可视域图像视频流；

S5：对第三级视频传感模块组的可视域图像视频流进行无人机特征提取和识别，获得三维重构的先验数据集；

S5具体为：

根据第三级视频传感模块组中至少一台云台变焦可变视域摄像机对应的可视域图像视频流对监控区域中的无人机进行特征提取，获得无人机特征向量组，再根据无人机特征向量组进行可视域图像中的无人机类别识别以及数据提取，根据无人机类别提取数据库中对应的无人机的尺寸、结构、无人机的旋翼数和无人机的轮廓并组成三维重构的先验数据集，从而获得当前无人机三维重构的先验数据集；

S6：利用运动结构恢复器对第三级视频传感模块组对应的可视域图像视频流进行空间特征点提取，获得无人机三维空间特征点在不同视角下的投影点和参数信息，结合当前无人机三维重构的先验数据集，利用三维重建器完成无人机三维重构，获得三维重构无人机，再根据先验数据集对三维重构无人机进行局部3D特征提取与识别，获得当前无人机的局部差异部件。

S6具体为：

S61：运动结构恢复器中，对第三级视频传感模块组对应的可视域图像视频流中进行图像两两遍历性匹配，获得目标无人机图像重复区域；

S62：提取目标无人机图像重复区域中尺度不变特征变换SFIT特征点，获得对应的特征点描述符，再对特征点描述符的维度进行降维后，获得降维后的特征点描述符，接着根据降维后的特征点描述符计算各特征点之间的欧氏距离，将欧氏距离小于预设欧式距离阈值的特征点作为匹配点，从而获得各个尺度不变特征变换SFIT特征点的匹配点，获得初步匹配特征结果，最后使用RANSAC算法消除初步匹配特征结果中的错误匹配点，获得最终匹配特征结果；

S63：从可视域图像视频流的前m秒中选择两张无人机面积最大的可视域图像作为初始化图像，根据初始化图像对应的位姿关系以及最终匹配特征结果，通过三角原理恢复相关三维点坐标，获得初始重建结果，再加入可视域图像视频流中剩余视角的可视域图像，进而扩展初始重建结果，获得初始重建结果，最后用光束平差法对初始重建结果进行优化，得到无人机的三维稀疏模型；

S64：利用平面扫描法对无人机的三维稀疏模型进行处理后，获得无人机的三维稠密模型；

S65：根据当前无人机三维重构的先验数据集对无人机的三维稠密模型进行辅助矫正，获得无人机整体三维重构模型；

S66：通过卷积神经网络比对获得无人机整体三维重构模型与先验数据集之间的无人机的局部3D差异特征，再对局部3D差异特征进行图像识别后获得无人机的局部差异部件类型，如下挂的摄像机、下带的武器类型，结合测量参数计算差异部件尺寸。