一种基于改进深度神经网络的远距离机场目标检测方法

技术领域

本发明属于机场目标检测领域，尤其涉及一种基于改进深度神经网络的远距离机场目标检测方法。

背景技术

机场是一类重要的战略目标，它的识别检测在实际应用中具有重要的意义，在军事领域，正确检测识别出军用机场就准确袭击敌方空军，摧毁跑道，造成机场毁伤，同时，也是我方能量补给、交通中转和停靠的地方；在民用领域，机场是重要的交通枢纽，飞机已成为人们出行的交通工具，跑道的准确识别能够确保飞机的安全降落，可以在不利因素下实现自主导航，提高航空系统和人员的安全性。因此，机场目标检测在飞机自动导航和准确着陆中具有重要意义。

传统的机场目标检测方法基于跑道线出发，利用军用机场的几何结构或民用机场的跑道平行线特征、灰度特征等来检测跑道。然而这些方法具有一定的局限性，其检测基于已经存在跑道图片，其跑道区域往往占据图片中心区域，并且跑道线明确，并不适用基于远距离的机场目标检测。

基于远距离的机场目标检测技术难点在于：

远距离机场目标数据集较少，使用简单的图像处理，直线检测方法来检测机场跑道不具备代表性；

基于远距离的机场目标图片背景复杂，跑道只占用图像的5％左右，不一定能够读取到机场跑道线，采用传统的基于跑道线的检测方法无法检测到机场目标。

发明内容

为了解决现有技术存在的问题，本发明新建了机场目标数据集，提供了一种基于改进深度神经网络的远距离机场目标检测方法。

本发明解决其技术问题所采用的技术方案是：提供一种基于改进深度神经网络的远距离机场目标检测方法，该方法包括以下步骤，

步骤1：构建机场跑道图像训练集，采用机场跑道外接矩形边框标注机场跑道图像训练集中每幅机场跑道图像的机场跑道区域，标记机场跑道图像训练集中每幅机场跑道图像的跑道状态，构建深度学习模型图像训练集；

步骤2：将机场跑道图像训练集中每幅机场跑道图像的机场跑道区域通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，得到扩充后深度学习模型图像训练集；

步骤3：结合扩充后深度学习模型图像训练集中外接矩形边框，采用k-means++算法改进外接矩形边框，得到适合扩充后深度学习模型图像训练集中每个样本对应的先验框；

步骤4：根据darknet-53网络构建深度神经网络模型，结合先验框构建深度神经网络模型的损失函数模型，将扩充后深度学习模型图像训练集作为训练集输入，通过优化训练得到优化后的深度神经网络模型。

作为优选，步骤1所述机场跑道图像训练集为：

{data

其中，，data

步骤1所述的机场跑道图像训练集中每幅机场跑道图像的机场跑道外接矩形边框为：

其中，

步骤1所述机场跑道图像训练集中每幅机场跑道图像的跑道状态为：

{type

其中，type

步骤1所述深度学习模型图像训练集为：

k∈[1，K]，x∈[1，X]，y∈[1，Y]，n∈[1，N

其中，data

作为优选，所述步骤2中，通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，包括以下步骤：

步骤2.1，在机场跑道图像训练集中随机选取部分训练集构建高分辨率网络训练集；对选取的训练集中的每幅机场跑道图像的机场跑道外接矩形边框进行裁剪，获得只包含机场跑道区域的目标图像，减少背景特征；

根据训练集中的矩形外接框的左上角

在训练集中原图中裁剪的左上角坐标为：

右下角坐标为：

如果裁剪坐标范围超出原图边界，则取边界值，裁剪后的得到的图像大小为外接矩形框区域的2倍，保存为新的高分辨率网络训练集图像；

所述构建高分辨率网络训练集为：

{data

其中，data

对高分辨率网络训练集中每幅图像进行数据增强处理得到数据增强后高分辨率网络训练集为：

{data

k1∈[1，4T]，t1∈[1，4T]，T∈[1，K]}

其中，data

图像锐化处理、图像对比度增强、图像饱和度增强、滤除噪声；

步骤2.2，采用FSRCNN网络对高分辨率数据集进行训练，该网络包括特征提取、压缩、映射、扩展、去卷积五个部分，采用PRELU作为激活函数，均方误差MSE作为损失函数得到训练后FSRCNN网络；

所述FSRCNN网络的损失函数为：

其中，C是超分辨率网络训练样本总数，data′

步骤2.3，输入深度学习模型图像训练集中的其它未被随机选取用于超分辨率网络训练集的机场跑道图像，

data

基于训练后FSRCNN网络进行超分辨率重建，得到扩充的机场跑道图像训练集；

data

其中，data′

作为优选，所述步骤3中，采用k-means++算法改进外接矩形边框，包括以下步骤：

步骤3.1，根据训练集中外接矩形边框的左上角坐标信息和右下角坐标信息，可以得到每个外接矩形边框的宽和高，将每一张图像的一个外接矩形边框的宽高数据视为一个数据点(w

其中，w

步骤3.2，对于数据集中的每一个样本点(w

d(box，centroid)＝1-IOU(box，centroid)

IOU(box，centroid)为初始聚类中心和当前外接矩形边框的交并比，box表示随机样本点(w

其中，初始聚类中心和当前外接矩形边框并集的面积为：

其中，

初始聚类中心和当前外接矩形边框交集的面积为

S

所以，IOU＝S

步骤3.3，选择一个新的数据点作为新的聚类中心，选择原则是，距离d(box，centroid)较大的点，被选取作为聚类中心的概率较大；

步骤3.4，重复步骤3.2和步骤3.3直至k个聚类中心被选出来，利用这k个初始的聚类中心来运行标准的k-means算法；

步骤3.5，从1开始选取k值，随着k增加到某个值时，对应此k值得平均交并比变化越来越小，在拐点附近取值作为最优聚类个数，生成适合本训练集的先验框；

作为优选，步骤4所述结合先验框构建深度神经网络模型的损失函数模型为：

改进深度神经网络模型的损失函数模型基于YOLO v3损失函数模型，由预测目标框bbox位置x，y，w，h带来的误差，目标框置信度obj误差和类别class误差三部分组成，损失函数公式如下：

其中，N×N表示将扩充后数据集data

x

将扩充后的训练集data

结合上述的所有技术方案，本发明所具备的优点是：本发明新建了机场目标数据集，并采用超分辨率网络扩充数据集，结合深度学习方法训练适合机场区域的深度神经网络模型，解决了远距离机场跑道识别检测的问题，能够准确实现机场目标的检测，具有较好的实时性和准确性，方便重新训练适应新的跑道场景。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例基于改进深度神经网络的远距离机场目标检测方法流程图。

图2是本发明实例中提供的机场目标训练集统计结果。

图3是本发明实例中提供的机场目标训练集部分图片。

图4是本发明训练过程中损失函数的变化曲线图。

图5是本发明模型性能评价指标precision-recall曲线图。

图6是本发明实例中提供的方法检测得到的远距离机场目标图片。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，结合以下实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面结合图1至图6描述本发明的具体实施方式。

如图1所示，本发明实施例中，提供一种基于改进深度神经网络的远距离机场目标检测方法，包括以下步骤，

步骤1：构建机场跑道图像训练集，如图2所示，为构建机场跑道图像训练集的详细信息，采用机场跑道外接矩形边框标注机场跑道图像训练集中每幅机场跑道图像的机场跑道区域，标记机场跑道图像训练集中每幅机场跑道图像的跑道状态，构建深度学习模型图像训练集。

步骤1所述机场跑道图像训练集为：

{data

其中，data

X＝1920，Y＝1080或X＝2160，Y＝1440

或X＝1280，Y＝720或X＝320，Y＝240或X＝352，Y＝240

步骤1所述的机场跑道图像训练集中每幅机场跑道图像的机场跑道外接矩形边框为：

其中，

步骤1所述机场跑道图像训练集中每幅机场跑道图像的跑道状态为：

{type

其中，type

步骤1所述深度学习模型图像训练集为：

k∈[1，K]，x∈[1，X]，y∈[1，Y]，n∈[1，N

其中，data

步骤2：将机场跑道图像训练集中每幅机场跑道图像的机场跑道区域通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，得到扩充后深度学习模型图像训练集，部分训练集图像如图3所示；

所述步骤2中，通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，包括以下步骤：

步骤2.1，在机场跑道图像训练集中随机选取部分训练集构建高分辨率网络训练集；对选取的训练集中的每幅机场跑道图像的机场跑道外接矩形边框进行裁剪，获得只包含机场跑道区域的目标图像，减少背景特征；

根据训练集中的矩形外接框的左上角

在训练集中原图中裁剪的左上角坐标为：

右下角坐标为：

如果裁剪坐标范围超出原图边界，则取边界值，裁剪后的得到的图像大小为外接矩形框区域的2倍，保存为新的高分辨率网络训练集图像；

所述构建高分辨率网络训练集为：

{data

其中，data

对高分辨率网络训练集中每幅图像进行数据增强处理得到数据增强后高分辨率网络训练集为：

{data

k1∈[1，4T]，t1∈[1，4T]，T∈[1，K]}

其中，data

图像锐化处理、图像对比度增强、图像饱和度增强、滤除噪声；

步骤2.2，采用FSRCNN网络对高分辨率数据集进行训练，该网络包括特征提取、压缩、映射、扩展、去卷积五个部分，采用PRELU作为激活函数，均方误差MSE作为损失函数得到训练后FSRCNN网络；

所述FSRCNN网络的损失函数为：

其中，C＝1600是超分辨率网络训练样本总数，data′

步骤2.3，输入深度学习模型图像训练集中的其它未被随机选取用于超分辨率网络训练集的机场跑道图像，

data

基于训练后FSRCNN网络进行超分辨率重建，得到扩充的机场跑道图像训练集；

data

其中，data′

步骤3：结合扩充后深度学习模型图像训练集中外接矩形边框，采用k-means++算法改进外接矩形边框，得到适合扩充后深度学习模型图像训练集中每个样本对应的先验框；

按上述技术方案，所述步骤3中，采用k-means++算法改进外接矩形边框，包括以下步骤：

步骤3.1，根据训练集中外接矩形边框的左上角坐标信息和右下角坐标信息，可以得到每个外接矩形边框的宽和高，将每一张图像的一个外接矩形边框的宽高数据视为一个数据点(w

其中，w

步骤3.2，对于数据集中的每一个样本点(w

d(box，centroid)＝1-IOU(box，centroid)

IOU(box，centroid)为初始聚类中心和当前外接矩形边框的交并比，box表示随机样本点(w

其中，初始聚类中心和当前外接矩形边框并集的面积为：

其中，

初始聚类中心和当前外接矩形边框交集的面积为

S

所以，IOU＝S

步骤3.3，选择一个新的数据点作为新的聚类中心，选择原则是，距离d(box，centroid)较大的点，被选取作为聚类中心的概率较大；

步骤3.4，重复步骤3.2和步骤3.3直至k个聚类中心被选出来，利用这k个初始的聚类中心来运行标准的k-means算法；

步骤3.5，从1开始选取k值，随着k增加到某个值时，对应此k值得平均交并比变化越来越小，在拐点附近取值作为最优聚类个数，生成适合本训练集的先验框，生成的先验框个数为9个，各个先验框的长宽分别为[20，29]，[54，63]，[98，101]，[96，172]，[191，146]，[170，275]，[324，233]，[577，299]，[657，455]；

步骤4：根据darknet-53网络构建深度神经网络模型，结合先验框构建深度神经网络模型的损失函数模型，将扩充后深度学习模型图像训练集作为训练集输入，通过优化训练得到优化后的深度神经网络模型；

步骤4所述结合先验框构建深度神经网络模型的损失函数模型为：

改进深度神经网络模型的损失函数模型基于YOLO v3损失函数模型，由预测目标框bbox位置x，y，w，h带来的误差，目标框置信度obj误差和类别class误差三部分组成，损失函数公式如下：

其中，N×N表示将扩充后数据集data

x

将扩充后的训练集data

步骤5：基于改进的深度神经网络对待检测机场跑道图像检测并保存。如图5所示为该改进模型性能评价指标曲线图。

基于改进深度神经网络检测待识别的远距离机场目标，用预训练后的网络模型对输入图片提取特征，送入到改进的深度神经网络模型中，模型内部会自动结合浅层和深层特征，通过多尺度检测模块进行预测，采用极大值抑制法去除冗余框，最终得到远距离机场跑道识别结果，并保存目标的坐标信息。如图6所示为检测某幅待识别机场跑道图像的结果图。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。