一种基于图像识别的飞机机翼、平尾结冰实时探测方法

技术领域

本发明属于飞行安全技术领域，尤其涉及一种飞机机翼、平 尾结冰实时探测方法。

背景技术

目前，结冰作为影响飞行的六大气象因素之一，是飞行事故 的主要诱因。当飞机穿过含有过冷水滴的云层时，过冷水滴极易 在机翼、平尾的表面上结冰，机翼、平尾的结冰将严重影响飞机 的气动特性，对飞行安全产生极大隐患。截至目前，过冷水滴环 境下的防除冰问题仍未得到合理解释和有效解决。飞机结冰探测 作为保证飞行安全的重要方法，能够在结冰情况下提醒飞行员组 织防除冰手段，其主要功用在于判断飞机是否结冰、结冰的位置(有些位置一旦形成冰脊，防除冰装置很难完全将其除去)、结 冰的严重程度。

现有技术中，关于机翼、平尾的结冰探测的研究十分活跃， 但大多数探测方法皆是基于传统测量方法，其大致可以分为两种， 一是伸出型结冰传感器，此类探测装置通过在飞机固定位置安装， 根据探测器的结冰情况判断机翼的结冰情况，专利CN109927910 A公开了一种基于光电传感器的冰晶探测方法，是一种结构简单、 可靠性高、易于实现、功耗小的冰晶探测方法，但是这种探测方 法要求结冰探测器从机身处外伸，对飞机的气动特性影响较为严 重，同时，由于传感器的安装区域与飞机结冰敏感区域的差异， 导致这种传感器具有冻结系数小、虚警率高的问题，在实际飞行 过程中可能分散飞行员的注意力，增加了飞行安全的风险；二是 保型结冰传感器，此类传感器直接安装在飞机的结冰敏感区域，其传感器的探头与机翼、平尾的蒙皮表面平齐，专利公开说明书 CN110879127A公开了一种基于翼面的耦合式结冰探测方法，这 种方法适用范围广，能够安装在旋翼、固定翼等多类飞机上，但 由于结构复杂、破坏翼面的完整性、工作温度受限等原因，导致 其安装困难，且无法与除冰设备安装在同一区域。由于以上两种 探测方法对机翼、平尾结冰的探测效能不足，导致目前部分飞机 暂使用目视式方法代替，其方法为在飞机固定位置处安装摄像装置，或通过光学反射装置使图像沿光路传递至驾驶舱内，由飞行 员进行动态监视。但在飞行过程中，但这种方法增加了飞行员的 负担，且探测效果完全由主观判断。

因此，如果能够建立一种对结冰条件、安装位置要求较低、 探测结果迅速准确的飞机机翼、平尾结冰探测方法，对飞行安全 研究工作具有重要意义。

通过上述分析，现有技术存在的问题及缺陷为：现有机翼、 平尾结冰探测技术安装复杂、工作温度受限、探测效能较低。

发明内容

针对现有技术存在的问题，本发明提供了一种基于图像识别 的飞机机翼、平尾结冰实时探测方法。

本发明是这样实现的，一种基于图像识别的飞机机翼、平尾 结冰实时探测方法，所述基于图像识别的飞机机翼、平尾结冰实 时探测方法包括：

步骤一，建立基于卷积神经网络的结冰探测模型；获取实时机 翼、平尾图像数据；对获取的图像数据进行预处理；

步骤二，对预处理后的图像输入建立的于卷积神经网络的结冰 探测模型进行特征提取和分类识别，判断飞机机翼、平尾是否处于 结冰状态，若处于结冰状态，则获取结冰的位置以及结冰程度数据。

进一步，步骤一中，所述建立基于卷积神经网络的结冰探测模 型包括：

(1)采集一定数量的机翼和平尾结冰图像作为飞机机翼、平 尾结冰图像数据集；

(2)通过随机裁剪、随机改变亮度、随机马赛克对图像数据 集进行数据增强；

(3)将数据增强后的机翼、平尾结冰图像数据集划分为训练 集与测试集；

(4)以ResNet-50作为基础模型，引入损失函数，通过调整卷 积滤波器的大小和步幅和卷积神经网层数的方法，改进结冰探测模 型。

进一步，步骤一中，所述对获取的图像数据进行预处理包括：

1)沿固定边界对采集的机翼、平尾图像进行剪裁；

2)利用一个线性或非线性函数，对图像数据中的像素做线性 扩展，得到图像数据的灰阶图；

3)利用最大类间方差法对机翼、平尾图像数据进行阈值分割。

进一步，步骤1)中，所述剪裁边界为机翼、平尾与背景的交 界。

进一步，所述基于图像识别的飞机机翼、平尾结冰实时探测方 法还包括：

将探测得到的结冰位置、结冰类型和结冰程度利用图像提示或 语音提示的方式发送至飞行员处。

本发明的另一目的在于提供一种基于图像识别的飞机机翼、 平尾结冰实时探测系统，包括：

实时图像数据获取模块，用于建立基于卷积神经网络的结冰探 测模型；获取实时机翼、平尾图像数据；

预处理模块，用于对获取的图像数据进行预处理；

分类识别模块，用于对预处理后的图像输入建立的于卷积神经 网络的结冰探测模型进行特征提取和分类识别，判断飞机机翼、平 尾是否处于结冰状态，若处于结冰状态，则获取结冰的位置以及结 冰程度数据。

本发明的另一目的在于提供一种计算机设备，所述计算机设 备包括存储器和处理器，所述存储器存储有计算机程序，所述计 算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

建立基于卷积神经网络的结冰探测模型；获取实时机翼、平尾 图像数据；对获取的图像数据进行预处理；

对预处理后的图像输入建立的卷积神经网络的结冰探测模型 进行特征提取和分类识别，判断飞机机翼、平尾是否处于结冰状态， 若处于结冰状态，则获取结冰的位置以及结冰程度数据。

本发明的另一目的在于提供一种计算机可读存储介质，存储 有计算机程序，所述计算机程序被处理器执行时，使得所述处理 器执行所述基于图像识别的飞机机翼、平尾结冰实时探测方法。

本发明的另一目的在于提供一种信息数据处理终端，所述信息 数据处理终端用于实现所述基于图像识别的飞机机翼、平尾结冰实 时探测方法。

本发明的另一目的在于提供一种飞机机翼、平尾结冰实时探 测器，其特征在于，搭载有所述的基于图像识别的飞机机翼、平 尾结冰实时探测系统，并实施所述基于图像识别的飞机机翼、平 尾结冰实时探测方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果 为：本发明提供了一种基于图像识别的冰型实时探测方法，能够 实时判断机翼、平尾结冰情况飞机机翼、平尾结冰探测方法，对 保证飞机飞行安全具有重要意义。本发明能够基于当前应用范围 较广的动态监视方法，不仅能够减轻飞行员的负担，还能向飞行 员提供结冰位置、结冰类型以及结冰程度等有利于飞行员采取防 除冰决策的信息。

本发明结构简单，除图像获取装置外无需额外安装其他装置， 保证了机翼、平尾的完整性，极大降低了对飞机气动特性的影响； 本发明采用图像识别的方法，提高了对飞机机翼、平尾结冰的探 测精度，具有极低的探测迟滞，且能够探测不同环境下生成的冰型，在探测对象上具有较强的通用性；本发明可适用于不同类型 飞机、飞机机体不同区域的结冰探测，只需输入一定数量的结冰 图像，用于分类器模型的训练，在应用范围上具有较强的通用性； 本发明涉及的方法步骤明确，可以使用各类计算机语言软件实现 冰型探测功能，自动化程度高。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申 请实施例中所需要使用的附图做简单的介绍，显而易见地，下面 所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术 人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获 得其他的附图。

图1是本发明实施例提供的基于图像识别的飞机机翼、平尾 结冰实时探测方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下 结合实施例，对本发明进行进一步详细说明。应当理解，此处所 描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于图像识别 的飞机机翼、平尾结冰实时探测方法，下面结合附图对本发明作 详细的描述。

如图1所示，本发明实施例提供的基于图像识别的飞机机翼、 平尾结冰实时探测方法包括以下步骤：

S101，建立基于卷积神经网络的结冰探测模型；获取实时机 翼、平尾图像数据；对获取的图像数据进行预处理；

S102，对预处理后的图像输入建立的卷积神经网络的结冰探 测模型进行特征提取和分类识别，判断飞机机翼、平尾是否处于结 冰状态，若处于结冰状态，则获取结冰的位置以及结冰程度数据。

步骤S101中，本发明实施例提供的建立基于卷积神经网络的 结冰探测模型包括：

(1)采集一定数量的机翼、平尾结冰图像作为飞机机翼、平 尾结冰图像数据集；

(2)通过随机裁剪、随机改变亮度、随机马赛克对图像数据 集进行数据增强；

(3)将数据增强后的机翼、平尾结冰图像数据集划分为训练 集与测试集；

(4)以ResNet-50作为基础模型，引入损失函数，通过调整卷 积滤波器的大小和步幅和卷积神经网层数的方法，改进结冰探测模 型。

步骤S101中，本发明实施例提供的对获取的图像数据进行预 处理包括：

1)沿固定边界对采集的机翼、平尾图像进行剪裁；

2)利用一个线性或非线性函数，对图像数据中的像素做线性 扩展，得到图像数据的灰阶图；

3)利用最大类间方差法对机翼、平尾图像数据进行阈值分割。

步骤1)中，本发明实施例提供的剪裁边界为机翼、平尾与背 景的交界。

本发明实施例提供的基于图像识别的飞机机翼、平尾结冰实时 探测方法还包括：

将探测得到的结冰位置和结冰程度利用图像提示或语音提示 的方式发送至飞行员处。

下面结合具体实施例对本发明的技术效果作进一步描述。

实施例1：

本发明基于图像识别建立机翼、平尾结冰探测方法建立基于卷 积神经网络的结冰探测模型；获取实时机翼、平尾图像数据；对获 取的图像数据进行预处理；对预处理后的图像进行特征提取和分类 识别，判断此时飞机机翼、平尾是否处于结冰状态、结冰的位置以 及结冰程度。

本发明所采取的技术方案如下：

一、建立基于卷积神经网络的结冰探测模型。建立模型的目的 是从图像识别的角度出发，将结冰探测从光、电灯物理学领域处理 转化为计算机图像处理。

建立结冰探测模型的主要步骤如下：

1.采集一定数量的机翼、平尾结冰图像作为飞机机翼、平尾结 冰图像数据集；

2.对该图像数据集进行数据增强，数据增强的目的在于丰富图 像集中的图像数量，提高模型的泛化能力。数据增强的方法包括随 机裁剪(即对数据集中一定数量的图片中的部分区域进行裁剪，作 为实际飞行中图像获取装置的故障模拟)、随机改变亮度(即随机 调整数据集中一定数量图片的亮度，作为实际飞行中图像获取时的 采光模拟)、随机马赛克(即对数据集中一定数量的图片中的部分 区域进行马赛克处理，作为实际飞行中图像获取装置的结冰模拟)；

3.将数据增强后的机翼、平尾结冰图像数据集划分为训练集与 测试集；

4.以ResNet-50作为基础模型，引入损失函数，通过调整卷积 滤波器的大小和步幅和卷积神经网层数的方法，提高对测试集图像 的识别准确率，达到改进模型的目的；

5.对改进后的飞机机翼结冰探测模型进行程序建立。

二、获取实时机翼、平尾图像数据。为了减弱图像中环境噪声 的影响，降低后续图像预处理的难度，应当保证获取的机翼、平尾 的图像背景相同，因此图像获取装置应当固定安装在飞机的某一固 定位置上。

三、对获取的图像数据进行预处理。预处理方法的主要步骤如 下：

1.图像剪裁。由于图像获取装置的安装位置相对固定，其采集 的机翼、平尾图像可以沿固定边界进行剪裁，剪裁边界为机翼、平 尾与背景的交界；

2.灰度变换。用一个线性或非线性函数，对图像数据中的像素 做线性扩展，得到图像数据的灰阶图；

3.阈值分割。使用最大类间方差法对机翼、平尾图像数据进行 阈值分割，其特征在于，通过获取灰度图像中的最佳灰度阈值，剔 除图像中的背景色，以达到降低图像分类识别难度的目的。

四、将预处理后的图像数据放入已经将建立好的探测模型中进 行特征提取和分类识别，判断此时飞机机翼、平尾是否处于结冰状 态、结冰的位置以及结冰程度。

五、通过图像提示或语音提示的方式将实时状态下的飞机机 翼、平尾是否结冰、结冰位置和结冰程度告知飞行员，同时发送信 号，机翼、平尾处除冰装置开始工作。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并 不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技 术范围内，凡在本发明的精神和原则之内所作的任何修改、等同 替换和改进等，都应涵盖在本发明的保护范围之内。