基于卷积神经网络的机场地勤车辆状态检测方法和系统

技术领域

本发明涉及智能视频分析领域，特别涉及一种基于卷积神经网络的机场地勤车辆状态检测方法、系统、计算设备和计算机存储介质。

背景技术

随着社会经济的快速发展，航空运输业作为交通运输的一项主要方式也越来越重要。在各个机场中，由于航班数量的不断增加，相应的地勤保障车辆也越来越多。为了保证航班的地勤保障系统能够快速、准确、安全的完成如引导车到位、飞机入位、加油车到位等保障工作，需要对机场地勤车辆航班保障节点信息进行采集。传统的采集方式主要依赖于人工笔录或便携式设备录入等，但此种方式需要机场保障作业人员自我反馈或通过专业人员进行信息统计填报，信息更新速度慢、错误率高，严重影响机场航班运输的效率和安全。

基于此，针对机场航班保障节点自动采集系统已经开始了一些研究。发明专利《CN112349150B-一种机场航班保障时间节点的视频采集方法和系统》提出使用Caffe框架利用机器学习对飞机的实时状态进行信息采集；发明专利《CN112990683A-航班保障流程节点的预警方法及相关设备》从航班保障节点规则的角度提出保障流程节点异常的处理方法。但上述方案均未考虑机场内地勤车辆的频繁运动，缺乏对于地勤车辆运行信息的了解，这既可能对机场的运行产生一定风险，也无法进一步基于地勤车辆的实时状态来辅助航班保障工作的顺利进行。

发明内容

为了解决上述技术问题，本发明提供了一种基于卷积神经网络的机场地勤车辆状态检测方法和相应的基于卷积神经网络的机场地勤车辆状态检测系统、计算设备和计算机存储介质。

根据本发明的一个方面，提供了一种基于卷积神经网络的机场地勤车辆状态检测方法，所述方法包括：

获取多个种类地勤车辆的图像样本数据集，并根据图像样本数据集对GoogLeNet模型进行训练，得到适用于机场地勤车辆的卷积神经网络模型；

采集待测车辆的视频图像信息，并输入卷积神经网络模型进行预测识别，得到识别结果信息；获取机场设施信息及待测车辆的车载导航信息；

基于识别结果信息、机场设施信息以及车载导航信息进行计算，得到待测车辆状态信息；其中，待测车辆状态信息至少包括机场地勤车辆的位置信息和运动速度信息。

上述方案中，所述获取多个种类地勤车辆的图像样本数据集，进一步包括：

采集不同类型地勤车辆的正面、背面、左侧面和右侧面四个方向上的图像，生成地勤车辆的图像样本数据集；

根据拍照方向对图像样本数据集中的图像进行分类；

根据地勤车辆的种类对图像样本数据集中的图像样本数据进行标记。

上述方案中，所述根据图像样本数据集对GoogLeNet模型进行训练，得到适用于机场地勤车辆的卷积神经网络模型，进一步包括：

针对图像样本数据集进行预处理；其中，预处理至少包括将图像样本数据集中第一预设比例的图像加入均值为0，方差为1的椒盐噪声；从每一种地勤车辆的图像中抽取第二预设比例的图像进行放大或缩小；

基于损失函数，对GoogLeNet模型进行改进，得到目标GoogLeNet模型；

基于图像样本数据集对完成改进的目标GoogLeNet模型进行有监督训练，得到适用于机场地勤车辆的卷积神经网络模型。

上述方案中，所述基于损失函数，对GoogLeNet模型进行改进，得到目标GoogLeNet模型，进一步包括：

对GoogLeNet模型中的损失函数进行修改，修改后的损失函数形式为：

其中，λ

上述方案中，所述采集待测车辆的视频图像信息，并输入卷积神经网络模型进行预测识别，得到识别结果信息；获取机场设施信息及待测车辆的车载导航信息，进一步包括：

通过固定位摄像机对待测车辆进行视频图像信息采集；其中，固定位摄像机固定于机场设施上；

获取机场设施信息，根据机场设施信息对于机场设施对应的固定位摄像机进行标定；其中，机场设施信息至少包括，机场设施的至少三个固定特征信息以及与固定特征对应的特征位置信息；

识别结果信息至少包括，车辆类型信息和车辆二维坐标；车载导航信息至少包括，时间信息和导航位置信息。

上述方案中，所述根据机场设施信息对于机场设施对应的固定位摄像机进行标定，进一步包括：

获取摄像机参数，至少包括：焦距、主坐标点和像素尺寸信息；

利用摄像机参数，构建摄像机的投影矩阵；

基于固定特征信息对应的特征位置信息，利用投影矩阵，根据特征位置信息的特征三维坐标，投影计算对应的特征二维坐标。

上述方案中，所述基于识别结果信息、机场设施信息以及车载导航信息进行计算，得到待测车辆状态信息；其中，待测车辆状态信息至少包括机场地勤车辆的车辆类型信息、目标位置信息和运动速度信息，进一步包括：

基于由机场设施信息计算得到的特征二维坐标，以及识别结果信息中的车辆二维坐标，利用投影矩阵，反向衍生待测车辆对应的投影位置信息；

将车载导航信息中的导航位置信息与投影位置信息进行匹配，获得高精时间和目标位置信息；

利用扩展卡尔曼滤波方法，基于视频图像信息和车载导航信息，融合估算运动速度信息。

上述方案中，所述方法还包括：

针对不同种类的地勤车辆，在机场设置对应的电子栅栏；

根据待测车辆状态信息，获取对应的电子栅栏边缘坐标点数据；

根据待测车辆状态信息，判定待测车辆是否位于电子栅栏边缘坐标点范围内；

根据待测车辆的目标位置信息与电子栅栏的位置关系以及电子栅栏的类型判断待测车辆是否越界、是否需要告警。

上述方案中，所述方法还包括：

根据待测车辆识别结果信息确定待测车辆的车辆类型信息；

根据待测车辆的运动速度信息，确定待测车辆朝向，以及待测车辆的正面、背面、左侧面和右侧面；

将待测车辆的视频图像信息与数据库中对应车辆类型的对应方向的图像进行比对，根据比对结果，判断是否需要告警。

根据本发明的另一方面，提供了一种基于卷积神经网络的机场地勤车辆状态检测系统，包括：模型训练模块、识别模块以及计算模块；其中，

所述模型训练模块，用于获取多个种类地勤车辆的图像样本数据集，并根据图像样本数据集对GoogLeNet模型进行训练，得到适用于机场地勤车辆的卷积神经网络模型；

所述识别模块，用于采集待测车辆的视频图像信息，并输入卷积神经网络模型进行预测识别，得到识别结果信息；获取机场设施信息及待测车辆的车载导航信息；

所述计算模块，用于基于识别结果信息、机场设施信息以及车载导航信息进行计算，得到待测车辆状态信息；其中，待测车辆状态信息至少包括机场地勤车辆的位置信息和运动速度信息。

根据本发明提供的技术方案，获取多个种类地勤车辆的图像样本数据集，并根据图像样本数据集对GoogLeNet模型进行训练，得到适用于机场地勤车辆的卷积神经网络模型；采集待测车辆的视频图像信息，并输入卷积神经网络模型进行预测识别，得到识别结果信息；获取机场设施信息及待测车辆的车载导航信息；基于识别结果信息、机场设施信息以及车载导航信息进行计算，得到待测车辆状态信息；其中，待测车辆状态信息至少包括机场地勤车辆的位置信息和运动速度信息。通过获取的地勤车辆图像样本，有针对性地对GoogLeNet模型进行改进和训练，得到适用于机场地勤车辆的卷积神经网络模型；基于该卷积神经网络模型，可以准确地识别出目标车辆的类型；同时，基于固定摄像机与机场设施的对应关系，根据机场设施的固定特征来实现摄像机的标定，利用投影矩阵进行投影与反投影，快速地从摄像机采集到的待测地勤车辆图像中确定车辆的大致位置，再将其与车载导航系统采集的信息进行匹配，准确地计算出精确的时间和位置信息，并进一步计算得到车辆运行速度，最终得出车辆的类型、位置和运行速度，使机场工作人员能够更快更准确地了解地勤车辆的相关信息，以此辅助机场保障工作的正常运行，并大大提升了保障工作的效率和安全性；同时，通过设置针对不同类型地勤车辆电子栅栏，防止车辆进入可能造成危险的区域，通过限制机场内各类车辆的运行区域，有效地提升机场整体运行的安全性；通过对于车辆外观的检测，提示工作人员相关车辆可能发生运行故障，或可能出现了部件掉落，进一步降低由此可能对机场整体运行造成的风险。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1示出了根据本发明一个实施例的一种基于卷积神经网络的机场地勤车辆状态检测方法的流程示意图；

图2示出了根据本发明一个实施例的一种基于机场设施信息的固定位摄像机标定方法；

图3示出了待测车辆投影位置信息确定的原理示意图；

图4示出了根据本发明一个实施例的适用于机场地勤车辆的卷积神经网络模型训练及生成方法的流程示意图；

图5示出了根据本发明一个实施例的图像样本数据集预处理的流程示意图；

图6示出了根据本发明一个实施例的基于电子栅栏的越界告警方法的流程示意图；

图7示出了根据本发明一个实施例的基于地勤车辆外观的检测告警方法的流程示意图；

图8示出了根据本发明一个实施例的基于卷积神经网络的机场地勤车辆状态检测系统的结构框图；

图9示出了根据本发明另一个实施例的基于卷积神经网络的机场地勤车辆状态检测系统的流程示意图；

图10示出了根据本发明实施例的一种计算设备的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1示出了根据本发明一个实施例的一种基于卷积神经网络的机场地勤车辆状态检测方法的流程示意图，该方法包括如下步骤：

步骤S101，获取多个种类地勤车辆的图像样本数据集，并根据图像样本数据集对GoogLeNet模型进行训练，得到适用于机场地勤车辆的卷积神经网络模型。

具体的，所述获取多个种类地勤车辆的图像样本数据集，进一步包括：

采集不同类型地勤车辆的正面、背面、左侧面和右侧面四个方向上的图像，生成地勤车辆的图像样本数据集；

根据拍照方向对图像样本数据集中的图像进行分类；

根据地勤车辆的种类对图像样本数据集中的图像样本数据进行标记。

优选地，所述地勤车辆的种类可以包括：引导车、加油车、电源车、气源车、空调车、清水车、污水车、垃圾车、传送带车、拖头车、牵引车及摆渡车；除此之外，还可以增添新的地勤车辆类型；对于具体的地勤车辆种类，本发明不做限定。

优选地，在对不同类型地勤车辆的正面、背面、左侧面和右侧面四个方向上的图像完成采集后，以数字对不同地勤车辆类型进行标记，例如将引导车的图像均标记上数字1，将摆渡车的图像均标记上数字2，将加油车的图像均标记上数字3，以此类推。

步骤S102，采集待测车辆的视频图像信息，并输入卷积神经网络模型进行预测识别，得到识别结果信息；获取机场设施信息及待测车辆的车载导航信息。

具体的，通过固定位摄像机对待测车辆进行视频图像信息采集；其中，固定位摄像机固定于机场设施上；

获取机场设施信息，根据机场设施信息对于机场设施对应的固定位摄像机进行标定；其中，机场设施信息至少包括，机场设施的至少三个固定特征信息以及与固定特征对应的特征位置信息；

识别结果信息至少包括，车辆类型信息和车辆二维坐标；车载导航信息至少包括，时间信息和导航位置信息。

具体的，所述根据机场设施信息对于机场设施对应的固定位摄像机进行标定，如图2所示，图2示出了根据本发明一个实施例的一种基于机场设施信息的固定位摄像机标定方法，该方法包括如下步骤：

步骤S201，获取摄像机参数，至少包括：焦距、主坐标点和像素尺寸信息。

步骤S202，利用摄像机参数，构建摄像机的投影矩阵。

优选地，基于摄像机参数，确定空间点到图像点的映射，进而构建投影矩阵，投影矩阵可以为3×4的矩阵。

步骤S203，基于固定特征信息对应的特征位置信息，利用投影矩阵，根据特征位置信息的特征三维坐标，投影计算对应的特征二维坐标。

优选地，利用计算机视觉方法，将至少三个机场固定特征的特征位置信息的特征三维坐标，投影得到对应的特征二维坐标；其中，机场固定特征为机场中的固定建筑物或固定地标等，例如，某航站楼的某登机口，某类地勤车辆的固定停车场，塔台等。

步骤S103，基于识别结果信息、机场设施信息以及车载导航信息进行计算，得到待测车辆状态信息；其中，待测车辆状态信息至少包括机场地勤车辆的位置信息和运动速度信息。

具体的，基于由机场设施信息计算得到的特征二维坐标，以及识别结果信息中的车辆二维坐标，利用投影矩阵，反向衍生待测车辆对应的投影位置信息；

将车载导航信息中的导航位置信息与投影位置信息进行匹配，获得高精时间和目标位置信息；

利用扩展卡尔曼滤波方法，基于视频图像信息和车载导航信息，融合估算运动速度信息。

优选地，所示基于由机场设施信息计算得到的特征二维坐标，以及识别结果信息中的车辆二维坐标，利用投影矩阵，反向衍生待测车辆对应的投影位置信息，如图3所示，图3示出了待测车辆投影位置信息确定的原理示意图。图中，标定点1、2、3为三个机场固定特征的特征位置，其坐标分别为每个特征位置的特征三维坐标对应的特征二维坐标；标定点X为图像中待测车辆的位置，其坐标为识别结果信息中的车辆二维坐标；f即为投影成像平面。

优选地，根据得到的高清时间和目标位置信息，

根据本实施例提供的基于卷积神经网络的机场地勤车辆状态检测方法，获取多个种类地勤车辆的图像样本数据集，并根据图像样本数据集对GoogLeNet模型进行训练，得到适用于机场地勤车辆的卷积神经网络模型；采集待测车辆的视频图像信息，并输入卷积神经网络模型进行预测识别，得到识别结果信息；获取机场设施信息及待测车辆的车载导航信息；基于识别结果信息、机场设施信息以及车载导航信息进行计算，得到待测车辆状态信息；其中，待测车辆状态信息至少包括机场地勤车辆的位置信息和运动速度信息。通过获取的地勤车辆图像样本，有针对性地对GoogLeNet模型进行改进和训练，得到适用于机场地勤车辆的卷积神经网络模型；基于该卷积神经网络模型，可以准确地识别出目标车辆的类型；同时，基于固定摄像机与机场设施的对应关系，根据机场设施的固定特征来实现摄像机的标定，利用投影矩阵进行投影与反投影，快速地从摄像机采集到的待测地勤车辆图像中确定车辆的大致位置，再将其与车载导航系统采集的信息进行匹配，准确地计算出精确的时间和位置信息，并进一步计算得到车辆运行速度，最终得出车辆的类型、位置和运行速度，使机场工作人员能够更快更准确地了解地勤车辆的相关信息，以此辅助机场保障工作的正常运行，并大大提升了保障工作的效率和安全性。

图4示出了根据本发明一个实施例的适用于机场地勤车辆的卷积神经网络模型训练及生成方法的流程示意图，如图4所示，该方法包括如下步骤：

步骤S401，针对图像样本数据集进行预处理；其中，预处理至少包括将图像样本数据集中第一预设比例的图像加入均值为0，方差为1的椒盐噪声；从每一种地勤车辆的图像中抽取第二预设比例的图像进行放大或缩小。

优选地，第一预设比例可以为1/4；第二预设比例可以为1/2；

可以对抽取的图像以[0-1.5]中的随机数为比例尺进行放大或缩小。

优选地，针对每种地勤车辆的图像进行预处理，如图5所示，图5示出了根据本发明一个实施例的图像样本数据集预处理的流程示意图。针对每种地勤车辆，从采集到的该类型地勤车辆的图像数据集中抽取1/4的图像加入椒盐噪声后放回数据集中，抽取1/2的图像随机放大或缩小后再放回数据集中。

步骤S402，基于损失函数，对GoogLeNet模型进行改进，得到目标GoogLeNet模型。

具体的，为克服GoogLeNet模型中分类信息维度和采集框维度的不对等，在损失函数中引入尺度因子对分类概率和b-box(Bounding Box，边界框)的误差进行较大的加权，对没有物体的网格赋予一个较小的加权；同时，使用边界框的宽高的平方根作为惩罚项来修饰损失函数。修改后的损失函数形式为：

其中，λ

步骤S403，基于图像样本数据集对完成改进的目标GoogLeNet模型进行有监督训练，得到适用于机场地勤车辆的卷积神经网络模型。

优选地，利用经过预处理的图像样本数据集对修改后的GoogLeNet模型进行训练，通过各类地勤车辆的图像样本来使GoogLeNet模型能够更好地识别地勤车辆。

根据本实施例中的方法，可以克服GoogLeNet模型中分类信息维度和采集框维度的不对等的问题，以及同样的偏离在较大边界框中影响较小，而在较小的边界框中影响较大的问题，提升了GoogLeNet模型的识别性能，使其能够更准确的对物体类别进行判断识别，并通过进行针对性训练，使GoogLeNet模型能够更好地识别各类机场地勤车辆。

图6示出了根据本发明一个实施例的基于电子栅栏的越界告警方法的流程示意图；如图6所示，该方法包括如下步骤：

步骤S601，针对不同种类的地勤车辆，在机场设置对应的电子栅栏。

优选地，针对每种不同种类的机场地勤车辆，设置不同的电子栅栏进行对应，确定出每种机场地勤车辆的行驶和停放区域。例如，针对摆渡车的电子栅栏只包含航站楼及停机坪等相关区域。具体区域设置可由工作人员根据实际情况进行设置。

优选地，电子栅栏还可以设置通过方向，由此即可以限制车辆的行驶方向。

步骤S602，根据待测车辆状态信息，获取对应的电子栅栏边缘坐标点数据。

优选地，根据待测车辆状态信息，取得其中的目标位置信息，并根据目标位置信息确定与距离最近的电子栅栏边缘点的坐标数据，并计算二者之间的距离。

步骤S603，根据待测车辆状态信息，判定待测车辆是否位于电子栅栏边缘坐标点范围内。

优选地，设置一个预设距离，以该预设距离为半径，确定出上述边缘点的距离范围，判断待测车辆的目标位置是否处于该范围内。

步骤S604，根据待测车辆的目标位置信息与电子栅栏的位置关系以及电子栅栏的类型判断待测车辆是否越界、是否需要告警。

若待测车辆处于电子栅栏范围内，但不处于电子栅栏边缘坐标点范围内，则不需要告警；

若待测车辆处于电子栅栏范围内，但处于电子栅栏边缘坐标点范围内，则需要告警；

若待测车辆处于电子栅栏范围外，则需要告警。

根据本实施例中的方法，通过设置针对不同类型地勤车辆电子栅栏，防止车辆进入可能造成危险的区域，通过限制机场内各类车辆的运行区域，有效地提升机场整体运行的安全性。

图7示出了根据本发明一个实施例的基于地勤车辆外观的检测告警方法的流程示意图，如图7所示，该方法包括如下步骤：

步骤S701，根据待测车辆识别结果信息确定待测车辆的车辆类型信息。

步骤S702，根据待测车辆的运动速度信息，确定待测车辆朝向，以及待测车辆的正面、背面、左侧面和右侧面。

优选地，根据待测车辆的运动速度信息中的方向信息，确定出待测车辆朝向，并基于此进一步确定出图像中待测车辆外观的各个面。

步骤S703，将待测车辆的视频图像信息与数据库中对应车辆类型的对应方向的图像进行比对，根据比对结果，判断是否需要告警。

优选地，根据待测车辆的类型，从数据库中提取该类型车辆正面、背面、左侧面和右侧面的图像，并将视频图像信息中待测车辆显示出的每一面与提取出的对应的面的图像进行比对，得到比对结果。

优选地，比对结果可以是相似度。若相似度大于预设相似度阈值，则不需要告警；若相似度小于预设相似度阈值，则需要进行告警。

根据本实施例中的方法，通过对于车辆外观的检测，提示工作人员相关车辆可能发生运行故障，或可能出现了部件掉落，进一步降低由此可能对机场整体运行造成的风险。

图8示出了根据本发明一个实施例的基于卷积神经网络的机场地勤车辆状态检测系统的结构框图，如图8所示，该系统包括：模型训练模块801、识别模块802以及计算模块803；其中，

所述模型训练模块801，用于获取多个种类地勤车辆的图像样本数据集，并根据图像样本数据集对GoogLeNet模型进行训练，得到适用于机场地勤车辆的卷积神经网络模型。

具体的，所述模型训练模块801，进一步用于，

采集不同类型地勤车辆的正面、背面、左侧面和右侧面四个方向上的图像，生成地勤车辆的图像样本数据集；

根据拍照方向对图像样本数据集中的图像进行分类；

根据地勤车辆的种类对图像样本数据集中的图像样本数据进行标记。

具体的，所述模型训练模块801，进一步用于，

针对图像样本数据集进行预处理；其中，预处理至少包括将图像样本数据集中第一预设比例的图像加入均值为0，方差为1的椒盐噪声；从每一种地勤车辆的图像中抽取第二预设比例的图像进行放大或缩小；

基于损失函数，对GoogLeNet模型进行改进，得到目标GoogLeNet模型；

基于图像样本数据集对完成改进的目标GoogLeNet模型进行有监督训练，得到适用于机场地勤车辆的卷积神经网络模型。

具体的，所述模型训练模块801，进一步用于，

对GoogLeNet模型中的损失函数进行修改，修改后的损失函数形式为：

其中，λ

所述识别模块802，用于采集待测车辆的视频图像信息，并输入卷积神经网络模型进行预测识别，得到识别结果信息；获取机场设施信息及待测车辆的车载导航信息。

具体的，所述识别模块802，进一步用于，

通过固定位摄像机对待测车辆进行视频图像信息采集；其中，固定位摄像机固定于机场设施上；

获取机场设施信息，根据机场设施信息对于机场设施对应的固定位摄像机进行标定；其中，机场设施信息至少包括，机场设施的至少三个固定特征信息以及与固定特征对应的特征位置信息；

识别结果信息至少包括，车辆类型信息和车辆二维坐标；车载导航信息至少包括，时间信息和导航位置信息。

具体的，所述识别模块802，进一步用于，

获取摄像机参数，至少包括：焦距、主坐标点和像素尺寸信息；

利用摄像机参数，构建摄像机的投影矩阵；

基于固定特征信息对应的特征位置信息，利用投影矩阵，根据特征位置信息的特征三维坐标，投影计算对应的特征二维坐标。

所述计算模块803，用于基于识别结果信息、机场设施信息以及车载导航信息进行计算，得到待测车辆状态信息；其中，待测车辆状态信息至少包括机场地勤车辆的位置信息和运动速度信息。

具体的，所述计算模块803，进一步用于，

基于由机场设施信息计算得到的特征二维坐标，以及识别结果信息中的车辆二维坐标，利用投影矩阵，反向衍生待测车辆对应的投影位置信息；

将车载导航信息中的导航位置信息与投影位置信息进行匹配，获得高精时间和目标位置信息；

利用扩展卡尔曼滤波方法，基于视频图像信息和车载导航信息，融合估算运动速度信息。

所述基于卷积神经网络的机场地勤车辆状态检测系统，还包括：告警模块804；

所述告警模块804，用于

针对不同种类的地勤车辆，在机场设置对应的电子栅栏；根据待测车辆状态信息，获取对应的电子栅栏边缘坐标点数据；根据待测车辆状态信息，判定待测车辆是否位于电子栅栏边缘坐标点范围内；根据待测车辆的目标位置信息与电子栅栏的位置关系以及电子栅栏的类型判断待测车辆是否越界、是否需要告警；

根据待测车辆识别结果信息确定待测车辆的车辆类型信息；根据待测车辆的运动速度信息，确定待测车辆朝向，以及待测车辆的正面、背面、左侧面和右侧面；将待测车辆的视频图像信息与数据库中对应车辆类型的对应方向的图像进行比对，根据比对结果，判断是否需要告警。

根据本实施例提供的基于卷积神经网络的机场地勤车辆状态检测系统，获取多个种类地勤车辆的图像样本数据集，并根据图像样本数据集对GoogLeNet模型进行训练，得到适用于机场地勤车辆的卷积神经网络模型；采集待测车辆的视频图像信息，并输入卷积神经网络模型进行预测识别，得到识别结果信息；获取机场设施信息及待测车辆的车载导航信息；基于识别结果信息、机场设施信息以及车载导航信息进行计算，得到待测车辆状态信息；其中，待测车辆状态信息至少包括机场地勤车辆的位置信息和运动速度信息。通过本实施例提供的基于卷积神经网络的机场地勤车辆状态检测系统，通过获取的地勤车辆图像样本，有针对性地对GoogLeNet模型进行改进和训练，得到适用于机场地勤车辆的卷积神经网络模型；基于该卷积神经网络模型，可以准确地识别出目标车辆的类型；同时，基于固定摄像机与机场设施的对应关系，根据机场设施的固定特征来实现摄像机的标定，利用投影矩阵进行投影与反投影，快速地从摄像机采集到的待测地勤车辆图像中确定车辆的大致位置，再将其与车载导航系统采集的信息进行匹配，准确地计算出精确的时间和位置信息，并进一步计算得到车辆运行速度，最终得出车辆的类型、位置和运行速度，使机场工作人员能够更快更准确地了解地勤车辆的相关信息，以此辅助机场保障工作的正常运行，并大大提升了保障工作的效率和安全性；同时，通过设置针对不同类型地勤车辆电子栅栏，防止车辆进入可能造成危险的区域，通过限制机场内各类车辆的运行区域，有效地提升机场整体运行的安全性；通过对于车辆外观的检测，提示工作人员相关车辆可能发生运行故障，或可能出现了部件掉落，进一步降低由此可能对机场整体运行造成的风险。

图9示出了根据本发明另一个实施例的基于卷积神经网络的机场地勤车辆状态检测系统的流程示意图，如图9所示，其中，

通过车辆图片数据集获取，针对其中的图片进行图片数据预处理，并进行GoogLeNet模型改进，利用处理过的数据集对改进后的模型进行训练，得到适用于机场地勤车辆识别的卷积神经网络模型；将摄像机获取到的视频数据输入卷积神经网络模型，得到识别结果；对固定位摄像机进行标定，利用视频图像和固定位摄像机的标定信息对车辆位置进行粗略估计，从车载多模导航接收机接收到的信息中获取导航位置信息和速度信息；将识别结果、车辆位置粗略估计的结果和获取到的导航位置信息、速度信息均输入中央处理器，由中央处理器对以上三组信息进行数据匹配与融合，最终获得车辆类别识别信息、车辆运动速度估计信息、车辆位置精确估计信息。

本发明还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，可执行指令可执行上述任意方法实施例中的基于卷积神经网络的机场地勤车辆状态检测方法。

图10示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图10所示，该计算设备可以包括：处理器(processor)1002、通信接口(Communications Interface)1004、存储器(memory)1006、以及通信总线1008。

其中：

处理器1002、通信接口1004、以及存储器1006通过通信总线1008完成相互间的通信。

通信接口1004，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器1002，用于执行程序1010，具体可以执行上述基于卷积神经网络的机场地勤车辆状态检测方法实施例中的相关步骤。

具体的，程序1010可以包括程序代码，该程序代码包括计算机操作指令。

处理器1002可能是中央处理器CPU，或者是特定集成电路ASIC(Applica tionSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器1006，用于存放程序1010。存储器1006可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序1010具体可以用于使得处理器1002执行上述任意方法实施例中的基于卷积神经网络的机场地勤车辆状态检测方法。程序1010中各步骤的具体实现可以参见上述基于卷积神经网络的机场地勤车辆状态检测方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。