飞行器转向角度的确定

技术领域

本发明涉及对飞行器起落架的转向角度进行确定的方法、飞行器控制器、用于对飞行器起落架的转向角度进行确定的系统、非暂态计算机可读存储介质和飞行器。

背景技术

在飞行器的操作期间，飞行员可能需要接收与飞行器或飞行器的部件的状态有关的反馈。这可以允许飞行员根据该状态做出决定和/或采取行动。

发明内容

根据本发明的第一方面，提供了一种对飞行器起落架的转向角度进行确定的方法，该方法包括：获得飞行器起落架的图像；在图像上执行边缘检测；至少部分地基于由边缘检测获得的边缘来确定飞行器起落架的部件的相对位置；以及至少部分地基于该部件的相对位置来确定飞行器起落架的转向角度。

转向角度或与该转向角度有关的信息可以被反馈给飞行员以协助操纵飞行器。例如，在滑行时，飞行员可以被告知起落架的转向角度，以便知道飞行器将如何移动，以及/或者以便知道起落架是否适当地对转向命令做出响应。使用边缘检测来从图像确定转向角度可以使得能够在没有与飞行器起落架的任何物理相互作用的情况下确定转向角度。

可选地，所述部件的相对位置可以包括相对于飞行器起落架的另一部件所确定的位置。例如，部件的位置可以相对于飞行器起落架的固定部件、例如飞行器起落架的支柱来确定。可选地，部件的位置可以相对于飞行器的与飞行器起落架分离的部分来确定。例如，部件的位置可以相对于起落架舱的一部分、例如起落架舱的门来确定。

可选地，该方法包括使用成像装置来获得飞行器起落架的图像。以这种方式，飞行器起落架的转向角度可以以非侵入性的方式来确定。

可选地，确定部件的相对位置包括：至少部分地基于由边缘检测获得的边缘来对飞行器起落架的部件相对于至少一个成像装置的位置进行确定。在这种情况下，成像装置的位置可以相对于飞行器起落架的下述部件而固定：该部件在转向角度改变时不移动。因此，成像元件的位置可以是已知且恒定的，这可以有助于增加转向角度测量的一致性。

可选地，至少一个成像装置除了确定转向角度以外还可以用于其他目的。这可以使飞行器起落架或飞行器起落架舱内的传感器/装置的总数目减少。例如，成像装置可以用于确定起落架的伸展和/或收缩的速率，以及/或者用于针对异物的存在来监测起落架舱。

可选地，飞行器起落架是主起落架。可选地，飞行器起落架是前起落架。可选地，飞行器起落架是机身起落架。

可选地，执行边缘检测包括执行Canny(侃尼)边缘检测。与其他边缘检测过程相比，Canny边缘检测可以减少需要处理的数据量。

可选地，该方法包括确定图像的非关注区域以及向图像应用掩膜以将非关注区域从图像中去除，非关注区域包括图像的下述部分：在正常操作中，部件预计不出现在此部分中。

向图像应用掩膜以去除非关注区域可以允许背景噪声和任何静态部件从图像中去除。非关注区域可以包括下述区域：部件不可能位于该区域中、例如由于其他静态部件的存在而不可能位于该区域中。

可选地，该方法包括在向图像应用掩膜之后执行边缘检测。

将非关注区域从图像中去除可以有助于减少确定转向角度所需的计算能力。例如，这是由于仅对图像的较小的子部分进行分析。这可以有助于加快转向角度的确定，这可以提高该方法的效率。

可选地，非关注区域可以对于给定的飞行器类型是恒定的。可选地，指示非关注区域的信息可以储存在飞行器上的存储器中。

以这种方式，可以容易且快速地获取指示非关注区域的信息，这可以有助于加快转向角度的确定。这可以提高该方法的效率。

可选地，通过分析飞行器起落架的一系列图像以及确定图像的哪些部分在一系列图像中的各图像之间没有发生显著变化来确定非关注区域。例如，所述一系列图像中的一个图像内的具有下述属性的像素可以确定为非关注区域的部分：该属性在连续的图像之间没有改变得多于阈值量。像素的属性缺少变化可以指示图像的示出了固定部件的那部分。该属性可以包括像素的亮度和/或颜色。阈值量可以在飞行器类型之间有所不同，并且也可以取决于比如照明条件的因素。

以这种方式，非关注区域可以关于当前飞行器/飞行器起落架进行调整，并且可以考虑到变化的条件。例如，非关注区域可以随着飞行器起落架的一些部分磨损而变化。这可以使得更准确地确定非关注区域。

可选地，该方法包括：确定图像的关注区域，该关注区域包括图像的所述部件所处的部分；以及选择关注区域的一部分；其中，所述在图像上执行边缘检测包括在关注区域的仅部分上执行边缘检测。

通过在部件所处的关注区域的仅部分上执行边缘检测，可以减少该方法所需的计算能力。这可以有助于提高该方法的效率。

可选地，该方法包括在图像上执行轮廓检测以确定关注区域。轮廓检测可以实现对图像中的部件的定位，并且因此更快速地确定关注区域。这可以有助于提高该方法的效率。

可选地，飞行器起落架的部件包括轮胎。轮胎或轮胎的一部分的相对位置可以与飞行器起落架的转向角度直接相关。因此，轮胎的相对位置可以提供飞行器起落架的转向角度的更准确表示。

可选地，轮胎包括胎面，并且该方法包括：至少部分地基于由边缘检测获得的边缘来确定胎面的相对角度；以及至少部分地基于胎面的相对角度来确定飞行器起落架的转向角度。

轮胎的胎面可以提供指示起落架的转向角度的统一参考点。胎面也可以在不同飞行器类型之间共用，从而允许在不同飞行器类型上使用相同的方法。

可选地，轮胎包括多个胎面。可选地，该部件包括多个轮胎，每个轮胎包括一个或更多个胎面。

可选地，胎面的相对角度可以包括相对于飞行器起落架的另一部件而确定的角度。例如，胎面的角度可以相对于飞行器起落架的固定部件、例如飞行器起落架的支柱来确定。可选地，胎面的角度可以相对于飞行器的与飞行器起落架分离的部分来确定。例如，胎面的角度可以相对于起落架舱的一部分、例如起落架舱的门来确定。

可选地，在该方法包括使用成像装置来捕获飞行器起落架的图像的情况下，该方法包括至少部分地基于由边缘检测获得的边缘来确定胎面相对于成像装置的角度。

可选地，该方法包括通过向由边缘检测获得的边缘应用霍夫(Hough)变换来确定飞行器起落架的部件的相对位置。

霍夫变换可以确定图像内的直线，这些直线指示轮胎的胎面。可选地，胎面的相对角度使用霍夫变换来确定。

可选地，霍夫变换生成指示轮胎胎面的多条线。可选地，该方法包括确定所生成的线的集中趋势。可选地，该方法包括采取所生成的线的相对角度的中值、平均值和/或众数。

可选地，该方法包括应用过滤器以使图像灰度化。将图像转换为灰度化可以有助于后续的图像处理步骤、比如轮廓检测。例如，灰度化图像允许在阈值处理之后创建二进制图像。可选地，应用过滤器以使图像灰度化发生在执行图像的边缘检测之前。可选地，应用过滤器以使图像灰度化发生在执行轮廓检测之前。

可选地，该方法包括向图像应用阈值。该阈值可以改变图像的像素，以使图像更容易进行随后分析。

可选地，阈值可以包括自适应阈值。例如，自适应阈值可以包括平均阈值法或高斯阈值法。可选地，阈值可以包括大津阈值法。可选地，向图像应用阈值发生在应用过滤器以使图像灰度化之后。

向图像应用阈值可以有助于解释图像中不一致的照明。不管照明条件如何，这可以有助于提高该方法的一致性。

可选地，该方法包括向图像应用亮度和/或对比度操作。可选地，向图像应用亮度和/或对比度操作包括向图像应用伽马校正。这可以有助于提高输入图像与多个参考图像之间的伽玛水平的一致性。这可以有助于增加输入图像与所述多个参考图像的比较的准确性。

可选地，部件包括参考标记，并且确定部件的相对位置包括至少部分地基于由边缘检测获得的边缘来确定参考标记的相对位置。

可选地，部件为扭矩连杆，并且该扭矩连杆包括参考标记。可选地，部件包括多个参考标记。

参考标记可以有助于确定部件相对于成像装置的位置。例如，与部件整体相比，参考标记可以较为不易受到外部影响，例如，外力不太可能使参考标记以不希望/不一致的方式移动。因此，参考标记可以为确定部件的位置提供更一致的参考点。

此外，参考标记可以布置成使得参考标记不由成像装置遮挡，即使在参考标记所附接至的部件至少部分地由成像装置遮挡时也是如此。这可以允许即使在部件被遮挡的情况下也可以确定该部件的位置。

可选地，该方法包括向飞行器的机组人员提供指示飞行器起落架的转向角度的信息。可选地，该方法包括在飞行器的驾驶舱中显示飞行器起落架的转向角度。

这可以允许机组人员的飞行员和/或其他成员被迅速且容易地告知飞行器起落架的转向角度。即使在飞行器起落架不在飞行员的直接视野中的情况下飞行员也可以被告知飞行器起落架的转向角度。这可以帮助飞行员在地面上操纵飞行器。

此外，飞行器起落架的经确定转向角度可以用于限制飞行器起落架的进一步运动/旋转。例如，如果飞行器起落架的转向角度被确定为最大安全转向角度，则可以防止飞行员进一步增加转向角度。在达到最大转向角度时，飞行员也可以接收到警告或其他反馈。

可选地，该方法包括在飞行器未位于地面上时向飞行器的机组人员提供指示飞行器起落架的转向角度的信息。

这种信息可以用于确定飞行器起落架是否处于用于着陆和/或巡航的正确位置/取向。飞行器可以进行着陆前试验，在着陆前试验中，飞行器起落架被致动成在起落架舱中转动，以确保飞行器起落架在伸展之前正确地操作。该方法可以包括提供指示飞行器起落架在起落架舱中的角度的信息，该信息可以用于确认飞行器起落架是否正确操作。这可以允许机组人员在继续着陆和/或继续飞行是否安全方面做出明智的决定。

可选地，该方法包括存储经确定的转向角度。可选地，该方法包括将经确定的转向角度储存在飞行器的存储器上。可选地，该方法包括将经确定的转向角度储存在由飞行器可访问的数据库上。

根据本发明的第二方面，提供了一种飞行器控制器，该飞行器控制器配置成：获得飞行器起落架的图像；在图像上执行边缘检测；至少部分地基于由边缘检测获得的边缘来确定飞行器起落架的部件的相对位置；至少部分地基于该部件的相对位置来确定飞行器起落架的转向角度。

可选地，控制器配置成接收来自成像装置的图像。可选地，控制器和成像装置设置为单个单元。以这种方式，可以在该单个单元中本地进行图像处理，而图像无需被传输离开单个单元。这可以有助于使飞行器控制器和成像装置更容易地改装至现有飞行器。

根据本发明的第三方面，提供了一种用于对飞行器起落架的转向角度进行确定的系统，该系统包括成像装置和飞行器控制器，该飞行器控制器配置成：从至少一个成像装置获得飞行器起落架的图像；在图像上执行边缘检测；至少部分地基于由边缘检测获得的边缘来确定飞行器起落架的部件的相对位置；至少部分地基于该部件的相对位置来确定飞行器起落架的转向角度。

可选地，成像装置包括第一成像装置和第二成像装置，其中，第一成像装置和第二成像装置是不同类型的成像装置。

这可以有助于增加系统的稳健性，因为第一成像装置和第二成像装置可以包括不同的失效条件。例如，可能导致第一成像装置无法正确操作的情况可以对第二成像装置不具有相同的影响。

可选地，第一成像装置包括摄像机，并且第二成像装置包括激光雷达传感器。

可选地，第一成像装置包括第一传感器，并且第二成像装置包括第二传感器。可选地，第一传感器为摄像机传感器，并且第二传感器为激光雷达传感器。

提供不同类型的成像装置可以允许捕获不同类型的数据。例如，激光雷达传感器可以提供所捕获图像的深度信息。

根据本发明的第四方面，提供了一种识别飞行器转向角度的方法，该方法包括：获得飞行器起落架组件的图像；在图像上执行图像处理以确定图像特征，该图像特征与第一飞行器部件相关联；至少部分地基于图像特征来对组件的第一部件相对于组件的第二部件的位置进行识别；以及至少部分地基于所识别的位置来识别飞行器转向角度。

根据本发明的第五方面，提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储下述指令：所述指令在由飞行器控制器执行时使飞行器控制器执行根据本发明的第一方面或本发明的第四方面的方法。

根据本发明的第六方面，提供了一种飞行器，该飞行器包括根据本发明的第二方面的控制器、根据本发明的第三方面的系统或根据本发明的第五方面的非暂态计算机可读存储介质。

附图说明

现在将参照附图仅通过示例的方式描述本发明的实施方式，在附图中：

图1示出了飞行器的示意图；

图2和图3示出了飞行器起落架的示意图；

图4示出了对飞行器起落架的转向角度进行确定的方法的流程图；

图5a至图5e示出了通过图4的方法获得的飞行器起落架的图像的示意图。

图6示出了对飞行器起落架的转向角度进行确定的另一方法的流程图；

图7示出了图6的方法的输入图像和参考图像的示意图；

图8示出了对飞行器起落架的转向角度进行确定的另一方法的流程图；

图9示出了对飞行器起落架的转向角度进行确定的另一方法的流程图；以及

图10示出了非暂态计算机可读介质的示意图。

具体实施方式

图1示出了根据示例的飞行器1的示意图。飞行器1包括前起落架2和两组主起落架3。在飞行器1于地面上移动期间，前起落架2的角度可以被调整，以改变飞行器1的轨迹(即，以使飞行器1转动)。在一些示例中，主起落架3的角度也可以被调整，以有助于飞行器1在地面上的运动。飞行器1包括驾驶舱4，由飞行机组人员的成员、例如飞行员从驾驶舱4控制飞行器。驾驶舱包括界面、例如操纵杆或刻度盘，以对前起落架2的转向角度进行控制。

图2和图3分别示出了飞行器起落架10的示意性前视图和侧视图。图2和图3中所示的飞行器起落架10为图1的前起落架2。在其他示例中，飞行器起落架10是图1的主起落架3。飞行器起落架10包括两个轮胎11、支柱12和扭矩连杆13。轮胎11中的每个轮胎包括胎面14。飞行器起落架10构造成在飞行期间缩回并储存在起落架舱中以及针对起飞和着陆而伸展。

还在图2中示意地示出了用于对飞行器起落架10的转向角度进行确定的系统17。该系统17包括成像装置15和飞行器控制器5。成像装置15设置在飞行器起落架10的支柱12上，并且捕获飞行器起落架10的图像。成像装置15在支柱12上定位成在起落架10伸展时直接位于轮胎11的上方。在一些示例中，成像装置15位于另一位置中，例如位于飞行器起落架10的另一部分上或者位于飞行器1的在飞行器起落架10的视野中的另一部分上。图2中所示的成像装置15包括摄像机。在其他示例中，成像装置15可以包括另一光学成像装置、例如激光雷达传感器。在一些示例中，成像装置15包括摄像机和激光雷达传感器两者。系统17的飞行器控制器5配置成执行本文所讨论的对飞行器起落架10的转向角度进行确定的任何方法。

图4示出了对飞行器起落架10的转向角度进行确定的方法100的流程图。方法100由飞行器控制器5执行并且包括：获得101飞行器起落架10的图像；在图像上执行107边缘检测；至少部分地基于由边缘检测获得的边缘来确定108飞行器起落架10的部件的相对位置；以及至少部分地基于部件的相对位置来确定109飞行器起落架10的转向角度。图5a至图5e示出了通过方法100获得的图像20的示意图。

如图5a中所示，图像20包括飞行器起落架10的部件的视图。方法100包括对飞行器起落架10的部件的相对位置进行确定，部件的相对位置用于确定转向角度。在图像20中，部件包括飞行器起落架10的轮胎11中的一个轮胎以及特别是轮胎11的胎面14。图5a中示出的图像20从如图2中所示的定位在飞行器起落架10的支柱12上的摄像机15获得。摄像机15配置成捕获飞行器起落架10的视频，并且该视频的单个帧在方法100期间获得以确定转向角度。这允许连续监测飞行器起落架10的转向角度。尽管图5a中的图像20是从摄像机15中获得的，但是在一些示例中，图像20是从飞行器1上的存储器中获得的，例如，在这种情况下，图像20已经在先前被摄像机捕获之后被暂态存储在存储器中。

在飞行器控制器5已经获得图像20之后，飞行器控制器5执行方法100以对图像20执行102图像预处理。如图4中所示，在执行任何后续图像处理步骤之前应用图像预处理。图像预处理包括对图像20应用过滤器以使图像20灰度化。为了使图像20灰度化，图像20的每个像素基于像素的亮度/明度而转换为灰度。将图像转换为灰色化的可以有助于后续图像处理步骤。例如，灰度化的图像允许创建二进制图像(例如，通过图像阈值)，这然后可以用于后续图像分析。

对图像20执行102图像预处理还包括对图像20执行伽马(γ)校正。伽马校正可以有助于校正图像20中的亮度水平，并且可以改进后续图像处理步骤。伽马校正可以使用非线性转换的形式而应用于图像20。

其中，O是输出像素值，I是来自图像20的输入像素值，并且γ是伽马校正值。当γ<1时，原始的暗区域将变更亮，以及当γ>1时，发生相反的情况。

在执行102图像预处理之后，方法100包括确定103图像20中的非关注区域，并对图像20应用104掩膜21以从图像20中去除非关注区域。图5b示出了在已经应用了掩膜21之后图像20的示意图。在图5b中所示的图像20中，掩膜21以及因此非关注区域由阴影线表示。非关注区域包括图像20的下述部分：在正常使用中，轮胎11预计不出现在此部分中。例如，在图5a的图像20中，轮胎11不能出现在支柱12的位置中。因此，图像20的该部分确定为非关注区域的一部分，并且掩膜21应用至该区域(如图5b所示)。由于轮胎11在正常使用期间预计不出现在非关注区域中，因此从进一步分析中排除该区域，这可以减少计算需求并且提高该方法100的效率。

通过对飞行器起落架10的一系列图像进行分析并确定图像的哪些部分在后续图像之间没有显著变化来确定图5b中的非关注区域。该系列图像是从由摄像机15捕获的飞行器起落架10的视频中截取的一系列静止图像。假设图像的在后续图像之间没有显著变化的任何部分包含大致上静态/不移动的部件。因此，图像的这些部分被认为与对飞行器起落架10的转向角度的确定不太相关，并被归于非关注区域。

为了确定非关注区域，对于一个图像中的像素的属性与后续或先前图像中的对应像素相比是否改变得多于阈值量进行确定。属性包括像素值，像素值可以包含比如像素的颜色或强度之类的信息。如果像素改变得不多于阈值量，则该像素被确定为非关注区域的部分。阈值量根据条件比如光线条件变化，并且可以根据经验确定。例如，当飞行器1行进经过跑道灯时，这可以影响后续图像的相对亮度，从而意味与照明条件不变的情况相比，需要不同的阈值。阈值量也可以在不同的飞行器类型之间变化。尽管在图4的方法100中，在已经获得图像20之后确定非关注区域，但是在一些示例中，在获得图像20之前确定或已知非关注区域，并且在获得图像20之后基于非关注区域应用掩膜21。

指示掩膜21和/或非关注区域的信息储存在飞行器1的存储器上，以使这种信息能够在随后的转向角度确定中使用。这可以允许快速且容易地访问信息，这可以增加方法100的效率和/或速度。在其他示例中，信息远离飞行器1被储存，这可以允许多个飞行器1访问信息。这也可以允许信息在中央位置处进行更新，而不必单独更新每个飞行器1的存储器。例如，信息可以在飞行器起落架10的构型改变或者成像装置15的位置改变的情况下更新。在一些示例中，掩膜21和/或非关注区域对于给定的飞行器类型是恒定的。

在执行102图像预处理并将掩膜应用104至图像之后，方法100包括向图像20应用105阈值。阈值法是一种图像分割法，其改变图像20的像素以使图像20更容易分析。通过向灰度化的图像20应用105阈值，灰度化的图像20转换为二进制图像，即黑白图像。应用至图像20的阈值将图像中的每个像素以下述方式进行替换：如果像素的强度小于阈值，则替换为黑色像素，以及如果强度大于阈值，则替换为白色像素。阈值是预先确定的并且对于整个图像20是恒定的。

上述阈值使用预先确定的阈值，该预先确定的阈值不依赖于正在分析的图像20。在一些示例中，期望向图像20应用定制的阈值，该定制的阈值更适合于特定的图像20。这种阈值包括大津(Ostu)阈值法(也称为大津二值化或大津法)。大津阈值法从图像直方图中确定最优的全局阈值。迭代所有可能的阈值，并确定像素级别的分布、即背景中的像素数目相对于前景中的像素数目，目的是对使这两个数字相等/接近相等的阈值进行确定。

在一些示例中，可能需要使用下述阈值来解释局部照明的不一致性：该阈值横跨图像20而变化、即不是横跨整个图像20的单个恒定值。在这样的示例中，使用自适应阈值(也已知为动态和/或局部阈值处理)。与针对整个图像20使用单个阈值不同，自适应阈值处理是基于围绕像素的小区域来计算阈值，这可以得到横跨图像20的不同阈值。可以使用的自适应阈值的示例包括平均阈值法或高斯阈值法。平均阈值法采取围绕给定像素的像素的平均阈值，而在高斯阈值法中，阈值是相邻值的高斯加权和(即与所考虑的像素相邻的像素的高斯加权和)。

除了确定图像20内的非关注区域外，该方法还包括确定106图像20的关注区域。关注区域包括图像20的其中轮胎11所在的部分。确定106关注区域包括向图像20应用轮廓检测。在图5c中示出经轮廓检测的图像20。轮廓检测能够识别图像内对象的边界。在图5c中，执行轮廓检测以在图像20内定位轮胎11或轮胎11的部分。检测到的最大轮廓22被假定为轮胎11的轮廓。如图5d中所示的，关注区域23包括图5c中检测到的轮廓22。一旦确定关注区域，则选择关注区域23的更小部分24。这有助于确保所考虑的所有部分都是轮胎11的一部分而不是轮胎11边界上的边缘部段。在图5e中更详细地示出了子部段24的内容。

一旦选择关注区域的部分24，该方法包括在图像20上执行107边缘检测。边缘检测仅应用于前面识别的部分24。边缘检测旨在识别数字图像内的图像亮度急剧变化、即其中图像亮度不连续的边缘。边缘检测过程通常可以分为两类：基于搜索和基于过零。在基于搜索的方法中，边缘通过下述方式检测：首先计算边缘强度的大小，例如使用一阶导数表达式、比如梯度幅值来计算，然后，使用边缘的局部取向、通常是梯度方向的计算估计来搜索梯度幅值的局部方向最大值。在基于过零的方法中，边缘通过下述方式来发现：以从图像计算的二阶导数表达式、比如拉普拉斯表达式搜索零交点(数学函数的符号变化的点，即数学函数与轴相交的点)。如图4中所示的，在上述其他图像处理步骤已经完成之后进行执行107边缘检测。

在图像20上执行107边缘检测包括执行Canny边缘检测。Canny边缘检测是使用多阶段算法对图像中的大范围边缘进行检测的特殊类型的边缘检测方法。首先，向图像应用高斯过滤器以平滑图像并去除噪声。该过滤器使用如下形式的高斯函数：

其中，x是水平轴线上距原点的距离，y是竖向轴线上距原点的距离，并且σ是高斯分布的标准差。

接下来，在图像内发现强度梯度。向图像应用边缘检测算子(例如，Roberts、Prewitt或Sobel算子)以返回水平方向(Gx)和竖向方向(Gy)上的一阶导数。由此，边缘梯度G和方向θ可以通过下述方程来确定：

边缘方向被四舍五入为代表竖向、水平和两条对角线的四个角度(即0°、45°、90°和135°)中的一者。

一旦已经在图像20中发现强度梯度，则向图像20应用梯度幅值阈值或下限截止抑制。这是用于将图像20的边缘上不需要的伪点进行去除的边缘细化技术。应用下限截止抑制来发现具有最剧烈强度值变化的位置。当前像素的边缘强度与像素在正梯度方向和负梯度方向上的边缘强度进行比较。如果当前像素的边缘强度与具有相同方向的其他像素相比是最大的(例如，指向y方向的像素将与在竖向轴线上位于该像素的上方和下方的像素进行比较)，则该值被保留。否则，该值将被抑制。

然后应用双阈值来确定潜在边缘和抑制弱边缘。尽管前面的边缘细化技术意味着剩余的边缘像素提供了图像边缘的更准确表示，但是还可能剩余一些伪边缘像素。为了过滤这些伪边缘像素，选择高阈值和低阈值。如果边缘像素的梯度值小于高阈值且大于低阈值，则该边缘像素的梯度值被标记为弱边缘像素。如果边缘像素的梯度值小于低阈值，则该边缘像素的梯度值被抑制。所选择的阈值取决于正被分析的图像并且根据经验确定。

边缘的检测是通过对不连接至强边缘的任何剩余弱边缘进行抑制来完成。与真实边缘(即图像中对象的实际边缘)相关联的弱边缘预计会附接至强边缘。因此，不附接至强边缘的任何弱边缘可能是通过噪声/颜色变化而引起的，并且可以被抑制。这通过观察弱边缘像素及该弱边缘像素的八个连接的相邻像素来完成。只要在连接的相邻像素中存在一个强边缘像素，则弱边缘像素可以被识别为应该被保留的像素。

尽管在图4的方法100中使用Canny边缘检测，但是在一些示例中，边缘检测可以包括其他算法。例如，边缘检测可以包括Sobel、Prewitt或Roberts算法。

在已经对图像20应用边缘检测之后，方法100包括确定108轮胎11的胎面14的相对位置。确定108相对位置包括确定轮胎11的胎面14相对于摄像机的角度。如在图5e中所图示的，该方法包括通过下述方式来确定胎面的角度：将霍夫变换应用至部分24，以发现部分24内的直线(如由图5e中的虚线25所表示)。直线25表示胎面14的边缘，并且直线25的角度指示飞行器起落架10的转向角度。

霍夫变换是用于对图像中的线进行识别的特征提取技术。在极坐标中，线上的每个点可以使用一对r、θ(也称为霍夫空间)来描述，其中，r是从线上的原点至最近点的最短距离(垂直地接近直线)，并且θ是x轴与将线上的原点和最近点连接的线之间的角度。对于给定的线，可以确定具体的r和θ值，这些具体的r和θ值满足关于每个点x、y的下列方程，

r＝x cosθ+ysinθ

沿着图像20的部分24中的线的每个点可以映射为霍夫空间中的正弦曲线，同时霍夫空间中的每个点可以映射为图像空间中的线。因此，在霍夫空间中正弦曲线相交处的点表示图像20中存在的直线。

通过将霍夫变换应用至经边缘检测的图像20，确定轮胎11的胎面14的相对角度。胎面14的相对角度是胎面相对于摄像机15的角度。然后，方法100包括至少部分地基于轮胎11的胎面14的相对角度来确定109飞行器起落架的转向角度。在根据霍夫变换确定出多条线25的情况下，采取线25的角度的中值来确定飞行器起落架10的转向角度。在一些示例中，可以确定线25的角度的另一集中趋势、比如线25的角度的平均值或众数。为了帮助确保忽视错误的线长度(例如，太小而不能为胎面14边缘的那些线长度)，应用预限定的限制值来忽略这些线。预限定的限制值是关于被认为是胎面14边缘的线的最小长度(例如，最小像素数目)。在预限定长度以下的任何线被忽视。

尽管已经关于飞行器起落架10的作为轮胎11的部件即对方法100进行描述，但是在一些示例中，该部件可以是飞行器起落架10的另一部件。例如，该部件可以是扭矩连杆13，其中，扭矩连杆13包括参考标记16(如图3中所示)。在这种示例中，确定108部件的相对位置包括至少部分地基于由边缘检测获得的边缘来确定参考标记16的相对位置。尽管在图3中示出了一个参考标记16，但是在一些示例中，部件扭矩连杆13包括多个这种参考标记。

参考标记16可以帮助确定扭矩连杆13相对于成像装置15的位置。例如，与扭矩连杆13整体相比，参考标记16可以较为不易受到外部影响，例如，外力不太可能使参考标记16以不希望/不一致的方式移动。因此，参考标记16可以为确定扭矩连杆13的位置提供更一致的参考点。

此外，参考标记16布置成使得参考标记16不由摄像机遮挡，即使在扭矩连杆13的一部分由摄像机遮挡时也是如此。这可以允许即使在扭矩连杆的一部分被遮挡时也可以确定扭矩连杆13的位置。在其他示例中，省略参考标记16，并且基于扭矩连杆13的通过边缘检测获得的边缘来确定转向角度。在一些示例中，包括参考标记16的部件是飞行器起落架的另一部件，例如是飞行器起落架10的转向架。

在已经确定了飞行器起落架10的转向角度之后，方法100包括向飞行器1的机组人员、例如飞行员提供110指示飞行器起落架10的转向角度的信息。转向角度或指示转向角度的信息显示在飞行器1的驾驶舱4中，使得飞行员很容易获得。以这种方式，飞行员被告知飞行器起落架的转向角度，即使在飞行器起落架不处于飞行员的直接视野中的情况下也是如此。这可以有助于飞行员在地面上操纵飞行器1。

飞行器起落架10的经确定的转向角度用于限制飞行器起落架10的进一步运动/旋转。例如，如果飞行器起落架10的转向角度被确定为最大安全转向角度，则防止飞行员进一步增加转向角度。在达到最大转向角度时，飞行员也可以接收到警告或其他反馈。在一些示例中，在飞行员使用物理输入部来控制转向角度时，可以通过该输入部向飞行员提供物理反馈、例如输入部的震动，以指示何时达到最大转向角度。

在一些示例中，指示飞行器起落架10的转向角度的信息在飞行器1未处于地面上时提供给飞行器1的机组人员。该信息可以用于确定飞行器起落架10是否处于用于着陆和/或巡航的正确位置/取向。这可以允许机组人员在继续着陆和/或继续飞行是否安全方面做出明智的决定。

在一些示例中，经确定的转向角度被储存、例如被储存在飞行器1的存储器上。附加地或替代性地，经确定的转向角度被储存在由飞行器1可访问的数据库中、例如远离飞行器1的数据库中。以这种方式，经确定的转向角度可以用于帮助将来的转向角度确定或者可以在飞行后被复查，以确定和分析方法100的准确性。因此，可以通过复查之前经确定的转向角度，对方法100进行改进。

在一些示例中，可以从方法100中省略下述步骤中的任一步骤或更多个步骤：执行102图像预处理、确定103非关注区域、应用104掩膜、应用105阈值、确定106关注区域以及/或者提供110信息。

尽管方法100在确定飞行器起落架10的转向角度时利用边缘检测，但是在一些示例中，可以使用另一形式的特征检测。例如，可以使用角检测(在该角检测中，检测图像中的角)或脊部检测(在该脊部检测中，检测图像中的脊部)。

由于方法100依赖于对飞行器起落架10的部件的边缘的检测，可能更难以在部件由摄像机15部分遮挡时执行该方法100。在图6中示出了不受遮挡影响的确定飞行器起落架10的转向角度的另一附加方法200。

图6示出了确定飞行器起落架10的转向角度的另一方法200的流程图。方法200是确定飞行器起落架10的转向角度的计算机实现方法200。方法200由飞行器控制器5来实施，并且包括获得201飞行器起落架10的输入图像以及将输入图像与多个参考图像、例如一组参考图像或参考图像的数据库进行比较206。所述多个参考图像包括飞行器起落架10在已知转向角度处的图像。方法200包括：确定207最相似的参考图像，其中，最相似的参考图像包括所述多个参考图像中的与输入图像最紧密匹配的参考图像；以及至少部分地基于最相似的参考图像来确定208飞行器起落架10的转向角度。

图7示出了输入图像220和多个参考图像230中的参考图像230的示意图。在图7中，示出了输入图像220和参考图像230被分割为它们相应的红色221a、231a、绿色221b、231b和蓝色221c、231c分量平面。

在输入图像220与多个参考图像230进行比较之前，方法200包括确定202待与输入图像220进行比较的多个参考图像230的子集。该子集基于飞行器起落架10的转向角度的先前确定来确定。由于预计转向角度与先前确定相比不会发生显著变化，因此子集可以集中在先前确定的转向角度附近，以使需要进行的比较次数减少。例如，在转向角度之前已经被确定为处于+20°(即从上面看、顺时针20°，使得飞行器1将在向前移动时向右转弯)时，子集包括具有该转向角度的预限定范围内的转向角度的参考图像230。例如，在预限定范围为10°时，子集将包括具有在+10°与+30°之间的转向角度的参考图像230。替代性地，预限定范围可以是5°、15°、20°、25°、30°或任何其他合适的范围。尽管子集在图6中已经获得输入图像220之后被确定，但是在一些示例中，子集在获得输入图像220之前被确定。

由于通过方法200获得的输入图像220可能不处于待与多个参考图像230进行比较的最佳状态，因此修改输入图像220以有助于解决该问题。例如，输入图像220可以包括多余的噪声，这些多余的噪声应该被去除/减少以改善随后的比较。因此，在获得输入图像之后，方法200包括将过滤器应用203至输入图像220以使图像灰度化以及处理204输入图像以从输入图像中去除背景噪声。为了使输入图像220灰度化，输入图像220的每个像素基于像素的亮度/明度而转换为灰度。为了从输入图像220中去除噪声，向输入图像220应用平滑过滤器、比如高斯平滑。

在捕获输入图像220时，输入图像220的亮度(或感知的亮度)可能与多个参考图像230中的每个参考图像的亮度不一致。例如，在输入图像220于夜间被捕获而多个参考图像在白天被捕获的情况下，图像之间的光水平将存在差异。在输入图像220太暗的情况下，这可能使待与参考图像230比较的输入图像220的特征模糊。为了帮助解决该问题，方法200包括在输入图像220上执行205伽马校正。伽玛校正基于所述多个参考图像230的伽玛水平，并且可以有助于改进输入图像220与所述多个参考图像230之间的伽玛水平的一致性。这可以有助于使输入图像220与所述多个参考图像230的比较的准确性增加。伽马校正可以采取如关于上面图4的方法所讨论的形式。

在一些示例中，输入图像220和所述多个参考图像230两者以相同的方式被处理。所述处理可以包括掩盖、直方图匹配、裁剪、模糊、对比度受限的自适应直方图匹配、锐化和去噪中的至少一者。

为了掩盖输入图像220和多个参考图像230，所述多个参考图像230中的参考图像彼此进行比较，以确定不同参考图像230之间的对应像素(以及对应像素的像素值)变化多少。在像素值变化小于预定阈值的情况下，这些像素被确定为参考图像230的背景的部分，并且因此与飞行器起落架10的转向角度的确定无关。然后，被确定为背景的部分的像素从输入图像220和所述多个参考图像230中被掩盖。

直方图匹配包括修改输入图像220，使得输入图像220的直方图与多个参考图像230的直方图匹配。在一些示例中，输入图像220和多个参考图像230被修改成使得输入图像220的直方图和多个参考图像230的直方图匹配预定的直方图。替代性地，可以使用对比度受限的自适应直方图匹配来与输入图像220的直方图和多个参考图像230的直方图进行匹配。

由于在确定转向角度时，输入图像220的仅一部分和多个参考图像230的仅一部分(比如包括飞行器起落架10的部分)可能是所关注的，在一些示例中，输入图像220和多个参考图像230可以被裁剪成仅包括预定的转向区域。转向区域是输入图像220和多个参考图像230内的下述区域：该区域包括飞行器起落架10的在转向角度改变时移动的部分。

在一些示例中，输入图像220和多个参考图像230通过模糊来平滑。输入图像220和多个参考图像230的模糊通过使用低通过滤器核来对图像进行卷积来实现。模糊可以包括平均、高斯模糊、中值模糊和/或双边过滤。

为了使输入图像220和多个参考图像230锐化，在一些示例中，向输入图像220和所述多个参考图像230中的每个参考图像230应用锐化核，比如下面所示的锐化核。

在一些示例中，对输入图像220和/或多个参考图像230进行去噪包括向输入图像220和/或多个参考图像230应用非局部均值去噪算法。非局部均值去噪包括将图像中单个像素的颜色替换为图像内相似像素的颜色的平均值。

在输入图像220已经根据需要被修改之后，方法200包括将输入图像220与多个参考图像230的子集进行比较206以及确定207最相似的参考图像230。最相似的参考图像203是多个参考图像230中的与输入图像220最紧密匹配的参考图像230。将输入图像220与多个参考图像230进行比较206包括将输入图像220的输入图像像素值与多个参考图像230中的每个参考图像的对应参考图像像素值进行比较。如果在子集中没有发现合适的匹配(即具有输入图像220的预定阈值内的相似特征的参考图像230)，则子集被扩展成包括另外的参考图像230，直到发现合适的匹配为止。

在图7中，输入图像像素值和参考图像像素值分别包括指示输入图像220中的像素的颜色的信息和指示参考图像230中的像素的颜色的信息。输入图像220和参考图像230分别包括红色分量值221a、231a、绿色分量值221b、231b和蓝色分量值221c、231c。当将输入图像220与参考图像230进行比较时，将单个像素的红色、绿色和/或蓝色分量值的值和/或相对值进行比较。为此，方法200包括对输入图像220与参考图像230之间的相似性度量进行计算。在这种情况下，该方法包括对输入图像像素值与对应的参考图像像素值之间的均方根偏差(RMSD)进行计算。对子集中的参考图像230中的每个参考图像进行该计算，并且将具有输入图像像素值与参考图像像素值之间的最小RMSD的参考图像230确定为最相似的参考图像230。在一些示例中，计算不同的相似性度量。例如，相似性度量可以包括输入图像220与参考图像230之间共有的像素值的总数。可以针对每个参考图像确定相应的相似性度量，并且可以确定相似性度量最接近于阈值的参考图像230，其中，阈值指示最高程度的相似性。可以使用的另一相似性度量是余弦相似性。在一些示例中，输入图像像素值转换为一维输入图像向量，并且参考图像像素值转换为一维参考图像向量。然后，对输入图像向量与参考图像向量之间的余弦相似性进行计算。对于子集中的参考图像230中的每个参考图像进行该计算，并且将具有输入图像向量与参考图像向量之间的最大余弦相似性的参考图像230确定为最相似的参考图像230。

尽管在图6的方法中对像素的颜色的分量进行比较，但是在一些示例中，比如在输入图像220和参考图像230不是彩色时，输入图像像素值和参考图像像素值可以包括相关像素的强度。最相似的参考图像230则是具有最多像素的参考图像230，该参考图像230具有与输入图像220中相同或相似的强度。

也可以使用机器学习来确定最相似的参考图像230。例如，确定207最相似的参考图像230可以包括利用机器学习算法。机器学习算法可以包括作为输入的输入图像220和作为输出的最相似参考图像230。这种机器学习算法可以被训练成在监督学习过程中基于一组训练数据、例如标记有地面真值的一组训练数据来提供机器学习算法的输出。例如，在已知转向角度处的多个参考图像230可以用于训练机器学习算法。在另一示例中，经测量的数据可以形成训练数据集。在一些示例中，机器学习算法可以基于由飞行器1或相同类型的其他飞行器获得的数据而进行实时更新。在一些示例中，机器学习算法可以包括神经网络。

至少部分地基于最相似的参考图像230，方法200包括208确定飞行器起落架10的转向角度。由于已知参考图像230中的每个参考图像的转向角度，因此最相似的参考图像230的转向角度被确定为飞行器起落架10的转向角度。

一旦已经确定转向角度，方法200包括向飞行器1的机组人员、例如飞行员提供209指示飞行器起落架10的转向角度的信息。转向角度或指示转向角度的信息显示在飞行器1的驾驶舱4中，使得飞行员容易获得。以这种方式，飞行员被告知飞行器起落架的转向角度，即使飞行器起落架不在飞行员的直接视野内也是如此。这可以帮助飞行员在地面上操纵飞行器。

飞行器起落架10的经确定转向角度用于限制飞行器起落架10的进一步运动/旋转。例如，如果飞行器起落架10的转向角度被确定为处于最大安全转向角度，则防止飞行员进一步增加转向角度。在达到最大转向角度时，飞行员也可以接收到警告或其他反馈。在一些示例中，在飞行员使用物理输入部来控制转向角度时，可以通过该输入部向飞行员提供物理反馈、例如输入部的震动，以指示何时达到最大转向角度。

在一些示例中，指示飞行器起落架10的转向角度的信息在飞行器1未处于地面上时提供给飞行器1的机组人员。该信息可以用于确定飞行器起落架是否处于用于着陆和/或巡航的正确位置/取向。这可以允许机组人员在继续着陆和/或继续飞行是否安全方面做出明智的决定。

在一些示例中，经确定的转向角度被储存、例如被储存在飞行器1的存储器上。附加地或替代性地，经确定的转向角度被储存在由飞行器可访问的数据库上、比如远离飞行器1的数据库上。以这种方式，经确定的转向角度可以用于帮助将来的转向角度确定或者可以在飞行后被复查，以确定和分析方法100的准确性。因此，可以通过复查之前经确定的转向角度，对方法100进行改进。

尽管如上所述的方法200将输入图像220与多个参考图像230的子集进行比较，但是在一些示例中，方法200将输入图像220与多个参考图像230中的所有参考图像进行比较。所述多个参考图像230包括飞行器起落架10的一系列图像，其中，每个图像之间转向角度具有10°与0.5°之间的间隔。在一些示例中，间隔可以在8°与0.5°之间、6°与0.5°之间、4°与0.5°之间、2°与0.5°之间或1°与0.5°之间。多个参考图像涵盖的飞行器起落架10的转向角度的总范围为140°、即在-70°(向左70°)和+70°(向右70°)之间。在一些示例中，总范围在100°与180°之间、120°与160°之间或130°与150°之间。在一些示例中，也可以使用其他范围。

多个参考图像230通过对飞行器起落架10的图像进行捕获而同时接收指示飞行器起落架10的转向角度的信息而生成。图像和这些图像的对应转向角度连同参考图像230与对应转向角度之间的映射一起被保存至存储器。在一些示例中，指示转向角度的信息由飞行器起落架10上的传感器、例如旋转可变差动变压器(RVDT)来确定。

多个参考图像230储存在飞行器1的存储器上。以这种方式，所述多个参考图像230可以通过方法200来快速访问。在一些示例中，参考图像储存在由飞行器1可访问的数据库、比如远离飞行器1的数据库上。这可以允许多个飞行器1访问所述多个参考图像230，并且还可以允许在中央位置处更新所述多个参考图像230，而不必单独地更新每个飞行器1的存储器。

在图8的流程图300中进一步图示了方法200的实现方式。通过下述方式而生成(框301)参考数据集(例如多个参考图像)：使用摄像机捕获飞行器起落架的图像(框302)，同时测量303(框303)飞行器起落架10的转向角度，以及将图像映射到对应的经测量的转向角度，使得获知由摄像机捕获的每个帧的转向角度(框304)。将来自摄像机的输入图像220(框305)与参考数据集进行比较，以计算相似性(框306)。由此，对参考数据集中的每个图像与输入图像220相比的RMSD进行计算(框307)。发现具有最小相关RMSD的参考图像(框308)，并且将该参考图像用于预测(框309)输入图像220的转向角度以及因此预测飞行器起落架10的转向角度。

在一些示例中，可以从方法200中省略下述步骤中的任一者或更多者：确定202子集、应用203过滤器、处理204输入图像、执行205伽玛校正以及/或者提供209信息。

如上所述，图6的方法200可以在一些情况下比图4的方法100更好地工作。因此，有利的是能够在试图确定飞行器起落架10的转向角度时在两种方法100、200之间进行选择。这可以允许对于给定条件使用最好的方法100、200。图9示出了对飞行器起落架10的转向角度进行确定的这种方法400的流程图。方法400包括确定401影响飞行器起落架10的条件。该条件是对飞行器起落架的轮胎11是否由摄像机遮挡的确定。在其他示例中，该条件可以是影响飞行器起落架10的转向角度的确定的另一条件，比如天气条件和/或成像装置15的操作状态。

方法400包括至少部分地基于所述条件来选择402对飞行器起落架10的转向角度进行确定的第一模式或对飞行器起落架10的转向角度进行确定的第二模式。第一模式是如关于图4所描述的方法100，并且第二模式是如关于图6所描述的方法200。因此，在给定条件下，可以选择用于对飞行器起落架10的转向角度进行确定的最佳或优选方法。一旦已经选择模式，方法400包括使用所选定的模式来确定403飞行器起落架10的转向角度。

由于第一模式和第二模式(以及方法100、200)是对飞行器起落架10的转向角度进行确定的不同方法，因此第一模式和第二模式可以具有不同的失效条件。因此，在模式/方法中的一者不能根据需要工作时，可以选择另一模式/方法。通过能够明确地选择第一模式或第二模式，可以在不必依赖任何其他输入/信息的情况下选择最佳模式。例如，模式中的一者不必在使用另一模式之前失效。

尽管在以上的示例中，第一模式是如关于图4所描述的方法100，并且第二模式是如关于图6所描述的方法200，但是在其他示例中，第一模式和/或第二模式可以包括对飞行器起落架10的转向角度进行确定的另一方法。第一模式和/或第二模式可以包括使用传感器、比如旋转可变差动变压器(RVDT)来确定飞行器起落架10的转向角度，或者可以包括使用另一合适形式的计算机视觉来确定飞行器起落架10的转向角度。

图10示出了根据示例的非暂态计算机可读存储介质500的示意图。非暂态计算机可读存储介质500储存指令503，所述指令330在由飞行器控制器501的处理器502执行的情况下使处理器502实行本文中所描述的方法中的一种方法。在一些示例中，飞行器控制器501是上面参照图1所描述的飞行器控制器5或本文中描述的飞行器控制器的变型。指令503可以包括执行以上参照图4至图9所描述的方法100、200、400中的任一方法或其变体、比如本文所讨论的方法的指令。

关于本文中所讨论的方法100、200、400中的一种方法所讨论的任何步骤或特征都可以与本文中所讨论的任何其他方法100、200、400的步骤和特征结合使用。

应当注意的是，除非另有明确说明，否则如本文中所使用的术语“或”被解释为表示“和/或”。

以上实施方式应理解为本发明的说明性示例。设想了本发明的其他实施方式。应当理解的是，关于任何一个实施方式所描述的任何特征可以被单独使用、或者与描述的其他特征结合使用，并且也可以与实施方式中的任何其他实施方式或者实施方式中的任何其他实施方式的任何组合的一个或更多个特征结合使用。此外，在不脱离本发明的于所附权利要求书中限定的范围的情况下，也可以采用上面未描述的等同物和改型。