用于识别设施处的物体的方法和组件

技术领域

本发明涉及根据权利要求1的前序部分的方法和根据权利要求10的前序部分的组件。

背景技术

迄今未公开的、日期为2017年3月15日的欧洲专利申请17161027.2，其标题为“用于对具有运行设备的设施进行状态监视的方法和组件”，公开了一种用于对包括运行设备的设施进行状态监视的方法，其中借助于第一交通工具，利用用于以光学方式获取设施的概观传感器设备来获取概观数据，并且借助于评估装置在概观数据中识别运行设备，并在考虑第一交通工具的位置的情况下，确定运行设备的位置，其中借助于具有细节相机的第二交通工具，来生成运行设备的详细图像，其中细节相机对准运行设备的相应位置。例如，仅使用一架飞行器，例如无人机或直升机，以便在飞越架空电线时借助全景相机来识别杆和绝缘子，以确定绝缘子的位置并随后借助于细节相机来获得绝缘子的高分辨率图像。这样，可以简单而可靠地识别出损坏的绝缘子。

从现有技术中已知多种图像中的检测方法。在此，尤其是二维(2D)图像中的物体检测最近受到越来越多的关注。但是例如在热成像图像或UV图像中的经典的检测技术，也在持续的工业应用中出现。还有许多其他的2D检测方法，例如基于异常或颜色差异的检测方法。迄今的工作的大部分都被限于2D检测技术，同时只有少量的工作，试图将检测方法变换到三维(3D)空间中。

例如，已知的出版物有J.Denzlerl等人的“Probabilistic Integration of CuesFrom Multiple Cameras”，涉及对不同相机的图像的集成。Shaoqin Ren等人的出版物“Faster R-CNN:Towards Real-Time Object Detection with Region ProposalNetworks”、Wei Liu等人的出版物“SSD：Single Shot MultiBox Detector”以及MichaelMason等人(2001年)的出版物“Using Histograms to Detect and Track Objects inColor Video”公开了用于在图像数据中进行物体检测的方法。Varun Chandola等人的出版物“Anomaly Detection:A Survey”(ACM Computing Surveys，2009年)涉及对数据中的预期模式的偏差的检测。

此外，还已知有英国哥伦比亚大学理学硕士Tristram Southey于2013年的博士论文“Improving Object Detection using 3D Spatial Relationships”。描述了三维图像分析。

在对例如架空电线的设施进行探查时，迄今使用直升机的飞越和图像记录来识别架空线上的损坏部位或物体。仅靠航空记录很难决定，诸如鸟巢、气球或风筝(儿童玩具)的物体位于导体电缆上还是在导体电缆下方的地面上，并且也是容易出错的。迄今，这通常是通过人工评估图像来实现的。如果错误地识别到线路上的物体，则会产生对于已触发的维护工作相应浪费掉的成本和耗费。

在一个或多个图像中的检测不能总是明确地与特定的3D物体相关联。由于各个2D图像不包含深度信息，因此无法确定沿一个视线到物体的距离。因此，不能将检测限制到3D空间的相关区域，这有时会导致不相关的错误检测。如果要将高架电线上的物体与高架电线下的物体区分开，这通过对航空记录(鸟瞰图)的自动图像评估通常是无法实现的。

发明内容

本发明的目的是提出一种方法，利用该方法可以自动且可靠地识别设施处的物体。

本发明通过根据权利要求1的方法实现了该目的。

根据本发明，通过使用与各个2D点相关联的3D信息来解决物体识别问题。由于视差效应的关系，设施(例如架空电线)下的物体在图像中在相对于导线的不同位置成像。当观察者移动自己的位置时会发生视差效应，并由此物体位置发生明显变化。例如，在Wikipedia上详细描述了视差的影响(永久链接：https://de.wikipedia.org/w/index.php？title＝Parallaxe&oldid＝178305744)。

例如，设施可以是电气设施，例如空中导线或架空电线。但是，设施也可以是管道。物体例如可以是鸟巢、汽车或风筝。

本发明的主题是提供与3D空间中的2D识别相结合的3D信息，以便与简单的2D检测方法相比降低误报率。

本发明的一个优点在于，通过在一种在计算和存储方面比较高效的方法中组合使用多个视图来减少错误地识别出设施上的物体的频率，即报警率。由此实现了从航空图像中对物体的相对可靠的自动检测，并实现了针对人工后处理的耗费的显著降低。利用该方法，即使仅出现在相机的唯一图像中的错误检测也可以可靠地识别到。

根据本发明，可以可靠、快速和自动地区分设施上的物体(即，高于地面的物体)和设施下的物体(即，靠近地面的物体)。这是一个优点，因为必须由维护人员立即排除设施(例如架空电线)的危害或损坏。如果将诸如鸟巢或风筝之类的物体错误地识别为位于导线上，则会不必要地触发导线的关闭和/或维护，这引起成本并降低设施的可用性。

此外，本发明的优点在于，所描述的方法具有较低的计算复杂度。由于仅需要在两个二维图像中读取在已知3D点(设施的部段)处的标量值，因此与在其他方法的情况中相比，存储和/或计算需求明显更小。

在根据本发明的方法的一个优选实施方式中，使用设施的所提供的三维表示来限制用于设施的搜索空间或在三维表示中将识别到的物体与设施的组成部分相对应。令人惊喜地显示出，通过限制搜索空间，使用已经存在的三维表示可以使对于图像评估来说所需的计算能力降低。此外，可以将识别到的物体与三维表示中包含的组成部分相对应，这可以简单且可靠地将对于进一步评估来说相关的物体与不相关的物体分离。两种措施都使得所需的计算能力可以明显降低。两种选择都被证明是非常有利的。例如，第一选择以稍微更高的计算能力为代价，允许在相关的情况中可能发生的令人担忧的假阴性率被再度降低。第二种选择允许，例如还在图像记录过程中就借助于低程度计算密集型预分类来鉴别潜在的问题位置，并且如有可能，可以自动地执行对这些物体的更精确的探查。这两种选择的结合也被证明是有利的。

在根据本发明的方法的另一优选实施方式中，三维表示被获取为三维点云(PCD)，其中对三维点云(PCD)进行语义分割，以在三维点云(PCD)中限制用于设施的搜索空间。设施在三维点云(PCD)中的空间。事实证明，以这种方式限制搜索空间对于典型应用情况来说(例如在对架空电线进行探查期间发生的那样)是特别有利的。

在根据本发明的方法的另一优选实施方式中，借助于“光探测和测距(LIDAR)”传感器来获得三维表示，并且三维表示被获取为三维点云(PCD)。这是有利的，因为借助于LIDAR可以获得有关物体位置的高度准确的信息。结合飞行器的位置，可以确定物体在三维空间中的位置。

在根据本发明的方法的另一优选实施方式中，对三维点云(PCD)进行语义分割以在三维点云(PCD)中限制用于设施的搜索空间。这是有利的，因为物体识别被限制于相关区域，这大大降低了计算要求和/或提高了计算速度。由于搜索空间被限制于相关的场景内容，因此降低了复杂度。如果在飞行器上进行评估，则在该实施方式中可以减轻重量，因为需要功能更低的计算机设备。典型实例是高压输电线的LIDAR数据，在这些数据中确定了属于架空电线的点或通过悬链线的参数模型(自动)逼近的点。用于分割图像数据的方法的实例从Kaiming He等人的出版物“Mask R-CNN”中已知。

在该被限制的搜索空间上使用了经典2D检测器，其例如在特定的故障类别上进行预训练。备选地，在异常检测的意义上，自动地确定导体区域的标准模型(例如，借助于自动编码器)并且检测异常值。两种方法的结果都是确定针对单个像素或图像区域的潜在的识别相关状态的概率。在一个变体方案中，在此不仅可以将图像空间限制在可见光区域，而且图像空间还可以延伸到邻接的光谱区域，例如(热)红外光和紫外光。

在上述实施方式的改进方案中提出，针对设施的每个3D点查询单个图像中的检测响应或像素颜色值，并且对这些单个检测结果进行合并。可以遵循下列线性或非线性数学方法中的一个方法来作为合并函数：极值确定(最小值/最大值)，中位数确定，平均值确定，其他鲁棒的统计数据，例如基于分位数的统计数据。

可以执行以下方法步骤：

-获得3D点云和针对3D点云以高精度局部地注册的图像作为输入；

-可选地，对3D点云进行语义分割(可选地，因为整个PCD也可以在语义上与探查任务相关)；

-分割后剩余的3D点被投影到2D图像中；

-在2D图像中得到的位置上，或者有选择地生成检测结果或者读出现有的检测结果(在后面的情况中，在图像空间中的检测以覆盖平面的方式进行)；

针对每个3D点，通过合并函数来检查图像空间中的相关单个检测的一致性；

-可选地，又可以将剩余的3D点投影回图像空间中，并因此在图像空间中产生最终的识别结果。

在根据本发明的方法的另一优选实施方式中，被用作设施的是架空电线，并且通过应用悬链线模型以识别架空电线的导体电缆，来执行语义分割。这是有利的，因为可以以简单的方式限制搜索空间。

在根据本发明的方法的另一优选实施方式中，借助于定位装置来确定表示的位置和方向。例如，这可以借助于针对全球定位系统(GPS)信号的接收器来执行，其中方向取决于传感器装置(激光雷达或相机)的观察方向。观察方向可以例如借助于倾角传感器接合设置在飞行器中的指南针来确定。

在根据本发明的方法的另一优选实施方式中，借助于用于可见光的相机来记录图像。对于人类可见的光通常具有380nm至780nm之间的波长(永久链接：https://de.wikipedia.org/w/index.php？title＝Elektromagnetisches_Spektr um&oldid＝178702023)。

在上述实施方式的改进方案中，使用另外的相机来提高可靠性。例如，可以冗余地或者以不同的放大倍率或细节分辨率来使用多个相机。这是有利的，因为它增加了在一次飞越设施时即可得到所有必要的图像数据的概率。

在根据本发明的方法的另一优选实施方式中，利用飞行器沿着设施引导相机，以便在两个不同的位置记录第一图像和第二图像。

在根据本发明的方法的另一优选实施方式中，将设施的三维表示分别投影到两个图像中，以便分别确定部段。

在根据本发明的方法的另一优选实施方式中，评估装置被设置在飞行器中。这是有利的，因为在飞越过程中可以直接进行评估和物体识别。可以存储识别到的物体的图像和坐标，并在飞行结束之后将传输给设施的运营者。备选地，可以经由无线电借助于数据通信在飞行期间传输识别到的物体。

在根据本发明的方法的另一优选实施方式中，评估装置被设置为中央服务器。这是有利的，因为节省了飞行器的重量和结构空间。例如，由相机和激光雷达获取的所有数据都可以临时存储在数据存储器中，并在飞行结束之后传输至设施以进行评估。备选地，经由无线电借助于数据通信，甚至可以在飞行过程中将数据传输到评估装置。

本发明的另一个目的是提供一种组件，利用该组件可以自动且可靠地识别设施处的物体。

本发明通过根据权利要求10的组件来实现该目的。从权利要求11至15中获得了优选的实施方式。对于根据本发明的组件及其实施方式，相应地得到了与在根据本发明的方法的先前阐述的相同的优点。

附图说明

为了更好地解释本发明，在附图中示意性地示出：

图1示出LIDAR图像数据的语义分割实例；以及

图2示出不同频率范围内架空电线的图像的实例；以及

图3示出对架空电线处的物体进行异常识别的实例；以及

图4示出通过视差效应识别架空电线处的物体的位置的实例。

具体实施方式

图1示出针对LIDAR图像数据进行语义分割的示例。示出了相对于位置坐标x的LIDAR的视角

图2显示了不同频率范围内的架空电线的图像的实例。从左到右，分别示出了在可见频率范围(VIS)中的图像、在红外频率范围(IF)中的图像和在紫外频率范围(UV)中的图像。在可见频率范围(VIS)中，示出了在电缆1上的鸟巢。在红外范围(IF)中，示出杆上的绝缘子的温度特别高的区域99。在紫外线范围(UV)中，可以清楚地看到导线1处的电晕放电。

图3显示了对架空电线上人为插入的物体进行异常识别的实例。在飞越时，从上方记录图像。在此，电缆1在森林和道路4上方延伸，该道路在图像的上部分叉。在道路4上有辆车5。风筝6位于导体电缆之一上。在图像中，由评估算法正确地将两个物体都标识为偏离了导体电缆的预期走向。该算法不能轻易地得到深度信息，即，该算法不能确定汽车以及尤其是风筝是位于导线上还是在导线下面的地面上。

为了将地面上的物体与导线上的物体区分开，本发明提出利用视差效应。图4并排显示了两个场景。每两个杆9支撑一根架空电线。可以在架空电线下面看到树10。在飞越导线期间，在两个不同的位置7、8处记录了第一图像和第二图像。

在左侧图像中可以看到，在将两个图像的两个观察方向指向先前通过分割在3D空间中的识别的架空电线上的点11时，两个图像都瞄准了在视线中的导线的部段11。如果有物体直接位于导线上或导线处，则从两个角度看，该物体出现在导线上的同一位置。右侧图片中的树10的情况有所不同。在两张图片中，树10不在导线上的同一位置出现，而是由于视差效应，从观察方向7看，树10出现在的部段11处，从观察方向8看出现在导线的部段12处。这意味着，树10一定位于与导线不同的高度，更准确地说在导线下方。该原理以简单的自动的方式实现了对位于设施处或位于设施上的物体与位于地面上的物体之间的区分。