一种无人机的巡检方法、装置及边缘计算模块

技术领域

本发明涉及无人机飞行控制技术领域，特别是指一种无人机的巡检方法、装置及边缘计算模块。

背景技术

输电线路外观巡检作业是进行线路运行状况的一种重要监测方式，传统的线路巡检以人巡为主，随着无人机应用的不断推广，输电线路巡检模式逐渐向人机协同巡检、无人机为主的协同巡检、无人机为主的协同自主巡检模式转变。从目前的无人机巡检技术水平来看，还存在以下问题：

1)尽管有些地方已经开展了无人机全自主巡检的试点应用，但效率提升并不明显，受限于多旋翼无人机飞行航时及线路环境复杂的限制，导致投入产出比并不高；

2)当前阶段无人机的巡检多采用人工控制和通过设置经验预置点位进行自主拍照的模式，自主化程度不高。

发明内容

本发明要解决的技术问题是提供一种无人机的巡检方法、装置及边缘计算模块。可以让无人机在飞行过程中更智能、更准确，提高无人机自动拍照的图片进行后期数据处理时的利用率。

为解决上述技术问题，本发明的技术方案如下：

一种无人机的巡检方法，应用于边缘计算模块，所述方法包括：

获取无人机按照预定航线飞行过程中在预定悬停点采集的视频数据；

根据所述视频数据，对目标进行识别，确定所述目标的位置；

根据所述目标的位置，对所述目标进行拍照，获得所述目标的图像信息。

可选的，根据所述视频数据，对目标进行识别，确定所述目标的位置，包括：通过分类算法对所述视频数据中的目标进行识别，获得至少一种目标；

对所述至少一种目标进行筛选，确定关注目标；

获得所述关注目标的位置。

可选的，所述分类算法为Yolov4-Tiny算法。

可选的，对所述至少一种目标进行筛选，确定关注目标，包括：

对所述至少一种目标，按照目标的特征进行筛选，删除和第一预设特征相同的目标或者删除和第二预设特征不同的目标，将剩余的目标确定为所述关注目标。

可选的，根据所述目标的位置，对所述目标进行拍照，获得所述目标的图像信息，包括：

向所述无人机发送控制指令，所述控制指令用于控制所述无人机的相机对准所述目标的位置，对所述目标进行变焦和放大后，对所述目标进行拍照，获得所述目标的图像信息。

可选的，所述边缘计算模块通过数据通信接口与无人机的飞行控制中心通信连接。

本发明的实施例还提供一种无人机的巡检装置，应用于边缘计算模块，所述装置包括：

第一获取模块，用于获取无人机按照预定航线飞行过程中在预定悬停点采集的视频数据；

确定模块，用于根据所述视频数据，对目标进行识别，确定所述目标的位置；

第二获取模块，用于根据所述目标的位置，对所述目标进行拍照，获得所述目标的图像信息。

本发明的实施例还提供一种边缘计算模块，包括：处理器，存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。

可选的，边缘计算模块还包括：电路板，所述处理器和所述存储器与所述电路板电连接，所述电路板上具有数据通信接口，并通过所述数据通信接口与无人机的飞行控制中心通信连接。

本发明的实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有处理器可执行指令，所述处理器可执行指令用于使所述处理器执行如上所述的方法。

本发明的上述方案至少包括以下有益效果：

本发明的上述方案，通过获取无人机按照预定航线飞行过程中在预定悬停点采集的视频数据；根据所述视频数据，对目标进行识别，确定所述目标的位置；根据所述目标的位置，对所述目标进行拍照，获得所述目标的图像信息。可以使得无人机在三维点云精度不高的情况下开展自主巡检，通过边缘计算模块的实时AI识别，实时调整无人机的飞行姿态，获得更清晰的目标图像。

附图说明

图1是本发明的无人机的巡检方法的流程示意图；

图2是本发明的无人机的巡检方法中目标的初始位置示意图；

图3是本发明的无人机的巡检方法中目标对准后的状态示意图；

图4是本发明的无人机的巡检方法中相机变焦对焦后的状态示意图；

图5是本发明的无人机的巡检方法的一具体实现流程图；

图6是本发明的无人机的巡检装置的模块示意图；

图7是本发明的边缘计算模块的硬件结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明的实施例提出一种无人机的巡检方法，应用于边缘计算模块，所述方法包括：

步骤11，获取无人机按照预定航线飞行过程中在预定悬停点采集的视频数据；

步骤12，根据所述视频数据，对目标进行识别，确定所述目标的位置；

步骤13，根据所述目标的位置，对所述目标进行拍照，获得所述目标的图像信息。

该实施例中，预定航线可以是基于三维点云生成的航线，通过获取无人机按照预定航线飞行过程中在预定悬停点采集的视频数据；根据所述视频数据，对目标进行识别，确定所述目标的位置；根据所述目标的位置，对所述目标进行拍照，获得所述目标的图像信息。可以使得无人机在三维点云精度不高的情况下开展自主巡检，通过边缘计算模块的实时AI识别，实时调整无人机的飞行姿态，获得更清晰的目标图像。

本发明的一可选的实施例中，步骤12可以包括：

步骤121，通过分类算法对所述视频数据中的目标进行识别，获得至少一种目标；

步骤122，对所述至少一种目标进行筛选，确定关注目标；

步骤123，获得所述关注目标的位置。

该实施例中，获取无人机的航线中的悬停点采集的实时视频，通过分类算法对实时视频的内容进行基于部件的智能识别，从而确定在无人机视野中存在的目标位置。

本发明的一可选的实施例中，所述分类算法为Yolov4-Tiny算法，当然也可以是其它分类算法，只要能识别出视频数据中的目标即可。

本发明的一可选的实施例中，上述步骤122可以包括：

对所述至少一种目标，按照目标的特征进行筛选，删除和第一预设特征相同的目标或者删除和第二预设特征不同的目标，将剩余的目标确定为所述关注目标。

该实施例中，边缘计算模块获取无人机实时视频，对实时视频内容进行基于部件的智能识别，从而确定在无人机视野中存在的目标位置。比如，删除和第一预设特征相同的目标，剩余的目标为需要关注的目标；也可以是删除和第二预设特征不相同的目标，剩余的目标为需要关注的目标。这里，第一预设特征或者第二预设特征可以是目标的位置、名称等，例如目标识别时得到的名称是绝缘子串、耐张线夹。

一种实现的实例中，对目标的识别，在进行电力杆塔自主巡检中，可以让边缘计算模块进行实时的智能分析，目前识别的主要目标包括：绝缘子串、耐张线夹、连接金具(挂板、绝缘子与杆塔的连接部位等)、悬垂线夹等，通过识别方法实时识别出无人机视野中存在哪些关注目标，对其他不需要关注的目标进行自动的舍弃；

因为无人机巡检过程中，无人机巡检场景是比较复杂的，各种部件交错在一起，可以将各类目标进行区分，同时结合在不同的拍照点位有不同的关注目标，因此方便对目标进行筛选。

本发明的一可选的实施例中，步骤13可以包括：

向所述无人机发送控制指令，所述控制指令用于控制所述无人机的相机对准所述目标的位置，对所述目标进行变焦和放大后，对所述目标进行拍照，获得所述目标的图像信息。

该实施例中，通过控制指令，调整无人机的相机，使目标处于相机的中央，进行目标的对准，并对目标进行变焦处理，放大目标在相机视野的大小，同时触发对焦，让目标更加清晰，如图2、3、4所示，其中，图2是目标的初始位置，图3是目标对准后的状态，图4是相机变焦对焦后的状态。最后，检测航线上的航点是否都执行完成，如果都完成，则无人机返航，如果没有完成，则无人机飞到下一航点继续执行。

如图5所示，为本发明的上述实施例的一具体实现流程，包括：

无人机拿到规划好航线开始飞行作业；

无人机开始飞行作业，同时开启视频智能识别作业模式；

当无人机飞到悬停点，开始拍照作业，具体操作如下：

边缘计算模块获取无人机实时视频，对实时视频内容进行基于部件的智能识别，从而确定在无人机视野中存在的目标位置；

根据边缘计算模块计算的目标位置，结合目标的优先等级，控制云台对目标进行校准，使目标位于相机的中心位置；

控制云台进行变焦，从感官上不断拉近镜头与目标的距离，放大目标在相机视野的大小，完成拍照。

检测是否航点都执行完成，如果都完成则无人机返航，如果没有完成，则无人机飞到下一航点继续执行。

本发明的一可选的实施例中，所述边缘计算模块通过数据通信接口与无人机的飞行控制中心通信连接。

这里，边缘计算模块主要是基于NVIDIA TX2进行设计，结合对无人机挂载需要考虑的体积、重量、功率等因素的，可以在不过多影响无人机运行时长的前提下，尽可能发挥计算力，使得无人机进行智能化飞行成为可能，同时该边缘计算模块是通过type-c数据线进行数据传输和供电等操作，极大的提升了板载模块的易用性和可移植性。

本发明的上述实施例，可以在三维点云精度不高的情况下开展自主巡检，通过边缘计算模块的实时AI识别，实时调整无人机的飞行姿态；在对目标进行拍照的时候，通过AI识别结果，对目标进行过滤，因为在同一场景内会存在很多其他目标，而拍照点只关心其中一类，为了减少对后期数据处理的干扰，本发明可以利用AI识别结果，将多余的其他目标进行过滤；可以通过边缘计算模块对目标的筛选，通过调用无人机控制接口，对云台进行控制，通过识别结果自动调整云台的角度，使得目标始终位于镜头中间，同时调整焦距，对特定目标进行变焦和对焦，使得待识别目标在拍摄图片的占图比更大、目标更清晰。

如图6所示，本发明的实施例还提供一种无人机的巡检装置60，应用于边缘计算模块，所述装置60包括：

第一获取模块61，用于获取无人机按照预定航线飞行过程中在预定悬停点采集的视频数据；

确定模块62，用于根据所述视频数据，对目标进行识别，确定所述目标的位置；

第二获取模块63，用于根据所述目标的位置，对所述目标进行拍照，获得所述目标的图像信息。

可选的，根据所述视频数据，对目标进行识别，确定所述目标的位置，包括：通过分类算法对所述视频数据中的目标进行识别，获得至少一种目标；

对所述至少一种目标进行筛选，确定关注目标；

获得所述关注目标的位置。

可选的，所述分类算法为Yolov4-Tiny算法。

可选的，对所述至少一种目标进行筛选，确定关注目标，包括：

对所述至少一种目标，按照目标的特征进行筛选，删除和第一预设特征相同的目标或者删除和第二预设特征不同的目标，将剩余的目标确定为所述关注目标。

可选的，根据所述目标的位置，对所述目标进行拍照，获得所述目标的图像信息，包括：

向所述无人机发送控制指令，所述控制指令用于控制所述无人机的相机对准所述目标的位置，对所述目标进行变焦和放大后，对所述目标进行拍照，获得所述目标的图像信息。

需要说明的是，该装置是与上述方法对应的装置，上述方法中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。

如图7所示，本发明的实施例还提供一种边缘计算模块，包括：处理器，存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。

可选的，边缘计算模块还包括：电路板，所述处理器(CPU和/或GPU)和所述存储器与所述电路板电连接，所述电路板上具有数据通信接口，并通过所述数据通信接口与无人机的飞行控制中心通信连接。这里的数据通信接口可以是type-c接口，电路板上还可以连接电源。

本发明的该实施例，可以在三维点云精度不高的情况下开展自主巡检，通过边缘计算模块的实时AI识别，实时调整无人机的飞行姿态；在对目标进行拍照的时候，通过AI识别结果，对目标进行过滤，因为在同一场景内会存在很多其他目标，而拍照点只关心其中一类，为了减少对后期数据处理的干扰，可以利用AI识别结果，将多余的其他目标进行过滤；可以通过边缘计算模块对目标的筛选，通过调用无人机控制接口，对云台进行控制，通过识别结果自动调整云台的角度，使得目标始终位于镜头中间，同时调整焦距，对特定目标进行变焦和对焦，使得待识别目标在拍摄图片的占图比更大、目标更清晰。将边缘计算模块挂载到无人机上，可以通过一个type-c接口进行连接，实现了即插即用，方便快捷。

本发明的实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有处理器可执行指令，所述处理器可执行指令用于使所述处理器执行如上所述的方法。上述实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。