基于无人机航摄的风机叶片检测方法、装置及电子设备

技术领域

本申请涉及电力设备技术领域，尤其是涉及一种基于无人机航摄的风机叶片检测方法、装置及电子设备。

背景技术

风力发电机是将风能转换为机械功，机械功带动转子旋转，最终输出交流电的电力设备。风力发电机一般有叶片、发电机、调向器、塔架、限速安全机构和储能装置等构件组成。在风力发电机的长期运行过程中，叶片的表面会呈现出各种损伤，例如叶片保护膜损伤、叶片掉漆、叶片结冰、叶片裂纹以及叶片油污等。

目前，对叶片表面进行损伤检测时，通常采用无人机装载相机进行风机检测，由于是基于图像进行检测，图像的拍摄质量直接影响检测结果的精确程度。但是，目前的无人机在拍摄图像时实际的姿态与预期的姿态存在较大的差别，对图像质量影响较大，导致对叶片表面的损伤检测精确度较低。

发明内容

本发明的目的在于提供一种基于无人机航摄的风机叶片检测方法、装置及电子设备，以缓解叶片表面的损伤检测精确度较低的技术问题。

第一方面，本申请实施例提供了一种基于无人机航摄的风机叶片检测方法，所述方法包括：

确定风机的第一初始三维位置坐标和姿态；其中，所述初始三维位置坐标为GPS系统中的坐标，所述姿态包括风机的朝向；

基于所述第一初始三维位置坐标、所述姿态以及预设距离，确定针对所述风机的正面拍摄位置的第一预期位置的第二初始三维坐标；其中，所述第一预期位置位于所述风机的风叶旋转平面的第一旋转中心对应的第一法向量上，所述第一预期位置与所述第一旋转中心的距离为所述预设距离；

将所述第一预期位置的第二初始三维坐标输入至无人机的飞行控制系统，基于所述GPS系统控制所述无人机飞行到所述第二初始三维坐标处；其中，无人机的实际位置为实际三维坐标，所述第一预期位置与所述实际三维坐标之间的偏移为目标偏移向量；

基于所述风机的朝向控制所述无人机在所述实际三维坐标处，通过双目摄像机以第一姿态对所述风机的风叶的至少一个第一关键点进行追踪，确定在相机坐标系中所述第一关键点的三维运动轨迹；

在所述双目摄像机的相机坐标系中确定所述第一关键点的三维运动轨迹对应的第二旋转中心的第二法向量，将所述第一法向量转换至相机坐标系中，得到第三法向量，并基于所述第二法向量和所述第三法向量确定第一旋转矩阵；

基于所述第一旋转矩阵对所述双目摄像机的朝向进行调整，以使所述双目摄像机的摄像头的实际朝向与实际风叶旋转平面的所述第一旋转中心对应的法线趋于平行，得到第二姿态，并重新通过所述双目摄像机以所述第二姿态对风叶的至少一个第二关键点进行追踪，确定在所述相机坐标系中所述第二关键点的三维运动轨迹以及重新确定的第二旋转矩阵；

判断所述重新确定的第二旋转矩阵和所述第一旋转矩阵的差别是否满足预设要求；如果满足所述预设要求，则基于所述风机的朝向以及所述第二旋转矩阵控制相机的姿态拍摄所述风机的正面图像；如果不满足所述预设要求则继续迭代，直至相邻两次的旋转矩阵差别满足预设要求，或迭代次数达到预设次数；

基于所述第一初始三维位置坐标、所述姿态以及所述预设距离，确定针对所述风机的背面拍摄位置的第二预期位置的第三初始三维坐标，将所述第二预期位置的第三初始三维坐标输入所述无人机的飞行控制系统，基于所述GPS系统控制所述无人机飞行到所述第三初始三维坐标对应优化后的位置处，并在所述第三初始三维坐标对应优化后的位置处基于所述风机的朝向以及所述第二旋转矩阵控制相机拍摄所述风机的背面图像。

在一个可能的实现中，所述无人机上设置有激光设备；所述方法还包括：

在所述风机为静止状态时，控制所述无人机围绕所述风机上的叶片基于所有相对角度的飞行，并在围绕所述叶片飞行的过程中控制所述激光设备始终对所述叶片通过扫描的方式进行多次激光测距，得到多个激光测距结果，并根据所述多个激光测距结果建立针对所述叶片的当前模型；

将所述当前模型与预设模型进行对比，得到模型对比结果；其中，所述预设模型为所述风机在运行之前正常状态下叶片的模型；

根据所述模型对比结果检测所述风机的叶片表面损伤程度。

在一个可能的实现中，所述方法还包括：

在所述风机为运行状态时，控制所述无人机保持针对所述叶片的飞行速度大于所述叶片的转速进行飞行，以获取针对所述叶片上多个位置的所述激光测距结果。

在一个可能的实现中，所述无人机的数量为至少两个；还包括：

在所述风机为运行状态时，控制第一无人机以所述叶片的转速相同的速度进行飞行，以保持所述第一无人机与所述叶片相对静止；

控制第二无人机保持针对所述叶片的飞行速度大于所述叶片的转速进行飞行，并将所述第二无人机作为针对所述叶片的扫描无人机，将所述第一无人机作为所述第二无人机扫描过程中的基准，通过以所述第一无人机为基准的位置数据以及所述第二无人机针对所述叶片的扫描数据获取针对所述叶片上多个位置的所述激光测距结果。

在一个可能的实现中，还包括：

所述第一无人机根据自身跟随的所述叶片的飞行速度和飞行位置测量所述叶片的转速，并根据所述叶片的转速控制所述第二无人机的飞行速度，以保持所述第二无人机的飞行速度大于所述叶片的转速；

所述第二无人机向所述第一无人机发送针对所述叶片进行扫描的激光测距数据；

所述第一无人机根据所述激光测距数据以及所述叶片的转速通过AI进行计算，得到所述叶片的表面多个位置点数据。

在一个可能的实现中，还包括：

在所述第二无人机的当前电量小于第一预设电量时，将所述第一无人机作为针对所述叶片的扫描无人机，将所述第二无人机作为所述第一无人机扫描过程中的基准，并控制所述第一无人机保持针对所述叶片的飞行速度大于所述叶片的转速进行飞行，控制第二无人机以所述叶片的转速相同的速度进行飞行，以保持所述第二无人机与所述叶片相对静止；

通过以所述第二无人机为基准的位置数据以及所述第一无人机针对所述叶片的扫描数据获取针对所述叶片上多个位置的所述激光测距结果。

在一个可能的实现中，还包括：

在所述第一无人机和所述第二无人机的当前电量差值大于第二预设电量时，将所述第一无人机作为针对所述叶片的扫描无人机，将所述第二无人机作为所述第一无人机扫描过程中的基准，并控制所述第一无人机保持针对所述叶片的飞行速度大于所述叶片的转速进行飞行，控制第二无人机以所述叶片的转速相同的速度进行飞行，以保持所述第二无人机与所述叶片相对静止；

通过以所述第二无人机为基准的位置数据以及所述第一无人机针对所述叶片的扫描数据获取针对所述叶片上多个位置的所述激光测距结果。

第二方面，提供了一种基于无人机航摄的风机叶片检测装置，包括：

第一确定模块，用于确定风机的第一初始三维位置坐标和姿态；其中，所述初始三维位置坐标为GPS系统中的坐标，所述姿态包括风机的朝向；

第二确定模块，用于基于所述第一初始三维位置坐标、所述姿态以及预设距离，确定针对所述风机的正面拍摄位置的第一预期位置的第二初始三维坐标；其中，所述第一预期位置位于所述风机的风叶旋转平面的第一旋转中心对应的第一法向量上，所述第一预期位置与所述第一旋转中心的距离为所述预设距离；

第一控制模块，用于将所述第一预期位置的第二初始三维坐标输入至无人机的飞行控制系统，基于所述GPS系统控制所述无人机飞行到所述第二初始三维坐标处；其中，无人机的实际位置为实际三维坐标，所述第一预期位置与所述实际三维坐标之间的偏移为目标偏移向量；

第二控制模块，用于基于所述风机的朝向控制所述无人机在所述实际三维坐标处，通过双目摄像机以第一姿态对所述风机的风叶的至少一个第一关键点进行追踪，确定在相机坐标系中所述第一关键点的三维运动轨迹；

第三确定模块，用于在所述双目摄像机的相机坐标系中确定所述第一关键点的三维运动轨迹对应的第二旋转中心的第二法向量，将所述第一法向量转换至相机坐标系中，得到第三法向量，并基于所述第二法向量和所述第三法向量确定第一旋转矩阵；

调整模块，用于基于所述第一旋转矩阵对所述双目摄像机的朝向进行调整，以使所述双目摄像机的摄像头的实际朝向与实际风叶旋转平面的所述第一旋转中心对应的法线趋于平行，得到第二姿态，并重新通过所述双目摄像机以所述第二姿态对风叶的至少一个第二关键点进行追踪，确定在所述相机坐标系中所述第二关键点的三维运动轨迹以及重新确定的第二旋转矩阵；

判断模块，用于判断所述重新确定的第二旋转矩阵和所述第一旋转矩阵的差别是否满足预设要求；如果满足所述预设要求，则基于所述风机的朝向以及所述第二旋转矩阵控制相机的姿态拍摄所述风机的正面图像；如果不满足所述预设要求则继续迭代，直至相邻两次的旋转矩阵差别满足预设要求，或迭代次数达到预设次数；

第三控制模块，用于基于所述第一初始三维位置坐标、所述姿态以及所述预设距离，确定针对所述风机的背面拍摄位置的第二预期位置的第三初始三维坐标，将所述第二预期位置的第三初始三维坐标输入所述无人机的飞行控制系统，基于所述GPS系统控制所述无人机飞行到所述第三初始三维坐标对应优化后的位置处，并在所述第三初始三维坐标对应优化后的位置处基于所述风机的朝向以及所述第二旋转矩阵控制相机拍摄所述风机的背面图像。

第三方面，本申请实施例又提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的第一方面所述方法。

第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。

本申请实施例带来了以下有益效果：

本申请实施例提供的一种基于无人机航摄的风机叶片检测方法、装置及电子设备，能够确定风机的第一初始三维位置坐标和姿态；其中，所述初始三维位置坐标为GPS系统中的坐标，所述姿态包括风机的朝向；基于所述第一初始三维位置坐标、所述姿态以及预设距离，确定针对所述风机的正面拍摄位置的第一预期位置的第二初始三维坐标；其中，所述第一预期位置位于所述风机的风叶旋转平面的第一旋转中心对应的第一法向量上，所述第一预期位置与所述第一旋转中心的距离为所述预设距离；将所述第一预期位置的第二初始三维坐标输入至无人机的飞行控制系统，基于所述GPS系统控制所述无人机飞行到所述第二初始三维坐标处；其中，无人机的实际位置为实际三维坐标，所述第一预期位置与所述实际三维坐标之间的偏移为目标偏移向量；基于所述风机的朝向控制所述无人机在所述实际三维坐标处，通过双目摄像机以第一姿态对所述风机的风叶的至少一个第一关键点进行追踪，确定在相机坐标系中所述第一关键点的三维运动轨迹；在所述双目摄像机的相机坐标系中确定所述第一关键点的三维运动轨迹对应的第二旋转中心的第二法向量，将所述第一法向量转换至相机坐标系中，得到第三法向量，并基于所述第二法向量和所述第三法向量确定第一旋转矩阵；基于所述第一旋转矩阵对所述双目摄像机的朝向进行调整，以使所述双目摄像机的摄像头的实际朝向与实际风叶旋转平面的所述第一旋转中心对应的法线趋于平行，得到第二姿态，并重新通过所述双目摄像机以所述第二姿态对风叶的至少一个第二关键点进行追踪，确定在所述相机坐标系中所述第二关键点的三维运动轨迹以及重新确定的第二旋转矩阵；判断所述重新确定的第二旋转矩阵和所述第一旋转矩阵的差别是否满足预设要求；如果满足所述预设要求，则基于所述风机的朝向以及所述第二旋转矩阵控制相机的姿态拍摄所述风机的正面图像；如果不满足所述预设要求则继续迭代，直至相邻两次的旋转矩阵差别满足预设要求，或迭代次数达到预设次数；基于所述第一初始三维位置坐标、所述姿态以及所述预设距离，确定针对所述风机的背面拍摄位置的第二预期位置的第三初始三维坐标，将所述第二预期位置的第三初始三维坐标输入所述无人机的飞行控制系统，基于所述GPS系统控制所述无人机飞行到所述第三初始三维坐标对应优化后的位置处，并在所述第三初始三维坐标对应优化后的位置处基于所述风机的朝向以及所述第二旋转矩阵控制相机拍摄所述风机的背面图像。本方案中，通过双目视觉技术能够对拍摄相机的姿态进行调整，最终能够保持统一的朝向来拍摄图像，极大的提升了图像的质量，进而在通过模型进行识别时能够提升识别准确率，提高对叶片表面损伤检测的精确度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于无人机航摄的风机叶片检测方法的流程示意图；

图2为本申请实施例提供的预期位置与实际位置之间相对位置的示意图；

图3为本申请实施例提供的一种基于无人机航摄的风机叶片检测装置的结构示意图；

图4示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

目前的无人机的飞行控制以及风机的位置定位一般采用全球定位系统(GlobalPositioning System，GPS)进行定位，虽然使用同系统能够尽量降低系统间的误差，但是由于GPS本身开放的精度有限，使得无人机在拍摄图像时实际的姿态与预期的姿态存在较大的差别，对图像质量影响较大，导致对叶片表面的损伤检测精确度较低。

基于此，本申请实施例提供了一种基于无人机航摄的风机叶片检测方法、装置及电子设备，通过该方法可以缓解叶片表面的损伤检测精确度较低的技术问题。

下面结合附图对本发明实施例进行进一步地介绍。

图1为本申请实施例提供的一种基于无人机航摄的风机叶片检测方法的流程示意图。如图1所示，该方法包括：

步骤S110，确定风机的第一初始三维位置坐标和姿态。

其中，初始三维位置坐标为GPS系统中的坐标，姿态包括风机的朝向。

作为一种可能的实施方式，确定风机的第一初始三维位置坐标和姿态，该初始三维位置坐标可以为世界坐标系的GPS系统中的坐标，该姿态可以包括风机的朝向。

步骤S120，基于第一初始三维位置坐标、姿态以及预设距离，确定针对风机的正面拍摄位置的第一预期位置的第二初始三维坐标。

其中，第一预期位置位于风机的风叶旋转平面的第一旋转中心对应的第一法向量上，第一预期位置与第一旋转中心的距离为预设距离。

例如，如图2所示，基于风机的第一初始三维位置坐标、姿态以及预设的距离L，确定正面拍摄位置的预期位置A的第二初始三维坐标。其中，预期位置A位于风叶旋转平面的旋转中心对应的法线(第一法向量)上，预期位置A与旋转中心B的距离为预设的距离L。

步骤S130，将第一预期位置的第二初始三维坐标输入至无人机的飞行控制系统，基于GPS系统控制无人机飞行到第二初始三维坐标处。

其中，无人机的实际位置为实际三维坐标，第一预期位置与实际三维坐标之间的偏移为目标偏移向量。

作为一种示例，如图2所示，将预期位置A的第二初始三维坐标输入无人机飞行控制系统，基于GPS系统控制无人机飞行到第二初始三维坐标处，由于GPS存在系统误差，无人机的实际位置为实际三维坐标A’；预期位置A与实际三维坐标A’之间的偏移通过偏移向量a1表示(需要计算出该值)。

步骤S140，基于风机的朝向控制无人机在实际三维坐标处，通过双目摄像机以第一姿态对风机的风叶的至少一个第一关键点进行追踪，确定在相机坐标系中第一关键点的三维运动轨迹。

示例性的，如图2所示，基于风机的朝向，控制无人机在实际三维坐标A’处，通过双目摄像机以第一姿态对风叶的一个或多个关键点进行追踪，确定在相机坐标系(没有尺度信息)中该一个或多个关键点的三维运动轨迹。

步骤S150，在双目摄像机的相机坐标系中确定第一关键点的三维运动轨迹对应的第二旋转中心的第二法向量，将第一法向量转换至相机坐标系中，得到第三法向量，并基于第二法向量和第三法向量确定第一旋转矩阵。

在一种可能的实施方式中，在相机坐标系中，确定该一个或多个关键点的三维运动轨迹对应的旋转中心B’的第二法向量，然后，将第一法向量转换到相机坐标系，确定第三法向量，之后基于第二法向量和第三法向量确定第一旋转矩阵。

步骤S160，基于第一旋转矩阵对双目摄像机的朝向进行调整，以使双目摄像机的摄像头的实际朝向与实际风叶旋转平面的第一旋转中心对应的法线趋于平行，得到第二姿态，并重新通过双目摄像机以第二姿态对风叶的至少一个第二关键点进行追踪，确定在相机坐标系中第二关键点的三维运动轨迹以及重新确定的第二旋转矩阵。

本步骤中，先基于所述旋转矩阵对所述双目摄像机的朝向进行调整(由于误差的存在，第一次拍摄时，摄像头的实际朝向与实际风叶旋转平面的旋转中心对应的法线并不平行，这里调整的目的是使得摄像头的实际朝向与实际风叶旋转平面的旋转中心对应的法线更趋于平行)，得到第二姿态，然后，重新通过双目摄像机以第二姿态对风叶的一个或多个关键点进行追踪，确定在相机坐标系(没有尺度信息)中该一个或多个关键点的三维运动轨迹。

步骤S170，判断重新确定的第二旋转矩阵和第一旋转矩阵的差别是否满足预设要求，如果满足预设要求，则基于风机的朝向以及第二旋转矩阵控制相机的姿态拍摄风机的正面图像，如果不满足预设要求则继续迭代，直至相邻两次的旋转矩阵差别满足预设要求，或迭代次数达到预设次数。

在实际应用中，基于重新确定的第二旋转矩阵和第一旋转矩阵的差别是否满足预设要求；如果满足，则基于风机的朝向以及第二旋转矩阵控制高速相机的姿态拍摄风机的正面图像；如果不满足继续迭代，直至相邻两次的旋转矩阵差别满足要求，或者迭代达到预设次数。

步骤S180，基于第一初始三维位置坐标、姿态以及预设距离，确定针对风机的背面拍摄位置的第二预期位置的第三初始三维坐标，将第二预期位置的第三初始三维坐标输入无人机的飞行控制系统，基于GPS系统控制无人机飞行到第三初始三维坐标对应优化后的位置处，并在第三初始三维坐标对应优化后的位置处基于风机的朝向以及第二旋转矩阵控制相机拍摄风机的背面图像。

作为一种可能的实施方式，先基于风机的第一初始三维位置坐标、姿态以及预设的距离L，确定背面拍摄位置的预期位置M的第三初始三维坐标，然后，将预设位置M的初始三维坐标输入无人机飞行控制系统，基于GPS系统控制无人机飞行到第三初始三维坐标优化后的位置M’处，之后在M’处基于风机的朝向以及第二旋转矩阵控制高速相机拍摄风机的背面图像。这样，可以拍摄朝向正对风机的图像，不过风机可能并不位于图像的中心。

本申请实施例中，通过双目视觉技术能够对拍摄相机的姿态进行调整，最终能够保持统一的朝向来拍摄图像，极大的提升了图像的质量，进而在通过模型进行识别时能够提升识别准确率，提高对叶片表面损伤检测的精确度。

下面对上述步骤进行详细介绍。

在一些实施例中，无人机上设置有激光设备；该方法还可以包括以下步骤：

步骤a)，在风机为静止状态时，控制无人机围绕风机上的叶片基于所有相对角度的飞行，并在围绕叶片飞行的过程中控制激光设备始终对叶片通过扫描的方式进行多次激光测距，得到多个激光测距结果，并根据多个激光测距结果建立针对叶片的当前模型；

步骤b)，将当前模型与预设模型进行对比，得到模型对比结果；其中，预设模型为风机在运行之前正常状态下叶片的模型；

步骤c)，根据模型对比结果检测风机的叶片表面损伤程度。

本申请实施例中，通过无人机上的激光设备的激光测距以及无人机围绕风机上的叶片基于所有相对角度的飞行，能够得到针对叶片的多个激光测距结果，进而能够实现激光建模的过程，使叶片的建模方式不止局限于采集的图像，提高叶片的建模效率。

基于上述步骤a)、步骤b)和步骤c)，该方法还可以包括以下步骤：

步骤d)，在风机为运行状态时，控制无人机保持针对叶片的飞行速度大于叶片的转速进行飞行，以获取针对叶片上多个位置的激光测距结果。

本申请实施例中，针对运动状态的叶片，通过大于叶片转速的无人机飞行速度，能够对叶片多个部位进行激光测距，也不影响风机的正常运行，使叶片的检测过程更加高效。

基于上述步骤d)，无人机的数量为至少两个；该方法还可以包括以下步骤：

步骤e)，在风机为运行状态时，控制第一无人机以叶片的转速相同的速度进行飞行，以保持第一无人机与叶片相对静止；

步骤f)，控制第二无人机保持针对叶片的飞行速度大于叶片的转速进行飞行，并将第二无人机作为针对叶片的扫描无人机，将第一无人机作为第二无人机扫描过程中的基准，通过以第一无人机为基准的位置数据以及第二无人机针对叶片的扫描数据获取针对叶片上多个位置的激光测距结果。

例如，当风机运行时叶片转动，此时作为基准的第一无人机跟随着叶片的转动而运动，使第一无人机与叶片之间相对静止，而作为扫描无人机的第二无人机的运动速度不同于叶片的转动速度，即第二无人机与叶片之间相对运动，以使第二无人机对叶片进行激光扫描，得到叶片上不同位置的激光测距结果。

本申请实施例中，通过作为基准的第一无人机，使作为扫描无人机的第二无人机的扫描动作能够以第一无人机为基准，使得对叶片的激光扫描位置更加精确，提高激光扫描后激光测距结果的数据准确度。

基于上述步骤e)和步骤f)，该方法还可以包括以下步骤：

步骤g)，第一无人机根据自身跟随的叶片的飞行速度和飞行位置测量叶片的转速，并根据叶片的转速控制第二无人机的飞行速度，以保持第二无人机的飞行速度大于叶片的转速；

步骤h)，第二无人机向第一无人机发送针对叶片进行扫描的激光测距数据；

步骤i)，第一无人机根据激光测距数据以及叶片的转速通过AI进行计算，得到叶片的表面多个位置点数据。

示例性的，作为基准的第一无人机还能够起到替第一无人机分担辅助运算压力的作用，作为基准的第一无人机也能够控制第二无人机的扫描动作，再根据测量到的叶片转速通过AI运算更加精确的计算出叶片的表面多个位置点数据。

在一些实施例中，该方法还可以包括以下步骤：

步骤j)，在第二无人机的当前电量小于第一预设电量时，将第一无人机作为针对叶片的扫描无人机，将第二无人机作为第一无人机扫描过程中的基准，并控制第一无人机保持针对叶片的飞行速度大于叶片的转速进行飞行，控制第二无人机以叶片的转速相同的速度进行飞行，以保持第二无人机与叶片相对静止；

步骤k)，通过以第二无人机为基准的位置数据以及第一无人机针对叶片的扫描数据获取针对叶片上多个位置的激光测距结果。

需要说明的是，由于作为扫描无人机的第二无人机的运动速度较大，比较耗费电量，当作为扫描无人机的第二无人机电量较低时，作为基准的第一无人机和作为扫描无人机的第二无人机之间可以互相切换，即切换为作为基准的第二无人机和作为扫描无人机的第以无人机，使第一无人机和第二无人机的组合形式能够持续更长时间的激光扫描测距过程，使激光扫描测距过程更加高效。

在一些实施例中，该方法还可以包括以下步骤：

步骤m)，在第一无人机和第二无人机的当前电量差值大于第二预设电量时，将第一无人机作为针对叶片的扫描无人机，将第二无人机作为第一无人机扫描过程中的基准，并控制第一无人机保持针对叶片的飞行速度大于叶片的转速进行飞行，控制第二无人机以叶片的转速相同的速度进行飞行，以保持第二无人机与叶片相对静止；

步骤n)，通过以第二无人机为基准的位置数据以及第一无人机针对叶片的扫描数据获取针对叶片上多个位置的激光测距结果。

作为一种可选的实施方式，作为基准的第一无人机和作为扫描无人机的第二无人机之间的剩余电量相差过大时，可以互相切换，即切换为作为基准的第二无人机和作为扫描无人机的第以无人机，通过这种方式，实现了多个无人机之间的智能配电过程，提高了无人机在激光扫描过程中的电量使用效率。

图3提供了一种基于无人机航摄的风机叶片检测装置的结构示意图。

如图3所示，基于无人机航摄的风机叶片检测装置300包括：

第一确定模块301，用于确定风机的第一初始三维位置坐标和姿态；其中，所述初始三维位置坐标为GPS系统中的坐标，所述姿态包括风机的朝向；

第二确定模块302，用于基于所述第一初始三维位置坐标、所述姿态以及预设距离，确定针对所述风机的正面拍摄位置的第一预期位置的第二初始三维坐标；其中，所述第一预期位置位于所述风机的风叶旋转平面的第一旋转中心对应的第一法向量上，所述第一预期位置与所述第一旋转中心的距离为所述预设距离；

第一控制模块303，用于将所述第一预期位置的第二初始三维坐标输入至无人机的飞行控制系统，基于所述GPS系统控制所述无人机飞行到所述第二初始三维坐标处；其中，无人机的实际位置为实际三维坐标，所述第一预期位置与所述实际三维坐标之间的偏移为目标偏移向量；

第二控制模块304，用于基于所述风机的朝向控制所述无人机在所述实际三维坐标处，通过双目摄像机以第一姿态对所述风机的风叶的至少一个第一关键点进行追踪，确定在相机坐标系中所述第一关键点的三维运动轨迹；

第三确定模块305，用于在所述双目摄像机的相机坐标系中确定所述第一关键点的三维运动轨迹对应的第二旋转中心的第二法向量，将所述第一法向量转换至相机坐标系中，得到第三法向量，并基于所述第二法向量和所述第三法向量确定第一旋转矩阵；

调整模块306，用于基于所述第一旋转矩阵对所述双目摄像机的朝向进行调整，以使所述双目摄像机的摄像头的实际朝向与实际风叶旋转平面的所述第一旋转中心对应的法线趋于平行，得到第二姿态，并重新通过所述双目摄像机以所述第二姿态对风叶的至少一个第二关键点进行追踪，确定在所述相机坐标系中所述第二关键点的三维运动轨迹以及重新确定的第二旋转矩阵；

判断模块307，用于判断所述重新确定的第二旋转矩阵和所述第一旋转矩阵的差别是否满足预设要求；如果满足所述预设要求，则基于所述风机的朝向以及所述第二旋转矩阵控制相机的姿态拍摄所述风机的正面图像；如果不满足所述预设要求则继续迭代，直至相邻两次的旋转矩阵差别满足预设要求，或迭代次数达到预设次数；

第三控制模块308，用于基于所述第一初始三维位置坐标、所述姿态以及所述预设距离，确定针对所述风机的背面拍摄位置的第二预期位置的第三初始三维坐标，将所述第二预期位置的第三初始三维坐标输入所述无人机的飞行控制系统，基于所述GPS系统控制所述无人机飞行到所述第三初始三维坐标对应优化后的位置处，并在所述第三初始三维坐标对应优化后的位置处基于所述风机的朝向以及所述第二旋转矩阵控制相机拍摄所述风机的背面图像。

在一些实施例中，所述无人机上设置有激光设备；该装置还包括：

第四控制模块，用于在所述风机为静止状态时，控制所述无人机围绕所述风机上的叶片基于所有相对角度的飞行，并在围绕所述叶片飞行的过程中控制所述激光设备始终对所述叶片通过扫描的方式进行多次激光测距，得到多个激光测距结果，并根据所述多个激光测距结果建立针对所述叶片的当前模型；

对比模块，用于将所述当前模型与预设模型进行对比，得到模型对比结果；其中，所述预设模型为所述风机在运行之前正常状态下叶片的模型；

检测模块，用于根据所述模型对比结果检测所述风机的叶片表面损伤程度。

在一些实施例中，该装置还包括：

第五控制模块，用于在所述风机为运行状态时，控制所述无人机保持针对所述叶片的飞行速度大于所述叶片的转速进行飞行，以获取针对所述叶片上多个位置的所述激光测距结果。

在一些实施例中，所述无人机的数量为至少两个；该装置还包括：

第六控制模块，用于在所述风机为运行状态时，控制第一无人机以所述叶片的转速相同的速度进行飞行，以保持所述第一无人机与所述叶片相对静止；

第七控制模块，用于控制第二无人机保持针对所述叶片的飞行速度大于所述叶片的转速进行飞行，并将所述第二无人机作为针对所述叶片的扫描无人机，将所述第一无人机作为所述第二无人机扫描过程中的基准，通过以所述第一无人机为基准的位置数据以及所述第二无人机针对所述叶片的扫描数据获取针对所述叶片上多个位置的所述激光测距结果。

在一些实施例中，该装置还包括：

测量模块，用于所述第一无人机根据自身跟随的所述叶片的飞行速度和飞行位置测量所述叶片的转速，并根据所述叶片的转速控制所述第二无人机的飞行速度，以保持所述第二无人机的飞行速度大于所述叶片的转速；

发送模块，用于所述第二无人机向所述第一无人机发送针对所述叶片进行扫描的激光测距数据；

计算模块，用于所述第一无人机根据所述激光测距数据以及所述叶片的转速通过AI进行计算，得到所述叶片的表面多个位置点数据。

在一些实施例中，该装置还包括：

第八控制模块，用于在所述第二无人机的当前电量小于第一预设电量时，将所述第一无人机作为针对所述叶片的扫描无人机，将所述第二无人机作为所述第一无人机扫描过程中的基准，并控制所述第一无人机保持针对所述叶片的飞行速度大于所述叶片的转速进行飞行，控制第二无人机以所述叶片的转速相同的速度进行飞行，以保持所述第二无人机与所述叶片相对静止；

第一获取模块，用于通过以所述第二无人机为基准的位置数据以及所述第一无人机针对所述叶片的扫描数据获取针对所述叶片上多个位置的所述激光测距结果。

在一些实施例中，该装置还包括：

第九控制模块，用于在所述第一无人机和所述第二无人机的当前电量差值大于第二预设电量时，将所述第一无人机作为针对所述叶片的扫描无人机，将所述第二无人机作为所述第一无人机扫描过程中的基准，并控制所述第一无人机保持针对所述叶片的飞行速度大于所述叶片的转速进行飞行，控制第二无人机以所述叶片的转速相同的速度进行飞行，以保持所述第二无人机与所述叶片相对静止；

第二获取模块，用于通过以所述第二无人机为基准的位置数据以及所述第一无人机针对所述叶片的扫描数据获取针对所述叶片上多个位置的所述激光测距结果。

本申请实施例提供的基于无人机航摄的风机叶片检测装置，与上述实施例提供的基于无人机航摄的风机叶片检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本申请实施例提供的一种电子设备，如图4所示，电子设备400包括处理器402、存储器401，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。

参见图4，电子设备还包括：总线403和通信接口404，处理器402、通信接口404和存储器401通过总线403连接；处理器402用于执行存储器401中存储的可执行模块，例如计算机程序。

其中，存储器401可能包含高速随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口404(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线403可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器401用于存储程序，所述处理器402在接收到执行指令后，执行所述程序，前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器402中，或者由处理器402实现。

处理器402可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器402中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器402可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器402读取存储器401中的信息，结合其硬件完成上述方法的步骤。

对应于上述基于无人机航摄的风机叶片检测方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述基于无人机航摄的风机叶片检测方法的步骤。

本申请实施例所提供的基于无人机航摄的风机叶片检测装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述基于无人机航摄的风机叶片检测方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。