基于无人机的图像分析跟踪、定位系统及方法

技术领域

本发明涉及电力安全技术领域，尤其涉及一种基于无人机的图像分析跟踪、定位系统及方法。

背景技术

许多大型电力设备尤其是风电场及光伏电站，均建设在位置偏远、交通不便的地区，且占地面积大。而电力设备对安全性的要求很高，大多数电力场站内的固定式监控摄像头无法做到全场覆盖。许多危险源均无法得到有效及时的监测。

对于电力设备来说，如何通过设备附近的运动目标进行分析，以及时掌握目标物体对电力设备安全稳定运行是否存在影响，是电力行业运行维护人员所追求的目标。

随着无人机技术日趋成熟，人工智能技术断发展，计算机视觉技术也有了长足的进步。运用无人机航拍技术可对电力设备进行有效监测，但目前尚未有结合了无人机及图像分析跟踪、定位技术的系统出现。

为更好的解决上述问题，且为提高电力系统安全稳定运行水平，有必要提出一种基于无人机的图像分析跟踪、定位系统及方法。

发明内容

本发明提供一种基于无人机的图像分析跟踪、定位系统及方法，以解决重要电力设施中的固定式监控摄像头无法做到全场覆盖，许多危险源均无法得到有效及时的监测、判别、定位及追踪的问题。

第一方面，本发明提供一种基于无人机的图像分析跟踪、定位系统，包括：

图像采集模块，用于对目标物体进行拍摄，将采集到的视频和图像写入缓存；

图像传输模块，用于将缓存的视频和图像传输到图像识别模块；

图像识别模块，用于对所述视频和图像进行分析、识别，检测所述目标物体是否处于运动状态；

跟踪控制模块，用于在所述目标物体处于运动状态的情况下，根据所述目标物体的运动轨迹，控制无人机运动，通过图像采集模块跟踪所述目标物体，保证目标物体始终在所述图像采集模块的视野中央；

定位模块，用于根据所述目标物体的像素坐标，结合GPS及北斗系统，对所述目标物体进行定位；

人机接口模块，用于将所述目标物体的跟踪及定位信息传送至客户端。

结合第一方面，在第一方面的第一种可实现方式中，所述图像采集模块为无人机搭载的云台摄像机。

结合第一方面，在第一方面的第二种可实现方式中，所述图像传输模块利用无线网或数据链将缓存的视频图像传输到图像识别模块。

结合第一方面，在第一方面的第三种可实现方式中，所述图像识别模块，用于按照以下方式对所述视频图像进行分析、识别，检测所述目标物体是否处于运动状态：

计算图像中目标物体所对应的像素点的灰度值；

将视频中连续两帧图像的灰度值进行相减运算得到差值；

判断所述差值是否大于预设阈值；

如果所述差值小于或等于预设阈值，判定所述目标物体处于静止状态；

如果所述差值大于预设阈值，判定所述目标物体处于运动状态。

第二方面，本发明提供一种基于无人机的图像分析跟踪、定位方法，包括：

接收目标物体的视频和图像；

对所述视频和图像进行分析、识别，检测所述目标物体是否处于运动状态；

如果所述目标物体处于运动状态，根据所述目标物体的运动轨迹，控制无人机运动，通过图像采集模块跟踪所述目标物体，保证目标物体始终在所述图像采集模块的视野中央；

根据所述目标物体的像素坐标，结合GPS及北斗系统，对所述目标物体进行定位；

将所述目标物体的跟踪及定位信息传送至客户端。

结合第二方面，在第二方面的第一种可实现方式中，接收目标物体的视频和图像的步骤中，所述目标物体的视频和图像由无人机搭载的云台摄像机采集。

结合第二方面，在第二方面的第二种可实现方式中，接收目标物体的视频和图像的步骤中，利用无线网或数据链接收目标物体的视频和图像。

结合第二方面，在第二方面的第三种可实现方式中，对所述视频和图像进行分析、识别，检测所述目标物体是否处于运动状态包括：

计算图像中目标物体所对应的像素点的灰度值；

将视频中连续两帧图像的灰度值进行相减运算得到差值；

判断所述差值是否大于预设阈值；

如果所述差值小于或等于预设阈值，判定所述目标物体处于静止状态；

如果所述差值大于预设阈值，判定所述目标物体处于运动状态。

由以上技术方案可知，本发明的基于无人机的图像分析跟踪、定位系统及方法，可通过图像采集模块对目标物体进行拍摄，将采集到的视频和图像写入缓存，通过图像传输模块将缓存的视频和图像传输到图像识别模块，通过图像识别模块对视频和图像进行分析、识别，检测目标物体是否处于运动状态，通过跟踪控制模块在目标物体处于运动状态的情况下，根据目标物体的运动轨迹，控制无人机运动，通过图像采集模块跟踪目标物体，保证目标物体始终在图像采集模块的视野中央，通过定位模块根据目标物体的像素坐标，结合GPS及北斗系统，对目标物体进行定位，通过人机接口模块将目标物体的跟踪及定位信息传送至客户端。本发明在实现对电力设备特征目标的图像分析跟踪、定位过程中，结合了无人机的实时性、鲁棒性的特点，并对传统图像处理方法加以改进以提升处理速度并能有效适应各种复杂背景情况。此外，利用先进的图像的阈值分割方法，根据跟踪、定位实际的应用环境特征，降低了干扰目标的影响。本发明的推广应用将为电力系统运维提供重要的技术支撑，提供更加智能、更加安全的危险源预判方式。及时掌握目标物体对电力设备安全稳定运行的影响。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于无人机的图像分析跟踪、定位系统的组成示意图。

图2为本发明提供的基于无人机的图像分析跟踪、定位系统所采用的Zedboard核心板资源图。

图3为本发明提供的基于无人机的图像分析跟踪、定位方法的流程图。

图4为本发明提供的基于无人机的图像分析跟踪、定位方法的实施例的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。

请参阅图1，本发明提供一种基于无人机的图像分析跟踪、定位系统，包括：图像采集模块1、图像传输模块2、图像识别模块3、跟踪控制模块4、定位模块5、人机接口模块6。该系统将无人机及图像分析跟踪、定位技术相结合，及时掌握目标物体对电力设备安全稳定运行的影响，以及对危险源的定位、实时跟踪及危险预判。

其中，图像采集模块1用于对目标物体进行拍摄，将采集到的视频和图像写入缓存。图像传输模块2用于将缓存的视频和图像传输到图像识别模块。图像识别模块3用于对所述视频和图像进行分析、识别，检测所述目标物体是否处于运动状态。跟踪控制模块4用于在所述目标物体处于运动状态的情况下，根据所述目标物体的运动轨迹，控制无人机运动，通过图像采集模块跟踪所述目标物体，保证目标物体始终在所述图像采集模块的视野中央。定位模块5用于根据所述目标物体的像素坐标，结合GPS及北斗系统，对所述目标物体进行定位。人机接口模块6用于将所述目标物体的跟踪及定位信息传送至客户端。

在本实施例中，所述图像采集模块1可以是无人机100搭载的云台摄像机。所述图像传输模块2可利用无线网或数据链将缓存的视频图像传输到图像识别模块3。人机接口模块6具体可以传输至电脑端或者智能手机端app。

在本实施例中，无人机100在飞行的情况下，当云台摄像机视野中出现正在运动的目标物体时，该物体就和背景像素之间产生了相对不同的运动情况。当系统圈定需要跟踪的目标对象后，将对目标对象进行坐标信息的圈定，并反馈给无人机的飞控单元，飞控单元将控制无人机的移动，使得圈定的目标对象位于云台摄像机视野中央，并通过无人机完成的目标物体的拍摄后，通过无线网络或数据链方式将相关视频或图像信息传输至跟踪控制模块。

由于风电场、光伏电站等重要电力设施基本的背景均处于固定场景下，因此，本发明主要采取帧差法的算法来剥离目标物体。所述图像识别模块3可以按照以下方式对所述视频图像进行分析、识别，检测所述目标物体是否处于运动状态：首先，计算图像中目标物体所对应的像素点的灰度值，然后将视频中连续两帧图像的灰度值进行相减运算得到差值，判断所述差值是否大于预设阈值，如果所述差值小于或等于预设阈值，判定所述目标物体处于静止状态，如果所述差值大于预设阈值，判定所述目标物体处于运动状态。将全部像素计算完毕后则可以得到运动目标在图像中的位置。这种方法原理简单且稳定性好。

通过将目标物体的图片分解成一帧一帧的图片，根据实际情况选择合适帧传到图像识别模块3进行图像分析，将后一帧的图像和前一帧的图像进行对比，并且利用自动学习场景的细微变化，从而建立并维护一个实时更新的背景环境，这个背景环境会根据环境的细微变化而变化。再将背景以外的物体从中剥离，从而形成画面上的物体。由于每样目标物体可以从背景中剥离，并可给出目标物体在画面中相应的像素坐标，结合无人机获取的GPS或北斗位置，便可以根据其坐标位置进行跟踪及定位处理。

如图2所示，本发明具体可采用Zedboard核心板，上面搭载了Zynq-7010作为核心处理器。Zedboard通过串口UART连接，完成跟踪控制信号的传输。Zedboard以Zynq-7010为核心处理器包含了所需的各种接口及外设资源。为了扩展Zynq-7010的存储器，板上还集成了两片521M的SDRAM颗粒用作缓存，两片存储器构成32-Bit宽度。

本发明提供的基于无人机的图像分析跟踪、定位系统，主要是利用无人机搭载的云台摄像机作为视觉传感器，获取摄像机视野内的图像信息。然后将图像信息数据传输至系统中的嵌入式处理单元中，通过核心算法进行实时运算、分析，识别出需要跟踪的目标物体，进而控制无人机运动，保证目标物体始终在无人机搭载的云台摄像机视野内的合适位置，并通过GPS或北斗系统将目标物体的实时位置进行定位，从而实现跟踪及定位的功能。

如图3所示，本发明还提供一种基于无人机的图像分析跟踪、定位方法，该方法的执行主体可以是处理器，该方法包括如下步骤：

步骤S301，接收目标物体的视频和图像。

具体地，可利用无人机加载的高清云台摄像机对目标物体进行采集视频或图像，并通过无线网或数据链接等无线技术将相关视频或图像信息传输至系统中。可将目标物体的采集视频图像进行解压缩，之后将相关图像按跟踪定位系统的需求进行分解。根据系统对格式的要求，将分解后图片进行格式转换。

步骤S302，对所述视频和图像进行分析、识别，检测所述目标物体是否处于运动状态。

具体地，可根据图片信息，将目标物体的图片分解成一帧一帧的图片，之后从这些图片中按一定的规律或按随机的方式抽取，针对多帧图片进行分析。将同一目标物体图片的前一帧和后一帧图片进行对比分析，利用系统算法，机器进行自学习，并不断的实时更新目标物体所处的背景环境，从不同的背景环境中剥离出目标物体。

步骤S303，如果所述目标物体处于运动状态，根据所述目标物体的运动轨迹，控制无人机运动，通过图像采集模块跟踪所述目标物体，保证目标物体始终在所述图像采集模块的视野中央。

步骤S304，根据所述目标物体的像素坐标，结合GPS及北斗系统，对所述目标物体进行定位。

步骤S305，将所述目标物体的跟踪及定位信息传送至客户端。

如图4所示，在本实施例中，对所述视频和图像进行分析、识别，检测所述目标物体是否处于运动状态可以包括：

步骤S401，计算图像中目标物体所对应的像素点的灰度值。

步骤S402，将视频中连续两帧图像的灰度值进行相减运算得到差值。

步骤S403，判断所述差值是否大于预设阈值。

步骤S404，如果所述差值小于或等于预设阈值，判定所述目标物体处于静止状态。

步骤S405，如果所述差值大于预设阈值，判定所述目标物体处于运动状态。

该方法通过无人机搭载的高清摄像机来采集视频及图像，将采集回来的影像信息进行解压缩、分解、格式转换，将前一帧及后一帧图像进行对比，利用自我学习功能，实时更新场景环境，在不同的场景中抽离目标物体、从而对目标物体进行分析跟踪、定位。实现方便、及时的掌握运动目标物体的活动情况，保证重要电力设备的安全稳定运行。

本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于无人机的图像分析跟踪、定位方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。