基于异地监视的无人机森林防火监视系统

技术领域

本申请涉及智能安防工程技术领域，尤其涉及基于异地监视的无人机森林防火系统。

背景技术

我国目前的无人机的通信方式主要有两种，一种是依靠数据链进行通信，一种是依靠4G移动信号进行通信。依靠4G移动信号进行通信的有点是可以通过移动信号对无人机的位置及拍摄的图像信息进行异地远程同步监视，但是4G信号传输不稳定，无人机的飞行高度过高会失去4G信号，且传输数据的安全性无法保证，在涉及到国土航测、国土资源详查等工业领域，4G移动信号通信不经常被使用。依靠数据链进行通信的优点是传输稳定、安全性强，能保证无人机在数据链的可通信范围内持续稳定的向地面站传输无人机的位置及拍摄图像信息，但仅限于地面站人员进行观看和监视，不具备向其他相关业务人员提供远程异地同步监视的能力。在森林防火监控方面，大多还是以人工巡查和瞭望塔检测为主。人工检测的成本较低，但费时费力，并且检测的范围非常有限；瞭望塔检测比人工检测的范围大，但检测的质量不如人工检测的质量高，瞭望只能够发现大面的火灾情况。

瞭望塔目前采用的多是红外检测仪与摄像仪双重监测，对于距离较远的地方，也容易发生误判，对于人为燃火的误判防止也是目前森林监测系统最大的难题。如何将航拍视频及时传输并分析是目前亟需解决的问题。

发明内容

本申请实施例通过提供一种基于异地监视的无人机森林防火监视系统，解决了现有技术中林区移动信号覆盖不全面、移动通信不稳定，数据不能实时传输回服务器和指挥大厅，导致不能及时对数据进行技术处理的问题，实现了数据的实时接收与处理，并且能够替代人工对人力不便的区域进行深度巡查，通过数据链进行无人机与地面站之间的可靠稳定通信，将日常巡检的结果实时传输至数据监控大厅，并通过基于神经网络的火灾模型进行同步图像处理，为林区值班人员提供实时可靠的林区信息。

本发明实施例提供了一种基于异地监视的无人机森林防火监视系统，其特征在于，包括无人机、地面站、航迹转换装置、视频采集装置、视频服务器和数据服务器；

所述无人机通过数据链信号连接于所述地面站，所述无人机被配置为将自身的姿态信号和采集的视频信号发送至所述地面站；

所述航迹转换装置和所述视频采集装置均与所述地面站连接，所述地面站被配置为将所述姿态信号转发至所述航迹转换装置4，并将所述视频信号转发至所述视频采集装置；

所述视频采集装置与所述视频服务器连接，所述视频采集装置被配置为将所述视频信号转为视频数字信号，并将所述视频数字信号传递至所述视频服务器；

所述视频服务器被配置为配置HLS、RTMP的视频直播方式；

所述航迹转换装置被配置为解析所述姿态信号获得航迹数据，并将所述航迹数据发送至数据服务器；

所述数据服务器被配置为将所述航迹数据追加到目标任务的航迹记录中，以使地理信息系统地图显示所述无人机的姿态。

在一种可能的实现方式中，所述视频服务器与所述数据服务器连接；

所述视频服务器还被配置为将HLS视频映射至所述数据服务器。

在一种可能的实现方式中，所述数据服务器内配置有火灾检测模型，所述火灾检测模型用于处理视频图像和识别火情。

在一种可能的实现方式中，所述火灾检测模型包括特征提取网络和分类器。

在一种可能的实现方式中，所述特征提取网络包括Darknet-53网络，所述分类器包括YOLOv3分类器。

在一种可能的实现方式中，所述视频采集装置包括视频采集卡和个人计算机；

所述视频采集卡安装于所述个人电脑，所述采集卡被配置为接收所述地面站发送来的所述视频信号，并将所述视频信号转为所述视频数字信号；

所述个人电脑将与所述视频服务器连接，并被配置为将所述视频数字信号传递至所述视频服务器。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明实施例通过采用了一种基于异地监视的无人机森林防火监视系统，其特征在于，包括无人机、地面站、航迹转换装置、视频采集装置、视频服务器和数据服务器；无人机通过数据链信号连接于地面站，无人机被配置为将自身的姿态信号和采集的视频信号发送至地面站；航迹转换装置和视频采集装置均与地面站连接，地面站被配置为将姿态信号转发至航迹转换装置，并将视频信号转发至视频采集装置；视频采集装置与视频服务器连接，视频采集装置被配置为将视频信号转为视频数字信号，并将视频数字信号传递至视频服务器；视频服务器被配置为配置HLS、RTMP的视频直播方式；航迹转换装置被配置为解析姿态信号获得航迹数据，并将航迹数据发送至数据服务器；数据服务器被配置为将航迹数据追加到目标任务的航迹记录中，以使地理信息系统地图显示无人机的姿态，林区移动信号覆盖不全面、移动通信不稳定，数据不能实时传输回服务器和指挥大厅，导致不能及时对数据进行技术处理的问题，实现了数据的实时接收与处理，并且能够替代人工对人力不便的区域进行深度巡查，通过数据链进行无人机与地面站之间的可靠稳定通信，将日常巡检的结果实时传输至数据监控大厅，并通过基于神经网络的火灾模型进行同步图像处理，为林区值班人员提供实时可靠的林区信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于异地监视的无人机森林防火监视系统数据传输示意图；

图2为本申请实施例提供的基于异地监视的无人机森林防火监视系统视频传输流程图。

附图标记：1-无人机；2-地面站；3-视频采集装置；4-航迹转换装置；5-数据服务器；6-视频服务器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在我国90％以上面积的林区已经建立超短波通信网，基本能够满足林区日常生活中的通信需求。但是在通信盲区，发生火灾时，只能依靠人工巡检、卫星电话通信等方式对灾情进行上报，还不能实现现场视频图像的实时传输，调度指挥站无法得到确切的灾情情况，导致调度指挥站无法实现精准及时的对救援人员进行调度。目前无人机的通信方式主要有两种，一种是依靠数据链进行通信，第二种是依靠4G移动信号进行通信。依靠4G移动信号进行通信的优点是可以通过移动信号对无人机的位置以及拍摄图像信息进行异地远程同步监视，但是4G信号不稳定，无人机飞行的高度过高将接收不到4G信号，数据的传输无法保证。

基于现有技术中林区移动信号覆盖不全面、移动通信不稳定，视频数据不能实时传输回服务器和指挥大厅，导致不能及时对视频数据进行技术处理的问题，本申请提出以下的系统来解决现有技术中存在的问题。

本申请中提供了一种基于异地监视的无人机森林防火监视系统，该系统如图1所示，包括无人机1、地面站2、视频采集装置3、航迹转换装置4、数据服务器5和视频服务器6；无人机1通过数据链信号连接于地面站2，无人机1被配置为将自身的姿态信号和采集的视频信号发送至地面站2；航迹转换装置4和视频采集装置3均与地面站2连接，地面站2被配置为将姿态信号转发至航迹转换装置4，并将视频信号转发至视频采集装置3；视频采集装置3与视频服务器6连接，视频采集装置3被配置为将视频信号转为视频数字信号，并将视频数字信号传递至视频服务器6；视频服务器6被配置为配置HLS、RTMP的视频直播方式；航迹转换装置4被配置为解析姿态信号获得航迹数据，并将航迹数据发送至数据服务器5；数据服务器5被配置为将航迹数据追加到目标任务的航迹记录中，以使地理信息系统地图显示无人机1的姿态。

在本申请中将无人机1巡检起点及地面站2安置地点选择在移动通信信号稳定，光纤配备充足的地方。并且在无人机1和地面站2上配备长距离数据链进行巡检过程中的点对点通信，将数据持续不断的从无人机1发送至地面站2，航迹转换装置4和视频采集装置3从地面站1获取数据并对数据进行进一步的处理。

在本申请中，地面站2和无人机1之间通过数据链进行通信，地面站2实时获取无人机的遥测数据帧，遥测数据帧一般由五部分组成。这五部分分别是：(1)姿态角、速度、高度等；(2)机体数据，如电压、转速、温度和控制模式等。(3)GPS位置、GPS时间、距离等；(4)指令数据；(5)变长数据。其中遥测数据可以在本地地面站2直接被解读，但在远程异地监视的背景下不能直接利用。本申请提供的航迹转换装置4能够将遥测数据进行转化，使得在远程异地监视的背景下遥感数据也能够利用。

将地面站2获取的遥测数据帧通过用户数据报协议(User Datagram Protocol，UDP)发送至航迹航迹转换装置4中进行解析，解析的结果包括实现遥测数据帧的接收、读取、提取其中的经度、维度、高度、时间、航迹编号、姿态角度等任务航迹数据。

航迹航迹转换装置4将解析好的任务航迹数据，封装对应的POST请求，通过httpclient对象发送至数据服务器5的指定接口，数据服务器5接收任务航迹数据并追加到目标任务的航迹记录中，基于地理信息系统(Geographic Information System，GIS)地图显示出来供远程人员进行监视。由于无人机1是持续不断的向地面站2发送遥测数据帧，因此整个接收、解析、发送、显示的过程也是同步持续进行，实现了无人机1航迹的异地监视。

基于异地监视的无人机森林防火监视系统，视频服务器6与数据服务器5连接；视频服务器6还被配置为将HLS视频映射至数据服务器5。

在本申请中无人机1和地面站2之间通过数据链进行通信，地面站1集成的显示器可以对无人机1拍摄的视频进行实时播放，视频采集装置3接收地面站2中的模拟视频信号，对这个模拟视频信号进行采集、量化成数字信号之后，然后压缩编码成数字视频。数字视频能够被电脑识别到本地，并且可以基于实时消息传输协议被推送到视频服务器6中，在视频服务器6中，按照运营级的互联网直播服务器集群或者直播流媒体服务器配置基于HTTP的自适应码流媒体传输协议((HTTP Live Streaming，HLS)、实时消息传输协议(Real TimeMessaging Protocol，RTMP)的视频直播方式。并将HLS视频映射值数据服务器5。

如图2所示，为基于无人机巡检数据实时回传的整体流程图，无人机1将采集到的姿态信息和视频信息发送至地面站2，地面站2将姿态信息转发至视频采集装置3中，将姿态信息转发至航迹转换装置4，视频采集装置3将视频信号转换成视频数字信号，航迹转换装置4将航迹数据转发至数据服务器6中。

基于异地监视的无人机森林防火监视系统，数据服务器5内配置有火灾检测模型，火灾检测模型用于处理视频图像和识别火情。

常见的火灾监测从原理上有基于烟雾传感器和基于图像传感器两大类。主要采用的是基于视觉分析的烟雾机火焰监测算法，通过对图像中运动区域提取颜色、轮廓、文理、边缘等静态特征以及区域面积变化、闪烁特性等动态特征与建模得到的火焰特征进行比对，识别图像中得到的烟雾或者火焰信息。然而实际中受到相机角度、光照、风速等影响，采集到的火焰形状、颜色可能发生变化，导致这类算法发货所能漏检和误检的概率增加。

本申请提供的基于异地监视的无人机森林防火监视系统，火灾检测模型包括特征提取网络和分类器。

在进行特征提取时，需要有特有的特征提取神经网络来完成，后面接分类器来执行分类任务。特征提取网络包括Darknet-53网络，分类器包括YOLOv3分类器。YOLOv3通过端到端的方式训练网络，使得分类与定位过程为一体，在节约特征提取时间的同时又提升了精度，满足了目标检测的实时性需求。因此与同为分类器的SSD算法相比，YOLOv3具有更快的检测速度以及更高的识别精度，能满足森林防火快速发现、及时预警的需要。在图像特征提取方面，采用了由53个卷积层构成的Darknet-53网络架构，去掉了池化层和全连接层，通过改变卷积核的步长来实现张量的尺寸变换，并使用残差网络减小了梯度爆炸的风险，加强了网络的学习能力，将浅层信息传递到深层。

YOLOv3采用多尺度来对不同尺寸的目标进行检测，越精细的网格单元就可以检测出越精细的物体，分别利用8倍、16倍、32倍的下采样输出3种不同尺寸的特征图。其中32倍的下降采样特征图的感受野比较大，因此适合检测图像中尺寸比较大的对象；16倍的下采样具有中等尺度的感受野，适合检测中等尺度的对象；8倍下采样的特征图。它的感受野最小，适合检测小尺寸的对象。由于YOLOv3对于部分小目标的检测效果不好，通过将8倍下采样的特征图进行2倍上采样并与4倍下采样特征图进行连接新建融合检测层，新建的融合检测层通过划分成更精细的特征图，对小目标的检测效果会更好。

采用K-means聚类计算先验框的尺寸，为每种尺度的特征图设定3种先验框。通过数据集本身标注出的真实框的尺寸大小进行聚类分析，选出具有客观性、代表性的候选框。

火情检测中经常会出现火点或烟雾被绿植遮盖的情况，由于遮挡产生的检查不准确问题，在原有损失函数的基础上，增大预测框与其周围非负责标注框及相交预测框的距离，使得预测框向正确的目标靠近，远离错误的目标，降低误检率。

基于异地监视的无人机森林防火监视系统，视频采集装置3包括视频采集卡和个人计算机；视频采集卡安装于个人电脑，采集卡被配置为接收地面站2发送来的视频信号，并将视频信号转为视频数字信号；个人电脑将与视频服务器6连接，并被配置为将视频数字信号传递至视频服务器6。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。本实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照本实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本申请所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施方式采用递进的方式描述，各个实施方式之间相同或相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。本申请的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上实施例仅用以说明本申请的技术方案，而非对本申请限制；尽管参照前述实施例对本申请进行了详细的说明，本领域普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请技术方案的范围。