直播野生动物活动的无线宽带远程实时视频VR体验系统

技术领域

本发明涉及野生动物保护监测和扩展现实领域，尤其涉及一种直播野生动物活动的无线宽带远程实时视频VR体验系统。

背景技术

由于保护区无法广泛布置地面基站，在地面公网通信不畅的林区，目前已有监测系统存在信息回收周期长、人工回收存储卡工作量大等问题。此外，监控视频的画面单一，人工识别工作量大。随着VR（虚拟现实）技术的发展，VR直播技术开始兴起，VR直播是虚拟现实与直播技术的结合，是通过360度全景拍摄设备拍摄全景视频，通过网络向用户进行直播，比起传统的电视直播方式，VR直播能够让观众随自己喜好改变观看的角度，增强代入感与参与感。本发明发挥高通量无线宽带自组网通信技术优势，综合集成智能图像识别分析、全景VR视频实时拼合技术，率先建立了自然保护区野生动物监测全景VR视频直播系统。

现有技术：

公开号为CN111025969A，名称为一种基于信息融合的野生动物监测系统及方法，使用红外相机拍摄野生动物生活习性照片，并通过4G网络上传至监控端路由。公开号为CN110266664A，名称为一种基于5G与MEC的Cloud VR视频直播系统，基于运营商5G/4G无线网MEC系统实现平台层与终端层及内容层之间的数据交互。公开号为CN103561242A，名称为一种基于无线图像传感器网络的野生动物监测系统，将无线红外图像传感器节点广泛部署在野生动物活动区域或附近区域，通过近距离、低速率的ZigBee通信技术自组织方式形成网络。

现有技术存在缺陷：

1、CN111025969A无法在4G网络缺失或信号不佳环境下使用，照片也无法全面展示野生动物生活习性。

2、CN110266664A需借助运营商5G/4G无线网MEC系统，无法实现保护区内网直播，可能会导致版权泄露。

3、CN103561242A等以ZigBee为主的实时通讯技术只能传输对带宽要求低的数据（如专利中的压缩后的图像数据），而无法实时传输视频数据。

综上，现有技术方案尚未将VR视频直播融合入野生动物监测领域，无法对动物出现和活动实时监测、监控、识别、报警并记录VR全景视频，无法实时在无运营商网络覆盖或信号不畅区域进行野生动物VR直播。

发明内容

本发明的目的在于针对现有技术中的上述问题，提供一种直播野生动物活动的无线宽带远程实时视频VR体验系统，发挥高通量无线宽带自组网通信技术优势，综合集成智能物种识别分析、全景VR视频实时拼合技术。同时，本发明可直接将VR视频信号推流至内网广播系统，减少了和其他硬件的连接和测试环节，效率得到了提升，提升了网络安全性，保护了保护区的视频版权。

为实现上述目的，本发明的技术方案是：一种直播野生动物活动的无线宽带远程实时视频VR体验系统，包括至少一组视频采集设备和远程服务器；其中，

视频采集设备包括视频信号采集模块、宽带自组网模块，视频信号采集模块通过宽带自组网模块与远程服务器的宽带自组网模块进行通信；

视频信号采集模块，包括至少一个360VR野保摄像机用于采集保护区现场的若干个VR视频信号，所述VR 视频信号包括全景视频和非全景视频；同时，所述视频信号采集模块支持PIR报警录像；所述视频信号采集模块能够根据网络与用户的实际需求设置不同的编码格式，以满足低带宽的网络传输低码流的视频，同时视频采集设备又能够以高码流的图像质量进行本地磁盘录像；

视频采集设备的宽带自组网模块，用于远程控制所述视频信号采集模块及传输所述VR视频信号；

远程服务器包括宽带自组网模块、本地存储模块、沉浸式体验模块；

远程服务器的宽带自组网模块，用于实现远程服务器与视频采集设备的通信；

本地存储模块支持本地存储PIR报警录像；

沉浸式体验模块用于实时接收内网、流媒体服务器转发的三维全景视频，并快速处理视频图像还原真实的3D场景，沉浸式、交互式地实时展示；

所述远程服务器基于B/S结构编写显示终端程序，将接收到的视频存储到本地文件系统中；显示终端程序集成百度地图，根据地理经纬度信息，在地图上显示视频信号采集模块的位置；显示终端程序对于接收的视频数据，通过实时流协议获取视频流，能够在浏览器中显示不同视频信号采集模块厂家的视频数据，将视频根据不同视频信号采集模块编号分别存储，并按时间顺序分段存储到本地文件系统；显示终端程序包含智能物种识别分析模块，通过机器学习算法对视频数据进行动物出没时间和种类识别。

在本发明一实施例中，所述智能物种识别分析模块：针对特定类别动物，利用已有视频数据构建目标检测数据集，并训练基于YOLO框架的目标检测模型；然后以实时视频流作为输入，对连续多帧视频进行特定类别动物检测；当在连续多帧视频检测出特定类别动物时，触发动物出没报警事件，基于视频时间记录动物出没起始时间，同时连续存储特定类别动物检测框，基于连续检测框的最大交并比IOU生成动物活动轨迹，对动物活动轨迹进行跟踪；当连续多帧视频未检测出特定类别动物时，判定动物离开视频监控区域，并基于视频时间记录动物出没结束时间；最后，将检测结果按动物类别进行分组，同时标记每只动物身份ID，存在于本地文件系统；当再次触发动物出没报警事件时，基于当前动物类别检测结果遍历本地文件系统中当前动物类别历史数据，利用孪生网络进一步对当前出没动物进行身份匹配识别，实现对每只动物的长期出没监测。

在本发明一实施例中，所述视频采集设备还包括供电模块、野外防雷模块；供电模块，用于给宽带自组网模块和视频信号采集模块供电，所述供电模块同时支持太阳能直流供电以及交流电通过变换、降压处理成直流电供电；野外防雷模块，用于将视频信号采集模块、宽带自组网模块、供电模块采用35平方铜芯电缆直接接地，能够承受30Kw以上强冲击。

在本发明一实施例中，所述视频信号采集模块还支持休眠/全功耗模式；支持上电自动开启直播；所述视频信号采集模块还支持高通量视频、稀疏监测参数、语音的无线感知和采集。

在本发明一实施例中，视频采集设备的宽带自组网模块采用包括空分复用、空时编码、接收分集、波束成形的技术。

在本发明一实施例中，所述视频采集设备的远程服务器还包括本地存储模块，支持本地存储PIR报警录像。

在本发明一实施例中，所述系统能够通过流媒体服务器将VR视频信号分发，支持最多200台全景相机同时推流，能够实现千人多终端同时在线观看；同时，所述系统支持直播平台三大协议RTMP协议、HLS协议、FLV协议，面向PC终端、手机终端、VR头显终端以多种协议同时发布，实现多终端支持。

在本发明一实施例中，所述系统能够将所述视频信号采集模块安装在无人机上，实现高空中的VR实时直播；用户能够选择实时在线飞行的任何一架支持VR直播的无人机进行点播，选择全景体验或VR飞行。

相较于现有技术，本发明具有以下有益效果：

1、本发明设计了一种用于直播/体验野生动物活动VR视频的系统及方法。通过PIR红外识别野生动物出现和活动进行实时监测、监控、识别报警并记录VR全景视频，或在线观看自然保护地、林区VR直播，实现现场感知监测与远程VR直播深度融合。

2、本发明可直接将VR视频信号推流至内网广播系统，减少了和其他硬件的连接和测试环节，效率得到了提升，提升了网络安全性，保护了保护区的视频版权。

3、本发明通过无线宽带自组网络进行通信，在运营商网络缺失或信号不佳的环境下，可实时传输包括VR视频在内的监测信息。

4、本发明设计了智能物种识别分析算法，可自动识别视频中的动物种类。

5、本发明可支持在线/本地两种直播方式，直播方式也可扩展至无人机等其它平台。

附图说明

图1为本发明的系统总体架构图。

图2为本发明系统整体结构框图。

图3为本发明的典型应用图。

图4为本发明智能物种识别分析模块流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种直播野生动物活动的无线宽带远程实时视频VR体验系统，包括至少一组视频采集设备和远程服务器；

视频采集设备包括视频信号采集模块、宽带自组网模块、供电模块、野外防雷模块，视频信号采集模块通过宽带自组网模块与远程服务器的宽带自组网模块进行通信。

视频信号采集模块，包括至少一个360VR野保摄像机用于采集保护区现场的若干个VR视频信号，所述VR 视频信号包括全景视频和非全景视频；同时，所述信号采集模块支持PIR报警录像；支持休眠/全功耗模式；支持上电自动开启直播。可根据网络与用户的实际需求设置不同的编码格式，以满足低带宽的网络传输低码流的视频，同时设备端又能以高码流（高画质）的图像质量进行本地磁盘录像。该视频采集模块可以支持高通量视频、稀疏监测参数、语音的无线感知和采集。

宽带自组网模块，用于远程控制所述的视频信号采集模块及传输所述VR视频信号。所述的宽带自组网模块采用空分复用、空时编码、接收分集、波束成形等技术。

供电模块，用于给宽带自组网和视频信号采集系统供电。所述的供电模块同时支持太阳能直流供电以及交流电通过变换、降压处理成直流电供电。

防雷模块，所述的视频采集模块、宽带自组网模块、供电模块均采用35平方铜芯电缆直接接地，可承受30Kw以上强冲击。

远程服务器包括包括宽带自组网模块、本地存储模块、沉浸式体验模块。

所述本地存储模块支持本地存储PIR报警录像。

所述沉浸式体验模块用于实时接收内网、流媒体服务器转发的三维全景视频，并快速处理视频图像还原真实的3D场景，沉浸式、交互式地实时展示。

所述远程服务器基于B/S结构编写显示终端程序，将接收到的视频存储到本地文件系统中；显示终端程序集成百度地图，根据地理经纬度信息，在地图上显示视频采集模块的位置；显示终端程序对于接收的视频数据，通过实时流协议获取视频流，能够在浏览器中显示不同视频采集模块厂家的视频数据，将视频根据不同视频采集模块编号分别存储，并按时间顺序分段存储到本地文件系统；显示终端程序包含智能物种识别分析模块，通过机器学习算法对视频数据进行动物出没时间和种类识别。

所述的智能物种识别分析模块：针对特定类别动物，利用已有视频数据构建目标检测数据集，并训练基于YOLO框架的目标检测模型；然后以实时视频流作为输入，对连续多帧视频进行特定类别动物检测；当在连续多帧视频检测出特定类别动物时，触发动物出没报警事件，基于视频时间记录动物出没起始时间，同时连续存储特定类别动物检测框，基于连续检测框的最大交并比（IOU）生成动物活动轨迹，对动物活动轨迹进行跟踪；当连续多帧视频未检测出特定类别动物时，判定动物离开视频监控区域，并基于视频时间记录动物出没结束时间；最后，将检测结果按动物类别进行分组，同时标记每只动物身份ID，存在于本地文件系统。当再次触发动物出没报警事件时，基于当前动物类别检测结果遍历本地文件系统中当前动物类别历史数据，利用孪生网络进一步对当前出没动物进行身份匹配识别，实现对每只动物的长期出没监测。具体流程如图4所示。

在所述系统中，可通过流媒体服务器将VR视频信号分发，支持最多200台全景相机同时推流，可实现千人多终端同时在线观看。同时，本发明支持直播平台三大协议RTMP协议、HLS协议、FLV协议，面向PC终端、手机终端、VR头显终端以多种协议同时发布，实现多终端支持。

在所述系统中，可以将所述信号采集系统安装在无人机上，实现高空中的VR实时直播。用户可以选择实时在线飞行的任何一架支持VR直播的无人机进行点播，选择全景体验或VR飞行。

以下为本发明具体实施过程。

如图1所示，在信息基础设施层，本发明可以通过自组网/运营商网络进行数据传递，并辅以卫星定位系统确定所述视频信号采集模块的地理位置。在信息资源汇聚层，本发明将所述野生动物VR视频上传到野生动物监测视频数据库，并可以同步采集生态环境参数、林火监测视频等数据，与地理信息系统一起形成林区保护区资源生态大数据。在应用领域层，本发明在凸显了VR视频体验系统的同时，可集成卡口监控系统、动物保护监测系统、设施防盗系统、语音对讲系统。基于以上优势，本发明可应用于自然教育系统、旅游体验系统、资源环境生态应急系统。在交互展示与体验层，本发明主要支持VR等沉浸式体验系统。同时支持通过电视、电脑、LED大屏等终端展示。

无线宽带远程实时视频VR体验系统的整体结构框图如图2所示。本发明包括远程服务器和至少一组监测设备，其中，监测设备包括视频信号采集模块、宽带自组网模块、供电模块、防雷模块，且能够通过宽带自组网模块与远程服务器进行通信；远程服务器包括宽带自组网模块、本地存储模块、沉浸式体验模块。

接下来，通过实施例进行具体的举例讲解。

如图3所示，在典型应用场景中， 本发明将所述的视频信息采集模块放置于“无路无人无信号”的自然保护区，通过PIR红外监测动物经过并记录VR视频，或在线观看林区VR直播。通过所述的宽带自组网模块将视频信号传输回保护区管理局。使用所述的沉浸式体验模块观看VR直播或野生动物VR视频。本发明亦可通过所述的宽带自组网模块传回视频信号后，通过路由器上传至流媒体服务器，实现在线/本地两种直播方式。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。