无人机数据传输方法、装置和系统

技术领域

本申请涉及无人机技术领域，尤其涉及无人机数据传输方法、装置和系统。

背景技术

目前，无人机的应用场景日益广泛，例如对大区域内人员或动物等进行搜寻，这也就对无人机数据传输的实时性和可靠性提出了新的挑战。现有技术中的无人机数据传输方式较为单一，存在容易失去连接、实时性差等缺点，需要解决。

发明内容

本申请实施例提供了无人机数据传输方法、装置和系统，以提高无人机数据传输的可靠性和实时性。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种无人机数据传输装置，应用于无人机数据传输系统中的无人机子系统，无人机数据传输系统还包括云端子系统和地面站子系统；无人机数据传输装置包括：转接通信单元，用于与云端子系统进行转接通信连接；直连通信单元，用于与地面站子系统进行直连通信连接；中控单元，用于根据原始图像数据生成直连视频和转接视频，使地面站子系统通过直连通信连接获取直连视频，以及通过转接通信连接向云端子系统发送转接视频。

第二方面，本申请实施例提供一种无人机数据传输方法，由无人机数据传输系统中的无人机子系统执行，无人机数据传输系统还包括云端子系统和地面站子系统；无人机数据传输方法包括：与云端子系统进行转接通信连接；与地面站子系统进行直连通信连接；根据原始图像数据生成直连视频和转接视频，使地面站子系统通过直连通信连接获取直连视频，以及通过转接通信连接向云端子系统发送转接视频。

第三方面，本申请实施例提供一种无人机数据传输装置，应用于无人机数据传输系统中的地面站子系统，无人机数据传输系统还包括云端子系统和无人机子系统；无人机数据传输装置包括：转接通信单元，用于与云端子系统进行转接通信连接；直连通信单元，用于与地面站子系统进行直连通信连接；控制单元，用于在直连通信连接可用的情况下，通过直连通信连接从无人机子系统获取直连视频；在直连通信连接不可用的情况下，通过转接通信连接从云端子系统获取转接视频。

第四方面，本申请实施例提供一种无人机数据传输方法，由无人机数据传输系统中的地面站子系统执行，无人机数据传输系统还包括云端子系统和无人机子系统；无人机数据传输方法包括：与云端子系统进行转接通信连接；与地面站子系统进行直连通信连接；在直连通信连接可用的情况下，通过直连通信连接从无人机子系统获取直连视频；在直连通信连接不可用的情况下，通过转接通信连接从云端子系统获取转接视频。

第五方面，本申请实施例提供一种无人机数据传输系统，包括无人机子系统、地面站子系统和云端子系统，无人机子系统中部署有无人机数据传输装置，地面站子系统中部署有无人机数据传输装置；云端子系统，用于与无人机子系统进行第一转接通信连接，以及与地面站子系统进行第二转接通信连接；通过第一转接通信连接，接收无人机子系统发送的转接视频，以及通过第二转接通信连接，使地面站子系统获取转接视频。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：利用云端子系统实现了无人机、云端、地面站三方交互的无人机数据传输系统，在无人机子系统与地面站子系统之间直连通信连接稳定的情况下可以实现较高质量的数据传输，而一旦发生直连通信连接断开等情况，可以迅速地通过云端子系统实现数据传输的转接，从而确保了数据传输的实时性和可靠性，大幅提升了无人机操作的安全性，为搜救等环境条件较恶劣的无人机应用场景提供了保障。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请一个实施例的无人机数据传输系统的结构示意图；

图2示出了根据本申请一个实施例的无人机数据传输装置的结构示意图；

图3示出了根据本申请一个实施例的另一种无人机数据传输装置的结构示意图；

图4示出了根据本申请一个实施例的无人机数据传输方法的流程示意图；

图5示出了根据本申请一个实施例的另一种无人机数据传输方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的技术构思在于，在无人机数据传输方案中增加了网络冗余设计，使得无人机子系统可以通过一条直连通信链路以及一条通过云端子系统的转接通信链路实现与地面站子系统之间的数据交互。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1示出了根据本申请一个实施例的无人机数据传输系统的结构示意图。如图1所示，无人机数据传输系统100包括无人机子系统110，地面站子系统120以及云端子系统130。

云端子系统130与无人机子系统110之间通过第一转接通信连接进行数据传输，云端子系统130与地面站子系统120之间通过第二转接通信连接进行数据传输。具体地，传输的数据可以是无人机子系统生成的视频、无人机飞控单元产生的飞控数据、地面站子系统产生的操控数据等。在本申请中，将通过转接通信连接传输的视频称为转接视频。

无人机子系统110与地面站子系统之间还可以通过直连通信连接进行数据传输，传输的数据也可以包括无人机子系统生成的视频、无人机飞控单元产生的飞控数据、地面站子系统产生的操控数据等。

直连通信连接与转接通信连接所采用的通信方式可以不同，例如，直连通信连接可以是2.4GHz无线通信，转接通信连接可以是4G蜂窝通信等。在通信方式不同的情况下，通过直连通信连接与转接通信连接所传输的数据格式可以相同也可以不同，例如，可以利用2.4GHz无线通信带宽更高的优势，传输码率更高的视频。在本申请中，将通过直连通信连接传输的视频称为直连视频。

无人机子系统110可以针对同一场景拍摄的图像，通过预定格式的压缩编码，如H.264硬件压缩编码的方式，分别地生成直连视频和转接视频。当然，如果直连通信连接与转接通信连接所传输的数据格式相同，那么也可以通过一次编码生成一路视频，将该路视频通过两种通信连接分别进行传输，从而形成直连视频与转接视频。

下面，将以若干个实施例的方式，对无人机子系统110和地面站子系统120的工作方式加以介绍，具体来说，无人机子系统110和地面站子系统120中可以分别部署有无人机数据传输装置200和无人机数据传输装置300。需要说明的是无人机数据传输装置200和无人机数据传输装置300并不相同。

图2示出了根据本申请一个实施例的无人机数据传输装置的结构示意图。该无人机数据传输装置200应用于无人机子系统110。如图2所示，无人机数据传输装置200包括：

转接通信单元210，用于与云端子系统130进行转接通信连接。

直连通信单元220，用于与地面站子系统120进行直连通信连接。

中控单元230，用于根据原始图像数据生成直连视频和转接视频，使地面站子系统120通过直连通信连接获取直连视频，以及通过转接通信连接向云端子系统130发送转接视频。

其中，直连视频可以是响应于地面站子系统的需求而传输的，即被动传输；而转接视频则是主动向云端子系统发送的，这样设计的原因是，通信连接的断开可能是突然出现的，如果等到需要转接时再发送视频，等于增大了时延，因此转接视频是主动发送的。而由于直连通信连接不需要经过第三方，就可以由地面站子系统主动按需获取。

可见，图2所示的装置，通过分别与云端子系统和地面站子系统进行通信连接，使得直连通信连接异常的情况下，地面站子系统可以从云端子系统获取到转接视频，从而保证了对无人机拍摄的现场状况的了解，确保了数据传输的可靠性和实时性。

在一些实施例中，中控单元230，用于通过多媒体接口获取无人机相机采集的原始图像数据，将原始图像数据按照预定编码格式进行两路压缩编码，得到一路直连视频和一路转接视频，转接视频的码率低于直连视频的码率；中控单元与转接通信单元210通过通用串行总线连接，与直连通信单元220通过网口连接；转接通信连接具体为蜂窝通信连接，直连通信连接具体为无线通信连接。

具体地，中控单元230可以基于嵌入式计算机，如英伟达公司的TX2设备来实现，使用的操作系统可以是Ubuntu等。通过HDMI(High Definition Multimedia Interface，高清多媒体接口)等多媒体接口与无人机的云台相机等图像源连接，可以得到原始图像数据。

进一步地，对原始图像数据，可以通过H.264等预定编码格式，进行两路压缩编码，得到一路直连视频和一路转接视频。如前实施例所述，在不区分数据格式的场景下，也可以进行一路压缩编码，仅将得到的视频通过两个不同的通信连接进行分别传输即可；在区分数据格式的场景下，则需要进行两路压缩编码。例如，直连视频为1080P、4Mbs码率，转接视频为480P、1Mbs码率，转接视频的码率低于直连视频的码率，从而与转接通信连接的带宽相适应。

转接通信单元210可以通过蜂窝通信模块等实现，中控单元230通过USB连接蜂窝通信模块，通过其中的SIM(Subscriber Identity Module，用户身份模块)卡实现4G-LTE(4th Generation-Long Term Evolution，第四代长期演进技术)等模式的蜂窝通信连接，连接Internet公网后连接到云端子系统，形成转接通信连接。

直连通信单元220可以通过2.4GHz无线通信模块等实现，在一个具体实施例中可选型为LC6500，它是联芯自主研发的一套远距离无线标准模块。中控单元230通过以太网口(ethernet)连接2.4GHz无线通信模块，通过对以太网口设置静态IP(如192.168.1.102)等方式实现无线通信连接作为直连通信连接。

在一些实施例中，中控单元230，用于将直连视频写入直连缓存，根据直连缓存搭建直连视频流服务；通过直连通信连接响应地面站子系统120对直连视频流服务地址的访问，将直连视频返回给地面站子系统120。

具体地，直连视频流服务可以通过RTSP(Real Time Streaming Protocol，实时视频流服务)来实现。参考前述实施例，得到一路直连视频写入直连缓存(buffer)，例如buffer1，然后基于buffer1中的视频流搭建RTSP本地服务器。

在一些实施例中，云端子系统130中也可以搭建有RTSP本地服务器(这里的本地则是云端本地)。中控单元230，用于将转接视频写入转接缓存，通过转接通信连接将转接缓存中的转接视频推流至云端子系统130中的转接视频流服务。

如何搭建RTSP本地服务器的细节，可以参考现有技术实现，本申请对此不做限制，例如，可以采用Gstreamer框架搭建，Gstreamer是一个流媒体框架，可以用来构建流媒体服务器。

地面站子系统120可以通过访问转接视频流服务地址以获取转接视频，或者通过访问直连视频流服务地址以获取直连视频。

在一些实施例中，无人机数据传输装置还包括：飞控单元(图未示出)，用于通过输入输出接口，向中控单元230发送飞控数据，以及接收中控单元230发送的操控数据；中控单元230，用于通过直连通信连接，接收地面站子系统120发送的操控数据，向地面站子系统120发送飞控数据；以及，通过转接通信连接，接收云端子系统130发送的操控数据，以及向云端子系统130发送飞控数据。

飞控单元是负责对无人机进行飞行控制的单元，会产生无人机姿态等飞控数据，而地面站子系统可以对无人机下达停止、加速等操控指令，形成操控数据。因此地面站子系统120与无人机子系统110之间还存在着飞控数据与操控数据的交互需求。

具体地，飞控数据与操控数据均可以是基于Mavlink协议得到的Mavlink数据包。飞控单元与中控单元之间可以通过GPIO(General-purpose input/output，通用输入输出)串口进行飞控数据与操控数据的传输。

图3示出了根据本申请一个实施例的另一种无人机数据传输装置的结构示意图，该无人机数据传输装置300应用于地面站子系统120。如图3所示，无人机数据传输装置300包括：

转接通信单元310，用于与云端子系统进行转接通信连接。

直连通信单元320，用于与地面站子系统进行直连通信连接。

控制单元330，用于在直连通信连接可用的情况下，通过直连通信连接从无人机子系统110获取直连视频；在直连通信连接不可用的情况下，通过转接通信连接从云端子系统120获取转接视频。

与无人机数据传输装置200相类似的是，无人机数据传输装置300也包含了两个通信单元，分别实现转接通信连接与直连通信连接，但不同的是，控制单元在同一时刻仅通过二选一的方式来获取传输的数据。并且，两个通信连接有优先级之分，在直连通信连接可用的情况下，仅通过直连通信连接从无人机子系统获取直连视频，即直连通信连接的优先级更高。在直连通信连接不可用的情况下，才通过转接通信连接从云端子系统120获取转接视频。而且，在非信号异常等特殊情况下，两个通信连接均保持，也就是说，即使直连通信连接可用，转接通信连接也会一直维持，仅是不进行数据传输。

控制单元330可以具体通过高通msm8996平台实现，选用安卓(Android)处理系统。控制单元330还可播放获取到的直连视频或转接视频，具体的解码播放过程可以参考现有技术，在此不进行详细说明。

在一些实施例中，转接视频的码率低于直连视频的码率；控制单元330与转接通信单元310通过通用串行总线连接，转接通信连接具体为蜂窝通信连接；或者，控制单元330与转接通信单元310通过网口连接，转接通信连接具体为有线通信连接。

控制单元330与直连通信单元320通过网口连接，直连通信连接具体为无线通信连接。

控制单元330与直连通信单元320通过网口连接，以及控制单元330与转接通信单元310通过通用串行总线连接的方式，可以参考无人机数据传输装置200中的设置，在此不再赘述。考虑到地面站子系统与无人机子系统不同，地面站子系统还可能通过光纤等方式实现有线通信连接，则控制单元330与转接通信单元310也可以通过以太网口连接，通过连接到Internet公网后再连接到云端子系统，实现转接通信连接。

在一些实施例中，控制单元330，用于在直连通信连接可用的情况下，通过直连通信连接访问无人机子系统110的直连视频流服务地址以获取直连视频；在直连通信连接不可用的情况下，通过转接通信连接访问云端子系统130的转接视频流服务地址以获取转接视频。在这些实施例中，无人机子系统110和云端子系统130可以参照前述实施例，分别搭建有RTSP本地服务器。

在一些实施例中，控制单元330，还用于在直连通信连接可用的情况下，通过直连通信连接接收无人机子系统110发送的飞控数据，以及向无人机子系统110发送操控数据；在直连通信连接不可用的情况下，通过转接通信连接，向云端子系统130发送转发指令和操控数据，以及接收云端子系统130发送的飞控数据；在直连通信连接恢复可用的情况下，通过转接通信连接，向云端子系统130发送停止转发指令。

如前所述，地面站子系统与无人机子系统之间存在飞控数据与操控数据的交互需求。在直连通信连接可用的情况下，则通过直连通信连接之间进行交互。如果一旦发生异常，直连通信连接不可用，参考前述实施例可知，云端子系统实际上是存储有本应通过直连通信连接发送的飞控数据的，那么地面站子系统就可以通过转接通信连接，获取到这些飞控数据，具体只需要发送转发指令给云端子系统即可。

另外，还可以将原本需要通过直连通信连接发送的操控数据也通过转接通信连接发送给云端子系统，使云端子系统转发给无人机子系统。

在直连通信连接恢复后，还可以继续使用直连通信连接，此时不需要通过转接通信连接进行数据交互，则向云端子系统发送停止转发指令，云端子系统就不会再将飞控数据进行下发。

下面以几个实施例对云端子系统130进行介绍。

在一些实施例中，云端子系统130，用于与无人机子系统进行第一转接通信连接，以及与地面站子系统进行第二转接通信连接；通过第一转接通信连接，接收无人机子系统发送的转接视频，以及通过第二转接通信连接，使地面站子系统获取转接视频。

通过这些实施例可以起到视频中转的作用。具体地，云端子系统130，用于搭建转接视频流服务，通过第一转接通信连接，接收无人机子系统推流至转接视频流服务的转接视频，以及通过第二转接通信连接，响应地面站子系统对转接视频流服务地址的访问，将转接视频返回给地面站子系统。转接视频流服务可以是通过RTSP方式搭建的RTSP服务器，在此不再赘述。

在一些实施例中，云端子系统130，还用于根据地面站子系统的指令确定转发状态，以及通过第一转接通信连接接收无人机子系统发送的飞控数据；在转发状态为无需转发的情况下，将接收到的飞控数据进行丢弃；在转发状态为需要转发的情况下，通过第二转接通信连接将接收到的飞控数据发送给地面站子系统。

例如，如果没有接收到地面站子系统的任何指令，则初始的转发状态为无需转发，将接收到的飞控数据进行丢弃即可。这里需要说明，转接视频的RTSP方式可以缓存一定容量的视频并根据后续的新视频进行覆盖，则不需要进行额外的丢弃处理。

在一些实施例中，云端子系统130，用于通过第二转接通信连接，接收地面站子系统发送的转发指令和操控数据，根据转发指令确定转发状态为需要转发；在转发状态为需要转发的情况下，将操控数据通过第一转接通信连接发送给无人机子系统；以及用于通过第二转接通信连接，接收地面站子系统发送的停止转发指令，根据停止转发指令确定转发状态为无需转发。也就是说，可以通过转发指令和停止转发指令，相应地更改转发状态。

具体地，在一些实施例中，云端子系统130，用于通过数据接收线程，接收飞控数据并将飞控数据写入第一先进先出存储器，接收操控数据并将操控数据写入第二先进先出存储器；以及用于通过数据发送线程，读取第一先进先出存储器中的飞控数据并转发给地面站子系统，读取第二先进先出存储器中的操控数据并转发给无人机子系统。

云端子系统可以设置多线程的Mavlink数据的转发服务器，通过两个FIFO(FirstIn First Out，先进先出)存储器分别存储接收到的数据，如FIFO1的作用是接收无人机子系统发送的飞控数据，FIFO2的作用是接收地面站子系统发送的操控数据。具体地，可以通过一个数据接收线程来实现上述数据接收和存储的功能。

类似地，可以通过一个数据发送线程来实现数据读取和发送的功能。

例如，数据接收线程始终接收无人机子系统的飞控数据，将其写入FIFO1的buffer，正常情况下，FIFO1的buffer数据不转发，进行丢弃处理。在收到地面站子系统的转发指令后，数据发送线程就从FIFO1的buffer读取数据并向地面站转发Mavlink数据包。同时，数据接收线程开始接收地面站子系统的Mavlink数据包，并写入到FIFO2的buffer，然后由数据发送线程读取FIFO2并转发给无人机子系统。

能够理解，虽然图1中示出的无人机子系统包含了无线通信模块、4G网络模块等对直连通信单元、转接通信单元等具体实现示例，但实际应用中也可以选用其他方式实现，如5G网络模块等，不应理解为对本申请技术方案的狭义限制。

基于同样的发明构思，本申请实施例还提供了一种无人机数据传输方法，由无人机子系统执行。图4示出了根据本申请一个实施例的无人机数据传输方法的流程示意图。如图4所示，无人机数据传输方法包括：

步骤S410，与云端子系统进行转接通信连接。

步骤S420，与地面站子系统进行直连通信连接。

步骤S430，根据原始图像数据生成直连视频和转接视频，使地面站子系统通过直连通信连接获取直连视频，以及通过转接通信连接向云端子系统发送转接视频。

在一些实施例中，根据原始图像数据生成直连视频和转接视频包括：通过多媒体接口获取无人机相机采集的原始图像数据，将所述原始图像数据按照预定编码格式进行两路压缩编码，得到一路直连视频和一路转接视频，所述转接视频的码率低于所述直连视频的码率；所述转接通信连接具体为蜂窝通信连接，所述直连通信连接具体为无线通信连接。

在一些实施例中，使地面站子系统通过直连通信连接获取直连视频包括：将所述直连视频写入直连缓存，根据所述直连缓存搭建直连视频流服务；通过所述直连通信连接响应所述地面站子系统对直连视频流服务地址的访问，将所述直连视频返回给所述地面站子系统。

在一些实施例中，通过转接通信连接向云端子系统发送转接视频包括：将所述转接视频写入转接缓存，通过所述转接通信连接将所述转接缓存中的转接视频推流至所述云端子系统中的转接视频流服务。

在一些实施例中，无人机数据传输方法还包括：通过所述直连通信连接，接收所述地面站子系统发送的操控数据，向所述地面站子系统发送飞控数据；以及，通过所述转接通信连接，接收所述云端子系统发送的操控数据，以及向所述云端子系统发送飞控数据。

本申请实施例还提供了一种无人机数据传输方法，由地面站子系统执行。图5示出了根据本申请一个实施例的另一种无人机数据传输方法的流程示意图。如图5所示，无人机数据传输方法包括：

步骤S510，与云端子系统进行转接通信连接。

步骤S520，与无人机子系统进行直连通信连接。

步骤S530，在直连通信连接可用的情况下，通过直连通信连接从无人机子系统获取直连视频；在直连通信连接不可用的情况下，通过转接通信连接从云端子系统获取转接视频。

在一些实施例中，所述转接视频的码率低于所述直连视频的码率；所述转接通信连接具体为蜂窝通信连接或有线通信连接；所述直连通信连接具体为无线通信连接。

在一些实施例中，在直连通信连接可用的情况下，通过直连通信连接从无人机子系统获取直连视频；在直连通信连接不可用的情况下，通过转接通信连接从云端子系统获取转接视频包括：在所述直连通信连接可用的情况下，通过所述直连通信连接访问无人机子系统的直连视频流服务地址以获取直连视频；在所述直连通信连接不可用的情况下，通过所述转接通信连接访问云端子系统的转接视频流服务地址以获取转接视频。

在一些实施例中，无人机数据传输方法还包括：在所述直连通信连接可用的情况下，通过所述直连通信连接接收所述无人机子系统发送的飞控数据，以及向所述无人机子系统发送操控数据；在所述直连通信连接不可用的情况下，通过所述转接通信连接，向所述云端子系统发送转发指令和操控数据，以及接收所述云端子系统发送的飞控数据；在所述直连通信连接恢复可用的情况下，通过所述转接通信连接，向所述云端子系统发送停止转发指令。

能够理解，上述无人机数据传输装置的相关阐释均适用于无人机数据传输方法，此处不再赘述。

综上所述，本申请技术方案的有益效果在于：

1.无人机子系统可以根据原始图像数据，编码生成两路不同视频给2.4GHz网络和4G网络，适应不同带宽的网络情况，极大提高了视频传输的实时性能。

2.云端子系统可以通过4G网络视频推流输入搭建RTSP服务器，由地面站根据网络情况请求控制播放；可以通过转发服务器，接收无人机子系统的Mavlink数据包，再根据收到地面站子系统的指令，云端子系统决定是否通过转发Mavlink数据包。通过地面站子系统控制地使用网络冗余设计，改善了用户体验。

3.地面站子系统可以通过2.4GHz网络和4G网络(也可以是有线网络)的融合设计，与无人机保持2路网络连接，2.4GHz网络优先级高于4G网络，当2.4GHz网络信号中断，数据路由选择4G网络，根据实际网络情况数据传输路径，提升了无人机操控的可靠性。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。