无人机海量数据处理方法、装置和系统

技术领域

本申请实施例涉及无人机技术领域，尤其涉及一种无人机海量数据处理方法、装置和系统。

背景技术

不同于常规数据作业流程，微小型无人机采集数据影像存在像片数量多，影像倾角大、重叠度高且不规则、色彩不均匀等问题，导致原始采集数据量较大，如何快速生成测区全景影像图对数据处理技术提出了更高的要求。

当前数据处理技术大部分只是考虑单机作业处理，导致作业耗时很长，影响作业效率，且一般需要人工预处理数据，极大限制数据的自动化批处理。

发明内容

本申请实施例提供一种无人机海量数据处理方法、装置和系统，可解决无人机采集的海量数据处理速度慢、效率低的问题。

本申请实施例一方面提供了一种无人机海量数据处理方法，包括：

获取终端发送的数据处理请求，所述数据处理请求包括数据信息和节点数量，并根据所述数据信息从文件服务器获取待处理的数据；

通过控制服务器获取空闲云集群节点的信息，并根据所述节点数量，从所述空闲云集群节点确定进行数据处理的目标云集群节点；

按照预设划分规则，将所述待处理的数据划分为多个子块数据，并配置给所述目标云集群节点进行数据处理；

获取各所述目标云集群节点处理后的子结果，按照预设合并规则，将各所述子结果合并为数据处理结果，并将所述数据处理结果保存在所述文件服务器。

本申请实施例另一方面提供了一种无人机海量数据处理方法，包括：

终端将待处理数据上传文件服务器，并向管理服务器发出数据处理请求，所述数据处理请求中包括所述待处理数据的数据信息和节点数量；

所述管理服务器根据所述数据信息从所述文件服务器获取待处理的数据，并通过控制服务器获取空闲云集群节点的信息，从所述空闲云集群节点确定进行符合所述节点数量的数据处理的目标云集群节点；

按照预设划分规则，将所述待处理的数据划分为多个子块数据，并配置给所述目标云集群节点进行数据处理；

获取各所述目标云集群节点处理后的子结果，按照预设合并规则，将各所述子结果合并为数据处理结果，并将所述数据处理结果保存在所述文件服务器。

本申请实施例一方面还提供了一种无人机海量数据处理装置，包括：

获取模块，用于获取终端发送的数据处理请求，并根据所述数据处理请求中的数据信息从文件服务器获取待处理的数据；

确定模块，用于通过控制服务器获取空闲云集群节点的信息，并根据所述数据处理请求中的节点数量，从所述空闲云集群节点确定进行数据处理的目标云集群节点；

分配模块，用于按照预设划分规则，将所述待处理的数据划分为多个子块数据，并配置给所述目标云集群节点进行数据处理；

处理模块，用于获取各所述目标云集群节点处理后的子结果，按照预设合并规则，将各所述子结果合并为数据处理结果，并将所述数据处理结果保存在所述文件服务器。

本申请实施例一方面还提供了一种无人机影像数据处理系统，包括：

终端、文件服务器、管理服务器、控制服务器和云集群节点；

所述终端，用于将待处理数据上传所述文件服务器，并向所述管理服务器发出数据处理请求，所述数据处理请求中包括所述待处理数据的数据信息和节点数量；

所述管理服务器，用于根据所述数据信息从所述文件服务器获取待处理的数据，并通过所述控制服务器获取空闲云集群节点的信息，从所述空闲云集群节点确定进行符合所述节点数量的数据处理的目标云集群节点；

所述管理服务器，还用于按照预设划分规则，将所述待处理的数据划分为多个子块数据，并配置给所述目标云集群节点进行数据处理；

所述管理服务器，还用于获取各所述目标云集群节点处理后的子结果，按照预设合并规则，将各所述子结果合并为数据处理结果，并将所述数据处理结果保存在所述文件服务器。

从上述本申请各实施例可知，管理服务器根据终端的数据处理请求，将待处理的数据划分成多个子块数据发送给目标云集群节点并发处理，可提高数据处理速度，并且，管理服务器将云集群节点的数据处理状态发送给控制服务器存储在数据库中，通过该控制服务器可查询数据库得到当前空闲的云集群节点的信息，并从中选取处理该待处理数据的目标云集群节点，可提高选取节点的准确性和效率，将各目标云集群节点处理数据得到的子结果合并为完整的数据处理结果，请保存在文件服务器中，可供用户通过终端下载，提高获取数据处理结果的便捷性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的无人机海量数据处理方法的流程示意图；

图2为本申请一实施例提供的无人机海量数据处理方法的流程示意图；

图3为本申请另一实施例提供的无人机海量数据处理方法的流程示意图；

图4为本申请一实施例提供的无人机海量数据处理装置的结构示意图；

图5为本申请一实施例提供的无人机影像数据处理系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供了一种无人机海量数据处理方法，应用于对无人机采集影像并将采集的影像数据进行分布式处理得到结果图。参见图1，本申请一实施例提供的无人机海量数据处理方法的应用场景示意图。

无人机10外业获取的影像数据和定位定姿系统(POS，position and orientationsystem)数据，可通过终端20上传到文件服务器30保存，供云端平台并发处理，文件服务器30具体可为FTP(File Transfer Protocol，文件传输协议)服务器，是数据共享的载体。

管理服务器40分别与终端20、文件服务器30和云集群节点集50连接，可响应用户从终端20发送的请求，也可控制云集群节点集50中的各个云集群节点51进行数据处理，其中，各云集群节点51为在云端的多台服务器，共同组建为云集群节点集50，形成庞大的并发处理体系，供管理服务器40调用，进行数据处理。

进一步地，用户可通过终端20在具备网络的条件下，登录账号和密码以验证用户信息，登陆成功后，用户可通过终端20创建无人机影像数据处理任务，还可在创建完处理任务后，选择空闲的可执行管理云集群节点51的管理服务器40进行连接，连接成功后可以指定云集群节点51需要处理的数据的信息，该信息可包括无人机影像数据的采集时间信息、存储的位置信息、存储的名称信息等，可使得管理服务器40根据该信息可从存储无人机影像数据和POS数据的设备中获得本次需要处理的无人机影像数据和POS数据。

终端20将无人机10的影像数据和POS数据上传到文件服务器30上，管理服务器40根据终端20发送的数据处理任务对应的待处理的数据的信息，下载本次任务所需的原始数据，该原始数据包括：飞行中拍摄的影像及pos数据，还有前端界面选择作业等参数后，后端整合的配置文件等数据，以及，根据终端20发送的数据处理任务对应的云集群节点51的数量，组建数据处理，以响应用户提交的数据处理请求，具体是将待处理的影像数据划分为多个子块，将每个子块各自配置给一个云集群节点51进行图像数据，化整为零，可加快数据处理速度，最终将处理后的各子块形成的部分图像进行合并得到一个完整的图像并上传到文件服务器30上。

需要说明的是，其中，各云集群节点51和管理服务器40中，均设置有云集群节点管理模块，在该云集群节点管理模块中设置有管理程序，可在该云集群管理系统的控制下，实现自动重启各云集群节点51和管理服务器40中的预设的执行程序，该管理程序设置在开机启动项里，保证在各云集群节点51和管理服务器40重启时也同时运行。

控制服务器60分别与管理服务器40、云集群节点集50以及数据库70通过网络连接，控制服务器60中设置有云集群管理系统，通过该云集群管理系统可控制云端的每个管理服务器40和云集群节点51的运行状态，可通过控制管理服务器40和云集群节点51中的该管理程序，实现一键重启部分或全部的管理服务器40和云集群节点51。

管理服务器40获取数据处理过程中各个云集群节点51的数据处理状态，包括处理中、待处理中和已完成等状态，并将数据处理状态进行记录并实时传送给控制服务器60，由控制服务器60存储到数据库70中，以便其他管理服务器40通过控制服务器60查询数据库70中的数据处理状态的信息，调用数据处理状态为“待处理中”的云集群节点51进行数据处理；也将各云集群节点51的数据处理的进度信息(例如进度百分比信息)、各个处理任务的开始处理时间、结束处理时间以及处理数据的总用时长等信息记录并发送给控制服务器60，由控制服务器60存储在数据库70中，数据库70具体为MYSQL数据库。

参见图2，本申请一实施例提供的无人机海量数据处理方法的流程示意图。该方法可应用于云端的管理服务器，该无人机海量数据处理方法可将无人机采集的数据自适应云集群并发处理，操作简单，无须人工干预，仅需无人机采集的影像数据和POS数据中的GPS数据，即可完成高效全自动化处理，将该影像数据处理成DOM(Digital Orthophoto Map，数字正射影像图)和DSM(Digital Surface Model数字化地表模型)。如图2所示，该方法具体包括：

S101、获取终端发送的数据处理请求，该数据处理请求包括数据信息和节点数量，并根据该数据信息从文件服务器获取待处理的数据；

管理服务器是云端服务器中用于管理云集群节点处理数据的服务器，该管理服务器使用TCP(Transmission Control Protocol)/IP(Internet Protocol)协议与终端进行交互，确保指令不丢包，采用全双工方式，保证终端实时获取云端的数据处理进度。

本发明实施例中的待处理数据是指无人机外业获取的影像数据和POS数据中的GPS(Global Positioning System)等定位数据。

终端可通过与无人机联网下载影像数据和POS数据，也可将这些数据从无人机中复制到可移动存储介质中，再复制存储到终端。

终端获取用户在操作界面创建的数据处理任务的信息，该信息可包括完成本次数据处理所需的云集群节点的数量，以及本次数据处理任务的编号等，终端创建任务成功后，将该待处理数据上传到文件服务器，上传过程中支持断点续传，并将保存该待处理任务的文件夹命名为本次数据处理任务的编号，该编号即为该数据处理请求中的数据信息。

控制服务器中存储有每个管理服务器所管理的云集群节点的信息，以及各云集群节点的工作状态信息，每个管理服务器可控制其管理的多个云集群节点完成数据处理任务。

控制服务器将存储在数据库中的各IP网段的管理服务器和云集群节点的信息，推送给终端显示在显示界面，供用户选择，用户选择管理服务器进行连接，连接成功后，终端向该管理服务器发送数据处理请求，该数据处理请求中包括该数据处理任务的信息，若连接失败，则继续尝试连接，或请求技术协助。

进一步地，管理服务器可根据该数据处理请求中的数据信息，也即待处理数据的存储的文件夹的编号，从文件服务器下载终端上传的该待处理的数据，并同时获取用户通过终端设置的本次任务的其他信息以及后端整合的配置文件等必要数据。若下载失败，管理服务器通知终端本次任务下载失败，无法继续完成数据处理任务，并提供选择界面给用户，用户可选择继续尝试请求任务和异常结束任务。

S102、通过控制服务器获取空闲云集群节点的信息，并根据数据处理请求中的节点数量，从空闲云集群节点确定进行数据处理的目标云集群节点；

该管理服务器通过控制服务器查询该数据库中自身管理的云集群节点的信息，并根据终端的数据处理请求中指定的节点数量，在这些云集群节点中选择空闲的、没有在工作的云集群节点作为完成本次数据处理任务的目标云集群节点。

需要说明的是，该管理服务器将目标云集群节点的数据处理状态发送给与终端连接的控制服务器保存在数据库中，使得通过控制服务器查询数据库中的云集群节点的数据处理状态，得到空闲云集群节点的信息。

S103、按照预设划分规则，将待处理的数据划分为多个子块数据，并配置给目标云集群节点进行数据处理；

将待处理的数据划分为多个子块数据，分配给多个目标云集群节点进行数据处理，化整为零，将大块数据分为小块数据，可提高数据处理效率。

该待处理数据具体为影像数据，根据无人机拍摄的影像对应的实际面积和预设的子块影像尺寸，将拍摄的影像划分为多个子块影像，并将多个子块影像的数据，根据目标云集群节点的处理能力参数，分配给各目标云集群节点进行影像成图处理。

具体地，在原始的大量影像数据待处理的前提下，将大块的影像划分成多个子块数据，例如，将100张影像分成10个子块影像数据，每个子块影像数据包括10张影像，将各子块数据分配给目标云集群节点进行处理，具体地，可以根据无人机实际的采集影像的区域面积选择对应的划分子块的尺寸，该尺寸具体可以是长*宽(单位米)，例如，区域面积为1平方公里，则选择长*宽＝500米*500m，那么1平方公里的影像被划分为4块子块影像数据，相当于田字格划分方式，若选择更小的子块尺寸，则划分为更多数量的子块影像，相当于井字格划分方式。

每个子块处理的数据量不一定相同，因为在飞行过程中，存在绕弯飞行的场景，那么在相同的区域里，就会存在不同的影像数量。

处理一个子块数据的过程即为一个子块任务，一个目标云集群节点会被分配一个或多个子块任务，子块任务的数量根据此目标云集群节点的处理能力和效率，处理能力和效率取决于该目标云集群节点的处理器运算能力参数、可靠运行的时间等能力参数，相比较其他节点，处理数据速度更快的节点，会更快的接收下一个子块任务。

同一时间在一个目标云集群节点上只执行一个子块任务，由于处理过程中会占用服务器的硬件资源，因此在同一个节点上单线程处理该子块任务，可避免

若划分子块数据失败，则通知终端，在终端的显示界面显示选择信息，让用户选择是否重新尝试或异常结束。划分子块数据失败的原因可能是影像数据少，例如影像图像小于4张，或者，待处理数据中的定位信息不全等。

S104、获取各目标云集群节点处理后的子结果，按照预设合并规则，将各子结果合并为数据处理结果，并将数据处理结果保存在文件服务器。

目标云集群节点根据影像数据和POS数据处理后的子结果，即为目标云集群节点处理各自子块数据得到的DOM和DSM；

按照预设的羽化融合处理算法，根据各目标云集群节点处理得到的DOM和DSM的边缘重叠区域，自动合并为待处理数据对应的整个拍摄区域的DOM和DSM。

管理服务器最终生成一个完整的拍摄区域的DOM和DSM,并将它们上传到文件服务器，该文件服务器可以是FTP服务器，并通知终端告知用户数据处理任务成功及处理结果的存放路径信息。然后，云端资源开始释放，为下次用户请求资源做准备。

本申请实施例中，管理服务器根据终端的数据处理请求，将待处理的数据划分成多个子块数据发送给目标云集群节点并发处理，可提高数据处理速度，并且，管理服务器将云集群节点的数据处理状态发送给控制服务器存储在数据库中，通过该控制服务器可查询数据库得到当前空闲的云集群节点的信息，并从中选取处理该待处理数据的目标云集群节点，可提高选取节点的准确性和效率，将各目标云集群节点处理数据得到的子结果合并为完整的数据处理结果，请保存在文件服务器中，可供用户通过终端下载，提高获取数据处理结果的便捷性。

参见图3，本发明另一实施例提供的无人机海量数据处理方法的实现流程图。该方法可应用于本地的终端以及云端的管理服务器、控制服务器、云集群节点、文件服务器、数据库共同构成的无人机海量数据处理系统，如图3所示，该方法具体包括：

S201、终端将待处理数据上传文件服务器，并向管理服务器发出数据处理请求，数据处理请求中包括待处理数据的数据信息和节点数量；

S202、管理服务器根据数据信息从文件服务器获取待处理的数据，并通过控制服务器获取空闲云集群节点的信息，从空闲云集群节点确定进行符合节点数量的数据处理的目标云集群节点；

其中，控制服务器获取该管理服务器发送的各目标云集群节点的数据处理状态，并保存在数据库中。通过统一队列写入口，防止因多路写入导致的数据有效性、真实性等问题。通过该数据处理状态，可得知各目标云集群节点是否处理完子块数据，处于处理完子块任务的暂时空闲状态或者处于完成当前数据处理任务被彻底释放状态。

S203、按照预设划分规则，将待处理的数据划分为多个子块数据，并配置给目标云集群节点进行数据处理；

S204、获取各目标云集群节点处理后的子结果，按照预设合并规则，将各子结果合并为数据处理结果，并将数据处理结果保存在文件服务器。

进一步地，控制服务器当接收到重启指令，或，检测到各管理服务器和/或各云集群节点发生预设故障，通过第一程序控制发生该预设故障的管理服务器和/或各云集群节点中内置的第二程序，重启发生该预设故障的管理服务器和/或各云集群节点。在云端的各服务器中，即包括各管理服务器和各云集群节点中，都设置有可重启各服务器的执行程序，即该第二程序，控制服务器通过内置的管理程序，即第一程序控制执行程序实现一个或多个服务器重启，具体控制服务器和各服务器之间采用TCP/IP协议通讯。能够一键重启，确保后处理及时的初始化设置，不需要现场管理每个节点和管家，提高管理效率。省时省力省人工成本。

该预设故障包括：在处理过程中由于客观原因或算法占用机器资源超限导致的死机等故障。

进一步地，控制服务器查询同IP网段的所有开机的管理服务器和云集群节点，并将查询到的管理服务器和云集群节点的名称信息推送给终端进行显示，供用户查看，以设置数据处理请求。所有服务器都处于同一网段中，可利用局域网数据传输快的优势，提高数据交互速度。

以上各步骤的其他技术细节，参见前述图2所示实施例的描述，此处不再赘述。

本申请实施例中，管理服务器根据终端的数据处理请求，将待处理的数据划分成多个子块数据发送给目标云集群节点并发处理，可提高数据处理速度，并且，管理服务器将云集群节点的数据处理状态发送给控制服务器存储在数据库中，通过该控制服务器可查询数据库得到当前空闲的云集群节点的信息，并从中选取处理该待处理数据的目标云集群节点，可提高选取节点的准确性和效率，将各目标云集群节点处理数据得到的子结果合并为完整的数据处理结果，请保存在文件服务器中，可供用户通过终端下载，提高获取数据处理结果的便捷性。

参见图4，本申请一实施例提供的无人机海量数据处理装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。该装置为管理服务器或可设置于管理服务器中。该装置包括：

获取模块401，用于获取终端发送的数据处理请求，并根据数据处理请求中的数据信息从文件服务器获取待处理的数据；

确定模块402，用于通过控制服务器获取空闲云集群节点的信息，并根据数据处理请求中的节点数量，从空闲云集群节点确定进行数据处理的目标云集群节点；

分配模块403，用于按照预设划分规则，将待处理的数据划分为多个子块数据，并配置给目标云集群节点进行数据处理；

处理模块404，用于获取各目标云集群节点处理后的子结果，按照预设合并规则，将各子结果合并为数据处理结果，并将数据处理结果保存在文件服务器。

进一步地，待处理数据包括影像数据，分配模块403还用于根据无人机拍摄的影像对应的实际面积和预设的子块影像尺寸，将拍摄的影像划分为多个子块影像，并将多个子块影像的数据，根据目标云集群节点的处理能力参数，分配给各目标云集群节点进行影像成图处理。

处理模块404，还用于获取各目标云集群节点处理各自子块数据得到的数字正射影像图和数字地表模型；并，按照预设的羽化融合处理算法，根据各数字正射影像图和各数字地表模型的边缘重叠区域，自动合并为待处理数据对应的整个拍摄区域的数字正射影像图和数字地表模型。

处理模块404，还用于将目标云集群节点的数据处理状态发送给与终端连接的控制服务器保存在数据库中，使得通过控制服务器查询数据库中的云集群节点的数据处理状态，得到空闲云集群节点的信息。

本实施例中的技术细节参见前述各实施例的描述，此处不再赘述。

本申请实施例中，管理服务器根据终端的数据处理请求，将待处理的数据划分成多个子块数据发送给目标云集群节点并发处理，可提高数据处理速度，并且，管理服务器将云集群节点的数据处理状态发送给控制服务器存储在数据库中，通过该控制服务器可查询数据库得到当前空闲的云集群节点的信息，并从中选取处理该待处理数据的目标云集群节点，可提高选取节点的准确性和效率，将各目标云集群节点处理数据得到的子结果合并为完整的数据处理结果，请保存在文件服务器中，可供用户通过终端下载，提高获取数据处理结果的便捷性。

本申请实施例还提供了一种电子装置，包括存储器和处理器，处理器可以是上述实施例中的无人机海量数据处理装置中的处理模块304。存储器例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。

存储器存储有可执行程序代码；与存储器耦合的处理器调用所述存储器中存储的所述可执行程序代码，执行如上图2所述的无人机海量数据处理方法。

进一步地，参见图5，本申请一实施例提供的无人机海量数据处理系统的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。该系统包括：终端20、文件服务器30、管理服务器40、控制服务器60和云集群节点50，以上各装置即为图1中所示的对应装置。

终端20，用于将待处理数据上传文件服务器30，并向管理服务器40发出数据处理请求，该数据处理请求中包括待处理数据的数据信息和节点数量；

管理服务器40，用于根据该数据信息从文件服务器30获取待处理的数据，并通过控制服务器60获取空闲云集群节点的信息，从空闲云集群节点确定进行符合该节点数量的数据处理的目标云集群节点；

管理服务器40，还用于按照预设划分规则，将该待处理的数据划分为多个子块数据，并配置给各目标云集群节点进行数据处理；

管理服务器40，还用于获取各目标云集群节点处理后的子结果，按照预设合并规则，将各子结果合并为数据处理结果，并将该数据处理结果保存在文件服务器30。

进一步地，该系统还包括数据库70。

控制服务器60，还用于当接收到重启指令，或，检测到各管理服务器40和/或各云集群节点51发生预设故障，通过第一程序控制发生预设故障的管理服务器40和/或云集群节点51中内置的第二程序，重启发生该预设故障的管理服务器40和/或云集群节点51。

控制服务器60，还用于查询同IP网段的所有开机的管理服务器40和云集群节点51，并将查询到的管理服务器40和云集群节点51的名称信息推送给终端20进行显示。

控制服务器60，还用于获取管理服务器40发送的目标云集群节点的数据处理状态，并保存在数据库70中。

本申请实施例中，管理服务器根据终端的数据处理请求，将待处理的数据划分成多个子块数据发送给目标云集群节点并发处理，可提高数据处理速度，并且，管理服务器将云集群节点的数据处理状态发送给控制服务器存储在数据库中，通过该控制服务器可查询数据库得到当前空闲的云集群节点的信息，并从中选取处理该待处理数据的目标云集群节点，可提高选取节点的准确性和效率，将各目标云集群节点处理数据得到的子结果合并为完整的数据处理结果，请保存在文件服务器中，可供用户通过终端下载，提高获取数据处理结果的便捷性

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的无人机海量数据处理方法、装置和系统的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。