多源数据处理系统及方法

技术领域

本申请涉及卫星数据处理技术领域，尤其涉及一种多源数据处理系统及方法。

背景技术

随着人类对太空领域的不断探索，卫星通信技术蓬勃发展，卫星载荷数据的种类和数据量与日俱增，对卫星下行数据处理端也提出了更高的要求。卫星在轨运行阶段，原始数据经过压缩、加密、加扰等操作转换为二进制数据流，再经过打包、星地链路传输、地面站接收等下传至地面，最后，通过站点传输、数据解扰、解密、解压缩等多个步骤，二进制流被还原为卫星载荷采集的真实数据。

为了将载荷原始数据下传至地面，卫星需与各地面站建立星地传输链路，保障数据的可靠传输。低轨卫星由于受到轨道高度等条件限制，途径的地面站可见范围与星地数据链路的传输时间有限。为保证低轨卫星数据下传的连续性和可靠性，确保重要监测阶段数据稳定下传，常采用双站接力、多站跟踪等监测手段，因而会出现多数据源数据重复接收、多频段数据并行接收等现象。

当出现上述现象时，现有的处理方法为：一是挑选单一数据源的二进制数据流进行处理；二是将多数据源数据按照某种策略进行融合，再对融合后的数据采取处理。上述方法不仅会造成大量数据浪费，而且，当某一数据源链路不稳定时，会降低融合后的数据质量，进而影响整个下行数据处理流程。

发明内容

本公开的主要目的在于提供一种多源数据处理系统及方法，旨在解决多数据源的卫星载荷数据并行处理问题。

为实现上述目的，本公开实施例第一方面提供一种多源数据处理系统，包括：

数据接收模块，用于实时并行接收多个方向数据源发送的二进制数据帧，按照数据源和/或数据类型将所述数据帧分流发送给相应的数据处理模块；

状态监视模块，用于监视所述各个方向数据源发送的数据帧的数据状态信息和链路状态信息；

流程调度模块，用于根据所述各个方向数据源的链路状态信息、所述数据状态信息、计算节点资源条件中的至少一种，对所有所述数据处理模块进行动态调度；

多个所述数据处理模块，均用于接收并处理单一方向数据源发送的二进制数据帧，根据所述数据帧，调用解析插件，生成解析结果。

可选的，所述数据处理模块包括：

数据解密组件，用于接收原始密文数据，根据预注密钥对原始密文数据进行解析，完成数据的同步判别、有效区解密处理，将原始密文数据转换为明文数据并分发；

数据预处理组件，用于提取数据帧的有效数据区，并按照数据指示位将所述数据帧分发给数据处理组件，所述数据指示位用于标识所述有效数据区为图像处理数据或遥测参数编码数据；

所述数据处理组件，用于根据所述数据指示位，对所述数据帧进行处理。

可选的，所述数据处理组件包括图像处理插件；

所述图像处理插件，用于提取所述数据帧的图像类型标识位，根据所述图像类型标识位将所述数据帧推送给相应的解码器以进行图像解析，得到图像解析结果。

可选的，所述数据处理组件包括遥测参数解析插件；

所述遥测参数解析插件用于根据约定参数格式，将所述数据帧中包含的原始遥测编码转化为具有所述预设参设格式的遥测参数。

可选的，所述数据处理模块还包括：

数据应用组件，用于接收所述数据处理组件推送的所述图像解析结果和所述遥测参数，将所述图像解析结果和所述遥测参数进行可视化展示和/或二次分析和/或效用评估和/或故障诊断。

可选的，所述数据处理模块还包括：

数据存储组件，用于接收所述数据预处理组件发送的所述数据帧、所述数据处理组件发送的所述图像解析结果和所述遥测参数，对所述数据帧、所述图像解析结果和所述遥测参数进行存储，并将按照类型和/或时间和/或来源进行关联存储。

可选的，所述数据状态信息包括数据来源、数据类型、数据接收速率、数据连续性、数据丢帧率、接收起止时间、链路连通状态中的至少一种。

可选的，所述链路状态信息包括链路方向、频段、数据类型、数据接收速率、数据传输质量、链路连通状态中的至少一种。

本公开实施例第二方面提供一种多源数据处理方法，所述方法包括：

实时并行接收多个方向数据源发送的二进制数据帧，并监视所述多个方向数据源发送数据帧的数据状态信息和链路状态信息；

根据所述多个方向数据源的所述链路状态信息、所述数据状态信息和计算节点资源条件中的至少一种，对所有数据处理模块进行动态调度；

按照数据源和/或数据类型将所述数据帧分流发送给对应的所述数据处理模块，每个所述数据处理模块用于接收单一方向数据源发送的二进制数据帧，根据所述数据帧，生成解析结果。

可选的，所述数据处理模块包括数据预处理组件和数据处理组件，所述方法还包括：

利用所述数据预处理组件提取数据帧的有效数据区，并按照数据指示位将所述数据帧分发给数据处理组件，所述数据指示位用于标识所述有效数据区为图像处理数据或遥测参数编码数据；

利用所述数据处理组件根据所述数据指示位，对所述数据帧进行处理。

本公开提供的一种多源数据处理系统及方法，与现有技术相比，具有至少以下优点和有益效果：

(1)本公开采用数据驱动的数据处理流程调度方式，通过流程调度模块，动态获取和释放计算资源。该方法能够合理分配及使用计算节点，灵活调度系统内部可用计算资源，解决硬件资源浪费的问题。

(2)本公开采用多线程数据接收组件，接收多方向的二进制数据流，有效实现高吞吐的数据接入和低时延的多源数据并行处理。同时，多方向数据分流并行处理，对基于站信息的数据分级存储方式十分友好，有助于保证数据存储的完整性，便于分析评估同一时间段各地面站数据接收质量、丢帧错帧情况等，为后续数据优选及天地链路传输优化提供数据支持。

(3)本公开采用多方向数据并行处理方式，将各路下传数据全部接收处理，最大程度保证了卫星下传数据解析的完整性。对于后续问题排查、追溯，提供了多维度数据支持。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一实施例提供的多源数据处理系统的结构示意图；

图2为本公开一实施例提供的多源数据处理系方法的流程示意图；

图3示意性示出了本公开实施例提供的卫星传输的格式化数据的三种格式示意图；

图4示意性示出了本公开实施例提出的一种针对单一数据源的数据处理流程的结构框图；

图5示意性示出了本公开实施例提供的一种数据驱动的多源数据处理流程的详细流程图。

具体实施方式

为使得本公开的公开目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

为了节约存储空间，减轻星地链路传输压力，卫星载荷采集的原始数据经过压缩编码、加密、加扰等操作转换为二进制数据帧流，通过星地链路与各地面站建立连接，进行数据下传。利用本公开提供的多源数据处理系统接收传输的卫星原始数据后，逐级提取解析有效数据，生成数据解析结果。

图1为本公开一实施例提供的多源数据处理系统的结构示意图。

如图1所示，该多源数据处理系统包括数据接收模块、状态监视模块、流程调度模块和多个数据处理模块。

数据接收模块，用于实时并行接收多个方向数据源发送的二进制数据帧，按照数据源和/或数据类型将该数据帧分流发送给相应的数据处理模块。

状态监视模块，用于监视该各个方向数据源发送的数据帧的数据状态信息和链路状态信息。

流程调度模块，用于根据该各个方向数据源的链路状态信息、该数据状态信息、计算节点资源条件中的至少一种，对所有该数据处理模块进行动态调度。

多个数据处理模块，均用于接收并处理单一方向数据源发送的二进制数据帧，根据所述数据帧，调用解析插件，生成解析结果。

在一可能的实施方式中，该数据处理模块包括：数据解密组件，用于接收原始密文数据，根据预注密钥对原始密文数据进行解析，完成数据的同步判别、有效区解密等处理，将原始密文数据转换为明文数据并分发。

在一可能的实施方式中，该数据处理模块包括：数据预处理组件，用于提取数据帧的有效数据区，并按照数据指示位将该数据帧分发给数据处理组件，该数据指示位用于标识该有效数据区为图像处理数据或遥测参数编码数据；该数据处理组件，用于根据该数据指示位，针对性对该数据帧进行处理。其中，图像处理数据为视频/图像压缩码流。

在一可能的实施方式中，该数据处理组件包括图像处理插件。该图像处理插件，用于提取该数据帧的数据类型标识位，根据该数据类型标识位将该数据帧推送给相应的解码器以进行图像解析，得到图像解析结果。

在一可能的实施方式中，该数据处理组件包括遥测参数解析插件。该遥测参数解析插件用于根据约定参数格式，将所述数据帧中包含的原始遥测编码转化为具有所述预设参设格式的遥测参数。

在一可能的实施方式中，该数据处理模块还包括数据应用组件，用于接收该数据处理组件推送的该图像解析结果和该遥测参数，将该图像解析结果和该遥测参数进行可视化展示和/或二次分析和/或效用评估和/或故障诊断。

在一可能的实施方式中，该数据处理模块还包括数据存储组件，用于接收该数据预处理组件发送的该数据帧、该数据处理组件发送的该图像解析结果和该遥测参数，对该数据帧、该图像解析结果和该遥测参数进行存储，并将按照类型和/或时间和/或来源进行关联存储。

在一可能的实施方式中，该数据状态信息包括数据来源、数据类型、数据接收速率、数据连续性、数据丢帧率、接收起止时间、链路连通状态中的至少一种。

在一可能的实施方式中，该链路状态信息包括链路方向、频段、数据类型、数据接收速率、数据传输质量、链路连通状态中的至少一种。

图2为本公开一实施例提供的多源数据处理系方法的流程示意图。

如图2所示，该方法主要包括步骤S101-S103：

S101、实时并行接收多个方向数据源发送的二进制数据帧，并监视多个方向数据源发送数据帧的数据状态信息和链路状态信息；

S102、根据该多个方向数据源的该链路状态信息、该数据状态信息和计算节点资源条件中的至少一种，对所有数据处理模块进行动态调度；

S103、按照数据源和/或数据类型将该数据帧分流发送给对应的该数据处理模块，每个该数据处理模块用于接收单一方向数据源发送的二进制数据帧，根据该数据帧，生成解析结果。

图3示意性示出了本公开实施例提供的卫星传输的格式化数据的三种格式示意图。

如图3所示，假设数据格式T

图4示意性示出了本公开实施例提出的一种针对单一数据源的数据处理流程的结构框图。

如图4所示，本公开实施例提供的一种针对单数据源卫星数据处理流程包括数据解密组件、数据预处理组件、数据处理组件、数据应用和数据存储组件。

根据本公开的一种可能实施方式包括：

第一步，数据解密组件，接收来自某地面站的卫星原始加密数据流，验证数据加密区标识正确性，对有效数据区数据进行解密，得到明文数据并下发；

第二步，数据预处理组件，接收明文数据，以数据格式T

第三步，数据预处理组件，根据数据格式T

第四步，以帧格式T

第五步，在T

第六步，图像处理插件，接收T

第七步，遥测参数解析插件，接收T

第八步，数据应用组件，接收图像和遥测参数等解析结果，进行二次处理，用来支撑动态场景可视化展示、数据效用评估、卫星故障诊断等功能。

第九步，数据存储组件，对数据处理过程中的原始数据、中间数据、以及图像和遥测参数解析结果等进行分类存储，支持通过编号、数据来源、数据类型、星上时间等多种方式查询下载。

本公开提供的一种多源数据处理系统，在上述单一卫星数据源数据处理流程基础上，针对多个数据源并行发送数据流的实用场景，通过状态监视及集中流程调度，自行闭环多源数据处理流程。

设用于某卫星某任务的数据接收的地面站集合为{ST

已知卫星下传数据速率与各地面站数据接收设备频段信息有关，单一频段支持接收多种速率下行数据，频段信息与下传速率为一对多关系，因此，可设频段CH

本公开中，数据接收模块针对各方向数据源发送的二进制数据流，启用多个线程用于数据接收和分发。其中，各数据源，即每个地面站的每种频段对应一个独立的接收分发线程，用于接收该方向的数据流并分发。每一个接收分发线程通过地面站信息与后续处理流程建立一对一的映射关系，保证各方向数据流独立处理，互不干扰。

假设某卫星某次任务第m圈次的数据接收计划为

本公开中，状态监视模块针对各个方向数据源发送的二进制数据流，启用多个线程用于统计接收数据的数据质量和传输链路状态信息，包括数据来源、频段信息、数据类型、接收速率、丢帧率、接收时间、链路连通状态等信息，监视各个方向数据接收实况，为流程调度模块提供数据状态信息依据。

以上述某卫星某次任务第m圈次的数据接收计划为例，假设本圈次三个方向数据分别由地面站ST

本公开中，流程调度模块获取各个方向的数据接收质量和传输链路状态信息，综合资源调度表和剩余资源表，统筹分配计算和存储资源，为针对个方向的数据处理流程提供合理的运行算力和存储空间。通过发送调度指令，启动相应的数据处理流程，即图4所述的针对单一数据源的数据处理流程。

资源调度表，如表1所述，针对不同工况，即不同频段数据的不同下传速率，为图4所述数据处理流程中的每个软件预先设置合理的计算资源和存储空间，存储各映射关系。例如，数据处理流程由多个软件构成，可表示为{soft

表1

剩余资源表，如表2所述，该表用于动态记录所有计算节点的空闲cpu及内存资源情况。假设现共有多个计算节点用于该星该任务的数据处理，可记作{s

表2

对于上述某星某任务的第m圈次数据接收计划

本公开中，数据处理模块即图2所述单一数据源卫星数据处理流程，用于接收并处理单一方向数据源的二进制数据流，流程内部各软件协同合作，逐级解析数据，生成解析结果并存储展示。

图5示意性示出了本公开实施例提供的一种数据驱动的多源数据处理流程的详细流程图。

如图5所示，在一实施例中所描述的多源数据处理流程如下所述：

第一步，获取各方向链路状态信息，其中，上述链路信息状态信息包括该链路数据来源(即地面站信息)、频段、数据类型、数据接收速率、数据传输质量、链路连通状态等。

第二步，根据各方向链路状态信息，判断当前是否有数据流接入系统。

第三步，如果当前有数据流接入系统，则系统根据该方向链路状态信息获取数据来源信息，即地面站信息。

第四步，如果当前没有数据流接入系统，则重复上述第一步到第二步，即继续等待各个方向数传数据接入系统，直到接收到某方向的数据流。

第五步，在接收到某方向数传数据流后，获取该方向链路状态信息，从中提取地面站信息。

第六步，判断当前时刻系统内是否存在与上述地面站相关的数据处理流程。

第七步，若当前系统内不存在与第五步所述地面站相关的数据处理流程，则依据地面站信息启动针对该站的数据处理流程，并根据时间信息生成唯一的流程编号。

第八步，若当前系统内存在与第五步所述地面站相关的数据处理流程，则直接进入第九步。

第九步，接入数据流，系统内各软件相互协作，逐级处理数据。

第十步，判断第五步所述方向数据流是否中断。

第十一步，如果第五步所述方向数据流持续稳定接入系统，则正常进行数据处理。

第十二步，如果第五步所述方向数传数据流中断，但是中断时间不超过系统设置的最大等待时间Tmax，则重复第二步到第十步。

第十三步，如果第五步所述方向数传数据流中断，且数据中断时间超过系统设置的最大等待时间Tmax，则中止与该方向相关的数据处理流程。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本公开所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本公开所提供的一种多源数据处理系统及方法的描述，对于本领域的技术人员，依据本公开实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本公开的限制。