一种数据存储系统及转存方法

技术领域

本发明涉及通信、遥测技术领域，具体为一种大容量数据转存系统及转存方法。

背景技术

在通信、遥测、大数据应用等领域，需要将任务过程中在现场采集的无线信号存储在数据存储模块中，待任务结束后，将存储模块中的数据转存到数据服务器硬盘系统等其他存储介质中，实现数据备份、后续分析等。传统的数据转存系统结构如图1所示。这种系统架构常采用传统的千兆以太网，其数据速率不能满足大容量数据转存的需要。以存储8TB数据模块的转存为例，通过千兆以太网卸载，至少需要8000秒，给用户的数据转存带来很大延迟，用户体验差。特别是在某些应用场景，采集的数据需要快速转存和分析。传统的数据转存架构难以满足需要。

发明内容

本发明的目的在于提供一种大容量数据转存系统及转存方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种大容量数据转存系统，包括数据存储模块和数据服务器，还包括数据卸载盒,所述数据存储模块和数据服务器之间通过数据卸载盒连接，所述数据卸载盒通过网口和光口连接到数据服务器。

优选的，所述数据卸载盒上设置有机械插槽和电路接口,所述数据存储模块插入机械插槽来实现和电路接口的连接。

优选的，所述电路接口包括高速数据接口和控制接口。

优选的，所述数据卸载盒还包括第一FPGA模块，所述第一FPGA模块与高速数据接口、控制接口、网口和光口连接。

优选的，所述高速数据接口硬件上可采用LRM插头和插座实现，软件上通过GTX协议实现高速数据传输,所述控制接口采用SP I总线实现。

优选的，所述光口的硬件可以采用成熟的QSFP光口，软件可以采用GTX总线协议,所述网口采用以太网接口。

优选的，所述数据存储模块包括第二FPGA模块和数据存储器，所述第二FPGA模块和数据存储器连接。

优选的，所述数据存储器采用E

一种大容量数据转存方法，包括如下步骤：

S1,在现场执行数据采集任务时，数据存储模块的第二FPGA模块将采集的数据通过缓存、存储到数据存储器；

S2,当数据存储模块插入数据卸载盒后，第二FPGA模块将通过控制接口与数据卸载盒的第一FPGA模块交互控制指令,并在控制指令的控制下，将数据存储器的数据通过高速数据接口，发送给数据卸载盒；

S3,数据卸载盒的第一FPGA模块通过以太网接口与数据服务器交互控制数据；在控制数据的控制下，数据卸载盒读取数据存储模块中的数据，并通过光口转发给数据服务器。

与现有技术相比，本发明的有益效果是：

本发明，由于数据存储模块与数据卸载盒之间通过高速数据接口连接，可以达到数GB/s的数据传输速率。光纤也采用高速数据接口，也可以实现远高于传统千兆以太网的传输速率。考虑到硬盘存储速率也能够达到数GB/s的数据速率，从而实现整个数据转存的数据达到数GB/s，较传统的数据转存速度提高数倍。

附图说明

图1为现有技术的数据转存系统结构示意图；

图2为本发明的数据转存系统结构示意图；

图3为本发明的数据存储模块原理图；

图4为本发明的数据卸载盒原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

请参阅图1-4，本发明提供一种技术方案：一种大容量数据转存系统，包括数据存储模块和数据服务器，数据存储模块包括第二FPGA模块和数据存储器，数据存储器采用E

一种大容量数据转存方法，包括如下步骤：

S1,在现场执行数据采集任务时，数据存储模块的第二FPGA模块将采集的数据通过缓存、存储到数据存储器；

S2,当数据存储模块插入数据卸载盒后，第二FPGA模块将通过控制接口与数据卸载盒的第一FPGA模块交互控制指令,并在控制指令的控制下，将数据存储器的数据通过高速数据接口，发送给数据卸载盒；

S3,数据卸载盒的第一FPGA模块通过以太网接口与数据服务器交互控制数据；在控制数据的控制下，数据卸载盒读取数据存储模块中的数据，并通过光口转发给数据服务器。

增加了专用的数据卸载盒设备；

数据卸载盒中有机械插槽和电路接口；

使用时，将数据存储模块插入数据卸载盒的插槽中，通过数据卸载盒的电路接口，将数据存储模块中的数据快速读取，并通过光口转发给数据服务器；

数据卸载盒有网口和光口两种接口连接到服务器。其中，网口主要实现数据服务器对数据卸载盒的控制；光口实现将数据卸载盒转发的数据快速转发和存储到数据服务器。

由于数据存储模块与数据卸载盒之间通过高速数据接口连接，可以达到数GB/s的数据传输速率。光纤也采用高速数据接口，也可以实现远高于传统千兆以太网的传输速率。考虑到硬盘存储速率也能够达到数GB/s的数据速率，从而实现整个数据转存的数据达到数GB/s，较传统的数据转存速度提高数倍。

数据服务器可以采用带有网口和光口的货架产品。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。