基于存储与处理的服务器系统

技术领域

本发明涉及数据管理技术领域，更具体地，涉及一种基于存储与处理的服务器系统。

背景技术

现在主流的存储服务器，在4U服务器里可以集成超过30个磁盘，以常见的36块磁盘，单个磁盘8TB的存储服务器为例，单服务器数据存储容量为288TB。云计算服务商对成千上万的客户提供数据存储服务，虽然服务器及磁盘的故障机率很小，但是在单服务器具有非常高的数据量和服务器数量非常巨大的情况下，一旦有服务器故障，客户的损失是非常巨大的。

但是现有技术存在以下缺陷，增加服务器，造成资源冗余的，加大了系统的硬件成本；设立较大规模的多服务器集群，并且通过额外的存储网关管理，该技术为集群级的设计，系统复杂度很高，在很多应用场景并不适用。

发明内容

鉴于上述问题，本发明提出了一种基于存储与处理的服务器系统，其可以便于数据的管理和存储。

根据本发明实施例的第一方面，提供一种基于存储与处理的服务器系统，所述系统包括：

数据处理服务器、数据存储服务器、输入管理系统服务器、数据接收系统服务器、数据更新系统服务器、输出管理系统服务器及至少一个用户终端；

所述输入管理系统服务器、所述数据接收系统服务器、所述数据更新系统服务器及所述输出管理系统服务器均连接至所述数据处理服务器和所述数据存储服务器，所述数据处理服务器连接至所述至少一个用户终端；

所述输入管理系统服务器包括存储运行于其上的输入管理系统，所述数据接收系统服务器包括存储运行于其上的数据接收系统，所述数据更新系统服务器包括存储运行于其上的数据更新系统，所述输出管理系统服务器包括存储运行于其上的输出管理系统；

其中，所述数据处理服务器用于对各个数据接收系统服务器采集的待存储数据进行统一处理后，集中存储至所述数据存储服务器；

当接收到任意一个用户终端发送的数据请求后，所述输出管理系统服务器根据所述数据请求直接从所述数据存储服务器中获取对应的目标数据，并返回至所述用户终端。

在一个实施例中，优选地，所述输入管理系统包括：

输入接收单元，用于接收不同的输入设备导入的输入信息；

输入汇总单元，用于对所述输入接收单元接收到的输入信息进行汇总，获得每一个输入信息的总输入量；

输入清单生成单元，用于根据不同输入设备的输入信息生成输入清单；

信息类别单元，用于收集输入信息类别并生成信息类别清单；

审核单元，用于将所述输入清单和所述信息类别清单传输给管理终端，并经所述管理终端的管理员审核处理后，生成输入表；

输入单元，基于所述输入表，将所述输入信息发送给相应的用户终端。

在一个实施例中，优选地，所述输入管理系统采用主成分分析方式对接收不同的输入设备导入的输入信息进行筛选过滤，具体的筛选过滤方式如下：

S701、获取所述输入接收单元获取的原始的输入数据[x

S702、通过第一计算公式计算所述输入数据的特征值λ

S703、根据所述输入数据的特征值的大小进行排序，确定为第二计算公式格式的变换矩阵，其中，特征值的大小进行排序关系为λ

S704、初始化输入压缩后的数据维度为0；

S705、初始化数据保真度为0；

S706、判断数据保真度是否大于等于数据保真度阈值，响应于所述数据保真度大于等于数据保真度阈值，则按照第三计算公式压缩所述输入数据[x

S707、判断数据保真度是否小于数据保真度阈值，响应于所述数据保真度大于数据保真度阈值，则按照第四计算公式和第五计算公式更新所述数据维度和所述数据保真度，并返回重新执行步骤S706；

所述第一计算公式为：

X

其中，m为监控指标类型数；X为原始的输入数据的矩阵[x

所述第二计算公式为：

P＝[e

其中，P为变换矩阵，D为压缩后的数据维度，λ

所述第三计算公式为：

Y＝PX＝[e

其中，Y为输出矩阵[y

所述第四计算公式为：

D＝D+1

其中，D为压缩后的数据维度。

所述第五计算公式：

其中，m为监控指标类型数；D为压缩后的数据维度；Fid为数据保真度；γ为数据保真度阈值(用户定义)；λ

在一个实施例中，优选地，所述数据接收系统包括数据接收管理单元，所述数据接收管理单元包括：

检索模块，用于根据接收到的检索指令，对待存储数据相关信息进行检索，并收集待存储数据相关信息的检索信息；

跟踪模块，用于跟踪待存储数据相关信息，收集更新情况；

评估模块，用于对所述待存储数据的存储和管理进行评估和确认；

存储审核模块，用于对确认为可存储的待存储数据进行存储确认审核。

在一个实施例中，优选地，所述数据接收系统采用数据降维压缩方法进行在线数据存储，所述数据降维压缩方式包括：

S901、获取所述检索模块的存储数据分别为C＝[c

S903、建立关键状态数据矩阵后，初始化关键状态数据矩阵Y＝[y

S903、根据第六计算公式计算的压缩后关键状态数据Y＝[y

所述第六计算公式表示为：

Y＝S

其中，Y为关键状态数据；S为实时降维转换矩阵；C为存储的数据；D为降维后的数据维度；m为存储数据的维度。

在一个实施例中，优选地，所述数据更新系统包括数据更新管理单元，所述数据更新管理单元包括：

请求模块，用于提交数据更新的请求；

监测模块，用于对更新的数据进行更新监测；

处理模块，用于对数据进行更新。

在一个实施例中，优选地，所述输出管理系统包括：

输出单元，用于数据的输出；

备份单元，用于对输出的数据进行备份；

输出记录单元，用于进行输出数据情况的记录；

输出管理单元，用于对数据的输出进行管理；

在一个实施例中，优选地，所述输出管理系统进行实时的数据筛选，所述实时数据筛选方法包括：

S1001、获取输入数据X＝[x

S1002、通过第七计算公式获得K个数据的影响因子；

S1003、对比所计算的保真度Fid与预先设定的筛选数据保真度γ的关系，当保真度Fid小于预先设定的筛选数据保真度γ时，利用第八计算公式筛选出满足需求的关键数据Y＝[y

所述第七计算公式表示为：

其中，IF

所述第八计算公式表示为：

其中，m为监控指标类型数；L为压缩后的数据维度；Fid为数据保真度；γ为数据保真度阈值(用户定义)；λ

在一个实施例中，优选地，所述输出记录单元包括信息状况检索模块和信息反馈模块；

所述信息状况检索模块连接至所述输出单元，用于根据接收到的数据请求，对目标数据的信息状况进行检索；

所述信息反馈模块，用于将检索到的所述目标数据反馈至对应的用户终端。

在一个实施例中，优选地，所述信息状况检索模块包括数据检索子模块、数据存储检索子模块及数据更新管理子模块；

所述数据检索子模块连接至网络数据库，用于从所述网络数据库获取数据；

所述数据存储检索子模块连接至所述数据存储服务器，用于从所述数据存储服务器获取数据；

所述数据更新管理子模块连接至所述输入管理系统，用于根据所述输入管理系统的输入信息进行数据更新。

在一个实施例中，优选地，所述数据包括企业知识产权数据。

相较于现有技术，本发明提供的基于存储与处理的服务器系统具有以下有益效果：

本发明的服务器系统以较少的硬件成本，可以提供多个的存储输入终端，通过不同的服务器对存储的数据进行管理，并且数据更新和输出都具有备份，以低成本实现了系统的冗余，提高了存储服务器系统的可用性。并且，数据的存储和处理都是统一进行的，这样，其他应用程序或者终端可以直接进行获取，并进行个性化的应用。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种基于存储与处理的服务器系统的框图。

图2是本发明一个实施例的一种基于存储与处理的服务器系统中输入管理系统的示意框图。

图3是本发明一个实施例的一种基于存储与处理的服务器系统中数据接收系统的示意框图。

图4是本发明一个实施例的一种基于存储与处理的服务器系统中输入管理系统的示意框图。

图5是本发明一个实施例的一种基于存储与处理的服务器系统中输出管理系统的示意框图。

图6是本发明一个实施例的一种基于存储与处理的服务器系统中输出记录单元的示意框图。

图7是本发明一个实施例的一种基于存储与处理的服务器系统中输入管理系统中的主成分分析法的执行流程图。

图8是本发明一个实施例的一种基于存储与处理的服务器系统中输入管理系统中的输入信息变化曲线图。

图9是本发明一个实施例的一种基于存储与处理的服务器系统中数据接收系统中的数据在线压缩流程图。

图10是本发明一个实施例的一种基于存储与处理的服务器系统中输出管理系统中的数据实时筛选流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的一种基于存储与处理的服务器系统的框图，如图1所示，基于存储与处理的服务器系统包括：

数据处理服务器11、数据存储服务器12、输入管理系统服务器13、数据接收系统服务器14、数据更新系统服务器15、输出管理系统服务器16及至少一个用户终端17；

所述输入管理系统服务器13、所述数据接收系统服务器14、所述数据更新系统服务器15及所述输出管理系统服务器16均连接至所述数据处理服务器11和所述数据存储服务器12，所述数据处理服务器11连接至所述至少一个用户终端17；

所述输入管理系统服务器13包括存储运行于其上的输入管理系统131，所述数据接收系统服务器14包括存储运行于其上的数据接收系统141，所述数据更新系统服务器15包括存储运行于其上的数据更新系统151，所述输出管理系统服务器16包括存储运行于其上的输出管理系统161；

其中，所述数据处理服务器11用于对各个数据接收系统服务器14采集的待存储数据进行统一处理后，集中存储至所述数据存储服务器12；

当接收到任意一个用户终端发送的数据请求后，所述输出管理系统服务器16根据所述数据请求直接从所述数据存储服务器12中获取对应的目标数据，并返回至所述用户终端。

在该实施例中，可以提供多个的存储输入终端，通过不同的服务器对存储的数据进行管理，并且数据更新和输出都具有备份，以低成本实现了系统的冗余，提高了存储服务器系统的可用性。并且，数据的存储和处理都是统一进行的，这样，其他应用程序或者终端可以直接进行获取，并进行个性化的应用。

图2是本发明一个实施例的一种基于存储与处理的服务器系统中输入管理系统的示意框图。

如图2所示，在一个实施例中，优选地，所述输入管理系统131包括：

输入接收单元21，用于接收不同的输入设备导入的输入信息；

输入汇总单元22，用于对所述输入接收单元接收到的输入信息进行汇总，获得每一个输入信息的总输入量；

输入清单生成单元23，用于根据不同输入设备的输入信息生成输入清单；

信息类别单元24，用于收集输入信息类别并生成信息类别清单；

审核单元25，用于将所述输入清单和所述信息类别清单传输给管理终端，并经所述管理终端的管理员审核处理后，生成输入表；

输入单元26，基于所述输入表，将所述输入信息发送给相应的用户终端。

在该实施例中，输入管理系统可以进行输入信息的汇总、清单生成和清单审核以及生成输入表等，从而保证输入信息可以进行有序管理，便于其他系统进行后续查找和检索等操作。

图3是本发明一个实施例的一种基于存储与处理的服务器系统中数据接收系统的示意框图。

如图3所示，在一个实施例中，优选地，所述数据接收系统141包括数据接收管理单元30，所述数据接收管理单元30包括：

检索模块31，用于根据接收到的检索指令，对待存储数据相关信息进行检索，并收集待存储数据相关信息的检索信息；

跟踪模块32，用于跟踪待存储数据相关信息，收集更新情况；

评估模块33，用于对所述待存储数据的存储和管理进行评估和确认；

存储审核模块34，用于对确认为可存储的待存储数据进行存储确认审核。

在该实施例中，对于待存储数据，数据接收系统会对其进行评估和确认，评估和确定其是否可以进行存储，对于评估和却认为可存储的数据，还会再次进行确认审核，从而保证接收和存储的数据的安全性、匹配性和可用性，对于存储的数据，还可以供用户进行检索和跟踪，从而保证用户可以了解数据的最新情况。

图4是本发明一个实施例的一种基于存储与处理的服务器系统中输入管理系统的示意框图。

如图4所示，在一个实施例中，优选地，所述数据更新系统151包括数据更新管理单元40，所述数据更新管理单元40包括：

请求模块41，用于提交数据更新的请求；

监测模块42，用于对更新的数据进行更新监测；

处理模块43，用于对数据进行更新。

图5是本发明一个实施例的一种基于存储与处理的服务器系统中输出管理系统的示意框图。

如图5所示，在一个实施例中，优选地，所述输出管理系统161包括：

输出单元51，用于数据的输出；

备份单元52，用于对输出的数据进行备份；

输出记录单元53，用于进行输出数据情况的记录；

输出管理单元54，用于对数据的输出进行管理。

在该实施例中，对输出的数据进行管理，并进行备份，从而避免数据的丢失，提高存储服务器系统的可用性。

图6是本发明一个实施例的一种基于存储与处理的服务器系统中输出记录单元的示意框图。

如图6所示，在一个实施例中，优选地，所述输出记录单元53包括信息状况检索模块61和信息反馈模块62；

所述信息状况检索模块61连接至所述输出单元51，用于根据接收到的数据请求，对目标数据的信息状况进行检索；

所述信息反馈模块62，用于将检索到的所述目标数据反馈至对应的用户终端。

在一个实施例中，优选地，所述信息状况检索模块61包括数据检索子模块、数据存储检索子模块及数据更新管理子模块；

所述数据检索子模块连接至网络数据库，用于从所述网络数据库获取数据；

所述数据存储检索子模块连接至所述数据存储服务器，用于从所述数据存储服务器获取数据；

所述数据更新管理子模块连接至所述输入管理系统，用于根据所述输入管理系统的输入信息进行数据更新。

在一个实施例中，优选地，所述数据包括企业知识产权数据。

图7是本发明一个实施例的一种基于存储与处理的服务器系统中输入管理系统中的主成分分析法的执行流程图。考虑到用户使用资源的形式和需求，假定所述基于存储与处理的服务器系统采集了在n个连续采样点对输入数据的m种状态指标的原始数据。为了减少后续数据分析算法的输入数据体量，考虑采用基于主成分分析的数据降维算法对原始数据进行预处理。主成分分析方法的核心是通过对原始数据进行线性变换，将其重新表达在一组正交基所构成的多维空间中，并且数据在新的空间基上表现出最大的离散度。此时，各维度数据间的协方差为零，即变换后的数据矩阵的协方差矩阵应为对角阵。同时，该协方差矩阵对角线上的值为不同主成分(基)上数据的方差(即数据离散程度)，该值度量了各主成分的重要程度。最后，根据数据压缩要求，选择若干主成分为基构成新的低维空间，重新表达原始数据，实现数据降维。

主成分分析法在保证指定的数据保真度阈值的前提下，进行尽可能用最小的数据维度表征原始数据，为后续存储和分析作为输入信号。下面给出了本实施例中所述主成分分析法的具体执行流程如下：

S701、获取原始的输入数据[x

S702、通过第一计算公式计算所述输入数据的特征值λ

S703、根据所述输入数据的特征值的大小进行特征相量排序，确定为第二计算公式格式的变换矩阵，其中，特征值的大小进行排序关系为λ

S704、初始化输入压缩后的数据维度为0；

S705、初始化数据保真度为0；

S706、判断数据保真度是否大于等于数据保真度阈值，响应于所述数据保真度大于等于数据保真度阈值，则按照第三计算公式压缩所述输入数据[x

S707、判断数据保真度是否小于数据保真度阈值，响应于所述数据保真度大于数据保真度阈值，则按照第四计算公式和第五计算公式更新所述输入压缩后的数据维度和数据保真度，并返回重新执行步骤S706；

所述第一计算公式为：

X

其中，m为监控指标类型数；X为原始的输入数据的矩阵[x

所述第二计算公式为：

P＝[e

其中，P为变换矩阵，D为压缩后的数据维度，λ

所述第三计算公式为：

Y＝PX＝[e

其中，Y为输出矩阵[y

所述第四计算公式为：

D＝D+1

其中，D为压缩后的数据维度。

所述第五计算公式：

其中，m为监控指标类型数；D为压缩后的数据维度；Fid为数据保真度；γ为数据保真度阈值(用户定义)；λ

图8是本发明一个实施例的一种基于存储与处理的服务器系统中输入管理系统中的输入信息变化曲线图。所述的输入信息为某个服务器的响应时间时延，时延时间最小为0s，最大为1s，根据所述的输入信息的响应时间时延在0到400ms的响应情况，绘制了相对应的响应时间时延变化曲线，共包括a、b、c、d四条曲线。

其中，a响应时间时延变化曲线为输入信息的实际变化曲线，在虚线圈出的时段内，所提供的输入信息发生了明显的波动与延迟，此时被标记为“anomaly”，因此被认为是一个不正常特征发生。一般认为此时该输入信息处于异常状态下。b、c、d响应时间时延变化曲线分别为原始数据在第1、2、3主成分方向上映射结果的变化曲线。

b响应时间时延变化曲线为原始数据在最重要的主成分方向上的映射，可以看出其与输入信息随时时间变化存在对应关系：在资源状态异常时段，其值也相应地明显高于正常值。因此，可以根据这些转换后的资源状态指标，推断所述的输入信息所处的真实状态。同样，d响应时间时延变化曲线也体现出这种对应关系。而c响应时间时延变化曲线中的数据变化与服务响应时间的变化不相关，其可能表征了所述的输入信息的其他状态特征，是检测其他类型异常状态的重要指标。

图9是本发明一个实施例的一种基于存储与处理的服务器系统中数据接收系统中的数据在线压缩流程图。由于实际系统在存储过程中可能存在存储空间不足的问题，为此需要进行数据的在线压缩，采用数据降维压缩方法进行在线数据存储，具体数据降维压缩方式流程如下：

S901、获取存储的数据分别为C＝[c

S903、建立并初始化关键状态数据矩阵Y＝[y

S903、根据第六计算公式计算映射后的关键状态数据Y＝[y

所述第六计算公式表示为：

Y＝S

其中，Y为关键状态数据；S为实时降维转换矩阵；C为存储的数据；D为降维后的数据维度；m为存储数据的维度。

在本实施例中，通过降维运算的方式，将原始的等待存储的m维数据降低至数据维度为D，因此，能够获得更为简洁的新数据。本实施例中的数据维度D为事先预设，当D小于或等于存储数据维度m时，所述实时降维存储方法则不做出不响应。

图10是本发明一个实施例的一种基于存储与处理的服务器系统中输出管理系统中的数据实时筛选流程图。假设基于存储与处理的服务器系统的总体输入数据包括K个，对于1到K个数据的影响因子分别为IF

S1001、获取输入数据X＝[x

S1002、通过第七计算公式获得K个数据的影响因子；

S1003、对比所计算的保真度Fid与预先设定的筛选数据保真度γ的关系，当保真度Fid小于预先设定的筛选数据保真度γ时，利用第八计算公式筛选出满足需求的关键数据。

所述第七计算公式表示为：

其中，IF

所述第八计算公式表示为：

其中，m为监控指标类型数；L为压缩后的数据维度；Fid为数据保真度；γ为数据保真度阈值(用户定义)；λ

在该实施例中，可以通过本发明的上述基于存储与处理的服务器系统来管理企业知识产权数据，从而解决上述企业知识产权管理存在管理缺失或零散的技术问题。

相较于现有技术，本发明提供的基于存储与处理的服务器系统具有以下有益效果：

本发明的服务器系统以较少的硬件成本，可以提供多个的存储输入终端，通过不同的服务器对存储的数据进行管理，并且数据更新和输出都具有备份，以低成本实现了系统的冗余，提高了存储服务器系统的可用性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。