一种基于高性能计算技术的高校科研数据处理与分析平台

技术领域

本发明属于数据处理技术领域，具体涉及一种基于高性能计算技术的高校科研数据处理与分析平台。

背景技术

数据处理，数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程。数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据，然而市面上各种的数据处理仍存在各种各样的问题。

如授权公告号为CN113780863A所公开的一种基于大数据的教学质量分析方法，其虽然实现了通过班级数据处理平台能够快速的分析出本班学生的阶段性学习成果，通过百分比的形式直接展现，能够横向对比本班各科教师之间的教学质量，通过年级数据处理平台直接将班级数据处理平台处理的本年级各班成绩数据进行年级性的排列，横向对比各班的教学质量，同时将个人成绩数据进行全年级的排列分析，能够更加全面的分析各班的教学质量，通过年级数据处理平台处理的数据，校级数据处理平台将其进行年级性的分类整理，从而对比各年级的教学质量进行分析，同时能够与其他学校的教学质量进行对比分析，但是并未解决现有数据信息在进行传输的时候，不能够实现对数据信息进行处理，以及实现对身份的认证和授权，容易受到攻击，以及对数据的存储和监控等未进行处理等的问题，为此我们提出一种基于高性能计算技术的高校科研数据处理与分析平台。

发明内容

本发明的目的在于提供一种基于高性能计算技术的高校科研数据处理与分析平台，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于高性能计算技术的高校科研数据处理与分析平台，包括高性能计算机处理器，所述高性能计算机处理器上电性连接有数据加密模块，所述数据加密模块上电性连接有数据滤波模块，所述数据滤波模块上电性连接有数据接收模块，所述数据接收模块用于实现对数据信息进行获取和实现对数据信息进行模数转换处理，使得数据信息能够转换成相适应的格式类型，所述数据滤波模块用于实现对接收传输的数据信息进行滤波处理，将数据信息中的杂波进行滤除，提高数据信息的精准度和安全性，并且防止数据信息受到异常干扰，所述数据加密模块用于实现对处理后的数据信息进行加密处理，提高数据信息的安全性，防止窃取或者修改数据信息；

所述高性能计算机处理器上电性连接有身份授权模块，所述身份授权模块上电性连接有身份认证模块，所述身份认证模块与所述数据接收模块电性连接，所述身份认证模块用于实现在进行数据信息传输之前进行认证处理，即先通过简短的身份信息数据进行传输，通过所述身份认证模块进行确定身份信息，然后再通过身份授权模块实现对数据信息来源方进行授权，然后实现对数据信息进行传输，有效的提高数据信息以及所述高性能计算机处理器的安全性，防止受到攻击；

所述高性能计算机处理器上电性连接有数据存储模块，所述数据存储模块上电性连接有数据备份模块，所述数据备份模块上电性连接有数据恢复模块，所述数据恢复模块与所述数据存储模块电性连接，所述数据存储模块用于实现对数据信息进行有效的存储，并且为了防止数据信息丢失，通过所述数据备份模块对数据信息进行备份处理，在数据异常丢失的时候，通过数据恢复模块将所述数据备份模块中的数据信息进行恢复，提高数据信息的安全性；

所述数据存储模块上电性连接有数据审计模块，所述数据审计模块上电性连接有数据监控模块，所述数据监控模块还分别与所述数据存储模块和所述数据加密模块进行电性连接，实现对传输和存储的数据信息进行监控，并且搭配审计结果给出评价内容，所述数据审计模块用于实现对数据信息进行处理，实现追踪查询和访问处理。

优选的，所述高性能计算机处理器上电性连接有通讯模块，所述通讯模块上电性连接有边缘云计算模块，所述边缘云计算模块用于实现对数据信息进行计算处理，有效的降低所述高性能计算机处理器的运行压力，并且提高计算的准确性。

优选的，所述高性能计算机处理器上电性连接有电源适配器，所述电源适配器上电性连接有供电模块，所述供电模块用于实现对系统进行供电运行，所述供电模块采用的是市电网。

优选的，所述电源适配器用于实现对电压进行调节输送，使得所述供电模块输送的电压能够适应与所述高性能计算机处理器的运行使用，所述电源适配器中包括有用于降低电压的降压电路，包括有用于实现将交流电压转换成直流电压的整流电路，包括有用于滤除直流电压中的交流电压的滤波电路，包括有用于稳定电压波动的稳压电路。

优选的，所述数据滤波模块用于实现对数据信息进行滤波处理，所述数据滤波模块中包括有滤波电路和前置放大电路，所述滤波电路采用的是滑动平均法。

优选的，所述滑动平均法的计算公式如下：

传输的数据信息是带有噪声的，期望噪声的均值为0，方差为σ

g

式中：x

式中：p

且假设噪声为0，则

当观测数据的真实值变化较小时，或者变化为线性时，可以近似认为，

滑动窗口内的真实数据变化不大的时候，抑制掉很大一部分噪声，滤波结果近似真实值；当滑动窗口内的真实值变化较大时，会损失一部分精确度，滤波结果接近真实值的平均期望。

优选的，所述身份认证模块采用的是信息签名校验，所述信息签名校验采用的是哈希函数，通过hash计算得到一个hash值；

所述哈希函数的计算公式如下；address＝H[key]；

所述哈希函数的哈希冲突的解决算法包括有线性探查法；

线性探查法

hi＝(h(key)+i)％m，0≤i≤m-1；

即探查时从地址d开始，首先探查T[d]，然后依次探查T[d+1]，…，直到T[m-1]，此后又循环到T[0]，T[1]，…，直到探查到有空余地址或者到T[d-1]为止。

优选的，所述身份授权模块用于在所述身份认证模块确定信息来源正常情况下进行授权，实现数据信息的传输；

所述身份授权模块分别是通过基于OAuth2.0流程中的授权码模式，以及通过API接口到授权中心对用户授权进行集中验证。

优选的，所述数据加密模块的加密算法和解密算法至少包括有哈希函数中的MD4、MD5和SHA-1算法；

所述哈希函数的计算公式如下：

address＝H[key]；

所述MD4的算法步骤：

数据填充：将输入数据填充到数据长度是512位的倍数，具体的填充规则在下文进一步说明；

分组处理：将填充后的数据每512位划分为一组，即64字节，再对每组数据进行处理；

处理完成后得到的128位结果即为MD4码；

所述MD4的公式如下：

数据先补上1个1比特，再补上k个0比特，使得补位后的数据比特数(n+1+k)满足(n+1+k)mod512＝448，k取最小正整数；

所述MD5的算法步骤：

填充：输入信息的长度对512求余的结果不等于448，就需要填充使得对512求余的结果等于448，填充的方法是填充一个1和n个0，填充完后，信息的长度就为N*512+448(bit)；

记录信息长度：用64位来存储填充前信息长度，这64位加在第一步结果的后面，这样信息长度就变为N*512+448+64＝(N+1)*512位；

装入标准的幻数：标准的幻数是(A＝(01234567)16，B＝(89ABCDEF)16，C＝(FEDCBA98)16，D＝(76543210)16)，在程序中定义应该是(A＝0X67452301L，B＝0XEFCDAB89L，C＝0X98BADCFEL，D＝0X10325476L)；

四轮循环运算：循环的次数是分组的个数(N+1)；

所述SHA-1的算法步骤：

将512位的明文分组划分为16个子明文分组，每个子明文分组为32位；

申请5个32位的链接变量，记为A、B、C、D、E；

16份子明文分组扩展为80份；

80份子明文分组进行4轮运算；

链接变量与初始链接变量进行求和运算；

链接变量作为下一个明文分组的输入重复进行上述操作；

最后，5个链接变量里面的数据就是SHA1摘要；

所述SHA-1算法的4轮运算公式：

A、B、C、D、E←[(A<<<5)+ft(B，C，D)+E+Wt+Kt]，A，(B<<<30)，C，D；

其中ft(B，C，D)为逻辑函数，Wt为子明文分组W[t]，Kt为固定常数；这个操作程序的意义为：

将[(A<<<5)+ft(B，C，D)+E+Wt+Kt]的结果赋值给链接变量A；

将链接变量A初始值赋值给链接变量B；

将链接变量B初始值循环左移30位赋值给链接变量C；

将链接变量C初始值赋值给链接变量D；

将链接变量D初始值赋值给链接变量E。

优选的，所述数据存储模块包括有虚拟地址和物理地址，

所述虚拟地址，进程看到的内存地址称为虚拟地址，不对应任何物理实体，每个进程有自己的地址空间；

所述物理地址，内存系统看到的地址称为物理地址，用实际的地址去查找和存储内容；

存取的地址做转换是负责将虚拟地址转换成物理地址；

存取的地址做转换用于实现虚拟内存、进程隔离、进程间通信、共享代码段、程序初始化、缓存管理和内存映射文件。

与现有技术相比，本发明的有益效果是：

本发明涉及一种基于高性能计算技术的高校科研数据处理与分析平台，旨在提供一种高效、安全、可靠、智能的数据处理和分析服务，采用了多种数据安全机制和技术，包括数据加密、身份认证和授权、实时监控和审计等，以确保数据的安全性、完整性和机密性。平台还采用了数据中心和数据运维技术，对数据进行分散存储、备份和恢复，以保证数据的可靠性和可用性，此外，平台还采用了高性能计算和人工智能技术，对大规模数据进行高效、精确的处理和分析，可以为科研人员提供更加安全、高效、准确的数据处理和分析服务，为高校科研领域的技术发展和创新提供重要支持。

附图说明

图1为本发明的系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于高性能计算技术的高校科研数据处理与分析平台，包括高性能计算机处理器，所述高性能计算机处理器上电性连接有数据加密模块，所述数据加密模块上电性连接有数据滤波模块，所述数据滤波模块上电性连接有数据接收模块，所述数据接收模块用于实现对数据信息进行获取和实现对数据信息进行模数转换处理，使得数据信息能够转换成相适应的格式类型，所述数据滤波模块用于实现对接收传输的数据信息进行滤波处理，将数据信息中的杂波进行滤除，提高数据信息的精准度和安全性，并且防止数据信息受到异常干扰，所述数据加密模块用于实现对处理后的数据信息进行加密处理，提高数据信息的安全性，防止窃取或者修改数据信息；

所述高性能计算机处理器上电性连接有身份授权模块，所述身份授权模块上电性连接有身份认证模块，所述身份认证模块与所述数据接收模块电性连接，所述身份认证模块用于实现在进行数据信息传输之前进行认证处理，即先通过简短的身份信息数据进行传输，通过所述身份认证模块进行确定身份信息，然后再通过身份授权模块实现对数据信息来源方进行授权，然后实现对数据信息进行传输，有效的提高数据信息以及所述高性能计算机处理器的安全性，防止受到攻击；

所述高性能计算机处理器上电性连接有数据存储模块，所述数据存储模块上电性连接有数据备份模块，所述数据备份模块上电性连接有数据恢复模块，所述数据恢复模块与所述数据存储模块电性连接，所述数据存储模块用于实现对数据信息进行有效的存储，并且为了防止数据信息丢失，通过所述数据备份模块对数据信息进行备份处理，在数据异常丢失的时候，通过数据恢复模块将所述数据备份模块中的数据信息进行恢复，提高数据信息的安全性；

所述数据存储模块上电性连接有数据审计模块，所述数据审计模块上电性连接有数据监控模块，所述数据监控模块还分别与所述数据存储模块和所述数据加密模块进行电性连接，实现对传输和存储的数据信息进行监控，并且搭配审计结果给出评价内容，所述数据审计模块用于实现对数据信息进行处理，实现追踪查询和访问处理。

为了实现对数据信息进行传输，便于实现对数据进行远程计算处理，减少高性能计算机处理器的运行压力，本实施例中，优选的，所述高性能计算机处理器上电性连接有通讯模块，所述通讯模块上电性连接有边缘云计算模块，所述边缘云计算模块用于实现对数据信息进行计算处理，有效的降低所述高性能计算机处理器的运行压力，并且提高计算的准确性。

为了使得系统平台能够有效的实现对运行，并且保持运行的稳定性，本实施例中，优选的，所述高性能计算机处理器上电性连接有电源适配器，所述电源适配器上电性连接有供电模块，所述供电模块用于实现对系统进行供电运行，所述供电模块采用的是市电网。

为了实现对供电模块输送的电压进行调节，保持电压的稳定性，本实施例中，优选的，所述电源适配器用于实现对电压进行调节输送，使得所述供电模块输送的电压能够适应与所述高性能计算机处理器的运行使用，所述电源适配器中包括有用于降低电压的降压电路，包括有用于实现将交流电压转换成直流电压的整流电路，包括有用于滤除直流电压中的交流电压的滤波电路，包括有用于稳定电压波动的稳压电路。

为了实现对数据信息进行滤波处理，提高数据信息的精准度，本实施例中，优选的，所述数据滤波模块用于实现对数据信息进行滤波处理，所述数据滤波模块中包括有滤波电路和前置放大电路，所述滤波电路采用的是滑动平均法。

为了实现对数据信息进行滤波计算处理，本实施例中，优选的，所述滑动平均法的计算公式如下：

传输的数据信息是带有噪声的，期望噪声的均值为0，方差为σ

g

式中：x

式中：p

且假设噪声为0，则

当观测数据的真实值变化较小时，或者变化为线性时，可以近似认为，

滑动窗口内的真实数据变化不大的时候，抑制掉很大一部分噪声，滤波结果近似真实值；当滑动窗口内的真实值变化较大时，会损失一部分精确度，滤波结果接近真实值的平均期望。

为了实现对数据来源方的身份信息进行确定，本实施例中，优选的，所述身份认证模块采用的是信息签名校验，所述信息签名校验采用的是哈希函数，通过hash计算得到一个hash值；

所述哈希函数的计算公式如下；address＝H[key]；

所述哈希函数的哈希冲突的解决算法包括有线性探查法；

线性探查法

hi＝(h(key)+i)％m，0≤i≤m-1；

即探查时从地址d开始，首先探查T[d]，然后依次探查T[d+1]，…，直到T[m-1]，此后又循环到T[0]，T[1]，…，直到探查到有空余地址或者到T[d-1]为止。

为了使得信息来源方能够实现授权传输数据信息，本实施例中，优选的，所述身份授权模块用于在所述身份认证模块确定信息来源正常情况下进行授权，实现数据信息的传输；

所述身份授权模块分别是通过基于OAuth2.0流程中的授权码模式，以及通过API接口到授权中心对用户授权进行集中验证。

为了实现对数据信息进行加密处理，防止数据信息被攻击，本实施例中，优选的，所述数据加密模块的加密算法和解密算法至少包括有哈希函数中的MD4、MD5和SHA-1算法；

所述哈希函数的计算公式如下：

address＝H[key]；

所述MD4的算法步骤：

数据填充：将输入数据填充到数据长度是512位的倍数，具体的填充规则在下文进一步说明；

分组处理：将填充后的数据每512位划分为一组，即64字节，再对每组数据进行处理；

处理完成后得到的128位结果即为MD4码；

所述MD4的公式如下：

数据先补上1个1比特，再补上k个0比特，使得补位后的数据比特数(n+1+k)满足(n+1+k)mod512＝448，k取最小正整数；

所述MD5的算法步骤：

填充：输入信息的长度对512求余的结果不等于448，就需要填充使得对512求余的结果等于448，填充的方法是填充一个1和n个0，填充完后，信息的长度就为N*512+448(bit)；

记录信息长度：用64位来存储填充前信息长度，这64位加在第一步结果的后面，这样信息长度就变为N*512+448+64＝(N+1)*512位；

装入标准的幻数：标准的幻数是(A＝(01234567)16，B＝(89ABCDEF)16，C＝(FEDCBA98)16，D＝(76543210)16)，在程序中定义应该是(A＝0X67452301L，B＝0XEFCDAB89L，C＝0X98BADCFEL，D＝0X10325476L)；

四轮循环运算：循环的次数是分组的个数(N+1)；

所述SHA-1的算法步骤：

将512位的明文分组划分为16个子明文分组，每个子明文分组为32位；

申请5个32位的链接变量，记为A、B、C、D、E；

16份子明文分组扩展为80份；

80份子明文分组进行4轮运算；

链接变量与初始链接变量进行求和运算；

链接变量作为下一个明文分组的输入重复进行上述操作；

最后，5个链接变量里面的数据就是SHA1摘要；

所述SHA-1算法的4轮运算公式：

A、B、C、D、E←[(A<<<5)+ft(B，C，D)+E+Wt+Kt]，A，(B<<<30)，C，D；

其中ft(B，C，D)为逻辑函数，Wt为子明文分组W[t]，Kt为固定常数；这个操作程序的意义为：

将[(A<<<5)+ft(B，C，D)+E+Wt+Kt]的结果赋值给链接变量A；

将链接变量A初始值赋值给链接变量B；

将链接变量B初始值循环左移30位赋值给链接变量C；

将链接变量C初始值赋值给链接变量D；

将链接变量D初始值赋值给链接变量E。

为了实现对数据信息进行有效的快速的进行存储，本实施例中，优选的，所述数据存储模块包括有虚拟地址和物理地址，

所述虚拟地址，进程看到的内存地址称为虚拟地址，不对应任何物理实体，每个进程有自己的地址空间；

所述物理地址，内存系统看到的地址称为物理地址，用实际的地址去查找和存储内容；

存取的地址做转换是负责将虚拟地址转换成物理地址；

存取的地址做转换用于实现虚拟内存、进程隔离、进程间通信、共享代码段、程序初始化、缓存管理和内存映射文件。

本发明的工作原理及使用流程：在使用的时候，通过供电模块实现对系统平台进行供电，且在供电模块进行供电的时候，通过电源适配器进行调节电压，保持电压的稳定性，即电源适配器用于实现对电压进行调节输送，使得供电模块输送的电压能够适应与高性能计算机处理器的运行使用，电源适配器中包括有用于降低电压的降压电路，包括有用于实现将交流电压转换成直流电压的整流电路，包括有用于滤除直流电压中的交流电压的滤波电路，包括有用于稳定电压波动的稳压电路，然后高性能计算机处理器通过数据接收模块实现对数据传输方的认证信息进行接收，通过身份认证模块进行认定，然后通过身份授权模块进行授权传输，则可以实现对数据信息进行传输，过程是身份认证模块用于实现在进行数据信息传输之前进行认证处理，即先通过简短的身份信息数据进行传输，通过身份认证模块进行确定身份信息，然后再通过身份授权模块实现对数据信息来源方进行授权，然后实现对数据信息进行传输，有效的提高数据信息以及高性能计算机处理器的安全性，防止受到攻击，即数据接收模块用于实现对数据信息进行获取和实现对数据信息进行模数转换处理，使得数据信息能够转换成相适应的格式类型，数据滤波模块用于实现对接收传输的数据信息进行滤波处理，将数据信息中的杂波进行滤除，提高数据信息的精准度和安全性，并且防止数据信息受到异常干扰，数据加密模块用于实现对处理后的数据信息进行加密处理，提高数据信息的安全性，防止窃取或者修改数据信息，在进行数据传输的时候，通过数据存储模块进行存储数据信息，即数据存储模块用于实现对数据信息进行有效的存储，并且为了防止数据信息丢失，通过数据备份模块对数据信息进行备份处理，在数据异常丢失的时候，通过数据恢复模块将数据备份模块中的数据信息进行恢复，提高数据信息的安全性，以及数据存储模块上电性连接有数据审计模块，数据审计模块上电性连接有数据监控模块，数据监控模块还分别与数据存储模块和数据加密模块进行电性连接，实现对传输和存储的数据信息进行监控，并且搭配审计结果给出评价内容，数据审计模块用于实现对数据信息进行处理，实现追踪查询和访问处理，并且为了实现对数据信息进行计算处理，在高性能计算机处理器上电性连接有通讯模块，通讯模块上电性连接有边缘云计算模块，边缘云计算模块用于实现对数据信息进行计算处理，有效的降低高性能计算机处理器的运行压力，并且提高计算的准确性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。