掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本申请涉及地震勘探技术领域,具体涉及一种三维叠前数据的并行随机噪声衰减方法、监控方法及节点。

背景技术

在地震数据的采集过程中,由于工区地表条件的复杂性,以及震源与检波点所处外部环境的影响,地震资料中常含有许多随机噪声,如微震、背景干扰等。这些在地震记录上表现为杂乱无章的随机噪声分布很广,严重影响了资料的信噪比,给地震资料的处理解释工作带来了极大的困难。因此,人们一直在探寻去除随机噪声的有效方法。

基于预测理论的随机噪声衰减(Random Noise Attenuation,简称RNA)是比较有效的方法之一,它最早由canales于1984年提出(F-X域),并以其理论上的严密性和实际效果上的显著性很快在地震资料数字处理中得到广泛应用。经过长期不断的发展,已经从早期的二维,发展到目前的四维(三维叠前)。基于预测理论的频率空间F-XYZ域预测去噪技术,它把X、Y、Z维分别定义为CROSSLINE方向的不同LINE、INLINE方向的不同CMP、共CMP道集中的炮检距(或道号),将预测去噪技术应用到CMP域三维叠前地震记录中,实现三维叠前地震记录的随机噪声衰减。

然而,基于F-XYZ域预测去噪技术的三维叠前随机噪声衰减将三维地震数据从整体上进行考虑,充分利用三维空间信息,完整保留构造形态,去噪效果显著。但由于它需要在较大的空间范围内对地震数据进行整体预测,因而每次处理的数据量很大,计算量也很大。在大数据量的资料处理过程中,集群计算性能速度增长远大于集中存储带宽的增长,节点并行计算对数据带宽的需求远大于集中存储能够提供的带宽,也就是说,现有的三维叠前数据的随机噪声衰减处理方式存在处理效率低且无法满足大数据量的地震资料的处理需求。

发明内容

针对现有技术中的问题,本申请提供一种三维叠前数据的并行随机噪声衰减方法、监控方法及节点,能够有效提高三维叠前数据的随机噪声衰减的效率,进而能够有效提高应用随机噪声衰减后的地震数据进行地震勘探的效率。

为解决上述技术问题,本申请提供以下技术方案:

第一方面,本申请提供一种三维叠前数据的并行随机噪声衰减方法,包括:

与其他计算节点并行接收各自对应的三维叠前数据;

基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行读取对应的所述三维叠前数据中的目标地震数据;

与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理,并与其他计算节点并行将各自对应的噪声衰减结果输出至主节点,以使所述主节点对各个所述计算节点输出的噪声衰减结果进行数据汇总并将对应的汇总结果发送至对应的数据库。

进一步地,所述三维叠前数据的并行随机噪声衰减方法中的在所述应用预设的BT协议与其他计算节点并行读取对应的所述三维叠前数据中的目标地震数据之前,还包括:

建立对应的分布式存储器;

相对应的,所述基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行读取对应的所述三维叠前数据中的目标地震数据,包括:

基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行在对应的所述分布式存储器中读取对应的所述三维叠前数据中的目标地震数据。

进一步地,所述三维叠前数据的并行随机噪声衰减方法还包括:

接收其他计算节点发送的数据分享请求;

根据所述数据分享请求,基于所述BT协议在自身对应的所述分布式存储器中获取并发送对应的地震数据至其他计算节点。

进一步地,所述三维叠前数据的并行随机噪声衰减方法中的在所述与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理之前,还包括:

建立至少三个用于并行执行的控制线程,其中,至少一个控制线程用于接收所述目标地震数据,至少一个控制线程用于对所述目标地震数据进行噪声衰减处理,至少一个控制线程用于输出所述噪声衰减结果至所述主节点。

进一步地,所述三维叠前数据的并行随机噪声衰减方法中的在所述与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理之前,还包括:

根据自身预设的CPU处理阈值建立多个计算线程;

相对应的,所述与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理,包括:

与其他计算节点并行应用各自对应的多个所述计算线程对各自对应的目标地震数据进行噪声衰减处理。

进一步地,所述三维叠前数据的并行随机噪声衰减方法中的所述噪声衰减处理包括:傅里叶变换处理、算子求取处理、地震反褶积处理和反快速傅里叶变换处理。

第二方面,本申请提供一种数据监控方法,包括:

对属于同一个Linux集群中的各个计算节点进行实时监测;

若接收到任一计算节点的任务请求,则根据该任务请求向对应的计算节点分配任务,该任务中包含有待处理的三维叠前数据,以使所述计算节点针对该三维叠前数据实现所述的三维叠前数据的并行随机噪声衰减方法;

接收各个所述计算节点发送的噪声衰减结果;

将各个所述计算节点多次输出的噪声衰减结果进行数据汇总,并将对应的汇总结果发送至对应的数据库。

进一步地,所述数据监控方法中的所述任务请求中包含有对应的计算节点上一次完成的任务标识和噪声衰减结果;所述数据监控方法还包括:

将所述计算节点上一次完成的任务标识和噪声衰减结果记录在记录文件中。

进一步地,所述数据监控方法还包括:

若检测到任一计算节点发生故障,则根据所述记录文件对该计算节点进行故障结果检查,并将该计算节点未完成的任务分配至其他计算节点完成。

第三方面,本申请提供一种计算节点,包括:

数据并行接收模块,用于与其他计算节点并行接收各自对应的三维叠前数据;

数据并行读取模块,用于基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行读取对应的所述三维叠前数据中的目标地震数据;

数据并行处理模块,用于与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理,并与其他计算节点并行将各自对应的噪声衰减结果输出至主节点,以使所述主节点对各个所述计算节点输出的噪声衰减结果进行数据汇总并将对应的汇总结果发送至对应的数据库。

进一步地,所述计算节点还包括:

存储器建立模块,用于建立对应的分布式存储器;

相对应的,所述数据并行读取模块包括:

目标地震数据并行读取单元,用于基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行在对应的所述分布式存储器中读取对应的所述三维叠前数据中的目标地震数据。

进一步地,所述计算节点还包括:

分享请求接收模块,用于接收其他计算节点发送的数据分享请求;

数据分享模块,用于根据所述数据分享请求,基于所述BT协议在自身对应的所述分布式存储器中获取并发送对应的地震数据至其他计算节点。

进一步地,所述计算节点还包括:

控制线程建立模块,用于建立至少三个用于并行执行的控制线程,其中,至少一个控制线程用于接收所述目标地震数据,至少一个控制线程用于对所述目标地震数据进行噪声衰减处理,至少一个控制线程用于输出所述噪声衰减结果至所述主节点。

进一步地,所述计算节点还包括:

计算线程建立模块,用于根据自身预设的CPU处理阈值建立多个计算线程;

相对应的,所述数据并行处理模块包括:

噪声衰减处理单元,用于与其他计算节点并行应用各自对应的多个所述计算线程对各自对应的目标地震数据进行噪声衰减处理。

进一步地,所述计算节点中的所述噪声衰减处理包括:傅里叶变换处理、算子求取处理、地震反褶积处理和反快速傅里叶变换处理。

第四方面,本申请提供一种第一电子设备,包括第一存储器、第一处理器及存储在第一存储器上并可在第一处理器上运行的计算机程序,所述第一处理器执行所述程序时实现所述的三维叠前数据的并行随机噪声衰减方法的步骤。

第五方面,本申请提供一种第一计算机可读存储介质,其上存储有第一计算机程序,该第一计算机程序被处理器执行时实现所述的三维叠前数据的并行随机噪声衰减方法的步骤。

第六方面,本申请提供一种主节点,包括:

实时监测模块,用于对属于同一个Linux集群中的各个计算节点进行实时监测;

任务分配模块,用于若接收到任一计算节点的任务请求,则根据该任务请求向对应的计算节点分配任务,该任务中包含有待处理的三维叠前数据,以使所述计算节点针对该三维叠前数据实现所述的三维叠前数据的并行随机噪声衰减方法;

处理结果接收模块,用于接收各个所述计算节点发送的噪声衰减结果;

数据汇总模块,用于将各个所述计算节点多次输出的噪声衰减结果进行数据汇总,并将对应的汇总结果发送至对应的数据库。

进一步地,所述主节点中的所述任务请求中包含有对应的计算节点上一次完成的任务标识和噪声衰减结果;所述主节点还包括:

数据记录模块,用于将所述计算节点上一次完成的任务标识和噪声衰减结果记录在记录文件中。

进一步地,所述主节点还包括:

故障处理模块,用于若检测到任一计算节点发生故障,则根据所述记录文件对该计算节点进行故障结果检查,并将该计算节点未完成的任务分配至其他计算节点完成。

第七方面,本申请提供一种第二电子设备,包括第二存储器、第二处理器及存储在第二存储器上并可在第二处理器上运行的计算机程序,所述第二处理器执行所述程序时实现所述的数据监控方法的步骤。

第八方面,本申请提供一种第二计算机可读存储介质,其上存储有第二计算机程序,该第二计算机程序被第二处理器执行时实现所述的数据监控方法的步骤。

第九方面,本申请提供一种三维叠前数据的并行随机噪声衰减处理系统,包括:至少一个所述的主节点,以及,多个所述的计算节点;

各个所述计算节点分别与所述主节点通信连接。

由上述技术方案可知,本申请提供一种三维叠前数据的并行随机噪声衰减方法、监控方法及节点,方法包括:与其他计算节点并行接收各自对应的三维叠前数据;基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行读取对应的所述三维叠前数据中的目标地震数据;与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理,并与其他计算节点并行将各自对应的噪声衰减结果输出至主节点,以使所述主节点对各个所述计算节点输出的噪声衰减结果进行数据汇总并将对应的汇总结果发送至对应的数据库,随机噪声衰减处理过程的可靠性高且准确性高,能够有效提高处理器针对地震资料的处理性能,尤其是超大数据量的地震资料处理,通过充分利用Linux集群多节点的内存、SSD、临时盘等存储资源,解决集中存储的输入或输出瓶颈,有效缩短RNA时间,能够有效提高三维叠前数据的随机噪声衰减的效率,进而能够满足石油地球物理勘探资料处理的需求,有效缩短地震勘探的时间,并能够提高应用随机噪声衰减后的地震数据进行地震勘探的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请的三维叠前数据的随机噪声衰减系统的结构示意图。

图2为本申请实施例中的三维叠前数据的并行随机噪声衰减方法的流程示意图。

图3为本申请实施例中的数据监控方法的流程示意图。

图4为本申请具体应用实例中的应用计算节点和主节点实现三维叠前数据的并行随机噪声衰减方法的综合应用流程示意图。

图5为本申请具体应用实例中的节点并行逻辑处理示意图。

图6为本申请具体应用实例中的分布式存储器的逻辑结构示意图。

图7为本申请实施例中的计算节点的结构示意图。

图8为本申请实施例中的第一电子设备的结构示意图。

图9为本申请实施例中的主节点的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

首先说明三维叠前RNA的串行实现过程,三维叠前RNA串行实现算法具体为:

(1)、数据分块,将整体数据拆分成多个小空间窗数据;

(2)、读取一个小空间窗数据;

(3)、RNA计算,包括FFT变换,算子求取,DECON及反FFT变换;

(4)、做Z方向重叠;

(5)、做Y方向重叠;

(6)、做X方向重叠,并输出一个X数据,转第2步。

在大规模的Linux集群中,随着地震数据量的急剧增长,动辄几百T,集中存储带宽不能满足计算性能速度增长。

针对上述内容,考虑到现有的三维叠前数据的随机噪声衰减处理方式存在处理效率低且无法满足大数据量的地震资料的处理需求的问题,需要找到一种解决RNA并行计算过程中的IO瓶颈,提高生产中RNA并行效率,满足石油地球物理勘探资料处理中降本增效的需求。基于此,本申请提供一种三维叠前数据的并行随机噪声衰减方法、数据监控方法、计算节点、主节点、电子设备、计算机可读存储介质以及三维叠前数据的并行随机噪声衰减系统。通过将地震数据按照用户给定三维关键字参数拆分成多个数据文件存储于不同的节点上,运算需要的空间窗数据按照BT机制在各节点上进行广播读取,空间窗之间的重叠数据部分同样按照BT机制进行处理。不仅大幅缩短地震资料RNA处理中的数据IO时间,而且形成一种高扩展性的地震资料RNA处理的并行方法,具有节点容错和故障恢复等优势。

在本申请的一个或多个实施例中所涉及的三维叠前数据的随机噪声衰减方法包括:数据预处理,地震数据以多文件方式存储于各节点;利用内存、SSD、临时盘构建分布式Cache;基于BT机制,在分布式Cache上共享数据;以BT方式读取一个空间窗数据;RNA计算,包括FFT变换、算子求取、DECON及反FFT变换;分别做Z、Y、X方向重叠;不同节点间数据利用BT机制进行IO。

在本申请的一个或多个实施例中的三维叠前数据的随机噪声衰减中,各节点间充分利用BT机制的分布式Cache数据,每个节点的处理充分并行,同时每个节点内部,RNA计算、重叠处理及输出是并行的,大幅缩短RNA处理的时间,同时具备了节点容错和断点保护功能,适应实际工业生产的需求。

也就是说,本申请的目的在于加速三维叠前RNA处理过程,提高其处理性能,尤其是超大数据量的地震资料处理,充分利用Linux集群多节点的内存、SSD、临时盘等存储资源,解决集中存储的IO瓶颈,有效缩短RNA时间,满足石油地球物理勘探资料处理的需求。

本发明中三维叠前数据的并行随机噪声衰减方法主要解决大数据集中存储的IO瓶颈问题。本发明的并行策略充分利用Linux集群多节点的内存、SSD、临时盘等存储资源,在每个节点内部,运用多线程进行RNA计算,同时启用线程进行重叠窗处理和输出。

三维叠前数据的并行随机噪声衰减方法分为以下步骤:

(1)将地震数据按照用户给定三维关键字参数将集中存储的地震数据分发到不同的节点上;

(2)利用内存、SSD、临时盘构建分布式Cache;

(3)基于BT机制,在分布式Cache上共享数据;

(4)通过分布式Cache,以BT方式读取一个空间窗数据;

(5)RNA计算,包括FFT变换、算子求取、DECON及反FFT变换;

(6)分别做Z、Y、X方向重叠;

(7)节点间数据利用BT机制进行IO。

由于各个小空间窗数据的处理是相对独立的,因而可以将多个小空间窗数据的处理并行起来,本发明的并行方法正是基于此。本发明的并行策略是将前三个方向空间窗数据分发到各个节点上并行处理,在每个节点内部,运用多线程进行数据重建计算,在进行计算的同时,启用线程进行重叠处理和输出。

基于上述内容,本申请还提供一种三维叠前数据的随机噪声衰减系统,参见图1,该三维叠前数据的随机噪声衰减系统中包含至少一个主节点1和多个计算节点2,所述主节点1和计算节点2均可以为服务器或者客户端设备,所述主节点1和各个所述计算节点2之间通信连接,主节点1还可以与至少一个对应的客户端设备及至少一个数据库分别通信连接。所述主节点1可以从客户端设备获取监控指令,其中,所述计算节点2用于执行本申请中的一个或多个实施例中的三维叠前数据的随机噪声衰减方法中的全部或部分内容,所述主节点1用于执行本申请中的一个或多个实施例中的数据监控方法中的全部或部分内容。

可以理解的是,所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。

在实际应用中,进行三维叠前数据的随机噪声衰减的部分可以在如上述内容所述的服务器侧执行,也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器。

上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。

所述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。

在本申请的一个或多个实施例中,所述计算节点和所述主节点均属于同一Linux集群(负载均衡集群)。所述Linux集群的操作系统是一个用来和硬件打交道并为用户程序提供一个有限服务集的低级支撑软件。一个计算机系统是一个硬件和软件的共生体,它们互相依赖,不可分割。计算机的硬件,含有外围设备、处理器、内存、硬盘和其他的电子设备组成计算机的发动机。但是没有软件来操作和控制它,自身是不能工作的。完成这个控制工作的软件就称为操作系统,在Linux的术语中被称为“内核”,也可以称为“核心”。Linux内核的主要模块(或组件)分以下几个部分:存储管理、CPU和进程管理、文件系统、设备管理和驱动、网络通信,以及系统的初始化(引导)、系统调用等。

具体通过下述各个实施例进行说明。

为了能够有效提高三维叠前数据的随机噪声衰减的效率,进而能够有效提高应用随机噪声衰减后的地震数据进行地震勘探的效率,本申请提供一种三维叠前数据的并行随机噪声衰减方法的实施例,参见图2,所述三维叠前数据的并行随机噪声衰减方法具体包含有如下内容:

步骤100:与其他计算节点并行接收各自对应的三维叠前数据。

步骤200:基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行读取对应的所述三维叠前数据中的目标地震数据。

步骤300:与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理,并与其他计算节点并行将各自对应的噪声衰减结果输出至主节点,以使所述主节点对各个所述计算节点输出的噪声衰减结果进行数据汇总并将对应的汇总结果发送至对应的数据库。

为了能够进一步提高三维叠前数据的并行随机噪声衰减的处理效率,在本申请的一个实施例中,在步骤200之前,所述三维叠前数据的并行随机噪声衰减方法中还包含有:步骤001:建立对应的分布式存储器。

相对应的,所述步骤200具体包含有如下内容:

步骤201:基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行在对应的所述分布式存储器中读取对应的所述三维叠前数据中的目标地震数据。

可以理解的是,所述BT协议全称为BitTorren,属于一个P2P的下载协议。

为了能够进一步提高三维叠前数据的并行随机噪声衰减的处理效率,

步骤202:步骤接收其他计算节点发送的数据分享请求。

步骤203:根据所述数据分享请求,基于所述BT协议在自身对应的所述分布式存储器中获取并发送对应的地震数据至其他计算节点。

在本申请的一个实施例中,在步骤300之前,所述三维叠前数据的并行随机噪声衰减方法中还包含有:

步骤204:建立至少三个用于并行执行的控制线程,其中,至少一个控制线程用于接收所述目标地震数据,至少一个控制线程用于对所述目标地震数据进行噪声衰减处理,至少一个控制线程用于输出所述噪声衰减结果至所述主节点。

步骤205:根据自身预设的CPU处理阈值建立多个计算线程。

相对应的,所述步骤300还具体包含有如下内容:

步骤301:与其他计算节点并行应用各自对应的多个所述计算线程对各自对应的目标地震数据进行噪声衰减处理。

可以理解的是,本申请中的所述噪声衰减处理包括:傅里叶变换处理、算子求取处理、地震反褶积处理和反快速傅里叶变换处理。

从上述描述可知,本申请实施例提供的三维叠前数据的并行随机噪声衰减方法,其随机噪声衰减处理过程的可靠性高且准确性高,能够有效提高处理器针对地震资料的处理性能,尤其是超大数据量的地震资料处理,通过充分利用Linux集群多节点的内存、SSD、临时盘等存储资源,解决集中存储的输入或输出瓶颈,有效缩短RNA时间,能够有效提高三维叠前数据的随机噪声衰减的效率,进而能够满足石油地球物理勘探资料处理的需求,有效缩短地震勘探的时间,并能够提高应用随机噪声衰减后的地震数据进行地震勘探的效率。

为了能够有效提高三维叠前数据的随机噪声衰减的效率及处理可靠性,进而能够有效提高应用随机噪声衰减后的地震数据进行地震勘探的效率,本申请提供一种执行主体为主节点的数据监控方法的实施例,参见图3,所述数据监控方法具体包含有如下内容:

步骤400:对属于同一个Linux集群中的各个计算节点进行实时监测;

步骤500:若接收到任一计算节点的任务请求,则根据该任务请求向对应的计算节点分配任务,该任务中包含有待处理的三维叠前数据,以使所述计算节点针对该三维叠前数据实现前述的三维叠前数据的并行随机噪声衰减方法。

步骤600:接收各个所述计算节点发送的噪声衰减结果。

步骤700:将各个所述计算节点多次输出的噪声衰减结果进行数据汇总,并将对应的汇总结果发送至对应的数据库。

可以理解的是,所述任务请求中包含有对应的计算节点上一次完成的任务标识和噪声衰减结果;所述数据监控方法还具体包含有如下内容:

步骤800:将所述计算节点上一次完成的任务标识和噪声衰减结果记录在记录文件中。

在本申请的一个实施例中,所述数据监控方法还具体包含有如下内容:

步骤900:若检测到任一计算节点发生故障,则根据所述记录文件对该计算节点进行故障结果检查,并将该计算节点未完成的任务分配至其他计算节点完成。

从上述描述可知,本申请实施例提供的数据监控方法,将地震数据按照用户给定三维关键字参数拆分成多个数据文件存储于不同的节点上,运算需要的空间窗数据按照BT机制在各节点上进行广播读取,空间窗之间的重叠数据部分同样按照BT机制进行处理。不仅大幅缩短地震资料RNA处理中的数据IO时间,而且形成一种高扩展性的地震资料RNA处理的并行方法,具有节点容错和故障恢复等优势。

为了进一步说明本方案,本申请还提供一种包含有三维叠前数据的并行随机噪声衰减方法的步骤过程的数据监控方法的具体应用实例,首先按照用户给定三维关键字参数将集中存储的地震数据分发到不同的节点上,利用内存、SSD、临时盘构建分布式Cache,然后基于BT机制,在分布式Cache上共享数据。每个节点按照空间窗的大小(X、Y、Z三个方向)读取数据,利用集群中多计算节点及节点内多核并行计算实现加速RNA计算。参见图4和图5,具体步骤及实施过程如下:

S1:数据分发

将地震数据按照用户给定三维关键字参数将集中存储的地震数据分发到不同的节点上,各节点并行读取对应的地震数据,即各节点按照分配的数据范围并行读取集中存储的地震数据,设地震数据X方向范围为1-M,N个节点,则每个节点的读取数据范围大小为(1-M)/N。

S2:构建分布式存储器

利用内存、SSD及临时盘构建如图6所示的分布式存储器Cache。

S3:数据共享及读取

各个节点基于预设的BT(又可以被称之为BT机制、BT下载或P2P下载)协议,在分布式存储器Cache上共享数据;以及,各个节点基于预设的BT协议按照预设的目标空间窗的大小(X、Y、Z三个方向)读取数据。

S4:节点内多线程控制

利用pthread在每个计算节点内建立三个控制线程,分别用于任务请求并读取数据、计算控制、输出结果。这样实现了数据预读取、前一次计算结果输出和后一次计算同时进行,达到了一次任务的输入、计算、输出过程的全并行。

具体来说,S4中的输入、计算及输出过程分别实现如下:

(1)数据输入:

计算节点基于预设的BT协议按照预设的目标空间窗的大小(X、Y、Z三个方向)读取数据。

(2)数据计算:

节点内多线程并行计算,即为了充分利用每个节点的处理能力(CPU核),建立符合CPU核数个计算线程进行并行计算。利用pthread创建线程,并使用pthread_mutex_t和pthread_cond_t进行线程控制,其中,RNA计算包括:FFT变换、算子求取、DECON及反FFT变换,并分别做Z、Y、X方向重叠。

(3)数据输出:

在计算节点完成一次计算任务后,将启用输出控制线程进行结果输出。

S5:主节点记录文件:

在计算节点请求任务时,将上一次完成的任务ID和结果信息传送给主节点,主节点负责存储从节点传回的信息记录文件(作为故障恢复的凭据),然后继续为完成任务的计算节点分配任务。记录文件名为发送作业用户目录下的作业名,以免用户间作业冲突。

S6:节点容错

在计算过程中,若主节点检测到某个计算节点发生故障,则该主节点根据记录文件信息进行结果检查,并将其未完成的任务交由其它节点完成。

S7:故障恢复

在作业执行过程中,由于各种机器原因导致作业执行失败时,重启作业后主节点根据记录文件重建任务列表,并检查计算结果的正确性。故障恢复重启时,应该将作业参数restart选为yes。

S8:结果合并

在计算过程中,为了节点间充分并行,各节点负责输出计算结果。在完成计算任务后,主节点负责将各计算节点的输出结果进行合并。生成最后结果时,主节点向数据库中写入数据信息。

S9:性能测试

测试集群环境包括硬件环境、软件环境、运行软件,其中硬件环境为20个节点的Linux集群,每个节点包括16核,节点之间通过千兆网络连接(两根网线绑定);运行软件包括RNA并行程序;测试数据采用某三维工区数据,具体各项参数表1所示。

表1测试环境

为了保证测试性能结果的稳定性和可信度,我们采用20个节点各测试三次,具体结果如表2所示:

表2测试结果

为了能够有效提高三维叠前数据的随机噪声衰减的效率及处理可靠性,进而能够有效提高应用随机噪声衰减后的地震数据进行地震勘探的效率,本申请提供一种能够执行所述三维叠前数据的并行随机噪声衰减方法中全部或部分内容的计算节点的实施例,参见图7,所述计算节点具体包含有如下内容:

数据并行接收模块10,用于与其他计算节点并行接收各自对应的三维叠前数据;

数据并行读取模块20,用于基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行读取对应的所述三维叠前数据中的目标地震数据;

数据并行处理模块30,用于与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理,并与其他计算节点并行将各自对应的噪声衰减结果输出至主节点,以使所述主节点对各个所述计算节点输出的噪声衰减结果进行数据汇总并将对应的汇总结果发送至对应的数据库。

在一种具体实施例中,所述计算节点中还包含有如下内容:

存储器建立模块01,用于建立对应的分布式存储器。

相对应的,所述数据并行读取模块20中具体包含有如下内容:

目标地震数据并行读取单元21,用于基于预设的目标空间窗的大小,应用预设的BT协议与其他计算节点并行在对应的所述分布式存储器中读取对应的所述三维叠前数据中的目标地震数据。

分享请求接收模块22,用于接收其他计算节点发送的数据分享请求;

数据分享模块23,用于根据所述数据分享请求,基于所述BT协议在自身对应的所述分布式存储器中获取并发送对应的地震数据至其他计算节点。

控制线程建立模块24,用于建立至少三个用于并行执行的控制线程,其中,至少一个控制线程用于接收所述目标地震数据,至少一个控制线程用于对所述目标地震数据进行噪声衰减处理,至少一个控制线程用于输出所述噪声衰减结果至所述主节点。

计算线程建立模块25,用于根据自身预设的CPU处理阈值建立多个计算线程;

相对应的,所述数据并行处理模块30具体包含有如下内容:噪声衰减处理单元31,用于与其他计算节点并行应用各自对应的多个所述计算线程对各自对应的目标地震数据进行噪声衰减处理。

可以理解的是,所述噪声衰减处理包括:傅里叶变换处理、算子求取处理、地震反褶积处理和反快速傅里叶变换处理。

从上述描述可知,本申请实施例提供的计算节点,其随机噪声衰减处理过程的可靠性高且准确性高,能够有效提高处理器针对地震资料的处理性能,尤其是超大数据量的地震资料处理,通过充分利用Linux集群多节点的内存、SSD、临时盘等存储资源,解决集中存储的输入或输出瓶颈,有效缩短RNA时间,能够有效提高三维叠前数据的随机噪声衰减的效率,进而能够满足石油地球物理勘探资料处理的需求,有效缩短地震勘探的时间,并能够提高应用随机噪声衰减后的地震数据进行地震勘探的效率。

从硬件层面来看,本申请的实施例还提供能够实现上述实施例中的三维叠前数据的并行随机噪声衰减方法中全部步骤的一种电子设备的具体实施方式,参见图8,所述电子设备具体包括如下内容:

处理器(processor)601、存储器(memory)602、通信接口(CommunicationsInterface)603和总线604;

其中,所述处理器601、存储器602、通信接口603通过所述总线604完成相互间的通信;所述通信接口603用于实现计算节点、客户终端、主节点、相关数据库以及其他参与机构之间的信息传输;

所述处理器601用于调用所述存储器602中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的三维叠前数据的并行随机噪声衰减方法中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:

步骤100:与其他计算节点并行接收各自对应的三维叠前数据。

步骤200:基于预设的目标空间窗的大小,应用预设的BT协议读取对应的所述三维叠前数据中的目标地震数据。

步骤300:与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理,并与其他计算节点并行将各自对应的噪声衰减结果输出至主节点,以使所述主节点对各个所述计算节点输出的噪声衰减结果进行数据汇总并将对应的汇总结果发送至对应的数据库。

从上述描述可知,本申请实施例提供的电子设备,其随机噪声衰减处理过程的可靠性高且准确性高,能够有效提高处理器针对地震资料的处理性能,尤其是超大数据量的地震资料处理,通过充分利用Linux集群多节点的内存、SSD、临时盘等存储资源,解决集中存储的输入或输出瓶颈,有效缩短RNA时间,能够有效提高三维叠前数据的随机噪声衰减的效率,进而能够满足石油地球物理勘探资料处理的需求,有效缩短地震勘探的时间,并能够提高应用随机噪声衰减后的地震数据进行地震勘探的效率。

本申请的实施例还提供能够实现上述实施例中的三维叠前数据的并行随机噪声衰减方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的三维叠前数据的并行随机噪声衰减方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:

步骤100:与其他计算节点并行接收各自对应的三维叠前数据。

步骤200:基于预设的目标空间窗的大小,应用预设的BT协议读取对应的所述三维叠前数据中的目标地震数据。

步骤300:与其他计算节点并行对各自对应的目标地震数据进行噪声衰减处理,并与其他计算节点并行将各自对应的噪声衰减结果输出至主节点,以使所述主节点对各个所述计算节点输出的噪声衰减结果进行数据汇总并将对应的汇总结果发送至对应的数据库。

从上述描述可知,本申请实施例提供的计算机可读存储介质,其随机噪声衰减处理过程的可靠性高且准确性高,能够有效提高处理器针对地震资料的处理性能,尤其是超大数据量的地震资料处理,通过充分利用Linux集群多节点的内存、SSD、临时盘等存储资源,解决集中存储的输入或输出瓶颈,有效缩短RNA时间,能够有效提高三维叠前数据的随机噪声衰减的效率,进而能够满足石油地球物理勘探资料处理的需求,有效缩短地震勘探的时间,并能够提高应用随机噪声衰减后的地震数据进行地震勘探的效率。

为了能够有效提高三维叠前数据的随机噪声衰减的效率及处理可靠性,进而能够有效提高应用随机噪声衰减后的地震数据进行地震勘探的效率,本申请提供一种用于实现所述数据监控方法中全部或部分内容的主节点的实施例,参见图9,所述主节点具体包含有如下内容:

实时监测模块40,用于对属于同一个Linux集群中的各个计算节点进行实时监测。

任务分配模块50,用于若接收到任一计算节点的任务请求,则根据该任务请求向对应的计算节点分配任务,该任务中包含有待处理的三维叠前数据,以使所述计算节点针对该三维叠前数据实现前述的三维叠前数据的并行随机噪声衰减方法。

处理结果接收模块60,用于接收各个所述计算节点发送的噪声衰减结果;

数据汇总模块70,用于将各个所述计算节点多次输出的噪声衰减结果进行数据汇总,并将对应的汇总结果发送至对应的数据库。

其中,所述任务请求中包含有对应的计算节点上一次完成的任务标识和噪声衰减结果;所述主节点还具体包含有:

数据记录模块80,用于将所述计算节点上一次完成的任务标识和噪声衰减结果记录在记录文件中。

故障处理模块90,用于若检测到任一计算节点发生故障,则根据所述记录文件对该计算节点进行故障结果检查,并将该计算节点未完成的任务分配至其他计算节点完成。

从上述描述可知,本申请实施例提供的主节点,将地震数据按照用户给定三维关键字参数拆分成多个数据文件存储于不同的节点上,运算需要的空间窗数据按照BT机制在各节点上进行广播读取,空间窗之间的重叠数据部分同样按照BT机制进行处理。不仅大幅缩短地震资料RNA处理中的数据IO时间,而且形成一种高扩展性的地震资料RNA处理的并行方法,具有节点容错和故障恢复等优势。

从硬件层面来看,本申请的实施例还提供能够实现上述实施例中的数据监控方法中全部步骤的一种电子设备的具体实施方式,该用于实现所述数据监控方法的电子设备与前述的用于实现所述三维叠前数据的并行随机噪声衰减方法的电子设备的结构及组成内容相同,该电子设备具体包括如下内容:

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线;

其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述通信接口用于实现计算节点、客户终端、主节点、相关数据库以及其他参与机构之间的信息传输;

所述处理器用于调用所述存储器中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的数据监控方法中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:

步骤400:对属于同一个Linux集群中的各个计算节点进行实时监测;

步骤500:若接收到任一计算节点的任务请求,则根据该任务请求向对应的计算节点分配任务,该任务中包含有待处理的三维叠前数据,以使所述计算节点针对该三维叠前数据实现前述的三维叠前数据的并行随机噪声衰减方法。

步骤600:接收各个所述计算节点发送的噪声衰减结果。

步骤700:将各个所述计算节点多次输出的噪声衰减结果进行数据汇总,并将对应的汇总结果发送至对应的数据库。

从上述描述可知,本申请实施例提供的电子设备,将地震数据按照用户给定三维关键字参数拆分成多个数据文件存储于不同的节点上,运算需要的空间窗数据按照BT机制在各节点上进行广播读取,空间窗之间的重叠数据部分同样按照BT机制进行处理。不仅大幅缩短地震资料RNA处理中的数据IO时间,而且形成一种高扩展性的地震资料RNA处理的并行方法,具有节点容错和故障恢复等优势。

本申请的实施例还提供能够实现上述实施例中的数据监控方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的数据监控方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:

步骤400:对属于同一个Linux集群中的各个计算节点进行实时监测;

步骤500:若接收到任一计算节点的任务请求,则根据该任务请求向对应的计算节点分配任务,该任务中包含有待处理的三维叠前数据,以使所述计算节点针对该三维叠前数据实现前述的三维叠前数据的并行随机噪声衰减方法。

步骤600:接收各个所述计算节点发送的噪声衰减结果。

步骤700:将各个所述计算节点多次输出的噪声衰减结果进行数据汇总,并将对应的汇总结果发送至对应的数据库。

从上述描述可知,本申请实施例提供的计算机可读存储介质,将地震数据按照用户给定三维关键字参数拆分成多个数据文件存储于不同的节点上,运算需要的空间窗数据按照BT机制在各节点上进行广播读取,空间窗之间的重叠数据部分同样按照BT机制进行处理。不仅大幅缩短地震资料RNA处理中的数据IO时间,而且形成一种高扩展性的地震资料RNA处理的并行方法,具有节点容错和故障恢复等优势。

为了能够有效提高三维叠前数据的随机噪声衰减的效率及处理可靠性,进而能够有效提高应用随机噪声衰减后的地震数据进行地震勘探的效率,本申请提供一种三维叠前数据的并行随机噪声衰减处理系统的实施例,所述三维叠前数据的并行随机噪声衰减处理系统具体包含有如下内容:

至少一个前述的主节点,以及,多个前述的计算节点;各个所述计算节点分别与所述主节点通信连接。

从上述描述可知,本申请实施例提供的三维叠前数据的并行随机噪声衰减处理系统,其随机噪声衰减处理过程的可靠性高且准确性高,能够有效提高处理器针对地震资料的处理性能,尤其是超大数据量的地震资料处理,通过充分利用Linux集群多节点的内存、SSD、临时盘等存储资源,解决集中存储的输入或输出瓶颈,有效缩短RNA时间,能够有效提高三维叠前数据的随机噪声衰减的效率,进而能够满足石油地球物理勘探资料处理的需求,有效缩短地震勘探的时间,并能够提高应用随机噪声衰减后的地震数据进行地震勘探的效率。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。

本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的权利要求范围之内。

相关技术
  • 三维叠前数据的并行随机噪声衰减方法、监控方法及节点
  • 三维叠前地震数据的随机噪声衰减方法
技术分类

06120112211749