掌桥专利:专业的专利平台
掌桥专利
首页

一种分布式子域名及关联资产挖掘方法、系统及设备

文献发布时间:2024-04-18 20:00:50


一种分布式子域名及关联资产挖掘方法、系统及设备

技术领域

本发明涉及网络安全领域,特别是涉及一种分布式子域名及关联资产挖掘方法、系统及设备。

背景技术

子域名是指在主域名下创建的一个独立的域名,它在主域名之前添加了一个前缀来进行区分。子域名可以用于组织和管理网站的不同部分,或者用于区分不同的服务、功能或地理位置。子域名的结构通常是将子域名名称紧跟在主域名之前,并用一个点号分隔。例如,对于主域名example.com,可以创建子域名如下:blog.example.com,shop.example.com,mail.example.com在这些示例中,"blog"、"shop"和"mail"是子域名的名称,它们在主域名"example.com"之前加上了一个点号。子域名可以有不同的IP地址、主机配置和内容。这使得网站所有者能够更好地组织和管理他们的网站,并根据需要提供不同的服务和功能。子域名还可以用于实现多语言网站、多个品牌网站或不同部门的网站等。总之,子域名是在主域名下创建的独立域名,它们通过在主域名之前添加一个前缀来区分和组织不同的网站部分或服务。

子域名关联资产则是指一个域名下的所有子域名字符串关联的网络实体和服务的集合,是网络安全工程师和黑客常用的信息收集目标之一。通过收集和分析一个公司的子域名及关联资产,可以获取该公司的网络架构、信息系统和应用程序的架构、Web应用程序的漏洞等信息,从而找到潜在的攻击面。

子域名挖掘技术的目的是为了发现和获取特定域名下的所有子域名及关联资产。通过子域名挖掘,可以扩大收集到资产面,获取到更多关于一个域名的数据信息,并进而可用于安全漏洞扫描、情报收集等用途。

由于不存在一种方法可以实现高效率地挖掘出一个域名所属的所有子域名,因此当需要对一个域名进行子域名扩展的时候,需要借助多个方法来对域名进行挖掘扩展。由于字段爆破等挖掘方法存在耗时长的问题,以往的解决办法是将子域名的挖掘任务扩展到多个进程中并行运行来提高速度。但在采用多个挖掘方法并行挖掘时,不可避免地会出现互相重复的子域名结果,而在为了得到这些结果的过程中,多个方法均耗费了资源去进行计算和验证,而这些计算却是不必要的。

现有方法下,由于是并行的挖掘,因此当多种方法都发现了同一个子域名时,每一种方法都要对该子域名进行解析和验证。

为了解析和验证某一子域名,进行子域名挖掘的进程就不得不与该子域名通信。而当多个方法挖掘出重复的子域名结果时,每个方法的进程都不得不与该子域名通信。这造成了与同一子域名的多次通信、造成了网络资源和主机资源的浪费。而且由于对方子域名的网络情况不一,网络带宽有限,与对方子域名进行通信的“子域名解析和验证过程”在整个子域名挖掘过程中花费最大。多次解析验证同一子域名不仅会造成资源的浪费、同样也导致了子域名挖掘的时间冗长,挖掘效率低。

发明内容

本发明的目的是提供一种分布式子域名及关联资产挖掘方法、系统及设备,以解决因多次重复解析验证同一子域名,而导致的计算资源浪费以及子域名挖掘时间冗长的问题。

为实现上述目的,本发明提供了如下方案:

一种分布式子域名及关联资产挖掘方法,包括:

获取目标集团企业的主域名集合列表,对所述主域名集合列表中的主域名建立单独的子域名挖掘任务,并将所述子域名挖掘任务通过调度分发到分布式计算集群不同的计算节点中;

在每个所述计算节点内,通过分布式子域名及关联资产挖掘算法挖掘所述主域名对应的子域名,并依据子域名生成方法,生成子域名列表;一个计算节点对应一个子域名列表;

验证所述子域名列表中的子域名,确定验证通过的子域名;

判断所述验证通过的子域名是否存在于改进后的一致性共识算法维护的已探测子域名集合内;所述改进后的一致性共识算法用于负责所述分布式计算集群内各个计算节点进程间的通信以及维护已探测子域名集合;所述改进后的一致性共识算法是基于Raft共识算法进行改进得到的,取消对数据顺序的限制,仅保证在可观测窗口内的数据一致,多个进程通过最新窗口数据的哈希来维持数据一致性;

若是,丢弃所述验证通过的子域名,并返回步骤“在每个所述计算节点内,通过分布式子域名及关联资产挖掘算法挖掘所述主域名对应的子域名,并依据子域名生成方法,生成子域名列表;一个计算节点对应一个子域名列表”;

若否,对所述验证通过的子域名映射的服务进行归类和标注,生成标注后的子域名;

对所述标注后的子域名的关联资产信息进行扫描,并将已挖掘的子域名添加至所述已探测子域名集合内,直至完成所有子域名挖掘任务。

可选的,在每个所述计算节点内,通过分布式子域名及关联资产挖掘算法挖掘所述主域名对应的子域名,并依据子域名生成方法,生成子域名列表,之前还包括:

通过重定向输入输出接口将公开的分布式子域名及关联资产挖掘算法对应的分布式子域名挖掘工具集成在所述计算节点上;所述分布式子域名及关联资产挖掘算法包括基于字符串的智能枚举、基于解析记录的收集、基于搜索引擎分析以及基于whois的关联分析。

可选的,验证所述子域名列表中的子域名,确定验证通过的子域名,具体包括:

通过不同验证方式验证和筛选所述子域名列表中的子域名,排除无效的子域名以及误报信息,确定验证通过的子域名;不同验证方式包括DNS解析、Whois查询以及网站访问。

可选的,判断所述验证通过的子域名是否存在于改进后的一致性共识算法维护的已探测子域名集合内,具体包括:

将所述验证通过的子域名的字符串与所述已探测子域名集合中子域名的字符串进行匹配;

若匹配成功,确定所述验证通过的子域名存在于改进后的一致性共识算法维护的已探测子域名集合内;

若匹配失败,确定所述验证通过的子域名未存在于改进后的一致性共识算法维护的已探测子域名集合内。

可选的,对所述验证通过的子域名映射的服务进行归类和标注,生成标注后的子域名,具体包括:

按照不同的功能、用途以及类型对所述验证通过的子域名映射的服务进行分类,并标识所述验证通过的子域名映射的服务对应的服务类型、解析对应的IP地址列表、whois信息以及ICP备案信息。

可选的,对所述标注后的子域名的关联资产信息进行扫描,并共享已挖掘的子域名,直至完成所有子域名挖掘任务,之后还包括:

回收子域名挖掘过程中保存的所有子域名及关联资产信息,并将所述子域名及关联资产信息与所述已探测子域名集合中的已挖掘的子域名一一配对。

一种分布式子域名及关联资产挖掘系统,包括:

子域名挖掘调度分发模块,用于获取目标集团企业的主域名集合列表,对所述主域名集合列表中的主域名建立单独的子域名挖掘任务,并将所述子域名挖掘任务通过调度分发到分布式计算集群不同的计算节点中;

子域名挖掘模块,用于在每个所述计算节点内,通过分布式子域名及关联资产挖掘算法挖掘所述主域名对应的子域名,并依据子域名生成方法,生成子域名列表;一个计算节点对应一个子域名列表;

验证模块,用于验证所述子域名列表中的子域名,确定验证通过的子域名;

共识算法模块,用于判断所述验证通过的子域名是否存在于改进后的一致性共识算法维护的已探测子域名集合内;所述改进后的一致性共识算法用于负责所述分布式计算集群内各个计算节点进程间的通信以及维护已探测子域名集合;所述改进后的一致性共识算法是基于Raft共识算法进行改进得到的,取消对数据顺序的限制,仅保证在可观测窗口内的数据一致,多个进程通过最新窗口数据的哈希来维持数据一致性;

舍弃模块,用于若是,丢弃所述验证通过的子域名,并返回步骤“在每个所述计算节点内,通过分布式子域名及关联资产挖掘算法挖掘所述主域名对应的子域名,并依据子域名生成方法,生成子域名列表;一个计算节点对应一个子域名列表”;

归类和标注模块,用于若否,对所述验证通过的子域名映射的服务进行归类和标注,生成标注后的子域名;

结果汇聚和分析模块,用于对所述标注后的子域名的关联资产信息进行扫描,并将已挖掘的子域名添加至所述已探测子域名集合内,直至完成所有子域名挖掘任务。

可选的,还包括:

回收及配对模块,用于回收子域名挖掘过程中保存的所有子域名及关联资产信息,并将所述子域名及关联资产信息与所述已探测子域名集合中的已挖掘的子域名一一配对。

一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行上述分布式子域名及关联资产挖掘方法。

可选的,所述存储器为非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述分布式子域名及关联资产挖掘方法。

根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明实施例对目标集团企业的主域名集合列表中的主域名建立单独的子域名挖掘任务,并将子域名挖掘任务通过调度分发到分布式计算集群不同的计算节点中,利用分布式子域名及关联资产挖掘算法挖掘所述主域名对应的子域名,并将验证通过的子域名与改进后的一致性共识算法维护的已探测子域名集合进行比较,该改进后的一致性共识算法是基于Raft共识算法进行改进得到的,取消对数据顺序的限制,仅保证在可观测窗口内的数据一致,多个进程通过最新窗口数据的哈希来维持数据一致性,从而避免了一个进程重复挖掘其他进程已收集到的子域名;本发明将子域名挖掘任务应用到分布式计算集群中不同的计算节点进行多任务多维度挖掘,并采用改进后的一致性共识算法保证结果的一致性来过滤重复的域名挖掘请求,进而避免了计算资源的浪费,降低了整体的挖掘所需时间,提高了子域名的挖掘效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明所提供的分布式子域名及关联资产挖掘方法流程图;

图2为分布式子域名及关联资产挖掘算法与改进后的一致性共识算法的交互过程流程图;

图3为改进后的一致性共识算法与原本Raft共识算法的实例对比图;

图4为本发明实施例三所提供的分布式子域名及关联资产挖掘系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的目的是提供一种分布式子域名及关联资产挖掘方法、系统及设备,能够避免计算资源的浪费,降低整体的挖掘所需时间,提高子域名的挖掘效率。

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示,本发明提供了一种分布式子域名及关联资产挖掘方法,包括:

步骤101:获取目标集团企业的主域名集合列表,对所述主域名集合列表中的主域名建立单独的子域名挖掘任务,并将所述子域名挖掘任务通过调度分发到分布式计算集群不同的计算节点中。

在实际应用中,在网络空间资产测绘、信息渗透收集、互联网暴露面检测等领域,子域名收集是其中重要的测试点之一,考虑一般在目标的主站很少有发现漏洞点的存在,经常需要从主站之外的接口进行渗透测试,但子域名通常与主域名有一定的关联,可以是服务、功能或地域上等。尤其是涉及业务和行业比较多的集团企业,目标站点多,挖掘子域名的时候,涉及的子域名量和挖掘时间都耗时很长。如以域名列表["abc1.com","abc2.com",…,"abc33.com"]为例,涉及到33个主域名的子域名挖掘任务,将其分配到集群中4个不同的节点进程中,其中一个进程F获的2个主域名"abc1.com"和"abc2.com"的子域名挖掘任务。

在实际应用中,调度分发基于任务和策略,可以根据不同的顶级域名(如.cn,.com)进行分组或者根据不同的公司和行业进行分组。

本发明应用于分布式场景,挖掘程序(即分布式子域名及关联资产挖掘算法)部署在不同的计算节点上,这些计算节点在逻辑上属于同一个计算集群,这个计算集群完成一个或者一组业务功能。

其中,计算节点在物理上,指通用服务器设备,或者安装在服务器中的docker容器或者虚拟机;在逻辑上,指具有独立计算能力的资源点。

步骤102:在每个所述计算节点内,通过分布式子域名及关联资产挖掘算法挖掘所述主域名对应的子域名,并依据子域名生成方法,生成子域名列表;一个计算节点对应一个子域名列表。

在实际应用中,所述步骤102之前还包括:通过重定向输入输出接口将公开的分布式子域名及关联资产挖掘算法对应的分布式子域名挖掘工具集成在所述计算节点上;所述分布式子域名及关联资产挖掘算法包括基于字符串的智能枚举、基于解析记录的收集、基于搜索引擎分析以及基于whois的关联分析。

在实际应用中,分布式子域名及关联资产挖掘算法包括基于字符串的智能枚举、基于解析记录的收集、基于搜索引擎分析、基于whois的关联分析等。目的就是将主域名扩展出很多有效的子域名。

每种子域名生成方法都可以生成子域名列表,这些子域名列表可能有重复的,也可能完全不同。一个计算节点中可以采用单独的一个生产方法,也可以采用多个不同的方法,无论采取什么方法最后输出的都是一个子域名列表。即把任务下发到多少个计算节点,就有多少个不同的子域名列表。

在实际应用中,以进程F为例,遍历"abc1.com"和"abc2.com"的域名进行任务挖掘,考虑子域名生成有很多不同的工具,如fierce、Sublist3r、Amass、OneForAll、dnsrecon等获取新的子域名列表,也可以基于子域名爆破、统计学习模型等方法生成子域名字典。对于公开发表的算法和工具,可以通过重定向输入输出的接口集成到计算节点的算法中。

步骤103:验证所述子域名列表中的子域名,确定验证通过的子域名。

在实际应用中,所述步骤103具体包括:通过不同验证方式验证和筛选所述子域名列表中的子域名,排除无效的子域名以及误报信息,确定验证通过的子域名;不同验证方式包括DNS解析、Whois查询以及网站访问。

在实际应用中,可以通过DNS解析、Whois查询、网站访问等方式进行验证子域名,排除无效的子域名和误报的信息。验证通过的子域名可以进行后续的子域名的关联资产信息收集和分析。

如主域名"abc1.com"的子域名"shop.abc1.com",DNS的解析记录是A类型,IP地址是1.223.44.*,可选地,也可以通过whois查询子域名的状态,或者构造URL字符串访问其对应的网站等方式验证该子域名的状态,可基于实际情况进行验证方式的灵活选择。

步骤104:判断所述验证通过的子域名是否存在于改进后的一致性共识算法维护的已探测子域名集合内;所述改进后的一致性共识算法用于负责所述分布式计算集群内各个计算节点进程间的通信以及维护已探测子域名集合;所述改进后的一致性共识算法是基于Raft共识算法进行改进得到的,取消对数据顺序的限制,仅保证在可观测窗口内的数据一致,多个进程通过最新窗口数据的哈希来维持数据一致性;若是,执行步骤105,若否,执行步骤106。其中,分布式子域名及关联资产挖掘算法与改进后的一致性共识算法的交互过程如图2所示。

在实际应用中,所述步骤104具体包括:将所述验证通过的子域名的字符串与所述已探测子域名集合中子域名的字符串进行匹配;若匹配成功,确定所述验证通过的子域名存在于改进后的一致性共识算法维护的已探测子域名集合内;若匹配失败,确定所述验证通过的子域名未存在于改进后的一致性共识算法维护的已探测子域名集合内。

在实际应用中,改进后的一致性共识算法在集群中所有参与挖掘任务的进程共同维护一个一致的已探测子域名的集合。其中的可观察窗口大小设置参数N=10000,通过这个N个子域名字符串的窗口数据校验子域名的一致性。如果"shop.abc1.com"已经在已探测的子域名集合中,则当前进程F不在挖掘该子域名的信息,继续从步骤2中获取下一个子域名"map.abc1.com"进行验证和一致性监测。

步骤105:丢弃所述验证通过的子域名,并返回步骤102。

步骤106:对所述验证通过的子域名映射的服务进行归类和标注,生成标注后的子域名。

在实际应用中,所述步骤106具体包括:按照不同的功能、用途以及类型对所述验证通过的子域名映射的服务进行分类,并标识所述验证通过的子域名映射的服务对应的服务类型、解析对应的IP地址列表、whois信息以及ICP备案信息等,方便后续的子域名的关联资产信息收集和分析。

在实际应用中,子域名的归类和标注是多标签和多维度的,采用机器学习的方法分类标签可以通过预先学习设置在参数中。

例如:一个子域名m1.uptime66.com,分类标签可以是行业类(能源行业的域名)、威胁情报类(僵尸网络的CC域名)、用户自定义类(用户自己标注等),这些标签主要用于攻击面分析中。

对应的IP地址列表可以通过向不同的DNS递归服务器请求DNS数据包来获取对应的主机服务器;whois信息获取子域名的注册商和状态等信息;ICP备案信息获取子域名的主体单位和备案的行业属性等。

步骤107:对所述标注后的子域名的关联资产信息进行扫描,并将已挖掘的子域名添加至所述已探测子域名集合内,直至完成所有子域名挖掘任务。

在实际应用中,所述步骤107之后还包括:回收子域名挖掘过程中保存的所有子域名及关联资产信息,并将所述子域名及关联资产信息与所述已探测子域名集合中的已挖掘的子域名一一配对。

在实际应用中,在对子域名进行归类和标注后,对其资产进行端口扫描、漏洞扫描、敏感信息扫描等,发现其中存在的安全漏洞和风险。每次扫描的操作行为和参数不同。

子域名的关联资产信息侧重于攻击面的风险,如端口扫描(扫描目标子域名的开放端口,发现可能存在的服务漏洞)、漏洞扫描(常见的Web应用漏洞包括SQL注入、XSS、CSRF等)、敏感信息扫描(如数据库密码、配置文件、源代码等)、SSL证书检测(证书是否过期,是否存在中间人攻击等)、Web内容分析(是否存在恶意代码)、系统指纹识别(操作系统、应用框架等)。

具体地,以子域名"map.abc1.com"为例,端口扫描中发现3306开放;漏洞扫描发现其使用HTTP/2服务拒绝漏洞;敏感信息扫描发现无泄露;SSL证书检测无过期;Web内容分析不存在恶意代码;系统指纹识别操作系统为centOS7.6,应用框架有jQuery。

在实际应用中,将已挖掘的子域名信息封装为一个日志追加请求发送给共识算法子程序(即改进后的一致性共识算法的可执行程序),共识算法子程序通过与集群中其他的进程进行通信交互,完成该日志记录的追加。

具体地,在本发明的实例中,追加子域名"map.abc1.com"信息发送给共识算法,防止别的进程中的挖掘算法重复挖掘"map.abc1.com"的关联资产信息。

在实际应用中,从各个进程中收回全部子域名挖掘过程中保存下来的子域名及关联资产相关信息,并将其与对应的一致性算法维护的已探测子域名的集合一一配对。

具体地,在本发明的实例中,F进程完成了2个主域名"abc1.com"和"abc2.com"的子域名挖掘任务,等其他3个不同节点中的进程完成挖掘任务之后,与已探测子域名集合中的子域名进行匹配,形成完整的格式化的子域名及关联资产信息。可以保存成json或者excel等格式输出。

本发明所涉及的改进后的一致性共识算法主要负责集群内不同进程间的通信和维护已探测得到的子域名集合,这部分基于改进的Raft共识算法保证集群内数据的一致性。改进的技术点如下:

已探测得到的子域名集合作为改进后的一致性共识算法所需要维护的进程状态,同时修改Raft共识算法对请求提交顺序的要求,放松限制为只需要子域名集合内数据一致即可,而不需要关心追加顺序。

如图3所示,原本Raft共识算法只能发现A之后不同,并将ADBC修正成ABCD。现在改进后的共识算法在检查一致性时改为关注最新窗口的哈希值,放松了顺序一致性的要求,BCD和DBC(窗口为3的情况下)的哈希值一样。加速并且忽视特定场景下(不在乎顺序的情况下)无用多余的操作以此来节省资源并提高速度。

Raft共识算法通过对日志追加进行维护并使用状态机机制来保证数据一致性,改进算法将结果封装为日志追加请求来得到一个已知子域名的集合作为共识状态。

本发明采用分布式子域名及关联资产挖掘方法,可以提高子域名及关联资产挖掘的效率和准确性,通过将挖掘任务应用到分布式集群中不同节点进行多任务多维度挖掘,并在这个过程中借助分布式共识算法保证结果一致性来过滤重复的域名挖掘请求,进而降低整体的挖掘所需时间,提高子域名挖掘的效率。

实施例二

为了执行上述实施例一对应的方法,以实现相应的功能和技术效果,下面提供一种分布式子域名及关联资产挖掘系统。

一种分布式子域名及关联资产挖掘系统,包括:

子域名挖掘调度分发模块,用于获取目标集团企业的主域名集合列表,对所述主域名集合列表中的主域名建立单独的子域名挖掘任务,并将所述子域名挖掘任务通过调度分发到分布式计算集群不同的计算节点中。

子域名挖掘模块,用于在每个所述计算节点内,通过分布式子域名及关联资产挖掘算法挖掘所述主域名对应的子域名,并依据子域名生成方法,生成子域名列表;一个计算节点对应一个子域名列表。

验证模块,用于验证所述子域名列表中的子域名,确定验证通过的子域名。

共识算法模块,用于判断所述验证通过的子域名是否存在于改进后的一致性共识算法维护的已探测子域名集合内;所述改进后的一致性共识算法用于负责所述分布式计算集群内各个计算节点进程间的通信以及维护已探测子域名集合;所述改进后的一致性共识算法是基于Raft共识算法进行改进得到的,取消对数据顺序的限制,仅保证在可观测窗口内的数据一致,多个进程通过最新窗口数据的哈希来维持数据一致性。

舍弃模块,用于若是,丢弃所述验证通过的子域名,并返回步骤“在每个所述计算节点内,通过分布式子域名及关联资产挖掘算法挖掘所述主域名对应的子域名,并依据子域名生成方法,生成子域名列表;一个计算节点对应一个子域名列表”。

归类和标注模块,用于若否,对所述验证通过的子域名映射的服务进行归类和标注,生成标注后的子域名。

结果汇聚和分析模块,用于对所述标注后的子域名的关联资产信息进行扫描,并将已挖掘的子域名添加至所述已探测子域名集合内,直至完成所有子域名挖掘任务。

在实际应用中,还包括:

回收及配对模块,用于回收子域名挖掘过程中保存的所有子域名及关联资产信息,并将所述子域名及关联资产信息与所述已探测子域名集合中的已挖掘的子域名一一配对。

实施例三

本发明实施例三提供了一种分布式子域名及关联资产挖掘系统,如图4所示,包括:

任务调度模块1,负责将目标集团企业的域名列表分发到不同的节点进程中,并对域名建立单独的子域名挖掘任务。该模块要对任务的调度、状态和执行结果进行监测和管理。如一个企业可能有数千个域名,需要对每个域名进行子域名挖掘和关联资产信息收集,但是单一节点的计算资源不足以完成这个任务。因此,可以使用任务调度模块将域名列表分配给不同的节点进程,这些节点进程可以并行完成子域名挖掘和关联资产信息收集,从而提高效率和减少时间成本。

子域名及关联资产挖掘模块,负责根据不同的子域名生成方法,生成子域名列表,并对子域名进行验证和筛选,排除无效的子域名和误报的信息。同时,对已验证通过的子域名进行关联资产信息的收集,并进行归类和标注,标识子域名对应的服务类型、解析对应的IP地址列表、whois信息、ICP备案信息等。还负责对子域名资产进行端口扫描、漏洞扫描、敏感信息扫描等,发现其中存在的安全漏洞和风险。该模块要和共识算法模块进行交互,共同维护一个已探测子域名的集合列表。其中,本发明包括多个子域名及关联资产挖掘模块,如图4中所示的子域名及关联资产挖掘模块2-N,N=1,2,...。

共识算法模块3,负责集群内各节点进程间通信和维护已探测子域名的集合,基于改进的Raft共识算法实现数据一致性,并防止重复挖掘已探测的子域名。

结果汇聚与分析模块4,负责收集各个进程中保存下来的子域名及关联资产相关信息,并将其与对应的一致性算法维护的已探测子域名的集合一一配对,形成完整的格式化的子域名的关联资产信息。同时,也负责将收集到的关联资产信息进行汇总和分析,生成报告并提供展示和下载等服务。

本发明的分布式子域名及关联资产挖掘系统,所使用的分布式集群中每个进程可以采用不同的子域名挖掘方法,通过对这些方法实现进行输入输出接口的重构,将其与共识算法程序进行融合,实现了联合多挖掘方法来完成子域名及关联资产挖掘的任务。

实施例四

一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行上述所述的分布式子域名及关联资产挖掘方法。

一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述所述的分布式子域名及关联资产挖掘方法。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

相关技术
  • 一种移动式钢管抛丸清理装置
  • 一种串焊机吸附清理装置和吸附清理方法
  • 一种市政垃圾高效清理装置及其使用方法
  • 一种高效易清理的抛丸装置及其清理方法
  • 一种抛丸机用高效弹丸清理装置
技术分类

06120116542616