一种网站的关键信息收集方法、系统、终端和存储介质

技术领域

本申请涉及信息安全的领域，尤其是涉及一种网站的关键信息收集方法、系统、终端和存储介质。

背景技术

目前，随着网络与信息技术的发展，尤其是互联网的广泛普及和应用，如电子政务、电子商务、网络办公、网络媒体以及虚拟社区的出现，正深刻影响人类生活、工作的方式。与此同时，信息安全的重要性也在不断提升。

在对web站点进行渗透过程中，首先需要对该站点的信息进行收集，这样就能够有针对性的对站点进行精准打击。对站点的架构、所使用的中间件和部署方式等信息收集的越多对成功渗透目标的几率就越高，所以对web站点的信息收集在渗透测试过程中至关重要。然而目前要收集站点相关的信息都是人工来进行信息收集，收集工作量非常大，工作效率较低，也需要大量人力成本。

发明内容

为了提高工作效率，降低人工成本，本申请提供一种网站的关键信息收集方法、系统、终端和存储介质。

本申请目的一是提供一种网站的关键信息收集方法。

本申请的上述申请目的一是通过以下技术方案得以实现的：

一种网站的关键信息收集方法，包括；

基于预设域名探测规则，对网站域名进行探测，获得网站域名的第一子域名；

基于预设子域名资料库，根据所述第一子域名调取与第一子域名相关联的用户信息；根据所述用户信息调取与用户信息相关联的第二子域名；

基于预设匹配规则，匹配与所述第一子域名和第二子域名相关联的搜索引擎；

利用所述搜索引擎确定第一子域名和第二子域名的子域名资产信息和敏感信息；

将所述用户信息、子域名资产信息和敏感信息进行整合，得到关键信息。

本申请在一较佳实施例中可以进一步配置为：所述对网站域名进行探测，获得网站域名的第一子域名，包括；

对所述网站域名进行解析，得到所述网站域名的IP地址信息；

筛选所述IP地址信息中的内容分发网络IP地址信息，得到筛选结果；

对所述筛选结果中的IP地址信息进行IP反查，得到反查结果，所述反查结果为第一子域名。

本申请在一较佳实施例中可以进一步配置为：所述对网站域名进行探测，获得网站域名的第一子域名，包括；

爬取所述网站域名对应的页面，得到爬取结果；

对所述爬取结果进行解析，获得页面中子域名；

对所述网站域名和页面中子域名进行整合，得到第一子域名。

本申请在一较佳实施例中可以进一步配置为：所述利用所述搜索引擎确定第一子域名和第二子域名的子域名资产信息和敏感信息，包括；

根据所述搜索引擎调取与搜索引擎相对应的类库和功能插件；

分析所述搜索引擎的使用方法和语法规则；

根据所述使用方法向服务器发送对第一子域名和第二子域名进行搜索请求；

接收所述搜索引擎的搜索结果，所述搜索结果包括子域名资产信息和敏感信息。

本申请在一较佳实施例中可以进一步配置为：所述预设子域名资料库包括ICP备案数据库、whois数据库、DNS分布式数据库、开源托管网站中任意一种或任意组合。

本申请在一较佳实施例中可以进一步配置为：所述搜索引擎包括百度、谷歌、搜狗、360、bing中任意一种或任意组合。

本申请目的二是提供一种网站的关键信息收集系统。

本申请的上述申请目的二是通过以下技术方案得以实现的：

一种网站的关键信息收集系统，包括；

探测模块，用于对网站域名进行探测，获得网站域名的第一子域名；

调取模块，用于根据所述第一子域名调取与第一子域名相关联的用户信息；根据所述用户信息调取与用户信息相关联的第二子域名；

匹配模块，用于匹配与所述第一子域名和第二子域名相关联的搜索引擎；

确定模块，用于利用所述搜索引擎确定第一子域名和第二子域名的子域名资产信息和敏感信息；

整合模块，用于将所述用户信息、子域名资产信息和敏感信息进行整合，得到关键信息。

本申请目的三是提供一种终端。

本申请的上述申请目的三是通过以下技术方案得以实现的：

一种终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述一种网站的关键信息收集方法的计算机程序。

本申请目的四是提供一种计算机存储介质，能够存储相应的程序。

本申请的上述申请目的四是通过以下技术方案得以实现的：

一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种网站的关键信息收集方法的计算机程序。

综上所述，本申请包括以下有益技术效果：

通过预设域名探测规则获得网站域名的第一子域名，随后从预设子域名资料库中获取与第一子域名相关联的用户信息、与用户信息相关联的第二子域名，然后通过第一子域名和第二子域名获取子域名资产信息和敏感信息，最后将用户信息、子域名资产信息和敏感信息进行整合，能够达到提高工作效率，降低人工成本。

附图说明

图1是本申请实施例一种网站的关键信息收集方法的流程示意图。

图2是本申请实施例一种网站的关键信息收集系统的系统示意图。

图3是本申请实施例的终端的结构示意图。

附图标记说明：21、探测模块；22、调取模块；23、匹配模块；24、确定模块；25、整合模块；301、CPU；302、ROM；303、RAM；304、总线；305、I/O接口；306、输入部分；307、输出部分；308、存储部分；309、通信部分；310、驱动器；311、可拆卸介质。

具体实施方式

以下结合附图对本申请作进一步详细说明。

本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

本申请实施例提供一种网站的关键信息收集方法，主要应用在网站信息收集的场景中。具体的，在对web站点进行渗透过程中，首先需要对该站点的信息进行收集，这样就能够有针对性的对站点进行精准打击。对站点的架构、所使用的中间件和部署方式等信息收集的越多对成功渗透目标的几率就越高，所以对web站点的信息收集在渗透测试过程中至关重要。然而目前要收集站点相关的信息都是人工来进行信息收集，收集工作量非常大，工作效率较低，也需要大量人力成本。

为此，本申请提供一种网站的关键信息收集方法能够有效的提高工作效率，降低人工成本。

下面结合说明书附图对本申请实施例作进一步详细描述。

一种网站的关键信息收集方法的主要流程描述如下。

如图1所示：

步骤S100：基于预设域名探测规则，对网站域名进行探测，获得网站域名的第一子域名。

通过预设域名探测规则，对网站域名进行探测，所采用的预设域名探测规则可以采用任何可能的方法进行。如，可以采用DNS服务器查询、HTTPS证书查询，字典枚举、DNS域传送漏洞探测等各种可能的方式。

如，选用DNS服务器进行探测时，可以向本地DNS服务器发送DNS查询命令，DNS查询命令包括网站域名，DNS服务器接收到DNS查询命令后做出响应停，响应包括本地DNS服务器能够查询到的子域名，该子域名就是第一子域名。

同时，还可以对所述网站域名进行解析，得到网站域名的IP地址信息；筛选IP地址信息中的内容分发网络IP地址信息，得到筛选结果；对筛选结果中的IP地址信息进行IP反查，得到反查结果，所述反查结果为第一子域名。从而可以根据此筛选内容分发网络IP地址信息，进而筛选对应的内容分发网络域名信息，进一步提高第一子域名的准确度。

还可以爬取网站域名对应的页面，得到爬取结果；对爬取结果进行解析，获得页面中子域名；对网站域名和页面中子域名进行整合，得到第一子域名。

在一个具体应用中，可利用github直接搜索域名或者网站的js文件泄露子域名，JSFinder，JSINFO-SCAN和SubDomainizer都是从网站js文件中搜索子域名的工具。利用文件泄漏，很多网站有跨域策略文件crossdomain.xml、站点地图sitemap.xml和robots.txt等，其中也可能存在子域名的信息。利用网络爬虫，很多网站的页面中，会有跳转到其他系统的功能，如OA、邮箱系统等，其中可能就包含有其他子域名相关的信息，此外部署了内容安全策略（CSP）的网站在header头Content-Security-Policy中，也可能存在域名的信息。可使用burpsuite或者awvs类工具对站点进行爬取分析。

可以理解的是，上述提及的DNS服务器查询、HTTPS证书查询，字典枚举、DNS域传送漏洞探测等各种方式，可以结合实际技术需要选用其中的一种或者多种。

步骤S200：基于预设子域名资料库，根据第一子域名调取与第一子域名相关联的用户信息；根据用户信息调取与用户信息相关联的第二子域名。

预设子域名资料库内存储有各个网站域名的子域名，还存储有与子域名相关联的用户信息。在本申请实施例中，设子域名资料库包括ICP备案数据库、whois数据库、DNS分布式数据库、开源托管网站中任意一种或任意组合。

如，当预设子域名资料库为whois数据库时，注册人在注册第一子域名的时候会留下用户信息，用户信息包括注册人的姓名、邮箱、电话号码等。根据用户信息可以制作社工密码，也可以找到相关联的第二子域名。

步骤S300：基于预设匹配规则，匹配与第一子域名和第二子域名相关联的搜索引擎。

具体的，匹配与第一子域名和第二子域名相关联的搜索引擎，搜索引擎包括百度、谷歌、搜狗、360、bing中任意一种或任意组合。

步骤S400：利用搜索引擎确定第一子域名和第二子域名的子域名资产信息和敏感信息。

具体的，根据搜索引擎调取与搜索引擎相对应的类库和功能插件；分析搜索引擎的使用方法和语法规则；根据使用方法向服务器发送对第一子域名和第二子域名进行搜索请求；接收所述搜索引擎的搜索结果，所述搜索结果包括子域名资产信息和敏感信息。

如，子域名资产信息的获取，百度语法，intitle=公司名称；site:公司名称.com。

如，敏感信息的获取，利用各种御剑，dirmap，Dirsearch，dirbuster，7kbstorm，gobuster等各种工具对第一子域名和第二子域名的域名端口进行扫描，可以测试这些端口是否有未授权，话包括密码和secretKey敏感数据。

还可以通过在线网站和在线网盘进行搜集，如，向在线网盘发送查询命令，在线网盘接收到查询命令后调取子域名资产信息和敏感信息，并将子域名资产信息和敏感信息反馈回来。

步骤S500：将所述用户信息、子域名资产信息和敏感信息进行整合，得到关键信息。

上述已知用户信息、子域名资产信息和敏感信息，将用户信息、子域名资产信息和敏感信息进行整合构建数据集或是数据库。在构建数据集或数据库过程中，均已数据信息的首字母顺序进行排序，方便工作人员的查找。

综上所述，通过预设域名探测规则获得网站域名的第一子域名，随后从预设子域名资料库中获取与第一子域名相关联的用户信息、与用户信息相关联的第二子域名，然后通过第一子域名和第二子域名获取子域名资产信息和敏感信息，最后将用户信息、子域名资产信息和敏感信息进行整合，能够达到提高工作效率，降低人工成本。

图2为本申请实施例的一种网站的关键信息收集系统的系统示意图。

如图2所示的一种网站的关键信息收集系统，包括探测模块21、调取模块22、匹配模块23、确定模块24和整合模块25，其中：

探测模块21，用于对网站域名进行探测，获得网站域名的第一子域名；

调取模块22，用于根据所述第一子域名调取与第一子域名相关联的用户信息；根据所述用户信息调取与用户信息相关联的第二子域名；

匹配模块23，用于匹配与所述第一子域名和第二子域名相关联的搜索引擎；

确定模块24，用于利用所述搜索引擎确定第一子域名和第二子域名的子域名资产信息和敏感信息；

整合模块25，用于将所述用户信息、子域名资产信息和敏感信息进行整合，得到关键信息。

图3示出了适于用来实现本申请实施例的终端的结构示意图。

如图3所示，终端包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统操作所需的各种程序和数据。CPU 301、ROM302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

特别地，根据本申请的实施例，上文参考流程图图1描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一种或多种导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一种或多种用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器接探测模块21、调取模块22、匹配模块23、确定模块24和整合模块25。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，探测模块21还可以被描述为“用于对网站域名进行探测，获得网站域名的第一子域名的模块”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的数据加密传输方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。