一种跨地域网站检测方法、装置、设备及可读存储介质

技术领域

本发明涉及网络安全技术领域，特别是涉及一种跨地域网站检测方法、装置、设备及可读存储介质。

背景技术

人们可以通过网站来发布自己想要公开的资讯，或者利用网站来提供相关的网络服务，获取自己需要的资讯或者享受网络服务。网站在给人们带来便利的同时，也给不法分子带来了新的渠道。例如，利用网站进行诈骗、恶意诋毁、恶意攻击或散布不实谣言等。

监管方对于同一个地域内的网站进行监控，可以结合线下措施，如网站注册登记等方式。但对于异域的网站，则难以进行监管。基于此，不法分子往往将网站的服务器设置在无法被某监管方难以监管的其他地域。

综上所述，如何有效地解决网站跨地域监管等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种跨地域网站检测方法、装置、设备及可读存储介质，以提高对跨地域网站进行扫描，进行网站内容信息分析，可以检出跨地域的恶意网站，能够有效打击非法人员，有利于网络环境净化。

为解决上述技术问题，本发明提供如下技术方案：

一种跨地域网站检测方法，包括：

获取IP归属地为第一地域的网站列表；

获取所述网站列表中各个网站分别对应的网站内容信息；

从所述网站内容信息提取编码信息和关键信息；

利用所述编码信息对所述网站列表进行筛选，得到受众位于第二地域的目标网站列表；

利用所述关键信息，对所述目标网站列表中的各个网站进行恶意内容检测，得到恶意网站列表。

优选地，所述获取IP归属地为第一地域的网站列表，包括：

获取IP归属地为所述第一地域的IP地址范围；

利用所述IP地址范围和网站端口列表，对所述第一地域进行网站扫描，得到所述网站列表。

优选地，获取IP归属地为所述第一地域的IP地址范围，包括：

对可用IP地址范围中的各个IP地址进行归属地查询；

得到归属地为所述第一地域的全部IP地址，并将所述全部IP地址对应的地址范围确定为所述IP地址范围。

优选地，利用所述IP地址范围和网站端口列表，对所述第一地域进行网站扫描，得到所述网站列表，包括：

遍历所述IP地址范围和所述网站端口列表，得到IP地址和网络端口的网络组合；

向各个所述网络组合发送网络请求包；

若接收到对应网络组合反馈的网络应答包，则将所述网络组合对应一个网站，并记录在所述网站列表中。

优选地，利用所述编码信息对所述网站列表进行筛选，得到受众位于第二地域的目标网站列表，包括：

利用所述编码信息确定各个网站的语言种类；

获取所述第二地域对应的目标语言种类；

将所述语言种类为所述目标语言种类的网站保留在所述目标网站列表中。

优选地，利用所述编码信息确定各个网站的语言种类，包括：

从所述编码信息中获取字符集信息；

利用所述字符集信息，确定所述语言种类。

优选地，还包括：

对所述恶意网站列表中的恶意网站进行阻拦或监控。

一种跨地域网站检测装置，包括：

网址列表获取模块，用于获取IP归属地为第一地域的网站列表；

网站内容信息获取模块，用于获取所述网站列表中各个网站分别对应的网站内容信息；

信息提取模块，用于从所述网站内容信息提取编码信息和关键信息；

网站列表筛选模块，用于利用所述编码信息对所述网站列表进行筛选，得到受众位于第二地域的目标网站列表；

恶意网站检测模块，用于利用所述关键信息，对所述目标网站列表中的各个网站进行恶意内容检测，得到恶意网站列表。

一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述跨地域网站检测方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述跨地域网站检测方法的步骤。

应用本发明实施例所提供的方法，获取IP归属地为第一地域的网站列表；获取网站列表中各个网站分别对应的网站内容信息；从网站内容信息提取编码信息和关键信息；利用编码信息对网站列表进行筛选，得到受众位于第二地域的目标网站列表；利用关键信息，对目标网站列表中的各个网站进行恶意内容检测，得到恶意网站列表。

在本方法中，为了实现跨地域网站的恶意检测，首先需先获取到IP归属地为第一地域的网站列表。然后分别获得该网站列表中的各个网站对应的网站内容信息。从网站内容信息中提取出编码信息和关键信息。而后，便可基于编码信息筛选出受众位于第二地域的目标网站列表。结合关键信息，便可对目标网站列表中的各个网站进行恶意内容检测，找到恶意网站列表。可见，本方法可对受众位于第二地域，但网站的IP归属地为第一地域，即网站服务器架设在第一地域的网站，进行恶意检测。如此，检测得到的恶意网站列表即为在第二地域难以直接监管的恶意网站。可以有效打击非法人员通过跨地域架设网站服务器，以躲避监管的恶意行为，有利于净化网络环境。

相应地，本发明实施例还提供了与上述跨地域网站检测方法相对应的跨地域网站检测装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种跨地域网站检测方法的实施流程图；

图2为本发明实施例中一种全球网络空间扫描示意图；

图3为本发明实施例中一种网站内容分析示意图；

图4为本发明实施例中一种网站分类管理示意图；

图5为本发明实施例中一种跨地域网站检测装置的结构示意图；

图6为本发明实施例中一种电子设备的结构示意图；

图7为本发明实施例中一种电子设备的具体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例中一种跨地域网站检测方法的流程图，该方法包括以下步骤：

S101、获取IP归属地为第一地域的网站列表。

IP归属地为第一地域的网站列表，即该网站列表中各个网站的IP归属地均为第一地域，也就是说，该网站列表中的各个网站其服务器均假设在第一地域。

需要说明的是，在本发明实施例中，对于第一地域和第二地域仅用于区别不同的地域，也就是说第一地域与第二地域不同。而对于第一地域与第二地域在地理位置上的关系，地域大小等其他地域特点上均无限定。

以第二地域为某个国家或地区为例，第一地域则可为非该国家或地区之外的其他地域即可。例如，第一地域可以为中国，而第二地域可以为相对于中国的境外。

在本实施例中，获取IP归属地为第一地域的网站列表的方式有多种可选。例如，可以通过从存储介质中读取预先存储的网站列表的方式获得该网站列表，也可以通过接收其他设备或应用发送网站列表的方式获得该网站列表，当然，还可通过对已有的IP地址范围进行检测，最终得到该网站列表。

在本发明的一种具体实施方式中，步骤S101获取IP归属地为第一地域的网站列表，包括：

步骤1、获取IP归属地为第一地域的IP地址范围。

从上文可知，本实施例中的网站列表具体指IP归属地要为第一地域。因而，可首先获得到IP归属地为第一地域的IP地址范围。

其中，步骤1可具体包括：

步骤1.1、对可用IP地址范围中的各个IP地址进行归属地查询；

步骤1.2、得到归属地为第一地域的全部IP地址，并将全部IP地址对应的地址范围确定为IP地址范围。

其中，可用IP地址范围可具体沿用已发布的IP地址范围。例如，目前发布的可用IP地址范围为0.0.0.0至255.255.255.255。当然，某些特殊IP号(如全网广播地址)已有特殊用途定义，且不会作为网站IP存在，则可提前将其从可用IP地址范围中剔除。

具体的，进行归属地查询时，可通过调用第三方接口的方式(比如百度，IP库)通过循环判断的方法依次查询每个IP的归属地，排除掉非第一地域的Ip地址，进而获得IP地址范围。

步骤2、利用IP地址范围和网站端口列表，对第一地域进行网站扫描，得到网站列表。

一般的，网站要对外提供服务，不仅需要IP地址，还需具有对应网站端口。网站端口可以为常用的网站端口：80，8080，443等端口。

得到IP地址范围之后，便可利用IP地址范围和网站端口列表，对第一地域进行网站扫描，最终得到网站列表。

其中，步骤2可具体包括：

步骤2.1、遍历IP地址范围和网站端口列表，得到IP地址和网络端口的网络组合；

步骤2.2、向各个网络组合发送网络请求包；

步骤2.3若接收到对应网络组合反馈的网络应答包，则将网络组合对应一个网站，并记录在网站列表中。

具体的，可分别将IP地址范围中的各个IP与网站端口列表中的每一个网络端口进行两两组合。在本实施例中将一个IP与一个网络端口的组合称之为网络组合。若IP地址范围中的IP数量为M，网站端口列表中的网络端口数量为N，则遍历得到网络端口的数量为

确定出网络组合之后，便可向各个网络组合发送网络请求包，已确定对应的网络组合是否为有效网站。在接收到某个网络组合反馈的网络应答包之后，便可确定该网络组合有其对应的网站，此时可将该网站记录在网站列表中。而对于网络响应超时或无响应的网络组合，则可直接视为无对应网站存在，当然，为了提高精准度，还可多次发送网络请求包，以每次均响应超时或无响应后，确定无对应网站存在。

S102、获取网站列表中各个网站分别对应的网站内容信息。

得到该网站列表之后，便可获取该网站列表中各个网站分别对应的网站内容信息。其中，网站内容信息可具体包括网站架构信息、网站编码信息、网站内容信息、网站响应时间、网站是否有响应等信息。

具体的，可以通过爬虫软件爬取网站的网站内容信息，也可以通过模拟用户访问网站，得到网站反馈的网络包等方式获得网站内容信息。为了实现跨地域网站检测，所获得的网站内容信息至少应当包括编码信息和关键信息。

S103、从网站内容信息提取编码信息和关键信息。

得到网站内容信息之后，便可从网站内容信息中提取出编码信息和关键信息。其中，编码信息即为与网站编码相关的信息，如网站所展示内容的语言编码规则；关键信息可具体为网站的标题、网站的URL，关键词列表，网页快照等。

S104、利用编码信息对网站列表进行筛选，得到受众位于第二地域的目标网站列表。

其中，受众即受传者，也称为信宿。受传者既可以是某个个体，也可以是某个群体或某个社会组织。受众得到信息后会根据自身的理解，产生相应的反应。在本实施例中，受众指网站信息传播的接收者。

其中，第二地域即为区别于第一地域之外的其他地域。

基于人以类聚，因而，同一类网站的受众在地域上也会存在一个的规律性。例如，中文网站对应的受众多位于使用中文的地域，如中国；日文网站对应的受众多位于使用日文的地域，如日本。

而编码信息中包括语言编码规则，因此，得到编码信息之后，便可对网站列表进行筛选，具体来说即基于编码信息将受众位于第二地域的网站收纳进目标网站列表中。

当然，在实际应用中，还可基于编码信息中的其他可将受众与地域进行有效管理的信息来对网站进行有效筛选，得到目标网站列表。

在本发明的一种具体实施方式中，步骤S104可具体包括：

步骤1、利用编码信息确定各个网站的语言种类。

基于编码信息中的字符集可以确定网站的语言种类，当然根据关键信息中的字符串也可确定网站的语言种类。具体的，步骤1可具体包括：

步骤1.1、从编码信息中获取字符集信息；

步骤1.2、利用字符集信息，确定语言种类。

举例说明：根据返回包中的charset(字符集)等编码信息，对返回包内容进行相应的编码，可防止乱码。根据charset信息初步识别语言，比如GBK表示中文，对非GBK编码的内容，如对标题，关键词列表，内容则可根据字符识别所用语言，比如取Unicode码后的值范围。

步骤2、获取第二地域对应的目标语言种类。

在本实施例中，可预先明确位于第二地域的受众所惯用的语言。例如，在第二地域为中国，则目标语言种类可包括中文。

步骤3、将语言种类为目标语言种类的网站保留在目标网站列表中。

确定出各个网站的语言种类，以及第二地域对应的目标语言种类之后，结合网站的语言种类和目标语言种类，便可挑选出受众为第二地域的目标网站列表。也就是说，目标网站列表中的网站，其网站的服务器架设于第一区域，而其受众却为第二区域。举例说明，架设第二区域为中国，第一区域为相对于中国的境外，该目标网站列表中的网站即对应为网站服务器架设在境外的对华网站。

该目标网站列表即为网站受众为第二地域，而网站服务器架设于第一地域的网站。这与一般的受众位于网站服务器架设地相悖，可能存在为了躲避第二地域的监管方，而特意将网站服务器架设在第一地域的嫌疑。因此，在确定出目标网站列表之后，便可执行步骤S105，对此类网站进行恶意内容检测。

S105、利用关键信息，对目标网站列表中的各个网站进行恶意内容检测，得到恶意网站列表。

经研究发现，恶意内容往往以网站中的标题、URL、关键词等方式存在于恶意网站中。具体的，可预先建立恶意内容库，通过对比关键信息与恶意内容库，可以确定出恶意网站。即基于关键信息，可对目标网站列表中的各个网站进行恶意检测，最终得到恶意网站列表。

在本发明的一种具体实施方式中，在得到恶意网站列表之后，还可以对恶意网站列表中的恶意网站进行阻拦或监控。例如，在第二地域的防火墙对应拦截规则中，将恶意网站列表对应的恶意网站设置为黑名单。或者，对恶意网站进行监控，以掌握其非法证据，进而对非法人员进行制裁。

应用本发明实施例所提供的方法，获取IP归属地为第一地域的网站列表；获取网站列表中各个网站分别对应的网站内容信息；从网站内容信息提取编码信息和关键信息；利用编码信息对网站列表进行筛选，得到受众位于第二地域的目标网站列表；利用关键信息，对目标网站列表中的各个网站进行恶意内容检测，得到恶意网站列表。

在本方法中，为了实现跨地域网站的恶意检测，首先需先获取到IP归属地为第一地域的网站列表。然后分别获得该网站列表中的各个网站对应的网站内容信息。从网站内容信息中提取出编码信息和关键信息。而后，便可基于编码信息筛选出受众位于第二地域的目标网站列表。结合关键信息，便可对目标网站列表中的各个网站进行恶意内容检测，找到恶意网站列表。可见，本方法可对受众位于第二地域，但网站的IP归属地为第一地域，即网站服务器架设在第一地域的网站，进行恶意检测。如此，检测得到的恶意网站列表即为在第二地域难以直接监管的恶意网站。可以有效打击非法人员通过跨地域架设网站服务器，以躲避监管的恶意行为，有利于净化网络环境。

为便于本领域技术人员更好地理解和应用本发明实施例所提供的跨地域网站检测方法，下面结合具体的应用场景为例，对跨地域网站检测方法进行详细说明。

以第二地域为中国，第一地域为相对于中国的境外，在第一地域存在着大量的中文网站，即受众多位于第二地域。这些中文网站中，有很大一部分涉黄，涉赌等一些违法犯罪内容的恶意网站，为了躲避第二地域的公安机关的打击，而把服务器架设在第二地域，通过这些网站来进行违法犯罪活动，还有一部分心存对第一地域不满的或有政治目的架设一些反华网站。这一些境外对华网站目标用户即中国人，主要对中国人进行思想侵害及对中国进行抹黑。由于相关技术中，缺少发现手段，很难对其进行堵截。

应用本发明实施例所提供的跨地域网站检测方法，可对此类境外对华的恶意网站进行有效发现。在具体应用上述跨地域网站检测方法时，可将其看作三个部分：全球网络空间境外IP扫描，网站内容分析、网站分类管理。

境外对华网站指服务器架设在第一地域，主要内容以中文形式呈现，受众对象为第二地域中文群体的网站。

网站收集及分类指经过对网站内容进行关键词分析匹配，根据匹配到的分类关键词进行分类，并收集网站地址，网站内容的行为。

全球网络空间指全球范围内在互联网上的主机设备、IP集。收集分类指对网站进行分析从而进行分类。境外IP指第一地域的所有IP集合。

其中，全球网络空间扫描：是指对全球范围内的IPV4地址，针对某些指定的端口进行发包请求及返回包分析的行为。请参考图2，图2为本发明实施例中一种全球网络空间扫描示意图。具体实现过程，包括：

首先，定义境外IP范围，例如目前发布的可用IP范围为0.0.0.0至255.255.255.255。可通过调用第三方接口的方式通过循环判断的方法依次查询每个IP的归属地，排除掉在第二地域的IP地址以及内网IP地址，从而获取到全球范围内的第一地域的IP地址。

定义扫描端口，指定常用的网站端口如：80,8080,443等作为扫描端口。扫描端口可自定义，即可以根据需要增删相应的端口。

架设扫描服务器，为了提高效率，可以采用分布式的架构，多台服务器同时对目标(即第一地域的IP地址对应的可能存在的网站)进行网络扫描。

发送网络请求包：根据第一地域的IP库，针对定义好的网站端口列表，对每一个IP每一个端口进行网络包的发送请求。

接收网络返回包：在网络请求包发送后设计超时时间，如果超过一定的时间没有返回的，则认定当前IP当前端口并没有网站在运行，如果有返回的则保存返回包内容。

其中，关于网站内容分析请参考图3，图3为本发明实施例中一种网站内容分析示意图。

返回包内容解析：根据返回包中的charset(字符集)等编码信息，可对返回包内容进行相应的编码，防止乱码。

提取关键信息：根据网站的一般结构，提取网站的URL，标题，关键词列表，网页快照等关键信息。

语言识别：首先根据charset信息初步识别语言，比如GBK表示中文。对非GBK编码的内容，则可对标题，关键词列表，内容根据字符识别所用语言，比如取Unicode码后的值范围。

筛选中文网站：语言识别后非中文语系的内容进行筛选，留下中文内容的网站信息。

保存网站关键信息：对筛选出是中文内容的网站关键信息进行存储，入库到网站库中。

其中，对于网站分类管理，请参考图4，图4为本发明实施例中一种网站分类管理示意图。具体包括：

分类规则维护：可以维护网站分类判断的规则，如网站标题中出现棋牌的赌博规则，网站关键词中出现刷单的黑灰产规则等。

分类匹配：依次使用规则库中的规则对收集到的网站关键信息进行匹配。

打分类标签：对一个网站每命中一个分类规则就打一个规则对应的分类的标签。

分类展现及统计：最后将打完标签的网站库进行分类列表展现，也可以给出各分类的统计数据，另外也可以设定告警规则，对于发现的某类网站可以发出告警提示。

可见，通过收集全球的IP地址范围并且排除掉中国范围内的IP地址，针对给定的常用网站服务的端口进行发包请求后，对返回包进行分析，判断是否为网站服务，并且分析返回包中的字体信息，排除非中文字体的网站，最后根据网站返回包中的关键词对网站进行分类，能够有效发现境外对华的恶意网站。

相应于上面的方法实施例，本发明实施例还提供了一种跨地域网站检测装置，下文描述的跨地域网站检测装置与上文描述的跨地域网站检测方法可相互对应参照。

参见图5所示，该装置包括以下模块：

网址列表获取模块101，用于获取IP归属地为第一地域的网站列表；

网站内容信息获取模块102，用于获取网站列表中各个网站分别对应的网站内容信息；

信息提取模块103，用于从网站内容信息提取编码信息和关键信息；

网站列表筛选模块104，用于利用编码信息对网站列表进行筛选，得到受众位于第二地域的目标网站列表；

恶意网站检测模块105，用于利用关键信息，对目标网站列表中的各个网站进行恶意内容检测，得到恶意网站列表。

应用本发明实施例所提供的装置，获取IP归属地为第一地域的网站列表；获取网站列表中各个网站分别对应的网站内容信息；从网站内容信息提取编码信息和关键信息；利用编码信息对网站列表进行筛选，得到受众位于第二地域的目标网站列表；利用关键信息，对目标网站列表中的各个网站进行恶意内容检测，得到恶意网站列表。

在本装置中，为了实现跨地域网站的恶意检测，首先需先获取到IP归属地为第一地域的网站列表。然后分别获得该网站列表中的各个网站对应的网站内容信息。从网站内容信息中提取出编码信息和关键信息。而后，便可基于编码信息筛选出受众位于第二地域的目标网站列表。结合关键信息，便可对目标网站列表中的各个网站进行恶意内容检测，找到恶意网站列表。可见，本装置可对受众位于第二地域，但网站的IP归属地为第一地域，即网站服务器架设在第一地域的网站，进行恶意检测。如此，检测得到的恶意网站列表即为在第二地域难以直接监管的恶意网站。可以有效打击非法人员通过跨地域架设网站服务器，以躲避监管的恶意行为，有利于净化网络环境。

在本发明的一种具体实施方式中，网址列表获取模块101，具体用于获取IP归属地为第一地域的IP地址范围；利用IP地址范围和网站端口列表，对第一地域进行网站扫描，得到网站列表。

在本发明的一种具体实施方式中，网址列表获取模块101，具体用于对可用IP地址范围中的各个IP地址进行归属地查询；得到归属地为第一地域的全部IP地址，并将全部IP地址对应的地址范围确定为IP地址范围。

在本发明的一种具体实施方式中，网址列表获取模块101，具体用于遍历IP地址范围和网站端口列表，得到IP地址和网络端口的网络组合；向各个网络组合发送网络请求包；若接收到对应网络组合反馈的网络应答包，则将网络组合对应一个网站，并记录在网站列表中。

在本发明的一种具体实施方式中，网站列表筛选模块104，具体用于利用编码信息确定各个网站的语言种类；获取第二地域对应的目标语言种类；将语言种类为目标语言种类的网站保留在目标网站列表中。

在本发明的一种具体实施方式中，网站列表筛选模块104，具体用于从编码信息中获取字符集信息；利用字符集信息，确定语言种类。

在本发明的一种具体实施方式中，还包括：

恶意网站处理模块，用于对恶意网站列表中的恶意网站进行阻拦或监控。

相应于上面的方法实施例，本发明实施例还提供了一种电子设备，下文描述的一种电子设备与上文描述的一种跨地域网站检测方法可相互对应参照。

参见图6所示，该电子设备包括：

存储器332，用于存储计算机程序；

处理器322，用于执行计算机程序时实现上述方法实施例的跨地域网站检测方法的步骤。

具体的，请参考图7，为本实施例提供的一种电子设备的具体结构示意图，该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储器332通信，在电子设备301上执行存储器332中的一系列指令操作。

电子设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。

上文所描述的跨地域网站检测方法中的步骤可以由电子设备的结构实现。

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种跨地域网站检测方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的跨地域网站检测方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。