基于爬虫的数据抓取方法、装置、计算机设备及存储介质

技术领域

本申请涉及大数据的数据采集技术领域，尤其涉及一种基于爬虫的数据抓取方法、装置、计算机设备及存储介质。

背景技术

近些年，互联网已经逐步向大数据方向进行转移，在大数据环境下，数据的获取至关重要。在数据获取的方法中，通常采用爬虫技术进行数据抓取。爬虫技术是一种通过网页的链接地址寻找网页，并按照一定的规则，自动获取网页内容的程序。

目前，传统爬虫抓取网页页面数据，需要通过定位页面元素进行数据解析，也就是说在使用爬虫抓取数据的过程当中，必须进行脚本的编写，不同的网站需要编写不同的脚本，同时，假若网页改版，也需要重新编写抓取脚本，造成数据抓取的工作量巨大，费时费力，效率低下。

发明内容

本申请实施例的目的在于提出一种基于爬虫的数据抓取方法、装置、计算机设备及存储介质，以解决相关技术中爬虫进行数据抓取工作量巨大，费时费力，且抓取效率低的问题。

为了解决上述技术问题，本申请实施例提供一种基于爬虫的数据抓取方法，采用了如下所述的技术方案：

获取目标网页，并对所述目标网页进行解析，得到所述目标网页的所有标签；

根据所述标签得到标签对，遍历所有所述标签对，并对每个所述标签对中的字符进行查找，将满足第一预设条件的字符作为第一字符，并将满足第二预设条件的字符作为第二字符；

以所述第一字符为起点，所述第二字符为终点，读取出所述起点和所述终点之间的目标字符；

判断所述目标字符是否满足提取条件，在确定满足提取条件时，将所述目标字符作为页面内容进行提取。

进一步的，所述对所述目标网页进行解析，得到所述目标网页的标签的步骤包括：

使用网页解析器提取所述目标网页的网页结构；

获取所述网页结构中的所述标签。

进一步的，所述使用网页解析器提取所述目标网页的网页结构的步骤包括：

通过所述网页解析器解析所述目标网页得到HTML文档；

将所述HTML文档解析生成DOM树结构，将生成的所述DOM树结构作为所述目标网页的网页结构。

进一步的，所述遍历所有所述标签的步骤包括：

将所述网页结构中最外层的所述标签作为初始节点；

从所述初始节点开始，以所述DOM树结构中的标签作为遍历节点，对所有所述标签对进行深度优先遍历。

进一步的，所述对每个所述标签对中的字符进行查找的步骤包括：

利用字符串查找方法对所述标签中的全部字符进行查找。

进一步的，所述判断所述目标字符满足提取条件，将所述目标字符作为页面内容进行提取的步骤包括：

记录所述目标字符的长度；

确定所述目标字符的长度满足提取长度，则将所述目标字符作为页面内容，提取所述页面内容。

进一步的，在所述将所述目标字符作为页面内容进行提取的步骤之后还包括：

将所述页面内容以json格式进行存储。

为了解决上述技术问题，本申请实施例还提供一种基于爬虫的数据抓取装置，采用了如下所述的技术方案：

获取模块，用于获取目标网页，并对所述目标网页进行解析，得到所述目标网页的所有标签；

遍历模块，用于根据所述标签得到标签对，遍历所有所述标签对，并对每个所述标签对中的字符进行查找，将满足第一预设条件的字符作为第一字符，并将满足第二预设条件的字符作为第二字符；

读取模块，用于以所述第一字符为起点，所述第二字符为终点，读取出所述起点和所述终点之间的目标字符；

提取模块，用于判断所述目标字符是否满足提取条件，在确定满足提取条件时，将所述目标字符作为页面内容进行提取。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于爬虫的数据抓取方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于爬虫的数据抓取方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请通过获取目标网页，并对目标网页进行解析，得到目标网页的所有标签，根据标签得到标签对，遍历所有标签对，并对每个所述标签对中的字符进行查找，将满足第一预设条件的字符作为第一字符，并将满足第二预设条件的字符作为第二字符，以第一字符为起点，第二字符为终点，读取出起点和终点之间的目标字符，判断目标字符是否满足提取条件，在确定满足提取条件时，将目标字符作为页面内容进行提取；本申请通过遍历目标网页的所有标签对，查找每个标签对中的第一字符和第二字符，读取出以第一字符为起点，第二字符为终点之间的目标字符，确定目标字符满足提取条件，就将目标字符作为页面内容进行提取，也就是通过查找标签中满足预设条件的字符来进行网页页面数据的抓取，可以避免不同网站需要编写不同的脚本进行抓取，增强爬虫的适应性，同时，减少工作量，提高数据抓取效率。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的基于爬虫的数据抓取方法的一个实施例的流程图；

图3是图2中步骤S201的一种具体实施方式的流程图；

图4是图2中步骤S202的一种具体实施方式的流程图；

图5是根据本申请的基于爬虫的数据抓取装置的一个实施例的结构示意图；

图6是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)爬虫(web crawler)，又称网页蜘蛛，网络机器人，是指按照一定的规则，自动地抓取网络信息的程序或者脚本。

2)HTML(HyperTextMackeup Language，超文本标记语言)，是一种描述性的标记语言，用于描述超文本中内容的显示方式。

3)标签，也称为标记，是一种HTML的网络术语，每一种标签用于规定特定的含义。

4)网页，由各种标记组成的页面。

为了解决相关技术中爬虫进行数据抓取工作量巨大，费时费力，且抓取效率低的问题，本申请提供了一种基于爬虫的数据抓取方法，可以应用于如图1所示的系统架构100中，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的基于爬虫的数据抓取方法一般由服务器执行，相应地，基于爬虫的数据抓取装置一般设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的基于爬虫的数据抓取的方法的一个实施例的流程图，包括以下步骤：

步骤S201，获取目标网页，并对目标网页进行解析，得到目标网页的所有标签。

在本实施例中，爬虫根据提供的入口网址，获取到该地址下的网页，该网页即为待抓取的目标网页。当爬虫抓取目标网页页面时，爬虫会识别出目标网页的标签，并从标签中提取出网页的内容。

在本实施例的一些可选的实现方式中，对目标网页进行解析，得到目标网页的标签的步骤具体如下：

步骤S301，使用网页解析器提取目标网页的网页结构。

具体地，通过网页解析器解析目标网页得到HTML文档，将HTML文档解析生成DOM树结构，将生成的DOM树结构作为目标网页的网页结构。

在网页中，网页的标签是按照一种树状结构排列。网页解析器也称作HTML(HyperText Markup Language，超文本标记语言)解析器，jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。

在本实施例中，通过jsoup或其他网页解析器解析目标网页，可以获取含有标签的网页内容。例如，以下是一个HTML文档：

Example

There are three examples:

Example1,

Example2and

Example3

需要说明的是，标签是成对出现的，即本实施例中的标签具体为标签对，例如与为一个标签、与为一个标签，定义HTML文档，与标签限定了文档的开始点和结束点；定义关于文档的信息；