一种基于数据爬虫技术的数据提取方法

技术领域

本发明涉及基于数据爬虫技术的数据提取技术领域，具体为一种基于数据爬虫技术的数据提取方法。

背景技术

在互联网的高速发展下,信息技术的完善与优化,使得人们能够了解各类信息,包括新闻事件、各国历史,遨游于动物世界,了解动物的新奇,畅怀于古往今来,体会历史的变迁。网络爬虫是一种计算机程序，可以根据科学计算、数据处理及网页开发等方面的需求，在互联网上进行数据、信息的爬取，高效、精准地进行数据采集。

由于网络爬虫能够检索丰富多样的网络信息,其应用范围相对较大,适用性强。其不仅体现在搜狗、谷歌、夸克等搜索引擎中,还能够用于舆论监控、科学研究等项目中,在网络搜索中其无处不在。例如,就舆论监控而言,在网络爬虫的作用下,处理相关信息,从而了解网站的内容、其内容来源,并判断网站是否受到攻击,以及查询用户的来访途径,其访问途径是否符合相关规定。就产品研发、网络购物而言,在网络爬虫的作用下,其能够采集网络购物平台的相关信息,收集并处理商品的流通数据,哪些商品比较受欢迎,同类商品中哪种商品最受青睐,了解消费者的购物需求,从而为新产品的研发提供相关数据,了解用户对哪类产品更加热爱,从而在此产品的基础上进行研发,使新产品更受消费者的青睐。就科学研究而言,在现阶段的科学研究中,计算机与互联网能够发挥极大的作用,利用自动化程序对地理数据进行批处理,极大的提高工作效率。Python爬虫技术不仅仅能够发挥信息收集的作用,对商品市场的发展以及科学研究都有较大的帮助,且能够避免网站受到攻击,对网站进行有效的保护。

就网络爬虫而言,其还有其他的称谓,诸如网络机器人、网络蜘蛛,也十分形象的体现了其在复杂的互联网中收集各类信息的特征。作为搜索引擎的重要构架,网路爬虫可进行自动收集,即能够对网页数据进行抓取。而其具体的运行机制为,利用种子URL,并将其置入需抓取的URL中,然后提取需抓取的URL,在予以读取、解析,并进行相关下载。待相关网页下载后,将其存储于专有的网页库中,并使已经下载的网页URL置入已爬URL中。将已爬URL进行处理分析,并将其中的URL设置为种子URL,将其置入需抓取的URL中,依次循环往复。

而随着互联网信息量的越来越大,对信息的收集也变得越来越困难,尤其是信息收集的准确性大大降低,加上无效信息的干扰,用户很难从多样的信息中收集到想要的信息。随着信息化时代的到来,互联网信息量呈现爆发式的增长,如何在诸多复杂的信息中简单快捷的寻找到有效信息,而网络爬虫的诞生能够有效的解决此类问题,改善了信息检索的现状。针对相关技术问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于数据爬虫技术的数据提取方法，以克服现有相关技术所存在的上述技术问题，本发明的目的是提升数据提取的效率，增加数据的应用价值，使复杂的数据更加的简洁,具有功能优异、效率高、简洁等特点,在数据提取中发挥着不可替代的作用，能够实现对信息的准确挖掘,以达到对庞大信息准确检索的目的,优化用户的网络体验,节约时间与精力。

为实现上述目的，本发明提供如下技术方案：一种基于数据爬虫技术的数据提取方法，包括：

利用Beautiful Soup在HTML解析器的帮助下,以实现信息搜索的目的,处理数据导航,能够实现对需要的数据信息的收集、筛选；

控制模块，所述控制模块作为程序的总入口，对整个数据提取模型起到调度作用，调用各个模块，初始化基本参数，然后启动数据爬虫程序，并对其他模块的运行进行控制，遵循设定好的作业流程，发布调度指令，依次完成各项作业；

利用URL管理器，对各种类型的URL进行管理，并进行编码转换，得到准确有效的数据信息；

获取URL后，利用页面下载器，进行HTML、JSON及XML等页面数据的获取；

通过XPath路径语言对XML文档的部分语言进行确定,适用于在树状结构中定位并筛选某些信息,从而得到独特的数据，还可对1XM1库进行标签,从而完成信息的提取并进行导航；

通过页面解析器进行处理，得到目标数据，并储存于数据储存模块；

Robot管理器则按照Robot.txt协议，调用URL管理器，确定地址的目录结构，在出现异常时，启动异常处理模块；

创建数据库，设置各个模块的参数，输入网站入口URL后，解析参数配置，开启数据提取的相关操作；

基于urllib.request库，应用urlopen方法，利用页面下载器进行数据下载，并使用数据解析器进行分析，搜索文档树，获取主题数据。

在本发明的较佳实施方式中，应用多线程爬虫技术时，利用线程管理模块进行管理。

在本发明的较佳实施方式中，所述URL管理器中，进行爬取URL集合的创建(已爬取、未爬取)，应用set的pop方法，获取URL集合。

在本发明的较佳实施方式中，所述Beautiful Soup在XML、HTML等文件中抓取Python库,从而对相关数据信息进行筛选。

在本发明的较佳实施方式中，通过对所述XML文档进行操作时,应该对1XM1的信息进行导入,并使相关信息转移至etree包,在抓取网页数据,包括文字信息、音频、视频等,在下载至本地时还需予以前缀进行区分。

在本发明的较佳实施方式中，所述数据储存模块能够将所采集的数据进行准确的分类,在收集到相关数据信息后,需对收集的数据信息进行相应的处理,分析数据信息的差异性,从而将其分为不同的类别,以选择与之契合的储存路径及储存方式。

在本发明的较佳实施方式中，所述数据储存模块能够储存用户信息,通过用户的个人中心,收集与用户相关联的其他用户信息,包括用户的名称、用户头像以及用户的背景图片等。

在本发明的较佳实施方式中，所述数据库具备选页、翻页选项和关键字查询选项,所述选页、翻页选项在进行实时的数据的抓取时,在控制模块的辅助下,能够进行选页、翻页等操作,所述关键字查询选项通过关键字的输入,实现对信息的检索,将检索到的信息进行下载。

在本发明的较佳实施方式中，所述控制模块对图片进行处理,在检索到用户想要的图片后,在将图片储存至本地文件的同时,还能够处理并分析图片所包含的信息,并将信息提取至txt文件中。

与现有技术相比，本发明的有益效果是：

(1)本发明为一种基于数据爬虫技术的数据提取方法，有效提升数据提取的效率，增加数据的应用价值，使复杂的数据更加的简洁,具有功能优异、效率高、简洁等特点,在数据提取中发挥着不可替代的作用，能够实现对信息的准确挖掘,以达到对庞大信息准确检索的目的,优化用户的网络体验,节约时间与精力；

(2)本发明为一种基于数据爬虫技术的数据提取方法，满足了科学计算、数据处理，对数据的抓取与分析更加高效、快捷，通过对数据爬虫技术的应用,能够挖掘需要的数据信息,并分析相关数据信息,有助于处理数字化图像、进行大数据的收集；

(3)本发明为一种基于数据爬虫技术的数据提取方法，通过提高了对数据的索引检索速度及数据分散提取策略，提高数据提取的效率，能够有效减少人工操作，降低劳动力度，并且可以根据信息对数据进行分页，增加了对数据分页操作的动态可设置性，数据爬虫抓取、分析相应的数据,并且能够清除无效的干扰网页,其过滤速度相对较快,运行流畅。

附图说明

图1是根据本发明实施例的一种基于数据爬虫技术的数据提取方法的流程结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

请参阅图1所示，本发明提供一种基于数据爬虫技术的数据提取方法的技术方案：一种基于数据爬虫技术的数据提取方法，包括：

利用Beautiful Soup在HTML解析器的帮助下,以实现信息搜索的目的,处理数据导航,能够实现对需要的数据信息的收集、筛选，快捷灵活。

控制模块，所述控制模块作为程序的总入口，对整个数据提取模型起到调度作用，调用各个模块，初始化基本参数，然后启动数据爬虫程序，并对其他模块的运行进行控制，遵循设定好的作业流程，发布调度指令，依次完成各项作业；

利用URL管理器，对各种类型的URL进行管理，并进行编码转换，得到准确有效的数据信息；

获取URL后，利用页面下载器，进行HTML、JSON及XML等页面数据的获取；

通过XPath路径语言对XML文档的部分语言进行确定,适用于在树状结构中定位并筛选某些信息,从而得到独特的数据，还可对1XM1库进行标签,从而完成信息的提取并进行导航；

通过页面解析器进行处理，得到目标数据，并储存于数据储存模块；

Robot管理器则按照Robot.txt协议，调用URL管理器，确定地址的目录结构，在出现异常时，启动异常处理模块；遵循Robot.txt协议，保障爬虫爬取的合法、合规。

创建数据库，设置各个模块的参数，输入网站入口URL后，解析参数配置，开启数据提取的相关操作；

基于urllib.request库，应用urlopen方法，利用页面下载器进行数据下载，并使用数据解析器进行分析，搜索文档树，获取主题数据。

利用爬虫程序进行数据爬取，将结构化数据和非结构化数据分别存储于数据库和本地硬盘(指定格式)。为了保障爬虫爬取数据的可行性，应该对爬取进行规划，定义爬取范围，经过有效筛选后，精准地进行数据爬取。爬虫爬取程序具有处理异常的能力，减少反爬取策略的干扰和影响，确保爬取程序能够正常运行。

作为搜索引擎的重要构架,网路爬虫可进行自动收集,即能够对数据进行提取。而其具体的运行机制为,利用种子URL,并将其置入需抓取的URL中,然后提取需提取的URL,在予以读取、解析,并进行相关下载。待相关网页下载后,将其存储于专有的网页库中,并使已经下载的数据URL置入已爬URL中。将已爬URL进行处理分析,并将其中的URL设置为种子URL,将其置入需抓取的URL中,依次循环往复。利用URL抓取代码；其二,根据正则匹配的方式提取相关信息；其三,对提取的数据信息进行相应的处理,并设置种子URL。

应用多线程爬虫技术时，利用线程管理模块进行管理，能显著提升爬虫爬取数据的效率。

所述URL管理器中，进行爬取URL集合的创建(已爬取、未爬取)，应用set的pop方法，获取URL集合。

所述Beautiful Soup在XML、HTML等文件中抓取Python库,从而对相关数据信息进行筛选。

Python爬虫技术包括基本库与第三方库,主要包括Threading库、Urlib库、Beautiful Soup库。

所述Threading库属于内基本库,利用该库能够进行多线操作,由于其模块众多,功能性较强,使网页数据抓取与分析的速度更快,能够在极短的时间内完成网页数据抓取与分析；

所述Urlib库属于基本库，所述Urlib库的作用有两个，第一是负责对网页数据的提取与解析；第二是负责对数据提取过程中,异常数据的处理；

所述Beautiful Soup库属于第三方库,能够处理XML、HTML的相关数据,使复杂的数据更加的简洁,具有功能优异、效率高、简洁等特点,在网页数据的抓取与分析中发挥着不可替代的作用。

通过对所述XML文档进行操作时,应该对1XM1的信息进行导入,并使相关信息转移至etree包,在抓取网页数据,包括文字信息、音频、视频等,在下载至本地时还需予以前缀进行区分。

所述数据储存模块能够将所采集的数据进行准确的分类,在收集到相关数据信息后,需对收集的数据信息进行相应的处理,分析数据信息的差异性,从而将其分为不同的类别,以选择与之契合的储存路径及储存方式。

所述数据储存模块能够储存用户信息,通过用户的个人中心,收集与用户相关联的其他用户信息,包括用户的名称、用户头像以及用户的背景图片等。

所述数据库具备选页、翻页选项和关键字查询选项,所述选页、翻页选项在进行实时的数据的抓取时,在控制模块的辅助下,能够进行选页、翻页等操作,所述关键字查询选项通过关键字的输入,实现对信息的检索,将检索到的信息进行下载，提高信息抓取的效率,使提取的信息更加全面、准确。

所述控制模块对图片进行处理,在检索到用户想要的图片后,在将图片储存至本地文件的同时,还能够处理并分析图片所包含的信息,并将信息提取至txt文件中。

运行流程主要为以下步骤,首先抓取网站URL,通过DNS解析获取IP,再下载网页信息。然后存储网页,在搜索引擎的帮助下,获得原始页面的相关信息,判断浏览器HTML、网页信息之间是否有较大的差异,若差异较小,则可停止爬行。最后处理数据,在脚本、应用程序的作用下,处理数据的特殊文件、文字信息、相关连接等。

数据爬虫提取网页中的文字信息、音频信息、视频信息以及图片信息。若进行数据关键字的查询,可通过关键字检索到想要的数据信息,并将获得的数据转移至数据库中,然后将其下载至本地txt文件里,对相关信息进行处理与储存,然后继续检索。

在登录网站时,在不借助浏览器的情况下能够进行登录,即在控制模块的辅助下,只需用户名、对应的密码以及验证码即可。在登录网站后,可获取相关的代码,能够超越游客权限,从而提取网页代码。收集并整理所提取的数据，并对收集的信息进行处理,剔除无效或者多余的信息,从而使获得的信息更加准确有效。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。