一种基于网络爬虫工具的商机管理方法和系统

技术领域

本发明涉及电信运营商领域，尤其涉及一种基于网络爬虫工具的商机管理方法和系统。

背景技术

在电信运营商市场商机发现活动中，主要依靠一线人员扫楼、扫街、网上手工查阅、政策类文件人工分析、客户持续拜访等方式，存在人员投入多、工作效率低、商机转换率低、手工操作多而繁琐的情况。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于网络爬虫工具的商机管理方法和系统。

本发明解决上述技术问题的技术方案如下：

一种基于网络爬虫工具的商机管理方法，包括：

S1，通过网络爬虫工具获取信息网站的目标商机数据；

S2，通过训练后的商机分析模型对所述目标商机数据进行清洗过滤，获得商机线索；

S3，对生成的所述商机线索进行分类管理；

S4，根据目标业务需求，在分类管理后的所述商机线索中选取匹配信息转换为商务合同。

本发明的有益效果是：本方案通过网络爬虫工具获取各种信息网站的的商机数据，经过商机分析模型进行处理获得商机线索，根据业务需求将商机线索信息转换为商务合同，通过引入网络爬虫技术，可自动从各类招标网站、政策类发布网站、政企战略规划信息网站获取商机线索信息，可大大提高信息获取的广泛性、完善性、准确性，降低了大量人员投入成本。

通过网络爬虫获取商机数据后，借助商机分析模型提供的数据分析能力对商机线索数据进行清洗、过滤，生成高价值的商机线索信息，降低了商机分析人员的商机分析工作，提高了工作效率。

进一步地，还包括：

根据商机企业特征值、商机转订单概率特征值和商机合同额特征值，结合权重计算获得商机分析模型；

根据标记商机转换成功的历史商机线索对所述商机分析模型进行训练，获得训练后的商机分析模型。

采用上述进一步方案的有益效果是：本方案通过标记商机转换成功的历史商机线索对商机分析模型进行训练，提高智能分析模型的分析成功率。

进一步地，

所述通过网络爬虫工具获取信息网站的目标商机数据具体包括：

通过所述网络爬虫工具采用网页分析算法，结合所述商机线索的特征爬取目标商机数据。

采用上述进一步方案的有益效果是：本方案通过并通过爬虫策略、分析算法的不断训练和迭代，提高商机线索的爬取成功率。

进一步地，还包括：为所述网络爬虫工具配置商机特征信息；

所述商机特征信息包括：招标值、宽带值和专线值。

采用上述进一步方案的有益效果是：本方案通过为网络爬虫工具配置商机特征信息，提高商机数据爬取类型的准确性，使得爬取的商机线索更加符合业务需求，提高商机订单转换成功率。

进一步地，还包括：

对所述目标商机数据进行分析，根据商机转换成功的商机线索对所述商机特征信息进行修正；

还包括：

当所述商机线索转换订单成功，则将所述商机线索标记为商机转换成功。

采用上述进一步方案的有益效果是：本方案通过商机转换成功的商机线索对商机特征信息进行修正，根据爬虫配置完成后，通过爬虫进行数据爬取，对爬取的数据进行分析，不断修正爬虫设置的商机特征信息，提高爬取商机的正确率。

本发明解决上述技术问题的另一种技术方案如下：

一种基于网络爬虫工具的商机管理系统，包括：商机数据获取模块、线索获取模块、分类管理模块和转换模块；

所述商机数据获取模块用于通过网络爬虫工具获取信息网站的目标商机数据；

所述线索获取模块用于通过训练后的商机分析模型对所述目标商机数据进行清洗过滤，获得商机线索；

所述分类管理模块用于对生成的所述商机线索进行分类管理；

所述转换模块用于根据目标业务需求，在分类管理后的所述商机线索中选取匹配信息转换为商务合同。

本发明的有益效果是：本方案通过网络爬虫工具获取各种信息网站的的商机数据，经过商机分析模型进行处理获得商机线索，根据业务需求将商机线索信息转换为商务合同，通过引入网络爬虫技术，可自动从各类招标网站、政策类发布网站、政企战略规划信息网站获取商机线索信息，可大大提高信息获取的广泛性、完善性、准确性，降低了大量人员投入成本。

通过网络爬虫获取商机数据后，借助商机分析模型提供的数据分析能力对商机线索数据进行清洗、过滤，生成高价值的商机线索信息，降低了商机分析人员的商机分析工作，提高了工作效率。

进一步地，还包括：模型训练模块，用于根据商机企业特征值、商机转订单概率特征值和商机合同额特征值，结合权重计算获得商机分析模型；

根据标记商机转换成功的历史商机线索对所述商机分析模型进行训练，获得训练后的商机分析模型。

采用上述进一步方案的有益效果是：本方案通过标记商机转换成功的历史商机线索对商机分析模型进行训练，提高智能分析模型的分析成功率。

进一步地，所述商机数据获取模块具体用于通过所述网络爬虫工具采用网页分析算法，结合所述商机线索的特征爬取目标商机数据。

采用上述进一步方案的有益效果是：本方案通过并通过爬虫策略、分析算法的不断训练和迭代，提高商机线索的爬取成功率。

进一步地，还包括：配置模块，用于为所述网络爬虫工具配置商机特征信息；

所述商机特征信息包括：招标值、宽带值和专线值。

采用上述进一步方案的有益效果是：本方案通过为网络爬虫工具配置商机特征信息，提高商机数据爬取类型的准确性，使得爬取的商机线索更加符合业务需求，提高商机订单转换成功率。

进一步地，还包括：训练修正模块和标记模块；

所述训练修正模块用于对所述目标商机数据进行分析，根据商机转换成功的商机线索对所述商机特征信息进行修正；

所述标记模块用于当所述商机线索转换订单成功，则将所述商机线索标记为商机转换成功。

采用上述进一步方案的有益效果是：本方案通过商机转换成功的商机线索对商机特征信息进行修正，根据爬虫配置完成后，通过爬虫进行数据爬取，对爬取的数据进行分析，不断修正爬虫设置的商机特征信息，提高爬取商机的正确率。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明的实施例提供的一种基于网络爬虫工具的商机管理方法的流程示意图；

图2为本发明的实施例提供的一种基于网络爬虫工具的商机管理系统的结构框图

图3为本发明的其他实施例提供的商机的管理过程的示意图；

图4为本发明的其他实施例提供的商机统计表的示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明实施例提供的一种基于网络爬虫工具的商机管理方法，包括：S1，通过网络爬虫工具获取信息网站的目标商机数据；其中，信息网站可以包括：各类招标网站、政策类发布网站、政企战略规划信息网站爬取信息。目标商机数据可以是符合当前政企业务的网站信息。其中，网站信息，可以是，例如，在招标人的官方网站招标人发出的地铁工程车站装修设计项目，该项目的相关信息。

在某一实施例中，网络爬虫工具可以包括：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫，

采用多种爬虫类型相结合的方式进行，结合商机线索信息的特点，爬虫过程中采用多种网页分析算法，并通过爬虫策略、分析算法的不断训练和迭代，提高商机线索的爬取成功率。其中网页分析算法可以包括：基于网络拓扑、基于网页内容和基于用户访问行为三种类型。

在某一实施例中，还可以包括：将商机特征信息配置到网络爬虫工具中，其中，商机特征信息可以包括：招标、宽带、专线等特征值。

在某一实施例中，还可以包括：在爬虫配置完成后，通过爬虫进行数据爬取，对爬取的数据进行分析，不断修正爬虫设置的商机特征信息，提高爬取商机的正确率。

S2，通过训练后的商机分析模型对目标商机数据进行清洗过滤，获得商机线索；在某一实施例中，目标商机数据和商机线索的区别可以是，例如：招标人可以发布地铁工程车站装修设计A项目、工程鼓架山站及相邻区间工程设计B项目、或者通风空调系统风机设备采购C项目等等，实际A项目的转换成功率为90％，B项目和C项目的转化成功率为10％；目标商机数据可以是A项目、B项目和C项目的，而根据商机转换成功率，可以从A、B和C项目中选出A项目及项目信息作为商机线索。

在某一实施例中，通过网络爬虫获取商机线索后，借助商机分析模型对商机线索数据进行清洗、过滤，生成高价值的商机线索信息，商机分析模型由商机企业特征、商机转订单概率和商机合同额等特征值通过权重计算获得，可设置一个初始值，根据历史数据进行模型训练，从而提高智能分析模型的分析成功率。其中，初始值，可以根据商机转换成功的历史来确定符合业务需求的初始值。

S3，对生成的商机线索进行分类管理；在某一实施例中，例如招标项目，可以将同类型的招标项目，或者是同一个大项目下的多个子任务，归到同一类别中，或者根据客户的技术能力范围将相关项目归到一类，用于服务同类型客户。

S4，根据目标业务需求，在分类管理后的商机线索中选取匹配信息转换为商务合同。在某一实施例中，当客户业务范围是通风空调系统风机设备等系统的采购，根据分类管理结果，在一地铁工程项目中，包含：地铁工程车站装修设计A项目、工程鼓架山站及相邻区间工程设计B项目、或者通风空调系统风机设备采购C项目，根据客户的营业需求，C项目的匹配程度最高，匹配信息可以为C项目的项目信息，例如上报时间、区域、项目名称、项目概述、行业，项目涉及产品、预算和相关人员等等。

在某一实施例中，通过商机分析管理、分配管理、评估管理转换为可执行的商务合同，例如：通过商机爬取，获知某个企业因业务发展需要专线宽带服务，获取信息后，通信行业业务营销人员，可主动联系企业进行业务推荐，业务推荐成功后，即商机转订单成功。

在某一实施例中，商机分派、跟踪、转化、生成、评级可以通过工单流转来实现；商机转订单成功后，标记商机转换成功。商机的管理过程可以如图3所示，搜集线索数据可以包括：爬虫配置、爬虫训练、数据爬取和线索数据存储；然后通过商机分析模型进行线索智能分析、清洗和过滤，获得商机线索；再通过工单流转实现商机分派、跟踪、转化、生成和评级；对自动生成的商机线索进行分发、评估、跟踪和报备等，可以由人工完成，由工作人员根据商机类型进行工作安排和人员安排。其中，商机统计表，如图4所示，在某一实施例中，商机管理方法的基本功能架构可以如表1所示：

表1

本方案通过网络爬虫工具获取各种信息网站的商机数据，经过商机分析模型进行处理获得商机线索，根据业务需求将商机线索信息转换为商务合同，通过引入网络爬虫技术，可自动从各类招标网站、政策类发布网站、政企战略规划信息网站获取商机线索信息，可大大提高信息获取的广泛性、完善性、准确性，降低了大量人员投入成本。

通过网络爬虫获取商机数据后，借助商机分析模型提供的数据分析能力对商机线索数据进行清洗、过滤，生成高价值的商机线索信息，降低了商机分析人员的商机分析工作，提高了工作效率。

优选地，在上述任意实施例中，还包括：

根据商机企业特征值、商机转订单概率特征值和商机合同额特征值，结合权重计算获得商机分析模型；在某一实施例中，商机分析模型可以是一种AI提供的智能分析模型，

目标商机数据可以是A项目、B项目和C项目的，根据商机分析模型结合商机企业特征值、商机转订单概率特征值和商机合同额特征值，可以从A、B和C项目中选出商机转换成功率最高的A项目，A项目的项目信息作为商机线索。

根据标记商机转换成功的历史商机线索对商机分析模型进行训练，获得训练后的商机分析模型。其中，商机线索转换订单成功，则标记该商机线索转化成功

本方案通过标记商机转换成功的历史商机线索对商机分析模型进行训练，提高智能分析模型的分析成功率。

优选地，在上述任意实施例中，网络爬虫工具包括：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫；

通过网络爬虫工具获取信息网站的目标商机数据具体包括：

通过网络爬虫工具采用网页分析算法，结合商机线索的特征爬取目标商机数据。

本方案通过并通过爬虫策略、分析算法的不断训练和迭代，提高商机线索的爬取成功率。

优选地，在上述任意实施例中，还包括：为网络爬虫工具配置商机特征信息；

商机特征信息包括：招标值、宽带值和专线值；

商机特征信息是指能够识别商机、抓住商机的关键信息，并能体现商机的分类，我们可以对商机特征信息进行预先定义，一般定义包括：

招标值：即网页中出现招标、投标信息，可判断存在商机信息，重点进行抓取分析；

宽带值：即网页中出现装修、组网、布线等信息，即判断存在宽带安装需求商机，重点进行抓取分析；

专线值：即网页中出现语音专线、互联网专线、数据专线、数据、光纤等关键信息时，判断为专线需求商机信息，重点进行抓取分析。

本方案通过为网络爬虫工具配置商机特征信息，提高商机数据爬取类型的准确性，使得爬取的商机线索更加符合业务需求，提高商机订单转换成功率。

优选地，在上述任意实施例中，还包括：

对目标商机数据进行分析，根据商机转换成功的商机线索对商机特征信息进行修正；在某一实施例中，例如，现有招标值为500、宽带值100和专线值100，某一同类型的转换成功的商机线索的平均招标值为560、宽带值90和专线值150，根据转换成功的商机线索的各个特征值对现有各个特征值进行修正，调整到让现有各个特征值大小接近转换成功的商机线索的各个特征值。

还包括：当商机线索转换订单成功，则将商机线索标记为商机转换成功。

本方案通过商机转换成功的商机线索对商机特征信息进行修正，根据爬虫配置完成后，通过爬虫进行数据爬取，对爬取的数据进行分析，不断修正爬虫设置的商机特征信息，提高爬取商机的正确率。

在某一实施例中，如图2所示，一种基于网络爬虫工具的商机管理系统，包括：商机数据获取模块11、线索获取模块12、分类管理模块13和转换模块14；

商机数据获取模块11用于通过网络爬虫工具获取信息网站的目标商机数据；

线索获取模块12用于通过训练后的商机分析模型对目标商机数据进行清洗过滤，获得商机线索；

分类管理模块13用于对生成的商机线索进行分类管理；

转换模块14用于根据目标业务需求，在分类管理后的商机线索中选取匹配信息转换为商务合同。

本方案通过网络爬虫工具获取各种信息网站的的商机数据，经过商机分析模型进行处理获得商机线索，根据业务需求将商机线索信息转换为商务合同，通过引入网络爬虫技术，可自动从各类招标网站、政策类发布网站、政企战略规划信息网站获取商机线索信息，可大大提高信息获取的广泛性、完善性、准确性，降低了大量人员投入成本。

通过网络爬虫获取商机数据后，借助商机分析模型提供的数据分析能力对商机线索数据进行清洗、过滤，生成高价值的商机线索信息，降低了商机分析人员的商机分析工作，提高了工作效率。

优选地，在上述任意实施例中，还包括：模型训练模块，用于根据商机企业特征值、商机转订单概率特征值和商机合同额特征值，结合权重计算获得商机分析模型；

根据标记商机转换成功的历史商机线索对商机分析模型进行训练，获得训练后的商机分析模型。

本方案通过标记商机转换成功的历史商机线索对商机分析模型进行训练，提高智能分析模型的分析成功率。

优选地，在上述任意实施例中，网络爬虫工具包括：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫；

商机数据获取模块具体用于通过网络爬虫工具采用网页分析算法，结合商机线索的特征爬取目标商机数据。

本方案通过并通过爬虫策略、分析算法的不断训练和迭代，提高商机线索的爬取成功率。

优选地，在上述任意实施例中，还包括：配置模块，用于为网络爬虫工具配置商机特征信息；

商机特征信息包括：招标值、宽带值和专线值。

本方案通过为网络爬虫工具配置商机特征信息，提高商机数据爬取类型的准确性，使得爬取的商机线索更加符合业务需求，提高商机订单转换成功率。

优选地，在上述任意实施例中，还包括：训练修正模块和标记模块；

训练修正模块用于对目标商机数据进行分析，根据商机转换成功的商机线索对商机特征信息进行修正；

标记模块用于当商机线索转换订单成功，则将商机线索标记为商机转换成功。

本方案通过商机转换成功的商机线索对商机特征信息进行修正，根据爬虫配置完成后，通过爬虫进行数据爬取，对爬取的数据进行分析，不断修正爬虫设置的商机特征信息，提高爬取商机的正确率。

可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。

需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。