一种数据的采集分析系统

技术领域

本发明涉及数据处理领域，特别是涉及一种数据的采集分析系统。

背景技术

气象网络数字科普馆是以数字媒体技术作为互动操作和展现手段，打造普及专业气象科学知识和防灾避险常识的平台。气象网络数字科普馆突破了传统实体科普馆的空间限制，是以3D虚拟场景为依托，以及采取互动小程序、音视频、虚拟沙盘、360°全景等多媒体热点形式，可以有效、全面、系统以及生动形象的向公众传播气象科普信息。

就目前而言，在气象网络数字科普馆中设置有线上商城管理模块。用户可允许通过线上商城管理模块进行商品的选购。而线上商城管理模块可允许对用户行为数据进行采集分析，通过分析用户的购买力，对用户进行相关信息的推送和更新。

现有的用户行为分析方法采用统计的手段，通过访问的会话信息，区分用户。通过统计访问网站的用户的浏览器、来源的地理位置、登录的时间、访问的页面和时间长度等信息描述用户行为，并进行统计，达到用户行为分析的目的。但是现有技术中用于分析用户行为的方法仅仅采用统计方法，导致用户行为的分析结果不准确、不完整。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据的采集分析系统，用于解决在现有的线上商城管理中，难以依据用户购买力对其进行精准的产品推送的问题。

为实现上述目的及其他相关目的，本发明提供一种数据的采集分析系统，其包括：

数据获取模块，其用于响应当前用户的搜索指令，获取当前用户的历史购买报告，其中所述搜索指令包括当前用户已经输入搜索的商品指令；

数据提取模块，其用于提取当前用户的历史购买报告中的产品的关键词，并将所述关键词转换为商品标签；

数据分析模块，其用于将当前用户的历史购买报告中的商品标签和当前用户的属性信息输入商品推荐模型中，获取所述商品推荐模型的输出结果，并依据所述输出结构生成推荐商品的推荐集，其中，所述商品推荐模型是采用多类标签深度神经网络模型；

数据推送模块，其用于将所述推荐商品的推荐集推送至当前用户。

于本发明的一实施例中，在所述数据提取模块中，在所述提取当前用户的历史购买报告中的产品的关键词，并将所述关键词转换为商品标签中，包括：

对所述历史购买报告进行文本提取，并获取报告文本；

提取所述报告文本中的关键词，所述关键词包括商品名称以及商品价格；

基于所述关键词，获取其对应的商品标签。

于本发明的一实施例中，在所述对所述关键词进行分类，并获取其对应的商品标签中，包括：

预设商品-商品标签映射表，依据所述商品名称及商品价格，并通过所述商品-商品标签映射表获取所述关键词所对应商品的商品标签。

于本发明的一实施例中，所述商品推荐模型通过将当前用户的历史购买报告中的商品标签和当前用户的属性信息进行匹配，以获取同类标签的商品的推荐系数，并根据推荐系数的比例生成推荐商品的推荐集。

于本发明的一实施例中，预设有推荐阈值，以所述推荐系数是大于或者等于所述推荐阈值的商品构建推荐商品的推荐集。

于本发明的一实施例中，所述推荐阈值包括第一阈值和第二阈值，所述第一阈值是小于所述第二阈值，其中，在所述推荐商品的推荐集中，推荐系数位于所述第一阈值和所述第二阈值之间的商品数量，与所述推荐系数大于所述第二阈值的商品数量之间为比例设置。

于本发明的一实施例中，所述商品推荐模型是以线上商城中所有用户的购买报告中的商品标签、用户属性以及实际购买商品作为数据进行训练。

于本发明的一实施例中，还包括数据修正模块，其用于根据当前用户所实际购买的商品，生成商品标签，并将新的商品标签、用户属性以及实际购买商品作为训练样本，来对所述商品推荐模型进行训练。

如上所述，本发明公开一种数据的采集分析系统，至少包括以下的有益效果。

首先，其可以根据用户的历史购买报告以及用户的搜索指令为用户推荐合适的商品，为不同用户提供不同推荐商品集。同时，通过分析已有用户的购买报告以及用户基本属性，以及加入用户当前的商品选择操作对应的用户属性、以及商品标签和实际购买商品信息，使得商品推荐模型得到进一步的训练优化，可提高后续商品推荐的准确性。

其次，本发明所采用的多分类多标签深度神经网络模型通过感知当前用户的购买选择，不断学习，从而提高推荐准确率，并给与用户合理的商品推荐范围，进而提高用户对于商品的购买力。因此，可以改善现有的线上商城管理中难以依据用户购买力对其进行精准的产品推送的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图

图1为本发明数据修正模块于一实施例中的模块示意图；

图2为本发明数据修正模块于一实施例中的电子设备的模块示意图。

元件标号说明

10、处理器；11、服务器；

100、数据获取模块；200、数据提取模块；300、数据分析模块；400、数据推送模块；500、数据修正模块。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1所示，本发明提供一种数据的采集分析系统，可以改善现有的线上商城管理中难以依据用户购买力对其进行精准的产品推送的问题。通常用户在通过线上商城浏览和购买商品时，在线上商城管理系统后台中会产生运行时的数据。本发明实施例中提供的一种数据的采集分析系统，可允许对数据进行采集和分析，以为用户提供良好的购物体验。

具体来说，所述数据的采集分析系统包括数据获取模块100、数据提取模块200、数据分析模块300和数据推送模块400。请参阅图2所示，本发明所称的模块是指一种能够被处理器10所执行，并且能够完成固定功能的一系列计算机程序段，且所述模块是存储在存储器11中。

在一实施例中，数据获取模块100是用于响应当前用户的搜索指令，获取当前用户的历史购买报告，其中所述搜索指令包括当前用户已经输入搜索框的商品指令。

当用户在气象网络数字科普馆的线上商城上浏览商品时，会进入到商品搜索页面。用户可允许在商品搜索页面输入搜索指令，与获取相应商品的数据信息。其中，为了能够精准为用户推荐商品，数据的采集分析系统则开始其推荐逻辑。所述数据获取模块100响应当前用户的搜索指令，并获取当前用户的历史购买报告。当前用户的搜索指令包括当前用户已经输入搜索的商品指令，以及所述数据获取模块100可以基于当前用户的属性信息，获取当前用户的历史购买报告。当前用户在线上商城上历史的购买记录是存储在线上商城的数据库中，所述数据获取模块100可以直接通过在数据库中调取的用户历史购买报告。

在一实施例中，数据提取模块200是用于提取当前用户的历史购买报告中的产品的关键词，并将所述关键词转换为商品标签。

当数据获取模块100在获取用户的历史购买报告以后，数据提取模块200可对所述历史购买报告进行提取。具体来说，所述数据提取模块200首先对所述历史购买报告进行文本提取，并获取报告文本。其中，在对于用户的历史购买报告进行文本提取时，可允许根据历史购买报告的文件格式采取相应的文本提取流程。例如是，历史购买报告可允许采用PDF格式，jpeg、png等图片格式，或word格式。针对PDF格式的购买报告，可使用开源、基于java的、支持PDF文档生成的Apache PDF box工具库，提取用户购买报告的整份报告或报告中的某页的文本信息；针对jpeg、png等图片格式的购买报告，可使用OCR技术提取用户购买报告的文本信息；以及针对word格式的购买报告，可使用poi，poi-ooxml或poi-scratchpad框架提取用户购买报告中的文本信息。

其次，对提取所述报告文本中的关键词，所述关键词包括商品名称以及商品价格。需要注意的是，对于同类商品而言，不同商品的名称之间存在一定的差异。例如是，在报告文本中的商品名称为“马克杯”或者“玻璃杯”，则其对应商品关键字则为“杯”。

最后，基于所述关键词，获取其对应的商品标签。预设商品-商品标签映射表，依据所述商品名称及商品价格，并通过所述商品-商品标签映射表获取所述关键词所对应商品的商品标签，且商品标签多级标签。例如是，对于马克杯而言，其是商品标签可允许包括：“杯-A1、杯-A2以及杯-A3。其中，“杯”表征马克杯的大类标签，“A1”表征等级划分。对于等级划分是基于商品的价格进行划分的，可允许预设不同的价格区间，且不同区间对应有不同等级划分标签。当商品的价格是位于相应的价格区间内时，则对该商品映射相应的标签。因此，通过对商品进行标签划分，可以准确的获取商品的属性信息。

在一实施例中，数据分析模块300是用于将当前用户的历史购买报告中的商品标签和当前用户的属性信息输入商品推荐模型中，获取所述商品推荐模型的输出结果。同时，数据分析模块300还可依据所述输出结构生成推荐商品的推荐集，其中，所述商品推荐模型是采用多类标签深度神经网络模型。所述购买项目推荐模型采用多分类多标签深度神经网络模型，多分类多标签深度神经网络模型的内部神经网络层包括依次设置的输入层、两个或者更多个隐藏层及输出层，层与层之间是全连接的，即第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。所述多分类多标签深度神经网络模型可以以当前用户的历史购买报告中的商品标签以及当前用户的用户基本属性作为参数，参与到商品推荐时商品类型的权重计算中，来获取推荐的商品。

在一实施例中，多分类多标签深度神经网络模型的训练过程是以线上商城中所有用户的购买报告中的商品标签、用户属性以及实际购买商品作为数据集，自动学习用户基本属性以及商品标签和实际购买商品之间的关联性。

所述神经网络模型通过将当前用户的历史购买报告中的商品标签和当前用户的属性信息进行匹配，以获取同类标签的商品的推荐系数，并根据推荐系数的比例生成推荐商品的推荐集。例如是，当前用户的搜索指令为“马克杯”时，神经网络模型在用户历史购买报告中为“杯”的商品标签与搜索指令进行匹配，并获取商品的推荐系数。同时，可允许预设有推荐阈值，以所述推荐系数是大于或者等于所述推荐阈值的商品构建推荐商品的推荐。

推荐阈值包括第一阈值和第二阈值，且所述第一阈值是小于所述第二阈值的。需要注意的是，位于第一阈值和第二阈值之间的商品是与用户历史购买报告中的商品的价格为同一消费等级，以及大于第二阈值的商品可允许是高于用户历史购买报告中的商品的消费等级，以为构建更加符合用户消费习惯的推荐商品的推荐集。在所述推荐商品的推荐集中，推荐系数位于所述第一阈值和所述第二阈值之间的商品数量，与所述推荐系数大于所述第二阈值的商品数量之间为比例设置。例如是，推荐系数位于所述第一阈值和所述第二阈值之间的商品数量，与所述推荐系数大于所述第二阈值的商品数量之间的比例为4比1。然不限于此，具体的比例数据可允许根据实际需求进行确定。通过调控比例数据的大小，可有效提高对于推荐商品的准确性。

在一实施例中的，所述数据的采集分析系统还允许包括数据修正模块500，其用于根据当前用户所实际购买的商品，生成商品标签，并将新的商品标签、用户属性以及实际购买商品作为训练样本，来对所述商品推荐模型进行训练。通过将当前用户所实际购买的商品，生成商品标签输入到多分类多标签深度神经网络模型中来进一步的训练多分类多标签深度神经网络模型。因此，多分类多标签深度神经网络模型可以感知当前用户的加项选择，通过不断学习从而提高推荐准确率。

需要说明的是，本发明数据的采集分析系统同样也适合没有历史购买报告的情形以及不能从历史购买报告中提取出疾病标签的情形，没有购买报告相当于没有商品标签的一种特殊情形，可以通过将用户属性输入到商品推荐模型，推荐一些比较通用的商品供用户选择。

综上所述，本发明公开一种数据的采集分析系统，可以根据用户的历史购买报告以及用户的搜索指令为用户推荐合适的商品，根据不同用户提供不同推荐商品集。同时，通过分析已有用户的购买报告以及用户基本属性，以及加入用户当前的商品选择操作对应的用户属性、以及商品标签和实际购买商品信息，使得商品推荐模型得到进一步的训练优化，可提高后续商品推荐的准确性。本发明所采用的多分类多标签深度神经网络模型通过感知当前用户的购买选择，不断学习，从而提高推荐准确率，并给与用户合理的商品推荐范围，进而提高用户对于商品的购买力。

因此，可以改善现有的线上商城管理中难以依据用户购买力对其进行精准的产品推送的问题。

所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。