基于机器学习的数据查询方法、系统、终端及存储介质

技术领域

本发明属于电气工程技术领域，具体涉及一种基于机器学习的数据查询方法、系统、终端及存储介质。

背景技术

在一些数据查询场景中，在查数找数过程中往往无法顺利找到业务对应的数据关键词，数据内容贴近源端业务系统且直接访问的门槛比较高，未能直接通过数据中台获取数据，数据中台数据与基层人员实际的用数需求仍存在距离。究其原因，是当前企业数据检索多为按条件精确检索，或基于SQL语言的模糊检索，检索工具缺少语义理解能力，对于业务用户来说不够便捷。如何有效地查询、推荐、识别和预测这些数据成为了关键问题。

传统的数据处理方法在处理这些复杂数据时，往往效率低下，且无法做到实时推荐和预测。因此，开发一种新的对数据查询、推荐、识别和预测技术势在必行。

发明内容

针对现有技术的上述不足，本发明提供一种基于机器学习的数据查询方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种基于机器学习的数据查询方法，包括：

在客户端缓存用户的行为数据，所述行为数据包括访问的数据集、数据集访问时间；

获取服务端基于查询请求中的检索关键词返回的多个数据集；

统计多个数据集在行为数据中的被访问次数和被访问时间；

根据预先设置的访问次数权重和访问时间权重，分别计算多个数据集的被访问次数与被访问时间的加权和；

基于所述加权和由大到小对多个数据集进行排序，并将排序后的数据集输出为检索结果。

在一个可选的实施方式中，所述方法还包括：

利用HanLP工具对存入数据库的文档进行分析，生成所述文档的描述信息，所述描述信息包括知识图谱、标题分词和概要；

将文档的描述信息和元数据保存至缓存池中。

在一个可选的实施方式中，所述方法还包括：

服务端接收客户端发送的查询请求，并从所述查询请求中提取检索关键词；

服务端利用邻近分类算法预测与所述检索关键词的相似度最高的多个特征词组；

服务端从缓存池中提取多个包含特征词组的数据集描述信息，并将多个数据集的描述信息整合为推荐列表，将所述推荐列表返回至客户端；

服务端接收客户端选定的目标描述信息，并基于目标描述信息绑定的元数据调取目标数据集，将目标数据集返回至客户端。

在一个可选的实施方式中，所述方法还包括：

利用指数平滑算法基于所述行为数据预测搜索数据和浏览数据，并将预测的搜索数据和浏览数据输出至推送窗口。

第二方面，本发明提供一种基于机器学习的数据查询系统，包括：

行为缓存模块，用于在客户端缓存用户的行为数据，所述行为数据包括访问的数据集、数据集访问时间；

数据获取模块，用于获取服务端基于查询请求中的检索关键词返回的多个数据集；

参数统计模块，用于统计多个数据集在行为数据中的被访问次数和被访问时间；

参数计算模块，用于根据预先设置的访问次数权重和访问时间权重，分别计算多个数据集的被访问次数与被访问时间的加权和；

数据排序模块，用于基于所述加权和由大到小对多个数据集进行排序，并将排序后的数据集输出为检索结果。

在一个可选的实施方式中，所述系统还包括：

文档解析模块，用于利用HanLP工具对存入数据库的文档进行分析，生成所述文档的描述信息，所述描述信息包括知识图谱、标题分词和概要；

描述缓存模块，用于将文档的描述信息和元数据保存至缓存池中。

在一个可选的实施方式中，所述系统还包括：

请求解析模块，用于服务端接收客户端发送的查询请求，并从所述查询请求中提取检索关键词；

相似计算模块，用于服务端利用邻近分类算法预测与所述检索关键词的相似度最高的多个特征词组；

描述反馈模块，用于服务端从缓存池中提取多个包含特征词组的数据集描述信息，并将多个数据集的描述信息整合为推荐列表，将所述推荐列表返回至客户端；

数据反馈模块，用于服务端接收客户端选定的目标描述信息，并基于目标描述信息绑定的元数据调取目标数据集，将目标数据集返回至客户端。

在一个可选的实施方式中，所述系统还包括：

检索预测模块，用于利用指数平滑算法基于所述行为数据预测搜索数据和浏览数据，并将预测的搜索数据和浏览数据输出至推送窗口。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，本发明提供的基于机器学习的数据查询方法、系统、终端及存储介质，面向数据中台的共性数据集，聚焦在查数用数环节，建立共性数据集搜索、设备数据检索等功能，及基于搜索数据构建数据问答、内容推荐等高阶应用，形成服务基层的数据搜索能力，降低基层找数用数门槛，解决基层用数技术门槛高、数据获得感不强的问题，充分调动基层人员用数激情，激发数据倍增效应。本发明提高数据查询的速度和准确度，基于语义匹配提高系统对检索词的业务理解，减少了人工处理的时间和误差。此外，本发明能实时生成个性化的推荐结果，提高了用户满意度；采用了增量式学习算法，模型能不断自我优化，提高了推荐的准确度；能实时生成个性化的推荐结果，提高了用户满意度，同时，可以预测用户的需求，提前为用户提供有价值的信息；采用了先进的机器学习和深度学习技术，模型能不断自我优化，提高了推荐的准确度和预测的准确性；将深度的学习技术和传统的数据处理技术相结合，实现了数据的深度处理和应用，同时，结合了分类器、推荐算法等多种模型，提高了数据处理效率和准确性；可以对异常数据进行识别和预警，及时发现和处理潜在风险，保障了数据安全和稳定运行；结果展示采用了可视化的方式，方便用户理解和分析数据及结果，同时提供了必要的数据分析和解释功能，使用户可以更好地利用数据和结果进行决策和分析。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的方法的文件上传数据库的示意性流程图。

图3是本发明一个实施例的方法的libireoffice体系结构图。

图4是本发明一个实施例的方法的查询过程的示意性流程图。

图5是本发明一个实施例的系统的示意性框图。

图6为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

本发明实施例提供的基于机器学习的数据查询方法由计算机设备执行，相应地，基于机器学习的数据查询系统运行于计算机设备中。

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种基于机器学习的数据查询系统。根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。

如图1所示，该方法包括：

步骤110，在客户端缓存用户的行为数据，所述行为数据包括访问的数据集、数据集访问时间；

步骤120，获取服务端基于查询请求中的检索关键词返回的多个数据集；

步骤130，统计多个数据集在行为数据中的被访问次数和被访问时间；

步骤140，根据预先设置的访问次数权重和访问时间权重，分别计算多个数据集的被访问次数与被访问时间的加权和；

步骤150，基于所述加权和由大到小对多个数据集进行排序，并将排序后的数据集输出为检索结果。

为了便于对本发明的理解，下面以本发明基于机器学习的数据查询方法的原理，结合实施例中进行数据查询的过程，对本发明提供的基于机器学习的数据查询方法做进一步的描述。

具体的，所述基于机器学习的数据查询方法包括：

S1、对上传文档进行格式转换和特征提取。

利用HanLP工具对存入数据库的文档进行分析，生成所述文档的描述信息，所述描述信息包括知识图谱、标题分词和概要；将文档的描述信息和元数据保存至缓存池中。

具体的，将现有应用场景使用热度高、基层公共需求作为认定共性数据集标准。从数据申请次数、场景访问次数、调用次数等维度进行分析，将次数多的数据（集）总结提炼为共性数据集。调研基层需求，分析基层相似的用数需求，开展数据溯源，将共性用数需求多提炼总结为共性数据集。

对于共性数据集进行特征提取，请参考图2，文档解析技术主要包含两个部分，一是文档转化技术，该技术在基层数据服务系统中应用于文档格式的转化，包括Word、Excel、PPT等格式的文档转成pdf格式，并解析文档中的内容，该功能模块采用的是LibreOffice工具来现实的。LibreOffice 工具的结构如图3所示，LibreOffice是OpenOffice.org办公套件衍生版， 同样自由开源，以Mozilla Public License V2.0分发源代码，但相比OpenOffice增加了很多特色功能。LibreOffice拥有强大的数据导入和导出功能，能直接导入PDF文档、微软Word(.doc文件)、LotusWord，支持主要的OpenXML格式。二是文档内容分析技术，该技术在基层数据服务系统主要是将解析的文档内容生成知识图谱，生成文档概要，以及文档标题的分词功能，该功能模块采用的是HanLP工具实现的。使用HanLP工具对文档内容进行分析，使用预置的native 分词、内容抽取 api实现分词，内容分析功能,使用词性标注，依存语法分析api实现文档结构分析，知识树等功能。其核心分词模块采用的是基于最大熵模型和条件随机场(CRF)的中文分词算法。最大熵模型是一种概率模型,其基本思想是在满足已知条件的前提下,使不确定性最小化。在HanLP中,最大熵模型用于对分词候选的概率进行估计,选择概率最大的分词结果作为最终输出。该方法不依赖于词典和规则,具有较强的自适应能力,能够处理一些新词、专有名词等难以预料的情况。除了最大熵模型，HanLP还引用了条件随机场(CRF)模型，CRF是一种无向图模型，能够对序列标注问题进行建模。在HanLP中对分词结果进行校验和修正，提高了分词准确性。分词算法逻辑：先根据核心词典（CoreNatureDictionary.txt）粗分，然后结合二元概率词典（CoreNatureDictionary.ngram.mini.txt）算最短路径，得到粗分结果，粗分之后算出最短路径（也可以理解为最大概率）下的分词结果，通过Vertex的updateFrom算权重，而权重决定了最大概率，最短路径下的分词结果出来后，使用自定义词典做合并。

将共性数据集的文档的描述信息以及文档的元数据保存至缓存池。

S2、检索推荐。

在客户端缓存用户的行为数据，所述行为数据包括访问的数据集、数据集访问时间。

根据用户输入的检索关键词，将检索关键词与行为数据中的数据集的关键词进行相似度计算，筛选出与检索关键词的相似度最高的关键词，并将筛选出的关键词输出至检索关键词输入框的下拉栏。

利用指数平滑算法基于所述行为数据预测搜索数据和浏览数据，并将预测的搜索数据和浏览数据输出至推送窗口。

具体的，预测研判使用指数平滑算法根据历史数据预测未来两个节点的数据。指数平滑算法是一种通过实际值与上一次预估值进行比较计算就可以得出下一次预估值的中短期预测算法。它的思想是利用近期的发展趋势，利用上一次的实际值和预测值之间的误差，来决定滑动指数a的权重大小，以此进行不断修正，来预测中短期未来的发展趋势。滑动指数a取值的范围是0～1之间。a越小，新数据占比越大，上一次预测值占比越小。a越小,新数据占比越小，上一个预测值占比越大。

该算法能针对不同时间的数据分配不同的权重，根据上一次预测值动态评估调整修正。预测更加准确。只需要保留上一次的预测值和实际值，节省了大量的内存空间，无需保存大量历史数据。对平稳的升/降水平发展趋势预测准确率非常高，预测模型能够自动识别数据模型变化自己调整。

该技术中中主要有搜索趋势研判和浏览趋势研判，在搜索趋势研判中又包括按日、周、月的预测，预测逻辑是根据生成的数据预测后面2天、周、月的数据。浏览趋势研判中包括对单个统计数据按照日、周、月的预测，根据现有统计的数据基于指数平滑算法往后预测2条数据展示在页面上。

S3、数据查询过程，请参考图4。

服务端接收客户端发送的查询请求，并从所述查询请求中提取检索关键词；服务端利用邻近分类算法预测与所述检索关键词的相似度最高的多个特征词组；服务端从缓存池中提取多个包含特征词组的数据集描述信息，并将多个数据集的描述信息整合为推荐列表，将所述推荐列表返回至客户端；服务端接收客户端选定的目标描述信息，并基于目标描述信息绑定的元数据调取目标数据集，将目标数据集返回至客户端。

具体的，将缓存池中的描述信息转换为特征词组，具体转换方法例如：利用出现在描述信息中的词来代表这条文章，而每个词对应的权重往往使用加权技术算法来计算。利用这种方法，描述信息就可以使用具体的一个向量来表示了。应用中的item会有一些属性对它进行描述。这些属性通常可以分为两种：结构化的属性与非结构化的属性。要表征的所有描述信息集合为 D={d1,d2,…,dN}，而所有描述信息中出现的词的集合为T={t1,t2,…,tn}。也就是说，有N条要处理的描述信息，而这些描述信息里包含了n个不同的词。最终要使用一个向量来表示描述信息，比如第j条描述信息被表示为dj={w1j,w2j,…,wnj}，其中wij表示第i个词在文章j中的权重，值越大表示越重要。所以，为了表示第j条描述信息，现在关键的就是如何计算dj各分量的值了。全部i个词在描述信息j中对应的权重可以通过TF-IDF（一种用于信息检索与数据挖掘的常用加权技术）计算获得。

TF-IDF(x) = TF(x) * IDF(x)

通过以上的方法，得到了每个item特征的表示，即全部词的权重向量模型。

KNN（K- Nearest Neighbor）法即K最邻近法，该方法的思路非常简单直观：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

KNN算法首先计算检索关键词与所有描述信息的特征词组中的特征词的欧式距离，若K值为3，则筛选出3个欧式距离最短的特征词，统计3个特征词所属的特征词组，若其中两个或三个特征词属于同一特征词组，则将该特征词组标记为候选特征词组。将候选特征词组所属的描述信息标记为候选描述信息。当检索关键词为多个时，可能出现多个候选描述信息。

将候选描述信息发送至客户端，客户端基于行为数据对候选描述信息进行筛选。统计多个候选描述信息对应的数据集在行为数据中的被访问次数和被访问时间；根据预先设置的访问次数权重和访问时间权重，分别计算多个数据集的被访问次数与被访问时间的加权和；基于所述加权和由大到小对多个候选描述信息进行排序，并将排序后的候选描述信息输出。用户在客户端输入选中的目标描述信息，服务端随即根据目标描述信息绑定的元数据调取相应的数据集，并将相应数据集反馈至客户端。如此，既可以通过向用户展示多种顺序排列的查询结果以供用户挑选，进而提升查询准确度，且前期仅传输描述信息，降低了数据交互量。

在一些实施例中，所述基于机器学习的数据查询系统可以包括多个由计算机程序段所组成的功能模块。所述基于机器学习的数据查询系统中的各个程序段的计算机程序可以存储于计算机设备的存储器中，并由至少一个处理器所执行，以执行（详见图1描述）基于机器学习的数据查询的功能。

本实施例中，所述基于机器学习的数据查询系统根据其所执行的功能，可以被划分为多个功能模块，如图5所示。系统500的功能模块可以包括：行为缓存模块510、数据获取模块520、参数统计模块530、参数计算模块540和数据排序模块550。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

行为缓存模块，用于在客户端缓存用户的行为数据，所述行为数据包括访问的数据集、数据集访问时间；

数据获取模块，用于获取服务端基于查询请求中的检索关键词返回的多个数据集；

参数统计模块，用于统计多个数据集在行为数据中的被访问次数和被访问时间；

参数计算模块，用于根据预先设置的访问次数权重和访问时间权重，分别计算多个数据集的被访问次数与被访问时间的加权和；

数据排序模块，用于基于所述加权和由大到小对多个数据集进行排序，并将排序后的数据集输出为检索结果。

可选地，作为本发明一个实施例，所述系统还包括：

文档解析模块，用于利用HanLP工具对存入数据库的文档进行分析，生成所述文档的描述信息，所述描述信息包括知识图谱、标题分词和概要；

描述缓存模块，用于将文档的描述信息和元数据保存至缓存池中。

可选地，作为本发明一个实施例，所述系统还包括：

请求解析模块，用于服务端接收客户端发送的查询请求，并从所述查询请求中提取检索关键词；

相似计算模块，用于服务端利用邻近分类算法预测与所述检索关键词的相似度最高的多个特征词组；

描述反馈模块，用于服务端从缓存池中提取多个包含特征词组的数据集描述信息，并将多个数据集的描述信息整合为推荐列表，将所述推荐列表返回至客户端；

数据反馈模块，用于服务端接收客户端选定的目标描述信息，并基于目标描述信息绑定的元数据调取目标数据集，将目标数据集返回至客户端。

可选地，作为本发明一个实施例，所述系统还包括：

检索预测模块，用于利用指数平滑算法基于所述行为数据预测搜索数据和浏览数据，并将预测的搜索数据和浏览数据输出至推送窗口。

图6为本发明实施例提供的一种终端600的结构示意图，该终端600可以用于执行本发明实施例提供的基于机器学习的数据查询方法。

其中，该终端600可以包括：处理器610、存储器620及通信模块630。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器620可以用于存储处理器610的执行指令，存储器620可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。当存储器620中的执行指令由处理器610执行时，使得终端600能够执行以下上述方法实施例中的部分或全部步骤。

处理器610为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器610可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信模块630，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：ROM）或随机存储记忆体（英文：random access memory，简称：RAM）等。

因此，本发明面向数据中台的共性数据集，聚焦在查数用数环节，建立共性数据集搜索、设备数据检索等功能，及基于搜索数据构建数据问答、内容推荐等高阶应用，形成服务基层的数据搜索能力，降低基层找数用数门槛，解决基层用数技术门槛高、数据获得感不强的问题，充分调动基层人员用数激情，激发数据倍增效应。本发明提高数据查询的速度和准确度，基于语义匹配提高系统对检索词的业务理解，减少了人工处理的时间和误差。此外，本发明能实时生成个性化的推荐结果，提高了用户满意度；采用了增量式学习算法，模型能不断自我优化，提高了推荐的准确度；能实时生成个性化的推荐结果，提高了用户满意度，同时，可以预测用户的需求，提前为用户提供有价值的信息；采用了先进的机器学习和深度学习技术，模型能不断自我优化，提高了推荐的准确度和预测的准确性；将深度的学习技术和传统的数据处理技术相结合，实现了数据的深度处理和应用，同时，结合了分类器、推荐算法等多种模型，提高了数据处理效率和准确性；可以对异常数据进行识别和预警，及时发现和处理潜在风险，保障了数据安全和稳定运行；结果展示采用了可视化的方式，方便用户理解和分析数据及结果，同时提供了必要的数据分析和解释功能，使用户可以更好地利用数据和结果进行决策和分析，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端（可以是个人计算机，服务器，或者第二终端、网络终端等）执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。