基于云计算服务的大数据挖掘方法及大数据挖掘服务系统
文献发布时间:2023-06-19 11:19:16
技术领域
本公开涉及大数据采集技术领域,示例性地,涉及一种基于云计算服务的大数据挖掘方法及大数据挖掘服务系统。
背景技术
大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。数据包括 RFID 数据、传感器数据、用户行为数据、社交网络交互数据及移动互联网数据等各种类型的结构化、半结构化及非结构化的海量数据。不但数据源的种类多,数据的类型繁杂,数据量大,并且产生的速度快,传统的数据采集方法完全无法胜任。所以,大数据采集技术面临着许多技术挑战,一方面需要保证数据采集的可靠性和高效性,同时还要避免重复数据。相关技术中,如何提高关键大数据采集的精准度,是亟待思考和解决的技术问题。
发明内容
为了至少克服现有技术中的上述不足,本公开的目的在于提供一种基于云计算服务的大数据挖掘方法及大数据挖掘服务系统。
第一方面,本公开提供一种基于云计算服务的大数据挖掘方法,应用于大数据挖掘服务系统,所述大数据挖掘服务系统与所述多个大数据注册终端通信连接,所述方法包括:
获取在在线采集行为策略中所述大数据注册终端的在线采集工具的在线采集对象在第一云端服务流程的在线知识图谱信息、所述在线采集行为策略在所述第一云端服务流程的在线采集跳转执行信息、以及所述在线采集行为策略在第一云端服务流程的在线采集迁移执行信息;
基于所述第一云端服务流程的在线知识图谱信息、所述第一云端服务流程的在线采集跳转执行信息、以及所述第一云端服务流程的在线采集迁移执行信息训练目标机器学习网络,以得到在第二云端服务流程中用于配置所述在线采集行为策略的在线采集行为配置数据,其中,所述第二云端服务流程在所述第一云端服务流程的迁移云端服务流程;
在所述第二云端服务流程将所述在线采集行为配置数据应用到所述在线采集行为策略中,以便于基于所述在线采集行为策略进行大数据操作活动的关键大数据采集后,对采集后的大数据操作活动的关键大数据进行大数据挖掘。
第二方面,本公开实施例还提供一种基于云计算服务的大数据挖掘系统,所述基于云计算服务的大数据挖掘系统包括大数据挖掘服务系统以及与所述大数据挖掘服务系统通信连接的多个大数据注册终端;
所述大数据挖掘服务系统,用于:
获取在在线采集行为策略中所述大数据注册终端的在线采集工具的在线采集对象在第一云端服务流程的在线知识图谱信息、所述在线采集行为策略在所述第一云端服务流程的在线采集跳转执行信息、以及所述在线采集行为策略在第一云端服务流程的在线采集迁移执行信息;
基于所述第一云端服务流程的在线知识图谱信息、所述第一云端服务流程的在线采集跳转执行信息、以及所述第一云端服务流程的在线采集迁移执行信息训练目标机器学习网络,以得到在第二云端服务流程中用于配置所述在线采集行为策略的在线采集行为配置数据,其中,所述第二云端服务流程在所述第一云端服务流程的迁移云端服务流程;
在所述第二云端服务流程将所述在线采集行为配置数据应用到所述在线采集行为策略中,以便于基于所述在线采集行为策略进行大数据操作活动的关键大数据采集后,对采集后的大数据操作活动的关键大数据进行大数据挖掘。
根据上述任意一个方面,本公开将第二云端服务流程的在线采集行为配置数据反馈至大数据挖掘服务系统,大数据挖掘服务系统通过大数据注册终端在第二云端服务流程将在线采集行为配置数据应用到在线采集行为策略中,从而将第一云端服务流程的在线采集跳转执行信息转换至第二云端服务流程的在线采集跳转执行信息,并在第二云端服务流程的在线采集跳转执行信息以及第二云端服务流程的在线采集迁移执行信息共同作用下,将第一云端服务流程的在线知识图谱信息转换至第二云端服务流程的在线知识图谱信息,从而实现自动化控制在线采集行为策略中在线采集对象的优化。
附图说明
图1为本公开实施例提供的基于云计算服务的大数据挖掘系统的应用场景示意图;
图2为本公开实施例提供的基于云计算服务的大数据挖掘方法的流程示意图;
图3为本公开实施例提供的基于云计算服务的大数据挖掘装置的功能模块示意图;
图4为本公开实施例提供的用于实现上述的基于云计算服务的大数据挖掘方法的大数据挖掘服务系统的结构组件示意框图。
具体实施方式
下面结合说明书附图对本公开进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
图1是本公开一种实施例提供的基于云计算服务的大数据挖掘系统10的交互示意图。基于云计算服务的大数据挖掘系统10可以包括大数据挖掘服务系统100以及与大数据挖掘服务系统100通信连接的大数据注册终端200。图1所示的基于云计算服务的大数据挖掘系统10仅为一种可行的示例,在其它可行的实施例中,该基于云计算服务的大数据挖掘系统10也可以仅包括图1所示组成部分的其中的至少部分或者还可以包括其它的组成部分。
在一种单独实施例中,基于云计算服务的大数据挖掘系统10中的大数据挖掘服务系统100和大数据注册终端200可以通过配合执行以下方法实施例所描述的基于云计算服务的大数据挖掘方法,具体大数据挖掘服务系统100和大数据注册终端200的执行步骤部分可以参照以下方法实施例的详细描述。
步骤S110,根据大数据注册终端200的在线采集工具的在线采集行为策略获取每个大数据操作活动对应的活动触发事件集。
其中,活动触发事件集可以包括至少两个目标业务数据源的活动触发事件数据,活动触发事件数据包括目标业务数据源每次请求目标云计算业务资源时的活动触发事件和请求数字对象。其中,业务数据源可以是指存在数据提供或者展示服务的数据源,活动触发事件可以是指用户针对该业务数据源的页面中的数据读取的触发行为。请求数字对象可以是指具体指代的数字业务,但不限于此。
在一个独立的实施例中,步骤S110可以通过以下步骤具体实现。
步骤S111,获取各目标业务数据源的活动触发事件数据。其中,活动触发事件数据包括大数据操作活动签名以及目标业务数据源每次请求目标云计算业务资源时的活动触发事件和请求数字对象,大数据操作活动签名用于指示目标业务数据源获得目标云计算业务资源的大数据操作活动。
本实施例中,可以将当前关键的云计算业务资源作为目标云计算业务资源,将配置有目标云计算业务资源的业务数据源作为目标业务数据源,在目标云计算业务资源的配置包内添加活动触发事件爬取脚本,如此,目标业务数据源每次请求目标云计算业务资源时,活动触发事件爬取脚本就能采集当前目标业务数据源的活动触发事件和请求数字对象,并将采集的活动触发事件和请求数字对象上报给大数据挖掘服务系统,同时上报给大数据挖掘服务系统的还有目标业务数据源的数据源签名和大数据操作活动签名,其中,数据源签名用于唯一标识目标业务数据源,大数据操作活动签名用于指示目标业务数据源中目标云计算业务资源的来源,大数据挖掘服务系统接收到活动触发事件爬取脚本上报的信息后,根据数据源签名将属于同一目标业务数据源的活动触发事件、请求数字对象、大数据操作活动签名和数据源签名汇总到对应的目标业务数据源名下,得到每个目标业务数据源的活动触发事件数据,这里的活动触发事件数据可以视为一个触发序列,触发序列中的每条数据对应目标业务数据源对目标云计算业务资源的一次请求动作。例如,目标云计算业务资源在目标业务数据源A上请求了n(n≥1的整数)次,则目标业务数据源A的活动触发事件数据包括n条数据。
步骤S112,将各目标业务数据源的活动触发事件数据按照大数据操作活动签名进行分簇,获得分别与各大数据操作活动签名指示的大数据操作活动对应的参考活动触发事件簇,每个参考活动触发事件簇包括至少两个目标业务数据源的活动触发事件数据,同一参考活动触发事件簇中所有目标业务数据源具有相同的大数据操作活动签名。
在获得了各目标业务数据源的活动触发事件数据后,可以按照活动触发事件数据的大数据操作活动签名,对活动触发事件数据进行分簇,即,将具有相同大数据操作活动签名的活动触发事件数据归为同一参考活动触发事件簇,如此,每个参考活动触发事件簇的大数据操作活动签名不相同,由于大数据操作活动签名指示目标云计算业务资源的来源大数据操作活动,因此不同参考活动触发事件簇对应了不同的大数据操作活动。此步骤将目标业务数据源的活动触发事件数据按照大数据操作活动进行分类,方便后续基于目标业务数据源的活动触发事件特征分析各大数据操作活动的细节特征。
由于如果某个大数据操作活动内的触发跨度太少可能会使该第一大数据操作信息有较大误差,因此需要剔除掉触发跨度太少的大数据操作活动。因此,在步骤S112之后,还可以包括步骤S113:统计每个参考活动触发事件簇中活动触发事件数据的触发跨度,将触发跨度大于等于预设阈值的参考活动触发事件簇作为活动触发事件集。通剔除除触发跨度小于预设阈值的参考活动触发事件簇,得到用于大数据操作活动重要性分析的活动触发事件集,可以提高后续第一大数据操作信息计算的精准度。
步骤S120,根据每个目标业务数据源请求目标云计算业务资源时的活动触发事件,确定每个活动触发事件集的第一大数据操作信息,第一大数据操作信息表示活动触发事件集中的目标业务数据源在请求目标云计算业务资源时的大数据意图程度。
其中,每个活动触发事件集的第一大数据操作信息包括第一成员大数据操作信息和第二成员大数据操作信息。在一种独立的实施例中,步骤S120具体可以包括:根据每个目标业务数据源首次请求目标云计算业务资源时的活动触发事件,确定每个活动触发事件集的第一成员大数据操作信息;第一成员大数据操作信息表示活动触发事件集中的目标业务数据源在申请目标云计算业务资源时的大数据意图程度;根据每个目标业务数据源在每个大数据操作活动内首次请求目标云计算业务资源时的活动触发事件,确定每个活动触发事件集的第二成员大数据操作信息;第二成员大数据操作信息表示活动触发事件集中的目标业务数据源在启用目标云计算业务资源时的大数据意图程度;将每个活动触发事件集的第一成员大数据操作信息和第二成员大数据操作信息,作为活动触发事件集的第一大数据操作信息。
在一种独立的实施例中,对应基于多条活动触发事件对大数据操作活动进行大数据意图检测,可以包括以下步骤。
步骤S301,将每个目标业务数据源在每个大数据操作活动内首次请求目标云计算业务资源时对应的活动触发事件作为第二活动触发事件。
步骤S302,将第二活动触发事件的事件量大于等于目标事件量的目标业务数据源,确定为参考业务数据源。
这一部分是期望通过检测目标业务数据源前后登陆目标云计算业务资源对应的多条活动触发事件的变化情况挖掘大数据意图对象,因此这里的数据剔除不是只剔除出首次配置时的活动触发事件,而是先对同一个目标业务数据源按周期剔除出每个周期内第一条活动触发事件数据,作为第二活动触发事件,然后将同一目标业务数据源的第二活动触发事件数据做聚合。也就是说对同一目标业务数据源能够得到一条或多条第二活动触发事件。对聚合后的同一目标业务数据源的所有第二活动触发事件,剔除掉第二活动触发事件的触发跨度小于目标事件量n的目标业务数据源,将第二活动触发事件的事件量大于等于n的目标业务数据源作为参考业务数据源,n为定义的阈值,可以定义为5-10,目的是降低第二活动触发事件数量太少的资讯的特征对整体结果的影响。
步骤S303,对每个参考业务数据源的所有第二活动触发事件进行特征处理,得到与各参考业务数据源对应的第二活动触发事件特征。
得到了每个参考业务数据源的所有第二活动触发事件后,接下来需要对每个参考业务数据源的多条第二活动触发事件进行特征处理,生成与各参考业务数据源对应的第二活动触发事件特征。其中,对参考业务数据源的多条第二活动触发事件进行特征处理包括:从第二活动触发事件中提取用于大数据意图分析的特征,以及将提取的特征处理成可用于计算的特征向量。由于这部分检测的是多条活动触发事件的变化情况,因此采用的特征基本都是动态特征,即随着用户行为而改变的特征。进一步的,将提取的特征处理成可用于计算的特征向量,主要是将各特征在预设时间内的变化转换为字符或数值。
步骤S304,将各参考业务数据源的第二活动触发事件特征输入大数据意图分类模型,基于大数据意图分类模型对各参考业务数据源的第二活动触发事件特征进行大数据意图分析,得到每个参考业务数据源的第二大数据意图程度。
以上得到每个活动触发事件集中参考业务数据源的第二活动触发事件特征后,就可以采用大数据意图分类模型检测大数据意图的目标业务数据源。本公开实施例中,采用决策树算法作为大数据意图分类模型。决策树算法请参考前述记载,在此不再赘述。
将各参考业务数据源的第二活动触发事件特征输入决策树模型,基于决策树模型对每个参考业务数据源的第二活动触发事件特征进行大数据意图特征分析,可以得到每个参考业务数据源的模型大数据意图分数,即第二大数据意图程度。
步骤S305,基于每个活动触发事件集中参考业务数据源的数据源总量和第二大数据意图程度大于第二阈值的参考业务数据源的第二大数据意图程度,确定每个活动触发事件集对应的第二成员大数据操作信息。
在得到每个参考业务数据源的第二大数据意图程度之后,可以选择第二大数据意图程度大于第一阈值(可以取0.8)的参考业务数据源,这些参考业务数据源可以视为待定大数据意图对象。根据待定大数据意图对象的第二大数据意图程度,计算每个活动触发事件集中所有待定大数据意图对象的总得分,然后除以该活动触发事件集中参考业务数据源的数据源总量,得到每个活动触发事件集的大数据意图拆分,将该大数据意图拆分作为第二成员大数据操作信息,第二成员大数据操作信息越高则大数据操作活动的重要性相对越差。
步骤S130,根据每个目标业务数据源每次请求目标云计算业务资源时的请求数字对象,确定每个活动触发事件集的第二大数据操作信息;第二大数据操作信息表示活动触发事件集中的目标业务数据源请求目标云计算业务资源的请求业务范围。
在一种独立的实施例中,第二大数据操作信息的计算方法可以包括以下步骤。
步骤S401,根据每个目标业务数据源每次请求目标云计算业务资源时的请求数字对象,统计每个活动触发事件集中在第一请求数字对象配置目标云计算业务资源并在第二请求数字对象启用目标云计算业务资源的目标业务数据源的数据源量、在第一请求数字对象配置目标云计算业务资源的目标业务数据源的数据源量、在第一请求数字对象和第二请求数字对象均启用目标云计算业务资源的目标业务数据源的数据源量以及在第一请求数字对象启用目标云计算业务资源的目标业务数据源的数据源量;第二请求数字对象为第一请求数字对象以后的请求数字对象。
步骤S402,根据每个活动触发事件集中在第一请求数字对象配置目标云计算业务资源并在第二请求数字对象启用目标云计算业务资源的目标业务数据源的数据源量和在第一请求数字对象配置目标云计算业务资源的目标业务数据源的数据源量,计算每个活动触发事件集对应的第三成员大数据操作信息。
步骤S403,根据每个活动触发事件集中在第一请求数字对象和第二请求数字对象启均用目标云计算业务资源的目标业务数据源的数据源量和在第一请求数字对象启用目标云计算业务资源的目标业务数据源的数据源量,计算每个活动触发事件集对应的第四成员大数据操作信息。
步骤S404,根据活动触发事件集对应的第三成员大数据操作信息和第四成员大数据操作信息,确定每个活动触发事件集对应的第二大数据操作信息。
本公开实施例主要计算两种第二大数据操作信息,分别是原始活动触发阶段的第二大数据操作信息和进展活动触发阶段的第二大数据操作信息。以上在第一请求数字对象配置目标云计算业务资源的目标业务数据源视为原始活动触发阶段,在第一请求数字对象之前已配置且在第一请求数字对象启用目标云计算业务资源的目标业务数据源视为进展活动触发阶段。原始活动触发阶段的第二大数据操作信息即第三成员大数据操作信息,是指活动触发事件集中在第一请求数字对象配置目标云计算业务资源并在第二请求数字对象启用该目标云计算业务资源的目标业务数据源的数据源量占在第一请求数字对象配置目标云计算业务资源的目标业务数据源的数据源量的比率。进展活动触发阶段的第二大数据操作信息即第四成员大数据操作信息,是指活动触发事件集中在第一请求数字对象和第二请求数字对象启均用目标云计算业务资源的目标业务数据源的数据源量占在第一请求数字对象启用目标云计算业务资源的目标业务数据源的数据源量的比率。
示例性的:原始活动触发阶段的第二大数据操作信息可以是指当天配置该目标云计算业务资源并在第n个节点仍启动了该目标云计算业务资源的资源的数量占当天配置该目标云计算业务资源的资源的数量的比率。
进展活动触发阶段的第二大数据操作信息可以是指当天启动了该目标云计算业务资源并在第n个节点仍启动了该目标云计算业务资源的资源的数量占当前启动了该目标云计算业务资源的资源的数量的比率。
对于每个活动触发事件集,计算每个活动触发事件集的第三成员大数据操作信息和第四成员大数据操作信息的均值向量序列,将均值向量序列作为该活动触发事件集对应的第二大数据操作信息。
步骤S140,根据每个大数据操作活动对应的活动触发事件集的第一大数据操作信息和第二大数据操作信息,进行大数据操作活动的关键大数据采集。
活动触发事件集的第一大数据操作信息包括:基于单条活动触发事件大数据意图检测得到的第一成员大数据操作信息和基于多条活动触发事件大数据意图检测得到的第二成员大数据操作信息。一种实施例中,根据每个大数据操作活动对应的活动触发事件集的第一大数据操作信息和第二大数据操作信息,进行大数据操作活动的关键大数据采集可以包括以下步骤
步骤S141,对每个活动触发事件集的第一成员大数据操作信息、第二成员大数据操作信息和第二大数据操作信息进行标准化转换处理,获得第一成员大数据操作信息对应的第一标准化值、第二成员大数据操作信息对应的第二标准化值和第二大数据操作信息对应的第三标准化值。
步骤S142,获取预设的与第一成员大数据操作信息对应的第一成员重要系数、与第二成员大数据操作信息对应的第二成员重要系数和与第二大数据操作信息对应的第三成员重要系数。
步骤S143,根据第一成员重要系数、第二成员重要系数和第三成员重要系数,对每个活动触发事件集的第一标准化值、第二标准化值和第三标准化值进行权重计算,得到每个活动触发事件集的大数据意图程度。
步骤S144,根据各大数据操作活动对应的活动触发事件集的大数据意图程度,进行大数据操作活动的关键大数据采集。
本实施例中,第一成员大数据操作信息、第二成员大数据操作信息和第二大数据操作信息的数值差异可能会很大,为了结合三种方法获得的各大数据操作活动的分值,来进行大数据操作活动顺序整理,需要将三种方法获得的分值进行标准化转换处理,这里标准化转换处理是指将第一成员大数据操作信息、第二成员大数据操作信息和第二大数据操作信息按比例处理,使之落入一个特定区间。常见的标准化转换处理方法有:min-max标准化(Min-max normalization),log函数转换,atan函数转换,z-score标准化(zero-menanormalization),模糊量化法。
一种实施例中,可以采用标准化公式x'=(x-μ)/σ分别对第一成员大数据操作信息、第二成员大数据操作信息和第二大数据操作信息进行标准化转换处理,获得与第一成员大数据操作信息对应的第一标准化值、与第二成员大数据操作信息对应的第二标准化值和与第二大数据操作信息对应的第三标准化值,其中,x为待处理分值,为第一成员大数据操作信息、第二成员大数据操作信息或者第二大数据操作信息,x'为x对应的标准化值,μ为各活动触发事件集对应分值的均值,σ为各活动触发事件集对应分值的标准差,当x为第一成员大数据操作信息时,μ为各活动触发事件集对应的第一成员大数据操作信息的均值,σ为各活动触发事件集对应第一成员大数据操作信息的标准差。
假设对第一成员大数据操作信息m1、第二成员大数据操作信息m2和第二大数据操作信息m3进行标准化转换处理后,获得第一成员大数据操作信息m1的第一标准化值m1’、第二成员大数据操作信息m2的第二标准化值m2’和第二大数据操作信息m3对应的第三标准化值m3’,a、b、c分别代表第一成员大数据操作信息、第二成员大数据操作信息、第二大数据操作信息的分值的成员重要系数(a、b、c均大于0小于1),则活动触发事件集的大数据意图程度m=a*m1’+b*m2’-c*m3’,由此可以根据大数据意图程度m对活动触发事件集对应的大数据操作活动进行顺序整理,得到活动触发事件集对应的各大数据操作活动的总顺序整理,其中,m的分值越高则顺序整理越低,其对应的大数据操作活动是大数据意图大数据操作活动的可能性越大。因而,可以根据各大数据操作活动对应的活动触发事件集的大数据意图程度,进行大数据操作活动的关键大数据采集。其中,譬如进行大数据操作活动的关键大数据采集的方法可以是:将大数据意图程度较高的预设数量的活动触发事件集所对应的大数据操作活动包括操作活动对象作为挖掘的关键大数据采集依据,预设数量可以是定值,也可以根据预设的大数据意图占比和所有活动触发事件集的数据源总量计算得到;或者,计算各活动触发事件集的大数据意图程度与分值最高的大数据意图程度之间的差值,当差值小于预设的差值阈值时,将该活动触发事件集对应的大数据操作活动包括操作活动对象作为挖掘的关键大数据采集依据。
此外,得到大数据操作活动总顺序整理后,还可以将顺序整理最高的活动触发事件集的包括操作活动对象作为高可靠性关键大数据采集依据,将顺序整理较低的活动触发事件集的包括操作活动对象作为低可靠性关键大数据采集依据,可以针对顺序整理较低的大数据操作活动进行分析,比如对比分析高可靠性关键大数据采集依据和低可靠性关键大数据采集依据中,一天中各个时间段的目标云计算业务资源启动数的差异以及折线图的趋势变化差异,如果低可靠性关键大数据采集依据中一天中各个时间段的目标云计算业务资源启动数基本平衡则可能存在很大的问题。同样还可以分析一周内的各天的目标云计算业务资源启动数的差异等。
在本公开实施例中,获取每个大数据操作活动对应的活动触发事件集,每个活动触发事件集包括至少两个目标业务数据源的活动触发事件数据;根据每个目标业务数据源首次请求目标云计算业务资源时的活动触发事件,确定每个活动触发事件集的第一成员大数据操作信息;根据每个目标业务数据源在每个大数据操作活动内首次请求目标云计算业务资源时的活动触发事件,确定每个活动触发事件集的第二成员大数据操作信息;根据每个目标业务数据源每次请求目标云计算业务资源时的请求数字对象,确定每个活动触发事件集的第二大数据操作信息;进而根据每个大数据操作活动对应的活动触发事件集的第一成员大数据操作信息、第二成员大数据操作信息和第二大数据操作信息,进行大数据操作活动的关键大数据采集。本公开考虑了基于单条活动触发事件大数据意图检测的第一成员大数据操作信息、基于多条活动触发事件大数据意图检测的第二成员大数据操作信息、基于活动触发事件上报的请求数字对象和频度规律的第二大数据操作信息三种大数据操作活动重要性评价方法,其中,第一成员大数据操作信息和第二成员大数据操作信息是基于活动触发事件的大数据意图特征对大数据操作活动进行分析,第二大数据操作信息则是通过用户的请求业务信息对大数据操作活动进行分析,两者结合能同时结合活动触发事件的大数据意图特征和请求业务信息,提高关键大数据采集的精准度。
本公开实施例基于活动触发事件对目标云计算业务资源的大数据采集大数据操作活动重要性做排序,最终的大数据操作活动排序结果考虑了基于单条活动触发事件大数据意图检测结果、基于多条活动触发事件大数据意图检测结果、第二大数据操作信息三种大数据操作活动的顺序整理结果。不仅能输出大数据操作活动的顺序整理,而且能输出各大数据操作活动的加权汇总得分,辅助对大数据操作活动重要性做更近一步的判断。对识别出低可靠性的大数据采集大数据操作活动,可以在二次分析后决定是否减少或停止对这些低可靠性大数据采集大数据操作活动的权重或者频率,同时对高可靠性的大数据采集大数据操作活动可以适当增加大数据采集优化配置的权重或者频率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本公开所必须的。
在以上描述的基础上,下面对本公开下述实施例中所涉及到的部分术语进行说明。
在线采集行为配置数据:用于影响在线采集对象的大数据采集行为的配置项目因素,例如大数据采集频率设置、大数据采集层次设置、大数据采集间隔周期设置、大数据采集持续范围设置等。
在下述的实施例中,第一云端服务流程的在线采集迁移执行信息可以是通过第三应用获取的实时在线采集迁移信息采集,即第一云端服务流程的在线采集迁移执行信息为第一云端服务流程真实的在线采集迁移状态,还可以是以往同期的在线采集迁移数据,即第一云端服务流程的在线采集迁移执行信息是第一云端服务流程模拟的在线采集迁移状态。其中,第一云端服务流程是相对于第二云端服务流程的参考云端服务流程,第一云端服务流程和第二云端服务流程的单位可以根据实际开发和业务迭代周期灵活设定。其中,在线采集跳转执行信息是通过业务脚本对在线采集行为策略中的大数据采集行为进行感知得到的,在线知识图谱信息是通过业务脚本对在线采集行为策略中在线采集对象的知识图谱生成得到的。
在前述步骤S110之前,如图2所示,图2为本公开实施例提供的基于云计算服务的大数据挖掘方法的流程示意图,本实施例提供的基于云计算服务的大数据挖掘方法可以由图1中所示的大数据挖掘服务系统100执行,下面对该基于云计算服务的大数据挖掘方法进行详细介绍。
步骤S101,获取在线采集行为策略中在线采集对象在第一云端服务流程的在线知识图谱信息、在线采集行为策略在第一云端服务流程的在线采集跳转执行信息、以及在线采集行为策略在第一云端服务流程的在线采集迁移执行信息。
例如,大数据挖掘服务系统100可以通过在线采集行为策略中的业务脚本获取相对于当前云端服务流程(第二云端服务流程)的参考云端服务流程(第一云端服务流程)的在线采集跳转执行信息以及在线知识图谱信息,通过第三应用获取第一云端服务流程的在线采集迁移执行信息以及第二云端服务流程的在线采集迁移执行信息,基于第一云端服务流程的在线知识图谱信息、第一云端服务流程的在线采集跳转执行信息以及第一云端服务流程的在线采集迁移执行信息,自动生成针对在线采集行为策略的配置指令,并通过解析针对在线采集行为策略的配置指令,得到第一云端服务流程的在线知识图谱信息、第一云端服务流程的在线采集跳转执行信息以及第一云端服务流程的在线采集迁移执行信息,以便后续基于第一云端服务流程的在线知识图谱信息、第一云端服务流程的在线采集跳转执行信息以及第一云端服务流程的在线采集迁移执行信息训练目标机器学习网络进行在线采集行为配置数据的动态优化。
步骤S102,基于第一云端服务流程的在线知识图谱信息、第一云端服务流程的在线采集跳转执行信息、以及第一云端服务流程的在线采集迁移执行信息训练目标机器学习网络,以得到在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据,其中,第二云端服务流程在第一云端服务流程的迁移云端服务流程。
例如,将第一云端服务流程的在线知识图谱信息、第一云端服务流程的在线采集跳转执行信息、以及第一云端服务流程的在线采集迁移执行信息输入目标机器学习网络,使得目标机器学习网络学习到以下策略:将在线采集行为策略的在线采集行为配置数据和在线采集迁移执行信息共用作用于在线采集行为策略的在线采集跳转执行信息,并将在线采集行为策略的在线采集跳转执行信息作用于在线采集对象的在线知识图谱信息,从而通过目标机器学习网络进行预测处理,得到在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据,即下一云端服务流程用于配置在线采集行为策略的在线采集行为配置数据,结合在线采集迁移执行信息动态调整控制在线采集行为策略中在线采集对象的大数据采集行为,进而实现在线采集对象大数据采集行为的智能化地精准预测。
示例性地,在一种独立的实施例中,步骤S102可通过步骤S1021-步骤S1023实现:基于目标机器学习网络执行以下处理:在步骤S1021中,基于第一云端服务流程的在线知识图谱信息,确定第二云端服务流程中满足大数据采集优化要求的预设在线知识图谱信息;在步骤S1022中,确定实现预设在线知识图谱信息时第二云端服务流程的在线采集跳转执行信息;在步骤S1023中,基于第二云端服务流程的在线采集迁移执行信息与第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据共同作用于第二云端服务流程的在线采集跳转执行信息的联动关系,确定在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据。
例如,大数据挖掘服务系统100通过解析针对在线采集行为策略的配置指令,获取第一云端服务流程的在线知识图谱信息、第一云端服务流程的在线采集跳转执行信息、以及第一云端服务流程的在线采集迁移执行信息,并训练目标机器学习网络进行预测处理,基于目标机器学习网络学习到的策略,先基于第一云端服务流程的在线知识图谱信息进行在线知识图谱信息的预测处理,得到第二云端服务流程中满足大数据采集优化要求的预设在线知识图谱信息,其中,大数据采集优化要求可以预先根据实际场景进行设置的,例如大数据采集优化要求是在线采集对象的业务转换率最大化,还可以是在线采集对象所带来的业务净值最大化等。在获得第二云端服务流程的预设在线知识图谱信息后,确定实现预设在线知识图谱信息时第二云端服务流程的在线采集跳转执行信息,最后,基于目标机器学习网络学习到的第二云端服务流程的在线采集迁移执行信息与第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据共同作用于第二云端服务流程的在线采集跳转执行信息的联动关系,确定在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据,以便智能化控制在线采集行为策略中在线采集对象的大数据采集行为。
在一种单独实施例中,第一云端服务流程的在线知识图谱信息为在线采集对象的在线采集比例为50%,基于在线采集对象所带来的业务净值最大化的大数据采集优化要求,基于第一云端服务流程的在线知识图谱信息进行在线知识图谱信息的预测处理,得到第二云端服务流程的预设在线知识图谱信息为在线采集比例为75%,为了实现第二云端服务流程的预设在线知识图谱信息,第二云端服务流程的在线采集跳转执行信息为在线采集行为策略大数据采集频率达到8次/秒、大数据采集层次达到5个跨度层级,并通过第三方应用的在线采集迁移信息采集获取第二云端服务流程的在线采集迁移执行信息为全局大数据采集频率为5次/秒,基于第二云端服务流程的在线采集迁移执行信息与第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据共同作用于第二云端服务流程的在线采集跳转执行信息的联动关系,确定第二云端服务流程的在线采集行为配置数据为大数据采集频率设置为开启以达到8次/秒、大数据采集层次设置为开启以达到5个跨度层级、大数据采集间隔周期设置为1小时。
在一种单独实施例中,目标机器学习网络包括第一机器学习结构、第二机器学习结构以及特征分类结构;基于第一机器学习结构对第一云端服务流程的在线知识图谱信息进行特征关联处理,得到第二云端服务流程中满足大数据采集优化要求的预设在线知识图谱信息;相对地,基于第二机器学习结构包括的在线采集行为策略的在线采集跳转执行信息与在线采集对象的在线知识图谱信息之间的图谱关联实体,对第二云端服务流程的预设在线知识图谱信息进行特征关联处理,得到实现第二云端服务流程的预设在线知识图谱信息时第二云端服务流程的在线采集跳转执行信息;相对地,基于特征分类结构包括的在线采集行为策略的在线采集行为配置数据和在线采集迁移执行信息共同与在线采集行为策略的在线采集跳转执行信息之间的图谱关联实体,将第二云端服务流程的在线采集跳转执行信息映射为在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据。
在一种独立的实施例中,可以将第一云端服务流程的在线知识图谱信息输入目标机器学习网络中的第一机器学习结构,通过第一机器学习结构对第一云端服务流程的在线知识图谱信息进行特征关联处理,得到第二云端服务流程中满足大数据采集优化要求的预设在线知识图谱信息,并将预设在线知识图谱信息输入至第二机器学习结构,通过第二机器学习结构学习到的在线采集行为策略的在线采集跳转执行信息与在线采集对象的在线知识图谱信息之间的图谱关联实体,对第二云端服务流程的预设在线知识图谱信息进行特征关联处理,得到实现第二云端服务流程的预设在线知识图谱信息时第二云端服务流程的在线采集跳转执行信息,并将第二云端服务流程的在线采集跳转执行信息输入至特征分类结构,通过特征分类结构学习到的在线采集行为策略的在线采集行为配置数据和在线采集迁移执行信息共同与在线采集行为策略的在线采集跳转执行信息之间的图谱关联实体,将第二云端服务流程的在线采集跳转执行信息映射为在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据。从而,通过目标机器学习网络中多层单元即可预测得到第二云端服务流程的在线采集行为配置数据,进而实现在线采集对象大数据采集行为的智能化地精准预测,避免通过人工调控的方式对在线采集行为策略中在线采集对象的大数据采集行为进行调整。
在一种单独实施例中,目标机器学习网络包括第一机器学习结构、第二机器学习结构以及特征分类结构;基于第一机器学习结构对第一云端服务流程的在线知识图谱信息进行特征关联处理,得到第二云端服务流程中满足大数据采集优化要求的预设在线知识图谱信息;相对地,基于第二机器学习结构包括的在线采集行为策略的在线采集跳转执行信息与在线采集对象的在线知识图谱信息变化之间的图谱关联实体,对第一云端服务流程的在线知识图谱信息与第二云端服务流程的预设在线知识图谱信息的损失函数进行特征转换处理,得到实现第二云端服务流程的预设在线知识图谱信息时第二云端服务流程的在线采集跳转执行信息;相对地,基于特征分类结构包括的在线采集行为策略的在线采集行为配置数据和在线采集迁移执行信息共同与在线采集行为策略的在线采集跳转执行信息之间的图谱关联实体,将第二云端服务流程的在线采集跳转执行信息映射为在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据。
例如,可以将第一云端服务流程的在线知识图谱信息输入目标机器学习网络中的第一机器学习结构,通过第一机器学习结构对第一云端服务流程的在线知识图谱信息进行特征关联处理,得到第二云端服务流程中满足大数据采集优化要求的预设在线知识图谱信息,并将预设在线知识图谱信息输入至第二机器学习结构,通过第二机器学习结构学习到的在线采集行为策略的在线采集跳转执行信息与在线采集对象的在线知识图谱信息变化之间的图谱关联实体,对第一云端服务流程的在线知识图谱信息与第二云端服务流程的预设在线知识图谱信息的损失函数进行特征转换处理,得到实现第二云端服务流程的预设在线知识图谱信息时第二云端服务流程的在线采集跳转执行信息,第二机器学习结构将第二云端服务流程的在线采集跳转执行信息输入至特征分类结构,通过特征分类结构学习到的在线采集行为策略的在线采集行为配置数据和在线采集迁移执行信息共同与在线采集行为策略的在线采集跳转执行信息之间的图谱关联实体,将第二云端服务流程的在线采集跳转执行信息映射为在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据。从而,通过目标机器学习网络中多层单元即可预测得到第二云端服务流程的在线采集行为配置数据,进而实现在线采集对象大数据采集行为的智能化地精准预测,避免通过人工调控的方式对在线采集行为策略中在线采集对象的大数据采集行为进行调整。
在一种独立的实施例中,第一云端服务流程的在线知识图谱信息为在线采集对象的在线采集比例为50%,第二云端服务流程的预设在线知识图谱信息为在线采集比例为75%,则在线采集对象的在线知识图谱信息变化为在线采集比例增加25%,为了实现在线采集对象的在线知识图谱信息变化,第二云端服务流程的在线采集跳转执行信息为在线采集行为策略大数据采集频率达到8次/秒、大数据采集层次达到5个跨度层级,从而通过第二机器学习结构学习到在线采集对象实际生长过程中在线采集行为策略的在线采集跳转执行信息与在线采集对象的在线知识图谱信息变化之间的关系,从而准确地确定出实现第二云端服务流程的预设在线知识图谱信息时第二云端服务流程的在线采集跳转执行信息,以便后续准确地定位出在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据。
在一种单独实施例中,特征分类结构包括第一卷积结构、第二卷积结构、全连接结构以及第三卷积结构;将第二云端服务流程的在线采集跳转执行信息映射为在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据,包括:基于第一卷积结构对第二云端服务流程的在线采集迁移执行信息进行特征提取,得到对应在线采集迁移执行信息的第一卷积结果;基于第二卷积结构对第二云端服务流程的在线采集跳转执行信息进行特征提取,得到对应在线采集跳转执行信息的第二卷积结果;基于全连接结构确定第二卷积结果与第一卷积结果的损失函数;基于第三卷积结构对损失函数进行特征提取,得到在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据。
例如,第二机器学习结构将第二云端服务流程的在线采集跳转执行信息输入至特征分类结构后,基于学习到的在线采集行为策略的在线采集行为配置数据和在线采集迁移执行信息共同与在线采集行为策略的在线采集跳转执行信息之间的图谱关联实体,通过特征分类结构中的第一卷积结构对第二云端服务流程的在线采集迁移执行信息进行特征提取,得到对应在线采集迁移执行信息的第一卷积结果(即第一卷积向量),并通过特征分类结构中的第二卷积结构对第二云端服务流程的在线采集跳转执行信息进行特征提取,得到对应在线采集跳转执行信息的第二卷积结果(即第二卷积向量),然后通过全连接结构对第二卷积结果与第一卷积结果作差,以得到第二卷积结果与第一卷积结果的损失函数,最后通过第三卷积结构对损失函数进行特征提取,得到在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据。
步骤S103,在第二云端服务流程将在线采集行为配置数据应用到在线采集行为策略中,以便于基于在线采集行为策略进行大数据操作活动的关键大数据采集后,对采集后的大数据操作活动的关键大数据进行大数据挖掘。
例如,大数据挖掘服务系统100将针对在线采集行为策略的配置指令发送至大数据挖掘服务系统,大数据挖掘服务系统接收到针对在线采集行为策略的配置指令后,训练目标机器学习网络进行预测处理后,得到第二云端服务流程的在线采集行为配置数据,并将第二云端服务流程的在线采集行为配置数据反馈至大数据挖掘服务系统100,大数据挖掘服务系统100通过大数据注册终端在第二云端服务流程将在线采集行为配置数据应用到在线采集行为策略中,从而将第一云端服务流程的在线采集跳转执行信息转换至第二云端服务流程的在线采集跳转执行信息,并在第二云端服务流程的在线采集跳转执行信息以及第二云端服务流程的在线采集迁移执行信息共同作用下,将第一云端服务流程的在线知识图谱信息转换至第二云端服务流程的在线知识图谱信息,从而实现自动化控制在线采集行为策略中在线采集对象的优化。
在一种单独的实施例中,还可以包括步骤S104-步骤S105:在步骤S104中,基于在线采集行为策略中在线采集对象在多个参考云端服务流程的在线知识图谱信息、在线采集行为策略在多个参考云端服务流程的在线采集跳转执行信息、在线采集行为策略在多个参考云端服务流程的在线采集迁移执行信息,构建目标机器学习网络的参考数据集;在步骤S105中,基于参考数据集对目标机器学习网络进行训练,得到用于在线采集行为配置数据预测的目标机器学习网络。
例如,将当前云端服务流程的特征(包括在线知识图谱信息、在线采集跳转执行信息以及在线采集迁移执行信息)作为下一云端服务流程的参考云端服务流程的特征。可以将在线采集行为策略中在线采集对象的业务服务过程的一个业务迭代阶段内的特征(包括在线知识图谱信息、在线采集跳转执行信息以及在线采集迁移执行信息)作为参考数据集,以训练目标机器学习网络,即多个参考云端服务流程属于在线采集对象的业务服务过程的一个业务迭代流程,例如在线采集对象的业务服务过程周期为30个流程,且在线采集行为配置数据是以流程为单位进行优化的,则多个参考云端服务流程的数量为30,即第1流程、第2流程、…第30流程。
其中,多个参考云端服务流程还可以是由多个周期构成,例如多个参考云端服务流程为第1参考云端服务流程、第2参考云端服务流程以及第3参考云端服务流程,而第1参考云端服务流程是在线采集对象的第1个业务迭代阶段中的任一云端服务流程、第2参考云端服务流程是在线采集对象的第2个业务迭代阶段中的任一云端服务流程、第3参考云端服务流程是在线采集对象的第3个业务迭代阶段中的任一云端服务流程。
在一种单独实施例中,基于在线采集行为策略中在线采集对象在多个参考云端服务流程的在线知识图谱信息、在线采集行为策略在多个参考云端服务流程的在线采集跳转执行信息、在线采集行为策略在多个参考云端服务流程的在线采集迁移执行信息,构建目标机器学习网络的参考数据集,包括:针对多个参考云端服务流程中的任一参考云端服务流程执行以下处理:获取参考云端服务流程的下一参考云端服务流程的在线知识图谱信息、参考云端服务流程的下一参考云端服务流程的在线采集跳转执行信息以及参考云端服务流程的下一参考云端服务流程的在线采集迁移执行信息;将在线采集行为策略中在线采集对象在参考云端服务流程的在线知识图谱信息、在线采集行为策略在参考云端服务流程的在线采集跳转执行信息、参考云端服务流程的在线采集迁移执行信息组合为参考云端服务流程的第一卷积结果;将参考云端服务流程的下一参考云端服务流程的在线知识图谱信息、参考云端服务流程的下一参考云端服务流程的在线采集跳转执行信息以及参考云端服务流程的下一参考云端服务流程的在线采集迁移执行信息组合为下一参考云端服务流程的第二卷积结果;基于参考云端服务流程的第一卷积结果、在参考云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据以及下一参考云端服务流程的第二卷积结果,构建参考云端服务流程的参考数据集;将多个参考云端服务流程的参考数据集进行融合处理,得到目标机器学习网络的参考数据集。
例如,当某一参考云端服务流程的在线知识图谱信息为x1、在线采集跳转执行信息为y1、在线采集迁移执行信息为z1时,则该参考云端服务流程的特征向量为S1[x1,y1,z1]。当该参考云端服务流程的下一参考云端服务流程的在线知识图谱信息为x2、在线采集跳转执行信息为y2、在线采集迁移执行信息为z2时,则该参考云端服务流程的下一参考云端服务流程的特征向量为S2[x2,y2,z2]。当该参考云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据为a1时,则将该参考云端服务流程的在线知识图谱信息S1、该参考云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据为a1以及该参考云端服务流程的下一参考云端服务流程的特征向量S2组合为该参考云端服务流程的参考数据集[S1,a1,S2]。当有N个参考云端服务流程时,则参考数据集为[S1,a1,S2]、…、[sN-1,aN-1,sN]、[sN,aN,终止态],其中,N为大于2的自然数,终止态表示训练终止条件。
其中,在动态调整控制在线采集行为策略中在线采集对象的大数据采集行为的过程中,可以将参考云端服务流程的参考数据集存储至中转特征分区,以收集参考数据集,从而当中转特征分区中参考云端服务流程的参考数据集的数量达到设定阈值时,从中转特征分区获取多个参考云端服务流程的参考数据集,并基于多个参考云端服务流程的参考数据集对目标机器学习网络进行训练。
在一种单独实施例中,基于在线采集行为策略中在线采集对象的业务服务过程的参考数据集对目标机器学习网络进行训练,得到用于在线采集行为配置数据预测的目标机器学习网络,包括:基于参考数据集中的任一参考云端服务流程的参考数据集以及参考云端服务流程的参考评价信息,构建目标机器学习网络的权重评估函数;优化目标机器学习网络的参数直至权重评估函数最小化,将权重评估函数最小化时目标机器学习网络的优化的参数,作为用于在线采集行为配置数据预测的目标机器学习网络的参数。
在一种单独实施例中,构建目标机器学习网络的权重评估函数之前,还包括:基于参考数据集中的任一参考云端服务流程的参考数据集训练目标机器学习网络进行预测处理,得到在参考云端服务流程中用于配置在线采集行为策略的预测在线采集行为配置数据;基于预测在线采集行为配置数据,得到参考云端服务流程的预测评价信息;基于参考云端服务流程的参考数据集、参考云端服务流程的预测评价信息以及参考云端服务流程的参考评价信息,构建目标机器学习网络的权重评估函数。
例如,在训练阶段,训练目标机器学习网络进行预测处理,得到在参考云端服务流程中用于配置在线采集行为策略的预测在线采集行为配置数据,并基于预测在线采集行为配置数据,得到参考云端服务流程的预测评价信息,例如基于预测在线采集行为配置数据,预测在线采集行为策略中在线采集对象能够生成的在线知识图谱信息,将在线采集对象能够生成的在线知识图谱信息所带来的在线知识图谱预测信息作为预测评价信息;基于预测在线采集行为配置数据,预测在线采集行为策略中在线采集对象能够生成的在线知识图谱信息,将在线采集对象能够生成的在线知识图谱信息所带来的在线知识图谱预测信息作为预测评价信息,并预测在线采集行为配置数据所需标签属性关联的引用业务信息,将在线知识图谱预测信息与引用业务信息的损失函数作为参考评价信息。最后,基于参考云端服务流程的参考数据集、参考云端服务流程的预测评价信息以及参考云端服务流程的参考评价信息,构建目标机器学习网络的权重评估函数。
在一种单独实施例中,基于目标机器学习网络中的第一机器学习结构对参考云端服务流程的在线知识图谱信息进行特征关联处理,得到下一参考云端服务流程中满足大数据采集优化要求的预设在线知识图谱信息,基于目标机器学习网络中的特征分类结构包括的在线采集行为策略的在线采集行为配置数据和在线采集迁移执行信息共同与在线采集行为策略的在线采集跳转执行信息之间的图谱关联实体,将下一参考云端服务流程的在线采集跳转执行信息映射为在下一参考云端服务流程中用于配置在线采集行为策略的预测在线采集行为配置数据。
例如,基于任一参考云端服务流程的参考数据集、参考云端服务流程的预测评价信息以及参考云端服务流程的参考评价信息(例如在线采集对象在该参考云端服务流程实际带来的业务净值,或者在线采集对象在该参考云端服务流程实际的业务转换率),确定目标机器学习网络的权重评估函数(例如,交叉熵损失函数等,但不限于此)的值后,可以判断目标机器学习网络的权重评估函数的值是否超出预设阈值,当目标机器学习网络的权重评估函数的值超出预设阈值时,基于目标机器学习网络的权重评估函数确定目标机器学习网络的误差信号,将误差信息在目标机器学习网络中反向传播,并在传播的过程中优化各个层的模型参数。
在一种独立的实施例中,构建目标机器学习网络的权重评估函数之前,还包括:获取参考云端服务流程的参考数据集中的下一参考云端服务流程的在线知识图谱信息,基于下一参考云端服务流程的在线知识图谱信息请求在线采集对象仿真器模型,以确定在线采集对象的业务服务过程在参考云端服务流程所带来的在线知识图谱预测信息,并将在线知识图谱预测信息作为参考云端服务流程的参考评价信息。例如,将在线采集对象在该参考云端服务流程实际的业务转换率作为参考云端服务流程的参考评价信息。
在一种独立的实施例中,构建目标机器学习网络的权重评估函数之前,还包括:获取参考云端服务流程的参考数据集中的下一参考云端服务流程的在线知识图谱信息,基于下一参考云端服务流程的在线知识图谱信息请求在线采集对象仿真器模型,以确定在线采集对象的业务服务过程在参考云端服务流程所带来的在线知识图谱预测信息;获取在参考云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据;基于在参考云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据请求在线采集对象仿真器模型,以确定在线采集行为配置数据所需标签属性关联的引用业务信息,将在线知识图谱预测信息作为参考云端服务流程的参考评价信息,包括:将在线知识图谱预测信息与引用业务信息的损失函数作为参考云端服务流程的参考评价信息。例如,在线采集对象在该参考云端服务流程实际带来的业务净值作为参考云端服务流程的参考评价信息。
在一种可能的实施例中,针对前述步骤S103,可以通过以下示例性的步骤进一步实现。
步骤S1031,获取针对在线采集行为策略的在线采集行为配置数据的优化信息。
在本实施例中,大数据挖掘服务系统100可以接收前端服务节点发送的优化信息,优化信息用于指示针对在线采集行为配置数据中的当前采集模板信息执行模板内容优化。
步骤S1032,在当前采集模板信息处于第一采集激活模式时,确定当前采集模板信息所对应的优化流程,及优化流程中处于优化激活状态的所有优化业务云计算业务资源,并请求所有优化业务云计算业务资源响应优化信息,针对当前采集模板信息执行模板内容优化。
步骤S1033,在当前采集模板信息处于第二采集激活模式时,确定当前采集模板信息在在线采集行为配置数据中的当前采集行为配置指令,并在当前采集行为配置指令满足预设的优化级别时,针对当前采集模板信息执行模板内容优化。
在本实施例中,当前采集模板信息中保存有一采集模板标签,采集模板标签用于指示当前采集模板信息的状态;比如,当采集模板标签指示当前采集模板信息处于第一采集激活模式时,大数据挖掘服务系统100确定当前采集模板信息处于完全大数据采集激活状态,此时大数据挖掘服务系统100可以确定出当前采集模板信息所对应的优化流程,以及优化流程中处于优化激活状态的所有优化业务云计算业务资源。
其中,当前采集模板信息中可以保存有一优化标签,优化标签可以用于指示对应的优化流程;大数据挖掘服务系统100可以保存一优化标签关联位图,优化标签关联位图中记录有多个优化标签与多个优化流程的对应关系;大数据挖掘服务系统100可以通过查询优化标签关联位图,从而获得当前采集模板信息中保存的优化标签信息所对应的优化流程;并且,大数据挖掘服务系统100可以向确定出的优化流程的应用服务发送查询信息,以请求优化流程中所有优化业务云计算业务资源返回的响应信息。
接下来,大数据挖掘服务系统100可以根据优化流程中各个优化业务云计算业务资源各自返回响应信息的情况,确定各个优化业务云计算业务资源的工作状态;比如,大数据挖掘服务系统100可以确定设定时间内反馈了响应信息的优化业务云计算业务资源处于优化激活状态,而超出设定时间也没有反馈响应信息的优化业务云计算业务资源则不处于优化激活状态;如此,当大数据挖掘服务系统100确定出优化流程中处于优化激活状态的所有优化业务云计算业务资源后,大数据挖掘服务系统100可以请求所有优化业务云计算业务资源响应优化请求,针对当前采集模板信息执行模板内容优化。
另外,当采集模板标签指示当前采集模板信息处于第二采集激活模式时,大数据挖掘服务系统100确定当前采集模板信息处于部分大数据采集激活状态,即当前采集模板信息中包含一些不大数据采集激活的数据,此时大数据挖掘服务系统100可以确定出当前采集模板信息在在线采集行为配置数据中的当前采集行为配置指令,并查找预先配置的优化级别策略表,该优化级别策略表中记录有多个信令各自对应的优化级别;当大数据挖掘服务系统100通过查找优化级别策略表,确定当前采集行为配置指令对应的优化级别,并当大数据挖掘服务系统100判定当前采集行为配置指令对应的优化级别满足预设的优化级别时,大数据挖掘服务系统100确定当前采集模板信息符合优化需求,则大数据挖掘服务系统100针对当前采集模板信息执行模板内容优化。
可见,在本公开提供的方案中,通过获取针对在线采集行为策略的在线采集行为配置数据的优化信息,其中,优化信息用于指示针对在线采集行为配置数据中的当前采集模板信息执行模板内容优化;在当前采集模板信息处于第一采集激活模式的情况下,确定当前采集模板信息所对应的优化流程,及优化流程中处于优化激活状态的所有优化业务云计算业务资源,并请求所有优化业务云计算业务资源响应优化信息,针对当前采集模板信息执行模板内容优化;另外,在当前采集模板信息处于第二采集激活模式的情况下,确定当前采集模板信息在在线采集行为配置数据中的当前采集行为配置指令,并在当前采集行为配置指令满足预设的优化级别时,针对当前采集模板信息执行模板内容优化。如此,通过判断当前采集模板信息处于第一采集激活模式或第二采集激活模式的两种情况,从而针对不同的情况响应于当前采集模板信息的优化信息,以执行模板内容优化,进而提升了采集模板信息的大数据采集可靠性,避免数据污染。
其中,在一种单独实施例中,针对优化流程的工作状态不同,大数据挖掘服务系统100在执行步骤S1031之后,还可以先获取在线采集行为配置数据的大数据采集描述信息。
接下来,大数据挖掘服务系统100可以利用上述的方式,获取优化流程的工作状态;并且,大数据挖掘服务系统100可以在获取到用于指示优化流程处于优化运行流程时,将当前采集模板信息从第一采集激活模式切换为第二采集激活模式,并根据大数据采集描述信息获取当前采集模板信息在在线采集行为配置数据中的当前采集行为配置指令,进而执行步骤S1033。
在本实施例中,当前采集行为配置指令可以记录在大数据采集描述信息的指定字段中。
另外,大数据挖掘服务系统100可以在获取到用于指示优化流程处于优化非维护模式时,将当前采集模板信息从第二采集激活模式切换为第一采集激活模式,并根据大数据采集描述信息获取在线采集行为配置数据中的描述分布;从而执行步骤S1032。
其中,在一种单独实施例中,大数据挖掘服务系统100在执行步骤S1033以确定当前采集模板信息在在线采集行为配置数据中的当前采集行为配置指令时,可以采用以下方案:
首先,大数据挖掘服务系统100可以以当前采集模板信息在在线采集行为配置数据中的大数据采集配置接口作为目标配置接口,以当前采集模板信息中的预设大数据采集配置接口业务区间为固定范围确定出遍历配置接口业务区间。在本实施例中,预设大数据采集配置接口业务区间可以记录在当前采集模板信息中的预设配置接口业务区间。接下来,大数据挖掘服务系统100可以根据当前采集模板信息的配置接口频度区间,从遍历配置接口业务区间中确定出当前采集模板信息的配置接口高频度区间;其中,配置接口高频度区间为当前采集模板信息中保存采集行为配置指令的高热度范。在本实施例中,配置接口频度区间可以保存在当前采集模板信息的元数据中。然后,大数据挖掘服务系统100可以从配置接口高频度区间搜索当前采集模板信息的当前采集行为配置指令。接下来,当从配置接口高频度区间未搜索到当前采集行为配置指令时,大数据挖掘服务系统100可以以当前采集模板信息在在线采集行为配置数据中的大数据采集配置接口作为目标配置接口,以当前采集模板信息的对应的采集模板标签属性作为目标标签属性,按照设定的标签属性划分,得到多个采集模板信息的标签属性。然后,大数据挖掘服务系统100可以获取多个采集模板信息的标签属性中每个采集模板信息的标签属性各自对应的标签属性序列,并按照每个标签属性序列各自对应的采集模板信息的标签属性的顺序,将所有的标签属性序列进行融合,以生成当前采集模板信息的当前采集行为配置指令。
另外,在一种单独实施例中,为了针对在线采集行为策略的整体重要性进行评估,针对在线采集行为策略所对应的当前采集模板信息,信息处理方法还可以包括以下步骤:
首先,大数据挖掘服务系统100可以获取当前采集模板信息在预设大数据采集循环周期内各自的历史大数据采集行为信息以及每个历史大数据采集行为信息各自对应的大数据采集行为反馈信息。在本实施例中,预设大数据采集循环周期可以为在线采集行为策略在过去的五个循环周期;历史大数据采集行为信息可以包括在各个预设大数据采集循环周期内的大数据采集行为过程中的大数据控制信息。接下来,大数据挖掘服务系统100可以根据历史大数据采集行为信息和大数据采集行为反馈信息对当前采集模板信息进行大数据采集指标变化计算,以得到当前采集模板信息在每个大数据采集循环周期内对应的大数据采集指标变化评估信息。在本实施例中,大数据挖掘服务系统100可以采用例如最小二乘拟合等方式,根据历史大数据采集行为信息和大数据采集行为反馈信息,对当前采集模板信息进行业务指标增长计算,从而得到当前采集模板信息在每个大数据采集循环周期内对应的大数据采集指标变化评估信息。然后,大数据挖掘服务系统100可以分别对每个大数据采集指标变化评估信息进行重要性参数计算,以得到至少一组大数据采集指标重要性参数。接下来,大数据挖掘服务系统100可以确定待估算的当前大数据采集指标变化评估信息以及与当前大数据采集指标变化评估信息相邻周期的相关大数据采集指标变化评估信息;其中,相关大数据采集指标变化评估信息为与当前大数据采集指标变化评估信息相邻的前一周期的大数据采集指标变化评估信息。然后,大数据挖掘服务系统100可以根据大数据采集指标重要性参数确定当前大数据采集指标变化评估信息与相关大数据采集指标变化评估信息各自对应的预期大数据采集有效转化参数。接下来,大数据挖掘服务系统100可以根据所有的预期大数据采集有效转化参数以及各自对应的大数据采集指标变化评估信息,对当前采集模板信息进行大数据采集重要性预测,以得到当前采集模板信息对应的预期大数据采集重要性数据。然后,大数据挖掘服务系统100可以获取历史采集模板信息所对应的历史大数据采集重要性数据,并根据历史大数据采集重要性数据确定当前采集模板信息的当前大数据采集预期数据;其中,历史采集模板信息为当前采集模板信息对应的在先采集模板信息。接下来,大数据挖掘服务系统100可以根据预期大数据采集重要性数据对当前大数据采集预期数据进行大数据采集重要性参数计算,以得到当前采集模板信息的大数据采集重要性影响参数。然后,大数据挖掘服务系统100可以根据大数据采集重要性影响参数对当前采集模板信息进行重要性预测,以得到当前采集模板信息所对应的参考大数据采集重要性。
如此,基于本公开实施例提供的上述方案,通过对当前采集模板信息进行大数据采集重要性预测,可以基于估算出来的大数据采集重要性,对在线采集行为策略的当前采集模板信息进行整体重要性评估,从而对在线采集行为策略的指标进行客观评估,提升业务拓展的可靠性。
其中,作为一种可能的实施方式,为了提高获取历史大数据采集重要性数据时的可靠性,防止数据被泄漏,大数据挖掘服务系统100在获取历史采集模板信息所对应的历史大数据采集重要性数据时可以采用以下方式:
首先,大数据挖掘服务系统100可以确定出与当前采集模板信息对应的目标历史采集内容优化项目,并获取由目标历史采集内容优化项目所保存的历史采集内容优化数据包;其中,历史采集内容优化数据包为目标历史采集内容优化项目所保存的所有历史采集模板信息的数据包。接下来,大数据挖掘服务系统100可以获取由目标历史采集内容优化项目反馈的历史采集内容优化数据包的优化集标签属性。然后,大数据挖掘服务系统100可以利用优化集标签属性对历史采集内容优化数据包进行解码。接下来,大数据挖掘服务系统100可以获取历史采集模板信息的采集流程开始节点和采集流程结束节点。然后,大数据挖掘服务系统100可以根据采集流程开始节点和采集流程结束节点,确定出目标采集流程。接下来,大数据挖掘服务系统100可以获取解码后的历史采集内容优化数据包在目标采集流程内的目标历史大数据采集订阅信息。然后,大数据挖掘服务系统100可以在目标历史大数据采集订阅信息中解析出当前采集模板信息所对应的历史大数据采集重要性数据。
图3为本公开实施例提供的基于云计算服务的大数据挖掘装置300的功能模块示意图,下面分别对该基于云计算服务的大数据挖掘装置300的各个功能模块的功能进行详细阐述。
获取模块310,用于获取在在线采集行为策略中大数据注册终端的在线采集工具的在线采集对象在第一云端服务流程的在线知识图谱信息、在线采集行为策略在第一云端服务流程的在线采集跳转执行信息、以及在线采集行为策略在第一云端服务流程的在线采集迁移执行信息。
训练模块320,用于基于第一云端服务流程的在线知识图谱信息、第一云端服务流程的在线采集跳转执行信息、以及第一云端服务流程的在线采集迁移执行信息训练目标机器学习网络,以得到在第二云端服务流程中用于配置在线采集行为策略的在线采集行为配置数据,其中,第二云端服务流程在第一云端服务流程的迁移云端服务流程。
应用模块330,用于在第二云端服务流程将在线采集行为配置数据应用到在线采集行为策略中,以便于基于在线采集行为策略进行大数据操作活动的关键大数据采集后,对采集后的大数据操作活动的关键大数据进行大数据挖掘。
图4示出了本公开实施例提供的用于实现上述的基于云计算服务的大数据挖掘方法的大数据挖掘服务系统100的硬件结构示意图,如图4所示,大数据挖掘服务系统100可包括处理器110、机器可读存储介质120、总线130以及收发器140。
在具体实现过程中,至少一个处理器110执行机器可读存储介质120存储的计算机执行指令,使得处理器110可以执行如上方法实施例的基于云计算服务的大数据挖掘方法,处理器110、机器可读存储介质120以及收发器140通过总线130连接,处理器110可以用于控制收发器140的收发动作,从而可以与前述的大数据注册终端200进行数据收发。
处理器110的具体实现过程可参见上述大数据挖掘服务系统100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
此外,本公开实施例还提供一种可读存储介质,所述可读存储介质中预设有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上基于云计算服务的大数据挖掘方法。
最后,应当理解的是,本说明书中实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书范围。因此,在一种单独实施例中而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
- 基于云计算服务的大数据挖掘方法及大数据挖掘服务系统
- 基于区块链安全认证的大数据挖掘方法及云认证服务系统