掌桥专利:专业的专利平台
掌桥专利
首页

一种模型训练方法、装置、计算机设备及可读存储介质

文献发布时间:2023-06-19 18:37:28


一种模型训练方法、装置、计算机设备及可读存储介质

技术领域

本申请涉及人工智能技术领域,尤其涉及一种模型训练方法、装置、计算机设备及可读存储介质。

背景技术

预测是指人们利用已经掌握的知识和手段,预先推知和判断事物未来发展状况的一种活动。通常企业会通过具有丰富经验的员工,对某一领域的数据进行分析并获得预测结果。

然而,这种过分依赖于员工经验的方式不仅人力成本投入高,而且准确度低下,对此,一些企业采用训练后的神经网络对某一领域的数据进行分析运算得到预测结果。

然而,发明人发现,当前的神经网络通常是通过训练样本训练初始神经网络得到成熟神经网络,并将该成熟神经网络直接投入使用,而这样的成熟神经网络很容易因训练过拟合,导致无法准确的根据不同于训练样本的数据得到预测结果,造成该成熟神经网络的适用范围狭窄的情况发生。

发明内容

本申请提供一种模型训练方法、装置、计算机设备及可读存储介质,用以解决当前的成熟神经网络很容易因训练过拟合,导致无法准确的根据不同于训练样本的数据得到预测结果,造成该成熟神经网络的适用范围狭窄的情况发生的问题。

第一方面,本申请提供一种模型训练方法,包括:

获取第一历史数据,将所述第一历史数据划分成训练集和验证测试集;

通过所述训练集对预置的初始神经网络进行训练得到第一神经网络;

通过所述验证测试集对所述第一神经网络进行验证测试处理;

若所述第一神经网络通过所述验证测试处理,则确定所述第一神经网络为成熟神经网络。

上述方案中,所述第一历史数据包括气象数据、属性数据和用户结果数据,所述气象数据是记载用户所在区域气象环境的数据信息,所述属性数据是描述用户特征的数据信息,所述用户结果数据是历史上对所述用户的评价信息。

上述方案中,所述通过所述训练集对预置的初始神经网络进行训练得到第一神经网络,包括:

将所述训练集中第一历史数据的气象数据和属性数据设为训练输入信息;

将所述训练集中第一历史数据的用户结果数据设为训练结果信息;

将所述训练输入信息录入所述初始神经网络,以所述训练结果信息作为训练目标对所述初始神经网络进行迭代运算,得到能够根据所述训练输入信息得到所述训练结果信息的第一神经网络。

上述方案中,所述通过所述验证测试集对所述第一神经网络进行验证测试处理,包括:

提取所述验证测试集中的验证集,根据所述验证集对所述第一神经网络进行验证处理;

若所述第一神经网络通过所述验证处理,则提取所述验证测试集中的测试集,并根据所述测试集对所述第一神经网络进行测试处理;若所述第一神经网络通过所述测试处理,则确定所述第一神经网络通过所述验证测试处理;若所述第一神经网络未通过所述测试处理,则确定所述第一神经网络未通过所述验证测试处理;

若所述第一神经网络未通过所述验证处理,则确定所述第一神经网络未通过所述验证测试处理;

其中,所述验证处理包括:调用第一神经网络根据验证集中第一历史数据的气象数据和属性数据生成验证预测数据;若所述验证预测数据所述验证集的第一历史数据中的用户结果数据相似或相同,则确定所述第一神经网络通过所述验证处理;若所述验证预测数据所述验证集的第一历史数据中的用户结果数据不相似且不相同,则确定所述第一神经网络未通过所述验证处理;

所述测试处理包括:调用第一神经网络根据测试集中第一历史数据的气象数据和属性数据生成测试预测数据;若所述测试预测数据所述测试集的第一历史数据中的用户结果数据相似或相同,则确定所述第一神经网络通过所述测试处理;若所述测试预测数据所述测试集的第一历史数据中的用户结果数据不相似且不相同,则确定所述第一神经网络未通过所述测试处理。

上述方案中,所述通过所述验证测试集对所述第一神经网络进行验证测试处理之后,所述方法还包括:

若所述第一神经网络未通过所述验证测试处理,则确定所述第一神经网络为第二神经网络;

从预置的历史库中获取至少一个第二历史数据,通过所述第二历史数据对所述第二神经网络进行训练得到第三神经网络。

上述方案中,所述通过所述第二历史数据对所述第二神经网络进行训练得到第三神经网络之后,所述方法还包括:

通过所述验证测试集对所述第三神经网络进行验证测试处理;

若所述第三神经网络通过所述验证测试处理,则确定所述第三神经网络为成熟神经网络;

若所述第三神经网络通过所述验证测试处理,则确定所述第三神经网络为成熟神经网络。

上述方案中,所述确定所述第一神经网络为成熟神经网络之后,所述方法还包括:

通过预置的优化算法对所述成熟神经网络进行优化处理得到优化神经网络。

第二方面,本申请提供一种模型训练装置,包括:

数据划分模块,用于获取第一历史数据,将所述第一历史数据划分成训练集和验证测试集;

网络训练模块,用于通过所述训练集对预置的初始神经网络进行训练得到第一神经网络;

验证处理模块,用于通过所述验证测试集对所述第一神经网络进行验证测试处理;

模型输出模块,用于在所述第一神经网络通过所述验证测试处理时,则确定所述第一神经网络为成熟神经网络。

第三方面,本申请提供一种计算机设备,包括:处理器以及与所述处理器通信连接的存储器;

所述存储器存储计算机执行指令;

所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求上述的模型训练方法。

第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述的模型训练方法。

第五方面,本申请提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述的模型训练方法。

本申请提供的一种模型训练方法、装置、计算机设备及可读存储介质,通过将第一历史数据划分成训练集和验证测试集,实现对初始神经网络进行训练的同时,还用于对第一神经网络进行验证测试,在保证成熟神经网络的预测准确度的同时,还避免了该成熟神经网络出现训练过拟合的情况发生,并且确保了获得的成熟神经网络具有较高的适用范围。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种应用场景示意图;

图2为本申请实施例提供的一种模型训练方法的实施例1的流程图;

图3为本申请实施例提供的一种模型训练方法的实施例2的流程图;

图4为本申请实施例提供的一种模型训练装置的实施例3的流程图;

图5为本发明计算机设备中计算机设备的硬件结构示意图。

通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

请参阅图1,本申请具体的应用场景为:运行有模型训练方法的服务器2,与历史库3连接,服务器2从历史库3中获取第一历史数据,将第一历史数据划分成训练集和验证测试集;服务器2通过训练集对预置的初始神经网络进行训练得到第一神经网络。服务器2通过验证测试集对第一神经网络进行验证测试处理。服务器2在第一神经网络通过验证测试处理时,则确定第一神经网络为成熟神经网络。

第一历史数据包括气象数据、属性数据和用户结果数据,气象数据是记载用户所在区域气象环境的数据信息,属性数据是描述用户特征的数据信息,用户结果数据是历史上对用户的评价信息,如:授信额度。

本申请可应用于绿色金融的用户的授信额度的预测的场景,绿色金融是为支持环境改善、应对气候变化和资源节约高效利用的经济活动,即对环保、节能、清洁能源、绿色交通、绿色建筑等领域的项目投融资、项目运营、风险管理等所提供的金融服务。

针对“三农”、新能源(如风电、太阳能)等部分绿色产业产能对气象等外部条件依赖性较强的特点,利用气象数据信息进行建模,并通过深度神经网络对历史数据进行迭代学习的方法代替传统测算方法。首先,利用气象数据中温度、湿度、风速、降水、太阳照射强度、洋流情况等信息针对特定绿色产业进行建模,并将相关历史数据整理成生深度神经网络训练集,然后针对特定产业、地域客户,利用上述数据分别训练一个深度神经网络测算模型,预测当前气象状况下对客户经营状况的影响。最后,对于一笔新的绿色信贷业务,将其基础信息、客户经营信息、担保信息、相关地域及环境数据输入深度神经网络,得到该客户在不违约情况下可能获得的最高授信额度。

在商业银行现有的绿色金融、绿色信贷业务模式下,通常需要客户经理实地调查,并结合客户经营数据,对授信额度进行测算。但由于部分绿色金融产业的特殊性,受气候因素影响较大,比如风力、降水、光照等情况对风力、水利、太阳能等绿色能源的产能影响以及气象对农业领域种植情况、收割等有较大影响等,商业银行对客户的贷款条件一般较为苛刻,且手续复杂、授信额度较低,难以满足客户的融资需求。随着气象遥感、深度神经网络等技术的成熟与发展,利用遥感技术和数据,并结合神经网络深度学习可以更好、更快、更准实现对客户授信,解决融资慢、融资难的同时,提升银行风控能力。此外,遥感技术的时效性、准确性以及低成本相较传统线下调查方式和传统授信计算方法,有效为商业银行的运营降本增效。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决现有技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。

实施例1:

请参阅图2,本申请提供一种模型训练方法,包括:

S101:获取第一历史数据,将第一历史数据划分成训练集和验证测试集;

本步骤中,从预置的历史库中获取多个第一历史数据,按照预置的划分规则将第一历史数据划分成训练集和验证测试集,因此,通过基于同一类型及批次的数据的划分,并通过训练集用于训练神经网络,及通过验证测试集用于对神经网络进行验证测试处理,以确保对模型的训练及验证测试的一致性。

第一历史数据包括气象数据、属性数据和用户结果数据,气象数据是记载用户所在区域气象环境的数据信息,属性数据是描述用户特征的数据信息,用户结果数据是历史上对用户的评价信息。

于本实施例中,气象数据是借助辐射测量技术,通过科学算法反演出能够准确反映大气、陆地和海洋状态的各种物理和生态参量,遥感技术在天气气候、大气监测、灾害监测等方面称为气象遥感,气象数据包括用户所在地的温度、湿度、风速、降水、太阳照射强度、洋流情况。

属性数据包括用户的基础信息、客户经营信息、担保信息、相关地域及环境等数据。

用户结果数据可为授信金额,授信额度是银行批准的可以向法人客户借贷的或已经借贷出的最高贷款本金限额。

优选的,获取第一历史数据,将第一历史数据划分成训练集和验证测试集,包括:

对第一历史数据进行数据清洗;

按照预置的划分规则将第一历史数据划分成训练集、验证集和测试集;

汇总验证集和测试集得到验证测试集。

本实例中,通过数据清洗组件对第一历史数据进行数据清洗,以消除第一历史数据中的无效数据、冗余数据、缺失数据等,进而确保第一历史数据的有效性和可用性。

划分规则可根据需要设置,划分规则定义了将获取到的多个第一历史数据划分为训练集、验证集和测试集的划分策略和划分比例。

示例性地,划分规则包括:

根据多个行业信息对第一历史数据对应的用户进行划分,得到多个行业集合;

将多个行业信息中的一个或多个行业信息对应的行业集合汇总成第一集合,及将多个行业信息中除第一集合对应的行业信息外的其他行业信息对应的行业集合,汇总成第二集合,使第一集合中的第一历史数据的数量与第二集合中的第一历史数据的数量之间的比值,处于预置的比例区间内。

按照预置的划分比例将第一集合中的第一历史数据划分成训练集和验证集,及将第二集合设为测试集。

S102:通过训练集对预置的初始神经网络进行训练得到第一神经网络;

本步骤中,采用卷积神经网络(Convolutional Neural Networks,CNN)作为初始神经网络,卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification),因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks,SIANN)

通过梯度下降法并根据训练集对初始神经网络进行训练,得到第一神经网络。梯度下降法是:是一个一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。

优选的,通过训练集对预置的初始神经网络进行训练得到第一神经网络,包括:

将训练集中第一历史数据的气象数据和属性数据设为训练输入信息;

将训练集中第一历史数据的用户结果数据设为训练结果信息;

将训练输入信息录入初始神经网络,以训练结果信息作为训练目标对初始神经网络进行迭代运算,得到能够根据训练输入信息得到训练目标信息的第一神经网络。

在一个实例中,训练集是用于对初始神经网络进行训练的样本,提取训练集中第一历史数据的气象数据和属性数据,将训练输入信息录入初始神经网络并以训练结果信息作为训练目标,并采用梯度下降法对初始神经网络进行训练,得到第一神经网络。

其中,梯度下降法(Gradient descent,简称GD)是一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。

S103:通过验证测试集对第一神经网络进行验证测试处理。

本步骤中,验证测试集是用于对第一神经网络进行可靠性评估的数据,通过对第一神经网络进行验证测试处理,以确保第一神经网络能够根据气象数据和属性数据输出准确的结果信息,在保证第一神经网络的准确性的同时,还避免了该成熟神经网络出现训练过拟合的情况发生,并且确保了获得的成熟神经网络具有较高的适用范围。

验证测试处理包括验证处理和测试处理。

具体地,验证处理包括:调用第一神经网络根据验证集中第一历史数据的气象数据和属性数据生成验证预测数据;若验证预测数据验证集的第一历史数据中的用户结果数据相似或相同,则确定第一神经网络通过验证处理;若验证预测数据验证集的第一历史数据中的用户结果数据不相似且不相同,则确定第一神经网络未通过验证处理。

测试处理包括:调用第一神经网络根据测试集中第一历史数据的气象数据和属性数据生成测试预测数据;若测试预测数据测试集的第一历史数据中的用户结果数据相似或相同,则确定第一神经网络通过测试处理;若测试预测数据测试集的第一历史数据中的用户结果数据不相似且不相同,则确定第一神经网络未通过测试处理。

优选的,通过验证测试集对第一神经网络进行验证测试处理,包括:

提取验证测试集中的验证集,根据验证集对第一神经网络进行验证处理;

若第一神经网络通过验证处理,则提取验证测试集中的测试集,并根据测试集对第一神经网络进行测试处理;若第一神经网络通过测试处理,则确定第一神经网络通过验证测试处理;若第一神经网络未通过测试处理,则确定第一神经网络未通过验证测试处理;

若第一神经网络未通过验证处理,则确定第一神经网络未通过验证测试处理。

本实例中,验证集是用于对第一神经网络进行评估的样本集合,由于第一神经网络能够对训练集中的用户结果数据进行准确预测,但是难以保证第一神经网络对训练集以外的用户结果数据仍然能够准确预测,因此,通过验证集对第一神经网络进行验证处理,以识别第一神经网络是否过拟合。

具体地,验证处理包括:以验证集中第一历史数据的气象数据和属性数据作为输入信息,将该输入信息录入第一神经网络得到验证运算结果;

以验证集中第一历史数据的用户结果数据作为验证参考结果,将验证运算结果与验证参考结果进行比对,得到表征验证运算结果与验证参考结果之间差值的验证差值;

若验证差值大于预置的验证阈值,则确定第一神经网络通过验证处理;

若验证差值不大于验证阈值,则确定第一神经网络未通过验证处理,此时,说明第一神经网络的训练过拟合,导致第一神经网络无法根据训练集之外的第一历史数据预测该第一历史数据的用户结果数据。

本实例中,测试集是用于对第一神经网络进行测试的样本集合,由于经过验证处理的第一神经网络,能够对属于某一个或多个行业信息的用户的第一历史数据中的用户结果数据进行准确预测,但是,难以保证第一神经网络能够对上述行业信息之外行业信息的用户的第一历史数据中的用户结果数据进行准确预测,因此,为保证第一神经网络能够适用于除训练集和验证集以外的行业,通过测试集对第一神经网络进行测试处理,以识别第一神经网络的适用范围。

具体地,测试处理包括:以测试集中第一历史数据的气象数据和属性数据作为输入信息,将该输入信息录入第一神经网络得到测试运算结果;

以测试集中第一历史数据的用户结果数据作为测试参考结果,将测试运算结果与测试参考结果进行比对,得到表征测试运算结果与测试参考结果之间差值的测试差值;

若测试差值大于预置的测试阈值,则确定第一神经网络通过测试处理;

若测试差值不大于测试阈值,则确定第一神经网络未通过测试处理,此时,说明第一神经网络的训练过拟合,导致第一神经网络无法根据训练集之外的第一历史数据预测该第一历史数据的用户结果数据。

S104:若第一神经网络通过验证测试处理,则确定第一神经网络为成熟神经网络。

本步骤中,将通过验证测试处理的第一神经网络,则被视为能够准确根据气象数据和属性数据预测相应的用户结果数据的神经网络。

实施例2:

请参阅图3,本申请提供一种模型训练方法,包括:

S201:获取第一历史数据,将第一历史数据划分成训练集和验证测试集。

本步骤与实施例1中的S101一致,故不做赘述。

S202:通过训练集对预置的初始神经网络进行训练得到第一神经网络。

本步骤与实施例1中的S102一致,故不做赘述。

S203:通过验证测试集对第一神经网络进行验证测试处理。

本步骤与实施例1中的S103一致,故不做赘述。

S204:若第一神经网络通过验证测试处理,则确定第一神经网络为成熟神经网络。

本步骤与实施例1中的S104一致,故不做赘述。

S205:若第一神经网络未通过验证测试处理,则确定第一神经网络为第二神经网络;

从预置的历史库中获取至少一个第二历史数据,通过第二历史数据对第二神经网络进行训练得到第三神经网络。

本步骤中,将未通过验证测试处理的第一神经网络设为第二神经网络,以视为无法根据气象数据和属性数据准确预测相应的用户结果数据的神经网络。

如果原训练集无法将第一神经网络训练为成熟神经网络,则说明原训练集中的第一历史数据的数量或质量未达到将第一神经网络训练成成熟神经网络的要求,因此,为提高将第二神经网络训练成成熟神经网络的成功率,本步骤通过获取新的第二历史数据对第二神经网络进行再次训练,以提高第二神经网络根据气象数据和属性数据预测用户结果数据的准确度,并得到第三神经网络。

S206:通过验证测试集对第三神经网络进行验证测试处理;

若第三神经网络通过验证测试处理,则确定第三神经网络为成熟神经网络;

若第三神经网络通过验证测试处理,则确定第三神经网络为成熟神经网络。

本步骤中,验证测试处理包括验证处理和测试处理。具体地,验证处理包括:调用第三神经网络根据验证集中第一历史数据的气象数据和属性数据生成验证预测数据;若验证预测数据验证集的第一历史数据中的用户结果数据相似或相同,则确定第三神经网络通过验证处理;若验证预测数据验证集的第一历史数据中的用户结果数据不相似且不相同,则确定第三神经网络未通过验证处理。测试处理包括:调用第三神经网络根据测试集中第一历史数据的气象数据和属性数据生成测试预测数据;若测试预测数据测试集的第一历史数据中的用户结果数据相似或相同,则确定第三神经网络通过测试处理;若测试预测数据测试集的第一历史数据中的用户结果数据不相似且不相同,则确定第三神经网络未通过测试处理。

本实例中,验证集是用于对第三神经网络进行评估的样本集合,由于第三神经网络能够对训练集中的用户结果数据进行准确预测,但是难以保证第三神经网络对训练集以外的用户结果数据仍然能够准确预测,因此,通过验证集对第三神经网络进行验证处理,以识别第三神经网络是否过拟合。

具体地,验证处理包括:以验证集中第一历史数据的气象数据和属性数据作为输入信息,将该输入信息录入第三神经网络得到验证运算结果;

以验证集中第一历史数据的用户结果数据作为验证参考结果,将验证运算结果与验证参考结果进行比对,得到表征验证运算结果与验证参考结果之间差值的验证差值;

若验证差值大于预置的验证阈值,则确定第三神经网络通过验证处理;

若验证差值不大于验证阈值,则确定第三神经网络未通过验证处理,此时,说明第三神经网络的训练过拟合,导致第三神经网络无法根据训练集之外的第一历史数据预测该第一历史数据的用户结果数据。

本实例中,测试集是用于对第三神经网络进行测试的样本集合,由于经过验证处理的第三神经网络,能够对属于某一个或多个行业信息的用户的第一历史数据中的用户结果数据进行准确预测,但是,难以保证第三神经网络能够对上述行业信息之外行业信息的用户的第一历史数据中的用户结果数据进行准确预测,因此,为保证第三神经网络能够适用于除训练集和验证集以外的行业,通过测试集对第三神经网络进行测试处理,以识别第三神经网络的适用范围。

具体地,测试处理包括:以测试集中第一历史数据的气象数据和属性数据作为输入信息,将该输入信息录入第三神经网络得到测试运算结果;

以测试集中第一历史数据的用户结果数据作为测试参考结果,将测试运算结果与测试参考结果进行比对,得到表征测试运算结果与测试参考结果之间差值的测试差值;

若测试差值大于预置的测试阈值,则确定第三神经网络通过测试处理;

若测试差值不大于测试阈值,则确定第三神经网络未通过测试处理,此时,说明第三神经网络的训练过拟合,导致第三神经网络无法根据训练集之外的第一历史数据预测该第一历史数据的用户结果数据。

优选的,通过验证测试集对第三神经网络进行验证测试处理,包括:

提取验证测试集中的验证集,根据验证集对第三神经网络进行验证处理;

若第三神经网络通过验证处理,则提取验证测试集中的测试集,并根据测试集对第三神经网络进行测试处理;若第三神经网络通过测试处理,则确定第三神经网络通过验证测试处理;若第三神经网络未通过测试处理,则确定第三神经网络未通过验证测试处理;

若第三神经网络未通过验证处理,则确定第三神经网络未通过验证测试处理。

S207:通过预置的优化算法对成熟神经网络进行优化处理得到优化神经网络。

本步骤中,通过预置的优化算法对成熟神经网络的权重值和偏置值进行优化,以确保得到的优化神经网络能够及时适应最新用户的气象数据、属性数据和用户结果数据的变化,保证优化神经网络的实时性和可靠性。

具体地,从历史库中获取从生成成熟神经网络的时间到当前时间的第三历史数据,通过优化算法并根据第三历史数据对成熟神经网络进行训练,得到优化神经网络,以保证当前使用的神经网络,能够适应最新的用户的气象数据和属性数据的预测需求。

于本实施例中,优化算法包括一阶优化算法和二阶优化算法;其中,一阶优化算法是使用各参数的梯度值来最小化或最大化损失函数E(x);最常用的一阶优化算法是梯度下降;函数梯度:导数dy/dx的多变量表达式,用来表示y相对于x的瞬时变化率。往往为了计算多变量函数的导数时,会用梯度取代导数,并使用偏导数来计算梯度。梯度和导数之间的一个主要区别是函数的梯度形成了一个向量场;因此,对单变量函数,使用导数来分析;而梯度是基于多变量函数而产生的;二阶优化算法是使用了二阶导数(也叫做Hessian方法)来最小化或最大化损失函数。

实施例3:

请参阅图4,本申请提供一种模型训练装置1,包括:

数据划分模块11,用于获取第一历史数据,将第一历史数据划分成训练集和验证测试集;

网络训练模块12,用于通过训练集对预置的初始神经网络进行训练得到第一神经网络;

验证处理模块13,用于通过验证测试集对第一神经网络进行验证测试处理;

模型输出模块14,用于在第一神经网络通过验证测试处理时,则确定第一神经网络为成熟神经网络。

可选的,模型训练装置1,还包括:

模型重训模块15:若第一神经网络未通过验证测试处理,则确定第一神经网络为第二神经网络;从预置的历史库中获取至少一个第二历史数据,通过第二历史数据对第二神经网络进行训练得到第三神经网络。

可选的,模型训练装置1,还包括:

模型重测模块16,用于通过验证测试集对第三神经网络进行验证测试处理;若第三神经网络通过验证测试处理,则确定第三神经网络为成熟神经网络;若第三神经网络通过验证测试处理,则确定第三神经网络为成熟神经网络。

可选的,模型训练装置1,还包括:

模型优化模块17,用于通过预置的优化算法对成熟神经网络进行优化处理得到优化神经网络。

实施例4:

为实现上述目的,本申请还提供一种计算机设备4,包括:处理器42以及与处理器42通信连接的存储器41;存储器41存储计算机执行指令;

处理器执行存储器41存储的计算机执行指令,以实现上述的模型训练方法,其中,模型训练装置的组成部分可分散于不同的计算机设备中,计算机设备4可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个应用服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于:可通过系统总线相互通信连接的存储器41、处理器42,如图5所示。需要指出的是,图5仅示出了具有组件-的计算机设备,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。本实施例中,存储器41(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器41可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,存储器41也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器41还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,存储器41通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例三的模型训练装置的程序代码等。此外,存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。处理器42在一些实施例中可以是中央处理器(CentralProcessing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制计算机设备的总体操作。本实施例中,处理器42用于运行存储器41中存储的程序代码或者处理数据,例如运行模型训练装置,以实现上述实施例的模型训练方法。

上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例方法的部分步骤。应理解,上述处理器可以是中央处理单元(Central Processing Unit,简称CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

为实现上述目的,本申请还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机执行指令,程序被处理器42执行时实现相应功能。本实施例的计算机可读存储介质用于存储实现模型训练方法的计算机执行指令,被处理器42执行时实现上述实施例的模型训练方法。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本申请提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述的模型训练方法。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

技术分类

06120115635839