掌桥专利:专业的专利平台
掌桥专利
首页

分类网络构建方法以及基于分类网络的分类方法

文献发布时间:2023-06-19 10:48:02


分类网络构建方法以及基于分类网络的分类方法

技术领域

本申请涉及计算机技术领域,特别是涉及一种分类网络构建方法以及基于分类网络的分类方法。

背景技术

随着计算机技术的发展,出现了深度神经网络,深度神经网络是机器学习领域的一种重要技术。

传统技术中,常通过深度神经网络来解决各类处理任务,如分类任务等,它在各类处理任务上的表现远超传统机器学习方法,为了获得精度更高的处理结果,常需要构建模型层数多、复杂程度高的深度神经网络。

然而,随着模型层数的增多和复杂度增高,深度神经网络的运行速度会减慢,存在数据处理效率低的问题。

发明内容

基于此,有必要针对上述技术问题,提供一种能够提高深度神经网络的数据处理效率的分类网络构建方法以及基于分类网络的分类方法、装置、计算机设备和存储介质。

一种分类网络构建方法,所述方法包括:

获取携带分类标签的训练样本以及初始全连接网络,初始全连接网络包括速度导向的初始隐藏层;

将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度;

当初始模型梯度大于预设梯度阈值时,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度;

当目标模型梯度大于预设梯度阈值时,将目标模型梯度作为新的初始模型梯度;

返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络。

在一个实施例中,获取携带分类标签的训练样本以及初始全连接网络包括:

获取携带分类标签的训练样本;

根据训练样本的待训练特征数确定初始全连接网络的输入节点,并根据分类标签确定初始全连接网络的输出节点;

根据输入节点、输出节点以及预设速度导向的初始隐藏层,得到初始全连接网络。

在一个实施例中,将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度包括:

将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行预设迭代次数的迭代训练,得到与训练样本对应的初始隐藏层输出结果;

比对初始隐藏层输出结果和训练样本携带的分类标签,得到与初始隐藏层对应的初始模型梯度。

在一个实施例中,将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行预设迭代次数的迭代训练,得到与训练样本对应的初始隐藏层输出结果包括:

将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行训练,得到与训练样本对应的训练结果;

比对训练结果和训练样本携带的分类标签,得到与训练结果对应的训练梯度;

根据训练梯度反向传播更新初始隐藏层的隐藏层参数,并更新当前训练次数;

返回通过训练样本对初始隐藏层进行训练的步骤,直到当前训练次数达到预设迭代次数,得到与训练样本对应的初始隐藏层输出结果。

在一个实施例中,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度包括:

在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标隐藏层输出结果;

比对目标隐藏层输出结果和初始模型梯度,得到与预设隐藏层对应的目标模型梯度。

在一个实施例中,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络包括:

直到目标模型梯度小于或者等于预设梯度阈值,根据初始隐藏层和已接入的预设隐藏层,得到已训练的分类网络。

一种基于分类网络的分类方法,所述方法包括:

获取待处理特征数据;

将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果,已训练的分类网络根据上述分类网络构建方法构建;

归集节点预测结果,得到与待处理特征数据对应的分类结果。

一种分类网络构建装置,所述装置包括:

样本获取模块,用于获取携带分类标签的训练样本以及初始全连接网络,初始全连接网络包括速度导向的初始隐藏层;

第一训练模块,用于将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度;

第二训练模块,用于当初始模型梯度大于预设梯度阈值时,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度;

更新模块,用于当目标模型梯度大于预设梯度阈值时,将目标模型梯度作为新的初始模型梯度;

处理模块,用于返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络。

一种基于分类网络的分类装置,所述装置包括:

特征数据获取模块,用于获取待处理特征数据;

预测模块,用于将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果,已训练的分类网络根据上述分类网络构建方法构建;

归集模块,用于归集节点预测结果,得到与待处理特征数据对应的分类结果。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取携带分类标签的训练样本以及初始全连接网络,初始全连接网络包括速度导向的初始隐藏层;

将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度;

当初始模型梯度大于预设梯度阈值时,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度;

当目标模型梯度大于预设梯度阈值时,将目标模型梯度作为新的初始模型梯度;

返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取待处理特征数据;

将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果,已训练的分类网络根据上述分类网络构建方法构建;

归集节点预测结果,得到与待处理特征数据对应的分类结果。

一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取携带分类标签的训练样本以及初始全连接网络,初始全连接网络包括速度导向的初始隐藏层;

将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度;

当初始模型梯度大于预设梯度阈值时,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度;

当目标模型梯度大于预设梯度阈值时,将目标模型梯度作为新的初始模型梯度;

返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络。

一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取待处理特征数据;

将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果,已训练的分类网络根据上述分类网络构建方法构建;

归集节点预测结果,得到与待处理特征数据对应的分类结果。

上述分类网络构建方法、装置、计算机设备和存储介质,通过将训练样本输入初始全连接网络,利用训练样本对初始全连接网络的初始隐藏层进行迭代训练,得到对应的初始模型梯度后,在初始模型梯度大于预设梯度阈值时,继续在初始全连接网络中接入新的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层继续进行迭代训练,得到对应的目标模型梯度,在目标模型梯度大于预设梯度阈值时,通过在初始全连接网络中接入新的预设隐藏层的方式不断训练,直到目标模型梯度小于或者等于预设梯度阈值为止,得到已训练的分类网络,能够通过迭代训练利用速度导向的初始隐藏层和预设隐藏层实现对可高效运行的分类网络的构建,从而可以利用该可高效运行的分类网络实现高效数据处理。

上述基于分类网络的分类方法、装置、计算机设备和存储介质,通过将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,利用已训练的分类网络中多个速度导向的隐藏层对待处理特征数据进行并行处理,得到各隐藏层节点输出的节点预测结果,归集节点预测结果,得到与待处理特征数据对应的分类结果,能够实现对待处理特征数据的高效处理。

附图说明

图1为一个实施例中分类网络构建方法的流程示意图;

图2为一个实施例中分类网络构建方法的示意图;

图3为一个实施例中基于分类网络的分类方法的流程示意图;

图4为另一个实施例中基于分类网络的分类方法的流程示意图;

图5为一个实施例中分类网络构建装置的结构框图;

图6为一个实施例中基于分类网络的分类装置的结构框图;

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在一个实施例中,如图1所示,提供了一种分类网络构建方法,本实施例以该方法应用于服务器进行举例说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:

步骤102,获取携带分类标签的训练样本以及初始全连接网络,初始全连接网络包括速度导向的初始隐藏层。

其中,分类标签用于表征各训练样本的类别。训练样本是指由与分类标签对应的特征数据组成的样本。比如,训练样本具体可以为与分类标签对应的特征向量。初始全连接网络是指包括输入层、速度导向的初始隐藏层以及输出层的网络,其中的速度导向的初始隐藏层是指结构比较简单,可实现快速处理的隐藏层,比如,速度导向的初始隐藏层具体可以是指单层隐藏层,初始隐藏层的隐藏层节点数量和激活函数可按照需要自行设置。举例说明,当初始隐藏层的隐藏层节点数量为3,且激活函数为relu函数时,与初始全连接网络对应的函数为y=w2*(relu(w1*x+b))+b。

具体的,服务器会先获取携带分类标签的训练样本,再根据携带分类标签的训练样本以及预设的速度导向的初始隐藏层,构建初始全连接网络。其中,携带分类标签的训练样本可以预先存储于预设数据库中,服务器直接从数据库中获取即可,构建初始全连接网络时,需要根据分类标签确定对应的输出节点数,并根据训练样本的特征数量确定对应的输入节点数。

步骤104,将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度。

其中,迭代训练是指根据预设迭代次数不断通过梯度下降法进行反向传播更新初始隐藏层的隐藏层参数以实现训练,这里的预设迭代次数可按照需要自行设置。初始模型梯度是指完成迭代训练后,根据初始隐藏层对训练样本进行预测后所得到的输出神经元的梯度,可根据初始隐藏层所输出的预测结果和训练样本携带的分类标签计算得到。

具体的,服务器会将训练样本输入初始全连接网络,根据预设迭代次数通过训练样本对初始隐藏层进行训练,在训练完成后,利用已训练的初始隐藏层对训练样本进行预测,得到与初始隐藏层对应的初始隐藏层输出结果,比对初始隐藏层输出结果和训练样本携带的分类标签,得到与初始隐藏层对应的初始模型梯度。

步骤106,当初始模型梯度大于预设梯度阈值时,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度。

其中,预设梯度阈值是指预先设置的梯度阈值,用于评估分类模型的梯度是否满足要求,可按照需要自行设置。速度导向的预设隐藏层是指结构比较简单,可实现快速处理的隐藏层,比如,预设隐藏层具体可以是指单层隐藏层,预设隐藏层的隐藏层节点数量和激活函数可按照需要自行设置。进一步的,预设隐藏层的结构可与初始隐藏层相同。以初始模型梯度为标签是指以初始模型梯度为监督学习的标签。目标模型梯度是指完成迭代训练后,根据预设隐藏层对训练样本进行预测后所得到的输出神经元的梯度,可根据预设隐藏层所输出的预测结果和初始模型梯度计算得到。

具体的,在得到初始模型梯度之后,服务器会比对初始模型梯度和预设梯度阈值,确定初始模型梯度是否已符合要求,当初始模型梯度小于或者等于预设梯度阈值时,表示仅通过包括初始隐藏层的初始全连接网络可实现对分类模型的拟合,服务器会直接根据该初始全连接网络得到已训练的分类模型,当初始模型梯度大于预设梯度阈值时,表示仅通过包括初始隐藏层的初始全连接网络无法实现对分类模型的拟合,服务器会在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为监督学习的标签,通过训练数据对预设隐藏层进行迭代训练,得到已训练的预设隐藏层,再通过已训练的预设隐藏层对训练样本进行预测,得到与预设隐藏层对应的目标隐藏层输出结果,通过比对目标隐藏层输出结果和初始模型梯度,得到与预设隐藏层对应的目标模型梯度。

步骤108,当目标模型梯度大于预设梯度阈值时,将目标模型梯度作为新的初始模型梯度。

具体的,当目标模型梯度大于预设梯度阈值时,表示仅通过添加一个新的预设隐藏层仍然无法实现对分类模型的拟合,服务器会将目标模型梯度作为新的初始模型梯度,以便继续进行分类模型拟合。

步骤110,返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络。

具体的,为了继续进行分类模型拟合,服务器会返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,再次在初始全连接网络中接入速度导向的预设隐藏层,以上一步得到的新的初始模型梯度为标签,通过训练数据对新的预设隐藏层进行迭代训练,得到与新的预设隐藏层对应的新的目标模型梯度,再判断新的目标模型梯度是否小于或者等于预设梯度阈值,以评估分类模型是否拟合好,若新的目标模型梯度仍然大于预设梯度阈值,服务器会继续在将新的目标模型梯度作为新的初始模型梯度,返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,即分类模型已拟合好时,得到已训练的分类网络。

上述分类网络构建方法,通过将训练样本输入初始全连接网络,利用训练样本对初始全连接网络的初始隐藏层进行迭代训练,得到对应的初始模型梯度后,在初始模型梯度大于预设梯度阈值时,继续在初始全连接网络中接入新的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层继续进行迭代训练,得到对应的目标模型梯度,在目标模型梯度大于预设梯度阈值时,通过在初始全连接网络中接入新的预设隐藏层的方式不断训练,直到目标模型梯度小于或者等于预设梯度阈值为止,得到已训练的分类网络,能够通过迭代训练利用速度导向的初始隐藏层和预设隐藏层实现对可高效运行的分类网络的构建,从而可以利用该可高效运行的分类网络实现高效数据处理。

在一个实施例中,获取携带分类标签的训练样本以及初始全连接网络包括:

获取携带分类标签的训练样本;

根据训练样本的待训练特征数确定初始全连接网络的输入节点,并根据分类标签确定初始全连接网络的输出节点;

根据输入节点、输出节点以及预设速度导向的初始隐藏层,得到初始全连接网络。

具体的,在直接获取到携带分类标签的训练样本后,服务器会先根据训练样本的待训练特征数确定初始全连接网络的输入节点数量,输入节点数量与待训练特征数相同,并根据分类标签确定初始全连接网络的输出节点,输出节点的数量与分类标签的类别数相同,再根据输入节点、输出节点以及预设速度导向的初始隐藏层,得到初始全连接网络。

本实施例中,通过获取携带分类标签的训练样本,再得到训练样本后,根据训练样本的待训练特征数确定初始全连接网络的输入节点,并根据分类标签确定初始全连接网络的输出节点,根据输入节点、输出节点以及预设速度导向的初始隐藏层,得到初始全连接网络,能够实现对训练样本以及初始全连接网络的获取。

在一个实施例中,将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度包括:

将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行预设迭代次数的迭代训练,得到与训练样本对应的初始隐藏层输出结果;

比对初始隐藏层输出结果和训练样本携带的分类标签,得到与初始隐藏层对应的初始模型梯度。

具体的,服务器将训练样本输入初始全连接网络,可通过训练样本对初始隐藏层进行预设迭代次数的迭代训练,当迭代训练完成时,可得到已训练的初始隐藏层,通过已训练的初始隐藏层对训练样本进行预测,可以得到与训练样本对应的初始隐藏层输出结果,比对初始隐藏层输出结果和训练样本携带的分类标签,可以得到与初始隐藏层对应的初始模型梯度。其中,初始隐藏层输出结果具体可以是指训练样本归属于与分类标签对应的各类别的类别概率,通过计算初始隐藏层输出结果中与训练样本携带的分类标签对应的类别概率与分类标签的差值,就可以得到与初始隐藏层对应的初始模型梯度。

本实施例中,通过将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行预设迭代次数的迭代训练,得到与训练样本对应的初始隐藏层输出结果,比对初始隐藏层输出结果和训练样本携带的分类标签,得到与初始隐藏层对应的初始模型梯度,能够实现对初始模型梯度的获取。

在一个实施例中,将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行预设迭代次数的迭代训练,得到与训练样本对应的初始隐藏层输出结果包括:

将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行训练,得到与训练样本对应的训练结果;

比对训练结果和训练样本携带的分类标签,得到与训练结果对应的训练梯度;

根据训练梯度反向传播更新初始隐藏层的隐藏层参数,并更新当前训练次数;

返回通过训练样本对初始隐藏层进行训练的步骤,直到当前训练次数达到预设迭代次数,得到与训练样本对应的初始隐藏层输出结果。

其中,当前训练次数是指当前对初始隐藏层进行迭代训练的次数。

具体的,服务器在将训练样本输入初始全连接网络后,初始全连接网络中的初始隐藏层可通过对训练样本进行预测,输出对应的训练结果,通过比对训练结果和训练样本携带的分类标签,可以得到与训练结果对应的训练梯度,利用训练梯度进行反向传播可更新初始隐藏层的隐藏层参数,实现对初始隐藏层的训练,同时,服务器会更新当前训练次数,比对当前训练次数和预设迭代次数,当当前训练次数小于预设迭代次数时,表示还需要对初始隐藏层继续进行迭代训练,服务器会返回通过训练样本对初始隐藏层进行训练的步骤,再次进行训练,并得到新的当前训练次数,当当前训练次数达到预设迭代次数,表示已达到迭代训练需求,服务器不需要继续对初始隐藏层进行迭代训练,可得到已训练的初始隐藏层,服务器进一步通过将训练样本输入已训练的初始隐藏层,就可以得到与训练样本对应的初始隐藏层输出结果。

本实施例中,通过记录当前训练次数,比对当前训练次数和预设迭代次数,能够实现对初始隐藏层的迭代训练,从而可以通过已训练的初始隐藏层,得到与训练样本对应的初始隐藏层输出结果。

在一个实施例中,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度包括:

在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标隐藏层输出结果;

比对目标隐藏层输出结果和初始模型梯度,得到与预设隐藏层对应的目标模型梯度。

具体的,当初始模型梯度大于预设梯度阈值时,表示仅通过包括初始隐藏层的初始全连接网络无法实现对分类模型的拟合,服务器会在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为监督学习的标签,通过训练数据对预设隐藏层进行预设迭代次数的迭代训练,得到已训练的预设隐藏层,再通过已训练的预设隐藏层对训练样本进行预测,得到与预设隐藏层对应的目标隐藏层输出结果,通过比对目标隐藏层输出结果和初始模型梯度,得到与预设隐藏层对应的目标模型梯度。其中,通过训练数据对预设隐藏层进行预设迭代次数的迭代训练,得到已训练的预设隐藏层的方式可以与通过训练样本对初始隐藏层进行迭代训练,得到已训练的初始隐藏层相同。

本实施例中,通过在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标隐藏层输出结果,比对目标隐藏层输出结果和初始模型梯度,得到与预设隐藏层对应的目标模型梯度,能够利用新接入的预设隐藏层进一步实现对分类模型的拟合。

在一个实施例中,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络包括:

直到目标模型梯度小于或者等于预设梯度阈值,根据初始隐藏层和已接入的预设隐藏层,得到已训练的分类网络。

具体的,当目标模型梯度小于或者等于预设梯度阈值时,表示此时分类模型已经拟合好了,服务器可根据初始隐藏层和所有已接入的预设隐藏层,得到已训练的分类网络。举例说明,已训练的分类网络的架构可以如图2所示,其中的X为输入节点,Y为输出节点,A为初始隐藏层、B、C以及D为已接入的预设隐藏层,初始隐藏层和预设隐藏层均为三个隐藏层节点组成的单层隐藏层。

在一个实施例中,为了进行并行化加速,在构建分类网络时,也可以预先定义N组隐藏层,实现并行训练。以图2为例进行说明,服务器可以预先定义四组隐藏层(包括ABCD),将训练样本进行分批,在第一批样本拟合A组的隐藏层后,立刻用A组得到的与第一批样本对应的梯度作为标签来更新B组隐藏层参数,即达到同一时间内,A组训练第K批样本,B组训练第K-1批样本,C组训练第K-2批样本,D组训练第K-3批样本的效果,若干迭代次数后,若某组隐藏层的梯度小于或者等于预设梯度阈值,则截取该组以及该组之前的隐藏层组构建分类模型,否则继续训练额外的四组隐藏层。

本实施例中,通过根据初始隐藏层和已接入的预设隐藏层,得到已训练的分类网络,能够实现对分类网络的构建。

在一个实施例中,如图3所示,提供了一种基于分类网络的分类方法,本实施例以该方法应用于服务器进行举例说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:

步骤302,获取待处理特征数据。

步骤304,将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果,已训练的分类网络根据上述分类网络构建方法构建。

步骤306,归集节点预测结果,得到与待处理特征数据对应的分类结果。

其中,待处理特征数据是指待预测类别的特征数据,该待处理特征数据的特征类型与训练样本的特征类型相同。隐藏层节点是指已训练的分类网络中各隐藏层上的节点。

具体的,在需要进行分类预测时,服务器会获取待处理特征数据,将待处理特征数据并行输入已训练的分类网络中各隐藏层中隐藏层节点,得到各隐藏层节点输出的节点预测结果,归集节点预测结果,得到与待处理特征数据对应的分类结果,这里的归集节点预测结果具体可以是指将各节点预测结果相叠加。比如,节点预测结果具体可以是待处理特征数据归属于各预设类别的概率,通过将各节点预测结果中相同类别的概率相加,就可以得到总的待处理特征数据归属于各预设类别的概率,通过对总的待处理特征数据归属于各预设类别的概率进行排序,就可以确定待处理特征数据的类别,即得到与待处理特征数据对应的分类结果。进一步的,这里采用了map-reduce架构,以使待处理特征数据并行在已训练的分类网络中各隐藏层节点上运行,然后通过reduce将各隐藏层节点输出的节点预测结果汇总。

上述基于分类网络的分类方法,通过将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,利用已训练的分类网络中多个速度导向的隐藏层对待处理特征数据进行并行处理,得到各隐藏层节点输出的节点预测结果,归集节点预测结果,得到与待处理特征数据对应的分类结果,能够实现对待处理特征数据的高效处理。

在一个实施例中,如图4所示,通过一个流程示意图来说明本申请的分类网络构建方法以及基于分类网络的分类方法,具体包括以下步骤:

步骤402,获取携带分类标签的训练样本以及初始全连接网络,初始全连接网络包括速度导向的初始隐藏层;

步骤404,将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度;

步骤406,当初始模型梯度大于预设梯度阈值时,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度;

步骤408,当目标模型梯度大于预设梯度阈值时,将目标模型梯度作为新的初始模型梯度;

步骤410,返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络;

步骤412,获取待处理特征数据;

步骤414,将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果;

步骤416,归集节点预测结果,得到与待处理特征数据对应的分类结果。

本申请还提供一种应用场景,该应用场景应用上述的基于分类网络的分类方法。具体地,该基于分类网络的分类方法在该应用场景的应用如下:

当需要对合作公司是否可能存在违约行为进行预测时,可以利用上述基于分类网络的分类方法,分类结果包括违约和不违约两种,服务器会获取与合作公司对应的待处理特征数据,将待处理特征数据并行输出已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果,归集节点预测结果,得到与待处理特征数据对应的分类结果,这里需要说明的是,与合作公司对应的待处理特征数据包括从利润表、成本表、现金流量表等中提取的特征数据以及公司股票信息等特征数据,待处理特征数量的数量多,若采用传统的分类方法,基于如此多的特征数据,需要构建模型层数多、复杂程度高的分类模型进行处理,会存在数据处理效率低的问题,而采用本申请中所构建的分类网络进行分类,能够利用分类网络中多个速度导向的隐藏层对特征数据进行并行处理,实现高效处理。

应该理解的是,虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图5所示,提供了一种分类网络构建装置,包括:样本获取模块502、第一训练模块504、第二训练模块506、更新模块508和处理模块510,其中:

样本获取模块502,用于获取携带分类标签的训练样本以及初始全连接网络,初始全连接网络包括速度导向的初始隐藏层;

第一训练模块504,用于将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度;

第二训练模块506,用于当初始模型梯度大于预设梯度阈值时,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度;

更新模块508,用于当目标模型梯度大于预设梯度阈值时,将目标模型梯度作为新的初始模型梯度;

处理模块510,用于返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络。

上述分类网络构建装置,通过将训练样本输入初始全连接网络,利用训练样本对初始全连接网络的初始隐藏层进行迭代训练,得到对应的初始模型梯度后,在初始模型梯度大于预设梯度阈值时,继续在初始全连接网络中接入新的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层继续进行迭代训练,得到对应的目标模型梯度,在目标模型梯度大于预设梯度阈值时,通过在初始全连接网络中接入新的预设隐藏层的方式不断训练,直到目标模型梯度小于或者等于预设梯度阈值为止,得到已训练的分类网络,能够通过迭代训练利用速度导向的初始隐藏层和预设隐藏层实现对可高效运行的分类网络的构建,从而可以利用该可高效运行的分类网络实现高效数据处理。

在一个实施例中,样本获取模块还用于获取携带分类标签的训练样本,根据训练样本的待训练特征数确定初始全连接网络的输入节点,并根据分类标签确定初始全连接网络的输出节点,根据输入节点、输出节点以及预设速度导向的初始隐藏层,得到初始全连接网络。

在一个实施例中,第一训练模块还用于将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行预设迭代次数的迭代训练,得到与训练样本对应的初始隐藏层输出结果,比对初始隐藏层输出结果和训练样本携带的分类标签,得到与初始隐藏层对应的初始模型梯度。

在一个实施例中,第一训练模块还用于将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行训练,得到与训练样本对应的训练结果,比对训练结果和训练样本携带的分类标签,得到与训练结果对应的训练梯度,根据训练梯度反向传播更新初始隐藏层的隐藏层参数,并更新当前训练次数,返回通过训练样本对初始隐藏层进行训练的步骤,直到当前训练次数达到预设迭代次数,得到与训练样本对应的初始隐藏层输出结果。

在一个实施例中,第二训练模块还用于在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标隐藏层输出结果,比对目标隐藏层输出结果和初始模型梯度,得到与预设隐藏层对应的目标模型梯度。

在一个实施例中,处理模块还用于直到目标模型梯度小于或者等于预设梯度阈值,根据初始隐藏层和已接入的预设隐藏层,得到已训练的分类网络。

在一个实施例中,如图6所示,提供了一种基于分类网络的分类装置,包括:特征数据获取模块602、预测模块604和归集模块606,其中:

特征数据获取模块602,用于获取待处理特征数据;

预测模块604,用于将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果,已训练的分类网络根据上述分类网络构建方法构建;

归集模块606,用于归集节点预测结果,得到与待处理特征数据对应的分类结果。

上述基于分类网络的分类装置,通过将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,利用已训练的分类网络中多个速度导向的隐藏层对待处理特征数据进行并行处理,得到各隐藏层节点输出的节点预测结果,归集节点预测结果,得到与待处理特征数据对应的分类结果,能够实现对待处理特征数据的高效处理。

关于分类网络构建装置以及基于分类网络的分类装置的具体限定可以参见上文中对于分类网络构建方法以及基于分类网络的分类方法的限定,在此不再赘述。上述分类网络构建装置以及基于分类网络的分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储携带分类标签的训练样本等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分类网络构建方法以及基于分类网络的分类方法。

本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:

获取携带分类标签的训练样本以及初始全连接网络,初始全连接网络包括速度导向的初始隐藏层;

将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度;

当初始模型梯度大于预设梯度阈值时,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度;

当目标模型梯度大于预设梯度阈值时,将目标模型梯度作为新的初始模型梯度;

返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取携带分类标签的训练样本;根据训练样本的待训练特征数确定初始全连接网络的输入节点,并根据分类标签确定初始全连接网络的输出节点;根据输入节点、输出节点以及预设速度导向的初始隐藏层,得到初始全连接网络。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行预设迭代次数的迭代训练,得到与训练样本对应的初始隐藏层输出结果;比对初始隐藏层输出结果和训练样本携带的分类标签,得到与初始隐藏层对应的初始模型梯度。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行训练,得到与训练样本对应的训练结果;比对训练结果和训练样本携带的分类标签,得到与训练结果对应的训练梯度;根据训练梯度反向传播更新初始隐藏层的隐藏层参数,并更新当前训练次数;返回通过训练样本对初始隐藏层进行训练的步骤,直到当前训练次数达到预设迭代次数,得到与训练样本对应的初始隐藏层输出结果。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标隐藏层输出结果;比对目标隐藏层输出结果和初始模型梯度,得到与预设隐藏层对应的目标模型梯度。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:直到目标模型梯度小于或者等于预设梯度阈值,根据初始隐藏层和已接入的预设隐藏层,得到已训练的分类网络。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:

获取待处理特征数据;

将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果,已训练的分类网络根据上述分类网络构建方法构建;

归集节点预测结果,得到与待处理特征数据对应的分类结果。

在一个实施例中,提供了一种计算机存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

获取携带分类标签的训练样本以及初始全连接网络,初始全连接网络包括速度导向的初始隐藏层;

将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行迭代训练,得到与初始隐藏层对应的初始模型梯度;

当初始模型梯度大于预设梯度阈值时,在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标模型梯度;

当目标模型梯度大于预设梯度阈值时,将目标模型梯度作为新的初始模型梯度;

返回在初始全连接网络中接入速度导向的预设隐藏层的步骤,直到目标模型梯度小于或者等于预设梯度阈值,得到已训练的分类网络。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取携带分类标签的训练样本;根据训练样本的待训练特征数确定初始全连接网络的输入节点,并根据分类标签确定初始全连接网络的输出节点;根据输入节点、输出节点以及预设速度导向的初始隐藏层,得到初始全连接网络。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行预设迭代次数的迭代训练,得到与训练样本对应的初始隐藏层输出结果;比对初始隐藏层输出结果和训练样本携带的分类标签,得到与初始隐藏层对应的初始模型梯度。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将训练样本输入初始全连接网络,通过训练样本对初始隐藏层进行训练,得到与训练样本对应的训练结果;比对训练结果和训练样本携带的分类标签,得到与训练结果对应的训练梯度;根据训练梯度反向传播更新初始隐藏层的隐藏层参数,并更新当前训练次数;返回通过训练样本对初始隐藏层进行训练的步骤,直到当前训练次数达到预设迭代次数,得到与训练样本对应的初始隐藏层输出结果。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在初始全连接网络中接入速度导向的预设隐藏层,以初始模型梯度为标签,通过训练数据对预设隐藏层进行迭代训练,得到与预设隐藏层对应的目标隐藏层输出结果;比对目标隐藏层输出结果和初始模型梯度,得到与预设隐藏层对应的目标模型梯度。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:直到目标模型梯度小于或者等于预设梯度阈值,根据初始隐藏层和已接入的预设隐藏层,得到已训练的分类网络。

在一个实施例中,提供了一种计算机存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

获取待处理特征数据;

将待处理特征数据并行输入已训练的分类网络中各隐藏层节点,得到各隐藏层节点输出的节点预测结果,已训练的分类网络根据上述分类网络构建方法构建;

归集节点预测结果,得到与待处理特征数据对应的分类结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

相关技术
  • 分类网络构建方法以及基于分类网络的分类方法
  • 基于双通道CNN-LSTM网络的药物关系分类模型构建及分类方法
技术分类

06120112684508