基于分步关联权重的预测模型构建方法、预测方法及装置

技术领域

本发明涉及数据预测领域，尤其涉及一种基于分步关联权重的预测模型构建方法、预测方法及装置。

背景技术

现有的预测方法和模型采用将全部变量全部一次作为输入的方式，在训练模型时，模型的网络层数及参数较多，需要大量样本数据进行训练，当样本数据较少时会出现训练不充分，模型不收敛或过拟合的情况，进而导致模型预测效果不准确的问题。

发明内容

本发明实施例提供一种基于分步关联权重的预测模型构建方法、预测方法及装置，通过分步训练、冻结前次训练参数再扩展模型的方式，能在少样本的情况下，精准控制子模型模块提取特征的方向，改善数据训练效率，从而提高模型预测的准确性。

本发明一实施例提供一种基于分步关联权重的预测模型构建方法，包括：

获取目标样本数据以及与所述目标样本数据对应的若干关联样本数据；

对于每一关联样本数据，构建关联样本数据所对应的初始预测模型，以关联样本数据作为输入，以关联样本数据对应的预测数据作为输出对初始预测模型进行训练，生成关联样本数据对应的第一预测模型；

将每一关联样本数据分别与目标样本数据进行组合，生成每一关联样本数据所对应的第一输入集；

对于每一第一预测模型，在第一预测模型后增设一个子网络，生成第二预测模型，以第一输入集作为输入，以目标样本数据的预测数据作为输出，对第二预测模型进行训练，生成第三预测模型；其中，在训练时保持各第一预测模型的网络参数不变，对所增设的子网络的网络参数进行调整；

将各第三预测模型以一全连接网络进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据作为输入，以目标样本数据的预测数据作为输出，对第四预测模型进行训练，生成目标数据的预测模型；其中，在训练时保持各第三预测模型的网络参数不变，对全连接网络的网络参数进行调整。

进一步地，所述关联样本数据，包括以下任意一项或其组合：

与目标样本数据之间存在单向影响的关联样本数据，以及与目标样本数据之间存在双向影响的关联样本数据。

进一步地，所述对于每一关联样本数据，构建关联样本数据所对应的初始预测模型，以关联样本数据作为输入，以关联样本数据对应的预测数据作为输出对初始预测模型进行训练，生成关联样本数据对应的第一预测模型，包括：

对于每一关联样本数据，构建关联样本数据所对应的循环神经网络作为关联样本数据的初始预测模型，以关联样本数据中一选定时间窗口下的数据值作为输入，将关联样本数据在选定时间窗口所对应的下一时间窗口的数据值作为关联样本数据对应的预测数据，并以关联样本数据对应的预测数据作为输出，对初始预测模型进行训练，在初始预测模型达到对应的第一训练阈值时，生成第一预测模型。

进一步地，所述对于每一第一预测模型，在第一预测模型后增设一个子网络，生成第二预测模型，以第一输入集作为输入，以目标样本数据的预测数据作为输出，对第二预测模型进行训练，生成第三预测模型，包括：

对于每一第一预测模型，在第一预测模型后增设一个全连接的循环神经子网络，生成第二预测模型，以第二预测模型对应的第一输入集中一选定时间窗口下的数据值作为输入，以目标样本数据在选定时间窗口所对应的下一时间窗口的数据值作为目标样本数据的预测数据，并以目标样本数据的预测数据作为输出，对第二预测模型进行训练，在对第二预测模型进行训练时，保持第一预测模型的网络参数不变，对第一预测模型后增设的全连接的循环神经子网络的网络参数进行调整，当第二预测模型达到对应的第二训练阈值时，生成第三预测模型。

进一步地，所述将各第三预测模型以一全连接网络进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据作为输入，以目标样本数据的预测数据作为输出，对第四预测模型进行训练，生成目标数据的预测模型，包括：

将各第三预测模型以一个全连接的循环神经网络进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据中一选定时间窗口下的数据值作为输入，以目标样本数据在选定时间窗口所对应的下一时间窗口的数据值作为目标样本数据的预测数据，并以目标样本数据的预测数据作为输出，对第四预测模型进行训练，在对第四预测模型进行训练时，保持第三预测模型的网络参数不变，对全连接的循环神经网络的网络参数进行调整，当第四预测模型达到对应的第三训练阈值时，生成目标数据的预测模型，并冻结目标数据的预测模型的网络参数。

在上述一种基于分步关联权重的预测模型构建方法实施例的基础上，本发明对应提供了一种基于分步关联权重预测模型的预测方法，包括：

获取目标数据；

将目标数据输入到预测模型中，以使所述预测模型根据所述目标数据，生成目标数据的预测数据；其中，所述预测模型由一种基于分步关联权重的预测模型构建方法生成。

在上述一种基于分步关联权重的预测模型构建方法实施例的基础上，本发明对应提供了装置项实施例；

本发明一实施例对应提供了一种基于分步关联权重的预测模型构建装置，包括：样本数据获取模块、第一训练模块、第二训练模块以及第三训练模块；

所述样本数据获取模块，用于获取目标样本数据以及与所述目标样本数据对应的若干关联样本数据；

所述第一训练模块，用于对于每一关联样本数据，构建关联样本数据所对应的初始预测模型，以关联样本数据作为输入，以关联样本数据对应的预测数据作为输出对初始预测模型进行训练，生成关联样本数据对应的第一预测模型；

所述第二训练模块，用于将每一关联样本数据分别与目标样本数据进行组合，生成每一关联样本数据所对应的第一输入集；对于每一第一预测模型，在第一预测模型后增设一个子网络，生成第二预测模型，以第一输入集作为输入，以目标样本数据的预测数据作为输出，对第二预测模型进行训练，生成第三预测模型；其中，在训练时保持各第一预测模型的网络参数不变，对所增设的子网络的网络参数进行调整；

所述第三训练模块，用于将各第三预测模型以一全连接网络进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据作为输入，以目标样本数据的预测数据作为输出，对第四预测模型进行训练，生成目标数据的预测模型；其中，在训练时保持各第三预测模型的网络参数不变，对全连接网络的网络参数进行调整。

在上述一种基于分步关联权重预测模型的预测方法实施例的基础上，本发明对应提供了装置项实施例；

本发明一实施例对应提供了一种基于分步关联权重预测模型的预测装置，包括：数据获取模块以及数据预测模块；

所述数据获取模块，用于获取目标数据；

所述数据预测模块，用于将目标数据输入到预测模型中，以使所述预测模型根据所述目标数据，生成目标数据的预测数据；其中，所述预测模型由所述的一种基于分步关联权重的预测模型构建方法生成。

通过实施本发明具有如下有益效果：

本发明提供了基于分步关联权重的预测模型构建方法、预测方法及装置，该预测模型构建方法通过获取目标样本数据以及与所述目标数据对应的若干关联样本数据；对于每一关联样本数据，构建关联样本数据所对应的初始预测模型，以关联样本数据作为输入，以关联样本数据对应的预测数据作为输出对初始预测模型进行训练，生成关联样本数据对应的第一预测模型；

将每一关联样本数据分别与目标样本数据进行组合，生成每一关联样本数据所对应的第一输入集；

对于每一第一预测模型，在第一预测模型后增设一个子网络，生成第二预测模型，以第一输入集作为输入，以目标样本数据的预测数据作为输出，对第二预测模型进行训练，生成第三预测模型；其中，在训练时保持各第一预测模型的网络参数不变，对所增设的子网络的网络参数进行调整；

将各第三预测模型以一全连接网络进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据作为输入，以目标样本数据的预测数据作为输出，对第四预测模型进行训练，生成目标数据的预测模型；其中，在训练时保持各第三预测模型的网络参数不变，对全连接网络的网络参数进行调整；通过分步训练模型可以将大的训练模型进行分层处理，并对每一步训练后生成的预测模型的网络参数进行冻结，使后续再训练过程中仅需调整新增网络所对应的网络参数，因此在训练过程中，每次仅对预测模型的一部分网络的网络参数进行训练，减少了每次训练时模型的网络层数及待训练参数量，让模型子模块可充分提取关联数据各自特征、各关联数据与目标数据的关联特征，全部关联数据与目标数据的共同关联特征，提高训练数据的使用效率，使得在少样本的情况下也能够使模型收敛，从而提高模型预测的准确性。

附图说明

图1是本发明一实施例提供的一种基于分步关联权重的预测模型构建方法的流程示意图。

图2是本发明对关联样本数据训练的流程示意图。

图3是本发明对第一数据集训练的流程示意图。

图4是本发明对目标样本数据以及所有关联样本数据训练的流程示意图。

图5是本发明一实施例提供的一种基于分步关联权重的预测模型构建装置的结构示意图。

图6是本发明一实施例提供的一种基于分步关联权重预测模型的预测方法的流程示意图。

图7是本发明一实施例提供的一种基于分步关联权重预测模型的预测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例提供了一种基于分步关联权重的预测模型构建方法，包括：

步骤S1：获取目标样本数据以及与所述目标样本数据对应的若干关联样本数据；

步骤S2：对于每一关联样本数据，构建关联样本数据所对应的初始预测模型，以关联样本数据作为输入，以关联样本数据对应的预测数据作为输出对初始预测模型进行训练，生成关联样本数据对应的第一预测模型；

步骤S3：将每一关联样本数据分别与目标样本数据进行组合，生成每一关联样本数据所对应的第一输入集；

步骤S4：对于每一第一预测模型，在第一预测模型后增设一个子网络，生成第二预测模型，以第一输入集作为输入，以目标样本数据的预测数据作为输出，对第二预测模型进行训练，生成第三预测模型；其中，在训练时保持各第一预测模型的网络参数不变，对所增设的子网络的网络参数进行调整；

步骤S5：将各第三预测模型以一全连接网络进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据作为输入，以目标样本数据的预测数据作为输出，对第四预测模型进行训练，生成目标数据的预测模型；其中，在训练时保持各第三预测模型的网络参数不变，对全连接网络的网络参数进行调整。

对于步骤S1、在一个优选的实施例中，关联样本数据，包括以下任意一项或其组合：与目标样本数据之间存在单向影响的关联样本数据，以及与目标样本数据之间存在双向影响的关联样本数据；

关联样本数据是与目标样本数据之间存在单向影响或双向影响的关联样本数据；具体的，例如，当前目标样本数据为猪肉价格，关联样本数据包括本地菜心价格、牛肉价格和天气气温；则由于本地菜心价格以及牛肉价格与猪肉价格之间存在相互影响关系，则本地菜心价格和牛肉价格为猪肉价格的双向影响的关联样本数据，而天气气温则是单方面对猪肉价格产生影响，因此天气气温为猪肉价格的单向影响的关联样本数据。

对于步骤S2、在一个优选的实施例中，对于每一关联样本数据，构建关联样本数据所对应的初始预测模型，以关联样本数据作为输入，以关联样本数据对应的预测数据作为输出对初始预测模型进行训练，生成关联样本数据对应的第一预测模型，包括：对于每一关联样本数据，构建关联样本数据所对应的循环神经网络作为关联样本数据的初始预测模型，以关联样本数据中一选定时间窗口下的数据值作为输入，将关联样本数据在选定时间窗口所对应的下一时间窗口的数据值作为关联样本数据对应的预测数据，并以关联样本数据对应的预测数据作为输出，对初始预测模型进行训练，在初始预测模型达到对应的第一训练阈值时，生成第一预测模型。

具体的，对于每一个关联样本数据，构建关联样本数据所对应的循环神经网络，以关联样本数据中一选定的时间窗口的数据作为输入，以关联样本数据在输入数据时间窗口后的下一时间窗口下的数据值作为对应的预测数据作为输出，对循环神经网络进行训练，在每一循环神经网络中设定有准确率(即上述第一训练阈值)对训练进行控制，当循环神经网络的训练达到对应准确率(即上述第一训练阈值)时，此时生成第一预测模型；例如，如图2所示，图中关联样本数据为B、C、D，关联样本数据B包含B1-Bn的时间窗口，关联样本数据B的预测数据包含B(n+1)-Bm的时间窗口，RNNB为关联样本数据B所构建的循环神经网络(即关联样本数据B的初始预测模型)，将关联样本数据B包含的任意时间窗口作为输入，将关联样本数据B的预测数据在输入时间窗口后的下一时间窗口作为输出，对关联样本数据B所构建的循环神经网络进行训练，在达到准确率(即上述第一训练阈值)时，停止对关联样本数据B所构建的循环神经网络进行训练，此时的循环神经网络为关联样本数据B所对应的第一预测模型；同理，可以得到关联样本数据C和关联样本数据D所对应的第一预测模型。

对于步骤S3、即将每一关联样本数据分别和目标样本数据进行组合，例如，目标样本数据为A，关联样本数据包括：B、C和D，则将A分别与B、C和D进行组合，得到关联样本数据B的第一输入集AB、关联样本数据C的第一输入集AC和关联样本数据D的第一输入集AD。

对于步骤S4、在一个优选的实施例中，对于每一第一预测模型，在第一预测模型后增设一个子网络，生成第二预测模型，以第一输入集作为输入，以目标样本数据的预测数据作为输出，对第二预测模型进行训练，生成第三预测模型，包括：对于每一第一预测模型，在第一预测模型后增设一个全连接的循环神经子网络，生成第二预测模型，以第二预测模型对应的第一输入集中一选定时间窗口下的数据值作为输入，以目标样本数据在选定时间窗口所对应的下一时间窗口的数据值作为目标样本数据的预测数据，并以目标样本数据的预测数据作为输出，对第二预测模型进行训练，在对第二预测模型进行训练时，保持第一预测模型的网络参数不变，对第一预测模型后增设的全连接的循环神经子网络的网络参数进行调整，当第二预测模型达到对应的第二训练阈值时，生成第三预测模型。

具体的，对每一个第一预测模型，在第一预测模型后增设一个全连接循环神经子网络，生成第二预测模型；需要说明的是，在第一预测模型生成时，将第一预测模型对应的网络参数进行冻结；在对第二预测模型进行训练时，第一预测模型的网络参数不再变动，仅对增设的全连接循环神经子网络的网络参数进行调整，当第二预测模型达到对应的准确率(即上述第二训练阈值)时，生成第三预测模型；例如，如图3所示，图中关联样本数据B的第一数据集AB包含时间窗口A1-An,B1-Bn，RNNB(frozen)为关联样本数据B的第一预测模型，RNNAB为关联样本数据B增设的一个全连接的循环神经子网络，目标样本数据A的预测数据包含A(n+1)-Am的时间窗口，以关联样本数据B的第一数据集AB的任意一时间窗口的数据作为输入，以目标样本数据A的预测数据在第一数据集AB的时间窗口的下一时间窗口的数据作为输出，对关联样本数据B所对应的第二预测模型进行训练，在达到训练的准确率(即上述第二训练阈值)时，停止对关联样本数据B对应的第二预测模型进行训练，此时的第二预测模型为关联样本数据B所对应的第三预测模型；同理，可以得到关联样本数据C和关联样本数据D所对应的第三预测模型。

对于步骤S5、在一个优选的实施例中，将各第三预测模型以一全连接网络进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据作为输入，以目标样本数据的预测数据作为输出，对第四预测模型进行训练，生成目标数据的预测模型，包括：将各第三预测模型以一个全连接的循环神经网络进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据中一选定时间窗口下的数据值作为输入，以目标样本数据在选定时间窗口所对应的下一时间窗口的数据值作为目标样本数据的预测数据，并以目标样本数据的预测数据作为输出，对第四预测模型进行训练，在对第四预测模型进行训练时，保持第三预测模型的网络参数不变，对全连接的循环神经网络的网络参数进行调整，当第四预测模型达到对应的第三训练阈值时，生成目标数据的预测模型，并冻结目标数据的预测模型的网络参数。

具体的，将步骤S4中所构建各关联样本数据的第三预测模型以全连接循环神经网络的方式对各关联样本数据的第三预测模型进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据的中一选定时间窗口下的数据值作为输入，以目标样本数据与选定输入时间窗口所对应的下一个时间窗口的数据值作为输出，对第四预测模型进行训练，需要说明的是，在生成第三预测模型时，对第三预测模型所对应的网络参数进行冻结；即在对第四训练模型进行训练时，保持第三预测模型的网络参数不变，对新增的全连接神经网络的网络参数进行调整，在第四预测模型达到对应准确率(即上述第三训练阈值)时，生成目标数据的预测模型；例如，如图4所示，RNNB(frozen)为关联样本数据B的第一预测模型，RNNAB(frozen)为关联样本数据B增设的一个全连接的循环神经子网络，RNNB(frozen)与RNNAB(frozen)即构成关联样本数据B的第三预测模型，RNNA则表示增设的全连接循环神经网络，将各关联样本数据B、C和D所对应的第三预测模型以全连接的方式连接到增设的全连接循环神经网络RNNA上，此时各关联样本数据的第三预测模型的网络参数被冻结保持不变，仅需调整增设的全连接循环神经网络RNNA的网络参数，以对应直至第四预测模型达到对应的准确率，则生成最终目标数据的预测模型，并冻结最终目标数据的预测模型的网络参数。

为更好的说明本申请所能达到的技术效果，以下例举实际例子进行说明。

例如:利用某地工商局发布的每日猪肉(外三元)价格、每日本地菜心价格、每日牛肉价格和每日天气气温，通过本申请方法构建猪肉价格的预测模型；

下表为某地工商局发布的每日猪肉(外三元)价格：

下表为某地工商局发布的每日本地菜心价格：

下表为某地工商局发布的每日牛肉价格：

下表为某地气象局发布的每日天气气温：

其中，猪肉(外三元)价格为目标样本数据，本地菜心价格、牛肉价格和天气气温为关联样本数据；

首先，分别建立三个循环神经网络对本地菜心价格、牛肉价格和天气气温进行训练；以本地菜心价格为例，初始化一个五层一阶传递的循环神经网络，对本地菜心价格的数据分组进行训练，例如:以“一周本地菜心价格为输入，对应下一周本地菜心价格为输出”为一组，进行训练，设定当前训练的准确率需达到0.9，则在训练达到0.9时停止训练，并得到本地菜心价格循环神经网络模型M

需要说明的是，一阶循环神经网络具有本次输出仅影响下一轮训练，而不影响下下一轮训练的特性；

在得到本地菜心价格循环神经网络模型M

在得到新的本地菜心价格循环神经网络模型M

在如图1所示的一种基于分步关联权重的预测模型构建方法所构建的目标数据的预测模型的基础上，本发明一实施例还提供了如图5所示的一种基于分步关联权重预测模型的预测方法，包括：

步骤S101：获取目标数据；

步骤S201：将目标数据输入到预测模型中，以使所述预测模型根据所述目标数据，生成目标数据的预测数据。

对于步骤S101、获取与目标样本数据相对应的目标数据。

对于步骤S201、将步骤S101获取的目标数据输入到预测模型中，通过预测模型对目标数据的计算，生成目标数据的预测数据；例如，获取最近一周的猪肉价格作为目标数据，将最近一周的猪肉价格输入一种分布关联权重的预测模型构建方法所构建的猪肉价格的预测模型中，生成下一周的猪肉价格预测值。

在上述一种基于分步关联权重的预测模型构建方法实施例的基础上，本发明对应提供了装置项实施例。

如图6所示，本发明一实施例提供了一种基于分步关联权重的预测模型构建装置，包括：样本数据获取模块、第一训练模块、第二训练模块以及第三训练模块；

所述样本数据获取模块，用于获取目标样本数据以及与所述目标样本数据对应的若干关联样本数据；

所述第一训练模块，用于对于每一关联样本数据，构建关联样本数据所对应的初始预测模型，以关联样本数据作为输入，以关联样本数据对应的预测数据作为输出对初始预测模型进行训练，生成关联样本数据对应的第一预测模型；

所述第二训练模块，用于将每一关联样本数据分别与目标样本数据进行组合，生成每一关联样本数据所对应的第一输入集；对于每一第一预测模型，在第一预测模型后增设一个子网络，生成第二预测模型，以第一输入集作为输入，以目标样本数据的预测数据作为输出，对第二预测模型进行训练，生成第三预测模型；其中，在训练时保持各第一预测模型的网络参数不变，对所增设的子网络的网络参数进行调整；

所述第三训练模块，用于将各第三预测模型以一全连接网络进行连接，生成第四预测模型，将目标样本数据以及所有关联样本数据作为输入，以目标样本数据的预测数据作为输出，对第四预测模型进行训练，生成目标数据的预测模型；其中，在训练时保持各第三预测模型的网络参数不变，对全连接网络的网络参数进行调整。

在上述一种基于分步关联权重预测模型的预测方法实施例的基础上，本发明对应提供了装置项实施例。

如图7所示，本发明一实施例提供了一种基于分步关联权重预测模型的预测装置，包括：数据获取模块以及数据预测模块；

所述数据获取模块，用于获取目标数据；

所述数据预测模块，用于将目标数据输入到预测模型中，以使所述预测模型根据所述目标数据，生成目标数据的预测数据；其中，所述预测模型由一种基于分步关联权重的预测模型构建方法生成。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

所述领域的技术人员可以清楚地了解到，为的方便和简洁，上述描述的装置的具体工作过程，可参考前述方法实施例中对应的过程，在此不再赘述。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。