权重预测器的训练方法、交易数据预测方法和装置

技术领域

本公开涉及人工智能技术领域，尤其涉及神经网络模型、时间序列预测等领域。

背景技术

现有技术中，神经网络模型已经被广泛应用于多种领域，例如用于对时间序列的预测。时间序列预测是根据历史的时间序列数据，对未来的时间序列数据进行预测的过程。

交易数据是一种常见的时间序列数据。相关技术中，神经网络模型也被用于对交易数据的预测。如何提升交易数据预测的准确度，是需要解决的技术问题。

发明内容

本公开提供了权重预测器的训练方法、交易数据预测方法和装置。

根据本公开的一方面，提供了一种权重预测器的训练方法，包括：

利用第一时间序列的样本交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果；并利用待训练的权重预测器和该样本交易数据，确定各个该预测结果的权重；

根据该预测结果和该权重，确定该第二时间序列的预测交易数据；

利用该预测交易数据和该第二时间序列的标签，确定损失函数；根据该损失函数调整该待训练的权重预测器的参数，以得到训练完成的权重预测器。

根据本公开的另一方面，提供了一种交易数据预测方法，包括：

利用第一时间序列的原始交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果；并利用训练后的权重预测器和该原始交易数据，确定各个该预测结果的权重；

根据该预测结果和该权重，确定该第二时间序列的预测交易数据。

根据本公开的另一方面，提供了一种权重预测器的训练装置，包括：

第一确定模块，用于利用第一时间序列的样本交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果；并利用待训练的权重预测器和该样本交易数据，确定各个该预测结果的权重；

第二确定模块，用于根据该预测结果和该权重，确定该第二时间序列的预测交易数据；

训练模块，用于利用该预测交易数据和该第二时间序列的标签，确定损失函数；根据该损失函数调整该待训练的权重预测器的参数，以得到训练完成的权重预测器。

根据本公开的另一方面，提供了一种交易数据预测装置，包括：

第五确定模块，用于利用第一时间序列的原始交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果；并利用训练后的权重预测器和该原始交易数据，确定各个该预测结果的权重；该训练后的权重预测器为采用任一权重预测器的训练装置训练得到的；

第六确定模块，用于根据该预测结果和该权重，确定该第二时间序列的预测交易数据。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。

本公开能够利用至少两个第二时间序列的预测结果和该各个预测结果对应的权重确定的第二时间序列的预测交易数据，因此采用该方式确定出的结果，能够降低基于单个预测结果确定出的第二时间序列的预测交易数据偏差，提高该第二时间序列的预测交易数据的准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的应用场景示意图；

图2是根据本公开实施例的权重预测器的训练方法的流程示意图；

图3是根据本公开实施例的确定第二时间序列的预测交易数据的流程示意图；

图4是根据本公开实施例提出的基预测器的架构示意图；

图5是根据本公开实施例的特征提取层的结构示意图；

图6A是根据本公开实施例的待训练的权重预测器的结构示意图一；

图6B是根据本公开实施例的待训练的权重预测器的结构示意图二；

图7A是根据本公开实施例的待训练的权重预测器的结构示意图三

图7B是根据本公开实施例的待训练的权重预测器的结构示意图四；

图8是根据本公开实施例的交易数据预测方法的流程示意图；

图9是根据本公开实施例的权重预测器的训练装置的结构示意图；

图10是根据本公开另一实施例的权重预测器的训练装置的结构示意图；

图11A是根据本公开实施例的待训练的权重预测器的结构示意图；

图11B是根据本公开另一实施例的待训练的权重预测器的结构示意图；

图12A是根据本公开实施例的交易数据预测装置的结构示意图；

图12B是根据本公开另一实施例的交易数据预测装置的结构示意图；

图13是用来实现本公开实施例的权重预测器的训练方法和交易数据预测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

金融市场是一个具有非线性、变化频繁和风险与回报并存等特点的市场。通常情况下，金融市场可能受多方因素影响，如政治、经济、新闻和投资者行为等因素。也正因如此，投资者在金融市场的任意一个简单操作都可能存在风险，例如，对金融市场中任一商品的交易数据的错误判断，有可能会导致金融市场的危机。例如，以金融市场中常见的股票市场为例，一般情况下，股票可以包括证券行业内各上市单位根据上市的地点和投资者发行的股票，通常股票的投资风险与收益并存，即股票的收益与投资风险成正比，也就是说股票的收益越高，投资该股票的风险越大；股票的收益越低，投资该股票的风险越小。因此，在股票市场中，股票交易数据的预测具有极高的应用价值。当然，股票市场仅为金融市场中一个较为常见的例子，除股票市场外，对于金融市场中任一商品的交易数据是否能预测以及金融市场中任一商品的交易数据如何预测的问题，也是学术界与金融业界一直有着极大的兴趣的问题。

目前，现有技术中一般可以采用基本分析和技术分析的预测方法对金融市场中任一商品的交易数据进行预测。其中，金融市场中任一商品的交易数据可以包括该商品在任一历史交易日的开盘价、收盘价、最高价、最低价、总交易量、总交易额和收益率中的至少之一。具体地，该基本分析的预测方法可以通过分析影响金融市场中任一商品的内在价值和价格的宏观经济形势、行业状况和公司经营状况等因素，评估金融市场中任一商品的投资价值和合理价格，并与市场价格进行比较，提供金融市场中任一商品在未来一段时间的交易数据和相应的买卖建议。该技术分析的预测方法可以从金融市场中交易数据对应的成交量、价格、以及达到这些价格和成交量所用的时间等方面分析趋势并预测金融市场中任一商品在未来一段时间的交易数据和相应的买卖建议。

当然，随着互联网技术和人工智能技术的蓬勃发展，目前现有技术中并不仅限于人为采用基本分析和技术分析的预测方法预测金融市场中任一商品在未来一段时间的交易数据，还可以基于预测模型预测金融市场中任一商品在未来一段时间的交易数据。例如，可以采用传统的时间序列模型和基于机器学习的模型，确定预测模型。具体地，该传统的时间序列模型可以包括自回归移动平均模型(ARIMA)、自回归条件异方差模型(ARCH)等。其中，该ARIMA模型是一种常用的时间序列预测模型，通过将非平稳时间序列转换为平稳时间序列，以及使用自回归和移动平均的方式建立模型；该ARCH模型可以基于历史波动信息，描述波动的变化。该基于机器学习的模型可以包括基于人工神经网络(ANN)的模型，如多层感知机网络(MLP)和基于长短期记忆(LSTM,Long Short Term Memory)网络的模型等，其中，该MLP可以根据多层神经元和非线性激活函数构建，该MLP可以适用于非线性分类和回归问题；该LSTM是一种循环神经网络的变种，可以用于处理序列数据，以及通过门控机制解决长期依赖问题，适用于语言建模、机器翻译和股票预测等任务。当然，基于机器学习的模型还可以包括支持向量回归机(SVR)，SVR是一种基于支持向量机的回归算法，通过映射到高维特征空间构建最优超平面，使用核函数处理非线性问题。SVR能够通过、优化求解训练过程，有效处理回归问题。

因此，传统的时间序列模型和基于机器学习的模型为金融市场中任一商品交易数据的预测提供了多种选择，不同模型适用于不同的数据特征和问题场景。综合运用这些模型和算法，可以提高对金融市场中任一商品的交易数据的预测准确性和可靠性。

上述预测方法通常都是基于单个基预测器(如单个SVR或单个MLP)预测金融市场中任一商品的交易数据的，但是单个基预测器可能存在预测偏差的问题，尤其对于波动比较大的股票数据，单个基预测器无法全面捕捉数据的复杂性和多样性。那么此时，可以引入集成算法，集成算法能够通过多个模型(如基预测器)之间的协同作用，弥补单个基预测器的局限性，从而获得更可靠、稳定且准确的预测结果，具体地，可以通过集成算法，将多个基预测器的预测结果进行综合，有效地减少单个基预测器的不足，提高整体预测准确性。

目前主流的集成算法可以包括集成学习堆栈(Stacking)算法和引导聚集(Bagging，Bootstrap aggregating)算法。那么，如果采用基于Stacking算法的预测模型，那么不仅需要较长的时间训练该预测模型，而且还需要对该预测模型进行多个阶段的训练，此外，该基于Stacking算法的预测模型在训练完成并进入预测阶段时，也有可能面临数据泄露问题。因此，如果采用基于Stacking算法的预测模型不仅会增加预测模型的复杂性和计算成本，还会造成数据的泄露。而Bagging算法则可能导致个别基预测器之间存在相关性，从而造成占用更多计算资源和内存空间，以及对异常值较为敏感的问题。

当然，目前采用的集成算法不仅包括Stacking算法和Bagging算法，还包括随机森林(Random Forest)算法、梯度提升决策树(GBDT，Gradient Boosting Decision Tree)算法和极限梯度提升(XGBoost，Extrme Gradient Boosting)算法。其中，Random Forest算法是一种集成学习算法，通过构建多个决策树并进行综合预测来提高模型的准确性和泛化能力。Random Forest算法的主要原理是先通过随机选择特征子集和样本子集来构建多棵决策树，每棵决策树独立地进行训练和预测，再通过集成所有决策树的预测结果，RandomForest算法可以得出最终的分类或回归结果，此外，该Random Forest算法具有高度并行化的训练过程，在大数据时代具有良好的可扩展性。因此，Random Forest算法的优点包括高效处理高维数据、评估特征的重要性、对缺失数据不敏感，并且相对于其他集成学习算法，实现较为简单。然而，Random Forest算法也可能存在过拟合噪音较大的数据和对取值划分较多的特征敏感等缺点。GBDT算法是一种集成学习算法，具体地，GBDT算法主要以决策树为基础构建森林，并利用梯度提升的方式进行学习，GBDT算法的基本思想是通过逐步生成决策子树来构建整个森林，并将所有子树的预测结果相加作为最终的预测值，在生成新的子树时，GBDT算法可以利用样本标签值与当前树林预测值之间的残差来构建新的子树。因此，GBDT算法能够通过逐步生成决策子树并拟合残差的方式，逐渐提升模型的预测能力，以达到更好的拟合效果。然而，GBDT算法也存在一些局限性。首先，在高维稀疏的数据集上，GBDT算法的性能可能不如支持向量机或神经网络。其次，相对于处理数值特征，GBDT算法在处理文本分类特征问题上的优势不明显。此外，GBDT算法的训练过程需要串行训练，只能在决策树内部采用一些局部并行的手段提高训练速度。XGBoos算法是一种高效的梯度提升算法，改进了原始的梯度提升GBDT算法，以实现更优秀的模型性能。它是一种前向累加模型，利用集成学习的概念，特别是提升增强(boosting)，将多个弱学习器(即基预测器)组合成一个强学习器，XGBoost算法由一组分类和回归树(CART，Classification and RegressionTree)组成，可以处理分类和回归等各种问题类型。XGBoos算法通过迭代地向集成中添加树，每棵树都经过训练以纠正先前树的错误，各个树的预测结果通过求和来进行组合，其中每棵树的预测结果是目标值与先前所有树的累积预测之差。这个累积过程提高了整体模型的性能。因此，XGBoost算法的优点包括精度更高、灵活性更强(支持多种基分类器和自定义损失函数)、支持并行化尤其在特征粒度上实现并行。然而，该算法的缺点是节点分裂过程仍需要遍历数据集，并且预排序过程的空间复杂度较高。

上述目前常有的用于集成多个基预测器的集成算法均不够合理。因此，如何选择较为合适的集成算法，也是学术界与金融业界一直有着极大的兴趣的问题。

因此，基于上述内容，本公开实施例提出了一种基于神经网络的集成算法。神经网络具有强大的拟合能力和表示能力，能够学习复杂的非线性模式。通过将多个神经网络模型进行集成，可以更好地捕捉数据中的潜在关系和非线性特征。此外，神经网络的分布式计算和并行计算特性使得基于神经网络的集成算法能够高效地处理大规模数据和高维特征。通过使用神经网络的集成算法，可以进一步提高预测准确率、降低模型的方差，并具备更强的适应性和泛化能力。在一些实施方式中，本公开实施例提出的神经网络可以包括Transformer，这是由于使用Transformer作为集成算法处理回归问题的优点包括Transformer通过强大的表示能力，能够捕捉数据中的复杂关系和特征。此外，Transformer还可以通过多头注意力机制实现并行计算的能力，提高训练和推理的效率；以及，由于Transformer具有长距离依赖建模的能力，还能够使得基于Transformer的模型能够考虑全局信息。综上，使用Transformer作为集成算法处理回归问题时，如使用基于Transformer算法的预测模型预测交易数据时，该基于Transformer算法的预测模型能够具有强大的表示能力、并行计算、长程依赖建模、多头注意力机制和可解释性等优势，提高基于Transformer算法的预测模型的性能和准确度。

也正因如此，本公开实施例提出了一种基于Transformer的交易数据预测模型，在该交易数据预测模型中可以包括至少两个基预测器和权重预测器。本公开实施例通过综合利用多个基学习器(即基预测器)的预测能力，提高了交易数据预测的准确性和性能。同时，交易数据预测模型采用基于Transformer架构的网络来提取和编码序列特征，还可以捕捉了交易数据时间和空间相关性。

但是，如何基于至少两个基预测器对应的至少两个预测结果，确定最后的预测结果，也是学术界与金融业界一直有着极大的兴趣的问题。

举例说明，如果采用加权求和的方式，对至少两个基预测器对应的至少两个预测结果进行计算，以得到交易数据的预测结果，那么有可能会由于各个预测结果与其对应的权重之间匹配度不高，即如果赋予也准确度更高的预测结果，较低的权重更，以及赋予准确度低的预测结果，较高的权重，那么可能产生的预测出的交易数据误差过大的问题，也就是最终得到的第二时间序列的预测交易数据的准确度较低的问题。

因此，如何动态调整各个预测结果对应的权重，以使得该交易数据的预测模型能够自适应地融合不同模型的预测结果，也是学术界与金融业界一直有着极大的兴趣的问题。

因此，基于上述内容，本公开实施例提出了一种权重预测器的训练方法，可以用于确定各个基预测器对应的预测结果的比重，以实现提高预测效果的准确度的目的。图1是根据本公开实施例的应用场景示意图，如图1所示，在交易数据预测的场景下，投资者可以将第一时间序列的交易数据输入预测设备110，预测设备110可以利用第一时间序列的交易数据进行预测，以得到第二时间序列的预测交易数据。第一时间序列是第二时间序列之前的序列，也就是说，预测设备利用历史交易数据预测未来的交易数据。

图2是根据本公开实施例的权重预测器的训练方法的流程示意图，该方法可以应用于权重预测器的训练装置，例如，该装置可以部署于单机、多机或集群系统中的终端或服务器或其它处理设备执行的情况下，可以实现图片、图文、视频等各类应用场景的搜索等处理。其中，终端可以为用户设备(UE，User Equipment)、移动设备、个人数字处理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示，该权重预测器的训练方法包括：

S210、利用第一时间序列的样本交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果；并利用待训练的权重预测器和样本交易数据，确定各个预测结果的权重；

S220、根据预测结果和权重，确定第二时间序列的预测交易数据；

S230、利用预测交易数据和第二时间序列的标签，确定损失函数；根据损失函数调整待训练的权重预测器的参数，以得到训练完成的权重预测器。

需要说明的是，本公开实施例并不限制确定第二时间序列的至少两个预测结果和确定各个预测结果的权重的具体执行顺序。例如，如图3所示，可以先利用第一时间序列的样本交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果，再利用待训练的权重预测器和样本交易数据，确定各个预测结果的权重；或者也可以先利用待训练的权重预测器和样本交易数据，确定各个预测结果的权重，再利用第一时间序列的样本交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果；亦或者，可以同时利用待训练的权重预测器和样本交易数据，确定各个预测结果的权重，以及利用第一时间序列的样本交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果。

在S210-S230的一示例中，所采用的交易数据可以包括商品在任一历史交易日或任一历史交易日中任一时刻的开盘价、收盘价、最高价、最低价、总交易量、总交易额和收益率中的至少之一。例如，如果该商品为股票，那么该交易数据可以包括股票在第四个交易日的开盘价、收盘价、最高价、最低价、总交易量、总交易额和收益率；或者，该交易数据可以包括股票在第四个交易日中上午九点到十二点的最高价、最低价、总交易量、总交易额和收益率

其中，第一时间序列的样本交易数据可以包括实际观测的任一商品在第一时间序列的交易数据，例如，第一时间序列的样本交易数据可以包括第一时间序列在股票交易平台上实际观测得到的股票的交易数据，或者，第一时间序列在贵金属交易平台上实际观测得到的交易数据等。该第二时间序列的标签可以包括实际观测的该商品在第二时间序列的交易数据。

由于第二时间序列的预测交易数据是根据预先训练的至少两个基预测器所预测的两个中间值(即预测结果)和各个中间值所对应的权重确定的，因此本公开实施例提出的交易数据的预测模型能够降低由于单个基预测器所造成的预测误差，提高第二时间序列的预测交易数据的准确率。

当然，需要说明的是，在本公开实施例中，为了确定至少两个第二时间序列的预测结果和该第二实际序列的预测结果的准确度，本公开实施例还需要预先确定第一时间序列的样本交易数据和第二时间序列的标签。具体地，该确定第一时间序列的样本交易数据和第二时间序列的标签包括：

确定第一时间序列对应的第一时间长度、以及交易数据的第一特征维度；根据第一时间长度和第一特征维度，确定第一时间序列的样本交易数据；以及，

确定第二时间序列对应的第二时间长度、以及交易数据对应的收益率；根据第一时间长度和收益率，确定第二时间序列的标签。

其中，该第一时间序列在第二时间序列之前。

举例说明，在一些实施方式中，如果采用x代表第一时间序列的样本交易数据，那么

此外，为了提高上述第二样本数据的预测结果的准确度和基于该待训练的权重预测器确定的权重的准确度，本公开实施例还可以对该第一时间序列的样本数据进行归一化，以提高训练完成的权重预测器的性能、加速训练权重预测器速度，消除特征尺度差异，避免过拟合和偏差，确保特征平衡影响。

另外，如果采用Label代表第二时间序列的标签，那么

基于第一时间序列中实际观测的多个维度的信息，确定出的第一时间序列的样本交易数据，具有高准确度的特点，能够提高预测出的至少两个预测结果的准确性。此外，采用该第二时间序列中实际观测的多个维度的信息，确定出的第二时间序列的标签数据，能够保证对该第二时间序列的预测结果评估的准确率，从而能够实现加快该待训练的权重预测器的训练速度的目的。

进一步地，本公开实施例在确定出该第一时间序列的样本交易数据之后，还需要确定该预先训练的至少两个基预测器，从而实现基于第一时间序列的样本交易数据和预先训练的至少两个基预测器，得到该第二时间序列的至少两个预测结果的目的。

举例说明，如果该预先训练的至少两个基预测器可以包括M＝{model

需要说明的是，本公开实施例提出的基预测器(即model

基于上述内容，本公开实施例提出了一种基于长短期记忆(LSTM，Long ShortTerm Memory)网络的基预测器。图4是根据本公开实施例提出的基预测器的架构示意图，如图4所示，该待练训练的基预测器可以由多个LSTM层(如3个LSTM层)和密集连接(Dense)层构成，其中，该多个LSTM层和Dense层可以采用逐层连接的方式进行架构，即上一层与下一层依次连接。

具体地，本公开实施例获取该预先训练的基预测器的方法，可以包括：

首先，针对该待训练的基预测器的第一个LSTM层，可以将该第一时间序列的样本交易数据作为该基预测器的第一个LSTM层的输入数据，该待训练的基预测器的第一个LSTM层根据该第一时间序列的样本交易数据，确定输出数据；针对该待训练的基预测器的其余LSTM层，可以根据上一个LSTM层的输出数据，确定当前LSTM层的输入数据(如，将第K-1LSTM层的输出数据，确定为第K个LSTM层的输入数据，K为大于1的整数)，该待训练的基预测器的当前LSTM层(如第K个LSTM层)的输入数据，确定该层的输出数据；其次，针对该待训练的基预测器的Dense层，可以将该待训练的基预测器中最后一个LSTM层的输出数据作为该Dense层的输入数据，该Dense层对该层输入数据进行处理，以得到该待训练的基预测器针对第二时间序列的预测结果；最后，可以根据该待训练的基预测器针对该第二时间序列的预测结果和该第二时间序列的样标签，确定损失函数，并利用该损失函数调整该待训练的基预测器的参数，以得到预先训练的基预测器。

其中，该Dense层对该层输入数据进行的处理可以包括以下至少之一：

对该层输入数据进行特征提取；

对该层输入数据进行数据扁平化处理；

对该层输入数据进行数据降维；

对该层输入数据进行数据升维。

当然，需要说明的是，本开始实施例提出的基预测器的架构仅为示例，本公开实施例并不限制该待训练的基预测器的具体架构，例如，该待训练的预测器还可以由一个LSTM层和一个Dense层构成。此时，该获取该预先训练的至少两个基预测器的方法，可以包括：

首先，利用该待训练的基预测器的LSTM层和该第一时间序列的样本交易数据确定LSTM层输出数据；其次，利用该Dense层对该LSTM层的输出数据进行处理，以得到该待训练的基预测器针对第二时间序列的预测结果；最后，可以根据该待训练的基预测器针对该第二时间序列的预测结果和该第二时间序列的标签，确定损失函数，并利用该损失函数调整该待训练的基预测器的参数，以得到预先训练的基预测器。

当然，本公开实施例不仅需要确定出该第二时间序列的至少两个预测结果，还需要利用待训练的权重预测器和样本交易数据，确定各个预测结果的权重。

因此，为了利用待训练的权重预测器和样本交易数据，确定各个预测结果的权重，本公开实施例首先需要确定该待训练的权重预测器的架构。具体地，为了提高权重预测器的表达能力，本公开实施例可以采用层级架构的方式搭建待训练的权重预测器。

在一些实施方式中，该待训练的权重预测器包括编码层、M个特征提取层、第一前馈网络；M为大于1的整数；其中，

编码层，用于对样本交易数据进行特征提取和编码，以得到第一特征；

M个特征提取层，用于对第一特征进行特征抽象处理，以得到第二特征；

第一前馈网络，用于根据第二特征，得到第一权重向量，第一权重向量用于指示各个预测结果的权重。

本公开实施例提出的训练的权重预测器采用层级架构，确定各个预测结果对应的权重。这种层级架构的权重预测器结构清晰，训练过程简便，并且预测得到的各个预测对应的权重的准确率较高。

前馈网络，又称为前馈神经网络，是一种最简单的神经网络，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。在一些实施方式中，上述第一前馈网络具体可以采用多次感知机(MLP)，该第一前馈网络可以为第一MLP。

一示例中，该待训练的权重预测器可以包括多个特征提取层，例如，该待训练的权重预测器可以包括4个特征提取层，其中，该特征提取层可以包括残差神经网络(ResNet，Residual Network)块，如残差Transformer块(RTB，Residual transformer Block)。

举例说明，如果采用x表示第一时间序列的样本交易数据，x

x

其中，该Emb(x)表示采用编码(Encoding)模块对输入数据x进行编码。

在一些实施方式中，本公开实施在确定第一特征(即x

具体地，在M个特征提取层采用逐层连接的方式进行架构的情况下，对第一特征进行特征抽象处理，以得到第二特征，包括：

基于第一特征，确定各个特征提取层的输入数据；

利用各个特征提取层的输入数据，确定各个特征提取层的输出数据；

根据第一特征和至少一个特征提取层的输出数据，确定第二特征。

由于第二特征基于待训练的权重预测器中各个特征提取层的输出数据和第一特征所确定的，因此本公开实施例提出的确定第二特征的方法能够提高第二特征的准确率，降低基于单次处理而造成的误差。

在一些实施方式中，本公开实施例分别根据权重预测中特征提取层和第一前馈网络的两种不同搭建方式，提出了两种基于第一特征，确定各个特征提取层的输入数据的方式。以下内容将分别针对两种确定各个特征提取层的输入数据的方式进行详细说明。

方式一：待训练权重预测器中M个特征提取层采用逐层连接的方式进行架构；以及，M个特征提取层中的第M个特征提取层与第一前馈网络采用残差连接的方式进行架构。

在M个特征提取层中的第M个特征提取层与第一前馈网络采用残差连接的方式进行架构该基于第一特征的情况下，该确定各个特征提取层的输入数据，包括：

针对M个特征提取层的第一个特征提取层，将第一特征作为第一个特征提取层的输入数据；

针对M个特征提取层的第N个特征提取层，将第N-1个特征提取层的输出数据作为第N个特征提取层的输入数据；N为大于或等于2的整数；N小于或等于M。

例如，如果采用x

x

其中，该RTB(x

通过利用M个特征提取层中上一个特征提取层的输出数据，确定下一个特征提取层的输入数据的方式，能够进一步地结合该待训练的权重预测中各个特征提取层对该第一样本数据的特征的提取结果，提高该待训练的权重预测输出的各个预测结果的权重的准确度。

方式二：待训练权重预测器中M个特征提取层采用逐层连接的方式进行架构；以及，M个特征提取层中的第M个特征提取层与第一前馈网络采用逐层连接的方式进行架构；

在M个特征提取层中的第M个特征提取层与第一前馈网络采用逐层连接的方式进行架构的情况下，基于第一特征，确定各个特征提取层的输入数据，包括：

针对M个特征提取层中的第一个特征提取层，将第一特征作为第一个特征提取层的输入数据；

针对M个特征提取层的第N个特征提取层，将前N-1个特征提取层的输出数据与第一特征进行拼接，将拼接结果作为第N个特征提取层的输入数据。

例如，如果采用x

x′

其中，该RTB([x′

本公开实施例采用逐层连接的方式对M个特征提取层进行架构，这种架构方式能够结合前N-1特征提取层得到的输出数据，确定第N个特征提取层的输入数据，这种结构方式层次清晰，且通过这种架构方式确定的第N个特征提取层的输出数据准确率较高。

以上简单介绍了本公开实施例提出的两种基于第一特征，确定各个特征提取层的输入数据的方式。当然，本公开实施例在确定各个基预测器的输入数据之后，还需要确定各个基预测器的输出数据，从而根据该输出数据计算用于确定该第一特征向量(即用于指示各个预测结果的权重的向量)的第二特征。其中，该确定各个基预测器的输出数据的方式可以根据该特征提取层的架构确定。

具体地，如图5所示，在该特征提取层包括多个神经网络层和第二前馈网络(第二前馈网络可以具体为第二MLP)的情况下，该利用特征提取层的输入数据，确定特征提取层的输出数据，包括：

利用多个神经网络层，对输入数据进行特征抽象处理，以得到第三特征；

利用第二前馈网络，对第三特征进行特征融合处理，以得到第四特征；

对第四特征和输入数据进行残差连接，以得到输出数据。

采用多个神经网络层和第二前馈网络确定各个特征提取层的输入数据的方式，能够捕捉到输入数据内部的时间依赖特征，提高该各个特征提取层的输出数据的准确性。其中，该时间依赖特征，可以指输入数据在第一时间序列中不同时刻(或不同交易日)对应的数据之间的相互影响和/或依赖。

一示例中，神经网络层包括转换(Transformer)层。

Transformer是一种基于自注意力机制的神经网络架构，是一种完全依赖于自注意力机制来计算其输入和输出的表示的转换模型。

举例说明，如果该第N个特征提取层的可以包括P个Transformer块(TB，Transformer Block)，那么针对该第N个特征提取层的第一个TB，该输入数据可以包括第N个特征提取层的输入数据。具体地，如果采用x

x″

其中，该TB(x

此外，如果该第N个特征提取层包括P个Transformer块(TB，Transformer Block)，那么针对该第N个特征提取层的第p个TB，该输入数据可以包括第(p-1)个TB的输出数据。具体地，如果采用x″

x″

之后，可以将第N个特征提取层中第p个TB的输出数据确定为第三特征。仍如图5所示，在确定第三特征之后，本公开实施例还可以利用第二多层感知器，对第三特征进行特征融合处理，以得到第四特征。例如，如果采用x″

x″

其中，该MLP(x″

Transformer具有长距离依赖建模的能力，使权重预测器能够同时考虑全局信息。因此，本公开实施例提出的神经网络层包括Transformer层的方式，能够提高训练权重预测器的效率；以及能够使得该权重预测器具有强大的表示能力、并行计算、长程依赖建模、多头注意力机制和可解释性等优势，从而提高权重预测器的性能和准确度。

当然，本公开实施例在确定该各个特征提取层的输出数据之后，还需要基于该第一特征和至少一个特征提取层的输出数据，确定第二特征，从而实现基于该第二特征，确定该第一权重向量(即用于指示各个预测结果的权重的向量)的目的。

与该两种基于第一特征，确定各个特征提取层的输入数据的方式相对应，本公开实施例也分别根据权重预测中特征提取层和第一多层感知的两种不同搭建方式，提出了两种根据第一特征和至少一个特征提取层的输出数据，确定第二特征的方式。以下内容将分别针对两种确定第二特征的方式进行详细说明。

首先，如图6A所示，如果基于方式一对应的方法确定第一特征，即采用该待训练的权重预测器中，M个特征提取层采用逐层连接的方式进行架构；以及，M个特征提取层中的第M个特征提取层与第一MLP采用残差连接的方式进行架构，那么那么可以采用以下方式确定第二特征，具体地，在M个特征提取层中的第M个特征提取层与第一MLP采用残差连接的方式进行架构的情况下，

根据第一特征和至少一个特征提取层的输出数据，确定第二特征，包括：

获取M个特征提取层中第M个特征提取层的输出数据；

对第一特征和第M个特征提取层的输出数据进行残差连接，以得到第二特征。

例如，如果采用x表示第一时间序列的样本交易数据，x

x′

采用对该第一特征和第M个特征提取层的输出数据进行残差连接的方式，确定的第二特征，能够使得该第一MLP能够基于该第一特征对该第M个特征提取层的输出数据进行调整，从而实现提高第一MLP的输出结果(即第一权重向量)的准确率。

其次，如图6B所示，如果基于方式二对应的方法确定第一特征，即采用该待训练的权重预测器中M个特征提取层采用逐层连接的方式进行架构；以及，M个特征提取层中的第M个特征提取层与第一MLP也采用逐层连接的方式进行架构，那么可以采用以下方式确定第二特征，具体地，在M个特征提取层中的第M个特征提取层与第一MLP采用逐层连接的方式进行架构的情况下，

根据第一特征和至少一个特征提取层的输出数据，确定第二特征，包括：

对第一特征和M个特征提取层的输出数据进行特征拼接处理，以得到第二特征。

例如，如果采用x表示第一时间序列的样本交易数据，x

x′

其中，[x′

采用基于该第一特征和M个特征提取层的输出数据，确定的第二特征的方式，能够使得该第一MLP能够基于综合考虑该特征提取层中任意一个特征提取层的输出数据，从而使得该第二特征能够体现该任意一个特征提取层输出数据的特性。

以上简单介绍了如何基于对第一特征进行特征抽象处理，以得到第二特征。

进一步地，本公开实施例在确定该第二特征之后，还可以利用该待训练的权重预测器中所包含的第一MLP和第二特征，得到第一权重向量，第一权重向量用于指示各个预测结果的权重。

例如，如果采用x′

u′＝MLP(x′

其中，该MLP(x′

需要说明是，该第一权重向量中所包含的用于指示各个预测结果的权重可以为任意大小的向量。因此，为了能够更好的表示该至少两个预测结果中，各个预测结果的重要性(即各个预测结果在第二时间序列的预测交易数据中所占的比重)，本公开实施还可以对该第一权重向量进行归一化。

具体地，如图7A和7B所示，本公开实施例提出的待训练的权重预测器还包括归一化层；其中，

归一化层，用于对第一权重向量进行归一化，以得到第二权重向量；第二权重向量中包括各个预测结果的权重。

例如，如果采用u′表示第一权重向量，那么可以采用u表示第二权重向量，即采用公式(10)确定第二权重向量：

u＝Softmax(u′) (10)

其中，该Softmax(u)表示采用归一化模块(即Softmax函数)对输入数据u进行归一化处理。

其中，该u可以归一化为0-1间的数值(即0≤μ≤1)，如果该u越接近于0，那么表明该u对应的预测结果的置信度越低，即该u对应的预测结果在第二时间预测的预测交易数据中所占的比重越低，该u对应的预测结果在该预测交易数据中越不重要；如果该u越接近于1，那么表明该u对应的预测结果的置信度越高，即该u对应的预测结果在第二时间预测的预测交易数据中所占的比重越，该u对应的预测结果在该预测交易数据中越重要。

采用归一化层对该第一权重向量进行归一化，能够直接地展示出该各个预测结果的权重，即能够方便快捷地确定各个预测结果的重要性，加快该待训练的权重预测器的训练速度。

进一步地，在确定各个预测结果的权重之后，还需要根据预测结果和权重，确定第二时间序列的预测交易数据。具体地，根据预测结果和权重，确定第二时间序列的预测交易数据，包括：

根据各个预测结果的权重，对至少两个预测结果进行加权求和，以得到第二时间序列的预测交易数据。

例如，如果该第二时间序列的至少两个预测结果可以包括p＝{p

利用各个预测结果的权重中对各个预测结果加权处理，能够实现强化重要性更高的预测结果(也就是准确度更高的预测结果，其对应的权重更高)、弱化重要性更低的预测结果(也就是准确度更低的预测结果，其对应的权重更低)，从而使最终得到的第二时间序列的预测交易数据能够具有更高的准确度。

最后，本公开实施例在确定出该第二时间序列的预测交易数据之后，还需要利用预测交易数据和第二时间序列的标签，确定损失函数，并根据损失函数调整待训练的权重预测器的参数，以得到训练完成的权重预测器。

具体地，在确定损失函数时，可以计算预测交易数据和第二时间序列的标签的差值的平方；或者针对同一批次的第一时间序列的样本交易数据，所对应的预测交易数据和第二时间序列的标签，计算预测交易数据和第二时间序列的标签的差值的平方的均值，并将该均值作为损失函数；在损失函数的值小于或等于相应预设阈值、或者迭代次数大于或等于相应预设阈值的情况下，停止该待训练的权重预测器的训练过程，以得到训练完成的权重预测器。

需要说明是，本公开实施例并不限制与上述确定该损失函数的方式，例如，本公开实施例还可以根据平均绝对误差(MAE)、均方法误差(MSE)和均方根误差(RMSE)、拟合优度(R

图8是根据本公开实施例的交易数据预测方法的流程示意图。如图8所示，在一些实施方式中，该交易数据预测方法，包括：

S810、利用第一时间序列的原始交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果；并利用训练后的权重预测器和原始交易数据，确定各个预测结果的权重；训练后的权重预测器为采用上述任一权重预测器的训练方法训练得到的；

S820、根据预测结果和权重，确定第二时间序列的预测交易数据。

本公开实施例将第一时间序列的样本交易数据输入预先训练的至少两个基预测器，由预先训练的至少两个基预测器输出第二时间序列的至少两个预测结果，该预测结果可以认为是对第二时间序列的预测交易数据的预测过程中产生的中间值；以及，将第一时间序列的样本交易数据输入预先训练的权重预测器，由预先训练的权重预测器输出各个预测结果的权重；利用至少两个预测结果和各个预测结果的权重，确定第二时间序列的预测交易数据，该第二时间序列的预测交易数据可以认为是对第二时间序列的交易数据预测得到的最终值。由于第二时间序列的预测交易数据是利用预先训练的至少两个基预测器得到的至少两个中间值(即预测结果)和各个中间值(即预测结果)的权重确定的，因此能降低单次第二时间序列的预测交易数据预测过程中所产生的误差，提高第二时间序列的预测交易数据的准确率。

在一些实施方式中，根据预测结果和权重，确定第二时间序列的预测交易数据，包括：

根据各个预测结果的权重，对至少两个预测结果进行加权求和，以得到第二时间序列的预测交易数据。

利用各个预测结果的权重中对各个预测结果加权处理，能够实现强化重要性更高的预测结果、弱化重要性更低的预测结果，进而能够实现最终得到的第二时间序列的预测交易数据具有更高的准确度的目的。

在一些实施方式中，还包括：

确定第一时间序列对应的第一时间长度、以及交易数据的第一特征维度；根据第一时间长度和第一特征维度，确定第一时间序列的原始交易数据。

基于第一时间序列中实际观测的多个维度的信息，确定出的第一时间序列的原始交易数据，具有高准确度的特点，从而基于该第一时间序列的原始交易数据确定出的至少两个预测结果的准确性更高。

图9是根据本公开实施例的权重预测器的训练装置的结构示意图。如图9所示，在一些实施方式中，该权重预测器的训练装置，包括：

第一确定模块910，用于利用第一时间序列的样本交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果；并利用待训练的权重预测器和该样本交易数据，确定各个该预测结果的权重；

第二确定模块920，用于根据该预测结果和该权重，确定该第二时间序列的预测交易数据；

训练模块930，用于利用该预测交易数据和该第二时间序列的标签，确定损失函数；根据该损失函数调整该待训练的权重预测器的参数，以得到训练完成的权重预测器。

图10是根据本公开另一实施例的权重预测器的训练装置的结构示意图。如图10所示，在一些实施方式中，权重预测器的训练装置还包括：

第三确定模块1040，用于确定该第一时间序列对应的第一时间长度、以及交易数据的第一特征维度；根据该第一时间长度和该第一特征维度，确定该第一时间序列的样本交易数据；以及，

第四确定模块1050，用于确定该第二时间序列对应的第二时间长度、以及该交易数据对应的收益率；根据该第一时间长度和该收益率，确定该第二时间序列的标签。

在一些实施方式中，该第二确定模块920，用于根据各个该预测结果的权重，对该至少两个预测结果进行加权求和，以得到该第二时间序列的预测交易数据。

图11A是根据本公开实施例的待训练的权重预测器的结构示意图。如图11A所示，该待训练的权重预测器包括编码层1110、M个特征提取层1120和第一前馈网络1130；该M为大于1的整数；其中，

该编码层1110，用于对该样本交易数据进行特征提取和编码，以得到第一特征；

该M个特征提取层1120，用于对该第一特征进行特征抽象处理，以得到第二特征；

该第一前馈网络1130，用于根据该第二特征，得到第一权重向量，该第一权重向量用于指示各个该预测结果的权重。

图11B是根据本公开另一实施例的待训练的权重预测器的结构示意图。如图11B所示，在一些实施方式中，该待训练的权重预测器还包括归一化层1140；其中，

该归一化层1140，用于对该第一权重向量进行归一化，以得到第二权重向量；该第二权重向量中包括各个该预测结果的权重。

在一些实施方式中，该M个特征提取层1120采用逐层连接的方式进行架构；

在一些实施方式中，该特征提取层1120，包括：

第一确定子模块1121，用于基于该第一特征，确定各个该特征提取层的输入数据；

第二确定子模块1122，用于利用各个该特征提取层的输入数据，确定各个该特征提取层的输出数据；

第三确定子模块1123，用于根据该第一特征和至少一个该特征提取层的输出数据，确定该第二特征。

在一些实施方式中，该第一确定子模块1121，用于：

针对该M个特征提取层的第一个特征提取层，将该第一特征作为该第一个特征提取层的输入数据；

针对该M个特征提取层的第N个特征提取层，将第N-1个特征提取层的输出数据作为该第N个特征提取层的输入数据；该N为大于或等于2的整数；该N小于或等于M。

在一些实施方式中，该M个特征提取层1120中的第M个特征提取层1120与该第一前馈网络采用残差连接的方式进行架构；

该第三确定子模块1123，用于：

获取该M个特征提取层中第M个特征提取层的输出数据；

对该第一特征和该第M个特征提取层的输出数据进行残差连接，以得到该第二特征。

在一些实施方式中，该第一确定子模块1121，用于：

针对该M个特征提取层中的第一个特征提取层，将该第一特征作为该第一个特征提取层的输入数据；

针对该M个特征提取层的第N个特征提取层，将前N-1个特征提取层的输出数据与该第一特征进行拼接，将拼接结果作为该第N个特征提取层的输入数据。

在一些实施方式中，该第三确定子模块1123，用于对该第一特征和该M个特征提取层的输出数据进行特征拼接处理，以得到该第二特征。

在一些实施方式中，该特征提取层包括多个神经网络层和第二前馈网络；

利用特征提取层的输入数据，确定该特征提取层的输出数据，包括：

利用该多个神经网络层，对该输入数据进行特征抽象处理，以得到第三特征；

利用该第二前馈网络，对该第三特征进行特征融合处理，以得到第四特征；

对该第四特征和该输入数据进行残差连接，以得到该输出数据。

在一些实施方式中，该神经网络层包括Transformer层。

图12A是根据本公开另一实施例的交易数据预测装置的结构示意图。如图12A所示，在一些实施方式中，该交易数据预测装置，包括：

第五确定模块1210，用于利用第一时间序列的原始交易数据和预先训练的至少两个基预测器，确定第二时间序列的至少两个预测结果；并利用训练后的权重预测器和该原始交易数据，确定各个该预测结果的权重；该训练后的权重预测器为采用权重预测器的训练装置训练得到的；

第六确定模块1220，用于根据该预测结果和该权重，确定该第二时间序列的预测交易数据。

在一些实施方式中，该第六确定模块1220，用于根据各个预测结果的权重，对至少两个预测结果进行加权求和，以得到该第二时间序列的预测交易数据。

图12B是根据本公开另一实施例的交易数据预测装置的结构示意图。在一些实施方式中，该交易数据预测装置，还包括：

第七确定模块1230，用于确定该第一时间序列对应的第一时间长度、以及交易数据的第一特征维度；

第八确定模块1240，用于根据该第一时间长度和该第一特征维度，确定该第一时间序列的原始交易数据。

本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。

设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如权重预测器的训练方法和交易数据预测方法。例如，在一些实施例中，权重预测器的训练方法和交易数据预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的权重预测器的训练方法和交易数据预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行权重预测器的训练方法和交易数据预测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。