一种点击率预测方法、装置、设备及可读存储介质

技术领域

本申请涉及数据预测领域，更具体地说，涉及一种点击率预测方法、装置、设备及可读存储介质。

背景技术

点击率(Click-throughRate，CTR)预测在推荐系统和广告系统中都是最重要的组成模块，在视频推荐系统中，其目标是最大化点击次数，在返回给用户的界面上，被推荐的视频的顺序应该根据CTR预测进行排名。所以，正确预测CTR至关重要。

xDeepFM模型是CTR预测任务的经典模型，xDeepFM中的CIN网络，从属于Wide端，对embedding得到的嵌入特征信息进行高阶显式交互。但其进行显性特征的二阶交叉的层级主要基于特征向量级别（vector-wise）的视角，这样的好处是意识到了向量场层面上的抽象意义，具有一定的泛化能力。但是缺点也同样明显，那就是丢失了特征信息内部元素的交互信息，进而丧失了对特征信息内部元素级细节的抽取能力。联合特征信息的丢失导致特征提取能力的下降，进而致使后续的xDeepFM模型性能的下降，最终导致通过xDeepFM模型进行点击率预测时的准确性下降。

发明内容

使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。

有鉴于此，本申请实施例提供了一种点击率预测方法，包括：

获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；

根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；

根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。

可选地，所述根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，包括：

将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；

将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；

将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；

将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；

将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；

将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；

所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；

根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。

可选地，所述将所述训练数据集转化为高阶特征向量，包括：

对所述训练数据集进行数据预处理，得到低阶特征向量；

对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；

对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；

将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；

将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。

可选地，所述将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果，包括：

将所述第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；

将所述第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；

对所述第七输出结果和第八输出结果进行拼接，得到第三输出结果。

本申请实施例还提供了一种点击率预测装置，包括：

获取单元，用于获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；

训练单元，用于根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；

预测单元，用于根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。

可选地，所述训练单元，具体用于：

将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；

将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；

将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；

将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；

将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；

将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；

所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；

根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。

可选地，所述训练单元，具体用于：

对所述训练数据集进行数据预处理，得到低阶特征向量；

对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；

对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；

将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；

将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。

可选地，所述训练单元，具体用于：

将所述第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；

将所述第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；

对所述第七输出结果和第八输出结果进行拼接，得到第三输出结果。

本申请实施例还提供了一种计算机设备，包括：存储器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，以实现上述所述的任意一种点击率预测方法；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述所述的任意一种点击率预测方法。

本申请实施例提供了一种点击率预测方法，包括：获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。可见，本申请通过将引入DCN-v2网络的xDeepFM模型作为初始点击率预估模型，加强了模型对高阶特征的交叉提取能力，进而加强了xDeepFM模型对高阶显隐性特征的提取与交叉能力，使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种点击率预测方法的流程示意图；

图2为本申请实施例提供的一种xDeepFM模型的结构示意图；

图3为本申请实施例提供的一种DCN-v2网络的结构示意图；

图4为本申请实施例提供的一种DCN-v2网络中Cross层的结构示意图；

图5为本申请实施例提供的一种EPLE的特征处理方法的结构示意图；

图6为本申请实施例提供的一种点击率预测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先对本申请可能涉及的部分名词进行解释：

xdeepFM：点击率预估（Click-Through-Rate，CTR）预测任务经典模型之一。

DCN-v2：为DCN（Deep Cross Network）深度交叉网络的改进版，对DCN进行了矩阵替代和串并行计算方式的两大改进。

embedding：特指用一个低维的向量表示一个对象。multi-embedding是指使用多重嵌入特征复合表示；shared-embedding表示使用同一嵌入特征进行共享表示。

点击率预估 (CTR estimation): 点击率预估是在线信息系统的核心模块之一，广泛应用于推荐系统、付费广告、搜索引擎等产品和业务中。在视频推荐系统中，其目标是最大化点击次数，在返回给用户的界面上，被推荐的视频的顺序应该根据CTR预测进行排名。所以，正确预测CTR至关重要。通常用训练好的点击率预估模型来进行预测。

xDeepFM模型是CTR预测任务的经典模型，xDeepFM中的CIN网络，从属于Wide端，对embedding得到的嵌入特征信息进行高阶显式交互。但其进行显性特征的二阶交叉的层级主要基于特征向量级别（vector-wise）的视角，这样的好处是意识到了向量场层面上的抽象意义，具有一定的泛化能力。但是缺点也同样明显，那就是丢失了特征信息内部元素的交互信息，进而丧失了对特征信息内部元素级细节的抽取能力。联合特征信息的丢失导致特征提取能力的下降，进而致使后续的xDeepFM模型性能的下降，最终导致通过xDeepFM模型进行点击率预测时的准确性下降。

因此，针对上述问题，本申请实施例提供了一种点击率预测方法、装置、设备及可读存储介质，能够使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。

请参阅图1，本申请实施例所提供的一种点击率预测方法包括以下步骤。

S101、获取训练数据集。

本实施例中，可以先获取用于训练出点击率预估模型的训练数据集。可以理解的是，训练数据集中可以包括用户的历史行为信息、用户的属性信息和视频信息等。具体地，用户的历史行为信息可以包括用户的浏览时长和用户是否点击广告；用户的属性信息可以包括用户编号、用户所在城市等；视频信息可以包括视频编号、作者编号、播放次数、视频持续时长、播放渠道、视频特征、音频特征和标题特征等。

S102、根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络。

本实施例中，在获取训练数据集后，可以根据获取的训练数据集对初始点击率预估模型进行训练，得到点击率预估模型。其中，初始点击率预估模型可以为xDeepFM模型，其中xDeepFM模型包括DCN-v2网络，也即初始点击率预估模型可以为包含DCN-v2网络的xDeepFM模型。

具体地，如图2所示，未引入DCN-v2网络的xDeepFM模型总体结构一共包括三个分支：Linear（稀疏的01向量作为输入），也称为线性变换网络、DNN（经过嵌入的稠密向量作为输入）、CIN（压缩感知层）。其中CIN部分负责学习显式的高阶交互信息，DNN部分负责学习隐式的高阶交互信息。xDeepFM中的CIN网络，从属于Wide端，对嵌入（embedding）得到的嵌入特征信息进行高阶显式交互。但其进行显性特征的二阶交叉的层级主要基于特征向量级别（vector-wise）的视角，这样的好处是意识到了向量场层面上的抽象意义，具有一定的泛化能力。但是缺点也同样明显，那就是丢失了特征信息内部元素的交互信息，进而丧失了对特征信息内部元素级细节的抽取能力。联合特征信息的丢失导致特征提取能力的下降，进而致使后续的xDeepFM模型性能的下降，最终导致通过xDeepFM模型进行点击率预测时的准确性下降。

而如图3所示，DCN-v2的网络结构基于DCN网络进行了相关的改进，主要由四大部分组成，分别为嵌入堆叠层（embedding and stacking layer）、交叉网络（cross network，以下简称Cross层）、深度网络层（deep network，以下简称Deep层）和组合层（combinationlayer）。对deep层和cross层尝试了两种不同的组合方式：串行（stacked）和并行（parallel）。前者将Cross的输出作为Deep层的输入，Deep层的输出为最终的输出结果；而后者将Cross层和Deep层同时进行，最后将Cross层的输出和Deep层的输出相拼接，最终获得输出结果。如图4所示，相较于DCN，DCN-v2改进的核心在于交叉网络层（cross network），将原先的特征交叉参数向量W转变为矩阵，相比于一维的参数向量，多维度的参数矩阵加强了Cross网络的中对于特征交互信息的表达能力。

具体地，DCN-v2各层计算如下，

1、嵌入堆叠层（embedding and stacking layer）

嵌入层（embedding layer）作用在于对输入的高维one-hot编码的向量进行降维，计算方式如下

；

其中

堆叠层（stacking layer）的作用是将所有的密集型特征

；

得到的

2、交叉网络层（cross network）

Cross Network为DCN-v2主要改进的部分，由多个交叉层（crossing layer）构成，第l+1层cross layer用下式计算:

；

其中

3、深度网络层（deep network）

Deep network为前馈神经网络，每一层形式如下

；

，/>

4、组合层（combination layer）

组合层（Combination layer）将交叉网络层（cross network）和深度网络层（deepnetwork）两个网络的输出进行拼接，输入到逻辑回归模型中，从而得到预测概率。

；

其中

因此，通过将引入DCN-v2网络的xDeepFM模型作为初始点击率预估模型，加强了模型对高阶特征的交叉提取能力，进而加强了xDeepFM模型对高阶显隐性特征的提取与交叉能力，使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。

在一种可能实现的方式中，可以将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。

可以理解的是，目前大多数的CTR模型例如xDeepFM等在进行完embedding特征提取嵌入之后，一般仅统一使用一套特征嵌入参数，并同时输入到后续显隐性特征交互模型中进行拟合训练。然而embedding特征参数共享这种处理的机制是否合理存疑，并且模型之间对特征参数的训练可能存在一定程度上的相互影响，且这种影响极可能是负相关的，进而降低了模型的拟合优度，导致一定程度上不能有效深入地探索到潜在的Co-Action的特征联合性质。因此，可以通过将训练数据集转化为包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量的高阶特征向量，并将其分别输入xDeepFM模型中的CIN层、DNN层、DCN-v2网络和线性变换网络中，得到第一输出结果、第二输出结果、第三输出结果、第四输出结果、第五输出结果、第六输出结果，进而根据激活函数、第一输出结果、第二输出结果、第三输出结果、第四输出结果、第五输出结果、第六输出结果来得到点击率预估模型，从而实现multi-embeding和shared-embeding的特征嵌入功能，提升模型的拟合优度。并且通过对模型的训练参数与融合方式进行调优，提升了现有模型的性能以及增强了模型的可训练性，加快了模型的训练速度的同时提高了模型训练的上限，进而使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。

其中线性变换网络的形式可以如下所示：

；

其中W为可变化的参数，b可以为常数。参数w在模型训练开始时进行随机初始化设定，在训练过程中不断迭代以使loss更小，在三个线性分支中，模型最终学习到的

在一种可能实现的方式中，可以对训练数据集进行数据预处理，得到低阶特征向量；对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。

可以理解的是，在获取训练数据集后，可以对训练数据集进行数据预处理，得到预处理后的one-hot编码格式的低阶特征向量，然后通过embedding layer对低阶特征向量进行压缩，得到如下所述的高阶稀疏特征向量：

；

其中，m表示m个域（field），

如图5所示，在获得高阶稀疏向量

在一种可能实现的方式中，将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果，具体可以为先将第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；将第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；最后对第七输出结果和第八输出结果进行拼接，得到第三输出结果。通过将引入DCN-v2网络的xDeepFM模型作为初始点击率预估模型，加强了模型对高阶特征的交叉提取能力，进而加强了xDeepFM模型对高阶显隐性特征的提取与交叉能力，使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。

在一种可能实现的方式中，根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型，具体可以根据以下公式进行：

；

其中，

对于二分类问题，后续采用交叉熵损失函数，具体计算公式如下：

。

在一种可能实现的方式中，在得到点击率预估模型后，可以获取测试数据集；根据测试数据集对点击率预估模型的性能进行测试，得到测试结果。可以理解的是，为了对训练出的点击率预估模型进行评价，可以通过测试数据集对点击率预估模型进行测试，并采用准确率AUC值作为评价指标，得到测试结果，以便于在测试结果显示点击率预估模型的性能未达到预期时对参数进行优化调整并重新训练得到新的点击率预估模型。

S103、根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。

本实施例中，在训练得到点击率预估模型后，可以将待预测视频输入到点击率预估模型中，从而得到待预测视频的预测结果。

由此可知，本申请通过将引入DCN-v2网络的xDeepFM模型作为初始点击率预估模型，加强了模型对高阶特征的交叉提取能力，进而加强了xDeepFM模型对高阶显隐性特征的提取与交叉能力，使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。

请参阅图6，本申请实施例还提供了一种点击率预测装置，包括：

获取单元601，用于获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；

训练单元602，用于根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；

预测单元603，用于根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。

可选地，所述训练单元602，具体用于：

将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；

将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；

将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；

将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；

将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；

将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；

所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；

根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。

可选地，所述训练单元602，具体用于：

对所述训练数据集进行数据预处理，得到低阶特征向量；

对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；

对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；

将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；

将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。

可选地，所述训练单元602，具体用于：

将所述第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；

将所述第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；

对所述第七输出结果和第八输出结果进行拼接，得到第三输出结果。

本申请实施例还提供了一种计算机设备，包括：存储器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，以实现上述所述的任意一种点击率预测方法；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述所述的任意一种点击率预测方法。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。