基于图卷积神经网络的电子签名验证方法、系统、设备及介质

技术领域

本发明涉及计算机信息处理技术领域，具体是一种基于图卷积神经网络的手写电子签名笔迹比对方法。

背景技术

随着互联网技术的进一步发展以及基于生物特征识别技术实现的原笔迹签名产品在金融、政务、司法、公共安全、民生等众多领域的广泛推广，手写电子签名的应用场景也在逐步扩大，但随着手写电子签名笔迹在不同重要领域的应用，各种形式的攻击以及挑战也是层出不穷，这对于手写电子签名笔迹比对的精度以及抗攻击能力也带来了较大的威胁，因此提升优化电子手写签名笔迹比对方法的需求也就相对迫在眉睫。

现有的一些手写电子签名笔迹比对方法，基本上分为两种，一种是基于先验知识来手工设计和提取笔迹特征，将提取得到的特征在传统机器学习方法如随机森林等进行分类判别，另一种则是直接利用深度学习方法进行特征提取，免去了手工设计特征的麻烦，然后进行全连接层分类判别。以上方法在一定程度上的确是能够解决大部分问题，但是它们大部分都是基于单个手写电子签名留样笔迹数据进行特征提取再去分类比对，这就会出现若单个签名笔迹的质量较差或风格变化较大的情况下，用户进行签名笔迹身份认证就存在失败的可能，安全性和用户体验相对局限，难以获得较高的识别比对精度，不能满足用户的需求。

公开号：CN113313092A，名称“手写签名识别方法、理赔自动化处理方法、装置和设备”公开手写签名识别方法，获取目标对象的业务文件数据；对业务文件数据进行解析，得到对应业务文件签名区域的图像数据；对图像数据进行手写签名的识别，得到图像数据中的待识别手写签名的特征数据，对目标对象的待识别手写签名进行识别，得到对应的识别结果。该方法基于手工设计及深度学习的方法对签名特征进行提取，该特征向量一定程度的确可以对签名数据进行表示，但是其更多的是对签名的内容，对于签名的风格真伪并未做进一步的处理和判别。

公开号：CN114220178A，名称基于通道注意力机制的签名鉴别系统及方法，包括，将收集到的电子签名笔迹数据结合坐标，压力与时间信息转换为签名图像，对数据集中的正写与仿写签名数据经过动态采样组合配对为图片对后进一步数据增强再将图片对进行拼接组合作为最终的输入图像，并基于注意力机制的卷积神经网络对手写笔迹签名数据的真伪进行判别，可以捕捉到正仿写签名间的细粒度特征，从而更好的判别笔迹签名风格的区别，但其回显的时候将压力融合进图像，并没有充分考虑到手机及平板等设备下压力难以获取的情况，适用性可能受限，且该方法为进一步考虑签名图像之间的邻接关系，只是初步的基于特征向量进行分类判别。

发明内容

有鉴于此，本申请提出一种基于图卷积神经网络的手写电子签名验证方法。本方法结合手写电子签名笔迹数据之间的关系，通过强化相似和混淆样本关系的学习，进一步优化模型分类判别的能力，将一对一的比对测试扩展到一对多，综合电子签名的多维度属性及丰富的风格习惯特征，进一步提升整个签名笔迹比对系统的效率和安全性。

本发明考虑到签名笔迹存在内容及风格两种属性，先基于多任务联合训练的方式充分提取笔迹签名的特征表示，其次在数据预处理阶段，考虑设备间的差异性，在线序列数据回显时未加入限制性较强的信息，同时，为了更进一步地对签名真伪进行判别，基于签名图像之间的相关性及前述特征提取器提取的签名特征向量，构建图卷积神经网络进行真伪二分类，旨在于结合实际应用场景，签名数据大概率可能会出现如质量问题，跨设备问题，跨时间问题，签名多风格问题，采集场景不统一问题等，假设在训练或者验证时只考虑单一数据的属性，得到的结果可能就是有偏的存在噪声的，但是如果能够进一步结合其邻居节点(相似样本或同源样本)的信息以及时间空间相近样本属性，一定程度上可以获得更为完整的特征信息。这样可以有效的结合手写电子签名笔迹数据之间的关系，不再仅针对于单一数据样本进行判别或者对使用场景和用户行为进行约束，而是选取待鉴别的签名数据特征空间中距离较近较为相似的邻居数据构建图关系，通过强化相似和混淆样本关系的学习，可以进一步优化模型分类判别的能力，最终可以得到较好的笔迹比对效果。根据本申请一方面，提出一种基于图卷积神经网络的电子签名验证方法，采集手写电子签名笔迹正、仿写数据；对电子签名笔迹数据从不同归属维度进行分类，得到多个含有高级语义的样本属性标签，构建手写电子签名多标签分类样本数据库；训练卷积神经网络构建的骨干网络模型得到特征提取器，提取得到样本数据库中所有样本的特征向量；根据特征向量计算样本相似度；构建相似样本的图结构，并利用图结构训练图卷积神经网络模型获得手写签名笔迹图卷积分类器；基于图卷积分类器，根据待验证手写电子签名多维度属性信息，验证电子签名的真伪。

进一步优选，基于已构建电子签名多标签分类样本数据库中带类别标签的手写电子签名笔迹序列数据，利用卷积神经网络进行多任务联合分类训练，获得相应的签名特征提取器；利用签名特征提取器提取样本库中的正负样本特征向量，并基于特征向量计算样本相似度，根据相似样本构建签名图并训练图卷积神经网络模型，获得手写签名笔迹比对分类器；经过数据预处理的测试样本，通过特征提取器提取样本深度特征，再经过签名分类器进行签名笔迹身份的真伪判别。

进一步优选，所述构建手写电子签名多标签分类样本数据库包括：对预处理后的正、负样本配对图像从不同归属维度进行分类，赋予对应属性标签；签名真伪部分的标签为二分类标签，签名内容部分的标签为多分类标签，对无法为其确定唯一内容标签的随机内容配对的负样本，标注其内容标签为特殊数值表示；样本量在各个维度保证相对均衡状态。

进一步优选，所述特征提取器训练包括：将电子签名多标签样本图像对输入卷积神经网络进行真伪二分类及内容多分类的联合训练，内容标签为特殊字符的样本仅参与真伪二分类训练，训练直到当损失值达到收敛状态，完成对卷积神经网络的训练，将训练好的整个骨干网络作为特征提取器，其中，二分类及多分类损失函数均采用交叉熵损失函数，训练损失权重分别设置为0.8及0.2。

进一步优选，将每一个样本图像对通过签名特征提取器提取得到的特征向量作为一个图顶点，计算任意两个图顶点之间的余弦距离，根据余弦距离利用最近邻算法找出每个顶点的前K个最近邻节点，根据每个节点的邻居关系构建对应的邻接矩阵A

根据本申请另一方面，基于图卷积神经网络的手写电子签名验证系统，签名采集模块采集手写电子签名笔迹正、仿写数据，构建手写电子签名多标签分类样本数据库；训练卷积神经网络构建的骨干网络得到特征提取器，特征提取器根据电子签名多标签分类样本提取签名笔迹数据特征，计算特征向量；根据特征向量计算样本相似度获得相似样本；构建相似样本的图结构，训练模块利用图结构训练图卷积神经网络模型获得手写签名笔迹图卷积分类器；基于图卷积分类器，根据待验证手写电子签名多维度属性信息，验证电子签名的真伪。

进一步优选，利用卷积神经网络作为骨干网络，将电子签名多标签样本图像对输入卷积神经网络进行真伪二分类及内容多分类的联合训练，内容标签为特殊字符的样本仅参与真伪二分类训练，训练直到当损失函数达到预设损失权重，完成对卷积神经网络的训练，完成训练的整个骨干网络作为特征提取器，其中，二分类及多分类损失函数均采用交叉熵损失函数，训练损失权重分别设置为0.8及0.2。

进一步优选，图卷积神经网络包括：图卷积层、隐藏层、分类层，隐藏层和分类层采用全连接层。

进一步优选，将每一个样本图像对通过签名特征提取器提取得到的特征向量作为一个图顶点，计算任意两个图顶点之间的余弦距离，根据余弦距离利用最近邻算法找出每个顶点的前K个最近邻节点，根据每个节点的邻居关系构建对应的邻接矩阵A

根据本申请另一方面，提出一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上面所述的基于图卷积神经网络的手写电子签名验证方法。

根据本申请另一方面，提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上面所述的基于图卷积神经网络的手写电子签名验证方法。

采用图卷积神经网络方法，可以有效的结合手写电子签名笔迹数据之间的关系，不再仅针对于单一数据样本进行判别或者对使用场景和用户行为进行约束，而是选取待鉴别的签名数据特征空间中距离较近较为相似的邻居数据构建图关系，通过强化相似和混淆样本关系的学习，可以进一步优化模型分类判别的能力，签名的风格真伪并未做进一步的处理和判别且在测试时也充分考虑签署人多个留样签名数据，将一对一的比对测试扩展到一对多，综合多留样的多维度属性及丰富的风格习惯特征，进一步提升整个签名笔迹比对系统的效率和安全性。可广泛用于电子商务、电子政务等签名在线验证场景。

附图说明

图1为根据本申请实施例中的手写电子签名笔迹比对训练及测试流程示意图；

图2为根据本申请示例性实施例中的图卷积网络结构示意图；

图3为根据本申请示例性实施例中的图卷积分类器训练流程；

图4所示为能够用于实现本申请的实施例的示例性电子设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

为进一步详细阐述本方法的技术方案，将结合具体实施例及附图，对本发明做进一步说明。

图1所示为本申请实施例中的手写电子签名笔迹比对训练及测试流程示意图，包括：训练数据采集，数据预处理，样本库构建，特征提取器训练，图卷积分类器训练；测试样本，数据预处理，特征提取器，图卷积分类器，输出分类比对结果。

数据采集。通过开源途径收集或线上采集的方式获取丰富的手写电子签名笔迹正写及其仿写数据；

数据预处理。对手写电子签名数据进行预处理，获得相对统一标准的签名笔迹图像数据；

签名样本库构建。对手写电子签名笔迹数据从不同归属维度进行分类，得到多个含有高级语义的正、负样本类别标签，构建手写电子签名多标签分类样本数据库；

特征提取器训练。基于已构建电子签名多标签分类样本数据库中带类别标签的手写电子签名笔迹图像数据，利用卷积神经网络进行多任务联合分类训练，获得相应的签名特征提取器；

签名分类器训练。利用签名特征提取器提取样本库中的所有正负样本特征向量，并基于已提取特征向量计算样本相似度，采用最邻近算法获取相似的签名笔迹邻接关系，构建图结构，进一步训练图卷积神经网络模型，获得手写签名笔迹比对分类器；

样本测试。测试样本经过数据预处理后，即可通过特征提取器提取样本特征向量，再经过签名分类器进行签名笔迹身份的真伪判别。

数据采集，本实施例采集数据主要由两个途径，具体包括：

1)收集现有开源手写电子签名笔迹数据库中数据；

2)结合实际应用场景组织线下手写电子签名笔迹数据的采集，若干签署人进行个人姓名的签写，然后每个签署人再随机抽取其他签署人的姓名进行签名仿写。仿写形式也可有三种，

通过少量时间的签名观察后进行仿写；

经过若干次尝试性的签名仿写后再仿写；

通过掩膜拓写的方式采集高仿签名数据。

由此可以得到相对丰富身份ID的正仿写电子签名笔迹数据；

数据预处理。预处理部分主要包括数据校验，签名回显以及图像配对。数据校验是对手写电子签名序列数据进行质量筛选、序列修复和重采样，其中，质量筛选主要是对序列特征坐标，压力，起笔及抬笔状态等信息进行异常检测，序列修复主要是对其中的缺失值及异常值进行补充和修复，重采样则是希望进一步统一不同签名笔迹的长度量级；签名回显主要是根据电子签名序列数据中的坐标及起笔、抬笔状态进行签名图像回显，图像绘制的宽*高*通道可为224*224*1；图像配对包括正、负样本图像对构建，正样本图像对构建包括：先选定一张签署人签名图像作为参考图像，然后再随机挑选其签署的其他正写图像作为配对。负样本图像对构建包括：将其他签署人仿写该签名的仿写数据作为配对，或是随机挑选其他不同签名内容的样本作为负样本配对，正负样本配对图像均在通道上对两张图像进行拼接，结合的图像对宽*高*通道可为224*224*2。

签名样本库构建。对预处理后的正、负样本配对图像从不同归属维度进行分类，赋予对应属性标签，具体的归属维度主要有签署人身份(即签名真伪)及签名内容，签名真伪部分的标签为二分类标签，以0或1表示，(如标注0的签名表示签署人的身份为真实身份，标注1的签名表示其他人仿写签名，签署人的身份为伪身份)签名内容部分的标签则是多分类标签，标签可以通过统计训练样本中不同签名内容的类别进行设置，主要为离散标签表示形式，假设训练样本中存在1w个不同的签名内容，该标签将从0～9999进行设置。

由此，可以基于丰富的签署人多标签签名数据构建签名样本库，样本库主要为预处理阶段后输出的正样本配对及负样本对构成，每个签署人的所有配对图像均包含真伪二分类标签，但基于存在随机内容配对的负样本(即正样本签名为固定内容，而负样本内容与正样本内容存在不一致的情况)，无法为其确定唯一的内容标签，因此标注其内容标签为特殊数值(为训练方便，可确定为-1)表示，以示区分，此外还需注意，每个签署人的样本量在各个维度上尽量保证相对均衡状态；

特征提取器训练。基于上述构建的签名多标签样本图像对库，利用卷积神经网络(例如可选择相对常用的ResNet34)作为骨干网络进行真伪二分类及内容多分类的联合训练，内容标签为特殊字符的样本仅仅参与真伪二分类训练，不参与内容多分类损失函数的计算，即不参与内容多分类训练。

其中，本实施例中二分类及多分类损失函数均采用常规的交叉熵损失函数，也可以用其他损失函数。多任务联合训练的方式主要是利用相同的训练数据同时训练两个任务，当前的主要任务是真伪二分类，次要任务是内容多分类，后者主要是促进前者更好的进行特征提取，训练过程中，根据迭代过程中损失值的大小量级设置两者的训练损失权重，本实施例最优可分别设置为0.8及0.2。

输入多标签样本图像对库中的正负样本，对卷积神经网络进行多任务联合训练，当损失值收敛时，完成对卷积神经网络的训练，将训练好的整个骨干网络作为最终的特征提取器。该特征提取器的作用主要是为了提取得到具备一定签名真伪风格的特征表示，将作为下游的图卷积分类网络的输入，该特征提取器的优劣将直接决定下游签名真伪分类任务的结果。

签名分类器训练。训练得到的特征提取器提取的特征进行分类训练后虽然也具备较好的真伪判别能力，但实际过程中，由于用户在签名留样过程中一般会多次留样，且在不同设备及时间下签名留样的风格存在多变性，因此基于单样本对分类的方式就存在较大的局限性，它无法综合用户多风格的签名特征，也无法获取得到更丰富的潜在的难仿写样本数据，因此我们基于上述的特征提取器提取的特征向量，构建图结构，进一步训练签名分类器。

如图3所示为本申请示例性实施例中的图卷积分类器训练流程。包括：计算样本相似度，邻居节点选取，构建图结构，训练分类器。具体实施步骤包括：

1)计算样本相似度。通过上述训练得到的签名特征提取器对签名样本库中的每一个样本图像对进行特征提取，将提取得到的每个特征向量均视为一个图节点，计算任意两个图节点之间的余弦距离；

2)邻居节点选取。本实施例采用最近邻算法(KNN)基于上述余弦距离找出每个顶点的前K个最近邻节点，K的大小可视实际数据情况而定。对于一个需要预测的特征向量x，只需要在训练数据集中寻找K个与向量x最近的向量的集合，然后把x的类别预测为这K个样本中类别数最多的那一类，具体步骤为：1.根据上述余弦距离在所有节点中找出与该节点最相近的K个节点，并将这K个节点所表示的集合记为N_k(x)；2.基于集合中节点的标签，根据多数投票的原则来确定该节点的所属类别。

3)构建图结构。假设样本库中有N个样本图像对，则根据每个节点的邻居关系均可以构建N*N的邻接矩阵A

4)图卷积分类训练。如图2所示为本申请示例性实施例中的图卷积网络结构示意图，包括：图卷积层、隐藏层(全连接层)、分类层(全连接层)，其中图卷积层主要是为了对输入的图数据进行图特征的提取，输入为每个节点的特征向量及其对应邻接节点之间的关系(邻接矩阵)，输出的则是融合后的图特征矩阵，其本质是融合邻居节点之间的关系，让节点之间的特征互相学习。隐藏层主要是为了进行特征映射，作用是提高特征维度，丰富特征信息，分类层则是做最后的真伪二分类。网络设计相对较浅，仅包含一层图卷积结构及全连接隐藏层及全连接二分类层，因此收敛速度相对较快。图卷积神经网络考虑的是节点自身的属性以及节点的邻接节点属性以获得该节点的综合特征向量，最终实现图节点分类任务，其与卷积神经网络一样都是对节点(像素)的邻接节点(像素)进行加权求和，再利用激活函数进行映射后提取特征，经过多轮特征提取后再利用如激活映射函数softmax函数进行最终分类。

具体表述如下：

对输入的邻接矩阵A

其中，

将融合后的N*256维特征矩阵中的N个1*256特征向量分别赋予至对应的N个节点,作为每个节点的特征向量，各节点特征向量输入后续的全连接层隐藏层，进行特征维度映射升维至1*512维，再将升维后的特征向量与其对应的真伪二分类标签(上述所述的签名样本对库对应的正负样本标签)一起输入全连接分类层进行真伪签名二分类训练，分类损失函数为交叉熵损失，最终可以获得训练好的图卷积分类器，也就是对应的签名分类器。

基于图卷积分类旨在于结合实际应用场景，签名数据大概率可能会出现如质量问题，跨设备问题，跨时间问题，签名多风格问题，采集场景不统一问题等，假设我们在训练或者验证时只考虑单一数据的属性，得到的结果可能就是有偏的存在噪声的，但是如果我们能够进一步结合其邻居节点(相似样本或同源样本)的信息以及时间空间相近样本属性，一定程度上可以获得更为完整的特征信息。

样本测试。本实施例样本测试流程可参考图1。对测试样本进行数据预处理后得到单个测试样本与多个签名留样组合的多个图像样本对，将各图像样本对分别输入训练得到的签名特征提取器中得到相应的签名特征向量；基于特征向量余弦相似度计算测试样本间的对应邻接矩阵，根据最邻近算法KNN构建对应样本的图结构，将特征向量及其对应的邻接矩阵输入训练得到的图卷积分类器中进行真伪签名判别，最终进行身份认证。

基于图卷积分类的方法，一定程度上综合考虑了样本间的关系，不再局限于单个样本信息，且测试方式由一对一扩展至1对多，进一步权衡了签名留样的风格丰富性，时间空间跨度等信息，进一步提高的签名验证识别的准确度，对于用户体验及产品安全性都是较大的提升。

本申请示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本申请实施例的方法。

本申请示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本申请实施例的方法。

本申请示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本申请实施例的方法。

参考图4，现将描述可以作为本申请的服务器或客户端的电子设备300的结构框图，其是可以应用于本申请的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图4所示，电子设备300包括计算单元301，其可以根据存储在只读存储器(ROM)302中的计算机程序或者从存储单元308加载到随机访问存储器(RAM)303中的计算机程序，来执行各种适当的动作和处理。在RAM 303中，还可存储设备300操作所需的各种程序和数据。计算单元301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

电子设备300中的多个部件连接至I/O接口305，包括：输入单元306、输出单元307、存储单元308以及通信单元309。输入单元306可以是能向电子设备300输入信息的任何类型的设备，输入单元306可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元307可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元308可以包括但不限于磁盘、光盘。通信单元309允许电子设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理。例如，在一些实施例中，根据签名笔画的原始轨迹重绘出其肌肉运动轨迹的重构与分解，以及其对数速度曲线的分解等可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 302和/或通信单元309而被载入和/或安装到电子设备300上。在一些实施例中，计算单元301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行签名笔迹动态获取实现方法。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本申请使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。