图像仿真方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种图像仿真方法、装置、电子设备及存储介质。

背景技术

为了提高手写识别处理的硬件性能，需要训练性能优越的神经网络模型，以将该神经网络模型部署到涉及手写识别场景的硬件上，从而得到优越的硬件性能（如识别精确度、识别速度等）。然而，针对拍照手写识别训练的开源数据数量少，不足以训练稳定的神经网络模型。而人工获取拍照的手写数据需要大量的人工标注，数据的标注成本很高，如何得到足以训练神经网络模型的大量数据是要解决的技术问题，对此，相关技术中未存在有效的解决方案。

发明内容

本申请提供了一种图像仿真方法、装置、电子设备及存储介质。

根据本申请的一方面，提供了一种图像仿真方法，包括：

将单个字符的手写轨迹点，基于所述单个字符的手写轨迹点对应的坐标，转换为多个字符的手写序列图像；

将所述多个字符的手写序列图像，基于实际拍照图像的配置参数进行图像仿真处理，得到目标图像。

根据本申请的另一方面，提供了一种图像仿真装置，包括：

转换模块，用于将单个字符的手写轨迹点，基于所述单个字符的手写轨迹点对应的坐标，转换为多个字符的手写序列图像；

仿真模块，用于将所述多个字符的手写序列图像，基于实际拍照图像的配置参数进行图像仿真处理，得到目标图像。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任意一实施例所提供的方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。

采用本申请，可以将单个字符的手写轨迹点，基于所述单个字符的手写轨迹点对应的坐标，转换为多个字符的手写序列图像，可以将所述多个字符的手写序列图像，基于实际拍照图像的配置参数进行图像仿真处理，得到目标图像。由于可以将单字符的手写轨迹点转换为多字符的手写轨迹图像，且基于实际拍照图像的配置参数进行图像仿真处理，因此，得到的目标图像为接近真实拍照图像质量的多字符手写轨迹图像，针对拍照手写识别训练的场景，大量的多字符的手写轨迹图像可以用于训练神经网络模型，且成本低、该多字符手写轨迹图像作为模型训练的数据样本，准确率高。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请实施例的图像仿真方法的流程示意图；

图2是根据本申请实施例一应用示例中的手写文字图像仿真的流程示意图；

图3是根据本申请实施例一应用示例中的坐标点变换的示意图；

图4是根据本申请实施例一应用示例中的字符拼接的示意图；

图5是根据本申请实施例一应用示例中的泊松图像融合的示意图；

图6是根据本申请实施例的图像仿真装置的组成结构示意图；

图7是用来实现本申请实施例的图像仿真方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

一方面，针对单个字的手写轨迹而言，其轨迹坐标从开源数据库相对容易获取到，轨迹坐标通过设备采集，以有序的轨迹坐标的方式进行存储。由于单个字的手写轨迹很难训练针对序列识别的卷积神经网络（CNN）模型，目前还没有针对序列数据的开源数据库，使得CNN模型缺乏足够的训练数据。

另一方面，基于手写轨迹坐标可生成图像数据，通过生成的图像数据可以训练CNN模型，但生成的图像数据与实际拍照的手写图像数据是不同的，因为生成的图像数据与实际拍照的手写图像数据在图像的特征分布上差异很大，因此，生成的图像数据相对于实际拍照的手写图像数据，其准确率很低。使得CNN模型缺乏近似真实的训练数据。

采用本申请，可以基于单个字符的手写轨迹点，转换成多字符的手写序列图像。将生成的多字符的手写序列图像进行实际拍照的仿真处理后，得到逐步逼近实际拍照手写图像的结果，以弥补拍照手写数据在训练CNN网络的数量不足、数据不精确的问题。

根据本申请的实施例，提供了一种图像仿真方法，图1是根据本申请实施例的图像仿真方法的流程示意图，该方法可以应用于图像仿真装置，例如，该装置可以部署于终端或服务器或其它处理设备执行的情况下，可以转换处理、仿真处理等等。其中，终端可以为用户设备（UE，User Equipment）、移动设备、蜂窝电话、无绳电话、个人数字处理（PDA，Personal Digital Assistant）、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，包括：

S101、将单个字符的手写轨迹点，基于所述单个字符的手写轨迹点对应的坐标，转换为多个字符的手写序列图像。

一示例中，可以将单个字符的手写轨迹点，基于单个字符的手写轨迹点对应的坐标，转换为单个字符的第一手写序列图像。对单个字符的手写轨迹点对应的坐标进行i次（i为大于等于1的整数）的随机坐标变换，将单个字符的手写轨迹点基于变换后的更新坐标，得到单个字符的第i手写序列图像。根据该第一手写序列图像及该第i手写序列图像，可以构成多个字符的手写序列图像。其中，该随机坐标变换，是同一个字符由于坐标的不同，更换文字形态的多样性，即产生的字符具备多样性，则采用随机坐标变换可以得到更多数量、形态更多样化的手写序列图像，从而，可以基于单个字符的手写轨迹点得到多个字符的手写序列图像。

S102、将所述多个字符的手写序列图像，基于实际拍照图像的配置参数进行图像仿真处理，得到目标图像。

一示例中，可以将多个字符的手写序列图像作为前景图像，基于实际拍照图像的配置参数采集纸张图像，将该纸张图像作为背景图像。将该前景图像和该背景图像进行泊松图像融合处理，得到目标图像。采用泊松图像融合的方法，将文字前景（即多个字符的手写序列图像）与将拍照所得纸质图像得到的背景进行前景图像与背景图像的融合处理，可以将图像的文字加入融合的纸质背景中，从而得到接近真实拍照质量的该目标图像。

采用本申请，可以将单个字符的手写轨迹点，基于所述单个字符的手写轨迹点对应的坐标，转换为多个字符的手写序列图像，可以将所述多个字符的手写序列图像，基于实际拍照图像的配置参数进行图像仿真处理，得到目标图像。由于可以将单字符的手写轨迹点转换为多字符的手写轨迹图像，且基于实际拍照图像的配置参数进行图像仿真处理，因此，得到的目标图像为接近真实拍照图像质量的多字符手写轨迹图像，针对拍照手写识别训练的场景，大量的多字符的手写轨迹图像可以用于训练神经网络模型，且成本低、该多字符手写轨迹图像作为模型训练的数据样本，准确率高。

一实施方式中，所述将单个字符的手写轨迹点，基于所述单个字符的手写轨迹点对应的坐标，转换为单个字符的第一手写序列图像，包括：将所述单个字符的手写轨迹点按照笔画书写顺序划分为至少两个端点及中间的控制点；根据所述至少两个端点及所述中间的控制点进行二次贝塞尔曲线的拟合处理，得到单个字符的第一手写序列图像。考虑到坐标点依照顺序连接可能出现字迹不够平滑或笔锋拟合不自然的问题，采用二次贝塞尔曲线，只需将实际的笔画坐标点作为端点进行拟合即可，结合控制点使用二次贝塞尔曲线拟合处理，可以使得到的曲线更加平滑，笔锋拟合更为自然。

一实施方式中，所述对所述单个字符的手写轨迹点对应的坐标进行i次的随机坐标变换，将所述单个字符的手写轨迹点基于变换后的更新坐标，得到单个字符的第i手写序列图像，所述i为大于等于1的整数，包括：选取所述单个字符的手写轨迹点中的至少一个中间的控制点；对所述至少一个中间的控制点对应的坐标进行i次的随机坐标变换；将所述单个字符的手写轨迹点，基于所述至少一个中间的控制点对应的坐标变换后的更新坐标，得到单个字符的第i手写序列图像。主要是根据字符的端点及控制点的随机变换来更换文字形态，以得到形态多样化的多个单字符的手写序列图像，从而为基于单字符的手写序列图像构成多字符的手写序列图像打基础。

一实施方式中，所述选取所述单个字符的手写轨迹点中的至少一个中间的控制点，包括：确定所述单个字符的手写轨迹点外边框的最小外接矩形；以所述最小外接矩形的上下边缘为参考基准线，对所述最小外接矩形进行切分处理，得到所述至少一个中间的控制点。可以根据最小外接矩形来选取中间的控制点，从而在该最小外接矩形所设定范围内，可以基于所选取的中间的控制点最大限度的得到形态多样化的单字符的手写序列图像，且受限于该设定范围内得到的单字符的手写序列图像足够精确，不会导致字符严重变形。

一实施方式中，还包括：对应所述最小外接矩形的上下边缘的上下边界各设置所述至少一个中间的控制点，对所述上下边界进行控制点初始化；将所述至少一个中间的控制点根据预设半径和/或预设角度进行变换，得到变换后的控制点。可以对上下边界进行控制点初始化，以及根据预设半径和/或预设角度（如范围内的任意角度）进行变换得到变换后的控制点，从而在该预设半径和/或预设角度范围内，可以变换中间的控制点，以最大限度的得到形态多样化的单字符的手写序列图像，且受限于该预设半径和/或预设角度范围得到的单字符的手写序列图像足够精确，不会导致字符严重变形。

一实施方式中，所述根据所述第一手写序列图像及所述第i手写序列图像，构成所述多个字符的手写序列图像，包括：确定所述第一手写序列图像及所述第i手写序列图像中每单个字符的手写轨迹点外边框的最小外接矩形；根据所述每单个字符的手写轨迹点外边框的最小外接矩形的中心，进行多字符的拼接处理，得到所述多个字符的手写序列图像。就多个单字符手写序列图像而言，可以选取每单个字符的手写轨迹点外边框的最小外接矩形的中心，以该中心为基准点进行多字符的拼接处理，可以得到多个字符的手写序列图像。

一实施方式中，所述根据所述每单个字符的手写轨迹点外边框的最小外接矩形的中心，进行多字符的拼接处理，得到所述多个字符的手写序列图像，包括：根据所述每单个字符的手写轨迹点外边框的最小外接矩形的中心，向外扩展随机生成的每单个字符间的字符间隔，并进行多字符的随机拼接处理，得到所述多个字符的手写序列图像。其中，该字符的间隔可以为每一个字符坐标点的最小外接矩的间隔，由于每个字符间隔按照概率分布随机产生，因此，以最小外接矩形的中心为基准点向外扩展随机生成的每单个字符间的字符间隔，并进行多字符的随机拼接处理，可以得到更多数量的多个字符的手写序列图像。

应用示例：

图2是根据本申请实施例一应用示例中的手写文字图像仿真的流程示意图，如图2所示包括：输入轨迹点坐标；点坐标尺寸的规范化处理；笔画平滑及笔锋拟合处理；随机点坐标变换处理；基于随机间隔对单字符的拼接处理；文字前景与纸质背景的融合处理；图像仿真处理。该流程中各个部分的具体技术细节描述如下：

一、输入轨迹点坐标

可以通过采集点坐标来获取单个字符的手写轨迹坐标。其中，采集方式包括但不限于利用移动设备的摄像头拍照上传、或利用扫描仪扫描获取该单个字符的手写轨迹坐标。还可以通过单个字符的手写轨迹开源库获取该单个字符的手写轨迹坐标。

二、点坐标尺寸的规范化处理

对单个字符的手写轨迹坐标进行尺寸规范化。由于手写轨迹坐标数据关键点的横纵坐标都是基于设备本身的画板大小来设定的，无法预先知道触摸屏或者手写板的区域大小，因此，需要对数据进行归一化处理，以归一到同一大小，即需要对图像中的点坐标尺寸进行规范化。首先，可以将图像中左上角的坐标平移至(0,0)点的位置，其次，规范化宽度

三、笔画平滑及笔锋拟合处理

根据单个字符的手写轨迹坐标，将有序的单个字符的手写轨迹点转换成一个字符图像。可以直接将单个字符的手写轨迹点按照笔画顺序依次连接，每个笔画之间可以不连接，从而得到字符图像。

考虑到直接连接单个字符的手写轨迹点，不仅缺少书写的平滑效果，同时也少了笔锋的变换，给人不真实感。还可以使用贝塞尔曲线（如二次贝塞尔曲线）拟合的方式，即指定端点（将实际的笔画坐标点作为端点，比如将笔画的前一个坐标点和后一个坐标点作为端点即可）和中间的控制点来描绘出一条光滑的曲线的方式进行单个字符的手写轨迹点的连接，使得连接得到的曲线更加平滑。

考虑到单个字符的手写轨迹点对应点坐标的疏密，可以表示书写笔画的快慢，运动快的地方肯定线条应该更细，运动慢的地方细条应该更粗。在这一条基本准则的前提下，使用如下公式（1）定义每两个坐标点之间的笔画宽度的变化。

其中，

四、随机点坐标变换处理

手写数据字体的多样性是模型是否识别准确的重要因素，为了增加手写字体的多样性，可以对坐标进行变换，以变换字体。图3是根据本申请实施例一应用示例中的坐标点变换的示意图，如图3所示，首先，找到坐标点的最小外接矩形，以最小外接矩形的上下边缘，平均各等分N个部分（N为大于1的整数），每个部分对应一个控制点，即共有2N个控制点，作为初始化上下边界的控制点。其次，每个点以半径R为范围，以0~2π任意角度进行变换，生成变换后的控制点。具体的，为了利用初始化点

其中u为原始点的坐标；

公式（3）中，

公式（4）中，

五、基于随机间隔对单字符的拼接处理

在实际应用中，依次连接单个字符的过程中，可以用少量实际手写序列的拍照图像进行字符级的边框标注，依据标注信息，以取得字符间距，长宽比，大小等信息。基于所标注的字符间的边间隔，统计文字间的间隔分布。统计得到的文字间距基本符合正态分布。还可以通过k-means聚类的方式，获得字符长宽比

图4是根据本申请实施例一应用示例中的字符拼接的示意图，如图4所示，每个字体间隔宽度按照概率分布随机产生，字体的间隔为每一个字符坐标点的最小外接矩的间隔，据此，可以计算字体间隔。如图4所示，由于每个字之间高度无法完全对齐，因此，每个字符需要进行字体在垂直方向进行平移。以每一个字符的中心点出发，以

六，文字前景与纸质背景的融合处理

背景图像可实际拍摄纸张图像获得，考虑光照的影响，需要拍摄阳光，灯光等情况的纸质图像和不同角度的纸质图像。将背景区域对齐到和生成文字的图像一致的区域。为了前景字体和背景图像的合成后的图像更自然，合成边界应当保持无缝。针对此问题，图5是根据本申请实施例一应用示例中的泊松图像融合的示意图，如图5所示，可以采用泊松图像融合的方法进行背景合成。其中u表示需要被合成的前景图像，V是u的梯度场。S是背景图像，Ω是合并后目标图像中被前景所覆盖的区域，则

平滑可表示为：

在融合过程中，计算待合成文字的文字区域的梯度场和背景图像的梯度场；计算融合图像的梯度场，融合图像的梯度场即为：将文字区域的梯度场替换背景图像相应位置的梯度场；计算融合图的散度场，并用这个散度场和原图求解泊松等式，也就是求解Ax=b1。其中，A是由泊松方程得到的，b1是散度，x是融合图像的像素值。

七、图像仿真处理

为了获得实际的拍照效果，加入对图像的处理，包括进行图像的透视变换，仿射变换和和图像的小角度旋转，以仿造人手动拍摄的角度，图像降采样和图像的运动模糊以仿真设备的低分辨率和抖动造成的模糊，减小对比度，改变图像的明度，模仿不同光照环境下的。每种处理方式按照随机概率进行处理，将所有的处理方式进行叠加，更接近真实拍照的画质。

本申请提供了一种图像仿真装置，图6是根据本申请实施例的图像仿真装置的组成结构示意图，如图6所示，所述装置包括：转换模块601，用于将单个字符的手写轨迹点，基于所述单个字符的手写轨迹点对应的坐标，转换为多个字符的手写序列图像；仿真模块602，用于将所述多个字符的手写序列图像，基于实际拍照图像的配置参数进行图像仿真处理，得到目标图像。

一实施方式中，所述转换模块，包括：第一转换子模块，用于将单个字符的手写轨迹点，基于所述单个字符的手写轨迹点对应的坐标，转换为单个字符的第一手写序列图像；第二转换子模块，用于对所述单个字符的手写轨迹点对应的坐标进行i次的随机坐标变换，将所述单个字符的手写轨迹点基于变换后的更新坐标，得到单个字符的第i手写序列图像，所述i为大于等于1的整数；多字符处理子模块，用于根据所述第一手写序列图像及所述第i手写序列图像，构成所述多个字符的手写序列图像。

一实施方式中，所述第一转换子模块，用于将所述单个字符的手写轨迹点按照笔画书写顺序划分为至少两个端点及中间的控制点；根据所述至少两个端点及所述中间的控制点进行二次贝塞尔曲线的拟合处理，得到单个字符的第一手写序列图像。

一实施方式中，所述第二转换子模块，用于选取所述单个字符的手写轨迹点中的至少一个中间的控制点；对所述至少一个中间的控制点对应的坐标进行i次的随机坐标变换；将所述单个字符的手写轨迹点，基于所述至少一个中间的控制点对应的坐标变换后的更新坐标，得到单个字符的第i手写序列图像。

一实施方式中，所述第二转换子模块，用于确定所述单个字符的手写轨迹点外边框的最小外接矩形；以所述最小外接矩形的上下边缘为参考基准线，对所述最小外接矩形进行切分处理，得到所述至少一个中间的控制点。

一实施方式中，还包括控制点处理模块，用于对应所述最小外接矩形的上下边缘的上下边界各设置所述至少一个中间的控制点，对所述上下边界进行控制点初始化；将所述至少一个中间的控制点根据预设半径和/或预设角度进行变换，得到变换后的控制点。

一实施方式中，所述多字符处理子模块，用于确定所述第一手写序列图像及所述第i手写序列图像中每单个字符的手写轨迹点外边框的最小外接矩形；根据所述每单个字符的手写轨迹点外边框的最小外接矩形的中心，进行多字符的拼接处理，得到所述多个字符的手写序列图像。

一实施方式中，所述多字符处理子模块，用于根据所述每单个字符的手写轨迹点外边框的最小外接矩形的中心，向外扩展随机生成的每单个字符间的字符间隔，并进行多字符的随机拼接处理，得到所述多个字符的手写序列图像。

一实施方式中，所述仿真模块，用于将所述多个字符的手写序列图像作为前景图像；基于所述实际拍照图像的配置参数采集纸张图像，将所述纸张图像作为背景图像；将所述前景图像和所述背景图像进行泊松图像融合处理，得到所述目标图像。

本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是用来实现本申请实施例的图像仿真方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统）。图7中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像仿真方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像仿真方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像仿真方法对应的程序指令/模块。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像仿真方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像仿真方法的电子设备，还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。该显示设备可以包括但不限于，液晶显示器（LCD）、发光二极管（LED）显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、可编程逻辑装置（PLD）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。