图像处理模型的训练方法、图像处理方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理模型的训练方法、图像处理方法及装置。

背景技术

在图像处理领域，常利用深度学习网络搭建的图像处理模型对目标图像进行处理，比如在智能驾驶场景中，可以通过图像处理模型识别目标图像中的目标物。

相关技术中，仅依据网络损失作为模型损失指导模型训练，由于没有准确的模型损失作为指导参量，导致图像处理模型训练效率低下，且训练结果准确性和可靠性均较低，难以实现对目标图像的准确处理。

可以看出，相关技术中，由于没有准确的模型损失作为训练指导，图像处理模型的训练过程存在效率低和不够准确、可靠的技术问题。

发明内容

为克服相关技术中存在的问题，本申请提供一种图像处理模型的训练方法、图像处理方法及装置，该训练方法能够通过优化模型损失提高对图像处理模型的训练效率和准确性。

本申请第一方面提供一种图像处理模型的训练方法，该方法包括：

确定输入图像处理模型的第一图像样本的第一图像质心，并确定图像处理模型输出的第二图像样本的第二图像质心；

确定所述第一图像质心与所述第二图像质心之间的质心距离，依据所述质心距离确定所述图像处理模型的模型损失；

基于所述模型损失调整所述图像处理模型的模型参数，得到训练后的图像处理模型。

根据本申请提供的图像处理模型的训练方法，所述确定输入图像处理模型的第一图像样本的第一图像质心，并确定图像处理模型输出的第二图像样本的第二图像质心，包括：

分别确定所述第一图像样本的至少一个图像通道以及所述第二图像样本的至少一个图像通道，确定每个所述图像通道的通道质心；

将所述第一图像样本对应的至少一个所述通道质心加权求和，得到所述第一图像质心；

将所述第二图像样本对应的至少一个所述通道质心加权求和，得到所述第二图像质心。

根据本申请提供的图像处理模型的训练方法，所述确定每个所述图像通道的通道质心，包括：

确定每个所述图像通道中像素点的坐标以及像素值；

依据所述像素点的坐标以及像素值，确定所述图像通道对应的图像矩；

依据所述图像通道对应的图像矩，计算得到所述通道质心。

根据本申请提供的图像处理模型的训练方法，所述确定所述第一图像质心与所述第二图像质心之间的质心距离，包括：

计算所述第一图像质心与所述第二图像质心之间的欧式距离，得到所述质心距离。

根据本申请提供的图像处理模型的训练方法，依据所述质心距离确定所述图像处理模型的模型损失，包括：

将所述质心距离与预设的图像处理模型的网络损失进行加权求和，得到所述模型损失。

本申请第二方面提供一种图像处理方法，该方法包括：

获取待处理的第一图像；

将所述第一图像输入图像处理模型，得到所述图像处理模型输出的第二图像；

其中，所述第二图像用于表征所述第一图像的处理结果，所述图像处理模型基于如上所述的图像处理模型的训练方法训练得到。

本申请第三方面提供一种图像处理模型的训练装置，该装置包括：

第一处理模块，用于确定输入图像处理模型的第一图像样本的第一图像质心，并确定图像处理模型输出的第二图像样本的第二图像质心；

第二处理模块，用于确定所述第一图像质心与所述第二图像质心之间的质心距离，依据所述质心距离确定所述图像处理模型的模型损失；

第三处理模块，用于基于所述模型损失调整所述图像处理模型的模型参数，得到训练后的图像处理模型。

本申请第四方面提供一种图像处理装置，该装置包括：

获取模块，用于获取待处理的第一图像；

第四处理模块，用于将所述第一图像输入图像处理模型，得到所述图像处理模型输出的第二图像；

其中，所述第二图像用于表征所述第一图像的处理结果，所述图像处理模型基于如上所述的图像处理模型的训练方法训练得到。

本申请第五方面提供一种电子设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请第六方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：

通过确定第一图像样本的第一图像质心与第二图像样本的第二图像质心之间的质心距离，依据质心距离确定图像处理模型的模型损失，进而基于模型损失调整图像处理模型的模型参数，得到训练好图像处理模型，由于模型损失中引入了质心距离，可以更准确的表征第一图像样本与第二图像样本之间的质心位置差异，在图像处理模型训练过程中该模型损失可以快速收敛，从而提高了图像处理模型的训练效率，训练得到的图像处理模型更加准确和可靠。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的图像处理模型的训练方法的流程示意图；

图2是本申请实施例中图像处理模型的训练方法的实现原理示意图；

图3是本申请实施例中图像处理模型的结构示意图；

图4是本申请实施例中图像样本的示意图；

图5是本申请实施例中图像样本对应的标签信息的示意图；

图6是本申请实施例中图像处理模型的处理结果示意图之一；

图7是本申请实施例中图像处理模型的处理结果示意图之二；

图8是本申请实施例中传统的图像识别算法的处理结果示意图之一；

图9是本申请实施例中传统的图像识别算法的处理结果示意图之二；

图10是本申请实施例示出的图像处理方法的流程示意图；

图11是本申请实施例示出的图像处理模型的训练装置的结构示意图；

图12是本申请实施例示出的图像处理装置的结构示意图；

图13是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本申请实施例涉及图像处理领域，具体可以应用于基于深度神经网络构建的图像处理模型的训练场景中，图像处理模型的训练效果将直接影响后续的图像处理效果。

相关技术中，常基于交叉熵损失函数或者Dice Loss损失函数确定的网络损失作为图像处理模型的模型损失，由于上述模型损失不够准确和可靠，使得图像处理模型在训练过程中，上述模型损失收敛速度较慢，致使图像处理模型的训练效率低下，且得到的训练结果准确性和可靠性较低。

至此，相关技术中由于模型损失不够准确、可靠，导致图像处理模型的训练过程存在效率低下、准确性和可靠性低的问题。

针对上述问题，本申请实施例提供一种图像处理模型的训练方法，能够通过优化模型损失，实现图像处理模型训练效率和准确性的有效提升。

以下结合图1至图13详细描述本申请实施例提供的图像处理模型的训练方法、图像处理方法及装置的技术方案。

图1是本申请实施例示出的图像处理模型的训练方法的流程示意图。

参见图1，本申请实施例提供的图像处理模型的训练方法，具体包括：

步骤101：确定输入图像处理模型的第一图像样本的第一图像质心，并确定图像处理模型输出的第二图像样本的第二图像质心；

步骤102：确定第一图像质心与第二图像质心之间的质心距离，依据质心距离确定图像处理模型的模型损失；

步骤103：基于模型损失调整图像处理模型的模型参数，得到训练后的图像处理模型。

本实施例的训练方法主要依据优化后的模型损失对待训练的图像处理模型进行训练，待训练的图像处理模型是基于深度学习网络搭建而成的，第一图像样本可以是模型训练用的样本数据中作为模型输入数据的图像样本，第二图像样本可以是从待训练的图像处理模型输出的可以表征图像处理结果的图像样本，比如针对目标物提取这一图像处理需求，第二图像样本可以是标记有目标物的边缘信息的图像样本。

本实施例中，依据第一图像质心以及第二图像质心之间的质心距离来确定模型损失，图像质心又称为图像重心，可以将图像中各像素点的像素值看做该像素点的质量，以此求得图像质心，质心距离可以反映第一图像样本与第二图像样本的质心位置差异信息。

本实施例提供的图像处理模型的训练方法，通过第一图像样本与第二图像样本间的质心距离对模型损失进行优化，优化后的模型损失可以准确的反映第一图像样本与第二图像样本之间的差异，在模型训练过程中，模型损失可以快速收敛，从而提高了图像处理模型的训练效率，同时也可以使训练得到的图像处理模型精度更高。

在一些实施例中，确定输入图像处理模型的第一图像样本的第一图像质心，并确定图像处理模型输出的第二图像样本的第二图像质心，具体可以包括：

分别确定第一图像样本的至少一个图像通道以及第二图像样本的至少一个图像通道，确定每个图像通道的通道质心；

将第一图像样本对应的至少一个通道质心加权求和，得到第一图像质心；

将第二图像样本对应的至少一个通道质心加权求和，得到第二图像质心。

本实施例中，首先确定第一图像样本以及第二图像样本的各图像通道，以图像通道为单位求取各图像通道的图像质心，即通道质心，例如第一图像样本的图像通道数为3，即第一图像样本存在三个图像通道，可以对应求得三个通道质心；再比如第二图像样本的图像通道数为2，即第二图像样本存在两个图像通道，可以对应求得两个通道质心；

然后将第一图像样本对应的各通道质心加权求和，可以求得第一图像质心，比如将上述三个通道质心加权求和，得到第一图像质心；将第二图像样本对应的各通道质心加权求和，可以求得第二图像质心，比如将上述两个通道质心加权求和，得到第二图像质心。

本实施例中，将各图像质心加权求和，可以通过将图像质心的质心坐标加权求和，得到新的质心坐标，得到的新的质心坐标即为第一图像质心或第二图像质心。

在示例性实施例中，确定每个图像通道的通道质心，具体可以包括：

确定每个图像通道中像素点的坐标以及像素值；

依据像素点的坐标以及像素值，确定图像通道对应的图像矩；

依据图像通道对应的图像矩，计算得到通道质心。

本实施例中，图像矩用于表征每个图像通道的图像特征，其中，矩与期望、方差、协方差、相关系数等类似，均是随机变量的一种数字特征，矩是对变量分布和形态特点的一组度量。

在实际应用过程中，可以通过OpenCV(Open source Computer Vision Library，开放源代码计算机视觉库)来确定图像矩，本实施例中，图像矩具体可以是零阶混合原点矩以及一阶混合原点矩，其中，零阶混合原点矩可以表示为：

m

其中，X和Y分别表示水平方向和垂直方向上由坐标位置(0，1，2，3，...，Height/Width)组成的离散随机变量，f(x，y)表示位置(x，y)处的像素值。

一阶混合原点矩可以表示为：

m

其中，k+l＝1，因此，一阶混合原点矩包括k＝0，l＝1和k＝1，l＝0两种情况，即：

m

m

其中，m

本实施例中通道质心的坐标(c

基于上述流程，可以准确的确定各图像通道对应的通道质心，之后将第一图像样本对应的通道质心加权求和，可以得到第一图像样本对应的第一图像质心，将第二图像样本对应的通道质心加权求和，可以得到第二图像样本对应的第二图像质心。

如果第一图像样本和/或第二图像样本的图像通道数为1，即第一图像样本和/或第二图像样本为单通道图像，由于求得的通道质心只有一个，则通道质心加权求和的过程中，权重可以取1，也就是说，可以将单通道图像的通道质心直接作为该单通道图像的图像质心。

在一些实施例中，确定第一图像质心与第二图像质心之间的质心距离，具体可以包括：

计算第一图像质心与第二图像质心之间的欧式距离，得到质心距离。

可以理解的是，欧氏距离可以是横纵坐标轴内两点间的直线距离，以图像质心的坐标是二维坐标为例，第一图像质心与第二图像质心之间的欧式距离可以表示为：

其中，d(X，Y)表示欧式距离，(x

针对图像质心的坐标为n维坐标的情形，第一图像质心与第二图像质心之间的欧式距离可以表示为：

通过上述流程，可以准确的计算得到第一图像质心与第二图像质心之间的欧式距离，通过欧式距离可以表征第一图像样本与第二图像样本之间的质心位置差异。

在实际应用过程中，也可以通过其他方式确定的距离值表征第一图像样本与第二图像样本之间的质心位置差异，也就是可以通过其他方式求得质心距离，比如本实施例中质心距离还可以通过求取第一图像质心与第二图像质心之间的曼哈顿距离或者切比雪夫距离等方式得到。

在一些实施例中，依据质心距离确定图像处理模型的模型损失，具体可以包括：

将质心距离与预设的图像处理模型的网络损失进行加权求和，得到模型损失。

本实施例中，求得的质心距离可以作为质心损失，将质心损失引入模型损失的计算中，可以得到优化后的模型损失。在计算模型损失的过程中，本实施例综合考虑了模型本身的网络损失以及新增的质心损失，通过将网络损失与质心损失加权求和的方式计算得到用于指导图像处理模型训练的模型损失。

模型损失的计算表达式具体如下：

L

其中，L

图2示出了本实施例中图像处理模的训练方法的实现原理，在图像处理模型201训练过程中，分别确定第一图像样本的第一图像质心以及第二图像样本的第二图像质心，求取第一图像质心与第二图像质心之间的质心距离，依据质心距离确定模型损失，从而指导图像处理模型201高效、准确的完成训练任务。

在实际应用过程中，图像处理模型在训练时，将通过反向传播(即链式求导)的方式来降低模型损失，同时调整图像处理模型的模型参数，直至模型损失收敛，即模型损失低于预设阈值，得到训练好的图像处理模型。

在一个具体的实施例中，图像处理模型的训练过程还将涉及如下流程：

第一步，将得到的第一图像样本和标签数据结合生成训练所需要的样本数据；

第二步，将样本数据中不符合规范的数据进行规范化处理，得到符合规范的样本数据，具体地，可以将样本数据中标签数据与第一图像样本不对应的数据进行修改，使标签数据与第一图像样本对应，从而实现样本数据的规范化处理，该步骤在训练精度要求不高的场景下也可以省去；

第三步，将样本数据通过随机分组的方式分成测试数据和训练数据，将测试数据和训练数据分别保存到预设的样本数据库中，比如可以保存至MBD(Model BasedDefinition，基于模型的定义)数据库中；

第四步，读取样本数据库中的训练数据，将读取到的训练数据进行解析，具体可以解析成矩阵的形式，比如可以解析成480×800×3的矩阵，将解析后的数据输入深度学习网络搭建的图像处理模型中进行训练，得到训练好的图像处理模型；

第五步，使用测试数据对训练好的图像处理模型进行测试，将测试结果和真实的标签数据进行对比，在比对结果满足测试通过要求时，得到测试通过的图像处理模型。

需要说明的是，本申请实施例提供的图像处理模型的训练方法主要应用于上述第四步的训练环节，在模型训练过程中，通过本实施例生成的准确的模型损失可以指导图像处理模型快速完成训练任务，从而提高了模型训练的效率以及准确性。

可以理解的是，本实施例中图像处理模型可以是能够实现某一种图像处理功能的网络模型，比如可以是能够对目标物进行边缘检测的边缘检测模型，图3示例性的示出了边缘检测模型的结构，参见图3，整个边缘检测模型的网络架构可以大致划分为五个基础层，即图3中从上至下对应的五行层结构，五个基础层又可以划分为编码器301和解码器302这两部分，编码器301与解码器302通过拼接通道连接，图3所示边缘检测模型的网络对应的kernel_size(内核尺寸)为3×3，padding(填充值)为1，stride(步长)为1。

如图3所示，编码器301的内部顺次连接有五层卷积层，各层卷积层按照数据传递方向定义，即第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层依次对应图3中编码器301内从上至下的各行基础层，编码器301中各个卷积层输出的第一特征可以理解为能够表征当前层级语义信息的特征图。

一方面，每层卷积层均将对输入的图像进行一次下采样操作，使输入图像的通道数增加一倍，图像的尺寸(具体是图像的长度和宽度)将减少为原来的一半，比如输入图像尺寸为480×800，进行一次下采样操作后图像的尺寸降为240×400；另一方面，每层卷积层将对输入的图像分别进行卷积操作、归一化操作以及激活操作，以提取输入的图像在当前层级的语义信息。

参见图3，本实施例中解码器302由多层反卷积层顺次连接构建而成，解码器302主要实现将编码器301输出的多个层级的语义信息以不同的组合方式进行融合，从而更充分的获取第一图像所包含的语义信息。

本实施例中解码器302与编码器301的层数相同，在图3所示的场景中，解码器302包含顺次连接的五层反卷积层，解码器302的五层反卷积层按照数据的流向依次定义，具体地，第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层以及第五反卷积层在图3中依次对应解码器302内由下至上的各行基础层。

一方面，每层反卷积层均可以对输入的特征图进行一次上采样操作，上采样操作可以使输入的特征图的通道数降低一倍，且可以使特征图的尺寸(具体是图像的长度和宽度)增加原来的一倍，比如输入特征图的图像尺寸为480×800，进行一次上采样操作后图像的尺寸增加为960×1600；

另一方面，反卷积层可以将编码器输出的若干个层级的第一特征进行融合，从而提取更详细的语义信息。

本实施例利用解码器302中各反卷积层，可以将编码器301输出的不同层级的第一特征中若干个层级的第一特征进行融合，从而获得更丰富的语义信息，通过编码器301与解码器302的配合，可以使边缘检测模型输出更准确的第二图像。

可以理解的是，本实施例中图像处理模型可以应用于自动驾驶领域，在自动驾驶领域，比如可以应用于自动驾驶中小目标物的识别场景中，由于模型训练过程中，通过使用质心约束的方式可以保留小目标物的位置和关键特征这两个重要信息，通过将上述两个重要信息传递到模型损失中进行损失优化，可以提升图像处理模型对小目标物的识别精度，利用本实施例提供的训练方法训练得到的图像处理模型，相比于传统的图像识别算法，可以准确的识别总像素小于20个的小目标物，从而更能满足自动驾驶场景对高精度和高安全性的要求。

此外，该图像处理模型也可以用于交通灯的识别场景中，为了验证通过上述训练方法训练得到的图像处理模型，在图像处理环节中处理效果的提升，本实施例使用上述训练方法训练得到的图像处理模型与传统的图像识别算法分别对同一图像样本进行处理。

图4示例性的示出了该图像样本，该图像样本为交通图像，本实施例的主要目的是从交通图像中识别交通灯。图5示出了该图像样本对应的标签信息，该标签信息中标示出了图像样本中各交通灯的位置。

图6示出了基于本实施例提供的训练方法训练得到的图像处理模型对图4所示图像样本中交通灯的识别结果，图7单独示出了图像处理模型识别到的交通灯轮廓信息。

图8示出了基于传统的图像识别算法对图像样本中交通灯的识别结果，图9单独示出了传统的图像识别算法识别到的交通灯轮廓信息，本实施例中传统的图像识别算法基于canny算子实现。

将图7和图9分别与图5所示的标签信息进行比对可以看出，图7所示的交通灯轮廓信息更加完整，且与图5所示标签信息相似度更高，而图9所示的交通灯轮廓信息中各交通灯的轮廓均存在不同程度的变形。

基于上述对比结果可以看出，利用上述训练方法训练得到的图像处理模型对目标物的识别精度更高，识别效果更优。

图10是本申请实施例示出的图像处理方法的流程示意图。

参见图10，本申请实施例提供的图像处理方法，具体包括：

步骤401：获取待处理的第一图像；

步骤402：将第一图像输入图像处理模型，得到图像处理模型输出的第二图像；

其中，第二图像用于表征第一图像的处理结果，图像处理模型基于上述图像处理模型的训练方法训练得到。

本实施例中，图像处理方法可以是对图像中目标物的边缘识别方法，比如可以是对高精地图中总像素数小于预设阈值的小目标物的识别方法，也可以是对交通图像中交通灯的识别方法，在对图像中目标物的边缘识别场景中，第一图像可以是包含目标物的原始图像，第二图像可以是包含目标物的识别结果的图像。

本实施例提供的图像处理方法，通过应用基于上述实施例公开的训练方法训练得到的图像处理模型，可以实现对第一图像的准确处理，提高了图像处理的准确性和可靠性。

与前述应用功能实现方法实施例相对应，本申请还提供了一种图像处理模型的训练装置、图像处理装置、电子设备及相应的实施例。

图11是本申请实施例示出的图像处理模型的训练装置的结构示意图。

参见图11，本申请实施例提供的图像处理模型的训练装置，具体包括：

第一处理模块501，用于确定输入图像处理模型的第一图像样本的第一图像质心，并确定图像处理模型输出的第二图像样本的第二图像质心；

第二处理模块502，用于确定第一图像质心与第二图像质心之间的质心距离，依据质心距离确定图像处理模型的模型损失；

第三处理模块503，用于基于模型损失调整图像处理模型的模型参数，得到训练后的图像处理模型。

在一些实施例中，第一处理模块501具体可以用于：

分别确定第一图像样本的至少一个图像通道以及第二图像样本的至少一个图像通道，确定每个图像通道的通道质心；

将第一图像样本对应的至少一个通道质心加权求和，得到第一图像质心；

将第二图像样本对应的至少一个通道质心加权求和，得到第二图像质心。

在示例性实施例中，第一处理模块501具体可以通过如下过程确定每个图像通道的通道质心：

确定每个图像通道中像素点的坐标以及像素值；

依据像素点的坐标以及像素值，确定图像通道对应的图像矩；

依据图像通道对应的图像矩，计算得到通道质心。

在一些实施例中，第二处理模块502具体可以用于：

计算第一图像质心与第二图像质心之间的欧式距离，得到质心距离。

在一些实施例中，第三处理模块503具体可以用于：

将质心距离与预设的图像处理模型的网络损失进行加权求和，得到模型损失。

图12示出了本申请实施例示出的图像处理装置的结构示意图。

参见图12，本申请实施例提供的图像处理装置，具体包括：

获取模块601，用于获取待处理的第一图像；

第四处理模块602，用于将第一图像输入图像处理模型，得到图像处理模型输出的第二图像；

其中，第二图像用于表征第一图像的处理结果，图像处理模型基于如上的图像处理模型的训练方法训练得到。

本申请实施例提供的图像处理装置，依据上述图像处理模型的训练方法训练得到的图像处理模型进行图像处理，由于基于上述质心约束的方式训练得到的图像处理模型更加准确和可靠，从而提高了图像处理结果的准确性和可靠性。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

图13是本申请实施例示出的电子设备的结构示意图。

参见图13，电子设备700包括存储器701和处理器702。

处理器702可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器701可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器702或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。

此外，存储器701可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器701可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器701上存储有可执行代码，当可执行代码被处理器702处理时，可以使处理器702执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。