基于多视图像的3D可行驶空间检测方法、装置、设备

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种基于多视图像的3D可行驶空间检测方法、装置、设备和计算机可读存储介质。

背景技术

在智能车驾领域中，感知车辆周围的环境信息是实现路径规划、自动泊车等自动驾驶功能的基础。可行驶空间检测是实现环境感知的途径之一，通过判断自车周围的空间是否可以行驶对辅助驾驶或自动驾驶的行车安全起着至关重要的作用。

现有技术使用的可行驶空间检测方法通常使用需要获取深度信息，提高了硬件成本，降低了检测速度。

发明内容

本申请实施例的目的在于提供一种基于多视图像的3D可行驶空间检测方法、装置、设备和介质，能够减少可行驶空间检测过程中的硬件成本，提高检测速度。

第一方面，本申请实施例提供了一种基于多视图像的3D可行驶空间检测方法，包括：

获取车辆上的多个摄像机的拍摄画面；

生成每个摄像机的拍摄画面的特征矩阵；

获取所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率；

根据所述特征矩阵的特征值和所述特征值对应的深度概率生成视锥特征点云矩阵；

根据所述多个摄像机的所述视锥特征点云矩阵生成鸟瞰图特征；

根据所述鸟瞰图特征进行可行驶空间检测。

在上述实现过程中，本申请实施例不需要通过深度传感器来获取图像深度，而是直接获取多个摄像机的拍摄画面，生成每个摄像机的拍摄画面的特征矩阵，获取所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率，根据所述特征矩阵的特征值和所述特征值对应的深度概率生成视锥特征点云矩阵，节省了硬件成本，提高检测速度。

进一步地，所述获取所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率的步骤，包括：

将所述特征矩阵输入预先训练好的卷积网络，得到所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率。

进一步地，所述根据所述特征矩阵的特征值和所述特征值对应的深度概率生成视锥特征点云矩阵的步骤，包括：

在每个特征值对应的多个深度概率中获取最高深度概率；

将所述特征矩阵的每个特征值和所述每个特征值对应的最高深度概率相乘，得到所述视锥特征点云矩阵。

进一步地，所述根据所述多个摄像机的所述视锥特征点云矩阵生成鸟瞰图特征的步骤，包括：

获取每个摄像机的内参矩阵、相机坐标系到车身坐标系的旋转矩阵、相机坐标系到车身坐标系的平移矩阵；

根据每个摄像机的内参矩阵、相机坐标系到车身坐标系的旋转矩阵、相机坐标系到车身坐标系的平移矩阵获取每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标；

根据所述每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标将所述每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到多个映射后的特征点；

根据所述多个映射后的特征点生成所述鸟瞰图特征。

进一步地，所述鸟瞰图空间由多个栅格组成；

所述根据所述每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标将所述每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到多个映射后的特征点的步骤，包括：

获取所述鸟瞰图空间的范围、所述栅格的单位尺寸；

根据所述鸟瞰图空间的范围、所述栅格的单位尺寸和所述每个特征点的三维坐标获取每个摄像机的视锥特征点云矩阵的每个特征点在所述鸟瞰图空间的位置坐标；

根据所述特征点在所述鸟瞰图空间的位置坐标将所述每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到所述多个映射后的特征点。

进一步地，所述获取车辆上的多个摄像机的拍摄画面的步骤，包括：

获取所述车辆上的多个摄像机的多组拍摄画面；

所述根据所述多个映射后的特征点生成所述鸟瞰图特征的步骤，包括：

根据所述多个映射后的特征点在所述鸟瞰图空间的坐标获取所述多个映射后的特征点的位置编码；

根据所述多个映射后的特征点的位置编码生成所述鸟瞰图特征。

进一步地，所述根据所述多个映射后的特征点在所述鸟瞰图空间的坐标获取所述多个映射后的特征点的位置编码的步骤，包括：

获取每个映射后的特征点在鸟瞰图空间的x坐标与鸟瞰图空间y方向的栅格数量、鸟瞰图空间z方向的栅格数量和拍摄画面的组数的乘积，得到第一乘积；

获取每个映射后的特征点在鸟瞰图空间的y坐标、z方向的栅格数量和拍摄画面的组数的乘积，得到第二乘积；

获取所述每个映射后的特征点在鸟瞰图空间的z坐标与拍摄画面的组数的乘积，得到第三乘积；

将所述第一乘积、所述第二乘积、所述第三乘积和所述映射后的特征点对应的拍摄画面的组别序号相加，得到所述映射后的特征点的位置编码。

进一步地，所述根据所述多个映射后的特征点的位置编码生成所述鸟瞰图特征的步骤，包括：

根据所述位置编码确定位于同一栅格的映射后的特征点；

将所述位于同一栅格的映射后的特征点值相加，得到所述同一栅格对应的特征值；

根据所述同一栅格的特征值生成所述鸟瞰图特征。

进一步地，所述根据所述鸟瞰图特征进行可行驶空间检测的步骤，包括：

将所述鸟瞰图特征输入环境特征感知模型，得到第一鸟瞰图特征；

将所述第一鸟瞰图特征输入到可行驶空间检测头中，得到可行驶空间推理结果；

根据所述可行驶空间推理结果获取所述可行驶空间。

进一步地，所述可行驶空间推理结果为所述第一鸟瞰图特征对应的包含前景背景信息的heatmap；

所述根据所述可行驶空间推理结果获取所述可行驶空间的步骤，包括：

生成线性扫描器；

将所述线性扫描器以预设速度环绕所述鸟瞰图特征；

获取所述线性扫描器在鸟瞰图特征上扫描的特征点的第一索引值；

在所述heatmap上所述第一索引值对应的特征点中确定基于softmax的最大响应点；

获取所述最大响应点的第二索引值，根据所述第二索引值在所述第一鸟瞰图特征中获取所述可行驶空间。

第二方面，本申请实施例提供一种基于多视图像的3D可行驶空间检测装置，包括：

拍摄画面获取模块，用于获取车辆上的多个摄像机的拍摄画面；

特征矩阵生成模块，用于生成每个摄像机的拍摄画面的特征矩阵；

概率获取模块，用于获取所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率；

点云矩阵生成模块，用于根据所述特征矩阵的特征值和所述特征值对应的深度概率生成视锥特征点云矩阵；

鸟瞰图特征生成模块，用于根据所述多个摄像机的所述视锥特征点云矩阵生成鸟瞰图特征；

可行驶空间检测模块，用于根据所述鸟瞰图特征进行可行驶空间检测。

第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。

第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的基于多视图像的3D可行驶空间检测方法的流程示意图；

图2为本申请实施例提供的基于多视图像的3D可行驶空间检测装置的结构示意图；

图3为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

参见图1，本申请实施例提供一种基于多视图像的3D可行驶空间检测方法，包括：

S101：获取车辆上的多个摄像机的拍摄画面；

S102：生成每个摄像机的拍摄画面的特征矩阵；

利用Resnet50生成多尺度的图像特征，并利用FPN将多尺度的图像特征上采样生成拍摄画面的特征矩阵。

S103：获取特征矩阵的特征值在摄像机的视锥的不同深度的深度概率；

S104：根据特征矩阵的特征值和特征值对应的深度概率生成视锥特征点云矩阵；

S105：根据多个摄像机的视锥特征点云矩阵生成鸟瞰图特征；

S106：根据鸟瞰图特征进行可行驶空间检测。

上述实施例中，多个摄像机安装于车辆的不同位置。优选地，本申请实施例的的摄像机具有了6个，分别安装在前向、前左、前右、后向、后左、后右。

在上述实现过程中，本申请实施例不需要通过深度传感器来获取图像深度，而是直接获取多个摄像机的拍摄画面，生成每个摄像机的拍摄画面的特征矩阵，获取特征矩阵的特征值在摄像机的视锥的不同深度的深度概率，根据特征矩阵的特征值和特征值对应的深度概率生成视锥特征点云矩阵，节省了硬件成本。现有技术采用激光雷达的点云分析方案实现可行驶空间的检测，但激光雷达的探测距离会限制方案的使用场景，如探测距离为60m的激光雷达只适用于低速行驶的场景中，本申请实施例通过直接基于图像获取深度，对探测距离没有限制。

在一种可能的实施方式中，S103包括：特征矩阵输入预先训练好的卷积网络，得到特征矩阵的特征值在摄像机的视锥的不同深度的深度概率。

现有技术还利用双目相机的视差计算障碍物的尺寸和距离信息从而实现可行驶空间的检测，但视差的准确计算效率较低，本申请实施例通过采用卷积网络来预设深度概率，计算效率高。

在一种可能的实施方式中，S104包括：在每个特征值对应的多个深度概率中获取最高深度概率；

将特征矩阵的每个特征值和每个特征值对应的最高深度概率相乘，得到视锥特征点云矩阵。

示例性地，在本申请实施例中，在构造距离相机1m-60m的视锥过程中，每隔1米有一个可选的深度值，即共有59个离散的深度值，将图像特征矩阵通过一个卷积层预测图像特征矩阵的特征值位于这些深度上的概率值通过softmax将概率值最高的深度与图像对应的特征相乘构成视锥特征点云矩阵。

在一种可能的实施方式中，S105包括：获取每个摄像机的内参矩阵、相机坐标系到车身坐标系的旋转矩阵、相机坐标系到车身坐标系的平移矩阵；根据每个摄像机的内参矩阵、相机坐标系到车身坐标系的旋转矩阵、相机坐标系到车身坐标系的平移矩阵获取每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标；根据每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标将每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到多个映射后的特征点；根据多个映射后的特征点生成鸟瞰图特征。

具体地，相机内参矩阵具体包括相机内参矩阵、相机坐标系到车身坐标系的旋转矩阵、相机坐标系到车身坐标系的平移矩阵，首先将相机内参的逆矩阵与每个摄像机的视锥特征点云矩阵的特征点的坐标相乘实现图像坐标系到相机坐标系的变换，再与旋转矩阵相乘实现相机坐标系到车身坐标系的转换，最后与平移矩阵相加最终实现图像坐标系到车身坐标系的坐标变换，获得每个摄像机的视锥特征点云矩阵的特征点的三维坐标。

在一种可能的实施方式中，鸟瞰图空间由多个栅格组成；根据每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标将每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到多个映射后的特征点的步骤，包括：获取鸟瞰图空间的范围、栅格的单位尺寸；根据鸟瞰图空间的范围、栅格的单位尺寸和每个特征点的三维坐标获取每个摄像机的视锥特征点云矩阵的每个特征点在鸟瞰图空间的位置坐标；根据特征点在鸟瞰图空间的位置坐标将每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到多个映射后的特征点。

示例性地，本申请实施例构造的鸟瞰图空间在x方向的范围为[-50m,50m]、在y方向的范围为[-50m,50m]、在z方向的范围为[-10m,10m]，

且x与y方向每个栅格间隔为0.5米、z方向每个栅格间隔为20m，通过计算特征点的位置与首个栅格坐标的偏移量，按照特征点在三维空间中的位置将其映射到对应的栅格中，从而获得特征点在鸟瞰图空间中的位置坐标，并根据鸟瞰图空间的范围对落在鸟瞰图空间边界线外的特征点进行过滤。

在一种可能的实施方式中，获取车辆上的多个摄像机的拍摄画面的步骤，包括：获取车辆上的多个摄像机的多组拍摄画面；根据多个映射后的特征点生成鸟瞰图特征的步骤，包括：根据多个映射后的特征点在鸟瞰图空间的坐标获取多个映射后的特征点的位置编码；根据多个映射后的特征点的位置编码生成鸟瞰图特征。

示例性地，本申请实施例是根据多组拍摄画面进行可行驶空间的检测。

在一种可能的实施方式中，根据多个映射后的特征点在鸟瞰图空间的坐标获取多个映射后的特征点的位置编码的步骤，包括：获取每个映射后的特征点在鸟瞰图空间的x坐标与鸟瞰图空间y方向的栅格数量、鸟瞰图空间z方向的栅格数量和拍摄画面的组数的乘积，得到第一乘积；获取每个映射后的特征点在鸟瞰图空间的y坐标、z方向的栅格数量和拍摄画面的组数的乘积，得到第二乘积；获取每个映射后的特征点在鸟瞰图空间的z坐标与拍摄画面的组数的乘积，得到第三乘积；将第一乘积、第二乘积、第三乘积和映射后的特征点对应的拍摄画面的组别序号相加，得到映射后的特征点的位置编码。

在一种可能的实施方式中，根据所述多个映射后的特征点的位置编码生成所述鸟瞰图特征的步骤，包括：根据所述位置编码确定位于同一栅格的映射后的特征点；将所述位于同一栅格的映射后的特征点值相加，得到所述同一栅格对应的特征值；根据所述同一栅格的特征值生成所述鸟瞰图特征。

编码相同意味着这些点位于同一拍摄画面组别的的同一栅格中。

也就是说，在得到每个栅格特征值之后，基于每个栅格的位置和每个栅格的特征值生成一个初始鸟瞰图特征，由于该鸟瞰图特征对应的矩阵存在z=1的维度，因此将鸟瞰图特征在Z维度进行消除，得到鸟瞰图特征。

在一种可能的实施方式中，根据鸟瞰图特征进行可行驶空间检测的步骤，包括：将鸟瞰图特征输入环境特征感知模型，得到第一鸟瞰图特征；将第一鸟瞰图特征输入到可行驶空间检测头中，得到可行驶空间推理结果；根据可行驶空间推理结果获取可行驶空间。

上述实施例中，环境特征感知模型为ResNet18，根据ResNet18生成鸟瞰图特征对应的多个尺度的特征，将鸟瞰图特征对应的多个尺度的特征输入到FPN进行上采样实现多尺度特征融合，得到第一鸟瞰图特征。

可行驶空间检测头为卷积网络，最终输出包含前景背景信息的heatmap和边界点的类别。

本申请实施例还提供一种对上述提到的模型进行调参的方法：其中边界点的类别利用FocalLoss进行分类损失计算，前景背景的输出利用L1Loss进行回归损失计算，根据损失计算结果对上述提到的模型进行调参。

在一种可能的实施方式中，可行驶空间推理结果为第一鸟瞰图特征对应的包含前景背景信息的heatmap；根据可行驶空间推理结果获取可行驶空间的步骤，包括：生成线性扫描器；将线性扫描器以预设速度环绕鸟瞰图特征；获取线性扫描器在鸟瞰图特征上扫描的特征点的第一索引值；

在heatmap上第一索引值对应的特征点中确定基于softmax的最大响应点；

获取最大响应点的第二索引值，根据第二索引值在第一鸟瞰图特征中获取可行驶空间。

示例性地，预设一个线性扫描器以0.5度的速度间隔环绕鸟瞰图特征一周。在环绕的过程中，首先根据环绕角度0，90度，180度，270度将鸟瞰图特征分成四个大小为50*50的区域，依次利用固定y轴和固定x轴的方式获取线性扫描器上特征点的位置，并在heatmap的对应位置上通过softmax获得该线性扫描器中响应最大的特征点，即概率值最大的边界点，将线性扫描器得到的每个间隔中的边界点依次与上一个点进行直线连接，得到可行驶空间的边界线。

实施例2

参见图2，本申请实施例提供一种基于多视图像的3D可行驶空间检测装置，包括：

拍摄画面获取模块1，用于获取车辆上的多个摄像机的拍摄画面；

特征矩阵生成模块2，用于生成每个摄像机的拍摄画面的特征矩阵；

概率获取模块3，用于获取特征矩阵的特征值在摄像机的视锥的不同深度的深度概率；

点云矩阵生成模块4，用于根据特征矩阵的特征值和特征值对应的深度概率生成视锥特征点云矩阵；

鸟瞰图特征生成模块5，用于根据多个摄像机的视锥特征点云矩阵生成鸟瞰图特征；

可行驶空间检测模块6，用于根据鸟瞰图特征进行可行驶空间检测。

在一种可能的实施方式中，概率获取模块3还用于将特征矩阵输入预先训练好的卷积网络，得到特征矩阵的特征值在摄像机的视锥的不同深度的深度概率。

在一种可能的实施方式中，点云矩阵生成模块4还用于在每个特征值对应的多个深度概率中获取最高深度概率；将特征矩阵的每个特征值和每个特征值对应的最高深度概率相乘，得到视锥特征点云矩阵。

在一种可能的实施方式中，鸟瞰图特征生成模块5还用于获取每个摄像机的内参矩阵、相机坐标系到车身坐标系的旋转矩阵、相机坐标系到车身坐标系的平移矩阵；根据每个摄像机的内参矩阵、相机坐标系到车身坐标系的旋转矩阵、相机坐标系到车身坐标系的平移矩阵获取每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标；根据每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标将每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到多个映射后的特征点；根据多个映射后的特征点生成鸟瞰图特征。

在一种可能的实施方式中，鸟瞰图空间由多个栅格组成；鸟瞰图特征生成模块5还用于获取鸟瞰图空间的范围、栅格的单位尺寸；根据鸟瞰图空间的范围、栅格的单位尺寸和每个特征点的三维坐标获取每个摄像机的视锥特征点云矩阵的每个特征点在鸟瞰图空间的位置坐标；根据特征点在鸟瞰图空间的位置坐标将每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到多个映射后的特征点。

在一种可能的实施方式中，拍摄画面获取模块1还用于获取车辆上的多个摄像机的多组拍摄画面；鸟瞰图特征生成模块5还用于根据多个映射后的特征点在鸟瞰图空间的坐标获取多个映射后的特征点的位置编码；

根据多个映射后的特征点的位置编码生成鸟瞰图特征。

在一种可能的实施方式中，鸟瞰图特征生成模块5还用于获取每个映射后的特征点在鸟瞰图空间的x坐标与鸟瞰图空间y方向的栅格数量、鸟瞰图空间z方向的栅格数量和拍摄画面的组数的乘积，得到第一乘积；获取每个映射后的特征点在鸟瞰图空间的y坐标、z方向的栅格数量和拍摄画面的组数的乘积，得到第二乘积；获取每个映射后的特征点在鸟瞰图空间的z坐标与拍摄画面的组数的乘积，得到第三乘积；将第一乘积、第二乘积、第三乘积和映射后的特征点对应的拍摄画面的组别序号相加，得到映射后的特征点的位置编码。

在一种可能的实施方式中，可行驶空间检测模块6还用于将鸟瞰图特征输入环境特征感知模型，得到第一鸟瞰图特征；

将第一鸟瞰图特征输入到可行驶空间检测头中，得到可行驶空间推理结果；

根据可行驶空间推理结果获取可行驶空间。

在一种可能的实施方式中，可行驶空间推理结果为第一鸟瞰图特征对应的包含前景背景信息的heatmap可行驶空间检测模块6还用于生成线性扫描器；将线性扫描器以预设速度环绕鸟瞰图特征；获取线性扫描器在鸟瞰图特征上扫描的特征点的第一索引值；在heatmap上第一索引值对应的特征点中确定基于softmax的最大响应点；获取最大响应点的第二索引值，根据第二索引值在第一鸟瞰图特征中获取可行驶空间。

本申请还提供一种电子设备，请参见图3，图3为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器31、通信接口32、存储器33和至少一个通信总线34。其中，通信总线34用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口32用于与其他节点设备进行信令或数据的通信。处理器31可以是一种集成电路芯片，具有信号的处理能力。

上述的处理器31可以是通用处理器，包括中央处理器（Central ProcessingUnit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器31也可以是任何常规的处理器等。

存储器33可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read OnlyMemory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable ProgrammableRead-Only Memory，EPROM），电可擦除只读存储器（ElectricErasable Programmable Read-Only Memory，EEPROM）等。存储器33中存储有计算机可读取指令，当计算机可读取指令由处理器31执行时，电子设备可以执行上述方法实施例涉及的各个步骤。

可选地，电子设备还可以包括存储控制器、输入输出单元。

存储器33、存储控制器、处理器31、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线34实现电性连接。处理器31用于执行存储器33中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。

输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是，但不限于，鼠标和键盘等。

可以理解，图3所示的结构仅为示意，电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有指令，当指令在计算机上运行时，计算机程序被处理器执行时实现方法实施例的方法，为避免重复，此处不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。