场景重建数据采集方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种场景重建数据采集方法、装置、计算机设备和存储介质。

背景技术

随着无人机技术的快速发展，如何使用无人机去自主快速重建大尺度的城市场景成为了一个研究的焦点。

为了达到很好的重建效果，无人机需要设计出最佳的数据采集路径，从不同视角充分观察建筑物，采集充足的重建数据，实现场景的全覆盖。然而，目前的重建数据采集方法，大多依赖无人机一次额外的飞行与重建，以到场景的几何先验信息，这极大程度上增加了重建周期和难度，而不需要场景的几何先验信息的方法如DJI-Terra又无法很好的适应不同的场景。更重要的是，所有算法都是离线计算路径，当预计算的场景信息不准确时，规划出来的路径质量也会相应降低，使得采集时间较长，甚至存在与场景碰撞的安全问题。

由此可见，现有的场景重建数据采集方法存在数据采集效率不高的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据采集效率的场景重建数据采集方法、装置、计算机设备和存储介质。

一种场景重建数据采集方法，所述方法包括：

捕获场景图像；

对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据；

基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标；

根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域；

当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。

在一个实施例中，对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据包括：

对场景图像进行目标检测，生成与检测到的待重建物体对应的二维表示数据；并

将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据。

在一个实施例中，将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据包括：

提取场景图像中的特征点；

根据当前帧与前一帧的特征点之间的距离进行图像匹配，得到图像特征匹配对；

分析特征点的深度信息，将二维表示数据投影至预设三维坐标系，得到初始三维表示数据；

根据图像特征匹配对，更新初始三维表示数据，得到待重建物体的三维表示数据。

在一个实施例中，根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域包括：

将待重建区域分解为多个不重叠的子区域；

从预设起点开始，按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索。

在一个实施例中，从预设的起飞起点开始，按照预设的全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索包括：

当于待重建区域内发现并到达新的待重建物时，则中断探索，根据预设重建路径规划算法，采集新的待重建物的重建数据；

返回按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索的步骤。

在一个实施例中，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据包括：

当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成重建路径；

根据重建路径，采集重建目标的重建数据。

在一个实施例中，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据包括：

当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成单个环绕重建目标的重建路径，根据重建路径，采集重建目标的重建数据；

或，当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成环绕重建目标的曲线路径，基于曲线路径，执行预定义的变形操作，得到相应的重建路径，根据重建路径，采集重建目标的重建数据。

在一个实施例中，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据之后，还包括：

基于待重建物体的三维表示数据和预设距离阈值，确定与重建目标的距离最近的待重建物体为下一个重建目标；

返回至根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域的步骤，直至完成所有待重建物体的重建数据的采集。

一种场景重建数据采集装置，所述装置包括：

图像获取模块，用于捕获场景图像；

环境感知模块，用于对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据；

目标确定模块，用于基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标；

区域探索模块，用于根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域，探索路径用于实现待重建区域的全覆盖探索；

数据采集模块，用于当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

捕获场景图像；

对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据；

基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标；

根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域；

当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

捕获场景图像；

对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据；

基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标；

根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域；

当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。

上述场景重建数据采集方法、装置、计算机设备和存储介质，通过对场景图像进行实时环境感知，检测出场景的待重建物体并重建相应的三维表示数据，便无需场景先验几何信息的输入，极大程度上缩短了重建周期；基于待重建物体的三维表示数据和预设距离阈值，确定重建目标，再结合探索路径规划算法和重建路径规划算法，在得到安全高效的重建数据采集轨迹的同时，实现待重建区域的全覆盖探索，缩短数据采集时长。综上所述，本申请提供的方法能够有效提高重建数据采集的效率。

附图说明

图1为一个实施例中场景重建数据采集方法的流程示意图；

图2为另一个实施例中场景重建数据采集方法的流程示意图；

图3为一个实施例中得到三维表示数据步骤的流程示意图；

图4为一个实施例中根据探索路径规划算法探索并覆盖待重建区域的原理示意图；

图5为一个实施例中对重建路径进行变形操作的效果示意图；

图6(a)为一个实施例中本申请与现有方法在场景M上的场景重建结果对比的效果示意图；

图6(b)为一个实施例中本申请与现有方法在场景N上的场景重建结果对比的效果示意图；

图7为一个实施例中两个不同的城市场景中的路径规划结果示意图；

图8为一个实施例中场景重建数据采集装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种场景重建数据采集方法，本实施例以该方法应用于终端为例进行说明。终端以无人机为例，本方法的目的是使无人机飞到特定的视角对着待重建物体拍摄二维图片，以覆盖整个场景，实现场景的完整重建。可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤202，捕获场景图像。

具体实施时，无人机挂载有单目摄像头，且安装有传感器和处理器。其中，场景图像为二维图像，可以是无人机在飞行过程中拍摄得到的飞行环境的场景图像。下面，将以无人机在大尺度城市场景中采集建筑物的重建数据，以支持城市场景重建为例进行说明。

步骤204，对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据。

其中，环境感知依赖于无人机的飞行感知技术进行主要包括测量飞机运动状态相关的物理量，涉及的模块包括陀螺仪、加速度计、磁罗盘、气压计、GNSS模块以及光流模块等。三维表示数据可以是三维边界框、三维点云数据以及三维网络等，本实施例中，三维表示数据可以是三维边界框。具体实施时，实时环境感知包括目标检测、实时定位与重建、以及实时重建三维边界框这三个部分。具体的，待重建物体以建筑物为例，可以是当无人机捕获场景图像后，基于该场景图像，对该场景图像进行物体检测，定位出该场景图像中的待重建建筑物。同时，对该场景图像进行实时定位与重建，以得到无人机位姿、图像特征匹配对以及待重建建筑物的三维边界框，进而实时重建出待重建建筑物的三维边界框。

步骤206，基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标。

基于对场景的初步观察和重建出的三维边界框，再结合预设距离阈值，将选择某个建筑物作为最佳视点即重建目标。实际应用中，基于观察到的可重建性与可重建度的低相关性和计算的高成本，故可选择不优化可重建性度量。相反，使用从粗到精的策略直接解决了轨迹设计问题。也就是说，目标不是在整个待重建区域中找到最佳视点，而是在每个探索步骤中选择一个最佳视点。具体的，考虑到基于最短距离原则选择出的最佳视点可能并非是合理的，故本实施例中，可以是基于最短距离原则和预设距离阈值，在待重建物体中选择最佳视点即重建目标）。

步骤208，根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域。

本申请中，将无人机路径规划问题概括成为一个优化问题。即给定一个三维场景目标

其中

步骤210，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。

预设重建路径规划算法是一种基于规则的快速轨迹优化方法，其主要目的是快速模拟出具有高可重建度的重建轨迹，实现重建目标的全覆盖，并保证采集的照片达到较高的重建效果。具体实施时，当无人机到达重建目标时，则切换至重建模式，根据该重建路径规划算法，采集重建目标的重建数据，即围绕该重建建筑物进行拍照。然后，再根据预设距离阈值，在待重建物体中选择里当前的重建目标的距离最近的待重建物体作为下一个重建目标，返回至步骤206，重复上述探索和重建步骤，直到重建完所有待重建的建筑物并且所有的待重建区域都被覆盖。

上述场景重建数据采集方法，通过对场景图像进行实时环境感知，检测出场景的待重建物体并重建相应的三维表示数据，便无需场景先验几何信息的输入，极大程度上缩短了重建周期；基于待重建物体的三维表示数据和预设距离阈值，确定重建目标，再结合探索路径规划算法和重建路径规划算法，在得到安全高效的重建数据采集轨迹的同时，并实现待重建区域的全覆盖探索，缩短数据采集时长。综上所述，本申请提供的方法能够有效提高重建数据采集的效率

在一个实施例中，如图2所示，对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据包括：步骤224，对场景图像进行目标检测，生成与检测到的待重建物体对应的二维表示数据、并将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据。

本实施例中，二维表示数据指二维边界框（即二维矩形区域）。可以理解的是，在其他实施例中，二维表示数据还可以是二维网络等。在实际试验中，开发了新的数据集，其中包含虚拟或现实场景以及相应的建筑物位置信息。YOLOv3因其具有快速的处理速度和良好的检测精度，故将其作为目标检测模块。具体实施时，将YOLOv3应用于所有捕获的场景图像，实时为检测到的待重建建筑物生成一组矩形的二维边界框。然后，将生成的二维边界框映射到预设三维坐标系，得到待重建物体的三维表示数据。尽管这些三维边界框未提供几何细节，但实时提取它们已经提供足够的信息以设计安全有效的飞行路线。本实施例中，将三维边界框作为场景中建筑物的粗略三维表示，使得其可以被实时计算并迭代更新。其中编码的几何信息也足以用于创建结构良好的重建飞行轨迹，从而重建出良好质量的三维模型。

在一个实施例中，如图3所示，将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据包括：

步骤234，提取场景图像中的特征点；

步骤244，根据当前帧与前一帧的特征点之间的距离进行图像匹配，得到图像特征匹配对；

步骤254，分析特征点的深度信息，将二维表示数据投影至预设三维坐标系，得到初始三维表示数据；

步骤264，根据图像特征匹配对，更新初始三维表示数据，得到待重建物体的三维表示数据。

具体的，要将检测到的二维边界框映射到三维坐标系，首先运行SLAM（simultaneous localization and mapping，同步定位与建图）算法，以提取场景图像中不同特征点的三维位置。然后根据当前帧与前一帧的特征点之间的距离进行图像匹配，得到图像特征匹配对。再通过分析提取的特征点的深度范围，将针对每个建筑物检测到的二维矩形区域投影到预设三维坐标系上，以形成与世界坐标轴对齐的三维边界框。由于SLAM生成的三维点云非常稀疏，因此生成的三维边界框可能不准确，也可能无法完全包围建筑物，尤其是在无人机尚未观察到的建筑物侧面时。为了解决这个问题，故在整个飞行过程中将跟踪建筑物，并不断根据当前帧和前一帧的图像特征匹配对，逐步更新其三维边界框在世界坐标中的位置和大小。使得无人机从更多角度观察建筑物时，其边界框也越来越准确。

如图2所示，在一个实施例中，根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域，直至完成待重建区域的全覆盖探索包括：步骤228，将待重建区域分解为多个不重叠的子区域，从预设起点开始，按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索。

在未知环境中飞行时，无人机必须探索整个区域并确定所有需要重建的建筑物。为了确保不遗漏任何区域，本实施例使用二维网格细分了重建区域。网格单元的大小取决于无人机摄像机的可视范围。最初，所有单元格都标记为未访问。探索的总体目标是观察所有单元格，以便可以重建地形以及检测需要额外重建的所有建筑物。为了遵循飞行时间最短，用于探索的路径应尽可能短的原则，本实施例，基于区域分解设计了探索路径规划算法。具体的，将待重建区域分解为不重叠多边形，得到多个不重叠的子区域。每次无人机需要前往以

在一个实施例中，从预设的起飞起点开始，按照预设的全覆盖路径规划算法，探索各子区域包括：当于待重建区域内发现并到达新的待重建物时，则中断探索，根据预设重建路径规划算法，采集新的待重建物的重建数据，返回按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域全覆盖的步骤。

在实际应用中，在探索步骤中，可能会发现新的待重建物。如何处理新的待重建物，取决于其所处的位置。以建筑物为例，对于正在探索区域内的新的建筑物，当无人机到达该建筑物所在位置的单元格时，则中断探索，对该建筑物进行重建数据采集，然后恢复探索，继续探索各子区域的步骤。对于在该区域之外检测到的建筑物，只需将其添加到所有其他已检测到的建筑物中。采用上述方式，可以在到达重建目标时，充分观察其所在的待重建区域内部的所有建筑物，确定所有需要重建的建筑物。

如图2所示，在一个实施例中，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据包括：步骤230，当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成重建路径，根据重建路径，采集重建目标的重建数据。

由于现有方法定义的可重建度计算的成本非常昂贵，并且其与重建质量不紧密相关。因此，本实施例使用一组简单的规则来设计用于实时重建的重建路径规划算法。预设重建路径参数包括相机倾斜角度、距离和相机航向等。对于每个建筑物，根据上文中提取的三维边界框和重建路径参数生成一个环绕

在一个实施例中，根据重建目标的三维表示数据和预设重建路径参数，生成重建路径包括：当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成单个环绕重建目标的重建路径，根据重建路径，采集重建目标的重建数据；

或，当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成环绕重建目标的曲线路径，基于曲线路径，执行预定义的变形操作，得到相应的重建路径，根据重建路径，采集重建目标的重建数据。

由于最初的螺旋线无法适应建筑物

若

由于可以实时检测建筑物的边界框，因此无人机会从不同角度观察

通过以上操作获得的轨迹可确保目标建筑物

本申请提供的场景重建数据采集方法，在多个场景中进行了实验，如图6(a)和图6（b）所示，图6（a）和图6（b）分别为本申请与现有方法，关于无人机在场景M和场景N上的重建结果的对比图。其中，图6（a）的第一行和第二行分别展示的是现有方法在场景M的重建结果，图6（a）的第三行展示的是本申请在场景M的重建结果。图6（a）中第一列：现有方法和本申请规划出的路径的对比图；图6（a）中第二列：现有方法和本申请对场景M的重建结果的对比图；图6（a）中第三列：第二列中细节A的对比放大图；图6（a）中第四列：第二列中细节B的对比放大图。

其中，图6（b）的第一行和第二行分别展示的是现有方法在场景N的重建结果，图6（b）的第三行展示的是采用本申请在场景N的重建结果。图6（b）中第一列：现有方法和本申请规划出的路径的对比图；图6（b）中第二列：现有方法和本申请对场景N的重建结果的对比图；图6（b）中第三列：第二列中细节C的对比放大图；图6（b）中第四列：第二列中细节D的对比放大图。

从图6（a）和图6（b）可以看出，本申请在运用更少的资源和算法时间的基础上，能够在各个场景里都能稳定地重建出整个场景。且在保证覆盖完整个待重建区域的同时，能够局部的保证没有重复路径，大幅减少了无人机的电量消耗并且提高了无人机数据采集的效率。

与此同时，本申请在重建目标的同时，也能够实时规划探索路径，故将本申请提供的场景重建数据采集方法，在多个场景上对路径规划进行了测试。如图7所示，两行图片分别展示的是本申请在两个不同的城市场景中的路径规划结果。从图中可以看出，本申请在保证覆盖完整个待重建区域的同时，能够局部的保证没有重复路径，大幅减少了无人机的电量消耗并且提供了无人机数据采集的效率。

另，本申请提供的场景重建数据采集方法还在城市三维场景重建任务进行了准确度-完整度指标的测试。准确度-完整度是城市三维场景重建的常用指标，可以衡量未知场景的重建准确程度。经过实验后，在三个尺度和建筑风格上均有比较明显的差别的测试场景中，本方法重建出的三维模型有90%达到了错误率都在0.029m，0.028m，0.013m之下。同时耗费的时间约为0.002s。与此同时，本方法也在两个更大尺度的城市场景中比较了路径探索算法的有效性。在两个城市场景中，均取得了比基线算法更好的效果。

应该理解的是，虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种场景重建数据采集装置，包括：图像获取模块510、环境感知模块520、目标确定模块530、区域探索模块540和数据采集模块550，其中：

图像获取模块510，用于捕获场景图像。

环境感知模块520，用于对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据。

目标确定模块530，用于基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标。

区域探索模块540，用于根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域。

数据采集模块550，用于当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。

在一个实施例中，环境感知模块520还用于对场景图像进行目标检测，生成与检测到的待重建物体对应的二维表示数据、并将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据。

在一个实施例中，环境感知模块520还用于提取场景图像中的特征点；根据当前帧与前一帧的特征点之间的距离进行图像匹配，得到图像特征匹配对；分析特征点的深度信息，将二维表示数据投影至预设三维坐标系，得到初始三维表示数据；根据图像特征匹配对，更新初始三维表示数据，得到待重建物体的三维表示数据。

在一个实施例中，区域探索模块540还用于将待重建区域分解为多个不重叠的子区域；从预设起点开始，按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索。

在一个实施例中，区域探索模块540还用于当于待重建区域内发现并到达新的待重建物时，则中断探索，根据预设重建路径规划算法，采集新的待重建物的重建数据；恢复探索，执行按照全覆盖路径规划算法，探索各子区域的操作。

在一个实施例中，数据采集模块550还用于当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成重建路径，根据重建路径，采集重建目标的重建数据。

在一个实施例中，数据采集模块550还用于根据重建目标的三维表示数据和预设重建路径参数，生成单个环绕重建目标的重建路径；或，根据重建目标的三维表示数据和预设重建路径参数，生成环绕重建目标的曲线路径，基于曲线路径，执行预定义的变形操作，生成相应的重建路径。

关于场景重建数据采集装置的具体实施例可以参见上文中对于场景重建数据采集方法的实施例，在此不再赘述。上述场景重建数据采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种场景重建数据采集方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述场景重建数据采集方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述场景重建数据采集方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。