AGV的TOF相机外参标定方法及装置、电子设备

技术领域

本发明涉及TOF相机外参标定技术，尤其涉及一种自动导引小车（AGV，AutomatedGuided Vehicle）的飞行时间（TOF，Time of Flight）相机外参标定方法及装置、电子设备、存储介质。

背景技术

为了增强AGV对周围环境的感知能力和感知范围，AGV通常会配置TOF相机，TOF相机的坐标系与AGV坐标系统之间的参数标定，对于AGV感知周围环境的能力至关重要。

现有TOF相机的外参标定方法，一般是通过TOF相机进行图像采集点云数据，对点云数据进行分割，获取叉齿末端挡板平面、地面和叉齿平面的点云，计算挡板平面、地面和叉齿平面的平面方程，利用挡板平面、地面和叉齿平面的平面方程，获得叉齿坐标系与TOF相机坐标系的坐标变换关系。这种技术方案，需要每个挡板要相对于叉齿中心线对称，挡板安装需垂直于叉齿平面，两挡板要相对于车体中心线对称且中心连线要平行于两车轮中心的连线。这些限定在实际应用中难以满足，AGV上的挡板安装精度极高且条件繁多、操作复杂。

发明内容

本发明提供一种基于视觉的激光切割方法及装置、电子设备、存储介质，以至少解决现有技术中存在的以上技术问题。

本发明一方面提供一种AGV的飞行时间相机外参标定方法，所述方法包括：

获取包含第一平面的第一点云数据，以及获取包含第二平面及位于AGV的第三平面的第二点云数据；

基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；

基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在TOF相机坐标系及所述AGV坐标系下的法向向量；

基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；

确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；

确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；

将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。

可选地，所述基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程，包括：

对所述第一点云数据采用随机抽样一致RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；

采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。

可选地，在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，所述方法还包括：

遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。

可选地，所述确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段，包括：

对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；

将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。

可选地，提取第二平面及第三平面之后，所述方法还包括：

检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。

本发明另一方面提供一种AGV的飞行时间相机外参标定装置，所述装置包括：

获取单元，用于获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；

第一确定单元，用于基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；

第二确定单元，用于基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在飞行时间TOF相机坐标系及所述AGV坐标系下的法向向量；

第三确定单元，用于基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；

第四确定单元，用于确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；

第五确定单元，用于确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；

第六确定单元，用于将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。

可选地，所述第一确定单元，还用于：

对所述第一点云数据采用RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；

采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。

可选地，所述第六确定单元在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，还用于：

遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。

可选地，所述第六确定单元，还用于：

对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；

将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。

可选地，所述第一确定单元在提取第二平面及第三平面之后，还用于：

检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。

本发明另一方面提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现所述的AGV的飞行时间相机外参标定方法的步骤。

本发明再一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述的AGV的飞行时间相机外参标定方法的步骤。

本发明对于TOF相机外参的标定，不依赖于任何的工装辅助，通过本发明的外参标定方式进行标定，所标定的参数准确且操作简单；本发明巧用叉取型搬运AGV自身的结构特性，计算TOF到车体物理中心的外参变换，排除外界可能引入的各种误差，标定结果更准确并且多车外参一致性更好。

附图说明

图1示出了本发明实施例的AGV的飞行时间相机外参标定方法的流程图；

图2示出了本发明实施例的AGV的结构示意图；

图3示出了本发明实施例的AGV的TOF相机外参标定流程示意图；

图4示出了本发明实施例的AGV的飞行时间相机外参标定装置的组成结构示意图；

图5示出了本发明实施例的电子设备的结构图。

具体实施方式

为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例的AGV的飞行时间相机外参标定方法的流程图，如图1所示，本发明实施例的AGV的飞行时间相机外参标定方法包括以下处理步骤：

步骤101，获取包含第一平面的第一点云数据，以及获取包含第二平面及位于AGV的第三平面的第二点云数据。

本发明实施例中，通过TOF相机中的激光器发射激光的反射光，来获取包含第一平面的第一点云数据，以及包含第二平面及位于AGV的第三平面的第二点云数据。

这里的第一平面，可以是位于空旷地带的地面，第二平面可以是位于空旷地带的墙面，这里，第二平面可以是与地面垂直且对激光束反射较佳的平面，也可以是墙面之外的其他平面。第三平面可以是AGV的叉齿平面。图2示出了本发明实施例的AGV的结构示意图，如图2所示，AGV包括左叉齿和右叉齿，每个叉齿下安装有车轮，TOF相机安装于AGV车头。图中L1和L2的交点即为车体中心，也可称为运动中心或者旋转中心。

本发明实施例中，采集第二平面及第三平面的第二点云数据时，将AGV移至墙面附近，保证周围环境相对空旷没有其他竖直平面的干扰，使两个叉齿末端分别紧贴墙面，采集点云数据。

步骤102，基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程。

本发明实施例中，对所述第一点云数据采用随机抽样一致RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。

在提取第二平面及第三平面之后，还包括：检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。

步骤103，基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在TOF相机坐标系及所述AGV坐标系下的法向向量。

本发明实施例中，可以利用平面提取算法，基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在TOF相机坐标系及所述AGV坐标系下的法向向量。

步骤104，基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角。

本发明实施例中，当确定出所述第一平面和所述第二平面的法向向量后，即可确定两法向向量之间的旋转矩阵。

步骤105，确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量。

步骤106，确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量。

步骤107，将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。

本发明实施例中，在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，还包括：遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。对应地，确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段，包括：

对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；

将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。

以下通过具体示例，进一步阐明本发明实施例的技术方案的本质。

本发明实施例旨在标定TOF相机到车体中心的外参，其中，z方向以地面为基准。首先采集地面、墙面和叉齿平面的点云数据；采用RANSAC算法分别对地面、叉齿平面以及墙面的点云进行粗提取；本发明实施例中，墙面也可以采用其他与地面有交叉的平面如点云采集的挡板等平面。本发明实施例中，需要保证三平面对应的法向量两两不平行即可，如三平面相互垂直等，本领域技术人员应当理解，上述三平面即使不必相互垂直，也可实现对TOF相机到车体中心的外参的标定。随后采用最小二乘法拟合上述三个平面得到平面方程；最后利用三个平面点云数据计算TOF外参。以下结合附图，详细阐述本发明技术方案的本质。

图3示出了本发明实施例的AGV的TOF相机外参标定流程示意图，如图3所示，本发明实施例的AGV的TOF相机外参标定流程包括以下步骤：

采集点云数据。

将AGV移至空旷区域，采集一帧点云数据

将AGV移至墙边，保证周围环境相对空旷没有其他干扰，使两个叉齿末端分别紧贴 墙面，采集一帧点云数据

提取地面、墙面、叉齿平面的点云数据，并求解地面、墙面、叉齿平面的平面方程。若点云数据提取失败，则重新提取相关点云数据并进行平面提取。

具体地，包括以下处理：

点云过滤：过滤

粗提取平面：对

拟合平面：采用最小二乘方法最小化点到平面距离，构建如下残差方程：

求解上述残差方程即可得到地面方程

提取墙面和叉齿平面的点云数据，并对点云进行过滤：过滤中的无效数据。

粗提取墙面和叉齿平面：对

拟合平面：采用最小二乘方法最小化点到平面距离，构建如下残差方程

求解式(2)、式(3)可得墙面方程

计算TOF相机的外参旋转矩阵。

具体地，确定地面和墙面在TOF相机坐标系下的平面法向量：

地面在TOF相机坐标系下的法向量为

墙面在TOF相机坐标系下的法向量为

确定地面和墙面在车体坐标系即AGV坐标系下的平面法向量：

地面在车体中心坐标系下的法向量为

墙面在车体中心坐标系下的法向量为

计算旋转矩阵，如下：

对H进行SVD分解，如下：

则旋转矩阵

根据旋转矩阵到欧拉角的转换求得roll、pitch、yaw三个角度。

求解TOF相机相对于车体中心坐标系外参偏移量Z，如下：

求地面点云的中心点：

其中，

用外参旋转矩阵

可得

其中，

求解TOF相机相对于车体中心坐标系外参偏移量X，如下：

求墙面点云的中心点：

其中，

用外参旋转矩阵

可得：

其中，

求解TOF相机相对于车体中心坐标系外参偏移量Y，如下：

将叉齿点云数据投影至车体坐标系：

剔除

用K聚类算法（k-means）对剩余点云进行二分类：因为左右叉齿的点云是分居于车 体坐标系X轴两侧的，因此可以根据

确定左叉齿内侧边缘线段：将左叉齿点云按照

初始化

while

选取基准点

if

Else， 跳出循环

直至搜索边缘点结束，根据边缘点集

其中，

确定右叉齿内侧边缘线段：将右叉齿点云按照y从大到小的顺序进行排序

初始化

while

选取基准点

if

Else，跳出循环

直至搜索边缘点结束，根据边缘点集

其中，

根据

到此为止，TOF相对于车体中心的6自由度外参计算完毕，经过上述的计算过程得 到最终的外参

本发明对于TOF相机外参的标定，不依赖于任何的工装辅助，通过本发明的外参标定方式进行标定，所标定的参数准确且操作简单；本发明巧用叉取型搬运AGV自身的结构特性，计算TOF到车体物理中心的外参变换，排除外界可能引入的各种误差，标定结果更准确并且多车外参一致性更好。

图4示出了本发明实施例的AGV的飞行时间相机外参标定装置的组成结构示意图，如图4所示，本发明实施例的AGV的飞行时间相机外参标定装置包括：

获取单元40，用于获取包含第一平面的第一点云数据，以及获取包含第二平面及位于自动导引小车AGV的第三平面的第二点云数据；

第一确定单元41，用于基于所述第一点云数据及所述第二点云数据分别确定第一平面、第二平面及第三平面的平面方程；

第二确定单元42，用于基于所述第一平面方程和所述第二平面方程确定所述第一平面及所述第二平面分别在飞行时间TOF相机坐标系及所述AGV坐标系下的法向向量；

第三确定单元43，用于基于所述第一平面和所述第二平面的法向向量确定所述TOF相机的旋转矩阵，根据所述旋转矩阵到欧拉角的转换确定所述TOF相机坐标系相对于所述AGV坐标系的翻滚角、俯仰角、偏航角；

第四确定单元44，用于确定第一平面点云的中心点，通过所述旋转矩阵将所述第一平面点云的中心点投影至所述AGV坐标系，基于所述AGV坐标系下的所述第一平面点云的中心点确定所述TOF相机坐标系相对于所述AGV坐标系的Z轴偏移量；

第五确定单元45，用于确定所述第二平面的点云数据的中心点，通过所述旋转矩阵将所述第二平面的点云数据的中心点投影至所述AGV坐标系，确定所述AGV坐标系下的所述第二平面的点云数据的中心点在X轴的分量，基于所述X轴的分量及所述AGV的叉齿末端到车后轮中心的距离确定所述TOF相机坐标系相对于所述AGV坐标系的X轴偏移量；

第六确定单元46，用于将所述第三平面的点云数据投影至所述AGV坐标系下，基于所述AGV坐标系下第三平面的点云数据确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段；基于所述左叉齿内侧边缘线段和所述右叉齿内侧边缘线段确定所述TOF相机坐标系相对于所述AGV坐标系的Y轴偏移量。

作为一种实现方式，所述第一确定单元41，还用于：

对所述第一点云数据采用RANSAC算法，并基于非位于同一直线上的三点提取第一平面；以及，对所述第二点云数据采用RANSAC算法，并基于非位于同一直线上的三点循环提取第二平面及第三平面；

采用最小二乘法最小化点到平面距离，构建所提取的第一平面、第二平面及第三平面的残差方程，基于残差方程分别得到第一平面、第二平面及第三平面的平面方程。

作为一种实现方式，所述第六确定单元46在确定所述AGV的左叉齿内侧边缘线段及右叉齿内侧边缘线段之前，还用于：

遍历所述AGV坐标系下第三平面的点云数据中的每个点云点，确定以该点为圆心，设定半径范围内没有其他点云时，剔除该点云点。

作为一种实现方式，所述第六确定单元46，还用于：

对剔除后的所述AGV坐标系下第三平面的点云数据，确定每个点云坐标中的y坐标位于所述AGV坐标系的x轴左侧或是右侧，位于左侧的为左叉齿的点云数据，位于右侧的为右叉齿点云数据；

将所述左叉齿点云数据按照y坐标从小到大的顺序进行排序，以及将所述右叉齿点云数据按照y坐标从小到大的顺序进行排序；并分别采用设定宽度滑窗进行边缘点搜索，根据搜索的边缘点集分别计算边缘线段方程，基于所述边缘线段方程分别确定左叉齿内侧边缘线段及右叉齿内侧边缘线段。

作为一种实现方式，所述第一确定单元41在提取第二平面及第三平面之后，还用于：

检测所提取的第二平面及第三平面中的点云数量，若任一平面中的点云数量少于设定阈值数量时，则重新采集点云，并重新进行第二平面及第三平面的提取。

在示例性实施例中，获取单元40、第一确定单元41、第二确定单元42、第三确定单元43、第四确定单元44、第五确定单元45和第五确定单元46等可以被一个或多个中央处理器（CPU，Central Processing Unit）、图形处理器（GPU，Graphics Processing Unit）、基带处理器（BP，Base Processor）、应用专用集成电路（ASIC，Application SpecificIntegrated Circuit）、数字信号处理器（Digital Signal Processor，DSP）、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）、通用处理器、控制器、微控制器（MCU，Micro Controller Unit）、微处理器（Microprocessor）、或其他电子元件实现，用于执行前述实施例的AGV的飞行时间相机外参标定方法的步骤。

在本公开实施例中，图4示出的AGV的飞行时间相机外参标定方法装置中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

下面，参考图5来描述根据本申请实施例的电子设备11。

如图5所示，电子设备11包括一个或多个处理器111和存储器112。

处理器111可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。

存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本申请的各个实施例的验证方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

该输入装置113可以包括例如键盘、鼠标等等。

该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备11中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。