基于图像和激光点云检测钢箱梁桥病害的穿戴式设备

技术领域

本申请实施例涉及桥梁检测技术领域，尤其涉及一种基于图像和激光点云检测钢箱梁桥病害的穿戴式设备、检测方法、电子设备。

背景技术

我国钢箱梁桥保有数量大，其具有承载能力强、施工方便、使用寿命长等特点。然而随着桥梁使用时间的增长和环境因素的影响，钢箱梁桥其箱梁内部也会出现如裂缝、锈蚀、渗水等病害，由此极大地影响桥梁的安全性能。

为此，现有技术中，通过日常的检查养护工程来检测钢箱梁桥病害，在实施检查养护工程时，都是靠检测工人的肉眼在现场进行常规的检查，比如在手持相机，放大镜和手电筒，靠检测工人的肉眼来观察箱梁的表面是否存在病害，当发现病害时，使用尺子对病害的大小和位置进行测量和记录。由此导致病害检查的效率较低，作业周期较长。

发明内容

为解决或者缓解现有技术中的上述问题，本申请实施例提供了一种基于图像和激光点云检测钢箱梁桥病害的穿戴式设备。

本申请实施例提供的技术方案如下：

一种基于图像和激光点云检测钢箱梁桥病害的穿戴式设备，其包括：

支撑架，包括第一环形背板以及第二环形背板，所述第一环形背板与所述第二环形背板之间设置有连接立柱，以在所述第一环形背板与所述第二环形背板之间形成间隙；

摄像头阵列，包括若干个摄像头以及摄像头固定架，所述摄像头固定架固定在所述支撑架上并位于所述间隙内，所述若干个摄像头沿着所述间隙的周向固定在所述摄像头固定架上，以使得每个摄像头可沿着对应的视场角对钢箱梁桥的表面进行局部拍摄从而得到局部图像；

补光阵列，包括若干个补光模块，设置在所述支撑架上，用于在所述若干个摄像头对所述钢箱梁桥进行图像拍摄时进行补光频闪；

激光扫描模块，设置在所述支撑架上，用于与所述若干个摄像头联动，以在所述若干个摄像头对所述钢箱梁桥的表面进行局部图像拍摄时，同步对所述钢箱梁桥的内部相同的表面进行激光扫描得到激光点云数据。

可选地，在本申请一实施例中，所述若干个摄像头拍摄得到的局部图像发送到所述主机，由所述主机进行拼接从而形成所述钢箱梁桥内部的全景图像；所述激光点云数据发送到所述主机，由所述主机基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型；所述主机根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害。

可选地，在本申请一实施例中，所述主机根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的箱梁内表面是否具有病害，包括：所述主机对所述三维模型上的全景图像进行表面特征分析，以检测所述钢箱梁桥的表面是否具有病害。

可选地，在本申请一实施例中，所述主机将所述钢箱梁桥的箱梁内部的全景图像融合到所述三维模型上，得到融合模型，包括：所述主机对组成所述全景图像的局部图像通过时间戳对齐得到同一时间戳对应的扫描仪姿态，基于所述摄像头阵列与所述激光扫描模块固定的位置关系，解算所述扫描仪姿态以得到所述局部图像在所述三维模型中的位置，以将所述全景图像添加到所述三维模型的表面。

可选地，在本申请一实施例中，所述病害包括裂缝、锈蚀、变形中至少其一，所述主机根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害，包括：

根据所述钢箱梁桥的局部图像，根据计算机视觉训练模型，识别所述局部图像是否存在病害，若存在进行标记，并对标记的区域进行识别分类，以检测所述钢箱梁桥的表面是否出现裂缝；

根据所述钢箱梁桥的局部图像，根据计算机视觉训练模型，识别所述局部图像是否存在病害，若存在进行标记，并对标记的区域进行识别分类，以检测所述钢箱梁桥的表面是否出现锈蚀；

根据所述钢箱梁桥的局部图像，根据计算机视觉训练模型，识别所述局部图像是否存在病害，若存在进行标记，并对标记的区域进行识别分类，以检测所述钢箱梁桥的表面是否出现渗水；

将检测出的病害，映射到所述三维模型上。

可选地，在本申请一实施例中，所述穿戴式设备还可以包括同步触发控制器，用于基于时间戳触发所述激光扫描模块与所述若干个摄像头联动，所述补光模块频闪，以在所述若干个摄像头对所述钢箱梁桥的表面进行局部图像拍摄时，同步对所述钢箱梁桥的内部相同的表面进行激光扫描得到激光点云数据。

可选地，在本申请一实施例中，若干个摄像头拍摄得到的局部图像发送到所述主机，由所述主机进行拼接从而形成所述钢箱梁桥内部的全景图像时，基于若干个摄像头拍摄得到的局部图像的时间戳，将具有相同时间戳的多个局部图像作为一组局部图像，同时匹配对应时间戳的激光扫描模块的位置与姿态信息，通过所述若干个摄像头与激光扫描模块的位置关系以进行拼接从而形成所述钢箱梁桥箱内的全景图像。

可选地，在本申请一实施例中，所述激光点云数据发送到所述主机，由所述主机基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型时，将多个局部的激光点云数据以及时间戳发送到所述主机，由所述主机将点云数据进行三维重构，以对所述点云数据进行融合拼接，并将每次扫描保留的重叠的局部图像进行拼接，以得到所述钢箱梁桥箱内的三维模型。

可选地，在本申请一实施例中，所述若干个摄像头拍摄得到的局部图像发送到所述主机，由所述主机根据各个摄像头的位姿对多个局部图像进行拼接从而形成所述钢箱梁桥内部的全景图像；所述激光点云数据发送到所述主机，由所述主机基于所述全景图像和所述激光点云数据，根据所述激光扫描模块的位姿进行三维重构形成所述钢箱梁桥箱内的三维模型。

可选地，在本申请一实施例中，所述的穿戴式设备还包括：摄像头固定架，所述摄像头固定架的数量与所述摄像头的数量对等，所述摄像头固定架固定在所述第二环形背板上，并对应固定一个摄像头。

可选地，在本申请一实施例中，所述的穿戴式设备还包括：激光扫描模块固定架，所述激光扫描模块固定架固定在所述第一环形背板上，且在所述第一环形背板上的固定位置贯穿所述支撑架，并使得所述激光扫描模块与所述若干个摄像头实现联动。

一种基于图像和激光点云检测钢箱梁桥病害的检测方法，其包括：

获取钢箱梁桥内部表面的局部图像并对其进行拼接从而形成所述钢箱梁桥内部的全景图像；

获取对所述钢箱梁桥的内部相同的表面进行激光扫描得到的激光点云数据以进行三维重构形成所述钢箱梁桥箱内的三维模型；

根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害。

一种电子设备，其存储器以及处理器，所述存储器上存储有计算机可执行程序，所述计算机可执行程序被所述处理器运行时，执行如下步骤：

获取钢箱梁桥内部表面的局部图像并对其进行拼接从而形成所述钢箱梁桥内部的全景图像；

获取对所述钢箱梁桥的内部相同的表面进行激光扫描得到的激光点云数据以进行三维重构形成所述钢箱梁桥箱内的三维模型；

根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害。

本申请中提供的一种基于图像和激光点云检测钢箱梁桥病害的穿戴式设备，其包括：支撑架，包括第一环形背板以及第二环形背板，所述第一环形背板与所述第二环形背板之间设置有连接立柱，以在所述第一环形背板与所述第二环形背板之间形成间隙；摄像头阵列，包括若干个摄像头以及摄像头固定架，所述摄像头固定架固定在所述支撑架上并位于所述间隙内，所述若干个摄像头沿着所述间隙的周向固定在所述摄像头固定架上，以使得每个摄像头可沿着对应的视场角对钢箱梁桥的表面进行局部拍摄从而得到局部图像；补光阵列，包括若干个补光模块，设置在所述支撑架上，用于在所述若干个摄像头对所述钢箱梁桥进行图像拍摄时进行补光频闪；激光扫描模块，设置在所述支撑架上，用于与所述若干个摄像头联动，以在所述若干个摄像头对所述钢箱梁桥的表面进行局部图像拍摄时，同步对所述钢箱梁桥的内部相同的表面进行激光扫描得到激光点云数据，进一步可以使得所述若干个摄像头拍摄得到的局部图像发送到所述主机，由所述主机进行拼接从而形成所述钢箱梁桥内部的全景图像；所述激光点云数据发送到所述主机，由所述主机基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型；所述主机根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害，从而提高了病害检查的效率，缩短了作业周期。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1为本申请实施例基于图像和激光点云检测钢箱梁桥病害的穿戴式设备的结构示意图。

图2为本申请实施例基于图像和激光点云检测钢箱梁桥病害的检测方法流程示意图。

图3为本申请实施例一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

本申请中提供的一种基于图像和激光点云检测钢箱梁桥病害的穿戴式设备，其包括：支撑架，包括第一环形背板以及第二环形背板，所述第一环形背板与所述第二环形背板之间设置有连接立柱，以在所述第一环形背板与所述第二环形背板之间形成间隙；摄像头阵列，包括若干个摄像头以及摄像头固定架，所述摄像头固定架固定在所述支撑架上并位于所述间隙内，且，所述若干个摄像头沿着所述间隙的周向固定在所述摄像头固定架上，以使得每个摄像头可沿着对应的视场角对钢箱梁桥的表面进行局部拍摄从而得到局部图像；补光阵列，包括若干个补光模块，设置在所述支撑架上，用于在所述若干个摄像头对所述钢箱梁桥进行图像拍摄时进行补光频闪；激光扫描模块，设置在所述支撑架上，用于与所述若干个摄像头联动，以在所述若干个摄像头对所述钢箱梁桥的表面进行局部图像拍摄时，同步对所述钢箱梁桥的内部相同的表面进行激光扫描得到激光点云数据，进一步可以使得所述若干个摄像头拍摄得到的局部图像发送到所述主机，由所述主机进行拼接从而形成所述钢箱梁桥内部的全景图像；所述激光点云数据发送到所述主机，由所述主机基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型；所述主机根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害，从而提高了病害检查的效率，缩短了作业周期。

图1为本申请实施例基于图像和激光点云检测钢箱梁桥病害的穿戴式设备的结构示意图。如图1所示，其包括：

支撑架101，包括第一环形背板111以及第二环形背板121，所述第一环形背板111与所述第二环形背板121之间设置有连接立柱131，以在所述第一环形背板111与所述第二环形背板121之间形成间隙；

摄像头阵列，包括若干个摄像头122以及摄像头固定架132，所述摄像头固定架固定在所述支撑架上并位于所述间隙内，且，所述若干个摄像头沿着所述间隙的周向固定在所述摄像头固定架上，以使得每个摄像头可沿着对应的视场角对钢箱梁桥的表面进行局部拍摄从而得到局部图像；

补光阵列，包括若干个补光模块113，设置在所述支撑架101上，用于在所述若干个摄像头固定架122对所述钢箱梁桥进行图像拍摄时进行补光频闪；

激光扫描模块114，设置在所述支撑架101上，用于与所述若干个摄像头联动，以在所述若干个摄像头对所述钢箱梁桥的表面进行局部图像拍摄时，同步对所述钢箱梁桥的内部相同的表面进行激光扫描得到激光点云数据。

可选地，在本申请一实施例中，所述若干个摄像头拍摄得到的局部图像发送到所述主机，由所述主机进行拼接从而形成所述钢箱梁桥内部的全景图像；所述激光点云数据发送到所述主机，由所述主机基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型；所述主机根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害。

可选地，在本申请一实施例中，所述主机根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的箱梁内表面是否具有病害，包括：所述主机对所述三维模型上的全景图像进行表面特征分析，以检测所述钢箱梁桥的表面是否具有病害。

可选地，在本申请一实施例中，所述主机将所述钢箱梁桥的箱梁内部的全景图像融合到所述三维模型上，得到融合模型，包括：所述主机对所述钢箱梁桥内部的局部图像通过时间戳对齐得到同一时间戳对应的扫描仪姿态，基于所述摄像头阵列与所述激光扫描模块固定的位置关系，解算所述扫描仪姿态以得到所述局部图像在所述三维模型中的位置，以将所述全景图像添加到所述三维模型的表面。

可替代地，在本申请一实施例中，所述病害包括裂缝、锈蚀、变形中至少其一，所述主机根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害，包括：

根据所述钢箱梁桥的局部图像，根据计算机视觉训练模型，识别所述局部图像是否存在病害，若存在进行标记，并对标记的区域进行识别分类，以检测所述钢箱梁桥的表面是否出现裂缝；

根据所述钢箱梁桥的局部图像，根据计算机视觉训练模型，识别所述局部图像是否存在病害，若存在进行标记，并对标记的区域进行识别分类，以检测所述钢箱梁桥的表面是否出现锈蚀；

根据所述钢箱梁桥的局部图像，根据计算机视觉训练模型，识别所述局部图像是否存在病害，若存在进行标记，并对标记的区域进行识别分类，以检测所述钢箱梁桥的表面是否出现渗水；

将检测出的病害，映射到所述三维模型上。

可选地，在本申请一实施例中，所述穿戴式设备还可以包括同步触发控制器，用于基于时间戳触发所述激光扫描模块与所述若干个摄像头联动，所述补光模块频闪，以在所述若干个摄像头对所述钢箱梁桥的表面进行局部图像拍摄时，同步对所述钢箱梁桥的内部相同的表面进行激光扫描得到激光点云数据。

可选地，在本申请一实施例中，若干个摄像头拍摄得到的局部图像发送到所述主机，由所述主机进行拼接从而形成所述钢箱梁桥内部的全景图像时，基于若干个摄像头拍摄得到的局部图像的时间戳，将具有相同时间戳的多个局部图像作为一组局部图像，同时匹配对应时间戳的激光扫描模块的位置与姿态信息，通过所述若干个摄像头与激光扫描模块的位置关系以进行拼接从而形成所述钢箱梁桥箱内的全景图像。

可选地，在本申请一实施例中，所述激光点云数据发送到所述主机，由所述主机基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型时，将多个局部的激光点云数据以及时间戳发送到所述主机，由所述主机将点云数据进行三维重构，以对所述点云数据进行融合拼接，并将每次扫描保留的重叠的局部图像进行拼接，以得到所述钢箱梁桥箱内的三维模型。

可选地，在本申请一实施例中，所述若干个摄像头拍摄得到的局部图像发送到所述主机，由所述主机根据各个摄像头的位姿对多个局部图像进行拼接从而形成所述钢箱梁桥内部的全景图像；所述激光点云数据发送到所述主机，由所述主机基于所述全景图像和所述激光点云数据，根据所述激光扫描模块的位姿进行三维重构形成所述钢箱梁桥箱内的三维模型。

可选地，在本申请一实施例中，所述的穿戴式设备还包括：摄像头固定架，所述摄像头固定架的数量与所述摄像头的数量对等，所述摄像头固定架固定在所述第二环形背板上，并对应固定一个摄像头。

可选地，在本申请一实施例中，所述的穿戴式设备还包括：激光扫描模块固定架，所述激光扫描模块固定架固定在所述第一环形背板上，且在所述第一环形背板上的固定位置贯穿所述支撑架，并使得所述激光扫描模块与所述若干个摄像头实现联动。

图2为本申请实施例基于图像和激光点云检测钢箱梁桥病害的检测方法流程示意图。如图2所示，其包括：

S201、获取钢箱梁桥内部表面的局部图像并对其进行拼接从而形成所述钢箱梁桥内部的全景图像；

S202、获取对所述钢箱梁桥的内部相同的表面进行激光扫描得到的激光点云数据以基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型；

S203、根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害。

本实施例中，所述局部图像基于上述图1的摄像头阵列来拍摄，所述激光点云数据基于上述图1的激光扫描模块来扫描得到，在此不再赘述。

可选地，在本申请一实施例中，所述根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害，包括：

对所述三维模型的全景图像进行表面特征分析，以检测所述钢箱梁桥的表面是否具有病害。

可选地，在本申请一实施例中，所述基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型，包括：

对组成所述全景图像的局部图像通过时间戳对齐得到同一时间戳对应的扫描仪姿态，基于所述摄像头阵列与所述激光扫描模块固定的位置关系，解算所述扫描仪姿态以得到所述局部图像在所述三维模型中的位置，以将所述全景图像添加到所述三维模型的表面。

可选地，在本申请一实施例中，获取到拍摄得到的局部图像进行拼接从而形成所述钢箱梁桥内部的全景图像时，基于若干个摄像头拍摄得到的局部图像的时间戳，将具有相同时间戳的多个局部图像作为一组局部图像，同时匹配对应时间戳的激光扫描模块的位置与姿态信息，通过所述若干个摄像头与激光扫描模块的位置关系以进行拼接从而形成所述钢箱梁桥箱内的全景图像。

可选地，在本申请一实施例中，进行三维重构形成所述钢箱梁桥箱内的三维模型时，获取多个局部的激光点云数据以及时间戳进行三维重构，以对所述点云数据进行融合拼接，并将每次扫描保留的重叠的局部图像进行拼接，以得到所述钢箱梁桥箱内的三维模型。

可选地，在本申请一实施例中，获取拍摄得到的局部图像，并根据对应各个摄像头的位姿对多个局部图像进行拼接从而形成所述钢箱梁桥内部的全景图像；且获取到所述激光点云数据，根据对应所述激光扫描模块的位姿，基于所述全景图像和所述激光点云数据进行三维重构形成所述钢箱梁桥箱内的三维模型。

可选地，在本申请一实施例中，所述病害包括裂缝、锈蚀、变形中至少其一，根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害，包括：

根据所述钢箱梁桥的局部图像，根据计算机视觉训练模型，识别所述局部图像是否存在病害，若存在进行标记，并对标记的区域进行识别分类，以检测所述钢箱梁桥的表面是否出现裂缝；

根据所述钢箱梁桥的局部图像，根据计算机视觉训练模型，识别所述局部图像是否存在病害，若存在进行标记，并对标记的区域进行识别分类，以检测所述钢箱梁桥的表面是否出现锈蚀；

根据所述钢箱梁桥的局部图像，根据计算机视觉训练模型，识别所述局部图像是否存在病害，若存在进行标记，并对标记的区域进行识别分类，以检测所述钢箱梁桥的表面是否出现渗水；

将检测出的病害，映射到所述三维模型上。

图3为本申请实施例一种电子设备的结构示意图。如图3所示，其存储器301以及处理器302，所述存储器上存储有计算机可执行程序，所述计算机可执行程序被所述处理器运行时，执行如下步骤：

获取钢箱梁桥内部表面的局部图像并对其进行拼接从而形成所述钢箱梁桥内部的全景图像；

获取对所述钢箱梁桥的内部相同的表面进行激光扫描得到的激光点云数据以基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型；

根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害。

本申请还提供一种计算机程序产品，其上存储有计算机可执行程序，所述计算机可执行程序被运行时执行如下步骤：

获取钢箱梁桥内部表面的局部图像并对其进行拼接从而形成所述钢箱梁桥内部的全景图像；

获取对所述钢箱梁桥的内部相同的表面进行激光扫描得到的激光点云数据以基于所述激光点云数据和所述全景图像进行三维重构形成所述钢箱梁桥箱内的三维模型；

根据所述钢箱梁桥内部的局部图像和三维模型，检测所述钢箱梁桥的表面是否具有病害。

本申请上述实施例中，采集图像时可以进行补光，有效解决了箱梁内昏暗图像采集困难的问题，实现了单座桥一站式采集箱内表观缺陷。另外，基于扫描数据与图像相互结合的同时，还能为图像补充相机的位置信息以及姿态信息，提高了解算效率以及测量精度；再者，利用激光扫描的方式，采集箱内结构信息从而减少了摄像头采集图像的采集数量，减少了数据冗余的同时还提高了采集效率。通过结合图像和点云数据，运用智能化的动态监测手段，实现了对箱内表观缺陷的三维实景展示和管理。

此处，需要说明的是，上述实施例中，摄像头的数量，补光模块的数量、激光扫描模块的数量不做唯一性限定，对于本领域普通技术人员来说，可以根据应用场景的需求来灵活设置。比如，为了保证补光效果、规避摄像头遮挡等考虑，设置补光模块和摄像头之间的数量以及相互之间的位置关系。

上述实施例中的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以是，但不限于，随机存取存储介质(Random Access Memory，RAM)，只读存储介质(Read Only Memory，ROM)，可编程只读存储介质(Programmable Read-OnlyMemory，PROM)，可擦除只读存储介质(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储介质(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含配置为执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(RAM)、只读存储介质(ROM)、可擦式可编程只读存储介质(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储介质(CD-ROM)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输配置为由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可以以一种或多种程序设计语言或其组合来编写配置为执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络：包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个配置为实现规定的逻辑功能的可执行指令。上述具体实施例中有特定先后关系，但这些先后关系只是示例性的，在具体实现的时候，这些步骤可能会更少、更多或执行顺序有调整。即在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。

当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。