面向船舶安全监管的多尺度目标检测方法、系统及设备

技术领域

本发明涉及船舶监管领域，特别是涉及一种面向船舶安全监管的多尺度目标检测方法、系统及设备。

背景技术

在面向大型油轮复杂环境的船员目标检测实际应用场景中，采集到的图像往往异常复杂，可能存在多个目标，且这些目标可能汇聚在一小片区域内。由于目标大小和形状不一，多个目标可能会相互遮挡，这就导致目标检测算法面临多尺度的检测目标。由于这个问题，许多常用的目标检测算法应用到复杂环境下的目标检测任务时往往出现小目标或极小目标漏检或误检的现象，导致检测精度较低。

发明内容

本发明的目的是提供一种面向船舶安全监管的多尺度目标检测方法、系统及设备，以解决常用的目标检测算法应用到复杂环境下的目标检测任务时出现小目标或极小目标漏检或误检的现象，导致检测精度较低的问题。

为实现上述目的，本发明提供了如下方案：

一种面向船舶安全监管的多尺度目标检测方法，包括：

获取船舶图像，并对所述船舶图像进行增强处理，生成增强后的船舶图像；

将所述增强后的船舶图像输入至改进的YOLOv5s-MS模型中的特征提取部分，提取所述增强后的船舶图像的特征，生成多尺度特征图；所述特征提取部分包括卷积模块、卷积神经网络模块以及金字塔池化模块；所述改进的YOLOv5s-MS模型在YOLOv5s模型的基础上，将第4层与第23层直接连接，将第6层与第26层直接连接；

将所述多尺度特征图输入至所述改进的YOLOv5s-MS模型的特征融合部分，利用多尺度融合和水平方向的跨层连接技术，采用双线性插值上采样方法，对所述多尺度特征图中不同尺度和不同层次的特征信息进行融合处理，生成融合后的特征图；

将所述融合后的特征图输入至所述改进的YOLOv5s-MS模型的定位及分类部分，对所述融合后的特征图进行定位及分类处理，生成不同尺度目标以及不同尺度目标的检测头、预测头、分类头以及回归头；所述不同尺度目标包括大目标、中目标、小目标以及极小目标；所述检测头用于检测不同尺度的目标；所述预测头用于检测不同尺度目标的位置；所述分类头用于预测不同尺度目标的类别；所述回归头用于调整所述预测头输出的不同尺度的目标框的位置和尺寸。

可选的，所述将所述增强后的船舶图像输入至改进的YOLOv5s-MS模型中的特征提取部分，提取所述增强后的船舶图像的特征，生成多尺度特征图，具体包括：

利用所述卷积神经网络模块将所述增强后的船舶图像分成两部分图像，分别对所述两部分图像进行卷积操作；

合并卷积操作后的图像，生成不同尺度的特征图；

利用金字塔池化模块对不同尺度的特征图进行池化处理，获取多尺度特征信息，生成多尺度特征图。

可选的，所述卷积神经网络模块，具体包括：依次连接的第一个卷积计算单元、瓶颈层单元、拼接操作单元以及第二个卷积计算单元；其中，所述拼接操作单元用于拼接经第一个卷积计算单元卷积计算后的特征图以及经所述瓶颈层单元处理后的特征图。

可选的，所述瓶颈层单元，具体包括：依次连接的两个瓶颈卷积单元以及相加操作单元；其中，所述相加操作单元用于相加输入瓶颈层的特征图的通道维度以及输出所述瓶颈层的特征图的通道维度。

可选的，所述金字塔池化模块，具体包括：依次连接的第一个卷积模块、三个最大池化操作单元、拼接操作单元以及第二个卷积模块；其中，所述拼接操作用于拼接经过三个所述最大池化操作单元处理后的三个最大池化操作后的特征图。

可选的，所述特征融合部分，具体包括：依次连接的三个卷积及上采样模块以及三个目标输出模块；其中，所述卷积及上采样模块包括依次连接的卷积模块、上采样操作单元、拼接单元以及瓶颈层单元；所述目标输出模块包括依次连接的卷积模块、拼接操作单元以及瓶颈层单元；第一个所述卷积及上采样模块中的卷积模块与所述第三个所述目标输出模块中的拼接单元相连接；第二个所述卷积及上采样模块中的卷积模块与第二个所述目标输出模块中的拼接单元相连接；第二个所述卷积及上采样模块中的瓶颈层单元与第一个所述目标输出模块中的卷积模块相连接。

可选的，检测所述极小目标时，所述检测头采用4倍下采样方式进行检测；

检测所述小目标时，所述检测头采用8倍下采样方式进行检测；

检测所述中目标时，所述检测头采用16倍下采样方式进行检测；

检测所述大目标时，所述检测头采用32倍下采样方式进行检测。

一种面向船舶安全监管的多尺度目标检测系统，包括：

获取船舶图像，并对所述船舶图像进行增强处理，生成增强后的船舶图像；

将所述增强后的船舶图像输入至改进的YOLOv5s-MS模型中的特征提取部分，提取所述增强后的船舶图像的特征，生成多尺度特征图；所述特征提取部分包括卷积模块、卷积神经网络模块以及金字塔池化模块；所述改进的YOLOv5s-MS模型在YOLOv5s模型的基础上，将第4层与第23层直接连接，将第6层与第26层直接连接；

将所述多尺度特征图输入至所述改进的YOLOv5s-MS模型的特征融合部分，利用多尺度融合和水平方向的跨层连接技术，采用双线性插值上采样方法，对所述多尺度特征图中不同尺度和不同层次的特征信息进行融合处理，生成融合后的特征图；

将所述融合后的特征图输入至所述改进的YOLOv5s-MS模型的定位及分类部分，对所述融合后的特征图进行定位及分类处理，生成不同尺度目标以及不同尺度目标的检测头、预测头、分类头以及回归头；所述不同尺度目标包括大目标、中目标、小目标以及极小目标；所述检测头用于检测不同尺度的目标；所述预测头用于检测不同尺度目标的位置；所述分类头用于预测不同尺度目标的类别；所述回归头用于调整所述预测头输出的不同尺度的目标框的位置和尺寸。

一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述任一项所述的面向船舶安全监管的多尺度目标检测方法。

一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的面向船舶安全监管的多尺度目标检测方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种面向船舶安全监管的多尺度目标检测方法、系统及设备，在YOLOv5s模型的基础上，将第4层与第23层直接连接，将第6层与第26层直接连接，构建改进的YOLOv5s-MS模型，从而使得更多的特征信息进行融合，解决了信息丢失的问题，从而使得改进的YOLOv5s-MS模型更好地适应不同尺度的目标，进而能够更准确的检测出小目标或极小目标；此外，本发明针对不同尺度的目标增加更小尺度的检测头，从而能够更好地处理小目标特征或极小目标特征，进而提高了小目标或极小目标的检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的面向船舶安全监管的多尺度目标检测方法流程图；

图2为本发明所提供的改进的YOLOv5s-MS模型结构图；

图3为本发明所提供的特征提取部分结构示意图；

图4为本发明所提供的CBL模块细节图；

图5为本发明所提供的BottleneckGSCSP细节图；

图6为本发明所提供的BottleneckGS细节图；

图7为本发明所提供的GSConv细节图；

图8为本发明所提供的SPPF模块细节图；

图9为本发明所提供的特征融合部分结构示意图；

图10为本发明所提供的定位和分类部分示意图；

图11为本发明所提供的YOLOv5s简化节点图；

图12为本发明所提供的双线性插值示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种面向船舶安全监管的多尺度目标检测方法、系统及设备，能够更准确的检测出小目标或极小目标，提高了小目标或极小目标的检测精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1所示，本发明提供了一种面向船舶安全监管的多尺度目标检测方法，包括：

步骤101：获取船舶图像，并对所述船舶图像进行增强处理，生成增强后的船舶图像。

步骤102：将所述增强后的船舶图像输入至改进的YOLOv5s-MS模型中的特征提取部分，提取所述增强后的船舶图像的特征，生成多尺度特征图；所述特征提取部分包括卷积模块、卷积神经网络模块以及金字塔池化模块；所述改进的YOLOv5s-MS模型在YOLOv5s模型的基础上，将第4层与第23层直接连接，将第6层与第26层直接连接。

虽然YOLOv5s在多尺度目标检测和小目标检测上已经取得了很好的结果，但仍存在一些问题。

对于多尺度目标检测，YOLOv5s采用了特征金字塔网络(FPN)和跨阶段连接(PANet)来处理不同尺度的特征图，但是这种方法可能会导致检测精度下降或计算成本增加。此外，多尺度检测还面临着目标在不同尺度下大小和形状的变化，这会对检测器造成困难。

对于小目标检测，虽然YOLOv5s采用了多尺度特征融合的方式来增加小目标的检测精度，但在实际应用中，仍存在小目标漏检或误检的情况。由于小目标的像素值较少，其特征在卷积层中可能被忽略，而且在图像中小目标通常会被大目标遮挡，导致检测难度增加。

为了解决这些问题，本发明提出了增加更小尺度的特征检测头，增加后的检测头可检测四类尺度的目标，即极小目标、小目标、中目标和大目标。通过增加更小尺度的特征检测头，可以更好地处理小目标的特征，提高检测精度。同时，通过增加检测头的数量和尺度，可以更好地处理目标在不同尺度下的大小和形状变化，提高检测器的鲁棒性。

YOLOv5s的特征金字塔结构中，随着特征图逐层下采样，尺度逐渐变小，导致高层特征图中的语义信息较弱，难以准确检测小目标。

改进的YOLOv5s-MS模型如图2所示，其中，Conv[6,2]为卷积操作中卷积核大小为6×6，卷积步长为2，Conv[3,2]为卷积操作中卷积核大小为3×3，卷积步长为2，Conv[1,1]为卷积操作中卷积核大小为1×1，卷积步长为1，GSCSP1_1为此操作在特征提取阶段即Backbone中重复一次此操作，GSCSP1_2为此操作在特征提取阶段即Backbone中重复两次此操作，GSCSP1_3为此操作在特征提取阶段即Backbone中重复三次此操作，GSCSP2_1为特征融合阶段即Neck中重复1次此操作，GSCSP2_2为特征融合阶段即Neck中重复两次此操作，UpSample为双线性插值上采样操作，本发明将YOLOv5sMS模型中的第4层与第23层相连接，第6层与第26层相连接，将更多的特征信息进行融合，从而解决了信息丢失的问题。这样的结构使得模型可以更好地适应不同尺度的目标，并且对于小目标的检测也有更好的表现。

特征提取部分如图3所示，输入图像大小为H*W*3，CBL为卷积模块，BottleneckGSCSP1_X中1表示特征提取阶段，X表示该模块的重复次数。

特征提取部分使用BottleneckGSCSP与SPPF结合，用于提取输入图像的特征；BottleneckGSCSP是一种卷积神经网络模块，可以有效地提高模型的性能，并减少模型参数的数量；通过将输入特征图分成两个部分，然后在这两个部分上分别进行卷积操作，最后将它们合并起来，从而实现了高效的特征提取。SPPF模块是一种金字塔池化模块，可以通过对不同尺度的特征图进行池化，从而获取多尺度的特征信息；这种模块可以提高模型对不同大小的目标的检测能力，同时减少了模型的计算量。

在实际应用中，所述步骤102具体包括：利用所述卷积神经网络模块将所述增强后的船舶图像分成两部分图像，分别对所述两部分图像进行卷积操作；合并卷积操作后的图像，生成不同尺度的特征图；利用金字塔池化模块对不同尺度的特征图进行池化处理，获取多尺度特征信息，生成多尺度特征图。

如图4所示，输入为通道数为C

如图5所示，输入为通道数为C

如图6所示，输入为通道数为C

在实际应用中，如图8所示，输入为通道数为C

步骤103：将所述多尺度特征图输入至所述改进的YOLOv5s-MS模型的特征融合部分，利用多尺度融合和水平方向的跨层连接技术，采用双线性插值上采样方法，对所述多尺度特征图中不同尺度和不同层次的特征信息进行融合处理，生成融合后的特征图。

在实际应用中，如图9所示，输入为经过特征提取部分后的特征图，输出为大小分别为大、中、小、极小目标的检测头，所述特征融合部分，具体包括：依次连接的三个卷积及上采样模块以及三个目标输出模块；其中，所述卷积及上采样模块包括依次连接的卷积模块、上采样操作单元、拼接单元以及瓶颈层单元；所述目标输出模块包括依次连接的卷积模块、拼接操作单元以及瓶颈层单元；第一个所述卷积及上采样模块中的卷积模块与所述第三个所述目标输出模块中的拼接单元相连接；第二个所述卷积及上采样模块中的卷积模块与第二个所述目标输出模块中的拼接单元相连接；第二个所述卷积及上采样模块中的瓶颈层单元与第一个所述目标输出模块中的卷积模块相连接。

特征融合部分使用了多尺度融合和水平方向的跨层连接技术，可以同时处理不同尺度和不同层次的特征信息，从而提高了模型的性能和效率。使用多尺度融合，将不同层次的特征图进行融合，从而提高了模型对不同尺度目标的检测能力。模型中使用了上采样和下采样操作，将低分辨率的特征图上采样到与高分辨率的特征图相同的尺度，然后将它们进行拼接，从而获得多尺度的特征图。这种融合方法可以在不增加计算量的情况下提高模型的性能。使用跨层连接，可以将低层特征图的信息传递给高层特征图，从而提高模型对小目标的检测能力。跨层连接技术可以提高模型对不同尺度目标的检测能力，并且减少了模型的计算量。

步骤104：将所述融合后的特征图输入至所述改进的YOLOv5s-MS模型的定位及分类部分，对所述融合后的特征图进行定位及分类处理，生成不同尺度目标以及不同尺度目标的检测头、预测头、分类头以及回归头；所述不同尺度目标包括大目标、中目标、小目标以及极小目标；所述检测头用于检测不同尺度的目标；所述预测头用于检测不同尺度目标的位置；所述分类头用于预测不同尺度目标的类别；所述回归头用于调整所述预测头输出的不同尺度的目标框的位置和尺寸。

如图10所示，假设输入图像大小为416*416，检测头分别为4、8、16、32倍下采样，输出特征向量大小分别为104*104、52*52、26*26、13*13，分别检测图像中极小目标、小目标、中目标、大目标。其中，检测所述极小目标时，所述检测头采用4倍下采样方式进行检测；检测所述小目标时，所述检测头采用8倍下采样方式进行检测；检测所述中目标时，所述检测头采用16倍下采样方式进行检测；检测所述大目标时，所述检测头采用32倍下采样方式进行检测。

目标定位和分类部分中包含预测头、分类头和回归头，通过这些头部的组合，模型可以同时完成目标的定位和分类任务。其中，预测头用于检测目标的位置。具体地，通过卷积操作将输入特征图映射到与目标框数量相同的输出特征图上，并且预测每个目标框的中心点坐标、宽度、高度以及目标存在的置信度。这些预测结果可以用于定位和筛选目标框。分类头用于预测目标的类别。将预测头输出的特征图作为输入，并通过卷积操作将其映射到与目标类别数量相同的输出特征图上。然后，每个目标框的特征向量将用于预测目标所属的类别。回归头用于对预测头输出的目标框进行微调。具体地，将预测头输出的特征图作为输入，并通过卷积操作将其映射到与预测头输出相同的输出特征图上。然后，每个目标框的特征向量将用于微调目标框的位置和尺寸。

本发明将图2的模型结构中重复的部分结构合并为单个节点，简化后的节点图如图11所示。图11中，Backbone的第i级特征提取层由Bi表示，自下而上和自上而下的特征金字塔特征提取层分别由Pi和Ni表示，不同深度输出的特征图通过Hi表示，i＝1，2，3或4。

本发明重新设计YOLOv5s中Neck部分的Bottleneck模块结构，使用GSConv代替部分常规卷积块，可以有效地保证模型的轻量化，并更好的保留模型特征信息。重新设计的瓶颈层单元如图5-图6所示。更改后的BottleneckGS由两个GSConv串联和一个shortcut组成，其中第一个GSConv输出特征图通道数为BottleneckGS输出特征图通道数的一半。并以BottleneckGS重新设计YOLOv5s中Neck部分的BottleneckCSP模块，新模块命名为BottleneckGSCSP，其中以BottleneckGS代替Bottleneck，输入特征图首先通过一个常规卷积块，之后分为两个支路，支路一通过数个BottleneckGS模块，然后与支路二拼接，最后通过一个常规卷积块输出特征图。

YOLOv5的Neck部分中使用FPN进行特征金字塔网络处理，通过上采样来提高特征图的分辨率，以更好地捕捉特征图中不同尺度和特征的物体，从而提高目标检测准确率。在YOLOv5中，使用最近邻采样(Nearestneighbor sampling)来进行上采样处理，这种方法具有简单、快速、计算量小的优点，对于特征图上密集分布的目标效果较好。然而，最近邻采样的缺点是会产生锯齿状的边缘，因为它只是将目标像素的值设置为最近邻像素的值，而不是对周围像素进行加权平均。此外，最近邻采样还容易引入一些噪声，因为输入像素的变化可能比较剧烈，导致输出像素值的变化也比较剧烈。本文提出使用双线性插值采样(bilinear interpolation sampling)来代替最近邻采样，虽然双线性插值的计算速度稍慢，但在图像上下文的保留和处理细节上表现更好。双线性插值的基本思想是在原始图像中找到目标像素周围的四个最近邻像素，然后利用这四个像素的灰度值来计算目标像素的灰度值。相较于最近邻采样，双线性插值采样能够更好地保留图像的细节和纹理，从而提高特征图的质量，进而提高目标检测的准确性。

双线性插值是一种常用的图像上采样方法，可以将低分辨率图像增强到高分辨率。在图像上采样中，由于低分辨率图像中的像素数量比高分辨率图像少，因此需要使用插值方法来估算缺失的像素值。

双线性插值方法基于以下两个假设：1)图像中像素之间的变化是连续的；2)一个像素的值可以通过其周围4个像素的值进行估算。

具体来说，对于要放大的图像上的每个像素，双线性插值方法会在低分辨率图像中找到其最近的四个像素，然后使用这四个像素的值来估算目标像素的值。这种方法计算简单、效果较好，可以在保持图像平滑的同时增强细节，在图像处理中，双线性插值上采样法的作用是通过增加像素数量来提高图像分辨率和清晰度。

假设有一个低分辨率图像，其像素值存储在矩阵中，矩阵的大小为M×N，现在要将该图像上采样，使其变成高分辨率图像，大小为pM×pN，在进行上采样之前，需要计算出新图像中每个像素的值。

对于新图像中的一个像素，可以先找到其在低分辨率图像中对应的位置。为了方便起见，假设这个位置是(x,y)，其中，x和y是实数。接下来，需要找到低分辨率图像中最接近这个位置的4个像素，分别是Q

如图12所示，假设目标像素点为P(x,y)，以f(P)表示坐标，已知其周围四个像素点Q

将式(1)和式(2)带入式(3)得到：

由于目标检测任务需要对整张图像进行回归，而图像中可能存在一些目标比较小、遮挡或者光照等情况，这些情况下的图像往往比较难以检测到。同时，数据集中也可能存在一些类别比较少见或者特定场景下出现较少的目标，这些目标也很难被正确检测到。这种不平衡会导致模型对小目标的检测能力不足，容易漏检。为解决样本失衡问题，可以通过在损失函数中采用加权策略，可以有效地提高模型对于少数类别的检测能力，同时也可以提高模型的准确率和召回率。

在YOLOv5s中使用二元交叉熵(BCELoss)来计算分类损失，其公式如下：

在式(5)中，y

FL

可将式(6)改写：

FL

在损失函数中，α

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种面向船舶安全监管的多尺度目标检测系统。

一种面向船舶安全监管的多尺度目标检测系统，包括：

获取船舶图像，并对所述船舶图像进行增强处理，生成增强后的船舶图像。

将所述增强后的船舶图像输入至改进的YOLOv5s-MS模型中的特征提取部分，提取所述增强后的船舶图像的特征，生成多尺度特征图；所述特征提取部分包括卷积模块、卷积神经网络模块以及金字塔池化模块；所述改进的YOLOv5s-MS模型在YOLOv5s模型的基础上，将第4层与第23层直接连接，将第6层与第26层直接连接。

将所述多尺度特征图输入至所述改进的YOLOv5s-MS模型的特征融合部分，利用多尺度融合和水平方向的跨层连接技术，采用双线性插值上采样方法，对所述多尺度特征图中不同尺度和不同层次的特征信息进行融合处理，生成融合后的特征图。

将所述融合后的特征图输入至所述改进的YOLOv5s-MS模型的定位及分类部分，对所述融合后的特征图进行定位及分类处理，生成不同尺度目标以及不同尺度目标的检测头、预测头、分类头以及回归头；所述不同尺度目标包括大目标、中目标、小目标以及极小目标；所述检测头用于检测不同尺度的目标；所述预测头用于检测不同尺度目标的位置；所述分类头用于预测不同尺度目标的类别；所述回归头用于调整所述预测头输出的不同尺度的目标框的位置和尺寸。

实施例三

本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一提供的面向船舶安全监管的多尺度目标检测方法。

在实际应用中，上述电子设备可以是服务器。

在实际应用中，电子设备包括：至少一个处理器(processor)、存储器(memory)、总线及通信接口(Communications Interface)。

其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。

通信接口，用于与其它设备进行通信。

处理器，用于执行程序，具体可以执行上述实施例所述的方法。

具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。

处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

基于以上实施例的描述，本申请实施例提供一种存储介质，其上存储有计算机程序指令，计算机程序指令可被处理器执行以实现任意实施例所述的方法

本申请实施例提供的面向船舶安全监管的多尺度目标检测系统以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供语音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网性能。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据交互功能的电子设备。

至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、

数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带、磁盘存储或其他磁性存储设备

或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。