管焊焊缝特征点读取方法、系统、计算机设备及存储介质

技术领域

本发明属于图形数据读取领域，涉及一种管焊焊缝特征点读取方法、系统、计算机设备及存储介质。

背景技术

焊接作为制造业中非常重要的工艺流程，已广泛应用于工业生产的各个部门。传统的焊接生产大多采用手工焊接的模式，焊接过程中产生的弧光、飞溅及烟尘等都会对焊接人员的健康造成威胁，且一般焊接工程量大，生产周期长，焊接人员的理论知识、技术水平及心理等因素也可能影响焊接的质量和效率，因此尽可能减少焊接过程中的人为干扰成为了焊接生产的主流发展趋势。随着制造行业自动化进程的迅速发展，焊接技术也逐步由传统的手工焊接模式向自动化焊接模式发展，但是焊接机器人的应变能力变差，即当实际的焊接条件发生变化时，焊枪也将偏离所示教的路径，影响整体的焊接效果，焊缝自动跟踪是解决这一问题的关键，而实现焊缝跟踪的关键技术问题是焊缝的自动识别，即焊缝特征点的读取。

目前，大多采用以下几个方法进行焊缝特征点的读取：一、利用最小二乘法对焊缝的激光中心线离散点进行直线拟合，通过联立直线方程求交点，实现对焊缝特征点的准确定位。但是，该方法中当焊缝图片中存在较大噪声时会使拟合结果出现偏差。二、利用Hough变换对直线进行拟合。但是，Hough变换对每个边缘点都要进行360次计算，占用大量内存，造成实时性差。同时，Hough变换容易受到干扰，当图像预处理完成后，焊缝图像仍含有部分噪声时，会根据噪声检测出多条直线，并且可能将中断的直线无差别的连接起来，产生错误的拟合数据，导致提取出的特征点精确度难以保证。三、利用目标跟踪算法定位焊缝特征点，常见的目标跟踪算法如KCF及ECO等。但是，这些目标跟踪算法在跟踪有干扰的焊缝特征点时会出现漂移现象，稳定性较差，提取的焊缝特征点精确度低。

发明内容

本发明的目的在于克服上述现有技术中，焊缝特征点读取精确度低、实时性较差的缺点，提供一种管焊焊缝特征点读取方法、系统、计算机设备及存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，提供一种管焊焊缝特征点读取方法，包括：获取管焊焊接图片；将管焊焊接图片输入至管焊焊缝特征点检测模型，得到管焊焊接图片的特征点预测框的预测分类值以及特征点预测框的坐标；其中，管焊焊缝特征点检测模型基于改进yolov5模型训练得到，改进yolov5模型通过将yolov5模型的第四层和第六层替换为深度可分离卷积层，以及将第八层替换为空洞卷积层得到；根据特征点预测框的预测分类值得到焊缝特征点的类型，以及根据特征点预测框的坐标得到焊缝特征点的坐标。

可选的，所述管焊焊缝特征点检测模型通过下述方式得到：获取若干管焊焊接初始图片，并将若干管焊焊接初始图片进行标准化处理和数据增强处理，得到若干管焊焊接训练图片；采用上坡口和下坡口两类标签分别对各管焊焊接训练图片进行标注，得到各管焊焊接训练图片的标注标签；构建改进yolov5模型，并通过若干管焊焊接训练图片和各管焊焊接训练图片的标注标签训练改进yolov5模型，得到管焊焊缝特征点检测模型。

可选的，所述标准化处理包括：通过下式分别对各管焊焊接初始图片进行标准化处理：

其中，y

可选的，所述数据增强处理包括mosaic数据增强处理和mixup数据增强处理中的一种或两种。

可选的，所述通过若干管焊焊接训练图片和各管焊焊接训练图片的标注标签训练改进yolov5模型时，采用的损失函数L如下：

L＝L

其中，L

其中，w

L

可选的，所述根据特征点预测框的预测分类值得到焊缝特征点的类型包括：当特征点预测框的预测分类值为0时，焊缝特征点的类型为上坡口焊缝特征点；当特征点预测框的预测分类值为1时，焊缝特征点的类型为下坡口焊缝特征点；其中，预测分类值为0表示分类类型为上坡口，预测分类值为1表示分类类型为下坡口；所述根据特征点预测框的坐标得到焊缝特征点的坐标包括：

根据特征点预测框的坐标中的左侧顶端坐标(x

X

可选的，还包括：当管焊焊接图片的特征点预测框为两个，且一个特征点预测框的预测分类值为1，另一个特征点预测框的预测分类值为0时，管焊焊接图片为管焊焊缝图片；当管焊焊接图片的特征点预测框为一个，且特征点预测框的预测分类值为0时，管焊焊接图片为管焊焊点图片；其中，预测分类值为0表示分类类型为上坡口，预测分类值为1表示分类类型为下坡口。

本发明第二方面，提供一种管焊焊缝特征点检测系统，包括：数据获取模块，用于获取管焊焊接图片；模型处理模块，用于将管焊焊接图片输入至管焊焊缝特征点检测模型，得到管焊焊接图片的特征点预测框的预测分类值以及特征点预测框的坐标；其中，管焊焊缝特征点检测模型基于改进yolov5模型训练得到，改进yolov5模型通过将yolov5模型的第四层和第六层替换为深度可分离卷积层，以及将第八层替换为空洞卷积层得到；数据处理模块，用于根据特征点预测框的预测分类值得到焊缝特征点的类型，以及根据特征点预测框的坐标得到焊缝特征点的坐标。

本发明第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述管焊焊缝特征点读取方法的步骤。

本发明第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述管焊焊缝特征点读取方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明管焊焊缝特征点读取方法，基于由改进yolov5模型训练得到的管焊焊缝特征点检测模型，实现管焊焊接图片的特征点预测框的预测分类值以及特征点预测框的坐标的获取，进而根据特征点预测框的预测分类值得到焊缝特征点的类型，以及根据特征点预测框的坐标得到焊缝特征点的坐标。通过采用由改进yolov5模型训练得到的管焊焊缝特征点检测模型，有效提高了管焊焊缝特征点的检测速度，并且可以准确的在噪声干扰的环境下进行焊缝特征点的识别，能够得到焊缝特征点较为准确的坐标信息和类型信息，进而提高自动化焊接效率。

附图说明

图1为本发明实施例的管焊焊缝特征点读取方法流程图。

图2为本发明实施例的焊缝类管焊焊接训练图片标注示意图。

图3为本发明实施例的焊点类管焊焊接训练图片标注示意图。

图4为本发明实施例的管焊焊缝图片的特征点预测框识别示意图。

图5为本发明实施例的管焊焊缝图片的焊缝特征点坐标提取示意图。

图6为本发明实施例的管焊焊点图片的特征点预测框识别示意图。

图7为本发明实施例的管焊焊点图片的焊缝特征点坐标提取示意图。

图8为本发明实施例的管焊焊缝特征点检测系统结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

基于背景技术中提到的问题，近年来逐步兴起的深度学习利用其强大的特征表达能力和自学习能力，能够在各种干扰下通过读取大量图像数据学习目标内在规律和表示层次，已被广泛应用在智能制造、医学影像及自动驾驶等各个方面。因此，本发明将深度学习引入到焊缝特征提取过程中，通过多层卷积神经网络读取大量的焊缝图像数据训练学习焊缝的局部及全局信息特征的模型，使得训练出的模型能够从含有强烈噪声污染的图像中精确找到焊点及焊缝特征点的感兴趣区域，之后精确提取特征点的位置坐标。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明一实施例中，针对现有焊缝特征点提取方法的提取精确度低、实时性较差等缺点，提供一种管焊焊缝特征点读取方法，可以在噪声干扰下，实现快速、准确的焊缝特征点检测，可改善焊缝检测效果差、检测速度慢及漏检率高的问题，进而可以提高自动化焊接的质量和效率。

具体的，该管焊焊缝特征点读取方法包括以下步骤：

S1：获取管焊焊接图片。

S2：将管焊焊接图片输入至管焊焊缝特征点检测模型，得到管焊焊接图片的特征点预测框的预测分类值以及特征点预测框的坐标。

其中，管焊焊缝特征点检测模型基于改进yolov5模型训练得到，改进yolov5模型通过将yolov5模型的第四层和第六层替换为深度可分离卷积层，以及将第八层替换为空洞卷积层得到。

S3：根据特征点预测框的预测分类值得到焊缝特征点的类型，以及根据特征点预测框的坐标得到焊缝特征点的坐标。

本实施方式中，以改进yolov5模型作为管焊焊缝特征点检测模型的基础模型。其中，改进yolov5模型具体是将yolov5模型的第四层和第六层替换为深度可分离卷积层，以及将第八层替换为空洞卷积层得到。基于深度可分离卷积的形式，通过逐通道卷积和逐点卷积，有效减少了冗余参数和权值参数，因此，得到的改进yolov5模型具有更快训练速度和处理速度。yolov5模型是YOLO(You Only Look Once)模型的v5版本，YOLO模型是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，可以用于实时系统。

具体的，改进yolov5模型的主干部分的第一层和第二层为普通的卷积层，因其感受野较小，主要用来提取焊缝的边缘位置等浅层特征，同时为了不影响模型整体性能，减少参数数量及运算成本。第四层和第六层设置为深度可分离卷积层，实现了通道和区域的分离。第八层设置为空洞卷积层，它在不增加计算参数和计算量的情况下，扩大了卷积核的感受野，提取到焊缝更抽象的信息，可以近一步提高焊缝这种小目标的检测识别率。设置空洞卷积层的空洞率dilation为2，以卷积核k为3*3为例，空洞卷积层实际的大小S＝dilation*(k-1)+1，因此实际的卷积核尺寸为5*5，空洞的部分填充了0。

本实施方式中，管焊焊接图片利用结构光视觉系统进行拍摄获取。一般的，在机器人焊接任务中主要用CCD相机和线激光器来采管焊焊接图片。其中，线激光器发射出的光线打到被焊接工件上，通过相机的镜头透射到CCD相机来采集管焊焊接图片。同时，由于焊接过程中存在弧光、飞溅及烟尘的影响，因此一般会安装金属挡板把CCD相机和焊枪有效地进行隔离，同时加入防护罩进行机械防护，也可在CCD相机镜头前加入滤光片可以减弱弧光的影响。

综上所述，本发明管焊焊缝特征点读取方法，基于由改进yolov5模型训练得到的管焊焊缝特征点检测模型，实现管焊焊接图片的特征点预测框的预测分类值以及特征点预测框的坐标的获取，进而根据特征点预测框的预测分类值得到焊缝特征点的类型，以及根据特征点预测框的坐标得到焊缝特征点的坐标。通过采用由改进yolov5模型训练得到的管焊焊缝特征点检测模型，有效提高了管焊焊缝特征点的检测速度，并且可以准确的在噪声干扰的环境下进行焊缝特征点的识别，能够得到焊缝特征点较为准确的坐标信息和类型信息，进而提高自动化焊接效率。

在一种可能的实施方式中，所述管焊焊缝特征点检测模型通过下述方式得到：获取若干管焊焊接初始图片，并将若干管焊焊接初始图片进行标准化处理和数据增强处理，得到若干管焊焊接训练图片；采用上坡口和下坡口两类标签分别对各管焊焊接训练图片进行标注，得到各管焊焊接训练图片的标注标签；构建改进yolov5模型，并通过若干管焊焊接训练图片和各管焊焊接训练图片的标注标签训练改进yolov5模型，得到管焊焊缝特征点检测模型。

其中，管焊焊接初始图片除现场采集到的部分外，还包括通过图像裁剪、图像模糊及加入高斯噪声后合成的部分，其中合成的部分可以由焊接前采集到的清晰的激光条纹和焊接时仅采集到的噪声图片叠加得到，以此方式进一步扩充数据集，提高模型训练效果。

本实施方式中，所采用的标准化处理包括以下步骤：

通过下式分别对各管焊焊接初始图片进行标准化处理：

其中，y

具体的，一般对图像数据进行标准化处理时，默认使用ImageNet的均值和方差。ImageNet是根据WordNet层次结构组织的图像数据库，是一个计算机视觉数据集，作为评估图像分类算法性能的基准。但是，本实施方式中，对于管焊焊缝特征点检测这一具体应用场景，为了提升模型的精度及加速模型收敛，通过计算若干管焊焊接初始图片各像素点的像素值均值和像素值方差，并基于此对各管焊焊接初始图片进行标准化处理操作，进而可以在后续的模型训练过程中，在一定程度上加速模型收敛速度，并提升模型的精度。

在一种可能的实施方式中，所述数据增强处理包括mosaic数据增强处理和mixup数据增强处理中的一种或两种。

具体的，针对mosaic数据增强处理，即将随机的四张管焊焊接初始图片进行随机的裁剪，再拼接到一张图上作为管焊焊接训练图片。针对mixup数据增强处理，即将随机的两张管焊焊接初始图片按比例混合后生成新的管焊焊接初始图片，将新的管焊焊接初始图片作为管焊焊接训练图片，提升模型的泛化能力。

此外，所有管焊焊接初始图片在后续的训练中均作为管焊焊接训练图片。

参见图2和3，在对管焊焊接训练图片进行标注时，采用上坡口和下坡口两类标签进行标注，进而可根据这两类类型区分焊缝和焊点，进一步降低环境噪声干扰的影响，使得最终得到的管焊焊缝特征点检测模型具有较高的检测精度。

其中，具体进行标注时可以采用LabelImg进行人工标注。LabelImg是用Python编写的一个图形化的图像注解工具，通常用于在图形中标记对象边界框。

在一种可能的实施方式中，所述通过若干管焊焊接训练图片和各管焊焊接训练图片的标注标签训练改进yolov5模型时，采用的损失函数L如下：

L＝L

其中，L

其中，w

L

L

具体的，本实施方式中，认为改进yolov5模型的损失包括矩形框损失、分类损失和置信度损失，以最小化损失函数为优化目标进行训练，使改进yolov5模型达到收敛状态，逐渐减少改进yolov5模型的预测误差。其中，在训练时，采用反向传播的训练方式进行模型参数的优化。当训练完成后，输出并保留最优的模型参数，并配置给改进yolov5模型得到管焊焊缝特征点检测模型。其中，置信度表征预测的可靠程度，置信度值越大，则该预测框越接近标注框。可选的，置信度值可以采用特征点标注框与特征点预测框之间的矩形框损失值。

在一种可能的实施方式中，所述根据特征点预测框的预测分类值得到焊缝特征点的类型包括：当特征点预测框的预测分类值为0时，焊缝特征点的类型为上坡口焊缝特征点；当特征点预测框的预测分类值为1时，焊缝特征点的类型为下坡口焊缝特征点；其中，预测分类值为0表示分类类型为上坡口，预测分类值为1表示分类类型为下坡口。

在一种可能的实施方式中，所述根据特征点预测框的坐标得到焊缝特征点的坐标包括：根据特征点预测框的坐标中的左侧顶端坐标(x

其中，每个特征点预测框对一个焊缝特征点，对于不同的特征点预测框，分别采用上述的方式进行独立计算即可得到不同焊缝特征点的坐标。

在一种可能的实施方式中，所述管焊焊缝特征点读取方法还包括以下步骤：

当管焊焊接图片的特征点预测框为两个，且一个特征点预测框的预测分类值为1，另一个特征点预测框的预测分类值为0时，管焊焊接图片为管焊焊缝图片；当管焊焊接图片的特征点预测框为一个，且特征点预测框的预测分类值为0时，管焊焊接图片为管焊焊点图片。

具体的，可以通过特征点预测框的数量和各特征点预测框的预测分类值，来确定当前的管焊焊接图片是管焊焊缝图片还是管焊焊点图片，进而可以将该信息传输至焊接机器人，辅助其进行高质量的自动化焊接过程。

此外，对于管焊焊点图片，即仅存在一个特征点预测框且为特征点预测框的预测分类值为0时，对于这种情况，在焊接机器人需要下坡口焊缝特征点坐标时，可以直接将上一帧管焊焊接图片的下坡口焊缝特征点坐标作为当前帧管焊焊接图片的下坡口焊缝特征点坐标。

参见图4，示出了管焊焊缝图片通过本发明管焊焊缝特征点读取方法后得到的特征点预测框识别结果。参见图5，示出了管焊焊缝图片通过本发明管焊焊缝特征点读取方法后得到的焊缝特征点坐标。参见图6，示出了管焊焊点图片通过本发明管焊焊缝特征点读取方法后得到的特征点预测框识别结果。参见图7，示出了管焊焊点图片通过本发明管焊焊缝特征点读取方法后得到的焊缝特征点坐标。可见，本发明管焊焊缝特征点读取方法能够对焊缝特征点实现准确检测。

在一种可能的实施方式中，采用本发明管焊焊缝特征点读取方法对某一批具体的管焊焊接图片进行了焊缝特征点检测，最终，管焊焊缝特征点检测模型的精确度为0.959，召回率为0.935，交并比0.5时的平均精度值为0.968，交并比从0.5变化至0.95时的平均精度值为0.6。可见，本发明管焊焊缝特征点检测模型具有较高的检测精度，可以实现对焊缝特征点的准确识别。

综上所述，本发明管焊焊缝特征点读取方法，基于改进yolov5模型训练得到管焊焊缝特征点检测模型，可有效解决传统焊缝特征点在强弧光、飞溅及烟尘等干扰下提取低效及精度较低等问题，主要通过对管焊焊接训练图片进行人工标注，构建训练数据集并将其输入到改进yolov5模型进行训练，然后基于管焊焊缝特征点检测模型对焊缝特征点进行预测，可以根据预测结果快速准确的区分管焊的焊缝和焊点，为焊接机器人提供实时准确的焊缝特征点坐标，提高焊接效率。

下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未披露的细节，请参照本发明方法实施例。

参见图8，本发明再一实施例中，提供一种管焊焊缝特征点检测系统，能够用于实现上述的管焊焊缝特征点读取方法，具体的，该管焊焊缝特征点检测系统包括数据获取模块、模型处理模块以及数据处理模块。

其中，数据获取模块用于获取管焊焊接图片；模型处理模块用于将管焊焊接图片输入至管焊焊缝特征点检测模型，得到管焊焊接图片的特征点预测框的预测分类值以及特征点预测框的坐标；其中，管焊焊缝特征点检测模型基于改进yolov5模型训练得到，改进yolov5模型通过将yolov5模型的第四层和第六层替换为深度可分离卷积层，以及将第八层替换为空洞卷积层得到；数据处理模块用于根据特征点预测框的预测分类值得到焊缝特征点的类型，以及根据特征点预测框的坐标得到焊缝特征点的坐标。

在一种可能的实施方式中，所述管焊焊缝特征点检测模型通过下述方式得到：获取若干管焊焊接初始图片，并将若干管焊焊接初始图片进行标准化处理和数据增强处理，得到若干管焊焊接训练图片；采用上坡口和下坡口两类标签分别对各管焊焊接训练图片进行标注，得到各管焊焊接训练图片的标注标签；构建改进yolov5模型，并通过若干管焊焊接训练图片和各管焊焊接训练图片的标注标签训练改进yolov5模型，得到管焊焊缝特征点检测模型。

在一种可能的实施方式中，所述标准化处理包括：通过下式分别对各管焊焊接初始图片进行标准化处理：

其中，y

在一种可能的实施方式中，所述数据增强处理包括mosaic数据增强处理和mixup数据增强处理中的一种或两种。

在一种可能的实施方式中，所述通过若干管焊焊接训练图片和各管焊焊接训练图片的标注标签训练改进yolov5模型时，采用的损失函数L如下：

L＝L

其中，L

其中，w

在一种可能的实施方式中，所述根据特征点预测框的预测分类值得到焊缝特征点的类型包括：当特征点预测框的预测分类值为0时，焊缝特征点的类型为上坡口焊缝特征点；当特征点预测框的预测分类值为1时，焊缝特征点的类型为下坡口焊缝特征点；其中，预测分类值为0表示分类类型为上坡口，预测分类值为1表示分类类型为下坡口。

在一种可能的实施方式中，所述根据特征点预测框的坐标得到焊缝特征点的坐标包括：根据特征点预测框的坐标中的左侧顶端坐标(x

在一种可能的实施方式中，所述管焊焊缝特征点检测系统还包括图片类型确定模块，图片类型确定模块用于当管焊焊接图片的特征点预测框为两个，且一个特征点预测框的预测分类值为1，另一个特征点预测框的预测分类值为0时，管焊焊接图片为管焊焊缝图片；当管焊焊接图片的特征点预测框为一个，且特征点预测框的预测分类值为0时，管焊焊接图片为管焊焊点图片；其中，预测分类值为0表示分类类型为上坡口，预测分类值为1表示分类类型为下坡口。

前述的管焊焊缝特征点读取方法的实施例涉及的各步骤的所有相关内容均可以援引到本发明施例中的管焊焊缝特征点检测系统所对应的功能模块的功能描述，在此不再赘述。

本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于管焊焊缝特征点读取方法的操作。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关管焊焊缝特征点读取方法的相应步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。