一种物体检测方法、装置、终端设备及存储介质

技术领域

本发明属于物体检测技术领域，尤其涉及一种物体检测方法、装置、终端设备及存储介质。

背景技术

物体检测是计算机视觉中的经典问题之一，其任务是用框(bounding box)去标出图像中物体的位置，并给出物体的类别。从传统的人工设计特征加浅层分类器的框架，到基于深度学习的端到端的检测框架，物体检测一步步变得愈加成熟。目前，物体检测技术广泛应用于机器人，以实现机器人手眼协调抓取物体的功能，机器人在手眼协调抓取物体时，不仅需要知道物体在哪，还需要知道物体的类别信息，这样机器人才能在对应的位置抓取指定的物体。传统的物体检测方法需要对物体进行三维建模，耗时较长且只支持检测少量类别的物体。

发明内容

有鉴于此，本发明实施例提供了一种物体检测方法、装置、终端设备及存储介质，以解决传统的物体检测方法需要对物体进行三维建模，耗时较长且只支持检测少量类别的物体的问题。

本发明实施例的第一方面提供了一种物体检测方法，包括：

对RGBD图像进行预处理，确定所述RGBD图像是否可用；

当所述RGBD图像可用时，对预处理后的所述RGBD图像进行物体检测，确定预处理后的所述RGBD图像中是否存在物体；

当预处理后的所述RGBD图像中存在物体时，输出物体检测结果，所述物体检测结果包括所述物体的三维位置信息和类别信息。

本发明实施例的第二方面提供了一种物体检测装置，包括：

图像预处理单元，用于对RGBD图像进行预处理，确定所述RGBD图像是否可用；

物体检测单元，用于当所述RGBD图像可用时，对预处理后的所述RGBD图像进行物体检测，确定预处理后的所述RGBD图像中是否存在物体；

结果输出单元，用于当预处理后的所述RGBD图像中存在物体时，输出物体检测结果，所述物体检测结果包括所述物体的三维位置信息和类别信息。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例的第一方面所述的物体检测方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例的第一方面所述的物体检测方法的步骤。

本发明实施例的第一方面提供的物体检测方法，通过对RGBD图像进行预处理，确定所述RGBD图像是否可用，能够有效提高检测物体的成功率；通过当所述RGBD图像可用时，对预处理后的所述RGBD图像进行物体检测，确定预处理后的所述RGBD图像中是否存在物体；当预处理后的所述RGBD图像中存在物体时，输出包括所述物体的三维位置信息和类别信息的物体检测结果，无需对物体进行三维建模，就能获得RGBD图像中物体的三维位置信息和类别信息，耗时较短且能够广泛适用于检测各种类别的物体。

可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的物体检测方法的第一种流程示意图；

图2是本发明实施例提供的物体检测方法的第二种流程示意图；

图3是本发明实施例提供的物体检测方法的第三种流程示意图；

图4是本发明实施例提供的物体检测方法的第四种流程示意图；

图5是本发明实施例提供的物体检测装置的结构示意图；

图6是本发明实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本发明实施例提供的物体检测方法可以应用于具有机械手和RGBD相机，或者，能够与机械手和RGBD相机通信连接的机器人、平板电脑、笔记本电脑、上网本、数字助理(Digital Assistant，PDA)、个人计算机(Personal Computer，PC)、工控机、服务器等终端设备。本发明实施例对终端设备的具体类型不作任何限制。

在应用中，相机可以相对于机械手固定设置，在机械手运动过程中跟随机械手运动，相机可以设置于机械手，以与机械手共同构成眼在手上(eye in hand)或眼在手外(eyeto hand)机械手。

如图1所示，本发明实施例提供的物体检测方法，包括由终端设备的处理器执行的如下步骤S101至S103：

步骤S101、对RGBD图像进行预处理，确定所述RGBD图像是否可用。

在应用中，RGBD图像可以是终端设备控制机械手和RGBD相机进行手眼协调操作时，控制RGBD相机获取的一帧RGBD图像，也可以是终端设备事先已获取并储存的一帧RGBD图像，也即本发明所提供的物体检测方法可以在终端设备控制机械手和RGBD相机进行手眼协调操作的过程中、之前或之后的任意时间执行。

在一个实施例中，步骤S101之前，包括：

通过RGBD相机采集场景的RGBD图像。

在应用中，可以控制RGBD相机采集其视野内的任意场景的RGB图像，例如，流水线、快递仓库、任意工作台面、地面等可以进行手眼协调作业的任意场景。场景中可以包括物体，也可以不包括物体，也即RGBD图像中可以包括物体和背景区域，也可以仅包括物体或背景区域。

在应用中，当RGBD图像不可用时，表明根据该RGBD图像无法或者难以检测出物体，此时，终端设备可自动控制RGBD相机重新采集RGBD图像，也可以等待用户输入进行下一步操作的指令，以根据用户的指令执行下一步操作。

在一个实施例中，步骤S101之后，包括：

当所述RGBD图像不可用时，调整所述RGBD相机的参数，通过所述RGBD相机重新采集所述场景的RGBD图像；

或者，当所述RGBD图像不可用时，通过所述RGBD相机采集下一场景的RGBD图像。

在应用中，当RGBD图像不可用时，可能是因为RGBD相机的分辨率较低、或焦距等性能参数不合适，需要调整RGBD相机的分辨率、焦距等性能参数，以改善RGBD相机的性能。当RGBD图像不可用时或调整RGBD相机的性能参数之后重新采集的同一场景的RGBD图像仍不可用时，都可控制RGBD相机采集下一个场景的RGBD图像。

在一个实施例中，步骤S101之后，包括：

当所述RGBD图像不可用时，输出表征所述RGBD图像不可用的提示信息。

在应用中，表征RGBD图像不可用的提示信息可以通过终端设备所支持的任意人机交互方式输出，例如，该提示信息可以是基于语音器件输出的声音信息，基于显示屏显示的文字、图像、字符画信息，基于指示灯显示的灯光指示信息，基于机械手或振动马达输出的体感信息等。

在应用中，在对RGBD图像进行物体检测之前，可以先对RGBD图像进行预处理，以确定RGBD图像是否可用，便于后续进行物体检测，若RGBD图像不可用，则可输出表征RGBD图像不可用的提示信息。RGBD图像是否可用可以根据RGBD图像的图像特征确定，当RGBD图像的图像特征符合要求时，可以确定RGBD图像可用，否则，可以确定RGBD图像不可用。

如图2所示，在一个实施例中，步骤S101包括如下步骤S201至S203：

步骤S201、将RGBD图像转换为RGB图像。

在应用中，由于RGDB图像的清晰度、亮度、色度、分辨率等图像特征仅与RGBD图像的RGB三个通道的图像信息有关，因此，可以将RGBD图像转换为RGB图像，去除其中的深度信息，以便于对与RGB三个通道的图像信息相关的图像特征进行检测。

步骤S202、对所述RGB图像的图像特征进行检测；其中，所述图像特征包括清晰度、色度、亮度及分辨率中的至少一个；

步骤S203、当所述RGB图像的图像特征检测通过时，确定所述RGBD图像可用。

在应用中，图像特征可以包括但不限于清晰度、亮度、色度、大小、分辨率等，任一特征不符合要求，都可确定RGBD图像不可用，并输出表征RGBD图像不可用的提示信息。当图像特征包括清晰度、色度、亮度及分辨率中的至少两个特征进行检测时，可以依次检测RGB图像的每个特征是否符合要求，在其中一个特征符合要求时，继续检测下一个特征是否符合要求，若检测到某个特征不符合要求，则直接确定RGBD图像不可用，并输出表征RGBD图像不可用的提示信息，当所有特征都符合要求(也即检测通过)时才确定RGBD图像可用。

如图3所示，在一个实施例中，步骤S202之前，包括如下步骤S301和S302：

步骤S301、对所述RGB图像进行裁剪，以截取所述RGB图像中预设区域的RGB图像；

步骤S302、对所述预设区域的RGB图像进行缩放，获得预设大小的RGB图像。

在应用中，由于终端设备在进行物体检测时，通常只检测位于RGBD相机视野中预设区域的物体，并不会对视野中的所有区域都进行物体检测，因此，可以对RGB图像进行裁剪，去除无关的背景区域，只保留预设区域的RGB图像。预设区域可以是RGBD相机的视野中心区域。由于终端设备所采用的物体检测算法通常只支持对固定大小的图像进行检测，因此，需要对预设区域的RGB图像进行缩放，获得物体检测算法所支持的预设大小的RGB图像。

如图3所示，在一个实施例中，步骤S202包括如下步骤S303至S305：

步骤S303、检测所述RGB图像的清晰度；

步骤S304、当所述RGB图像的清晰度大于预设清晰度阈值时，检测所述RGB图像的色度；

步骤S305、当所述RGB图像的色度大于预设色度阈值时，检测所述RGB图像的亮度；

步骤S203包括：

步骤S306、当所述RGB图像的亮度大于预设亮度阈值时，确定所述RGBD图像可用。

在应用中，图像特征可以包括清晰度、色度和亮度，依次检测RGB图像的清晰度、色度和亮度，在前一个特征满足对应的阈值要求时，继续检测下一个特征，在任一个特征不满足对应的阈值要求时，即可确定RGBD图像不可用，并输出表征RGBD图像不可用的提示信息。

在应用中，在RGBD图像的某个特征不符合要求时，也可以对RGBD图像进行相应的优化处理，以改善该特征，然后再次判断RGBD图像的该特征是否符合要求，若仍不符合要求，则确定RGBD图像不可用并输出RGBD图像不可用的提示信息。

如图3所示，在一个实施例中，步骤S101还包括在步骤S305之后执行的如下步骤：

步骤S307、当所述RGB图像的亮度小于或等于预设亮度阈值且在预设亮度范围内时，对所述RGB图像进行高动态光照渲染，获得高动态范围图像，确定所述RGBD图像可用。

在应用中，当RGB图像的亮度不符合对应的阈值要求(即亮度小于或等于预设亮度阈值)时，可以进一步确定亮度是否在可改善处理的阈值范围内(即预设亮度范围内)，若亮度在可改善处理的阈值范围内，则可对亮度进行改善处理，以使改善亮度后的RGB图像可用，具体的，可以采用高动态光照渲染方法，对RGB图像的亮度进行改善处理，以获得高动态范围(High Dynamic Range，HDR)图像。当RGB图像的亮度小于或等于预设亮度阈值且不在预设亮度范围内时，确定RGBD图像不可用，并输出表征RGBD图像不可用的提示信息。

步骤S102、当所述RGBD图像可用时，对预处理后的所述RGBD图像进行物体检测，确定预处理后的所述RGBD图像中是否存在物体。

在应用中，当通过对RGBD图像进行预处理，确定RGBD图像可用之后，再进一步对预处理后的RGBD图像(即预设大小的RGB图像)进行物体检测，确定其中是否存在物体，当预处理后的RGBD图像中不存在物体时，无需进一步执行后续的物体抓取操作，此时，终端设备可自动控制RGBD相机重新采集下一场景的RGBD图像，也可以等待用户输入进行下一步操作的指令，以根据用户的指令执行下一步操作。

在一个实施例中，步骤S102之后，包括：

当预处理后的所述RGBD图像中不存在物体时，通过所述RGBD相机采集下一场景的RGBD图像。

在一个实施例中，步骤S102之后，包括：

当预处理后的所述RGBD图像中不存在物体时，输出表征预处理后的所述RGBD图像中不存在物体时的提示信息。

在应用中，表征预处理后的RGBD图像中不存在物体的提示信息可以通过终端设备所支持的任意人机交互方式输出，例如，该提示信息可以是基于语音器件输出的声音信息，基于显示屏显示的文字、图像、字符画信息，基于指示灯显示的灯光指示信息，基于机械手或振动马达输出的体感信息等。

如图4所示，在一个实施例中，步骤S102包括如下步骤S401和S402：

步骤S401、当所述RGBD图像可用时，对预处理后的所述RGBD图像进行物体检测，获得至少一个第一检测结果，所述第一检测结果包括物体框、与所述物体框对应的类别及所述类别的置信度；

步骤S402、当所述至少一个第一检测结果中存在留置信度大于预设置信度阈值的至少一个第二检测结果时，确定预处理后的所述RGBD图像中存在物体。

在应用中，确定预处理后的RGBD图像中是否存在物体的方法可以是对预处理后的RGBD图像进行物体检测，获得至少一个第一检测结果，若仅获得一个第一检测结果且该结果为空，则可以确定预处理后的RGBD图像中不存在物体，并输出表征预处理后的RGBD图像中不存在物体的提示信息。若获得的第一检测结果不为空，则进一步根据第一检测结果中的类别的置信度确定预处理后的RGBD图像中是否存在物体。

在应用中，物体框(bounding box)用于标识预处理后的RGBD图像中的物体的位置信息，由于预处理后的RGBD图像是RGB图像、不包含深度信息，因此，根据物体框仅能获得RGB图像中物体的二维位置信息，也即x轴和y轴信息，根据物体框还可以获得物体的高度信息h和宽度信息w。物体框的类别表示该物体框所标识的物体所属的类别，可以用于获知物体的类别属性，例如，人、动物、物品等大分类下的类别，或者，足球、水杯、笔等小分类下的类别。

在应用中，当至少一个第一检测结果中存在留置信度大于预设置信度阈值的至少一个第二检测结果时，可以确定预处理后的RGBD图像中存在物体，保留所有第二检测结果，去除留置信度小于或等于预设置信度阈值的第一检测结果。当至少一个第一检测结果中不存在留置信度大于预设置信度阈值的第二检测结果时，可以确定预处理后的RGBD图像中不存在物体，并输出表征预处理后的RGBD图像中不存在物体的提示信息。预设置信度阈值可以根据实际需要设置，例如，0.5-0.95中的任意值，具体可以为0.9。

步骤S103、当预处理后的所述RGBD图像中存在物体时，输出物体检测结果，所述物体检测结果包括所述物体的三维位置信息和类别信息。

在应用中，当确定预处理后的RGBD图像中存在物体时，输出物体检测结果，物体检测结果包括检测到的物体的三维位置信息和类别信息。三维位置信息具体可以包括x轴信息、y轴信息和z轴信息，其中，x轴信息和y轴信息可以通过物体框标识，z轴信息通过RGBD图像所包含的深度信息获取，具体的，基于物体框可以获知物体在RGBD图像中的二维位置信息(即x轴信息和y轴信息)，然后根据该二维位置信息即可获得在RGBD图像中对应的深度信息(即z轴信息)；类别信息包括与物体框对应的类别，还可以包括类别的置信度。

如图4所示，在一个实施例中，步骤S103包括如下步骤S403至S408：

步骤S403、对类别相同的所有所述第二检测结果进行非极大值抑制，得到至少一个第三检测结果；

步骤S404、检测不同类别的所有所述第三检测结果的物体框之间的交并比；

步骤S405、获取交并比大于预设交并比阈值且置信度高的所述第三检测结果，得到至少一个第四检测结果；

步骤S406、获取交并比小于或等于预设交并比阈值的所述第三检测结果，得到至少一个第四检测结果；

步骤S407、根据每个所述第四检测结果中的物体框和所述RGBD图像，获取每个所述第四检测结果中的物体的z轴信息；

步骤S408、输出物体检测结果，所述物体检测结果包括所有所述第四检测结果和所有所述第四检测结果中的物体的z轴信息。

在应用中，获得的所有第二检测结果中包括相同类别的检测结果和不同类别的检测结果。针对相同类别的第二检测结果进行非极大值抑制(Non Maximum Suppression，NMS)，去除冗余的物体框，具体的，可以对相同类别的所有物体框进行排序，选中该排序序列中置信度最高的物体框并分别与该排序序列中的其他物体框计算交并比(Intersection-Over-Union，IOU)，若置信度最高的物体框与任一物体框的交并比大于预设交并比阈值，则从该排序序列中去除置信度低的该任一物体框，若置信度最高的物体框与任一物体框的交并比小于或等于预设交并比阈值，则认为存在属于同一类别的多个物体并保留该置信度低的任一物体框，重复前述步骤，直到遍历完所有相同类别的物体框，得到至少一个第三检测结果。针对不同类别的所有第三检测结果求交并比，去除交并比大于预设交并比阈值的两个不同类别的第三检测结果中置信度低的物体框，保留其中置信度高的物体框，保留交并比小于或等于预设交并比阈值的两个不同类别的第三检测结果中的物体框，得到至少一个第四检测结果。

在应用中，由于第四检测结果中仅包括物体框、与物体框对应的类别及类别的置信度，根据物体框仅能获得RGB图像中物体的二维位置信息，也即x轴和y轴信息，因此，还需要进一步通过RGBD图像所包含的深度信息获取物体的z轴信息。

在一个实施例中，步骤S101之前，还包括：

通过多种场景下的RGBD图像对物体检测模型进行训练。

在应用中，物体检测模型可以是darknet yolov4模型，通过多种场景下的RGBD图像对该物体检测模型进行训练之后，即可使该模型具备检测各种场景下的不同类别的物体的功能，然后利用训练好的物体检测模型执行上述物体检测方法。应理解，对物体检测模型进行训练的方法与上述物体检测方法相同，也即物体检测模型每次执行物体检测方法，都相当于是对物体检测模型进行一次训练，每次应用物体检测模型执行物体检测方法，都可以在一定上提升物体检测模型的检测性能。

本发明实施例的提供的物体检测方法，通过对RGBD图像进行预处理，确定所述RGBD图像是否可用，能够有效提高物体检测的成功率；通过当所述RGBD图像可用时，对预处理后的所述RGBD图像进行物体检测，确定预处理后的所述RGBD图像中是否存在物体；当预处理后的所述RGBD图像中存在物体时，输出包括所述物体的三维位置信息和类别信息的物体检测结果，无需对物体进行三维建模，就能获得RGBD图像中物体的三维位置信息和类别信息，耗时较短且能够广泛适用于检测各种类别的物体。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本发明实施例还提供一种物体检测装置，用于执行上述物体检测方法实施例中的步骤。物体检测装置可以是终端设备中的虚拟装置(virtual appliance)，由终端设备的处理器运行，也可以是终端设备本身。

如图5所示，本发明实施例提供的物体检测装置100，包括：

图像预处理单元101，用于对RGBD图像进行预处理，确定所述RGBD图像是否可用；

物体检测单元102，用于当所述RGBD图像可用时，对预处理后的所述RGBD图像进行物体检测，确定预处理后的所述RGBD图像中是否存在物体；

结果输出单元103，用于当预处理后的所述RGBD图像中存在物体时，输出物体检测结果，所述物体检测结果包括所述物体的三维位置信息和类别信息。

在一个实施例中，所述物体检测装置还包括：

图像采集单元，用于通过RGBD相机采集场景的RGBD图像。

在一个实施例中，所述物体检测装置还包括：

参数调整单元，用于当所述RGBD图像不可用时，调整所述RGBD相机的参数，通过所述RGBD相机重新采集所述场景的RGBD图像；

图像采集单元，用于当所述RGBD图像不可用时，通过所述RGBD相机采集下一场景的RGBD图像。

在一个实施例中，所述物体检测装置还包括：

提示单元，用于当所述RGBD图像不可用时，输出表征所述RGBD图像不可用的提示信息。

在一个实施例中，所述物体检测装置还包括：

图像采集单元，用于当预处理后的所述RGBD图像中不存在物体时，通过所述RGBD相机采集下一场景的RGBD图像。

在一个实施例中，所述物体检测装置还包括：

提示单元，用于当预处理后的所述RGBD图像中不存在物体时，输出表征预处理后的所述RGBD图像中不存在物体时的提示信息。

在一个实施例中，所述物体检测装置还包括：

训练单元，用于通过多种场景下的RGBD图像对物体检测模型进行训练。

在应用中，物体检测装置中的各单元可以为软件程序单元，也可以通过处理器中集成的不同逻辑电路实现，还可以通过多个分布式处理器实现。

如图6所示，本发明实施例还提供一种终端设备200，包括：至少一个处理器201(图6中仅示出一个处理器)、存储器202以及存储在存储器202中并可在至少一个处理器201上运行的计算机程序203，还包括与处理器201连接的机械手204和相机205，处理器201执行计算机程序203时实现上述任意方法实施例中的步骤。

在应用中，终端设备可包括，但不仅限于，处理器、存储器、超宽带收发模块、雷达传感器、视觉传感器以及里程计。本领域技术人员可以理解，图6仅仅是终端设备的举例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

在应用中，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在应用中，存储器在一些实施例中可以是终端设备的内部存储单元，例如终端设备的硬盘或内存。存储器在另一些实施例中也可以是终端设备的外部存储设备，例如，终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本发明实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。