图像处理方法、装置、设备和存储介质

技术领域

本公开的示例实施例总体涉及图像处理，并且更具体地，涉及图像处理方法、装置、设备和计算机可读存储介质。

背景技术

全景图像可以提供室内外场景的广角视图，例如，可以呈现特定场景中水平360°、俯仰180°等角度的视觉信息。这种新颖的图像展现方式正在被各行各业所应用。例如，旅游、房产、酒店、展览等行业都使用了全景图像展示。例如，在房屋租售、装修和建模等领域，可以由采集人员在现场采集房屋的全景图像，并且由此构建房屋的三维模型。利用该三维模型，可以进行房屋的虚拟现实(VR)展示。期望可以修改房屋中某个对象的展示效果，以提供个性化展示。

发明内容

在本公开的第一方面，提供一种图像处理方法。该方法包括：获取与目标空间相关联的第一组图像，其中第一组图像按照预定拼接关系被拼接，用以组成目标空间的三维全景图像；通过将第一图像按照预定拼接关系与第一组图像拼接，来生成第二组图像，其中第一图像是第一组图像中的第二图像的复制；以及在第二组图像中检测目标空间中的目标对象。

在本公开的第二方面，提供一种图像处理装置。该装置包括：图像获取模块，被配置为获取与目标空间相关联的第一组图像，其中第一组图像按照预定拼接关系被拼接，用以组成目标空间的三维全景图像；拼接模块，被配置为通过将第一图像按照预定拼接关系与第一组图像拼接，来生成第二组图像，其中第一图像是第一组图像中的第二图像的复制；以及对象检测模块，被配置为在第二组图像中检测目标空间中的目标对象。

在本公开的第三方面，提供了一种电子设备。该电子设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使电子设备执行根据本公开的第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以执行根据本公开的第一方面的方法。

应当理解，此部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的图像处理过程的流程图；

图3示出了根据本公开的一些实施例的YOLOX网络的示例结构的示意图；

图4示出了根据本公开的一些实施例的训练用于检测目标区域和目标对象的关键点的网络的示例过程的流程图；

图5示出了根据本公开的一些实施例的图像检测的示例过程的流程图；

图6示出了根据本公开的一些实施例的被检测的示例图像的示意图；

图7示出了根据本公开的一些实施例的全景图像的示例坐标系的示意图；

图8示出了根据本公开的一些实施例的示例图像检测结果的示意图；

图9示出了根据本公开的一些实施例的图像处理装置的示意性结构框图；以及

图10示出了能够被用来实现本公开一些实施例的电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其它明确的和隐含的定义。

术语“响应于”表示相应的事件发生或者条件得以满足。将会理解，响应于该事件或者条件而被执行的后续动作的执行时机，与事件发生或者条件满足的时间，这二者不一定是强关联的。在某些情况下，后续动作可在事件发生或者条件成立时立即被执行；在另一些情况下，后续动作也可在事件发生或者条件成立后经过一段时间才被执行。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息。此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

随着虚拟现实(VR)技术的发展，VR看房变得越来越普及。可以通过在房屋的三维模型(例如，mesh模型)上贴上房屋的全景图像来实现房屋的VR展示。在房屋的VR展示过程中，可以在房屋内的某个物体或者设施上实现个性化展示，例如，可以展示预定内容。作为示例，在房屋的VR展示过程中，可以在房间的电视上播放广告。期望能够准确地检测和识别出房屋中的目标对象。

一种可能的方式是在三维mesh模型上进行识别。但是，这种方式的计算量较大。例如，为了在三维模型上每个角度的观察点都能看到个性化展示的内容，需要针对各个观察点进行计算，这样计算量会很大。另外，这种识别方式的准确度可能不够。由于目前三维模型精度有限，实际展示还需要进行全景图像贴图，所以基于三维模型的计算准确度有限。

本公开的实施例提出了一种目标检测方案。该方案基于目标空间(例如，房屋)的三维全景图像来识别目标对象(例如，电视)。根据该方案，由该三维全景图像展开形成的具有预定拼接关系的一组图像(称为第一组图像)中的至少一个图像被复制。由此得到的图像与第一组图像按照该预定拼接关系拼接在一起，得到第二组图像。在第二组图像中进行目标对象的检测。

以此方式，可以直接在全景图像上进行目标对象的识别，操作简单且精度较高。另外，通过图像复制和拼接，可以提高无法在三维全景图像的展开图中完整显示的目标对象的展示完整性，从而提高了目标对象的识别准确度。

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。

如图1所示，环境100中包括电子设备110，其被配置为进行图像识别。在一些实施例中，电子设备110可以是终端设备，诸如任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，电子设备110也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。

在一些实施例中，电子设备110可以是服务器。服务器可以由任意类型的设备实现，包括虚拟和物理的设备。这种设备的示例可以包括但不限于，大型机、边缘计算节点、机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、膝上型计算机、平板计算机、台式计算机、等等。在一些实施例中，服务器可以包括虚拟机、容器或者裸金属服务器。

应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。

在环境100中，目标空间的三维全景图像120可以由图像捕获设备(未示出)在目标空间中捕获，用于构建目标空间的三维展示模型。在一些实施例中，图像捕获设备可以是电子设备110的一部分。例如，图像捕获设备可以是安装在电子设备110上的摄像头等。在一些其他实施例中，图像捕获装置可以是独立设置的设备，诸如全景照相机等，电子设备110可以从其接收全景图像120。

目标空间可以是任意室内外空间。作为示例，目标空间可以是房屋空间。如图1所示，全景图像120可以是六面体图像。备选地，全景图像120可以是球体图像等曲面图像。可以在全景图像120中检测目标空间中的目标对象。在目标空间是房屋空间的实施例中，目标对象150可以包括房屋中的各种家具家电，诸如电视、冰箱、桌椅等，还可以包括墙面、窗户、门等各种房屋结构。

如图1所示，全景图像120被展开后，可以形成第一组图像130。第一组图像130中的各个图像按照预定拼接关系被拼接在一起形成预定形状，例如，十字形。应当理解，十字形仅仅是第一组图像130的形状的示例。第一组图像130可以按照任意其他拼接关系拼接成任意其他形状，例如，梯形等。

在本公开的各实施例中，通过复制第一组图像130中的一个图像135得到图像140，即，图像140是图像135的复制。为便于讨论，通过复制得到的图像140被称为“第一图像”，而被复制的图像130被称为“第二图像”。按照第一组图像130的预定拼接关系，第一图像140与第一组图像130被拼接在一起，例如，与第一组图像130中的图像145(称为“第三图像”)相拼接，由此得到的一组图像称为第二组图像。基于第二组图像执行目标对象150的检测，可以明显提高检测和识别的准确度和效率。

图2示出了根据本公开的一些实施例的示例图像处理过程200。过程200可以由电子设备110执行。为便于讨论，将结合图1来描述过程200。

在框210，获取与目标空间相关联的第一组图像130，其中第一组图像130按照预定拼接关系被拼接，用以组成目标空间的三维全景图像120。全景图像120可以是球体图像等曲面图像。在一些实施例中，为了进一步提高识别效率，可以采用六面体的全景图像120，如图1所示。第一组图像130可以包括任意数目的图像，并且可以被拼接成能够组成全景图像120的任意形状，包括二维(2D)和三维(3D)的形状。例如，在全景图像120是六面体的实施例中，第一组图像130可以如图1所示包括被拼接成平面十字形的六个图像。

在框220，通过将第一图像140按照该预定拼接关系与第一组图像130拼接来生成第二组图像，其中第一图像140是第一组图像130中的第二图像135的复制。在一些实施例中，第二图像135可以位于第一组图像130的边缘(称为“第一边缘”)，而第一图像140可以拼接在第一组图像130中与第一边缘相对的边缘，称为“第二边缘”。例如，如图1所示，按照第一组图像130的拼接关系，位于第一边缘的第二图像135在右侧应该与位于第二边缘的第三图像145相接。相应地，作为第二图像135的复制的第一图像140可以与第三图像145拼接在一起。

在一些实施例中，可以根据实际需要复制第一图像140中的多个图像并且拼接由此得到的多个图像，以生成第二组图像。例如，除了位于第一边缘的第二图像135之外，还可以复制与第二图像135相邻的图像，并且将复制后的图像拼接到第三图像145所在的第二边缘。备选地或附加地，可以复制第一组图像130的其他边缘或位置的图像并且相应地进行拼接。

在框230，在第二组图像中检测目标空间中的目标对象150。在一些实施例中，可以采用两阶段的算法来实现对目标对象150的检测。例如，首先，在第二组图像中检测与目标对象150相关联的目标区域，然后在目标区域中检测目标对象150的多个关键点。以电视机作为目标对象150的示例，可以采用目标区域检测和关键点检测的两步检测方式。第一步，可以先用目标检测算法提取出电视所在的部分区域作为目标区域。第二步再从该部分区域中用关键点检测算法识别出电视屏幕的4个顶点作为关键点。

可以采用任意适当方式或算法来执行目标区域的检测。在一些实施例中，可以采用神经网络，例如，YOLOX网络，来实现目标区域的检测。下面将结合图3讨论基于YOLOX网络执行目标区域检测的示例过程。

图3中示出了根据本公开的一些实施例的YOLOX网络的示例结构300。在结构300中，输入端310被配置为将第二组图像305输入到主干网络(Backbone)315。由主干网络315处理后，经过颈部网络(Neck)320到达预测层325。由预测层325输出预测的目标区域330。

应当理解，当前已知以及将来开发的能够用于YOLOX网络的任意适当结构和算法都可以在此使用，本公开的范围在此方面不受限制。还应当理解，图3中示出的目标区域330的形状和布局仅仅示例而非限制。取决于具体算法以及目标对象150的具体实现，可以输出具有任意形状和布局的目标区域330。还应当理解，其他神经网络和模型也可以用于目标区域330的检测。

在目标区域330中，可以采用任意适当关键点检测算法或方式，检测目标对象150的关键点。在一些实施例中，可以采用基于热力图的神经网络，例如，HRNet-W32，来实现关键点检测。备选地，可以使用直接回归关键点坐标的算法，或者结合了变压器(Transformer)的算法。能够用于关键点检测的任意适当的神经网络架构和算法都可以在此使用，本公开的范围在此方面不受限制。

在利用神经网络进行目标区域和关键点的检测的实施例中，可以利用已标注的数据对相应的神经网络进行训练。下面将结合图4讨论一个示例训练过程。

图4示出了根据本公开的一些实施例的训练用于检测目标区域和目标对象的关键点的网络的示例过程400。

如图4所示，在405，对从目标对象标注的通用队列410获取的数据进行标注。队列410中的数据可以是经过复制和拼接处理的图像集。复制和拼接处理方式可以与目标对象检测过程中的处理方式一致。在415，对标注的结构进行检查和修正。在420，生成训练数据，以得到用于目标检测的训练数据425和用于关键点检测的训练数据430。在435，使用训练数据425进行目标检测训练，例如，训练YOLOX网络。在440，使用训练数据430来进行关键点检测训练，例如，训练HRNet-W32网络。在训练完成后，可以利用训练后的网络来进行检测。

在一些实施例中，在第二组图像中可以检测到与目标对象相关联的多个目标区域。例如，如果目标空间中有多个目标对象，则可以相应地检测出多个目标区域。备选地或附加地，如果目标对象位于被复制的图像中，则可以重复检测出与目标对象相关联的多个目标区域。在一些实施例中，可以对重复的目标区域进行去重。

作为示例，如果确定多个目标区域中的两个目标区域分别位于第一图像140和第二图像135中，则可以确定两个目标区域为重复的目标区域。在这种情况下，可以基于重复的目标区域的准确度(也称为“置信度”)来从重复的目标区域选择要保留的目标区域。例如，如果确定重复的目标区域的准确度之间的差值低于预定阈值，则选择位于第二图像135中的目标区域作为要保留的目标区域。该准确度可以利用目标区域中包含目标对象的概率来评估。

为了对目标对象的关键点进行定位，在一些实施例中，在关键点检测后，可以输出目标对象150的关键点的坐标，例如，可以输出多个关键点在目标区域(例如，图3中的目标区域330)中的一组坐标(称为“第一组坐标”)。第一组坐标可以被转换到全景图像120的三维坐标系中，以标识目标对象150在目标空间的三维定位。

在一些实施例中，可以采用两步的坐标映射。例如，首先，可以将关键点在目标区域中的第一组坐标转换为目标区域所位于的目标图像中的第二组坐标。继而，将第二组坐标转换为三维全景图像120中的第三组坐标。第一组坐标和第二组坐标可以是二维(2D)坐标，而第三组坐标可以是三维(3D)坐标。可以通过增加深度坐标(例如，Z轴坐标)来实现2D坐标到3D坐标的映射。

下面将结合图5至图7来讨论根据本公开的一些实施例的示例图像检测过程，其中图5示出了根据本公开的一些实施例的图像检测的示例过程500，图6示出了根据本公开的一些实施例的被检测的示例图像600，图7示出了根据本公开的一些实施例的全景图像的示例坐标系。

如图5所示，在过程500中，在502，可以对十字形六面图或者6片单图(作为第一组图像130的示例)进行预处理，将其拼接并且在左侧复制图像#5(作为第二图像135的示例)，如图6所示，则可以得到图像600。在506，可以利用YOLOX网络对图像600执行目标检测。之后，在对目标检测的结果执行后处理508。

在后处理508的过程中，如果在510确定有多个电视(作为目标对象的示例)，则在512判断是否有重复。例如，如果每张图像的大小是2048，则拼接后得到的图像600是2048×5。在水平方向为x轴并且竖直方向为y轴的情况下，如果一个电视的x轴坐标除以(2048×4＝8192)的余数与另一个电视的x轴坐标之差在预定阈值之内，并且这两个电视的y轴坐标之差也在该预定阈值之内，则可以确定这两个电视是由于复制了图像#5而产生的，也即，两者是重复的。作为示例，预定阈值可以被设置为3到5个像素值，或者其他任意值。

如果在512判断有重复，则在514，保留置信度大的电视；如果置信度相同，则保留x坐标大的。例如，可以保留图6所示的图像600中最右侧图像#5中的电视。如果在512判断没有重复，则在516，确定电视机不在左右复制区域，可以将其全部保留。在518，如果确定只有一个电视，则可以直接将其保留。

在520，可以对保留的电视进行图像剪切，得到目标区域的检测结果。在522，进行图像剪切，以进行调整大小的预处理。在524，可以利用HRNet-W32进行关键点检测。之后，对关键点检测的结果进行后处理526，用于进行关键点的坐标变换。如图5所示，在后处理526的过程中包括两步坐标映射。在528进行坐标还原，得到关键点在目标区域中的坐标，之后在530进行坐标映射，将关键点的坐标转换为所在图像中的坐标。在532，基于关键点所处的三维全景图像120中的面(例如，图7中的面#5)以及其他面与该面的相对坐标，可以进行2D到3D坐标转换。在534，可以将关键点的3D坐标提供给前端，用于后续VR展示的渲染。

举例而言，可以根据图7中示出的坐标系，计算出表示深度的z坐标。在图7中的坐标系中，原点位于六面体全景图像120的中心，y轴正向是朝上的，x轴正向是朝右的，z轴的正向指向外侧。作为示例，可以依据下面的表格进行关键点坐标的映射。

图8示出了根据本公开的一些实施例的示例图像检测结果的示意图。

如图8所示，通过目标检测，得到作为目标对象的电视机所在的目标区域805。例如，在图像的大小是2048的情况下，可以输出目标区域805的准确度和坐标的如下估计：准确度得分是87.8％，四个角的坐标为x0＝5978，y0＝2534，x1＝7761，y1＝4090。

通过关键点检测，可以得到电视机的四个关键点810、815、820和825，其准确度及坐标的估计例如如下：

关键点810：得分＝37.8％，x＝6098.55，y＝2667.56

关键点815：得分＝32.8％，x＝6070.69，y＝4015.01

关键点820：得分＝36.6％，x＝7765.01，y＝3641.69

关键点825：得分＝48.7％，x＝7736.03，y＝2895.05

采用根据本公开的实施例的图像检测方案，可以有效提高目标对象的识别准确度和效率。

图9示出了根据本公开的一些实施例的图像处理装置900的示意性结构框图。装置900可以被实现在图1中的电子设备110处。

如图9所示，装置900包括图像获取模块910、拼接模块920和对象检测模块930。图像获取模块910被配置为获取与目标空间相关联的第一组图像，其中第一组图像按照预定拼接关系被拼接，用以组成目标空间的三维全景图像。拼接模块920被配置为通过将第一图像按照预定拼接关系与第一组图像拼接，来生成第二组图像，其中第一图像是第一组图像中的第二图像的复制。对象检测模块930被配置为在第二组图像中检测目标空间中的目标对象。

在一些实施例中，三维全景图像可以是六面体图像，并且第一组图像可以被拼接成十字形。

在一些实施例中，第二图像可以位于第一组图像的第一边缘，并且第一图像可以与位于第一组图像的第二边缘的第三图像被拼接，第二边缘与第一边缘相对。

在一些实施例中，对象检测模块930可以包括：区域检测模块，被配置为在第二组图像中检测与目标对象相关联的目标区域；以及关键点检测模块，被配置为在目标区域中检测目标对象的多个关键点。

在一些实施例中，区域检测模块可以被配置为：在第二组图像中检测到与目标对象相关联的多个目标区域；确定多个目标区域中存在重复的目标区域；以及基于重复的目标区域的准确度来从重复的目标区域选择要保留的目标区域。

在一些实施例中，区域检测模块还可以被配置为：响应于确定多个目标区域中的两个目标区域分别位于第一图像和第二图像中，则确定两个目标区域为重复的目标区域。

在一些实施例中，区域检测模块还可以被配置为：响应于确定重复的目标区域的准确度之间的差值低于预定阈值，则在两个目标区域中选择位于第二图像中的目标区域作为要保留的目标区域。

在一些实施例中，关键点检测模块可以被配置为：获取目标对象的多个关键点在目标区域中的第一组坐标；基于第一组坐标，确定多个关键点在第一组图像中的目标图像中的第二组坐标，目标区域位于目标图像中；以及基于第二组坐标，确定多个关键点在三维全景图像中的第三组坐标。

在一些实施例中，区域检测模块和关键点检测模块中的至少一项被配置为利用神经网络实现检测。

应当理解，上文参考图1至图8讨论的数据分析操作相关的特征以及相应效果同样适用于装置900，在此不再赘述。

图10示出了其中可以实施本公开的一个或多个实施例的电子设备1000的框图。例如，电子设备1000可用于实现根据本公开的实施例的图像处理过程。图10所示出的电子设备1000仅仅是示例性的，而不构成对本文所描述的实施例的功能和范围的任何限制。

如图10所示，电子设备1000是通用电子设备的形式。电子设备1000的组件可以包括但不限于一个或多个处理器或处理单元1010、存储器1020、存储设备1030、一个或多个通信单元1040、一个或多个输入设备1050以及一个或多个输出设备1060。处理单元1010可以是实际或虚拟处理器并且能够根据存储器1020中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备1000的并行处理能力。

电子设备1000通常包括多个计算机存储介质。这样的介质可以是电子设备1000可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器1020可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备1030可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备1000内被访问。

电子设备1000可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图10中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器1020可以包括计算机程序产品1025，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元1040实现通过通信介质与其他电子设备进行通信。附加地，电子设备1000的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备1000可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备1050可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备1060可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备1000还可以根据需要通过通信单元1040与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备1000交互的设备进行通信，或者与使得电子设备1000与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实现。