控制方法、装置、电子设备及介质

技术领域

本公开实施例涉及穿戴设备技术领域，更具体地，涉及一种控制方法、一种控制装置、一种电子设备、及一种计算机可读存储介质。

背景技术

分体式成为AR发展的重要趋势，为了降低AR眼镜的功耗，目前都是将AR眼镜和移动设备连接，并在移动设备上创建多个虚拟屏，每个虚拟屏可以运行对应的应用，以及将移动设备上的应用内容传输到AR眼镜显示。然而，移动设备上的虚拟屏运行应用时，往往存在使用摄像头数据的需求，相关技术中，存在如何将摄像头数据分发至不同虚拟屏的问题。

发明内容

本公开实施例的目的在于提供一种控制方法、装置、电子设备及介质。

根据本公开实施例的第一方面，提供了一种控制方法，该方法包括：

在终端设备的桌面环境创建多个虚拟屏及与多个虚拟屏分别对应的窗口，在任意虚拟屏运行对应的应用，及将任意虚拟屏的纹理信息渲染到对应的窗口；

在接收到第一窗口发送的摄像头数据获取请求的情况下，获取摄像头数据；其中，所述多个虚拟屏包括第一虚拟屏，所述第一虚拟屏运行第一应用，所述第一窗口渲染有所述第一虚拟屏的纹理信息；

根据所述第一窗口的窗口尺寸信息，对所述摄像头数据进行裁剪处理，获得裁剪后的所述摄像头数据；

将裁剪后的所述摄像头数据发送至所述第一窗口。

可选地，所述摄像头数据包括以下至少一项：所述终端设备的摄像头的摄像头数据、头戴显示设备的摄像头的摄像头数据。

可选地，所述将裁剪后的所述摄像头数据发送至所述第一窗口之后，所述方法还包括：

将所述第一虚拟屏的纹理信息和所述摄像头数据进行融合处理，获得融合后的数据；

在所述第一窗口显示所述融合后的数据。

可选地，所述方法还包括：

在接收到触控事件的情况下，获取虚拟标识与第二窗口的碰撞点的位置信息；其中，所述多个虚拟屏包括第二虚拟屏，所述第二虚拟屏运行第二应用，所述第二窗口渲染有所述第二虚拟屏的纹理信息；

根据所述碰撞点的位置信息，确定所述碰撞点在所述第二虚拟屏内的相对位置信息；

根据所述相对位置信息，将所述触控事件分发至所述第二虚拟屏进行响应。

可选地，所述方法还包括：

获取终端设备的姿态信息；

根据所述姿态信息，控制所述虚拟标识进行旋转，以使所述虚拟标识与所述第二窗口存在碰撞点。

根据本公开实施例的第二方面，提供了一种控制装置，该装置包括：

运行模块，用于在终端设备的桌面环境创建多个虚拟屏及与多个虚拟屏分别对应的窗口，在任意虚拟屏运行对应的应用，及将任意虚拟屏的纹理信息渲染到对应的窗口；

获取模块，用于在接收到第一窗口发送的摄像头数据获取请求的情况下，获取摄像头数据；其中，所述多个虚拟屏包括第一虚拟屏，所述第一虚拟屏运行第一应用，所述第一窗口渲染有所述第一虚拟屏的纹理信息；

处理模块，用于根据所述第一窗口的窗口尺寸信息，对所述摄像头数据进行裁剪处理，获得裁剪后的所述摄像头数据；

发送模块，用于将裁剪后的所述摄像头数据发送至所述第一窗口。

可选地，所述摄像头数据包括以下至少一项：所述终端设备的摄像头的摄像头数据、头戴显示设备的摄像头的摄像头数据。

可选地，所述装置还包括显示模块，

所述处理模块，还用于将所述第一虚拟屏的纹理信息和所述摄像头数据进行融合处理，获得融合后的数据；

所述显示模块，用于在所述第一窗口显示所述融合后的数据。

可选地，所述装置还包括确定模块，

所述获取模块，还用于在接收到触控事件的情况下，获取虚拟标识与第二窗口的碰撞点的位置信息；其中，所述多个虚拟屏包括第二虚拟屏，所述第二虚拟屏运行第二应用，所述第二窗口渲染有所述第二虚拟屏的纹理信息；

所述确定模块，用于根据所述碰撞点的位置信息，确定所述碰撞点在所述第二虚拟屏内的相对位置信息；

所述发送模块，还用于根据所述相对位置信息，将所述触控事件分发至所述第二虚拟屏进行响应。

可选地，所述装置还包括控制模块，

所述获取模块，还用于获取终端设备的姿态信息；

所述控制模块，还用于根据所述姿态信息，控制所述虚拟标识进行旋转，以使所述虚拟标识与所述第二窗口存在碰撞点。

根据本公开实施例的第三方面，提供了一种电子设备，所述电子设备包括：

存储器，用于存储可执行的计算机指令；

处理器，用于根据所述可执行的计算机指令的控制，执行根据以上第一方面所述的控制方法。

根据本公开实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行以上第一方面所述的控制方法。

本公开实施例的一个有益效果在于，终端设备在其桌面环境创建有多个虚拟屏及与多个虚拟屏分别对应的窗口，并且，在任意虚拟屏运行有对应的应用，及将任意虚拟屏的纹理信息渲染到对应的窗口，若接收到第一窗口发送的摄像头数据获取请求，便可获取摄像头数据，并根据第一窗口的窗口尺寸信息对摄像头数据进行裁剪处理，获得裁剪后的摄像头数据发送至第一窗口，这样，便可将摄像头数据分发至对应的虚拟屏。

通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书的原理。

图1是根据本公开实施例的控制系统的硬件配置示意图；

图2是根据本公开实施例的控制方法的流程示意图；

图3是根据本公开实施例的控制装置的原理框图；

图4是根据本公开实施例的电子设备的原理框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<硬件配置>

图1是可用于实现一个实施例的控制方法的控制系统的硬件配置示意图。图1示出了头戴显示设备100、终端设备200和网络300。头戴显示设备100可以连接到网络300，并且还可以通过诸如蓝牙等的通信方式与终端设备200连接。在一个实施例中，头戴显示设备100仅通过诸如蓝牙等的通信方式分别与终端设备200连接。其中，在网络300中可以设置多个服务器301、302。网络300可以是无线通信网络，也可以是有线通信网络。网络300可以是局域网，也可以是广域网。网络300可以是近距离通信，也可以是远距离通信。

在一个实施例中，如图1所示，头戴显示设备100可以包括处理器101和存储器102。头戴显示设备100还包括通信装置103、显示装置104、用户接口105、摄像装置106、音频/视频接口107和传感器108等。此外，头戴显示设备100还可以包括电源管理芯片109和电池110等。

其中，处理器101可以是各种处理器。存储器102可以存储头戴显示设备100运行所需的底层软件、系统软件、应用软件、数据等。存储器102可以包括多种形式的存储器，例如，ROM、RAM、Flash等。通信装置103例如可以包括WiFi通信装置、蓝牙通信装置、3G、4G和5G通信装置等。通过通信装置103，头戴显示设备100可以被布置中网络中。显示装置104可以是液晶显示屏、OLED显示屏等。在一个例子中，显示装置104可以是触摸屏。用户可以通过显示装置104进行输入操作。此外，用户还可以通过触摸屏进行指纹识别等。用户接口105可以包括USB接口、闪电接口、键盘等。摄像装置106可以是单摄像头，也可以是多摄像头。音频/视频接口107例如可以包括扬声器接口、麦克风接口、诸如HDMI的视频传输接口等。传感器108例如可以包括陀螺仪、加速度计、温度传感器、湿度传感器、压力传感器等等。例如，通过传感器可以确定头戴显示设备的姿态信息等。电源管理芯片109可以用于管理输入头戴显示设备100电源功率，还可以对电池110进行管理，以保证较大的利用效率。电池110例如是锂离子电池等。

该头戴显示设备100可以是AR(增强现实，Augmented Reality)眼镜及MR(混合现实，Mixed Reality)眼镜等，该AR眼镜可以是分体式AR眼镜，该MR眼镜可以是分体式MR眼镜，本公开实施例对此不作限定。图1所示的各个部件仅仅是示意性的。头戴显示设备100可以包括图1所示的部件中的一个或多个，而不必包括图1中的全部部件。图1所示的头戴显示设备100仅是解释性的，并且决不是为了要限制这里的实施例、其应用或用途。

在一个实施例中，如图1所示，终端设备200可以包括处理器201和存储器202。终端设备200还包括通信装置203、显示装置204、用户接口205、摄像装置206、音频/视频接口207和传感器208等。此外，终端设备200还可以包括电源管理芯片209和电池210等。

该终端设备200可以是手机、便携式电脑、平板电脑、掌上电脑、可穿戴设备等，本公开实施例对此不作限定。示例性地，终端设备可以是Android设备，例如终端设备可以是具备显示装置204的Android设备，终端设备也可以是不具备显示装置204的Android设备。也就是说，图1所示的各个部件仅仅是示意性的。终端设备200可以包括图1所示的部件中的一个或多个，而不必包括图1中的全部部件。图1所示的终端设备200仅是解释性的，并且决不是为了要限制这里的实施例、其应用或用途。

本实施例中，终端设备200的存储器202用于存储程序指令，该程序指令用于控制处理器201进行操作以执行控制方法，技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

应当理解的是，尽管图1仅示出一个头戴显示设备100、终端设备200，但不意味着限制各自的数量，控制系统中可以包含多个头戴显示设备100、多个终端设备200。

在上述描述中，技术人员可以根据本公开所提供的方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

<方法实施例>

图2示出了本公开的一个实施例的控制方法，该控制方法可以由图1所示的终端设备实施，终端设备例如可以是不具备显示装置204的Android设备，也可以是具备显示装置204的Android设备。如图2所示，该实施例的控制方法可以包括如下步骤S2100～步骤S2400：

步骤S2100，在终端设备的桌面环境创建多个虚拟屏及与多个虚拟屏分别对应的窗口，在任意虚拟屏运行对应的应用，及将任意虚拟屏的纹理信息渲染到对应的窗口。

在本实施例中，终端设备的桌面启动器称之为Launcher，在终端设备开机时Launcher(桌面启动器)自动启动，终端设备的桌面环境开始运行。

在本实施例中，在桌面环境的运行过程中，终端设备会在桌面环境创建多个虚拟屏和多个窗口，并建立虚拟屏和窗口之间的对应关系。通常，创建好多个虚拟屏后，终端设备会指定每个虚拟屏上运行的应用。例如虚拟屏1运行游戏应用，并将虚拟屏1的纹理信息渲染到窗口1中，虚拟屏2运行办公应用，并将虚拟屏2的纹理信息渲染到窗口2中，虚拟屏3运行视频应用，并将虚拟屏3的纹理信息渲染显示到窗口3中。

需要说明的是，对于不具备显示装置的终端设备，终端设备通常会将显示内容发送至头戴显示设备，头戴显示设备的显示装置显示该显示内容。也就是说，终端设备会将窗口1的显示内容、窗口2的显示内容和窗口3的显示内容发送至头戴显示设备。头戴显示设备的显示装置显示窗口1的显示内容、窗口2的显示内容和窗口3的显示内容。

在执行步骤S2100在终端设备的桌面环境创建多个虚拟屏及与多个虚拟屏分别对应的窗口，在任意虚拟屏运行对应的应用，及将任意虚拟屏的纹理信息渲染到对应的窗口之后，进入：

步骤S2200，在接收到第一窗口发送的摄像头数据获取请求的情况下，获取摄像头数据。

其中，所述多个虚拟屏包括第一虚拟屏，所述第一虚拟屏运行第一应用，所述第一窗口渲染有所述第一虚拟屏的纹理信息。示例性地，第一虚拟屏可以是虚拟屏1，对应的，第一窗口为窗口1，第一应用为应用1。

其中，第一窗口发送的摄像头数据获取请求可以是用户在第一窗口触发的触摸输入或者手势输入。

其中，所述摄像头数据包括以下至少一项：所述终端设备的摄像头的摄像头数据、头戴显示设备的摄像头的摄像头数据。也就是说，第一窗口发送的摄像头数据获取请求不仅可以用于获取终端设备的摄像头的摄像头数据，也可以用于获取头戴显示设备的摄像头的摄像头数据。

继续上述示例，终端设备在接收到窗口1发送的摄像头数据获取请求的情况下，便可获取摄像头数据。

在执行步骤S2200在接收到第一窗口发送的摄像头数据获取请求的情况下，获取摄像头数据之后，进入：

步骤S2300，根据所述第一窗口的窗口尺寸信息，对所述摄像头数据进行裁剪处理，获得裁剪后的所述摄像头数据。

在本实施例中，由于第一窗口的窗口尺寸与摄像头数据的尺寸不同，终端设备便可根据第一窗口的窗口尺寸信息，对摄像头数据进行裁剪处理，获得裁剪后的摄像头数据。

继续上述示例，终端设备根据窗口1的窗口尺寸信息，对摄像头数据进行裁剪处理，获得裁剪后的摄像头数据。

在执行步骤S2200根据所述第一窗口的窗口尺寸信息，对所述摄像头数据进行裁剪处理，获得裁剪后的所述摄像头数据之后，进入：

步骤S2400，将裁剪后的所述摄像头数据发送至所述第一窗口。

在本实施例中，终端设备在获得裁剪后的摄像头数据之后，便可将裁剪后的摄像头数据发送至第一窗口。继续上述示例，终端设备可将裁剪后的摄像头数据发送至窗口1。

根据本公开实施例，终端设备在其桌面环境创建有多个虚拟屏及与多个虚拟屏分别对应的窗口，并且，在任意虚拟屏运行有对应的应用，及将任意虚拟屏的纹理信息渲染到对应的窗口，若接收到第一窗口发送的摄像头数据获取请求，便可获取摄像头数据，并根据第一窗口的窗口尺寸信息对摄像头数据进行裁剪处理，获得裁剪后的摄像头数据发送至第一窗口，这样，便可将摄像头数据分发至对应的虚拟屏。

在一个实施例中，在执行以上步骤S2400将裁剪后的所述摄像头数据发送至所述第一窗口之后，本公开实施例的控制方法还进一步包括：将所述第一虚拟屏的纹理信息和所述摄像头数据进行融合处理，获得融合后的数据；在所述第一窗口显示所述融合后的数据。

在一个实施例中，本公开实施例的控制方法还进一步包括如下步骤S3100～步骤S3300：

步骤S3100，在接收到触控事件的情况下，获取虚拟标识与第二窗口的碰撞点的位置信息。

其中，所述多个虚拟屏包括第二虚拟屏，所述第二虚拟屏运行第二应用，所述第二窗口渲染有所述第二虚拟屏的纹理信息。并且，第二虚拟屏可以是第一虚拟屏，对应的，第二应用可以是以上第一应用，第二窗口可以是以上第一窗口。

示例性地，第二虚拟屏可以是虚拟屏1，则第二窗口为窗口1，第二应用为应用1。

其中，虚拟标识可以表征终端设备的当前姿态，用户基于虚拟标识可以对终端设备进行控制。示例性地，虚拟标识可以虚拟射线。该虚拟射线可以是直线，该虚拟射线也可以是曲线，本实施例对此不做限定。

其中，触控事件可以是按下事件、滑动事件等。

在本实施例中，终端设备在接收到用户的触控事件的情况下，若检测到虚拟标识与头戴显示设备所显示的第二窗口存在碰撞点，便可获取虚拟标识与第二窗口的碰撞点的位置信息。

步骤S3200，根据所述碰撞点的位置信息，确定所述碰撞点在所述第二虚拟屏内的相对位置信息。

步骤S3300，根据所述相对位置信息，将所述触控事件分发至所述第二虚拟屏进行响应。

根据本实施例，终端设备可以将用户实施的触控事件分发至对应的虚拟屏进行响应。

在一个实施例中，本公开实施例的控制方法还进一步包括如下步骤S4100～步骤4200：

步骤S4100，获取终端设备的姿态信息。

在本实施例中，根据终端设备的惯性测量单元采集终端设备的姿态信息(例如，四元数信息)。

步骤S4200，根据所述姿态信息，控制所述虚拟标识进行旋转，以使所述虚拟标识与所述第二窗口存在碰撞点。

在本实施例中，终端设备会根据姿态信息获得头戴显示设备的转动自由度(即偏航角、俯仰角和翻滚角)，转动自由度可以作为终端设备的3DoF信息。然后根据3DoF信息控制虚拟标识进行旋转，以使虚拟标识与第二窗口存在碰撞点。

<装置实施例>

图3是根据一个实施例的控制装置的原理示意图，参照图3所示，所述控制装置300包括运行模块310、获取模块320、处理模块330、发送模块340。

运行模块310，用于在终端设备的桌面环境创建多个虚拟屏及与多个虚拟屏分别对应的窗口，在任意虚拟屏运行对应的应用，及将任意虚拟屏的纹理信息渲染到对应的窗口；

获取模块320，用于在接收到第一窗口发送的摄像头数据获取请求的情况下，获取摄像头数据；其中，所述多个虚拟屏包括第一虚拟屏，所述第一虚拟屏运行第一应用，所述第一窗口渲染有所述第一虚拟屏的纹理信息；

处理模块330，用于根据所述第一窗口的窗口尺寸信息，对所述摄像头数据进行裁剪处理，获得裁剪后的所述摄像头数据；

发送模块340，用于将裁剪后的所述摄像头数据发送至所述第一窗口。

在一个实施例中，所述摄像头数据包括以下至少一项：所述终端设备的摄像头的摄像头数据、头戴显示设备的摄像头的摄像头数据。

在一个实施例中，所述装置300还包括显示模块(图中未示出)。

所述处理模块330，还用于将所述第一虚拟屏的纹理信息和所述摄像头数据进行融合处理，获得融合后的数据；

所述显示模块，用于在所述第一窗口显示所述融合后的数据。

在一个实施例中，所述装置300还包括确定模块(图中未示出)。

所述获取模块320，还用于在接收到触控事件的情况下，获取虚拟标识与第二窗口的碰撞点的位置信息；其中，所述多个虚拟屏包括第二虚拟屏，所述第二虚拟屏运行第二应用，所述第二窗口渲染有所述第二虚拟屏的纹理信息；

所述确定模块，用于根据所述碰撞点的位置信息，确定所述碰撞点在所述第二虚拟屏内的相对位置信息；

所述发送模块340，还用于根据所述相对位置信息，将所述触控事件分发至所述第二虚拟屏进行响应。

在一个实施例中，所述装置300还包括控制模块(图中未示出)。

所述获取模块320，还用于获取终端设备的姿态信息；

所述控制模块，还用于根据所述姿态信息，控制所述虚拟标识进行旋转，以使所述虚拟标识与所述第二窗口存在碰撞点。

根据本公开实施例，终端设备在其桌面环境创建有多个虚拟屏及与多个虚拟屏分别对应的窗口，并且，在任意虚拟屏运行有对应的应用，及将任意虚拟屏的纹理信息渲染到对应的窗口，若接收到第一窗口发送的摄像头数据获取请求，便可获取摄像头数据，并根据第一窗口的窗口尺寸信息对摄像头数据进行裁剪处理，获得裁剪后的摄像头数据发送至第一窗口，这样，便可将摄像头数据分发至对应的虚拟屏。

<设备实施例>

图4是根据一个实施例的电子设备的硬件结构示意图。如图4所示，该电子设备400包括处理器410和存储器420。

该存储器420可以用于存储可执行的计算机指令。

该处理器410可以用于根据所述可执行的计算机指令的控制，执行根据本公开方法实施例所述的控制方法。

该电子设备400可以是如图1所示的头戴显示设备100，也可以是图1所示的终端设备200，还可以是具备其他硬件结构的设备，在此不做限定。

在另外的实施例中，该电子设备400可以包括以上控制装置300。

在一个实施例中，以上控制装置300的各模块可以通过处理器410运行存储器420中存储的计算机指令实现。

<计算机可读存储介质>

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行本公开实施例提供的控制方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。