用于视频处理的方法、装置、设备和介质

技术领域

本公开的示例实施例总体涉及计算机技术领域，特别地涉及用于视频处理的方法、装置、设备和计算机可读存储介质。

背景技术

视频的节奏或节拍信息主要是由视频中目标的动作变化或场景切换等来体现。视频的节拍信息的提取可以帮助在后续任务中对于视频的各类使用。例如，在视频编辑中，可能期望视频与音乐能够节奏相互配合，提高视频效果与音乐节奏的结合性。

发明内容

在本公开的第一方面，提供了一种视频处理的方法。该方法包括：对于目标视频的多个帧，确定多个帧中相邻帧之间的多个光流特征，光流特征指示帧中的多个点的运动方向和运动幅度；基于多个光流特征，确定多个帧随时间的运动变化强度的序列；从运动变化强度的序列选择至少一个目标运动变化强度；以及基于至少一个目标运动变化强度对应的至少一个帧，确定目标视频中的至少一个视频节拍点。

在本公开的第二方面，提供了一种用于视频处理的装置。该装置包括：光流特征确定模块，被配置为对于目标视频的多个帧，确定多个帧中相邻帧之间的多个光流特征，光流特征指示帧中的多个点的运动方向和运动幅度；序列确定模块，被配置为基于多个光流特征，确定多个帧随时间的运动变化强度的序列；选择模块，被配置为从运动变化强度的序列选择至少一个目标运动变化强度；以及视频节拍点确定模块，被配置为基于至少一个目标运动变化强度对应的至少一个帧，确定目标视频中的至少一个视频节拍点。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面的方法。

应当理解，该部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了能够在其中实现本公开的实施例的示例环境的示意图；

图2示出了根据本公开的一些实施例的视频处理的过程的流程图；

图3示出了根据本公开的一些实施例的确定运动变化强度的序列的过程的流程图；

图4示出了根据本公开的一些实施例的制作合并视频的过程的流程图；

图5示出了根据本公开的一些实施例的视频节拍点与音频节拍点之间的示例映射关系的示意图；

图6示出了根据本公开的一些实施例的用于视频处理的装置的框图；以及

图7示出了其中可以实施本公开的一个或多个实施例的电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。

如前文所简要提及的，视频的节拍信息(也称为节奏信息)在很多场景中都非常有用。例如，在视频编辑中，不仅要掌握剪切和拼接的技巧，还要注意视频的内容和音乐的配合。视频中的人物动作变化、视频转场等可以作为视频的节奏特征。根据视频中的视觉内容提取视频节奏变化，进一步将这种节奏变化提取为视频节拍点，并将视频节拍点与目标音频的节拍点进行对准可以生成合并视频。这样的合并视频有时也称为卡点视频。

当前没有很好的方案能够用于提取视频的节拍信息。因此，很多时候在制作合并视频时，一种可能的方案是以目标音乐和多幅图像作为输入，或以目标音乐和多个视频片段作为输入的转场式视频合成。这类方法的目标是将图像或视频片段显示在目标音乐的节拍点时间段。在合并视频中表现为：在音乐的节拍点处视频内容转场到另一幅图像或者另一个视频片段。这类方法没有关注视频内容的节奏性，也无法很好地处理单条视频作为输入时的卡点需求。

本公开的实施例提出了一种用于视频处理的方案。根据本公开的各种实施例，确定目标视频的多个帧中相邻帧之间的多个光流特征。基于多个光流特征，确定多个帧随时间的运动变化强度的序列。从运动变化强度的序列选择至少一个目标运动变化强度。基于至少一个目标运动变化强度对应的至少一个帧，确定目标视频中的至少一个视频节拍点。

在本公开的实施例中，基于光流原理分析视频内容中的运动变化强度，进而自动提取视频的节拍点。以此方式，实现基于视频内容中运动变化强度的视频节拍点提取，提高视频节拍点的提取准确度。这有助于依赖于节拍点的视频制作的效率和效果，增加视频的整体协调感、节奏感以及流畅度。

以下结合附图对本公开的示例实施例进行描述。

图1示出了能够在其中实现本公开的实施例的示例环境100的示意图。如图1所示，环境100涉及视频节拍提取系统110、音频节拍提取系统120和节拍点匹配系统130。

在图1的示例中，视频节拍提取系统110被配置为接收目标视频101作为输入，输出目标视频101的一个或多个视频节拍点102。视频节拍提取系统110提取目标视频110中的节拍点，也被称为节奏点。这样的节拍点可以是视频转场、画面切换、节奏变化、人体的动作切换、物体的运动切换，等等。

音频节拍提取系统120被配置为接收目标音频103作为输入，输出目标音频103的一个或多个音频节拍点104。目标音频103可以包括音乐、语音，或者音乐和语音的组合。节拍是音乐的强拍和弱拍的组合规律。音频节拍提取系统120提取目标音频103中的节拍点，也被称为节奏点。这样的节拍点可以是音乐中的强拍、弱拍或其组合，也可以是语音中语调的突变、音量的突变等，还可以是音频中具备某些特征的关键点，例如“鼓点声”等。

在一些实施例中，环境100还包括节拍点匹配系统130，其被配置为将视频节拍点102与音频节拍点104进行匹配，输出合并视频105。节拍点匹配是将视频节奏卡在音乐节奏上，因此，合并视频105也可以称为卡点视频。在一些实施例中，节拍点匹配系统130将视频节拍点102与音频节拍点104建立时间映射关系，进而生成视频画面和音乐节拍卡点的视频。

在一些实施例中，环境100还可以包括视频节拍库140。视频节拍库140被配置为存储所提取的视频节拍点102，以用于后续其他使用。在一些实施例中，从目标视频101提取的视频节拍点102还可以被呈现给用户、用于根据视频合成需求来访问等等。在一些实施例中，除了用于与音频匹配以制作合并视频之外，视频的节拍信息(例如，一个或多个视频节拍点102)例如还可以被用于执行基于节拍信息的视频聚类、视频搜索、视频匹配，等等。

应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。虽然图1中示出了多个分离的系统，例如视频节拍提取系统110、音频节拍提取系统120、节拍点匹配系统130，但这些系统中的两个或更多个也可以被集成在单个设备或系统中。在一些场景中，图1中的某些系统和/或元素也可以省略。

以下将继续参考附图描述本公开的一些示例实施例。

图2示出了根据本公开的一些实施例的视频处理的过程200的流程图。过程200可以被实现在图1的视频节拍提取系统110。为便于讨论，将参考图1来描述过程200。

在框210，将目标视频中的多个帧作为一组，视频节拍提取系统110确定该组中相邻帧之间的多个光流特征。

光流特征指示帧中多个点的运动信息，包括运动方向和运动幅度。也就是说，每个点的运动信息可以被表示为向量的形式，也称为光流向量或运动向量。光流向量的方向指示运动方向，光流向量的大小指示运动幅度。视频中的帧(也称为“视频帧”)可以被认为是二维图像。每个光流特征所指示的点可以对应于二维图像中的像素点。在真实的三维空间中，三维空间中的每一个点，经过某段时间的运动之后会到达一个新的位置，这个位移过程可以用运动场来描述。而在计算机视觉的空间中，计算机所接收到的信号往往是二维图像信息，因此适合通过光流(optical flow)场来描述三维空间中的运动物体表现到二维图像中所反映出的像素点的运动向量场。

例如，目标视频101的多个帧可以被表示为视频帧序列I＝[I

在一些实施例中，视频节拍提取系统110可以利用稠密光流法(例如，GunnarFarneback算法)来确定相邻帧[I

在一些实施例中，在确定相邻帧之间的光流特征之前，视频节拍提取系统110按照预设的时间间隔从目标视频101抽取多个帧(n个帧)用于视频节拍提取。视频是由连续的静态图像画面组成。根据视觉暂留原理，如果视频的帧数超过24帧，人眼无法辨别单幅的静态画面，感受上，是平滑连续的视觉效果。因此，目标视频101的相邻帧之间的运动变化非常小，从目标视频101的全部帧中抽取多个帧进行处理，不仅节约时间，还可以提升用户体验。

在框220，视频节拍提取系统110基于所提取的多个光流特征，确定该组帧随时间的运动变化强度的序列。运动变化强度指示视频在时间维度的画面变化强度值。从多个光流特征可以确定一系列的运动变化强度组成运动变化强度的序列。继续舞蹈教室的例子，舞蹈者在挥动右手，右手以加速度向上运动到顶点后落下，这种三维空间中的运动信息在视频的连续帧中体现为多个像素点的二维矢量值变化。光流特征所指示的运动信息能够用于确定出运动变化强度。

单个光流特征可以指示相邻帧中的运动变化。在一些实施例中，视频节拍提取系统110可以基于多个光流特征中相邻光流特征之间的差异，确定多个光流变化特征。每个光流变化特征可以用于指示连续帧中的运动变化的程度。视频节拍提取系统110可以多个光流变化特征来确定该光流变化特征对应的运动变化强度。

图3示出了根据本公开的一些实施例的确定运动变化强度的序列的过程300的流程图。过程300可以被实现在图1的视频节拍提取系统110。

在框310，视频节拍提取系统110将运动方向范围划分为多个方向区间。在帧中，光流特征所指示的运动方向通常在0到360°(即，0到2π)的方向角范围内变化。将这个范围划分成多个方向区间，可以对物体的运动方向进行量化。例如，可以将这个范围均分为k个方向区间，k为大于1的正整数，每个方向区间的大小为2π/k。划分的方向区间越多，后续保留的运动方向信息越多。这样的划分可以是等分，也可以是不等分。对方向区间的划分粒度和数目可以根据实际应用来确定。

在框320，视频节拍提取系统110确定多个光流特征中的各个光流特征中落入多个方向区间(例如，k个方向区间)的点的数目，得到多个光流特征各自对应的多个光流直方图。直方图是对连续变量的分布的统计。对光流特征进行直方图统计可以获得视频帧中主体的整体运动信息。具体地，对于每个光流特征，基于其中每个点(例如，对应的光流向量)的运动方向将其划分到对应的方向区间中。通过每个光流特征转换为k维直方图统计特征，视频节拍提取系统110得到对应的光流直方图(也称为视频光流谱)H＝[H

在一些视频场景中，光流特征会捕获到相邻帧之间的大量细微运动变化。例如，在灯光场景中，相邻帧之间会有光线变化，但是画面主体并未发生运动。所提取的光流特征中大量的点会指示由光线导致的变化。在一些实施例中，在针对光流直方图的统计中，视频节拍提取系统110可以从光流特征中过滤运动幅度低于幅度阈值的点，得到经过滤的光流特征。视频节拍提取系统110可以确定经过滤的光流特征中落入多个方向区间的点的数目，得到给定光流特征对应的光流直方图。例如，在直方图统计时，首先确定光流特征的各个点所指示的运动幅度(例如，光流向量的模)是否超过幅度阈值，然后只对超过幅度阈值的点进行统计。在一些实施例中，对于每个光流特征，所使用的幅度阈值可以基于该光流特征所指示的所有点的运动幅度来确定，例如可以是所有点的运动幅度的平均值、中位值等。由此，可以避免在光流直方图中统计画面中的微小运动。

在框330，视频节拍提取系统110基于多个光流直方图中相邻光流直方图之间的多个差异，确定多个光流变化特征。对于每个光流特征可以确定对应的光流直方图。光流直方图之间的差异可以用于指示对应的光流特征之间的差异，即光流变化特征。在一些实施例中，光流变化特征可以是相邻光流直方图在多个方向区间中各个方向区间的数目之差。由此，视频节拍提取系统110对光流直方图H＝[H

光流变化特征可以指示连续帧之间的运动变化的程度。继续舞蹈教室的例子，在舞蹈者向上挥动右手时，光流特征可以捕获到对应视频帧中表现为集中在朝上的一些方向区间中，则在光流直方图中这些方向区间中的数目最多。如果接下来的视频帧捕获到舞蹈者右手暂停，那么对应的光流特征对应的光流直方图中这些方向区间中的数目显著降低。这些相邻光流直方图之间的差异将会较大，表现出运动变化的程度较大。

在框340，视频节拍提取系统110基于多个光流变化特征，确定运动变化强度的序列。

在一些实施例中，对于多个光流变化特征中的各个光流变化特征，视频节拍提取系统110通过将该光流变化特征在多个方向区间中指示的多个差进行加和，确定该光流变化特征对应的运动变化强度。

例如，对于光流变化特征序列D中的每个D

以上讨论了强度运动变化强度的序列的一些实施例。回到图2，在框230，视频节拍提取系统110从运动变化强度的序列选择至少一个目标运动变化强度。在一些实施例中，所选择的目标运动变化强度可以是在整个序列中与其前后的一个或多个运动变化强度相比差异较大的强度。这些强度通常对应于视频中人或物运动变化的转折点、场景切换点等，因而是要检测的视频节拍点。

继续舞蹈教室的例子，舞蹈者在挥动右手。视频节拍提取系统110在运动变化强度的序列P＝[P

在一些实施例中，视频节拍提取系统110从运动变化强度的序列中选择至少一个强度极值作为目标运动变化强度。如果将运动变化强度的序列用曲线表示，强度极值可以表现为曲线上的波峰或者波谷，对应于与前后运动变化强度相比差异较大的位置。当然，除了选择序列中的极值点之外，也可以按其他准则来选择目标运动变化强度，本公开的实施例在此方面不受限制。

在框240，视频节拍提取系统110基于至少一个目标运动变化强度对应的至少一个帧，确定目标视频101中的视频节拍点102。

回顾之前的视频处理过程，视频节拍提取系统110将视频帧序列I＝[I

在一些实施例中，所确定的目标运动变化强度可能比较多，视频节拍提取系统110可以将从目标运动变化强度对应的帧确定的视频节拍点视为至少一个候选视频节拍点。然后，视频节拍提取系统110可以基于节拍动态规划，从至少一个候选视频节拍点选择至少一个视频节拍点102。

例如，在韵律动感十足的舞蹈中，如果将全部候选节拍点都作为视频节拍点102，最终生成的合并视频可能由于节奏过于凌乱而引起观看者的不适。在一些实施例中，基于这样的规则对候选视频节拍点进行筛选：一定时长内的视频节拍点数量阈值。例如，在1秒的时长内，视频节拍点数量阈值为2。如果有三个候选节拍点，可以选择靠前的第一个和第二个。

通过上述各个示例实施例，视频节拍提取系统110根据光流计算出视频相邻帧之间的物体运动信息，进一步根据运动信息的变化计算视频节拍点102。以此方式，实现基于视频内容的视频节拍点提取，应用于视频自动编辑合成中可以显著提升视频制作的效率，增加视频的协调感、节奏感以及流畅度。

通过准确的运动信息和运动变化程度的提取，本公开的视频节拍提取还特别适用于在对象的运动变化较多，但大面积背景变化较少的视频中进行准确节拍提取。例如，舞蹈视频中人物动作变化等较大，但整体画面变化较小，利用传统的基于场景切换的图像分析方法来提取视频节拍往往效果不佳，但基于本公开的实施例将可以实现准确提取。

回到图1，在获得视频节拍点102后，可以将其存储于视频节拍库140中，以备后续使用。在制作合并视频105时，可以通过节拍点匹配系统130将视频节拍点102映射到目标音频103的音频节拍点104，然后将目标视频101和目标音频103进行合并，得到合并视频105。图4示出了根据本公开的一些实施例的制作合并视频的过程400的流程图。过程400可以被实现在图1的环境100中。

在框410，视频节拍提取系统110确定目标视频101中的一个或多个视频节拍点102。可以根据上述各示例实施例确定视频节拍点102，例如视频节拍点序列V

在框420，音频节拍提取系统120确定目标音频103中的一个或多个音频节拍点104。例如，通过音乐节拍检测常用算法获得音频节拍点104，例如音频节拍点序列M

在框430,节拍点匹配系统130确定视频节拍点102与音频节拍点之间的映射关系。视频节拍点序列V

进一步的，对于个数对齐的视频节拍点序列和音频节拍点序列，节拍点匹配系统130可以构建视频节拍点序列V

图5示出了根据本公开的一些实施例的映射关系的示例500的示意图。示例500展示了从视频节拍点序列V

在框440，节拍点匹配系统130根据映射关系将目标视频101和目标音频103进行合并，得到合并视频。合并视频105的时间轨迹和目标音频104的时间轨迹相同，所以只需要按映射关系，根据目标音频104的时间轨迹，计算当前时刻对应的视频时刻，便可以获取画面帧。由此将目标视频帧序列与音频轨迹合成便得到节拍点对齐后的合并视频105。

综上所述，本公开的各个实施例按时间先后顺序将视觉节拍点向音乐节拍点对齐，在保证音频播放速度不变的条件下，确定每一个视觉节拍片段在最终合并视频中显示的时间段，并调整该段视频画面的播放速率，实现两个时间序列的匹配。由此，基于光流变化原理分析视频内容的变化，可以有效提取视频节拍点，合成的卡点视频效果得到较大提升。在测试的合并视频上卡点成功率达到70％。经用户评测，可用率超过90％，适合应用于视频自动卡点编辑等场景中。

图6示出了根据本公开的一些实施例的用于视频处理的装置600的示意性结构框图。装置600可以被实现为或者被包括在图1的系统中。装置600中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。

如图所示，装置600包括光流特征确定模块610，被配置为对于目标视频的多个帧，确定多个帧中相邻帧之间的多个光流特征，光流特征指示帧中的多个点的运动方向和运动幅度。装置600还包括序列确定模块620，被配置为基于多个光流特征，确定多个帧随时间的运动变化强度的序列。装置600还包括选择模块630，被配置为从运动变化强度的序列选择至少一个目标运动变化强度。装置600还包括视频节拍点确定模块640，被配置为基于至少一个目标运动变化强度对应的至少一个帧，确定目标视频中的至少一个视频节拍点。

在一些实施例中，序列确定模块620被进一步配置为：基于多个光流特征中相邻光流特征之间的差异，确定多个光流变化特征；以及基于多个光流变化特征来确定运动变化强度的序列。

在一些实施例中，序列确定模块620被进一步配置为：将运动方向范围划分为多个方向区间；确定多个光流特征中的各个光流特征中落入多个方向区间的点的数目，得到多个光流特征各自对应的多个光流直方图；以及基于多个光流直方图中相邻光流直方图之间的多个差异来确定多个光流变化特征，光流变化特征指示相邻光流直方图在多个方向区间中各个方向区间的数目之差。

在一些实施例中，序列确定模块620被进一步配置为：对于多个光流特征中的给定光流特征，从给定光流特征中过滤运动幅度低于幅度阈值的点，得到经过滤的光流特征；以及确定经过滤的光流特征中落入多个方向区间的点的数目，得到给定光流特征对应的光流直方图。

在一些实施例中，序列确定模块620被进一步配置为：对于多个光流变化特征中的各个光流变化特征，通过将该光流变化特征在多个方向区间中指示的多个差进行加和，确定该光流变化特征对应的运动变化强度。

在一些实施例中，选择模块630被进一步配置为：从运动变化强度的序列选择至少一个强度极值。

在一些实施例中，视频节拍点确定模块640被进一步配置为基于至少一个目标运动变化强度对应的至少一个帧确定至少一个候选视频节拍点；以及基于节拍动态规划，从至少一个候选视频节拍点选择至少一个视频节拍点。

在一些实施例中，装置600还包括：音频节拍点确定模块，被配置为确定目标音频中的至少一个音频节拍点；映射关系确定模块，被配置为确定至少一个视频节拍点与至少一个音频节拍点之间的映射关系；以及合并模块，被配置为基于映射关系，将目标视频和目标音频进行合并，得到合并视频。

图7示出了其中可以实施本公开的一个或多个实施例的电子设备700的框图。应当理解，图7所示出的电子设备700仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图7所示出的电子设备700可以用于实现图1的视频节拍提取系统110、音频节拍提取系统120和节拍点匹配系统130中的一个或多个系统。电子设备700可以包括或被实现为图6的装置600。

如图7所示，电子设备700是通用计算设备的形式。电子设备700的组件可以包括但不限于一个或多个处理器或处理单元710、存储器720、存储设备730、一个或多个通信单元740、一个或多个输入设备750以及一个或多个输出设备760。处理单元710可以是实际或虚拟处理器并且能够根据存储器720中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备700的并行处理能力。

电子设备700通常包括多个计算机存储介质。这样的介质可以是电子设备700可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器720可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备730可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备700内被访问。

电子设备700可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图7中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器720可以包括计算机程序产品725，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元740实现通过通信介质与其他电子设备进行通信。附加地，电子设备700的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备700可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备750可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备760可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备700还可以根据需要通过通信单元740与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备700交互的设备进行通信，或者与使得电子设备700与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。