图像帧处理方法以及装置

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种图像帧处理方法。

背景技术

在计算机视觉领域，对视频的处理可以转换为对组成视频的图像帧的处理。随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时检测、跟踪研究越来越热门，对目标对象进行动态实时跟踪定位在智能化交通、智能监控、美颜美妆特效、跟随教学视频进行运动等方面具有广泛的应用价值。以目标框的形式在图像帧中框出目标对象，并确定目标框中目标对象的关键点，进而通过对关键点进行处理从而实现对图像帧的处理。然而现有技术中，目标检测和关键点定位往往精度不高，由于图像帧中的目标对象运动速度的变化导致视频中关键点不稳定，进而导致目标对象的检测不流畅等现象。因此，亟需一种图像帧处理方法以解决上述问题。

发明内容

有鉴于此，本说明书实施例提供了一种图像帧处理方法。本说明书一个或者多个实施例同时涉及一种图像帧处理装置，两种视频处理方法，两种视频处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种图像帧处理方法，包括：

在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内。

根据本说明书实施例的第二方面，提供了一种图像帧处理装置，包括：

确定模块，被配置为在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

调整模块，被配置为针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

识别模块，被配置为根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

修正模块，被配置为基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内。

根据本说明书实施例的第三方面，提供了一种视频处理方法，包括：

接收用户上传的视频片段，并在所述视频片段对应的视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内；

基于所述目标图像帧生成目标视频片段并反馈至所述用户。

根据本说明书实施例的第四方面，提供了一种视频处理装置，包括：

视频接收模块，被配置为接收用户上传的视频片段，并在所述视频片段对应的视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

图像帧处理模块，被配置为针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

关键点确定模块，被配置为根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

关键点修正模块，被配置为基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内；

视频反馈模块，被配置为基于所述目标图像帧生成目标视频片段并反馈至所述用户。

根据本说明书实施例的第五方面，提供了另一种视频处理方法，包括：

接收用户基于视频上传界面上传的视频片段，并在所述视频片段对应的视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内；

基于所述目标图像帧生成目标视频片段并在视频播放界面向所述用户播放。

根据本说明书实施例的第六方面，提供了另一种视频处理装置，包括：

视频上传模块，被配置为接收用户基于视频上传界面上传的视频片段，并在所述视频片段对应的视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

对象框调整模块，被配置为针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

对象处理模块，被配置为根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

关键点处理模块，被配置为基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内；

视频播放模块，被配置为基于所述目标图像帧生成目标视频片段并在视频播放界面向所述用户播放。

根据本说明书实施例的第七方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述方法的步骤。

根据本说明书实施例的第八方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述方法的步骤。

根据本说明书实施例的第九方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述方法的步骤。

本说明书一个实施例通过在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内。通过基于关联图像帧中关联关键点对待处理图像帧的目标对象框中的初始关键点进行修正处理，实现了基于关联图像帧对初始关键点的重定位，解决帧间关键点位抖动问题，进而使得处理完成的待处理视频帧序列中关键点更加稳定，使得目标对象的运动轨迹更加流畅和自然。

附图说明

图1是本说明书一个实施例提供的一种图像帧处理方法的结构示意图；

图2是本说明书一个实施例提供的一种图像帧处理方法的流程图；

图3是本说明书一个实施例提供的一种图像帧处理方法的示意图；

图4是本说明书一个实施例提供的一种图像帧处理方法的处理过程流程图；

图5是本说明书一个实施例提供的一种图像帧处理装置的结构示意图；

图6是本说明书一个实施例提供的一种视频处理方法的流程图；

图7是本说明书一个实施例提供的一种视频处理装置的结构示意图；

图8是本说明书一个实施例提供的另一种视频处理方法的流程图；

图9是本说明书一个实施例提供的另一种视频处理装置的结构示意图；

图10是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

关键点(key points or landmark)：指用于标识人体各部位位置的点，例如用于标识五官位置的人脸关键点，用于标识身体各关节点位置的人体关键点，用于标识手指各关节位置的手势关键点等。

关键点检测(key points detection or landmark detect ion)：指通过深度学习算法从视频或图像中提取关键点的视觉任务。

关键点稳定性(point stablizer)：是视频中关键点检测算法的重要评价指标，用于衡量视频帧间的抖动程度。

R-CNN(Region-CNN)：是将深度学习应用到目标检测上的算法。R-CNN基于卷积神经网络(CNN)，线性回归，和支持向量机(SVM)等算法，实现目标检测技术。

在本说明书中，提供了一种图像帧处理方法，本说明书同时涉及一种图像帧处理装置，两种视频处理方法，两种视频处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。

图1是本说明书一实施例提供的一种图像帧处理方法的结构示意图，如图1所示，

在确定了待处理视频帧序列后，即可对待处理视频帧序列中的图像帧依次进行处理。在待处理视频帧序列中确定当前时刻需要被处理的图像帧作为待处理图像帧，将待处理视频帧序列中排列在待处理图像帧之前的图像帧作为关联图像帧，即关联图像帧为待处理视频帧序列中待处理图像帧的前序图像帧。采用目标检测方法识别待处理图像帧中的目标对象，并对目标对象添加对象框，使得对象框能够框出目标对象的全部或部分区域。对对象框的长度和宽度进行调整处理，获得目标对象框，对待处理图像帧进行处理后即可获得包含目标对象框的初始图像帧。根据目标对象框识别初始图像帧中目标对象的初始关键点，以及确定关联图像帧中目标对象的关联关键点，基于关联关键点对初始图像帧中的初始关键点进行修正处理，选择与待处理图像帧对应的设定数量的关联图像帧，基于设定数量的关联图像帧中的关联关键点对初始关键点进行修正处理，获得包含目标关键点的目标图像帧。通过基于关联图像帧中关联关键点对待处理图像帧的目标对象框中的初始关键点进行修正处理，实现了基于关联图像帧对初始关键点的重定位，进而使得处理完成的待处理视频帧序列中关键点更加稳定，使得目标对象的运动轨迹更加流畅。

参见图2，图2示出了根据本说明书一个实施例提供的一种图像帧处理方法的流程图，具体包括以下步骤。

步骤S202：在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧。

具体的，待处理视频帧序列是指对待处理视频进行逐帧划分获得的连续的视频帧组成的视频帧序列，每个视频帧可以视为一个图像帧；相应的，待处理图像帧是指按照待处理视频帧序列的视频帧排列顺序依次进行处理时，待处理视频帧序列中当前需要处理的图像帧；相应的关联图像帧是指待处理视频帧序列中，排列在待处理图像帧之前的图像帧，即，关联图像帧是待处理视频帧序列中时序位置在待处理图像帧之前的图像帧。

基于此，在对待处理视频帧序列中的图像帧依次进行处理时，在待处理视频帧序列中确定当前时刻需要被处理的图像帧作为待处理图像帧，将待处理视频帧序列中排列在待处理图像帧之前的图像帧作为关联图像帧，即关联图像帧为待处理视频帧序列中待处理图像帧的前序图像帧。

举例说明，在用户跟随健身、运动以及体感游戏等视频进行运动产生运动视频的场景下，可以实时的对用户的动作规范程度进行检测和校正。在检测过程中，不可避免的会出现由于用户动作的改变造成检测不准确的问题，因此可以对运动视频进行处理，以达到降低由于用户运动导致的抖动的目的。待处理视频帧序列即为用户的运动视频对应的视频帧序列，在运动视频帧序列中选择一个图像帧作为待处理图像帧，将运动视频帧序列中位于待处理图像帧之前的图像帧作为关联图像帧，以便于后续基于关联图像帧对待处理图像帧进行处理。

实际应用中，在不同的图像帧处理场景下，待处理视频帧的类型也不同。图像帧处理场景包括但不限于，对多媒体视频进行图像帧处理的场景、对美颜美妆视频进行图像帧处理的场景、在美颜美妆应用程序中实时对人体面部进行识别和美化的场景、用户跟随健身、运动以及体感游戏视频进行运动时，对用户姿态的准确性进行评分或姿态校正等场景。

步骤S204：针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧。

具体的，在上述在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧之后，即可对待处理图像帧中的目标对象添加对象框，并对对象框进行调整获得包含目标对象框的初始图像帧，其中，目标对象是指待处理图像帧中包含的对象，目标对象包括但不限于人体、物体等，其中，人体对应的面部、手部、肢体等均可单独作为目标对象；对象框是指在识别到目标对象后，能够将目标对象框出来的框，对象框能够框出完整的目标对象，或者框出目标对象的局部区域；相应的，目标对象框是指对对象框进行处理获得的对象框，具体实施时，对对象框进行随机裁剪处理后，获得与对象框对应的目标对象框，其中，随机裁剪是指按照预设的裁剪比例对对象框进行的放大、缩小、拉伸等裁剪处理。

基于此，在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧之后，采用目标检测方法识别待处理图像帧中的目标对象，并对目标对象添加对象框，使得对象框能够框出目标对象的全部或部分区域。对对象框的长度和宽度进行调整处理，获得目标对象框，对待处理图像帧进行处理后即可获得包含目标对象框的初始图像帧。其中，目标检测可以通过R-CNN相关算法，以及YOLO等算法实现，本实施例对此不作任何限定。

沿用上例，在确定了运动视频帧序列中的待处理图像帧后，对待处理图像帧进行目标检测，检测待处理图像帧中包含的用户，并为用户添加对象框，使得用户的手臂、头、腿等区域均在对象框内。根据对象框的长度和宽度确定对象框的调整比例，对对象框的长和宽按照比例进行调整处理，获得调整后的对象框。以便于后续对对象框中的用户进行关键点检测。

实际应用中，在对待处理图像帧中的目标对象添加了对象框，对对象框进行调整处理时可以预设调整比例范围，在比例范围中随机选择比例，基于选择的比例对对象框进行调整处理，也就是基于预设调整比例范围对对象框进行调整处理，再对调整后的对象框进行边长的缩放与拉伸处理，获得目标对象框，从而模拟实际对象框的偏差。

进一步，在待处理视频帧序列中确定了待处理图像帧之后，考虑到由人工对待处理图像帧中的目标对象进行标注需要消耗大量的人力，且出现标注错误概率较高，因此可以通过将待处理图像帧输入对象检测模型的方法实现对目标对象添加对象框，具体实现如下：

基于对象检测模型对所述待处理图像帧中的目标对象进行检测处理，获得包含对象框的待处理图像帧，其中，所述对象检测模型为神经网络模型，用于基于所述待处理图像帧中包含的所述目标对象的属性信息对所述目标对象添加对象框。

具体的，对象检测模型是指用于对待处理图像帧中包含的目标对象进行识别和添加对象框处理的神经网络模型，本实施例对对象检测模型的类型不作任何限定，任何能够实现目标对象检测以及为目标对象添加对象框的模型均可；神经网络模型包括但不限于卷积神经网络(CNN)、全连接神经网络(FCN)、循环神经网络(RNN)等，其中，卷积神经网络是利用卷积和池化层降低图像的维度，由于卷积层是可以训练的，参数明显少于标准的隐藏层。卷积神经网络具有表征学习能力，可以进行监督学习和非监督学习；全连接神经网络有输入层、隐藏层和输出层三种基本类型的层，当前层的每个神经元都会接入前一层每个神经元的输入信号；循环神经网络允许信息存储在网络中，通常用于处理顺序任务。检测处理包括对待处理图像帧中包含的目标对象进行检测/识别，并为检测/识别出的目标对象添加对象框，实现使用对象框将目标对象对应的全部或大部分区域框选出来，进而获得包含对象框的待处理图像帧；目标对象的属性信息包括但不限于目标对象的轮廓、颜色、大小等信息。

基于此，将待处理图像帧输入到训练完成的对象检测模型中，对待处理图像帧中包含的目标对象进行检测处理，获得包含对象框的待处理图像帧。对象检测模型用于基于待处理图像帧中包含的所述目标对象的属性信息对所述目标对象进行检测，以及为目标对象添加对象框。对象检测模型先对待处理图像帧进行检测，检测出目标对象的位置，并确定目标对象的轮廓、大小等信息，基于确定的轮廓信息等为目标对象添加对象框，实现对待处理图像帧中目标对象的框选。

举例说明，在用户跟随健身、运动以及体感游戏等视频进行运动产生运动视频，并实时对视频帧中用户姿态的准确性进行评分或姿态校正等场景下，获取由于用户运动产生的当前图像帧，将当前图像帧输入至对象检测模型中进行检测处理，实现对当前图像帧中用户对应的人体对象进行检测和识别，并对识别出的人体对象添加对象框，实现对人体对象的框选。

综上所述，采用训练完成的对象检测模型对待处理图像帧中包含的目对象添加对象框，进而提高了对象框添加的准确性，降低了对象框添加误差。

进一步的，在对待处理图像帧中的目标对象添加了对象框之后，考虑到存在对象框添加不准确的情况，即，存在对象框无法准确的框选出待处理图像帧中的目标对象的情况，因此可以通过对对象框进行调整处理的方法实现对象框框选出的区域的调整，具体实现如下：

沿预设坐标系的横轴方向或纵轴方向对所述对象框进行收缩处理，获得收缩对象框；沿所述预设坐标系的横轴方向和纵轴方向对所述收缩对象框进行延伸处理，获得延伸对象框；基于所述延伸对象框的延伸长边边长和延伸宽边边长对所述延伸对象框进行参数调整，获得包含目标对象框的初始图像帧，其中，所述收缩对象框、所述延伸对象框和所述目标对象框的中心坐标相同。

具体的，预设坐标系是指预先设定的平面直角坐标系，相应的，横轴方向和纵轴方向分别为平面直角坐标系的x轴方向和y轴方向，对象框可以位于该预设坐标系的任意一个象限；收缩处理是指对对象框进行的缩小处理，可以沿预设坐标系的横轴方向或纵轴方向对对象框进行收缩处理；相应的，延伸处理则是指对对象框进行的拉伸处理/放大处理；延伸长边边长和延伸宽边边长分别是指矩形的对象框的长边和宽边分别对应的长度；初始图像帧是指包含调整后的对象框的图像帧，中心坐标即为对象框对角线的交点。

基于此，确定预设坐标系，并在预设坐标系中确定对象框，基于对象框在预设坐标系中的位置即可确定对象框各个顶点的坐标，以及对象框的中心坐标。沿预设坐标系的横轴方向或纵轴方向对对象框进行收缩处理，实现对对象框的长边或短边的收缩，获得收缩对象框；沿预设坐标系的横轴方向和纵轴方向对收缩对象框进行延伸处理，实现对对象框的长边和短边进行拉伸，获得延伸对象框；基于延伸对象框的延伸长边边长和延伸宽边边长对延伸对象框进行参数调整，获得包含目标对象框的初始图像帧，获得的收缩对象框、延伸对象框和目标对象框的中心坐标相同。

沿用上例，如图3所示，预设平面直角坐标系，将对象框置于坐标系中的任意一个象限，沿坐标系的y轴方向对对象框的边进行收缩处理，获得图3中的对象框1，还可以沿坐标系的x轴方向对对象框进行收缩处理。基于对象框1，沿坐标系的x轴方向以及y轴方向分别对对象框的长边和宽边进行延伸处理，获得图3中的对象框2。再基于对象框2的长边和宽边确定边长，将对象框2的长边和宽边的长度调整到与确定的边长相等的长度，获得图3中的对象框3。需要说明的是，在对对象框进行调整的过程中，初始的对象框、对象框1、对象框2以及对象框3的中心坐标均相同，也就是说，在对对象框进行调整的过程中，需要保持对象框的中心坐标不变。

综上所述，通过对对象框进行调整处理，实现对对象框的长边和宽边的长度进行调整，进而实现对对象框的大小进行调整，模拟了预测出的对象框与实际对象框之间的偏差，进而降低预测误差，使得确定的目标对象框更接近真实的对象框。

进一步的，在沿预设坐标系的横轴方向或纵轴方向对对象框进行收缩处理时，考虑到随机的进行收缩处理可能导致对象框收缩程度较高，以至于对象框无法实现框选目标对象，因此可以预先确定收缩比例，再基于收缩比例对对象框进行收缩处理，具体实现如下：

确定所述对象框的收缩比例，所述对象框的长边和长边边长，以及所述对象框的宽边和宽边边长；基于所述收缩比例和所述宽边边长，对所述对象框的宽边沿所述预设坐标系的横轴方向进行收缩处理，获得收缩对象框；或者，基于所述收缩比例和所述长边边长，对所述对象框的长边沿所述预设坐标系的纵轴方向进行收缩处理，获得收缩对象框。

具体的，收缩比例是指根据对象框的长边边长或宽边边长计算得到的数值，在确定收缩比例时，可以根据对象框的长边边长或宽边边长预设比例范围，在对对象框进行收缩处理时，在比例范围内随机选择一个数值作为收缩比例，相应的，对象框的长边是指对象框对应的矩形中长度较长的边，长度较短的边即为宽边，收缩对象框即为对对象框的长边或宽边进行收缩处理后获得的对象框。

基于此，确定对象框的长边、长边边长、宽边和宽边边长，根据对象框的长边边长和宽边边长计算对象框对应的比例范围，在比例范围中随机选择一个数值作为收缩比例，基于确定的收缩比例和宽边边长，对对象框的宽边沿预设坐标系的横轴方向进行收缩处理，获得收缩对象框；或者，基于确定的收缩比例和长边边长，对对象框的长边沿预设坐标系的纵轴方向进行收缩处理，获得收缩对象框。

需要说明的是，在对对象框进行收缩处理时，对对象框的长边和宽边沿哪个轴方向进行收缩处理取决于对象框在预设坐标系中的摆放位置，在横轴方向与对象框的长边平行时，则是对对象框的长边沿预设坐标系的横轴方向进行收缩处理，对对象框的宽边沿预设坐标系的纵轴方向进行收缩处理，相应的，在纵轴方向与对象框的长边平行时，则是对对象框的长边沿预设坐标系的纵轴方向进行收缩处理，对对象框的宽边沿预设坐标系的横轴方向进行收缩处理。

沿用上例，在对对象框进行收缩处理时，确定缩小处理的比例范围0-20％，在比例范围中选择缩小比例3％，在对对象框的长边沿y轴进行收缩处理时，根据长边的长度10计算需要缩短的长度0.3，在对长边进行收缩处理后，获得了长边为9.7的对象框；或者，对对象框的宽边沿x轴进行收缩处理，根据宽边的长度8计算需要缩短的长度0.24，在对宽边进行收缩处理后，获得了宽边为7.76的对象框。

综上所述，通过沿预设坐标系的横轴方向或纵轴方向对对象框进行收缩处理，实现只对对象框的长边或宽边中的任意一边进行收缩处理，进而降低对象框长边或宽边的预测误差。

进一步的，在沿预设坐标系的横轴方向和纵轴方向对收缩对象框进行延伸处理时，考虑到随机的进行延伸处理可能导致对象框延伸程度较高，以至于对象框框选出的多个目标对象，因此可以预先确定延伸比例，再基于延伸比例对对象框进行延伸处理，具体实现如下：

确定所述收缩对象框的延伸比例，所述收缩对象框的收缩长边和收缩长边边长，以及所述收缩对象框的收缩宽边和收缩宽边边长；基于所述延伸比例和所述收缩长边边长，对所述收缩长边沿所述预设坐标系的横轴方向进行延伸处理，以及基于所述延伸比例和所述收缩宽边边长，对所述收缩宽边沿所述预设坐标系的纵轴方向进行延伸处理，获得延伸对象框。

具体的，延伸比例是指根据收缩对象框的收缩长边边长或收缩宽边边长计算得到的数值，在确定延伸比例时，可以根据收缩对象框的收缩长边边长或收缩宽边边长预设比例范围，在对收缩对象框进行延伸处理时，在比例范围内随机选择一个数值作为延伸比例，相应的，收缩对象框的收缩长边是指收缩对象框对应的矩形中长度较长的边，长度较短的边即为收缩宽边，延伸对象框即为对收缩对象框的收缩长边和收缩宽边进行延伸处理后获得的对象框。

基于此，确定收缩对象框的收缩长边、收缩长边边长、收缩宽边和收缩宽边边长，根据收缩对象框的收缩长边边长和收缩宽边边长计算收缩对象框对应的比例范围，在比例范围中随机选择一个数值作为延伸比例，基于确定的延伸比例和收缩长边边长，对收缩长边沿预设坐标系的横轴方向进行延伸处理，以及基于延伸比例和收缩宽边边长，对收缩宽边沿预设坐标系的纵轴方向进行延伸处理，获得延伸对象框。

需要说明的是，在对对象框进行延伸处理时，对象框的收缩长边和收缩宽边沿哪个轴方向进行延伸处理取决于收缩对象框在预设坐标系中的摆放位置，在横轴方向与收缩对象框的收缩长边平行时，则是对收缩对象框的收缩长边沿预设坐标系的横轴方向进行延伸处理，对收缩对象框的收缩宽边沿预设坐标系的纵轴方向进行延伸处理，相应的，在纵轴方向与收缩对象框的收缩长边平行时，则是对收缩对象框的收缩长边沿预设坐标系的纵轴方向进行延伸处理，对收缩对象框的收缩宽边沿预设坐标系的横轴方向进行延伸处理。

沿用上例，在对对象框进行延伸处理时，确定延伸处理的比例范围0-20％，在比例范围中选择延伸比例4％，对对象框的长边沿y轴进行延伸处理时，根据长边的长度9.7计算需要缩短的长度3.88，对对象框的宽边沿x轴进行延伸处理，根据宽边的长度7.76计算需要缩短的长度3.104，在对长边和宽边分别进行延伸处理后，获得了长边为5.82宽边为4.656的对象框。

综上所述，通过沿预设坐标系的横轴方向和纵轴方向分别对收缩对象框的收缩长边和收缩宽边进行延伸处理，实现同时对收缩对象框的收缩长边和收缩宽边进行延伸处理，进而实现基于延伸比例对收缩对象框的收缩长边和收缩宽边进行等比例延伸。

进一步的，在基于延伸对象框的延伸长边边长和延伸宽边边长对延伸对象框进行参数调整时，为了避免对象框调整后，由于对象框的长边或宽边较长导致对象框框选的区域过大，进而框选出多个目标对象，同时也为了避免由于对象框的长边或宽边较短导致对象框框选的区域过小，进而框选出的目标对象不完整，因此可以基于延伸对象框的延伸长边边长和延伸宽边边长确定目标边长，进而对延伸对象框进行调整，具体实现如下：

根据所述延伸对象框的延伸长边边长和延伸宽边边长确定所述延伸对象框的目标边长；基于所述目标边长对所述延伸长边和所述延伸宽边进行边长调整，获得包含所述目标对象框的初始图像帧。

具体的，延伸对象框的延伸长边边长是指延伸对象框对应的矩形中长度较长的边的长度，相应的，延伸宽边边长是指延伸对象框对应的矩形中长度较短的边的长度；目标边长是指根据延伸对象框的延伸长边边长和延伸宽边边长进行计算得到的长度数值。

基于此，分别确定延伸对象框的延伸长边和延伸宽边，对延伸长边边长和延伸宽边变成进行加权平均计算或求均值，将计算结果作为目标边长，在保持延伸对象框的中心坐标不变的情况下，将延伸对象框的延伸长边和延伸宽边调整至与目标边长相等的长度，调整后的延伸对象框即为目标对象框，进而获得包含目标对象框的初始图像帧。

沿用上例，在对对象框进行参数调整时，根据对象框的长边5.82宽边4.656计算对象框的目标边长。可以计算对象框的长边5.82和宽边4.656的平均值5.238，将平均值作为目标边长，将对象框的长边和宽边的长度均调整到平均值5.238，获得正方形的对象框；还可以对对象框的长边5.82和宽边4.656进行加权平均，分别确定长边的权重0.6，以及宽边的权重0.4，进而计算加权平均值，根据计算得到的加权平均值对对象框进行调整。需要说明的是，目标边长的确定方式包括但不限于取均值或加权平均值的方式。

综上所述，通过根据延伸对象框的延伸长边边长和延伸宽边边长计算得到的目标边长对延伸对象框进行边长调整，以便于目标对象框框选出的目标对象更为准确且完整，便于后续确定目标对象的初始关键点。

步骤S206：根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点。

具体的，在上述对待处理图像帧中的目标对象添加对象框，并对对象框进行调整获得包含目标对象框的初始图像帧之后，即可根据目标对象框识别初始图像帧中目标对象的初始关键点，以及确定关联图像帧中目标对象的关联关键点，其中，初始关键点是指基于目标对象框，对目标对象框中的目标对象进行关键点识别后获得的与目标对象对应的关键点，在目标对象为人的面部时，识别到的关键点包括目标对象的眼睛、鼻子、嘴巴等五官对应的关键点，还包括面部轮廓对应的关键点，根据识别到的关键点的位置确定识别到的关键点为初始关键点；相应的，关联关键点是指对关联图像帧中的目标对象进行识别后获得的与每个关联图像帧中的目标对象对应的关键点。

基于此，在对待处理图像帧中的目标对象添加了对象框，并对对象框进行调整获得包含目标对象框的初始图像帧之后，根据目标对象框识别初始图像帧中目标对象的初始关键点，以及确定关联图像帧中目标对象的关联关键点，在确定初始图像帧中目标对象的初始关键点以及确定关联图像帧中目标对象的关联关键点时，可以通过关键点检测算法进行初始关键点识别和绘制。

沿用上例，在为待处理图像帧中的用户添加了对象框并对对象框进行调整后，对调整后的对象框中的用户进行关键点检测，检测调整后的对象框中人的眼睛、鼻子、嘴巴、肘关节、膝关节、踝关节等关键点，并对在时序上排列在被待处理图像帧之前的图像帧进行关键点检测，确定相应的关键点。

具体实施时，可以根据初始图像帧中目标对象框，对目标对象框中框出的目标对象进行关键点检测，进而获得目对象框中目标对象对应的初始关键点，采用相同的关键点检测方法对关联图像帧中的目标对象进行关键点检测，获得每个关联图像帧中目标对象对应的关联关键点。用于后续基于关联关键点对初始关键点进行修正处理。

进一步的，在根据目标对象框识别初始图像帧中目标对象的初始关键点时，考虑到由人工对初始关键点进行识别需要消耗大量的人力资源，且对标注人员的工作经验要求较高，由人工进行初始关键点的标注，出现标注错误的概率也较高，因此可以通过关键点识别算法进行初始关键点的识别，具体实现如下：

在所述初始图像帧中确定所述目标对象框对应的目标对象区域；基于关键点识别算法确定所述目标对象区域包含的至少一个特征区域；识别每个特征区域包含的关键点，并根据识别结果确定所述初始图像帧中所述目标对象的初始关键点。

具体的，目标对象区域是指初始图像帧中的目标对象框包含的区域中，目标对象所占的区域；关键点识别算法是指用于识别目标对象包含的关键点的策略，能够实现对目标对象进行识别和分析，进而确定能够代表目标对象关键的对象特征的关键点；特征区域是指采用关键点识别算法对目标对象区域进行识别，获得的包含目标对象各个部位的区域，进而在各个区域内识别目标对象的初始关键点。

基于此，在包含目标对象框的初始图像帧中确定目标对象框框选出的目标对象区域，采用关键点识别算法识别出目标对象区域包含的至少一个特征区域，进而识别每个特征区域包含的关键点，根据识别结果确定初始图像帧中目标对象的初始关键点。其中，采用关键点识别算法识别目标对象区域中包含的至少一个特征区域时，可以根据目标对象的部位信息实现对目标对象区域的划分，获得至少一个特征区域，每个特征区域对应目标对象的一个部位，进而再对每个部位进行关键点识别。

沿用上例，在调整后的对象框中确定对象框所框选出的人体对象对应的人体区域，采用关键点识别算法识别人体区域中的关键点。在识别过程中，先在人体区域中确定每个人体部位对应的人体部位区域，包括但不限于头部、手臂、腿部等人体部位区域。分别在每个人体部位区域中确定初始关键点，在头部确定的初始关键点可以是眼睛关键点、鼻子关键点、耳朵关键点等。进而获得人体对应的全部关键点。

综上所述，基于关键点识别算法确定初始图像帧中目标对象的初始关键点，进而提高了初始关键点识别的准确性。通过先划分特征区域，再在特征区域中识别初始关键点，提高了初始关键点识别的效率，同时也提高了识别精度。

步骤S208：基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内。

具体的，在上述根据目标对象框识别初始图像帧中目标对象的初始关键点，以及确定关联图像帧中目标对象的关联关键点之后，即可基于关联关键点对初始图像帧中的初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，修正处理是指对初始关键点的坐标的调整处理，根据关联图像帧中的关联关键点的坐标对初始图像帧中初始关键点的坐标进行调整，进行了坐标调整后的初始关键点即为目标关键点，相应的，在对初始关键点进行修正处理后即可获得与待处理图像帧对应的目标图像帧，目标图像帧中包含目标关键点以及目标对象框。

基于此，在根据目标对象框识别初始图像帧中目标对象的初始关键点，以及确定关联图像帧中目标对象的关联关键点之后，基于关联关键点对初始图像帧中的初始关键点进行修正处理，选择与待处理图像帧对应的设定数量的关联图像帧，基于设定数量的关联图像帧中的关联关键点对初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，基于关联关键点对初始关键点进行平滑处理时，可以根据关联关键点转化为初始关键点时所产生的关键点路径对初始关键点进行平滑处理。实际应用中，在基于关联关键点对初始关键点进行修正处理时，可以根据不同的关联图像帧中的关联关键点对初始关键点进行修正处理，根据图像帧间的变化确定关键点的变化速度，进而基于变化速度对初始关键点进行平滑处理。

沿用上例，根据时序上排列在待处理图像帧之前的图像帧中用户的关键点，对调整后的对象框中用户的关键点进行修正处理，根据前序图像帧与待处理图像帧中关键点坐标的变化对待处理图像帧中用户的关键点进行修正，获得关键点修正后的包含用户的图像帧，实现了对待处理图像帧中用户关键点的重定位，使得图像帧间切换时关键点的运动轨迹更加自然流畅，降低了关键点抖动幅度，进而提高了对用户的动作规范程度进行检测和校正的准确程度。

进一步的，在识别出初始图像帧中，目标对象框中目标对象对应的初始关键点之后，考虑到识别出的两帧中，目标对象的同一部位的关键点可能存在偏差较大的情况，即同一个关键点在相邻的两帧中相距较远，造成视频在播放时出现抖动的现象，因而可以对初始图像帧中的初始关键点进行修正处理，具体实现如下：

在所述关联图像帧为所述待处理图像帧关联的一个图像帧的情况下，基于所述关联关键点的关联坐标，以及所述初始关键点的初始坐标，计算所述关联关键点和所述初始关键点之间的坐标距离；根据预设的计算参数和所述坐标距离计算所述初始关键点对应的预测向量；于所述预测向量和所述初始坐标计算所述初始关键点对应的目标坐标；基于所述目标坐标在所述初始图像帧中生成所述目标关键点，并将包含所述目标关键点的初始图像帧作为所述目标图像帧。

具体的，关联坐标是指关联图像帧中包含的关联关键点对应的坐标，相应的，初始坐标是指初始图像帧中初始关键点的坐标；坐标距离是指在关联图像帧与初始图像帧位于同一坐标系的情况下，关联关键点与初始关键点之间在坐标系中的距离；计算参数是指预先设置的常数参数，用于与坐标距离进行计算，进而获得初始关键点对应的向量，即预测向量；目标坐标是对预测向量和初始坐标进行计算获得的坐标，基于该目标坐标即可在初始图像帧中确定目标关键点，即修正处理后的初始关键点；对初始图像帧中全部的初始关键点进行修正处理后获得的包含目标关键点的初始图像帧即为目标图像帧。

基于此，在与初始图像帧关联的关联图像帧为待处理图像帧关联的一个图像帧的情况下，根据预设坐标系确定关联图像帧中关联关键点的关联坐标，以及初始图像帧中初始关键点的初始坐标。计算关联关键点和初始关键点之间的坐标距离。根据预设的计算参数和坐标距离计算初始关键点对应的预测向量，基于预测向量和初始坐标计算初始关键点对应的目标坐标。根据目标坐标在初始图像帧中目标坐标所在的位置生成目标关键点，并将包含目标关键点的初始图像帧作为目标图像帧。

沿用上例，在对象框中确定了人体对应的全部关键点之后，可以在空间维度对人体对应的全部关键点进行修正处理。在与当前图像帧关联的图像帧中确定当前图像帧对应的上一帧图像帧，在与当前图像帧关联的图像帧对应的关键点中确定与当前图像帧对应的上一帧图像帧中包含的关键点，并计算当前帧中的关键点与上一帧中的关键点之间的距离3，将距离3与预设的加速度矩阵相乘即可获得该关键点的速度向量，将该速度向量添加至该关键点的坐标位置即可获得该关键点对应的修正后的坐标，进而根据坐标在当前图像帧中确定修正后的关键点。

综上所述，在关联图像帧为待处理图像帧关联的一个图像帧的情况下，根据关联关键点与初始关键点之间的坐标距离计算与初始关键点对应的目标关键点，进而避免由于坐标距离过大导致的帧间目标对象抖动的现象，提高视觉体验。

进一步的，在对初始图像帧中的初始关键点进行平滑处理时，考虑到初始图像帧是与待处理视频帧序列中，位于初始图像帧之前的图像帧存在关联关系的，且越靠近初始图像帧的图像帧与初始图像帧的关联程度越大，考虑到待处理视频帧序列中初始图像帧的前n个图像帧对初始图像帧中关键点的影响，可以基于前n个图像帧实现对初始图像帧中初始关键点的修正处理，具体实现如下：

在所述关联图像帧为所述待处理图像帧关联的至少一个关联图像帧的情况下，确定至少一个关联图像帧中每个关联图像帧对应的关联关键点，以及所述关联关键点对应的关联坐标和关联权重；基于所述关联关键点对应的关联坐标和关联权重，以及所述初始关键点的初始坐标，计算所述初始关键点对应的目标坐标；基于所述目标坐标在所述初始图像帧中生成所述目标关键点，并将包含所述目标关键点的初始图像帧作为所述目标图像帧。

具体的，关联权重代表关联关键点在对初始关键的进行修正处理时，对初始关键点的重要程度，关联权重可以根据实际情况预先设定，关联权重的设定规则包括但不限于：待处理视频帧序列中距离初始图像帧越近的图像帧中的关键点关联权重越大，关联关键点与初始关键点之间的坐标距离越大，关联权重越小等。

基于此，在与初始图像帧关联的关联图像帧为待处理图像帧关联的至少一个关联图像帧的情况下，根据预设坐标系确定至少一个关联图像帧中每个关联图像帧对应的关联关键点，并确定关联关键点对应的关联坐标，根据权重确定规则分别确定每个关联关键点的关联权重。基于关联关键点的关联坐标和关联权重，以及初始关键点的初始坐标，计算所述初始关键点对应的目标坐标。根据目标坐标在初始图像帧中目标坐标所在的位置生成目标关键点，并将包含目标关键点的初始图像帧作为目标图像帧。采用下述公式(1)即可计算出目标坐标，

其中，dist(p

沿用上例，在对象框中确定了人体对应的全部关键点之后，可以在时间维度对人体对应的全部关键点进行修正处理。根据与当前图像帧关联的n个图像帧对应的关键点，以及当前图像帧对应的关键点，对当前图像帧的关键点进行修正处理。采用上述公式(1)计算当前图像帧的关键点对应的修正后的关键点，即，分别确定当前图像帧对应的前1帧、前2帧、前3帧、前4帧中关键点的权重，将一帧中关键点的权重与该关键点的坐标相乘，分别获得4帧图像帧中关键点对应的乘积结果，将乘积结果除以权重之和获得当前图像帧中关键点的坐标。进而根据坐标在当前图像帧中确定关键点。

综上所述，基于至少一个关联图像帧对应的关联关键点的关联坐标和关联权重以及初始关键点的初始坐标计算初始关键点的目标坐标，实现了基于关联关键点对初始关键点的修正处理，使得目标对象的运动轨迹更加流畅自然。

进一步的，考虑到与初始图像帧关联的关联图像帧可以为一个也可以为多个，为了提高对初始图像帧的修正处理的准确性以及全面性，可以先后对初始关键点进行预测和计算，从而获得目标关键点，具体实现如下：

在所述关联图像帧中确定与所述初始图像帧对应的前序图像帧，以及在所述关联关键点中确定所述前序图像帧对应的前序关键点；基于所述前序关键点和所述初始关键点确定预测关键点，并基于所述预测关键点和所述关联关键点确定所述初始关键点对应的目标坐标；或者，基于所述关联关键点和所述初始关键点确定计算关键点，并基于所述计算关键点和所述前序关键点确定所述初始关键点对应的目标坐标；基于所述目标坐标在所述初始图像帧中确定所述目标关键点，获得包含所述目标关键点的目标图像帧。

具体的，前序图像帧是指待处理视频帧序列中与初始图像帧相邻的前一个图像帧，相应的，前序关键点即为与初始图像帧相邻的前一个图像帧中目标对象对应的关键点；预测关键点是指根据前序关键点和初始关键点进行预测获得的关键点；计算关键点是指根据关联关键点和初始关键点进行计算获得的关键点。

基于此，在确定了与初始图像帧对应的关联图像帧，以及关联图像帧对应的关联关键点之后，根据全部关联图像帧或部分关联图像帧对初始关键点进行修正处理。在关联图像帧中确定部分关联图像帧，即前序图像帧，在关联关键点中确定与前序图像帧对应的前序关键点。根据前序关键点和初始关键点确定与初始关键点对应的预测关键点，并基于预测关键点和关联关键点确定初始关键点对应的目标坐标；或者，基于关联关键点和初始关键点确定计算关键点，并基于计算关键点和前序关键点确定初始关键点对应的目标坐标。根据目标坐标在初始图像帧中确定目标关键点，获得包含目标关键点的目标图像帧。

沿用上例，在对对象框中的人体关键点进行修正处理时，可以采用上述修正处理方法，依次对人体关键点进行空间维度和时间维度进行修正处理，可以先对人体关键点进行空间维度上的修正处理，获得第一次修正后的人体关键点，再采用上述公式(1)基于修正后的人体关键点进行时间维度上的修正处理，进而同时实现空间维度和时间维度的修正处理。还可以先采用上述公式(1)对人体关键点进行时间维度上的修正处理获得第一次修正后的人体关键点，再基于修正后的人体关键点进行空间维度上的修正处理，进而同时实现空间维度和时间维度的修正处理。

综上所述，先根据前序关键点对初始关键点进行预测获得预测关键点，或者先根据关联关键点对初始关键点进行计算获得计算关键点，进而提高了对初始关键点进行修正处理的灵活性。

进一步的，考虑到先后对初始关键点进行预测和计算可能会由于预测偏差导致更大的计算偏差，因此可以分别对初始关键点进行预测和计算，再将预测结果和计算结果进行整合，获得初始关键点对应的目标关键点，具体实现如下：

基于所述关联关键点对所述初始关键点进行关键点预测处理，获得预测关键点；基于所述关联关键点对所述初始关键点进行关键点计算处理，获得计算关键点；根据所述预测关键点和所述计算关键点在所述初始图像帧中生成所述目标关键点，并将包含所述目标关键点的初始图像帧作为所述目标图像帧。

基于此，预测处理是指基于关联关键点对初始关键点进行关键点预测；关键点计算处理是指基于关联关键点对初始关键点进行的关键点计算。在确定了关联关键点后，基于关联关键点对初始关键点进行预测处理，以及基于关联关键点对初始关键点进行计算处理，分别获得预测关键点和计算关键点，再结合预测关键点和计算关键点在初始图像帧中生成目标关键点。其中，对初始关键点进行预测处理时，确定关联关键点的关联坐标，初始关键点的初始坐标，计算关联坐标和初始坐标之间的坐标距离，并根据预设的计算参数和坐标距离计算预测向量，进而结合初始坐标确定预测坐标，进而根据预测坐标在初始图像帧中确定预测关键点。对初始关键点进行计算处理时，确定每个关联图像帧对应的关联关键点，以及关联关键点对应的关联坐标和关联权重；基于关联关键点对应的关联坐标和关联权重，以及初始关键点的初始坐标，确定计算坐标，进而根据计算坐标在初始图像帧中确定计算关键点。

沿用上例，在对对象框中的人体关键点进行修正处理时，可以采用上述修正处理方法，分别对人体关键点进行空间维度和时间维度进行修正处理，再对两次修正处理结果进行整合，获得修正后的人体关键点。即，分别基于人体关键点进行空间维度上的修正处理和时间维度上的修正处理，分别获得了时间维度修正结果和空间维度修正结果，再对两个修正结果进行整合，进而同时实现空间维度和时间维度的修正处理。

综上所述，通过在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内。通过基于关联图像帧中关联关键点对待处理图像帧的目标对象框中的初始关键点进行修正处理，实现了基于关联图像帧对初始关键点的重定位，进而使得处理完成的待处理视频帧序列中关键点更加稳定，使得目标对象的运动轨迹更加流畅。

下述结合附图4，以本说明书提供的图像帧处理方法在人脸识别的应用为例，对所述图像帧处理方法进行进一步说明。其中，图4示出了本说明书一个实施例提供的一种图像帧处理方法的处理过程流程图，具体包括以下步骤。

步骤S402：在待处理视频帧序列中确定待处理图像帧，以及与待处理图像帧关联的关联图像帧。

在移动端视频的关键点检测场景，如人脸关键点检测、手势关键点检测等场景下，通常可以对视频帧中的人体部位进行识别，进而对识别到的人体部位进行关键点检测。在对视频中的人脸进行检测关键点检测时，为了降低帧间关键点抖动问题，可以通过提高模型的检测性能，以及对检测到的关键点进行后处理等方法，实现关键点的平滑处理。在对人脸进行美颜或美妆场景下，实时获取由于人脸移动产生的图像帧，并对图像帧中的人脸进行识别，以及对人脸中包含的关键点进行识别。

步骤S404：针对待处理图像帧中的目标对象添加对象框。

检测图像帧中的人脸，并对图像帧中的人脸添加人脸框，进而对人脸框进行随机裁剪。

步骤S406：确定对象框的收缩比例，对象框的长边和长边边长，以及对象框的宽边和宽边边长。

为了便于描述人脸框可以建立坐标系，将人脸框放置在坐标系中，在对人脸框进行收缩裁剪时，确定人脸框的坐标Rect0＝[x0,y0,w0,h0]，其中x0,y0表示人脸框接近坐标系原点的顶点坐标，w0,h0分别表示人脸框的宽度和高度，即长边的边长和宽边的边长。

步骤S408：基于收缩比例和长边边长，对对象框的长边沿预设坐标系的纵轴方向进行收缩处理，获得收缩对象框。

确定收缩裁剪的比例范围0-20％，在比例范围中随机选择收缩裁剪比例5％，在对人脸框的长边沿y轴进行收缩裁剪，获得收缩裁剪后的人脸框。收缩裁剪后的人脸框坐标即可表示为Rect1＝[x1,y1,w1,h1]＝[x0,y0*(1-5％),w0,h0*(1-5％)]。

步骤S410：确定收缩对象框的延伸比例，收缩对象框的收缩长边和收缩长边边长，以及收缩对象框的收缩宽边和收缩宽边边长。

收缩裁剪后的人脸框坐标可表示为Rect1＝[x1,y1,w1,h1]＝[x0,y0*(1-5％),w0,h0*(1-5％)]。

步骤S412：基于延伸比例和收缩长边边长，对收缩长边沿预设坐标系的横轴方向进行延伸处理，以及基于延伸比例和收缩宽边边长，对收缩宽边沿预设坐标系的纵轴方向进行延伸处理，获得延伸对象框。

基于收缩裁剪结果对人脸框进行延伸处理，确定延伸处理的比例范围0-15％，在比例范围中选择延伸比例2％，对人脸框的长边沿y轴进行延伸处理时，对对象框的宽边沿x轴进行延伸处理，获得延伸处理后的人脸框。延伸处理后的人脸框的人脸框坐标即可表示Rect2＝[x2,y2,w2,h2]＝[(1-2％)*x1,(1-2％)*y1,(1+2*2％)*w1,(1+2*2％)*h1]。此时Rect2的中心点坐标为[xc2,yc2]。

步骤S414：根据延伸对象框的延伸长边边长和延伸宽边边长确定延伸对象框的目标边长。

保持Rect2中心点坐标不变，以Rect2长宽的均值为边长拉伸矩形Rect2，得到修正处理后的人脸框，其中，边长dis＝(w2+h2)/2。

步骤S416：基于目标边长对延伸长边和延伸宽边进行边长调整，获得包含目标对象框的初始图像帧。

以Rect2长宽的均值为边长拉伸矩形Rect2，得到修正处理后的人脸框。拉伸后的人脸框坐标可表示为Rect3＝[x3,y3,w3,h3]＝[xc2-dis/2,yc2-dis/2,dis,dis]。确定了拉伸后的人脸框即可获得对人脸框进行随机裁剪后的图像帧。

步骤S418：根据目标对象框识别初始图像帧中目标对象的初始关键点，以及确定关联图像帧中目标对象的关联关键点。

步骤S420：基于关联关键点的关联坐标，以及初始关键点的初始坐标，计算关联关键点和初始关键点之间的坐标距离。

在空间维度对裁剪后的人脸框中的关键点进行平滑处理。根据当前图像帧与上一图像帧中表示同一个人脸部位的关键点的坐标，计算该关键点的移动距离。

步骤S422：根据预设的计算参数和坐标距离计算初始关键点对应的预测向量。

步骤S424：基于预测向量和初始坐标计算初始关键点对应的目标坐标。

使用速度向量表示所有关键点的变化速度，加速度描述速度向量的变化趋势，在物理世界中加速度是位移的2阶倒数，在图像帧中可以用拉普拉斯算子计算关键点位置的2阶倒数，对于维度是106的关键点，速度向量的维度是1X106，可以通过拉普拉斯构建106X106维度的加速度矩阵，关键点的移动距离乘以该加速度矩阵就可以得到平滑后的速度向量，平滑后的速度向量添加到新预测的关键点的坐标位置即可获得平滑处理后的关键点。

步骤S426：确定至少一个关联图像帧中每个关联图像帧对应的关联关键点，以及关联关键点对应的关联坐标和关联权重。

采用上述公式(1)对平滑处理后的关键点继续进行时间维度上的平滑处理。

步骤S428：基于关联关键点对应的关联坐标和关联权重，以及初始关键点的初始坐标，计算初始关键点对应的目标坐标。

确定与当前图像帧对应的前N个图像帧。N可以根据实际处理情况确定。在N＝4时，分别确定与当前图像帧对应的前4个图像帧中每个图像帧对应的关键点。分别为每个图像帧中的关键点预置坐标权值，可以依据时序上越靠近当前帧的坐标权值越小，坐标间距离越大权值越小的规则预置坐标权值。在确定了每个图像帧中关键点的坐标权值后，即可通过公式(1)计算当前图像帧中每个关键点对应的平滑后的关键点坐标，进而根据该关键点坐标确定从时间维度进行平滑处理后的关键点。

步骤S430：基于目标坐标在初始图像帧中生成目标关键点，并将包含目标关键点的初始图像帧作为目标图像帧。

在分别对人脸框中的关键点进行空间维度和时间维度上的平滑处理后，即可获得平滑处理后的目标关键点，进而获得对关键点进行平滑处理后的图像帧。需要说明的是，本实施例对人脸框中的关键点进行空间维度和时间维度上的平滑处理时，对空间维度的平滑处理和时间维度的平滑处理的处理顺序不作任何限定。

使用随机裁剪模块模拟实际检测框的偏差，弱化噪声影响，促使关键点对齐模型学习到克服检测框误差的能力；使用关键点后处理模块，从空间和时间维度上对关键点局部偏差进行平滑处理，达到降低抖动的目标。

综上所述，通过在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内。通过基于关联图像帧中关联关键点对待处理图像帧的目标对象框中的初始关键点进行修正处理，实现了基于关联图像帧对初始关键点的重定位，进而使得处理完成的待处理视频帧序列中关键点更加稳定，使得目标对象的运动轨迹更加流畅。

需要说明的是，本申请所涉及的用户的人脸数据为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

与上述方法实施例相对应，本说明书还提供了图像帧处理装置实施例，图5示出了本说明书一个实施例提供的一种图像帧处理装置的结构示意图。如图5所示，该装置包括：

确定模块502，被配置为在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

调整模块504，被配置为针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

识别模块506，被配置为根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

修正模块508，被配置为基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内。

一个可选地实施例中，所述调整模块504进一步被配置为：

沿预设坐标系的横轴方向或纵轴方向对所述对象框进行收缩处理，获得收缩对象框；沿所述预设坐标系的横轴方向和纵轴方向对所述收缩对象框进行延伸处理，获得延伸对象框；于所述延伸对象框的延伸长边边长和延伸宽边边长对所述延伸对象框进行参数调整，获得包含目标对象框的初始图像帧，其中，所述收缩对象框、所述延伸对象框和所述目标对象框的中心坐标相同。

一个可选地实施例中，所述调整模块504进一步被配置为：

确定所述对象框的收缩比例，所述对象框的长边和长边边长，以及所述对象框的宽边和宽边边长；基于所述收缩比例和所述宽边边长，对所述对象框的宽边沿所述预设坐标系的横轴方向进行收缩处理，获得收缩对象框；或者，基于所述收缩比例和所述长边边长，对所述对象框的长边沿所述预设坐标系的纵轴方向进行收缩处理，获得收缩对象框。

一个可选地实施例中，所述调整模块504进一步被配置为：

确定所述收缩对象框的延伸比例，所述收缩对象框的收缩长边和收缩长边边长，以及所述收缩对象框的收缩宽边和收缩宽边边长；基于所述延伸比例和所述收缩长边边长，对所述收缩长边沿所述预设坐标系的横轴方向进行延伸处理，以及基于所述延伸比例和所述收缩宽边边长，对所述收缩宽边沿所述预设坐标系的纵轴方向进行延伸处理，获得延伸对象框。

一个可选地实施例中，所述调整模块504进一步被配置为：

根据所述延伸对象框的延伸长边边长和延伸宽边边长确定所述延伸对象框的目标边长；基于所述目标边长对所述延伸长边和所述延伸宽边进行边长调整，获得包含所述目标对象框的初始图像帧。

一个可选地实施例中，所述修正模块508进一步被配置为：

在所述关联图像帧为所述待处理图像帧关联的一个图像帧的情况下，基于所述关联关键点的关联坐标，以及所述初始关键点的初始坐标，计算所述关联关键点和所述初始关键点之间的坐标距离；根据预设的计算参数和所述坐标距离计算所述初始关键点对应的预测向量；于所述预测向量和所述初始坐标计算所述初始关键点对应的目标坐标；基于所述目标坐标在所述初始图像帧中生成所述目标关键点，并将包含所述目标关键点的初始图像帧作为所述目标图像帧。

一个可选地实施例中，所述修正模块508进一步被配置为：

在所述关联图像帧为所述待处理图像帧关联的至少一个关联图像帧的情况下，确定至少一个关联图像帧中每个关联图像帧对应的关联关键点，以及所述关联关键点对应的关联坐标和关联权重；基于所述关联关键点对应的关联坐标和关联权重，以及所述初始关键点的初始坐标，计算所述初始关键点对应的目标坐标；基于所述目标坐标在所述初始图像帧中生成所述目标关键点，并将包含所述目标关键点的初始图像帧作为所述目标图像帧。

一个可选地实施例中，所述修正模块508进一步被配置为：

在所述关联图像帧中确定与所述初始图像帧对应的前序图像帧，以及在所述关联关键点中确定所述前序图像帧对应的前序关键点；基于所述前序关键点和所述初始关键点确定预测关键点，并基于所述预测关键点和所述关联关键点确定所述初始关键点对应的目标坐标；或者，基于所述关联关键点和所述初始关键点确定计算关键点，并基于所述计算关键点和所述前序关键点确定所述初始关键点对应的目标坐标；基于所述目标坐标在所述初始图像帧中确定所述目标关键点，获得包含所述目标关键点的目标图像帧。

一个可选地实施例中，所述调整模块504进一步被配置为：

基于对象检测模型对所述待处理图像帧中的目标对象进行检测处理，获得包含对象框的待处理图像帧，其中，所述对象检测模型为神经网络模型，用于基于所述待处理图像帧中包含的所述目标对象的属性信息对所述目标对象添加对象框。

一个可选地实施例中，所述识别模块506进一步被配置为：

在所述初始图像帧中确定所述目标对象框对应的目标对象区域；基于关键点识别算法确定所述目标对象区域包含的至少一个特征区域；识别每个特征区域包含的关键点，并根据识别结果确定所述初始图像帧中所述目标对象的初始关键点。

综上所述，通过在待处理视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内。通过基于关联图像帧中关联关键点对待处理图像帧的目标对象框中的初始关键点进行修正处理，实现了基于关联图像帧对初始关键点的重定位，进而使得处理完成的待处理视频帧序列中关键点更加稳定，使得目标对象的运动轨迹更加流畅。

上述为本实施例的一种图像帧处理装置的示意性方案。需要说明的是，该图像帧处理装置的技术方案与上述的图像帧处理方法的技术方案属于同一构思，图像帧处理装置的技术方案未详细描述的细节内容，均可以参见上述图像帧处理方法的技术方案的描述。

参见图6，图6示出了根据本说明书一个实施例提供的一种视频处理方法的流程图，具体包括以下步骤。

步骤S602：接收用户上传的视频片段，并在所述视频片段对应的视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

步骤S604：针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

步骤S606：根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

步骤S608：基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内；

步骤S610：基于所述目标图像帧生成目标视频片段并反馈至所述用户。

基于此，视频片段可以是包含多个视频帧的视频片段，视频帧中包括需要进行识别的目标对象，目标对象包括但不限于人体部位(人脸、躯干等)、人体、动物、植物、车辆等物体。在接收到用户上传的视频片段后，在视频片段对应的视频帧序列中选择一个图像帧作为待处理图像帧，并将待处理图像帧之前的图像帧作为与待处理图像帧关联的关联图像帧。对待处理图中帧进行目标检测，检测到目标对象后为目标对象添加对象框，并对对象框进行调整处理，获得包含目标对象框的初始图像帧。在目标对象框中识别初始图像帧中目标对象的关键点作为初始关键点，并在关联图像帧中确定目标对象的关键点作为关联关键点。基于关联关键点对初始图像帧中的初始关键点进行修正处理，获得包含目标关键点的目标图像帧进而生成处理后的视频片段并反馈至用户。

举例说明，在体感游戏场景下，视频片段即为由于人体运动产生的运动视频，接收用户上传的运动视频，在运动视频中选择一个图像帧，对图像帧中的人体进行识别，再为识别到的人体添加对象框，使得人体对应的手臂、头、腿等区域均在对象框内。对对象框的长和宽按照比例进行调整处理，获得调整后的对象框。此时检测调整后的对象框中人的眼睛、鼻子、嘴巴、肘关节、膝关节、踝关节等关键点，并根据时序上排列在被选择的图像帧之前的图像帧中相应的关键点，对调整后的对象框中人体的关键点进行修正处理，根据前序图像帧与被选择的图像帧中关键点坐标的变化对被选择的图像帧中的关键点进行修正，获得关键点修正后的图像帧并反馈至用户。实现了对被选择图像帧中人体关键点的重定位，使得图像帧间切换时关键点的运动轨迹更加自然流畅，降低了关键点抖动幅度。

实际应用中，通过接收用户上传的视频片段，并在视频片段对应的视频帧序列中确定待处理图像帧，以及待处理图像帧之前的关联图像帧；针对待处理图像帧中的目标对象添加对象框，并对对象框进行调整处理，获得包含目标对象框的初始图像帧；根据目标对象框识别初始图像帧中目标对象的初始关键点，以及确定关联图像帧中目标对象的关联关键点；基于关联关键点对初始图像帧中的初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，目标关键点位于目标图像帧中的目标对象框内；基于目标图像帧生成目标视频片段并反馈至用户，进而为用户高效的提供视频片段处理方法，能够有效的降低视频关键点的帧间抖动现象，提升视觉稳定性。

综上所述，通过基于关联图像帧中关联关键点对待处理图像帧的目标对象框中的初始关键点进行修正处理，实现了基于关联图像帧对初始关键点的重定位，进而使得处理完成的待处理视频帧序列中关键点更加稳定，使得目标视频中目标对象的运动轨迹更加流畅和自然，优化了目标对象抖动的情况，有效的降低视频关键点的帧间抖动现象，提升视觉稳定性。

与上述方法实施例相对应，本说明书还提供了视频处理装置实施例，图7示出了本说明书一个实施例提供的一种视频处理装置的结构示意图。如图7所示，该装置包括：

视频接收模块702，被配置为接收用户上传的视频片段，并在所述视频片段对应的视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

图像帧处理模块704，被配置为针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

关键点确定模块706，被配置为根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

关键点修正模块708，被配置为基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内；

视频反馈模块710，被配置为基于所述目标图像帧生成目标视频片段并反馈至所述用户。

综上所述，通过基于关联图像帧中关联关键点对待处理图像帧的目标对象框中的初始关键点进行修正处理，实现了基于关联图像帧对初始关键点的重定位，进而使得处理完成的待处理视频帧序列中关键点更加稳定，使得目标视频中目标对象的运动轨迹更加流畅和自然，优化了目标对象抖动的情况，有效的降低视频关键点的帧间抖动现象，提升视觉稳定性。

上述为本实施例的一种视频处理装置的示意性方案。需要说明的是，该视频处理装置的技术方案与上述的视频处理方法的技术方案属于同一构思，视频处理装置的技术方案未详细描述的细节内容，均可以参见上述视频处理方法的技术方案的描述。

参见图8，图8示出了根据本说明书一个实施例提供的另一种视频处理方法的流程图，具体包括以下步骤。

步骤S802：接收用户基于视频上传界面上传的视频片段，并在所述视频片段对应的视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

步骤S804：针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

步骤S806：根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

步骤S808：基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内；

步骤S810：基于所述目标图像帧生成目标视频片段并在视频播放界面向所述用户播放。

基于此，接收用户基于视频上传界面上传的视频片段，并在视频片段对应的视频帧序列中确定待处理图像帧，以及待处理图像帧之前的关联图像帧；针对待处理图像帧中的目标对象添加对象框，并对对象框进行调整处理，获得包含目标对象框的初始图像帧；根据目标对象框识别初始图像帧中目标对象的初始关键点，以及确定关联图像帧中目标对象的关联关键点；基于关联关键点对初始图像帧中的初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，目标关键点位于目标图像帧中的目标对象框内；基于目标图像帧生成目标视频片段并在视频播放界面向用户播放。

举例说明，在添加特效拍照场景下，可以为出现在镜头画面中的人脸或人体添加美妆、服饰、表情等动画效果。视频片段即为由于人脸移动产生的添加了特效的特效视频或未添加特效的拍照过长中产生的视频。由于人脸在添加特效的过程中是不断进行微小的移动的，为了避免由于人脸移动造成的特性无法添加，特效不连续等问题。可以对特效视频进行处理。为用户提供视频上传界面，接收用户在视频上传界面上传的视频，在视频中选择一个图像帧，对图像帧中的人脸进行识别，再为识别到的人脸添加对象框，使得人脸对应的眼睛、鼻子、耳朵等区域均在对象框内。对对象框的长和宽按照比例进行调整处理，获得调整后的对象框。此时检测调整后的对象框中人脸的眼睛、鼻子、嘴巴、耳朵等关键点，并根据时序上排列在被选择的图像帧之前的图像帧中相应的关键点，对调整后的对象框中人脸的关键点进行修正处理，根据前序图像帧与被选择的图像帧中关键点坐标的变化对被选择的图像帧中的关键点进行修正，获得关键点修正后的图像帧并在视频播放界面向用户播放。实现了对被选择图像帧中人脸关键点的重定位，使得图像帧间切换时关键点的运动轨迹更加自然流畅，降低了关键点抖动幅度。在添加特效拍照时降低了由于人脸的运动造成的特效抖动的幅度，提高用户的使用体验。

实际应用中，通过接收用户基于视频上传界面上传的视频片段，并在视频片段对应的视频帧序列中确定待处理图像帧，以及待处理图像帧之前的关联图像帧；针对待处理图像帧中的目标对象添加对象框，并对对象框进行调整处理，获得包含目标对象框的初始图像帧；根据目标对象框识别初始图像帧中目标对象的初始关键点，以及确定关联图像帧中目标对象的关联关键点；基于关联关键点对初始图像帧中的初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，目标关键点位于目标图像帧中的目标对象框内；基于目标图像帧生成目标视频片段并在视频播放界面向用户播放，进而为用户高效的提供视频片段处理方法，能够有效的降低视频关键点的帧间抖动现象，提升视觉稳定性。

综上所述，通过基于关联图像帧中关联关键点对待处理图像帧的目标对象框中的初始关键点进行修正处理，实现了基于关联图像帧对初始关键点的重定位，进而使得处理完成的待处理视频帧序列中关键点更加稳定，使得目标对象的运动轨迹更加流畅和自然，优化了目标对象抖动的情况，有效的降低视频关键点的帧间抖动现象，提升视觉稳定性。

与上述方法实施例相对应，本说明书还提供了视频处理装置实施例，图9示出了本说明书一个实施例提供的另一种视频处理装置的结构示意图。如图9所示，该装置包括：

视频上传模块902，被配置为接收用户基于视频上传界面上传的视频片段，并在所述视频片段对应的视频帧序列中确定待处理图像帧，以及所述待处理图像帧之前的关联图像帧；

对象框调整模块904，被配置为针对所述待处理图像帧中的目标对象添加对象框，并对所述对象框进行调整处理，获得包含目标对象框的初始图像帧；

对象处理模块906，被配置为根据所述目标对象框识别所述初始图像帧中所述目标对象的初始关键点，以及确定所述关联图像帧中所述目标对象的关联关键点；

关键点处理模块908，被配置为基于所述关联关键点对所述初始图像帧中的所述初始关键点进行修正处理，获得包含目标关键点的目标图像帧，其中，所述目标关键点位于所述目标图像帧中的所述目标对象框内；

视频播放模块910，被配置为基于所述目标图像帧生成目标视频片段并在视频播放界面向所述用户播放。

综上所述，通过基于关联图像帧中关联关键点对待处理图像帧的目标对象框中的初始关键点进行修正处理，实现了基于关联图像帧对初始关键点的重定位，进而使得处理完成的待处理视频帧序列中关键点更加稳定，使得目标对象的运动轨迹更加流畅和自然，优化了目标对象抖动的情况，有效的降低视频关键点的帧间抖动现象，提升视觉稳定性。

上述为本实施例的另一种视频处理装置的示意性方案。需要说明的是，该视频处理装置的技术方案与上述的视频处理方法的技术方案属于同一构思，视频处理装置的技术方案未详细描述的细节内容，均可以参见上述视频处理方法的技术方案的描述。

图10示出了根据本说明书一个实施例提供的一种计算设备1000的结构框图。该计算设备1000的部件包括但不限于存储器1010和处理器1020。处理器1020与存储器1010通过总线1030相连接，数据库1050用于保存数据。

计算设备1000还包括接入设备1040，接入设备1040使得计算设备1000能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备1040可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，networkinterface controller))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperabilityfor Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)接口，等等。

在本申请的一个实施例中，计算设备1000的上述部件以及图10中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图10所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。计算设备1000可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或个人计算机(PC，Personal Computer)的静止计算设备。计算设备1000还可以是移动式或静止式的服务器。其中，处理器1020用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像帧处理方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的图像帧处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述图像帧处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像帧处理方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图像帧处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图像帧处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述图像帧处理方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的图像帧处理方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述图像帧处理方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。