视频处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

关键帧识别是计算机视觉领域的重要问题，关键帧识别可以在很多领域有重要应用，例如视频封面选取、精彩片段编辑等。

相关技术中，从视频中识别出关键帧需要较长的时间，从而导致关键帧识别的实时性较低；并且对于关键帧的定义具有普适性，对于不同的视频场景没有单独的定义。

发明内容

本公开提供一种视频处理方法、装置、电子设备及存储介质，可以提高关键帧识别的实时性，以及提高对跳跃场景中关键帧识别的准确性，本公开的技术方案如下：

根据本公开实施例提供一种视频处理方法，包括：

从目标视频中获取多个连续的待处理视频帧；所述多个连续的待处理视频帧的数量小于所述目标视频包含的视频帧数量；

对所述多个连续的待处理视频帧进行特征提取，得到视频帧特征信息；

基于所述视频帧特征信息进行关键帧实时识别，确定所述多个连续的待处理视频帧对应的关键帧识别结果。

上述技术方案中，通过每次获取多个连续的待处理视频帧，从多个连续的待处理视频帧中识别出关键帧，由于多个连续的待处理视频帧的数量小于目标视频包含的视频帧数量，从而能够减少每次进行关键帧识别所需处理的数据量，提高关键帧识别的实时性以及效率。

在一个可选的实施例中，所述对所述多个连续的待处理视频帧进行特征提取，得到视频帧特征信息，包括：

基于特征提取模型对所述多个连续的待处理视频帧进行特征提取，得到所述视频帧特征信息；

所述方法还包括对所述特征提取模型的训练方法，所述特征提取模型的训练方法包括：

获取已处理样本视频帧；所述已处理样本视频帧为对原始样本视频帧进行图像扰动处理得到；

基于所述已处理样本视频帧对预设机器学习模型进行训练，得到所述特征提取模型。

上述技术方案中，在训练特征提取模型时，对样本视频帧进行图像扰动处理，使得特征提取模型能够学习到更多不同场景下的图像信息，提高特征提取模型的适应能力，以及泛化能力。

在一个可选的实施例中，所述方法包括图像扰动处理方法，所述图像扰动处理方法包括：

对所述原始样本视频帧的各像素进行像素扰动处理，得到像素扰动视频帧；

基于所述像素扰动视频帧生成所述已处理样本视频帧。

上述技术方案中，通过对样本视频帧的像素进行扰动处理，能够改变样本视频帧中的像素值，以得到扰动后视频帧，该扰动方法操作简单，易于实现，能够提高图像扰动效率。

在一个可选的实施例中，所述原始样本视频帧包括多个连续的样本视频帧；所述图像扰动处理方法包括：

确定所述多个连续的样本视频帧的第一帧为基准帧；

确定所述基准帧的基准采集高度；所述基准采集高度表征采集所述基准帧时图像采集设备的采集高度；

基于所述基准采集高度，确定所述基准帧之后的样本视频帧的目标采集高度；

基于所述目标采集高度，对所述基准帧之后的样本视频帧进行图像变换，得到变换视频帧；

基于所述基准帧以及所述变换视频帧生成所述已处理样本视频帧。

上述技术方案中，对采集高度进行调整能够模拟出采集镜头上升或者下降的状态，即可从图像采集的时空顺序上进行图像扰动，实现了图像扰动的多样性，提高了图像扰动的效果。

在一个可选的实施例中，所述基于所述视频帧特征信息进行关键帧实时识别，确定所述多个连续的待处理视频帧对应的关键帧识别结果，包括：

将所述视频特征信息输入到目标分类模型中，基于所述目标分类模型对待分类视频帧进行分类，得到对所述待分类视频帧的目标分类结果；所述待分类视频帧为所述多个连续的待处理视频帧中除第一帧以及最后一帧之外的任一视频帧；

基于所述目标分类结果，确定所述关键帧识别结果。

上述技术方案中，待分类视频帧为多个连续视频帧的中间帧，从而中间帧之前的视频帧以及中间帧之后的视频帧均可为中间帧提供分类依据，即通过前后帧为待分类视频帧提供参照依据，来对待分类视频帧进行分类，能够提高分类准确性。

在一个可选的实施例中，所述基于所述目标分类模型对待分类视频帧进行分类，得到对所述待分类视频帧的目标分类结果，包括：

基于所述目标分类模型对所述多个连续的待处理视频帧各自对应的视频特征信息进行特征分析，得到特征分析结果；所述特征分析结果表征所述待分类视频帧中跳跃动作，与第一视频帧中跳跃动作的关联信息；所述第一视频帧为所述多个连续的待处理视频帧中除所述待分类视频帧之外的视频帧；

基于所述关联信息对所述待分类视频帧进行分类，得到所述目标分类结果。

上述技术方案中，在跳跃场景中，可对视频帧特征信息进行特征分析，以得到待分类视频帧中跳跃动作与其他视频帧中跳跃动作的关联信息，从而便于确定待分类视频帧中的跳跃动作是否满足跳跃条件，进一步提高视频帧分类准确性。

在一个可选的实施例中，所述基于所述目标分类结果，确定所述关键帧识别结果，包括：

在所述目标分类结果指示所述待分类视频帧中跳跃动作的跳跃高度，大于所述第一视频帧中跳跃动作的跳跃高度的情况下，将所述待分类视频帧确定为关键帧。

上述技术方案中，通过待分类视视频帧中跳跃动作的跳跃高度与第一视频帧中跳跃动作的跳跃高度的比较结果确定出关键帧，由于跳跃高度可基于视频帧特征信息分析直接得到，从而能够提高关键帧确定的便捷性以及效率。

在一个可选的实施例中，所述方法包括对所述目标分类器的训练方法，所述训练方法包括：

将所述多个连续的样本视频帧各自对应的视频特征信息输入到第一预设分类器中，得到对第二视频帧的第一分类信息；所述第二视频帧为所述多个连续的样本视频帧中除第一帧以及最后一帧之外的任一视频帧；所述第一分类信息表征所述第二视频帧中跳跃动作满足预设跳跃条件的概率；

将所述多个连续的样本视频帧各自对应的视频特征信息输入到第二预设分类器中，得到对所述第二视频帧的第二分类信息；所述第二分类信息表征所述第二视频帧中存在跳跃判断辅助信息的概率；

基于所述第一分类信息生成第一反向传播梯度信息，基于所述第二分类信息生成第二反向传播梯度信息；

基于所述第一反向传播梯度信息，以及所述第二反向传播梯度信息，对所述第一预设分类器进行模型训练，得到所述目标分类器。

上述技术方案中，在训练目标分类器时，基于第一预设分类器的反向梯度信息以及辅助的第二预设分类器的反向梯度信息进行模型训练，得到目标分类器，使得目标分类器能够得到更多的辅助训练信息，进而能够提高目标分类器的分类性能。

在一个可选的实施例中，所述目标分类器包括多个目标子分类器，所述方法还包括对所述多个子分类器的训练方法，所述训练方法包括：

将所述多个连续的样本视频帧各自对应的视频特征信息分别输入到多个预设子分类器中，得到与所述多个预设子分类器对第三视频帧的分类输出信息；所述第三视频帧为所述多个连续的样本视频帧中除第一帧以及最后一帧之外的任一视频帧；所述分类输出信息表征所述第三视频帧中跳跃动作满足预设跳跃条件的概率；

基于所述多个预设子分类器各自对应的分类输出信息，生成所述多个预设子分类器各自对应的第三反向传播梯度信息；

基于所述多个预设子分类器各自对应的第三反向传播梯度信息，对所述多个预设子分类器进行模型训练，得到所述多个目标子分类器；

所述基于所述目标分类模型对待分类视频帧进行分类，得到对所述待分类视频帧的目标分类结果，包括：

基于所述多个目标子分类器分别对所述待分类视频帧进行分类，得到所述多个目标子分类器各自对应的分类结果；

对所述多个目标子分类器各自对应的分类结果进行信息融合，得到所述目标分类结果。

上述技术方案中，多个子分类器在训练过程中的反向梯度信息是相互辅助的，从而使得多个子分类器能够辅助训练，提高多个子分类器的分类性能；进一步地，通过对多个子分类器的分类结果进行融合，确定目标分类结果，能够提高目标分类结果的准确性。

另一方面，根据本公开实施例还提供一种视频处理装置，包括：

第一获取模块，用于从目标视频中获取多个连续的待处理视频帧；所述多个连续的待处理视频帧的数量小于所述目标视频包含的视频帧数量；

特征提取模块，用于对所述多个连续的待处理视频帧进行特征提取，得到视频帧特征信息；

关键帧识别模块，用于基于所述视频帧特征信息进行关键帧实时识别，确定所述多个连续的待处理视频帧对应的关键帧识别结果。

在一个可选的实施例中，所述特征提取模块包括：

特征信息确定模块，用于基于特征提取模型对所述多个连续的待处理视频帧进行特征提取，得到所述视频帧特征信息；

所述装置还包括：

第二获取模块，用于获取已处理样本视频帧；所述已处理样本视频帧为对原始样本视频帧进行图像扰动处理得到；

第一训练模块，用于基于所述已处理样本视频帧对预设机器学习模型进行训练，得到所述特征提取模型。

在一个可选的实施例中，所述装置还包括：

像素扰动模块，用于对所述原始样本视频帧的各像素进行像素扰动处理，得到像素扰动视频帧；

第一生成模块，用于基于所述像素扰动视频帧生成所述已处理样本视频帧。

在一个可选的实施例中，所述原始样本视频帧包括多个连续的样本视频帧；所述装置还包括：

第一确定模块，用于确定所述多个连续的样本视频帧的第一帧为基准帧；

第二确定模块，用于确定所述基准帧的基准采集高度；所述基准采集高度表征采集所述基准帧时图像采集设备的采集高度；

采集高度确定模块，用于基于所述基准采集高度，确定所述基准帧之后的样本视频帧的目标采集高度；

图像变换模块，用于基于所述目标采集高度，对所述基准帧之后的样本视频帧进行图像变换，得到变换视频帧；

第二生成模块，用于基于所述基准帧以及所述变换视频帧生成所述已处理样本视频帧。

在一个可选的实施例中，所述关键帧识别模块包括：

第一分类模块，用于将所述视频特征信息输入到目标分类模型中，基于所述目标分类模型对待分类视频帧进行分类，得到对所述待分类视频帧的目标分类结果；所述待分类视频帧为所述多个连续的待处理视频帧中除第一帧以及最后一帧之外的任一视频帧；

第三确定模块，用于基于所述目标分类结果，确定所述关键帧识别结果。

在一个可选的实施例中，所述第一分类模块包括：

特征分析模块，用于基于所述目标分类模型对所述多个连续的待处理视频帧各自对应的视频特征信息进行特征分析，得到特征分析结果；所述特征分析结果表征所述待分类视频帧中跳跃动作，与第一视频帧中跳跃动作的关联信息；所述第一视频帧为所述多个连续的待处理视频帧中除所述待分类视频帧之外的视频帧；

第二分类模块，用于基于所述关联信息对所述待分类视频帧进行分类，得到所述目标分类结果。

在一个可选的实施例中，所述第三确定模块包括：

第四确定模块，用于在所述目标分类结果指示所述待分类视频帧中跳跃动作的跳跃高度，大于所述第一视频帧中跳跃动作的跳跃高度的情况下，将所述待分类视频帧确定为关键帧。

在一个可选的实施例中，所述装置包括：

第一输入模块，用于将所述多个连续的样本视频帧各自对应的视频特征信息输入到第一预设分类器中，得到对第二视频帧的第一分类信息；所述第二视频帧为所述多个连续的样本视频帧中除第一帧以及最后一帧之外的任一视频帧；所述第一分类信息表征所述第二视频帧中跳跃动作满足预设跳跃条件的概率；

第二输入模块，用于将所述多个连续的样本视频帧各自对应的视频特征信息输入到第二预设分类器中，得到对所述第二视频帧的第二分类信息；所述第二分类信息表征所述第二视频帧中存在跳跃判断辅助信息的概率；

第三生成模块，用于基于所述第一分类信息生成第一反向传播梯度信息，基于所述第二分类信息生成第二反向传播梯度信息；

第二训练模块，用于基于所述第一反向传播梯度信息，以及所述第二反向传播梯度信息，对所述第一预设分类器进行模型训练，得到所述目标分类器。

在一个可选的实施例中，所述目标分类器包括多个目标子分类器，所述装置还包括：

第三输入模块，用于将所述多个连续的样本视频帧各自对应的视频特征信息分别输入到多个预设子分类器中，得到与所述多个预设子分类器对第三视频帧的分类输出信息；所述第三视频帧为所述多个连续的样本视频帧中除第一帧以及最后一帧之外的任一视频帧；所述分类输出信息表征所述第三视频帧中跳跃动作满足预设跳跃条件的概率；

第四生成模块，用于基于所述多个预设子分类器各自对应的分类输出信息，生成所述多个预设子分类器各自对应的第三反向传播梯度信息；

第三训练模块，用于基于所述多个预设子分类器各自对应的第三反向传播梯度信息，对所述多个预设子分类器进行模型训练，得到所述多个目标子分类器；

所述第一分类模块包括：

第三分类模块，用于基于所述多个目标子分类器分别对所述待分类视频帧进行分类，得到所述多个目标子分类器各自对应的分类结果；

信息融合模块，用于对所述多个目标子分类器各自对应的分类结果进行信息融合，得到所述目标分类结果。

另一方面，根据本公开实施例还提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述任一项所述的方法。

另一方面，根据本公开实施例还提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例上述任一所述方法。

另一方面，根据本公开实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的上述任一所述方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的应用环境的示意图。

图2是根据一示例性实施例示出的一种视频处理方法的流程图。

图3是根据一示例性实施例示出的一种特征提取模型训练方法流程图。

图4是根据一示例性实施例示出的一种图像扰动方法流程图。

图5是根据一示例性实施例示出的另一种图像扰动方法流程图。

图6是根据一示例性实施例示出的一种关键帧确定方法流程图。

图7是根据一示例性实施例示出的待分类视频帧的分类方法流程图。

图8是根据一示例性实施例示出的一种目标分类器的训练方法流程图。

图9是根据一示例性实施例示出的另一种目标分类器训练方法流程图。

图10是根据一示例性实施例示出的关键帧识别模型示意图。

图11是根据一示例性实施例示出的一种视频处理装置示意图。

图12是根据一示例性实施例示出的一种用于视频处理的电子设备的框图。

图13是根据一示例性实施例示出的另一种用于视频处理的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器100和终端200。

在一个可选实施例中，服务器100可用于生成与视频处理相关的视频处理模型；在接收终端200发送的视频处理请求时，基于视频处理模型对待处理视频进行处理，得到待处理视频中的关键帧。具体的，服务器100可以是独立服务器，也可以是多个服务器构成的服务器集群或者分布式系统。

在一个可选的实施例中，终端200可以结合服务器100生成的视频处理模型，直接对待处理视频进行处理，得到待处理视频中的关键帧。具体的，终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmentedreality，AR)/虚拟现实(virtualreality，VR)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。

此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如视频处理模型也可以在终端200实现等。

本说明书实施例中，上述服务器100以及终端200可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。

图2是根据一示例性实施例示出的一种视频处理方法的流程图，如图2所示，该方法可应用于终端、服务器、边缘计算节点等电子设备中，可以包括：

S210.从目标视频中获取多个连续的待处理视频帧；所述多个连续的待处理视频帧的数量小于所述目标视频包含的视频帧数量。

本实施例中多个连续的待处理视频帧可以为在时间上连续的视频帧，多个连续的待处理视频帧可以为从实时数据流中获取的视频帧，也可以为已存储的预设视频中的视频帧。

具体地，在多个连续的待处理视频帧为从实时数据流中获取的视频帧的情况下，在直播场景中，实时数据流可以为从直播服务器处拉取的直播数据流；在实时拍摄场景中，实时数据流可以为图像采集设备不断采集、录制的视频数据流。在多个连续的待处理视频帧为已存储的预设视频中的视频帧的情况下，可预先对预设视频进行帧划分，得到多个连续的视频帧，然后从划分后的视频帧中获取多个连续的待处理视频帧。

在另一可选实施例中，目标视频可以为已经完成并存储的视频，目标视频也可以为正在直播或者正在录制的视频。例如，在多个连续的待处理视频帧为已存储的预设视频中的视频帧的情况下，目标视频即可为预设视频；在多个连续的待处理视频帧为从实时数据流中获取的视频帧的情况下，目标视频可以为整个直播过程最终形成的视频，或者可以为实时录制完成后所形成的视频。

从而目标视频中一般可包括大量的视频帧，本实施例中每次获取的多个连续的待处理视频帧的数量小于目标视频包含的视频帧数量，即可通过从目标视频中获取少量连续的待处理视频帧，每次对少量的待处理视频帧进行处理，而无需一次性对目标视频中包含的全部视频帧进行处理，从而能够提高视频处理效率以及实时性。

S220.对所述多个连续的待处理视频帧进行特征提取，得到视频帧特征信息。

在一个可选实施例中，在对多个连续的待处理视频帧进行特征提取之前，可对待处理视频帧进行预处理，具体可对多个连续的待处理视频进行图像增强处理，例如，图像增强处理方法可包括对比度调整、亮度调整、饱和度调整等，从而能够凸显出各待处理视频帧的图像特征，便于进行特征提取。

在另一可选实施例中，在对多个连续的待处理视频帧进行特征提取之前，可对待处理视频帧进行预处理，具体可对多个连续的待处理视频帧分别执行以下操作：将视频帧围绕图像中心裁剪出预设区域；将裁剪后的图像缩放到目标尺寸，对目标尺寸的图像进行图像特征归一化处理。从而经过一系列处理之后的图像对应相同的衡量基准，从而便于进行统一处理，提高图像处理效率。

在对多个连续的待处理视频帧进行特征提取时，可采用具有时序建模能力的特征提取模型实现，也可采用轻量级的特征提取模型实现；例如具有时序建模能力的特征提取模型可包括ResNet、MobilenetV2等模型，其中MobilenetV2模型还具有轻量级的特点，在推理耗时上有较大的优势，适用于部署在移动端、边缘计算节点等。

S230.基于所述视频帧特征信息进行关键帧实时识别，确定所述多个连续的待处理视频帧对应的关键帧识别结果。

本实施例所提供的视频处理方法可对跳跃场景中的关键帧进行识别，跳跃场景中的关键帧是与跳跃动作相关的，即关键帧中跳跃动作信息比其他视频帧的跳跃动作信息更为丰富，更能够表征跳跃动作的独特性。具体地，关键帧中的跳跃动作满足目标跳跃条件，即存在跳跃动作且跳跃动作满足目标跳跃条件的视频帧可被识别为关键帧。

从而上述技术方案通过每次获取多个连续的待处理视频帧，从多个连续的待处理视频帧中识别出关键帧，由于多个连续的待处理视频帧的数量小于目标视频包含的视频帧数量，从而能够减少每次进行关键帧识别所需处理的数据量，提高关键帧识别的实时性以及效率；另外，在跳跃场景中，跳跃动作满足目标跳跃条件的视频帧被确定为关键帧，从而能够提高跳跃场景中关键帧识别的针对性以及准确性。

在一个实施例中，每次获取的多个连续的待处理视频帧的数量可以相同，例如每次获取的待处理视频帧的数量为M；每次获取的多个连续的待处理视频帧的数量可以不同，例如第一次获取的视频帧数量为M，第二次获取的视频帧数量为N……。每个待处理视频帧至少被获取一次，具体地，本次获取的多个连续的待处理视频帧中的第二视频帧可被作为下次获取的多个连续的待处理视频帧中的第一视频帧，本次获取的多个连续的待处理视频中的第三视频帧可被作为下次获取的多个连续待处理视频帧中的第二视频帧，以此类推，即除了目标视频的第一视频帧之外的任一视频帧，其在下次获取的多个连续的待处理视频帧中的位置，与其在本次获取的多个连续的待处理视频帧中的位置相比，前进了一位。例如本次获取的多个连续的待处理视频帧为{帧1，帧2，帧3，帧4，帧5}，下次获取的多个连续待处理视频帧为{帧2，帧3，帧4，帧5，帧6}，可以看出，帧2从原来的第2位置变成了第1位置。从而通过该视频帧获取方法，能够实现最大程度地对各视频帧进行获取覆盖，避免由于视频帧获取不全面而导致的识别结果不准确的问题。

在另一可选实施例中，由于有的视频帧可能会被重复作为待处理视频帧，从而在进行特征提取时，不需要进行重复特征提取；具体地，每个视频帧均可对应相应的视频帧标识，当该视频帧已经经过特征提取时，相应会对该视频帧的视频帧标识进行标记，并且对该视频帧对应的特征信息进行存储；从而在该视频帧再次被作为待处理视频帧时，可直接获取该视频帧对应的特征信息，而无需对该视频帧进行重复特征提取，从而避免了重复进行特征提取所造成的资源浪费。

本实施例可基于特征提取模型对所述多个连续的待处理视频帧进行特征提取，得到所述视频帧特征信息；从而请参阅图3，其示出了一种特征提取模型训练方法，该方法可包括：

S310.获取已处理样本视频帧；所述已处理样本视频帧为对原始样本视频帧进行图像扰动处理得到。

S320.基于所述已处理样本视频帧对预设机器学习模型进行训练，得到所述特征提取模型。

图像扰动处理可以是指不影响原图像的实质特征，而对原图像进行变换的图像处理方法，图像扰动的方法可以有多种。每个原始样本视频帧可对应一个或者多个已处理样本视频帧，在已处理样本视频帧为多个的情况下，这多个已处理样本视频帧可以为通过不同的图像扰动方法得到的视频帧，也可以是采用一种图像扰动方法但对应不同扰动参数得到的视频帧，本实施例不做具体限定。

经过图像扰动处理后的视频帧与原始样本视频帧的实质特征相同，但视觉效果上有可能不同。

上述技术方案中，在训练特征提取模型时，对样本视频帧进行图像扰动处理，使得特征提取模型能够学习到更多不同场景下的图像信息，提高特征提取模型的适应能力，以及泛化能力，提升模型的鲁棒性。

进一步地，在原始样本视频帧的基础上结合图像扰动之后得到的已处理样本视频帧，得到用于训练特征提取模型的样本视频帧，扩充了样本视频帧的数量，进而能够提高特征提取模型的模型性能。

在一个具体实施例中，请参阅图4，其示出了一种图像扰动方法，该方法可包括：

S410.对所述原始样本视频帧的各像素进行像素扰动处理，得到像素扰动视频帧。

S420.基于所述像素扰动视频帧生成所述已处理样本视频帧。

原始样本视频帧中可包含多个像素点，而可基于像素点进行像素扰动，从而得到已处理样本视频帧。

在一个示例中，像素扰动处理可以为像素模糊处理，在像素模糊处理过程中，在原始样本视频帧中某一像素与周围像素的亮度差值小于第一预设值时，对该像素的亮度进行平滑处理。像素模糊处理可包括高斯模糊、均值模糊、中值模糊、运动模糊等。相应的扰动参数可以是指像素模糊处理过程中所涉及到的参数。

在另一个示例中，像素扰动处理可以为锐化处理，在锐化处理过程中，在原始样本视频中的某一像素与周围像素的亮度差值大于第二预设值时，提升该像素的亮度。相应的扰动参数可以是指锐化处理过程中所涉及的参数。

本实施例中，可以直接将经过像素扰动的视频帧确定为已处理样本视频帧，也可结合其他图像扰动方式确定已处理样本视频帧。

上述技术方案中，通过对样本视频帧的像素进行扰动处理，能够改变样本视频帧中的像素值，以得到扰动后视频帧，该扰动方法操作简单，易于实现，能够提高图像扰动效率。

在一个可选的实施例中，所述原始样本视频帧包括多个连续的样本视频帧；请参阅图5，其示出了另一种图像扰动方法，该方法可包括：

S510.确定所述多个连续的样本视频帧的第一帧为基准帧。

S520.确定所述基准帧的基准采集高度；所述基准采集高度表征采集所述基准帧时图像采集设备的采集高度。

S530.基于所述基准采集高度，确定所述基准帧之后的样本视频帧的目标采集高度。

S540.基于所述目标采集高度，对所述基准帧之后的样本视频帧进行图像变换，得到变换视频帧。

S550.基于所述基准帧以及所述变换视频帧生成所述已处理样本视频帧。

这里每次确定的多个连续的样本视频帧的数量与每次获取的多个连续的待处理视频帧的数量可以相同，从而便于将模型训练过程与模型使用过程相匹配。

对于每个视频帧均具有相应的采集高度，采集高度可表征在采集该视频帧时图像采集设备所在的采集高度，具体地，采集高度可以为镜头在采集图像时的高度；采集高度可以为绝对高度，也可以为相对高度。当对目标对象进行俯视采集时，可对应较高的采集高度，当对采集对象进行仰视采集时，可对应较低的采集高度。在图像采集过程中，可对采集高度进行调整，具体对应的即为镜头高度的调整，从而模拟镜头上升或者下降的过程。

对于多个连续的样本视频帧，可将其中的第一帧确定为基准帧，基准帧对应的采集高度即可为基准采集高度，从而可在基准采集高度的基础上，对基准帧之后的样本视频帧进行采集高度调整。基准帧之后的样本视频帧本身具有各自对应的实际采集高度，为了实现图像扰动，可确定基准采集高度之后的目标采集高度，目标采集高度可低于或者高于基准采集高度，从而便于模拟镜头的下降或上升状态。目标采集高度可以为高度序列或者高度集合，其中包含了与基准帧之后的各样本视频帧各自对应的目标采集高度。

具体的目标采集高度确定方法可包括：为了模拟镜头上升的状态，基准帧之后的样本视频帧的目标采集高度可在基准采集高度的基础上逐渐递增，即后一样本视频帧的目标采集高度大于前一样本视频帧的目标采集高度。为了模拟镜头下降的状态，基准帧之后的样本视频帧的目标采集高度可在基准采集高度的基础上逐渐递减，即后一样本视频帧的目标采集小于大于前一样本视频帧的目标采集高度。为了模拟镜头先上升后下降的状态，基准帧之后的样本视频帧的目标采集高度可在基准采集高度的基础上先递增，再递减。为了模拟镜头先先下降后上升的状态，基准帧之后的样本视频帧的目标采集高度可在基准采集高度的基础上先递减，再递增。

在确定了基准帧之后样本视频帧的目标采集高度的情况下，可对样本视频帧进行图像变换，得到变换视频帧；图像变换具体可以是指将实际采集高度的样本视频帧变换为目标采集高度的变换视频帧，即对基准帧之后的样本视频帧进行视角的变换，得到相应的变换视频帧。

本实施例中，可直接将基准帧和变换视频帧确定为已处理样本视频帧，也可以在图像变换的基础上，结合其他的图像扰动方法得到已处理样本视频帧。

上述技术方案中，对样本视频帧的采集高度进行调整能够模拟出采集镜头上升或者下降的状态，即可从图像采集的时空顺序上进行图像扰动，实现了图像扰动的多样性，提高了图像扰动的效果。

在一个示例中，还可通过重采样的方法来调整训练样本的数据分布，使得训练样本数据均衡，从而能够提高模型的训练效果。

在一个可选的实施例中，视频帧特征信息可包括与多个连续的待处理视频帧各自对应的视频特征信息；相应地，请参阅图6，其示出了一种关键帧确定方法，该方法可包括：

S610.将所述视频特征信息输入到目标分类模型中，基于所述目标分类模型对待分类视频帧进行分类，得到对所述待分类视频帧的目标分类结果；所述待分类视频帧为所述多个连续的待处理视频帧中除第一帧以及最后一帧之外的任一视频帧。

S620.基于所述目标分类结果，确定所述关键帧识别结果。

通过将多个连续的待处理视频帧各自对应的视频特征信息输入到目标分类模型中，可基于目标分类模型对待分类视频帧进行分类，得到待分类视频帧的目标分类结果。具体地，待分类视频帧为多个连续的待处理视频帧中除第一帧以及最后一帧之外的任一视频帧，即待分类视频帧为多个连续的待处理视频帧中的中间帧。

进一步地，中间帧在多个连续的待处理视频帧中的位置可预先确定好，例如每次选取N(N为奇数)个连续的待处理视频帧，那么可将第(N+1)/2帧确定为待分类视频帧，从而每次进行关键帧识别时，均是对N(N为奇数)个连续的待处理视频帧中第(N+1)/2帧进行是否关键帧的识别。在N为奇数时，除了可将第(N+1)/2帧确定为待分类视频帧，也可将第(N-1)/2帧确定为待分类视频帧；在N为偶数时，可将N/2确定为待分类视频帧；从而待分类视频帧只要不处于第一帧以及最后一帧，处于其他位置均可，本实施例不作具体限定。

对于待分类视频帧是否为关键帧的识别，需要有上下文作为参考，即待分类视频帧之前以及之后均应该存在相应的视频帧以作为待分类视频帧的参考帧，从而待分类视频帧一般处于中间帧的位置。

上述技术方案中，待分类视频帧为多个连续视频帧的中间帧，从而中间帧之前的视频帧以及中间帧之后的视频帧均可为中间帧提供分类依据，即通过前后帧为待分类视频帧提供参照依据，来对待分类视频帧进行分类，能够提高分类准确性。

进一步地，对于待分类视频帧的具体分类方法，请参阅图7，该方法可包括：

S710.基于所述目标分类模型对所述多个连续的待处理视频帧各自对应的视频特征信息进行特征分析，得到特征分析结果；所述特征分析结果表征所述待分类视频帧中跳跃动作，与第一视频帧中跳跃动作的关联信息；所述第一视频帧为所述多个连续的待处理视频帧中除所述待分类视频帧之外的视频帧；

S720.基于所述关联信息对所述待分类视频帧进行分类，得到所述目标分类结果。

目标分类模型具体可包括特征分析层以及分类输出层，从而可通过特征分析层对多个连续的待处理视频帧各自对应的视频特征信息进行特征分析，具体可分析多个连续的待处理视频帧中是否存在跳跃动作，以及在存在跳跃动作的情况下，跳跃动作的跳跃高度或者跳跃动作的舒展幅度等，通过特征分析得到待分类视频帧中跳跃动作与除待分类视频帧之外的第一视频帧中跳跃动作的关联信息，第一视频帧的数量至少为两个。

具体地，关联信息可以为待分类视频帧中跳跃动作与第一视频帧中跳跃动作的比较信息；在一个示例中，关联信息可以为对待分类视频帧中跳跃动作的跳跃高度，与第一视频帧中跳跃动作的跳跃高度的比较结果信息，比较结果信息可以为待分类视频帧中跳跃动作的跳跃高度大于第一视频帧中跳跃动作的跳跃高度，或者待分类视频帧中跳跃动作的跳跃高度小于至少一个第一视频帧中跳跃动作的跳跃高度。在另一个示例中，关联信息可以为对待分类视频帧中跳跃动作的舒展幅度，与第一视频帧中跳跃动作的舒展幅度的比较结果信息，比较结果信息可以为待分类视频帧中跳跃动作的舒展幅度大于第一视频帧中跳跃动作的舒展幅度，或者待分类视频帧中跳跃动作的舒展幅度小于至少一个第一视频帧中跳跃动作的舒展幅度。

分类输出层可基于特征分析层的输出信息进行分类，得到目标分类结果，目标分类结果具体可包括待分类视频帧被识别为关键帧的概率。具体地，在关联信息表征待分类视频帧中跳跃动作的跳跃高度或者舒展幅度均大于第一视频帧中跳跃动作的跳跃高度或者舒展幅度时，输出待分类视频帧为关键帧的概率越大；否则，输出待分类视频帧为关键帧的概率越小。

上述技术方案中，在跳跃场景中，可对视频帧特征信息进行特征分析，以得到待分类视频帧中跳跃动作与其他视频帧中跳跃动作的关联信息，从而便于确定待分类视频帧中的跳跃动作是否满足跳跃条件，进一步提高视频帧分类准确性。

在一个可选的实施例中，在目标分类结果中待分类视频帧为关键帧的概率大于预设概率的情况下，即目标分类结果指示所述待分类视频帧中跳跃动作的跳跃高度，大于所述第一视频帧中跳跃动作的跳跃高度的情况下，将所述待分类视频帧确定为关键帧。

上述技术方案中，通过待分类视视频帧中跳跃动作的跳跃高度与第一视频帧中跳跃动作的跳跃高度的比较结果确定出关键帧，由于跳跃高度可基于视频帧特征信息分析直接得到，从而能够提高关键帧确定的便捷性以及效率。

在一个可选的实施例中，可通过对目标分类器以及辅助分类器进行联合训练，以得到最终的目标分类器，请参阅图8，其示出了一种目标分类器的训练方法，所述训练方法包括：

S810.将所述多个连续的样本视频帧各自对应的视频特征信息输入到第一预设分类器中，得到对第二视频帧的第一分类信息；所述第二视频帧为所述多个连续的样本视频帧中除第一帧以及最后一帧之外的任一视频帧；所述第一分类信息表征所述第二视频帧中跳跃动作满足预设跳跃条件的概率。

S820.将所述多个连续的样本视频帧各自对应的视频特征信息输入到第二预设分类器中，得到对所述第二视频帧的第二分类信息；所述第二分类信息表征所述第二视频帧中存在跳跃判断辅助信息的概率。

S830.基于所述第一分类信息生成第一反向传播梯度信息，基于所述第二分类信息生成第二反向传播梯度信息。

S840.基于所述第一反向传播梯度信息，以及所述第二反向传播梯度信息，对所述第一预设分类器进行模型训练，得到所述目标分类器。

根据本实施例上述内容可知，目标分类器可包括特征分析层和分类输出层，相应地，第一预设分类器可包括第一特征分析层以及第一分类输出层，第二预设分类器可包括第二特征分析层以及第二分类输出层，其中第一特征分析层与第二特征分析层的网络结构相同，第一分类输出层与第二分类输出层的网络结构不同，第一预设分类器与第二预设分类器的分类目标不同，但是均与跳跃动作相关联，即实现多任务辅助分类识别；例如第一预设分类器的分类目标为第二视频帧中跳跃动作满足预设跳跃条件的概率，即第二视频帧被识别为关键帧的概率，第二预设分类器的分类目标为第二视频帧中存在跳跃判断辅助信息的概率，第二视频帧中存在跳跃判断辅助信息具体可以为第二视频帧中存在跳跃动作，或者第二视频帧中跳跃动作所属的场景，例如拍照场景的跳跃动作、跳高场景的跳跃动作、打球场景的跳跃动作等。从而基于不同的分类目标，样本视频帧可对应不同的分类标签。第一预设分类器与第二预设分类器的损失函数可以相同，也可以不同。

从而可基于第一分类信息，以及与第一预设分类器对应的第一分类标签，确定第一损失信息；基于第二分类信息，以及与第二分类器对应的第二分类标签，确定第二损失信息。基于第一损失信息可生成第一反向传播梯度信息，基于第二损失信息可生成第二反向传播梯度信息。这里的第一反向传播梯度信息以及第二反向传播梯度信息均是对应相应的特征分析层的，即通过第一反向传播梯度信息可对第一特征分析层的模型参数进行更新，通过第二反向传播梯度信息可对第二特征分析层的模型参数进行更新，由于第一特征分析层与第二特征分析层的网络结构相同，且均是用于特征分析的，从而在对第一特征分析层进行反向参数更新时，可联合第一反向传播梯度信息以及第二反向传播梯度信息对第一特征分析层进行模型参数更新，进而能够得到目标分类器；具体可基于对第一反向传播梯度信息以及第二反向传播梯度信息进行加权，得到联合梯度信息，然后基于联合梯度信息对第一特征分析层进行更新；对于加权所采用的权重信息可以在联合过程中由第一预设分类器以及第二预设分类器自动确定。

在一个示例中，第二预设分类器可以为场景分类器，场景分类器能够对跳跃动作按照不同跳跃场景进行分类，得到第二视频帧中跳跃动作所属的跳跃场景；具体可采用交叉熵损失函数对第二预设分类器进行训练；本实施例中的跳跃场景可包括跳高场景、跳远场景、篮球场景、羽毛球场景、拍照场景等。

在另一个示例中，第二预设分类器可以为跳跃分类器，跳跃分类器能够用于判断第二视频帧是否包括跳跃动作，具体可以对多个连续的样本视频帧按照是否在跳跃区间进行二分类，例如在跳跃区间，分类为1，不在跳跃区间，分类为0；可采用二值交叉熵损失函数对第二预设分类器进行训练。

需要说明的是，第二预设分类器作为辅助分类器，其可只在对目标分类器进行训练时用到，用于辅助目标分类器的训练，对目标分类器的训练条件进行约束；在实际进行分类时，直接采用目标分类器进行分类。

上述技术方案中，在训练目标分类器时，基于第一预设分类器的反向梯度信息以及辅助的第二预设分类器的反向梯度信息进行模型训练，得到目标分类器，使得目标分类器能够得到更多的辅助训练信息，进而能够提高目标分类器的分类性能。

在一个可选的实施例中，所述目标分类器包括多个目标子分类器，相应地，请参阅图9，其示出了另一种目标分类器训练方法，该训训练方法包括：

S910.将所述多个连续的样本视频帧各自对应的视频特征信息分别输入到多个预设子分类器中，得到与所述多个预设子分类器对第三视频帧的分类输出信息；所述第三视频帧为所述多个连续的样本视频帧中除第一帧以及最后一帧之外的任一视频帧；所述分类输出信息表征所述第三视频帧中跳跃动作满足预设跳跃条件的概率。

S920.基于所述多个预设子分类器各自对应的分类输出信息，生成所述多个预设子分类器各自对应的第三反向传播梯度信息。

S930.基于所述多个预设子分类器各自对应的第三反向传播梯度信息，对所述多个预设子分类器进行模型训练，得到所述多个目标子分类器。

多个预设子分类器的网络结构相同，分类目标相同，初始化网络参数不同。每个预设子分类器均可包括特征分析层以及分类输出层，通过多头网络进行分类模型的训练；预设子分类器的分类目标为第三视频帧中跳跃动作满足预设跳跃条件的概率，即第三视频帧被识别为关键帧的概率。

基于多个预设子分类器各自对应的分类输出信息以及相应的样本标签，生成与多个预设子分类器各自对应的损失信息，进而可确定与多个预设子分类器各自对应的第三反向传播梯度信息；同样地，第三反向传播梯度信息可用于对特征提取层进行模型参数更新，从而在对每个子分类器的特征提取层进行模型参数更新时，均可联合自身的第三反向传播梯度信息，以及其他预设子分类器的第三反向传播梯度信息，对该预设子分类器的特征提取层进行模型参数更新。具体可对多个预设子分类器各自对应的第三反向传播梯度信息进行加权，得到联合梯度信息，然后基于联合梯度信息对该预设子分类器的特征分析层进行更新；对于加权所采用的权重信息可以在联合过程中由可多个预设子分类器自动确定，每个预设子分类器对应的联合梯度信息可能不同。从而通过联合训练，可得到包含多个目标子分类器的目标分类器。

在训练生成包含多个子分类器的目标分类器的情况下，可基于所述多个目标子分类器分别对所述待分类视频帧进行分类，得到所述多个目标子分类器各自对应的分类结果；对所述多个目标子分类器各自对应的分类结果进行信息融合，得到所述目标分类结果。

例如，多个目标子分类器各自对应的分类结果为多个连续的待分类视频帧的中间帧为关键帧的概率，从而可对多个目标子分类器对应的概率进行加权，得到目标概率，目标概率即可被确定为目标分类结果；其中对多个目标子分类器对应的概率进行加权时，多个目标子分类器对应的权重可以相同，也可以不同；当多个目标子分类器对应的权重不同时，相应的权重可基于该目标子分类器在分类过程中的贡献程度来确定，贡献程度越大，相应的权重越大，反之，权重越小。

上述技术方案中，多个子分类器在训练过程中的反向梯度信息是相互辅助的，从而使得多个子分类器能够辅助训练，提高多个子分类器的分类性能；通过集成三个目标子分类器，将较弱的分类器强化成一个分类效果较好的强分类器，提高目标分类器的分类性能；进一步地，通过对多个子分类器的分类结果进行融合，确定目标分类结果，能够提高目标分类结果的准确性。

在一个具体实施例中，通过对目标视频进行处理，可识别出目标视频中包含的多个关键帧；根据本实施例上述内容可知，通过目标分类器对待分类视频帧进行分类，能够得到待分类视频帧为关键帧的概率，从而若需要从多个关键帧中筛选出少量关键帧时，可将被识别为关键帧的概率大于等于目标概率的关键帧筛选出来，或者将被识别为关键帧的概率较大的预设数量的关键帧筛选出来。

在视频封面选取场景中，若从目标视频中识别出的关键帧的数量为多个，可从多个关键帧中确定出概率最大的关键帧作为视频封面。

在精彩片段编辑场景中，若需要从目标视频中选取出预设数量的精彩片段，可将被识别为关键帧的概率较大的预设数量的关键帧筛选出来，然后结合被筛选出来的关键帧的前后帧生成相应的精彩片段。

在一个具体示例中，请参阅图10，其示出了关键帧识别模型，关键帧识别模型可包括特征提取模型以及目标分类器；本实施例中的特征提取模型以及目标分类器可以是单独进行训练的，即预先训练好特征提取模型，以及目标分类器，然后基于预先训练好的特征提取模型以及目标分类器形成关键帧识别模型；本实施例中的特征提取模型与目标分类器可以是联合训练的，即以关键帧识别模型为整体进行训练，整体训练细节与预训练细节类似，在此不再赘述。

以每次获取连续的5帧待处理视频帧为例进行说明，对连续的5帧待处理视频帧进行图像增强处理，得到增强后的视频帧；对增强后的视频帧进行裁剪、缩放以及归一化处理，得到归一化的视频帧；将归一化的视频帧输入到具有时序建模能力的特征提取模型进行特征提取，得到视频帧特征信息；将视频帧特征信息输入到目标分类器中进行分类，得到第3帧为关键帧的概率。目标分类器可包括一个或者多个分类器，多个分类器的结构相同。

由以上述本说明书实施例提供的技术方案可见，本说明书实施例中，通过每次获取少量连续的待处理视频帧以及轻量级的深度学习模型，能够实现关键帧的实时识别；并且基于多任务训练方法，以及多头分类训练方法对分类器进行训练，能够提高分类器分类性能。

需要说明的是，本实施例上述的各方法可根据具体实施情况进行组合，并具备相应的有益效果，在此不再赘述。

图11是根据一示例性实施例示出的一种视频处理装置，包括：

第一获取模块1110，用于用于从目标视频中获取多个连续的待处理视频帧；所述多个连续的待处理视频帧的数量小于所述目标视频包含的视频帧数量；

特征提取模块1120，用于对所述多个连续的待处理视频帧进行特征提取，得到视频帧特征信息；

关键帧识别模块1130，用于基于所述视频帧特征信息进行关键帧实时识别，确定所述多个连续的待处理视频帧对应的关键帧识别结果。

在一个可选的实施例中，所述特征提取模块1120包括：

特征信息确定模块，用于基于特征提取模型对所述多个连续的待处理视频帧进行特征提取，得到所述视频帧特征信息；

所述装置还包括：

第二获取模块，用于获取已处理样本视频帧；所述已处理样本视频帧为对原始样本视频帧进行图像扰动处理得到；

第一训练模块，用于基于所述已处理样本视频帧对预设机器学习模型进行训练，得到所述特征提取模型。

在一个可选的实施例中，所述装置还包括：

像素扰动模块，用于对所述原始样本视频帧的各像素进行像素扰动处理，得到像素扰动视频帧；

第一生成模块，用于基于所述像素扰动视频帧生成所述已处理样本视频帧。

在一个可选的实施例中，所述原始样本视频帧包括多个连续的样本视频帧；所述装置还包括：

第一确定模块，用于确定所述多个连续的样本视频帧的第一帧为基准帧；

第二确定模块，用于确定所述基准帧的基准采集高度；所述基准采集高度表征采集所述基准帧时图像采集设备的采集高度；

采集高度确定模块，用于基于所述基准采集高度，确定所述基准帧之后的样本视频帧的目标采集高度；

图像变换模块，用于基于所述目标采集高度，对所述基准帧之后的样本视频帧进行图像变换，得到变换视频帧；

第二生成模块，用于基于所述基准帧以及所述变换视频帧生成所述已处理样本视频帧。

在一个可选的实施例中，所述关键帧识别模块1130包括：

第一分类模块，用于将所述视频特征信息输入到目标分类模型中，基于所述目标分类模型对待分类视频帧进行分类，得到对所述待分类视频帧的目标分类结果；所述待分类视频帧为所述多个连续的待处理视频帧中除第一帧以及最后一帧之外的任一视频帧；

第三确定模块，用于基于所述目标分类结果，确定所述关键帧识别结果。

在一个可选的实施例中，所述第一分类模块包括：

特征分析模块，用于基于所述目标分类模型对所述多个连续的待处理视频帧各自对应的视频特征信息进行特征分析，得到特征分析结果；所述特征分析结果表征所述待分类视频帧中跳跃动作，与第一视频帧中跳跃动作的关联信息；所述第一视频帧为所述多个连续的待处理视频帧中除所述待分类视频帧之外的视频帧；

第二分类模块，用于基于所述关联信息对所述待分类视频帧进行分类，得到所述目标分类结果。

在一个可选的实施例中，所述第三确定模块包括：

第四确定模块，用于在所述目标分类结果指示所述待分类视频帧中跳跃动作的跳跃高度，大于所述第一视频帧中跳跃动作的跳跃高度的情况下，将所述待分类视频帧确定为所述关键帧。

在一个可选的实施例中，所述装置包括：

第一输入模块，用于将所述多个连续的样本视频帧各自对应的视频特征信息输入到第一预设分类器中，得到对第二视频帧的第一分类信息；所述第二视频帧为所述多个连续的样本视频帧中除第一帧以及最后一帧之外的任一视频帧；所述第一分类信息表征所述第二视频帧中跳跃动作满足预设跳跃条件的概率；

第二输入模块，用于将所述多个连续的样本视频帧各自对应的视频特征信息输入到第二预设分类器中，得到对所述第二视频帧的第二分类信息；所述第二分类信息表征所述第二视频帧中存在跳跃判断辅助信息的概率；

第三生成模块，用于基于所述第一分类信息生成第一反向传播梯度信息，基于所述第二分类信息生成第二反向传播梯度信息；

第二训练模块，用于基于所述第一反向传播梯度信息，以及所述第二反向传播梯度信息，对所述第一预设分类器进行模型训练，得到所述目标分类器。

在一个可选的实施例中，所述目标分类器包括多个目标子分类器，所述装置还包括：

第三输入模块，用于将所述多个连续的样本视频帧各自对应的视频特征信息分别输入到多个预设子分类器中，得到与所述多个预设子分类器对第三视频帧的分类输出信息；所述第三视频帧为所述多个连续的样本视频帧中除第一帧以及最后一帧之外的任一视频帧；所述分类输出信息表征所述第三视频帧中跳跃动作满足预设跳跃条件的概率；

第四生成模块，用于基于所述多个预设子分类器各自对应的分类输出信息，生成所述多个预设子分类器各自对应的第三反向传播梯度信息；

第三训练模块，用于基于所述多个预设子分类器各自对应的第三反向传播梯度信息，对所述多个预设子分类器进行模型训练，得到所述多个目标子分类器；

所述第一分类模块包括：

第三分类模块，用于基于所述多个目标子分类器分别对所述待分类视频帧进行分类，得到所述多个目标子分类器各自对应的分类结果；

信息融合模块，用于对所述多个目标子分类器各自对应的分类结果进行信息融合，得到所述目标分类结果。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图12是根据一示例性实施例示出的一种用于视频处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

图13是根据一示例性实施例示出的一种用于视频处理的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频处理方法。

本领域技术人员可以理解，图12和图13中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的任一方法。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的任一方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。