视频封面生成方法、装置、电子设备及可读介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种视频封面生成方法、装置、电子设备及可读介质。

背景技术

视频封面是展示视频关键内容的一种形式，也是用户在浏览视频播放页面第一眼所接受到的信息的集合，其对于吸引用户观看视频具有重要作用。通常情况下，可以采用视频中的某一帧图像作为视频封面，但这种形式比较单一，视频封面能够反映出的信息量很少，不利于用户快速了解视频的关键内容。

为了展示更多的视频内容，视频封面也可以是人工设计的一张美观图像，这种情况形式相对多样，也能够反映出较多的信息，但是设计过程需要借助一定的专业工具(如PhotoShop等)，无法自动生成视频封面，整个过程耗时耗力。也有一些场景中利用视频中的多帧图像生成一个动态封面，一般采用视频中最为精彩的一个片段，其表达能力相对静态封面要更好，但相应的算法复杂度更高，动态封面模型训练一般需要大量标注数据，且标注难度较大，该过程也十分耗时耗力，并且动态封面相比静态封面所占用的存储空间也更多。综上，目前的视频封面生成方法，耗时耗力，成本偏高，生成视频封面的效率偏低。

发明内容

本发明提供了一种视频封面生成方法、装置、电子设备及可读介质，以在封面中展示丰富的视频内容，提高生成视频封面的效率。

第一方面，本公开实施例提供一种视频封面生成方法，包括：

提取视频中的至少两个关键帧，所述关键帧中包括展示在封面中的特征信息；

根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，其中，所述动作相关性包括相关或无关。

第二方面，本公开实施例还提供了一种视频封面生成装置，包括：

提取模块，用于提取视频中的至少两个关键帧，所述关键帧中包括所述视频的特征信息；

生成模块，用于根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，其中，所述动作相关性包括相关或无关。

第三方面，本公开实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的视频封面生成方法。

第四方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的视频封面生成方法。

本公开实施例的提供一种视频封面生成方法、装置、电子设备及可读介质。该方法包括：提取视频中的至少两个关键帧，所述关键帧中包括展示在封面中的特征信息；根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，其中，所述动作相关性包括相关或无关。上述技术方案通过将多个关键帧的特征信息融合在单张图像中，以单张静态的图像即可展示出丰富的视频内容，占用资源少、效率高，并且在对特征信息进行融合时，考虑了各关键帧的动作相关性，生成视频封面的方式更灵活多样。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1是本公开实施例一中的视频封面生成方法的流程图；

图2是本公开实施例二中的视频封面生成方法的流程图；

图3是本公开实施例二中的将动作序列帧的实例融合在单张图像中的示意图；

图4是本公开实施例二中的填补动作序列帧中被去除实例的区域的示意图；

图5是本公开实施例三中的视频封面生成方法的流程图；

图6是本公开实施例三中的将各关键帧的前景目标融合在主帧中的示意图；

图7是本公开实施例四中的视频封面生成方法的流程图；

图8是本公开实施例四中的将各关键帧的图像块拼接的示意图；

图9是本公开实施例五中的视频封面生成方法的流程图；

图10是本公开实施例五中的预设色环类型的示意图；

图11是本公开实施例五中的在单张图像中添加描述文本的示意图；

图12是本公开实施例五中的视频封面生成过程的示意图；

图13是本公开实施例六中的视频封面生成装置的结构示意图；

图14是本公开实施例七中的电子设备的硬件结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。此外，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例一

图1是本公开实施例一中的视频封面生成方法的流程图。该方法可适用于为视频自动生成封面的情况，具体的，通过将视频中多帧的特征信息融合在单张图像中作为封面，从而在封面中展示丰富的视频内容。该方法可以由视频封面生成装置来执行，其中该装置可由软件和/或硬件实现，并集成在电子设备上。本实施例中的电子设备可以是计算机、笔记本电脑、服务器、平板电脑或智能手机等具有图像处理功能的设备。

如图1所示，本公开实施例一中的视频封面生成方法，具体包括如下步骤：

S110、提取视频中的至少两个关键帧，所述关键帧中包括展示在封面中的特征信息。

本实施例中，视频中包括多帧图像，视频可以是用户拍摄或者上传的，也可以是从网络中下载的。关键帧主要指在多帧图像中能够反映视频关键内容或者场景变化的帧，例如包含视频中的主要人物的帧、属于精彩片段或经典片段的帧、场景发生明显变化的帧以及包含人物关键动作的帧等，都可以作为关键帧。可以通过对视频中的多帧图像进行图像相似聚类以及图像质量评估选取关键帧，也可以通过识别视频中的动作或者行为得到关键帧。

特征信息可以理解为用于描述关键帧所反映的视频具体内容的特征，例如关键帧的色调、关键帧中人物的表情或动作特征、与关键帧匹配的实时字幕等，通过将关键帧中的特征信息展示在封面中，能够吸引观看者，使观看者快速了解视频内容。

本实施例中，从视频中提取出的关键帧至少为两个，在此基础上，可以利用不同的关键帧，为生成封面提供多样的特征信息，使得封面中展示的内容更丰富。

S120、根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，其中，所述动作相关性包括相关或无关。

本实施例中，各关键帧的动作相关性可以理解为描述不同关键帧中的实例是否完成了有效的动作或行为的属性，如果能够从视频中识别到若干帧中的实例完成了有效的动作或行为，则相应的这些帧即可作为关键帧，且各关键帧之间的动作相关性为相关；如果无法识别到有效的动作或行为，则动作相关性为无关。其中，有效的动作或行为可以指机器学习模型能够根据预设行为库自动识别的动作或行为，例如跑步、跳跃、走路、挥手或弯腰等，预设行为库中存储了相关动作或行为在多帧中的特征序列，因此能够通过机器学习模型学习并识别。

可选的，动作相关性不仅与是否能够识别到有效的动作或行为有关，还与相应的这些帧之间的背景差异程度有关，背景差异程度可以包括各帧中的场景内容差异和色调差异等。例如，在若干个关键帧中，虽然其中的人物都在做跑步的动作，但前几帧的场景是公园，后几帧的场景是室内，说明视频中的跑步动作并不是在同一时间段内发生的，则这些关键帧的背景差异程度较大，动作相关性为无关；又如若干个关键帧的场景同样是公园，但一个是白天的图像，一个是夜晚的图像，色调有明显差异，则动作相关性也为无关。

本实施例中，动作相关性影响对各关键帧的特征信息的融合方式。例如，如果各关键帧的动作相关性为相关，则可以从各关键帧中抠出人物实例，并将这些人物实例添加到同一张背景中，该背景可以是任意关键帧的背景，也可以是根据至少两个关键帧生成的背景，这种情况下，利用静态的单张图像作为封面即可展示出视频中的人物实例所完成的某个动作或行为，相比于利用动态图像展示动作或行为的方式，有效减少了计算资源和存储空间占用；如果各关键帧的动作相关性为无关，则可以对多个关键帧进行裁剪、缩放、拼接等，将各关键帧中的全部或部分特征信息融合在单张图像中。

又如，对于每个关键帧，都可以抠出其中的人物实例，将这些人物实例添加在同一张背景中，该背景可以是任意关键帧的背景，也可以是根据至少两个关键帧生成的背景；如果各关键帧的动作相关性为相关，则各人物实例可以按照时序顺序依次(例如从左到右，或者从右到左等)排布，并且使各人物实例在该背景中的排布位置，与其在原关键帧中的相对位置保持一致，从而在视觉上更易理解人物实例的形态；如果各关键帧的动作相关性为无关，则各关键帧中的实例可以自由排布，无需按照时序顺序依次排布，也不需要保持排布位置与相对位置的一致。

再如，对于每个关键帧，都可以抠出其中的人物实例，将这些人物实例添加在同一张背景中，如果各关键帧的动作相关性为相关，则该背景可以是根据各关键帧的背景生成的，从而保持该背景与动作发生过程中各关键帧的背景的风格的一致性，能够最大程度地还原动作发生过程的背景，使观看者更易理解在该背景中发生的动作；如果各关键帧的动作相关性为无关，则无需考虑该背景与动作发生过程中的背景风格的一致性，可以使用任意一张关键帧或者任意一张视频之外的图像(例如纯色图像、观看者上传或自选的图像或者模板图像等)作为背景，将其他关键帧中的人物实例排布至此即可。

可选的，利用动作序列识别算法可以确定各关键帧的动作相关性。例如，利用人体姿态识别(Open-pose)算法对视频中的人物实例进行姿态估计。具体的，首先提取视频的各帧图像中人体关节点的位置坐标，据此计算相邻两帧之间人体关节点的距离变化量矩阵；然后对视频进行分段，利用每段视频对应的距离变化量矩阵生成视频特征；最后利用训练好的分类器对视频特征进行分类，如果能够识别到一段视频对应的视频特征属于预设行为库中的动作或行为的特征序列，则这段视频对应的帧即为关键帧，各关键帧的动作相关性为相关。又如，利用实例分割算法提取各关键帧中人物的轮廓并进行姿势表达，通过聚类算法提取姿势的关键特征，基于这些关键特征，利用动态时间规整(Dynamic Time Warping，DTW)算法完成动作识别等。

本实施例中的视频封面生成方法，通过将多个关键帧的特征信息融合在单张图像中，以单张静态的图像即可展示出丰富的视频内容，占用的计算资源和存储空间少，生成封面的效率高，并且能够吸引观看者，使观看者快速了解视频内容；此外，在对不同关键帧的特征信息进行融合时，考虑了各关键帧的动作相关性，动作相关性影响到对各关键帧的特征信息的融合方式生成视频封面的方式更灵活多样。

实施例二

图2是本公开实施例二中的视频封面生成方法的流程图。本实施例在上述实施例的基础上，对在动作相关性为相关的情况下生成视频封面的过程进行具体化。

本实施例中，提取视频中的至少两个关键帧，包括：基于动作识别算法，识别视频中的动作序列帧，并将动作序列帧作为关键帧；其中，动作相关性为相关。在此基础上，可以对具有相关性的动作序列帧进行融合，从而在静态的封面中展示关于一个完整动作或行为的视频内容。

如图2所示，本公开实施例二中的视频封面生成方法，包括如下步骤：

S210、基于动作识别算法，识别视频中的动作序列帧，并将动作序列帧作为关键帧。

本实施例中，利用动作识别算法，可以从视频中识别有效的动作序列帧，每个动作序列帧中的人物实例按照时序顺序连贯起来可以表达出一个完整的动作或行为。其中，动作识别算法可以通过中时建模(Temporal Segment Network，TSM)模型实现，该模型基于Kinetics-400数据集训练，可用于识别400种动作，能够满足识别并在封面中展示实例的动作的需求。

可选的，在识别到有效的动作序列帧的情况下，可进一步判断各动作序列帧之间的背景差异程度，如背景差异程度在允许范围内，则确定动作相关性为相关，可以进一步对各动作序列帧进行实例分割以及图像融合，得到能够表达实例的动作或行为的封面。

S220、对各动作序列帧进行实例分割，得到各动作序列帧的特征信息，特征信息包括实例和背景。

具体的，实例分割的主要目的是将各动作序列帧中的实例与背景分离，其中，各实例可以融合在同一张背景中，从而表示出一个完整的动作或行为；各背景可用于生成封面背景。可选的，采用基于位置和尺寸单独分离实例(Seperate Object instances byLocation and sizes，SOLO)算法对各动作序列帧进行实例分割，具体的可以通过SOLOv2算法按照位置和尺寸分割实例，具有较高的精度，并且兼具实时性，能够提高生成视频封面的效率。

S230、根据各动作序列帧的背景生成封面背景。

本实施例中，封面背景主要指用于排布各动作序列帧中的实例的背景，可根据各动作序列帧的背景生成。例如，对各动作序列帧的背景在各个位置上的像素值取均值，得到封面背景，这种方式较为简单，适用于动作序列帧数量较多的情况；又如，从各动作序列帧的背景中选取图像质量最高的、或者首个动作序列帧、最后一个动作序列帧或位于中间的动作序列帧对应的背景等，作为封面背景，这种方式也易于实现，但对各动作序列帧的背景的融合性相对较低；再如，对于每个动作序列帧的背景，其中被抠除实例的部分是空白区域，可以使用其他动作序列帧的背景填补该背景中被抠除实例的空白区域，然后再从经过填补的各动作序列帧中，选取一帧作为封面背景，或者对经过填补的各动作序列帧取均值作为封面背景等，这种方式可以兼顾质量和不同背景的融合性。在此基础上，通过综合各动作序列帧的特征，保证封面与动作发生过程中各关键帧的背景的风格一致性，便于观看者准确了解视频内容。

S240、将各动作序列帧的实例融合在封面背景中，得到单张图像，并将单张图像作为视频的封面。

本实施例中，将各动作序列帧的实例添加至封面背景中，从而利用静态的单张图像即可展示出综合多帧的完整动作。在此过程中，可以根据各动作序列帧的实例在原动作序列帧中的相对位置，将其添加至封面背景中的相应位置，以保证各实例的相对位置与动作发生过程中的各位置一致，具有更好的可视化效果。

图3是本公开实施例二中的将动作序列帧的实例融合在单张图像中的示意图。如图3所示的单张图像即为视频的封面，其中，五个人物实例可来源于五个动作序列帧，其表达的是一个滑板跳跃的动作。为了使根据动作序列帧生成的封面更清晰、排版合理，在得到统一的背景后，可以将各动作序列帧中的实例排布到该背景的合适位置。可以理解的是，通常情况下，想利用五个关键帧表达出人物实例的动作，需要将这些关键帧做成动态图像，计算量大、占用空间也大，而本实施例的方法，利用静态的单张图像，即可有效融合多个动作序列帧的特征信息，利用有限的资源展示丰富的视频内容。

可选的，在根据各动作序列帧的背景生成封面背景之前，还包括：选取一个动作序列帧作为参考帧，并根据特征点匹配算法确定各动作序列帧与参考帧之间的仿射变换矩阵；根据仿射变换矩阵将各动作序列帧的背景与参考帧的背景对齐。

具体的，由于视频拍摄的角度不同、存在抖动或误差等，各动作序列帧的背景并不是对齐的，直接利用根据各动作序列帧的背景生成封面背景，会存在局部的失真、变形或模糊等，影响背景的准确性和视觉效果，为此，在根据各动作序列帧的背景生成封面背景之前，可以选取一个动作序列帧作为参考帧，并使其他对各动作序列帧的背景与该参考帧的背景对齐。其中，参考帧可以是图像质量最高的动作序列帧、首个动作序列帧、最后一个动作序列帧或者位于中间的动作序列帧等。

本实施例中，根据特征点匹配算法确定各动作序列帧与参考帧之间的仿射变换矩阵，其中，仿射变换矩阵用于描述相匹配的特征点由动作序列帧到参考帧中的变换关系，仿射变换包括线性变换和平移变换。特征点匹配算法可以是尺度不变特征变换(Scale-invariant Feature Transform，SIFT)算法，具体的，首先提取各动作序列帧的背景中关键的特征点，这些关键的特征点不会因光照、尺度、旋转等因素而消失，然后，根据各关键点的特征向量对动作序列帧与参考帧中的关键点进行两两比较，找出动作序列帧与参考帧之间相互匹配的若干对特征点，从而建立特征点的对应关系，得到仿射变换矩阵。

可选的，根据各关键帧的实例和背景生成封面背景，包括：对于每个动作序列帧，从该动作序列帧中去除相应的实例，并根据设定动作序列帧在相应区域的特征信息填补该动作序列帧中被去除的区域，得到该动作序列帧对应的填补结果，其中，设定动作序列帧包括各动作序列帧中与当前动作序列帧不同的动作序列帧；根据各动作序列帧的填补结果生成封面背景。

本实施例中，生成封面背景的过程可以分为两个阶段。在第一阶段中，对于每一个动作序列帧中被去除实例的区域，都可以采用其他动作序列帧的背景来填补该区域，得到该动作序列帧对应的填补结果，填补结果可以理解为一种粗略的背景图；在第二阶段中，根据各动作序列帧的填补结果生成封面背景，该阶段可以理解为对粗略背景图的修复过程，得到的封面背景是较为精细的，例如，可以对各动作序列帧对应的粗略背景图取平均，得到封面背景。

图4是本公开实施例二中的填补动作序列帧中被去除实例的区域的示意图。如图4所示，假设共有N(N为大于2的整数)个动作序列帧，各动作序列帧中的空白人物形状的区域表示去除人物实例后的区域，该人物实例在不同的动作序列帧中的位置或动作可能不同。动作序列帧1中去除人物实例后的背景的特征信息用网格表示；动作序列帧2中去除人物实例后的背景的特征信息用斜线表示；动作序列帧3中去除人物实例后的背景的特征信息用点状纹理表示；动作序列帧4中去除人物实例后的背景的特征信息用竖线表示。

以对动作序列帧1中去除人物实例后的空白区域进行填补为例，在动作序列帧2中，虚线所示的人物形状即为相应区域，此区域内的斜线所表示的特征信息可以用来填补动作序列帧1中去除人物实例后的空白区域，但显然，动作序列帧2中虚线所示的人物形状中也包含了一部分空白(是由于动作序列帧2中的人物实例也被去除造成的)，因此，只利用动作序列帧2中相应区域内的特征信息并不能完全填补动作序列帧1中去除人物实例后的区域，则可以继续采用下一个动作序列帧中相应区域的特征信息来填补；假设下一个动作序列帧为动作序列帧N-1，则动作序列帧N-1中虚线所示的人物形状内的点状纹理所表示的特征信息，可用来继续填补动作序列帧1中去除人物实例后的空白区域；但仍不能完全填补，因此还需要利用动作序列N中虚线所示的人物形状内的竖线所表示的特征信息，继续填补动作序列帧1中去除人物实例后的空白区域，至此可得到动作序列帧1的填补结果。填补结果中，斜线部分的特征信息来自于动作序列帧2的相应区域，点状部分的特征信息来自于动作序列帧2的相应区域，竖线部分的特征信息来自于动作序列帧2的相应区域。

可以理解的是，一种情况是，如果动作序列帧i(2≤i＜N)的相应区域的特征信息还不能完全填补动作序列帧1中去除人物实例后的区域，则可以继续采用动作序列帧i+1在相应区域的特征信息填补，直至采用最后一个动作序列帧相应区域的特征信息填补，无论是否能够完全填补，都可以结束对动作序列帧1的填补操作，得到动作序列帧1的填补结果。

另一种情况是，如果动作序列帧i(2≤i＜N)的相应区域的特征信息已经能够完全填补，则可结束对动作序列帧1的填补操作，得到动作序列帧1的填补结果，而无需再采用后续的动作序列帧进行填补。

基于类似的原理，可以得到动作序列帧2至N的填补结果。然后在第二阶段，可以根据动作序列帧的填补结果生成封面背景。例如，对各动作序列帧的填补结果取平均，或者，本实施例还提供了一种对各动作序列帧的填补结果(粗略背景图)进行修复的方法，以对实例边缘作进一步处理，得到精度更高的封面背景。

可选的，在第二阶段中，对各动作序列帧的填补结果进行修复，包括：

对于每个动作序列帧中被去除实例的区域做膨胀处理，以扩大被去除实例的区域，扩大后的区域涵盖了被去除的实例的边缘部分；

对于该动作序列帧中膨胀后的区域，利用其他各动作序列帧的填补结果中相应区域的特征进行修复，其中，修复可以指利用类似第一阶段的填补操作，即，使用其他动作序列帧的填补结果中相应区域的特征再次填补该膨胀后的区域；修复也可以是利用各动作序列帧的填补结果中相应区域的特征的均值，再次填补该膨胀后的区域，从而得到该动作序列帧的修复结果，最终将各动作序列帧对应的修复结果取平均得到封面背景，从而对实例的边缘，也可以充分利用其他各动作序列帧的特征信息进行融合。

此外，第二阶段中的修复操作可以迭代执行多次，直至任意一个动作序列帧在当前迭代中得到的修复结果与在上一次迭代的修复结果的特征差异在允许范围内，则停止迭代，此时的修复结果已经充分融合了各动作序列帧的背景中的特征信息，且边缘过渡平滑，精度更高。

示例性的，在第二阶段中迭代执行修复操作的过程包括：

在第1次迭代中，对于第一阶段得到的动作序列帧j的填补结果Rj(1≤j≤N)中的被去除的实例膨胀后的区域，对R1、R2……RN中相应区域的特征信息取平均并填充在该膨胀后的区域内，以修复Rj中的被去除的实例膨胀后的区域，得到动作序列帧j的修复结果Rj1；

然后进入第2次迭代，同样的，对于动作序列帧j的修复结果Rj1中的被去除的实例膨胀后的区域，对R1、R2……RN中相应区域的特征信息取平均并填充在该膨胀后的区域内，以修复Rj1中的被去除的实例膨胀后的区域，得到动作序列帧j的修复结果Rj2；

以此类推，直至迭代指定次数，或者直至任意一次迭代过程中任意一个动作序列帧的修复结果与上次迭代的修复结果的差异在允许范围内，则停止迭代，对此时所有动作序列帧的修复结果取平均，得到封面背景。

需要说明的是，在第一阶段中得到的填补结果其实是粗略背景图，第二阶段中的二次填补操作可以进一步提高填补的精度，膨胀区域内不正确的像素值会被正确的像素值逐渐修复，而在实例以外背景部分的正确像素值并不会随着迭代而改变，保证生成的封面背景充分综合了各动作序列帧的特征信息，且边缘的处理效果更好，实例与背景的过渡更自然。

可选的，各动作序列帧的实例与封面背景的融合度按照时序顺序依次降低。

具体的，如图3所示，封面中的五个人物实例从右到左，完成了一次从起跳、腾空到落地的滑板跳跃的动作，越左侧的人物实例的时序越靠后，最左侧的人物实例对应于最后一个动作序列帧，而越左侧的人物实例，其与封面背景的融合度越低，也可以理解为透明度越低。在此基础上，在通过静态的视频封面展示多个动作序列帧的实例的同时，也能够体现出各实例的时序先后，具有视觉暂留的效果，使得所展示的动作或行为更具体更生动。

本实施例中的视频封面生成方法，通过识别视频中的动作序列帧，将各动作序列帧的实例添加至封面背景中，从而在静态的封面中展示关于一个完整动作或行为的视频内容，使得根据动作序列帧生成的封面更清晰、排布合理；通过根据各动作序列帧的背景生成封面背景，可综合各动作序列帧的特征，保证封面与动作发生过程中各关键帧的背景的风格一致性，便于观看者准确了解视频内容；通过选取一个动作序列帧作为参考帧，并使其他对各动作序列帧的背景与该参考帧的背景对齐，提高生成背景的准确性和可视效果；通过在第一阶段中得到各动作序列帧的粗略背景图，在第二阶段中进行修复以进一步提高填补的精度，保证生成的封面背景充分综合了各动作序列帧的特征信息，且对边缘的处理效果更好，实例与背景的过渡更自然；通过为各动作序列帧的实例设置不同的与封面背景的融合度，在通过静态的视频封面展示多个动作序列帧的实例的同时，也能够体现出各实例的时序关系，使得所展示的动作或行为更具体更生动。

实施例三

图5是本公开实施例三中的视频封面生成方法的流程图。本实施例在上述实施例的基础上，对在动作相关性为无关的情况下生成视频封面的过程进行具体化。

本实施例中，提取视频中的至少两个关键帧，包括：对视频中的图像进行聚类，得到至少两个类别；基于图像质量评估算法，从各类别中抽取对应的关键帧；其中，各关键帧的动作相关性为无关。在此基础上，可以利用动作或行为无关的不同关键帧，在封面上展示差异较大的视频内容。

本实施例中，根据各关键帧的动作相关性，将各关键帧中的特征信息融合在单张图像中，以生成视频的封面，包括：在动作相关性为无关的情况下，选取一个关键帧作为主帧；基于目标识别算法识别各关键帧中的特征信息，特征信息包括前景目标；将除主帧以外的各关键帧中的前景目标融合在主帧中，得到单张图像，并将单张图像作为视频的封面。在此基础上，可以将不同关键帧中的前景目标融合到同一个关键帧中，无需考虑不同关键帧的背景的差异，生成封面的方式更灵活。

如图5所示，本公开实施例三中的视频封面生成方法，包括如下步骤：

S310、对视频中的图像进行聚类，得到至少两个类别。

本实施例中，可以根据视频中的各帧图像的帧间相似度，例如色调、场景内容或包含的实例是否相同等进行聚类，为抽取关键帧提供依据，其中，聚类算法例如为K-means算法。

S320、基于图像质量评估算法，从各类别中抽取对应的关键帧。

本实施例中，对于每个类别，选取关键帧时可以参考各图像的质量，例如，利用超级图像质量评估(Hyper Image Quality Assessment，HyperIQA)算法，对各类别中的图像进行质量评估，然后根据各类别中图像的质量，抽取各类别对应的关键帧。由于每个类别中的图像具有相似性，对每个类别抽取一个关键帧即可。关键帧的抽取可以通过预训练的卷积神经网络(Convolutional Neural Networks，CNN)实现，该网络可以根据一个类别中图像的图像质量，自动将质量最优的图像作为该类别的关键帧。通过按照类别抽取对应的关键帧，可以避免对同一类别抽取了过多关键帧而增加不必要的计算量和存储空间占用，能够保证在封面中展示的内容不是相近的或者重复的，从而最大限度的在封面中展示更多的视频内容。

S330、选取一个关键帧作为主帧。

本实施例中，主帧可用于排布其他关键帧中的前景目标。主帧可以是图像质量最优的一个关键帧，也可以是首个关键帧、最后一个关键帧或位于中间的关键帧等。

S340、基于目标识别算法识别各关键帧中的特征信息，特征信息包括前景目标。

本实施例中，基于目标识别算法可以识别各关键帧中的前景目标及其所在位置，目标识别算法可以是采用一个单独的CNN模型(You Only Look Once，YOLO)的算法，例如YOLOv5算法，利用一个CNN网络即可预测目标的类别与位置，并且具有较好的实时性。

可选的，也可以先识别各关键帧中的前景目标，再选取主帧，且根据对前景目标的识别结果，也可以选取前景目标相对突出且背景较为简洁、不杂乱的关键帧作为主帧，便于后续与各前景目标的融合。

S350、将除主帧以外的各关键帧中的前景目标融合在主帧中，得到单张图像，并将单张图像作为视频的封面。

本实施例中，将除主帧以外的各关键帧中的前景目标排布在主帧中，以生成封面。在排布时，可以对前景目标进行适当比例的缩放，并且在融合过程中可以考虑各前景目标与主帧原有前景目标之间的位置关系，以减少对原有前景目标的遮挡，还可以尽量将各前景目标居中或均匀分布等。

图6是本公开实施例三中的将各关键帧的前景目标融合在主帧中的示意图。如图6所示，封面中包括两个前景目标，其中前景目标1可以为主帧的原有前景目标，主帧的场景是前景目标1站立在草地上；前景目标2可以是从其他关键帧中提取的前景目标，前景目标2融合在主帧的场景中。两个前景目标一左一右，整体在封面的居中位置。

可选的，也可以改变主帧中原有前景目标的位置，使其与其他关键帧中的前景目标合理排布，使得所有前景目标的排布更灵活。此外，对各前景目标的轮廓还可以进行加粗、添加颜色等处理，以使前景目标更突出，更容易吸引观看者。

S360、对单张图像的背景进行虚化处理，虚化处理包括模糊处理或羽化处理。

本实施例中，为了进一步强调前景目标，可以对背景做一定程度的虚化处理，主要包括两种虚化处理：模糊处理和羽化处理。其中，模糊处理可以使得背景所有区域具有相同的模糊程度，而羽化可以使与前景目标距离较近的区域模糊程度较低，与前景目标距离较远的区域模糊程度较高。

模糊处理可以表示为：

羽化处理可以表示为：

其中，I

本实施例中的视频封面生成方法，利用动作或行为无关的关键帧，可以在封面上展示差异较大的视频内容，丰富了封面中展示的特征；通过按照类别抽取对应的关键帧，能够保证在封面中展示的内容不是相近的或者重复的，从而最大限度的在封面中展示更多的视频内容；通过识别各关键帧中的前景目标，并将除主帧以外的各关键帧中的前景目标排布在主帧中的适当位置，从而利用静态的单张图像，有效融合多个关键帧的特征信息；此外，通过对前景目标的轮廓进行处理，以及对主帧的背景进行虚化处理，可以使前景目标更突出，使观看者快速了解视频的重要内容。

实施例四

图7是本公开实施例四中的视频封面生成方法的流程图。本实施例在上述实施例的基础上，对在动作相关性为无关的情况下生成视频封面的过程进行具体化。

本实施例中，根据各关键帧的动作相关性，将各关键帧中的特征信息融合在单张图像中，以生成视频的封面，包括：在动作相关性为无关的情况下，提取各关键帧中包含特征信息的图像块；将各图像块拼接，得到单张图像。在此基础上，可以在封面中展示不同关键帧中的特征信息。

如图7所示，本公开实施例三中的视频封面生成方法，包括如下步骤：

S410、对视频中的图像进行聚类，得到至少两个类别。

S420、基于图像质量评估算法，从各类别中抽取对应的关键帧。

S430、提取各关键帧中包含特征信息的图像块。

本实施例中，关键帧中的图像块中包含了特征信息，例如，图像块能够反映关键帧的色调，图像块中包含关键帧中人物的表情或动作特征，图像块中包含基于目标识别算法识别到的前景目标，或者图像块中包含与关键帧匹配的实时字幕等。

S440、将各图像块拼接，得到单张图像，并将单张图像作为视频的封面。

具体的，可以根据各图像块中的特征信息，综合考虑图像块中的内容的相对比例关系，将各图像块按照预设的模板拼接在一起。

图8是本公开实施例四中的将各关键帧的图像块拼接的示意图。如图8所示，该封面由四个图像块构成，四个图像块可以来自于不同的关键帧。需要说明的是，本实施例对于各图像块的形状以及拼接的模板不做限定。

本实施例中的视频封面生成方法，在动作相关性为无关的情况下，提取各关键帧中包含特征信息的图像块；将各图像块拼接，得到单张图像。在此基础上，可以在封面中展示不同关键帧中的特征信息，生成封面的方式更灵活。

实施例五

图9是本公开实施例五中的视频封面生成方法的流程图。本实施例在上述实施例的基础上，对在单张图像上添加描述文本的过程进行具体化。

本实施例中，在将各关键帧中的特征信息融合在单张图像中之后，还包括：根据单张图像的颜色值确定描述文本的色调、饱和度以及明度，其中，颜色值由红绿蓝(Red GreenBlue，RGB)色彩模式转换为色调饱和度明度(Hue Saturation Value，HSV)色彩模式；根据描述文本的色调、饱和度以及明度，在单张图像中的指定位置添加描述文本。

本实施例中，根据单张图像的颜色值确定描述文本的色调，包括：基于聚类算法确定单张图像的色调类型以及每个色调类型的占比；将占比最高的色调类型作为单张图像的主色调；将预设色环类型的指定区域内，与主色调对应的色调值距离最近的色调，作为描述文本的色调。

本实施例中，根据单张图像的颜色值确定描述文本的饱和度以及明度，包括：根据指定位置周围设定范围内的饱和度均值，确定描述文本的饱和度；根据指定位置周围设定范围内的明度均值，确定描述文本的明度。

在此基础上，可进一步丰富和美化封面的内容，使观看者更快地了解视频内容，其中，描述文本的位置、尺寸、配色以及字体等可以根据视频风格以及整体色彩分布确定，使得封面的整体配色更合理，视觉效果更好。可选的，还可以根据视频的主题和封面的风格等确定描述文本的字体，以使描述文本与视频内容以及封面更好地融合。

如图9所示，本公开实施例三中的视频封面生成方法，包括如下步骤：

S510、提取视频中的至少两个关键帧，关键帧中包括展示在封面中的特征信息。

S520、根据各关键帧的动作相关性，将各关键帧中的特征信息融合在单张图像中，以生成视频的封面。

S530、将单张图像的颜色值由红绿蓝RGB色彩模式转换为色调饱和度明度HSV色彩模式。

本实施例中，将颜色值转换为HSV色彩模式，HSV色彩模式是针对用户观感的一种颜色模型，侧重于色彩表示，可反映出具体颜色、颜色的深浅以及明暗，根据HSV色彩模式确定描述文本的配色，使得描述文本与封面的融合性更强，观看者的视觉效果更舒服。

对于一种颜色，由RGB色彩模式转换为HSV色彩模式的方法如下：将该颜色的红、绿和蓝坐标记为(r,g,b)，r、g和b均为0到1之间的实数；设max等价于r、g和b中的最大者，min等价于r、g和b中的最小者。要找到该颜色在HSV空间中的(h,s,v)值，其中，h∈[0,360)是角度的色相角，而s,v∈[0,1]是饱和度和亮度，则有如下转换关系：

v＝max。

S540、基于聚类算法确定单张图像的色调类型以及每个色调类型的占比。

具体的，基于聚类算法对单张图形进行整体色彩分析，具体可以采用K-means聚类算法，例如，将单张图像的整体颜色聚为5个类，并输出每个类的主体色彩的色调类型及其占比。

S550、将占比最高的色调类型作为单张图像的主色调。

S560、将预设色环类型的指定区域内，与主色调对应的色调值距离最近的色调作为描述文本的色调。

本实施例中，确定描述文本的色调的方法为，计算预定义的颜色空间中各颜色与单张图像的主色调距离最近，且位于指定的H色环类型区间中的颜色作为描述文本的色调。

图10是本公开实施例五中的预设色环类型的示意图。如图10所示，在八种H色环类型中，可以根据其中的一种，选择位于黑色区域内的(例如与主色调之间的差距在10°以内的)、且与主色调对应的色调值距离最近的色调作为描述文本的色调。

S570、根据指定位置周围设定范围内的饱和度均值，确定描述文本的饱和度。

本实施例中，描述文本的饱和度，根据单张图像中在指定位置周围设定范围内的饱和度均值确定，使得描述文本的饱和度与周围的饱和度尽量统一，融合性更强。具体的，将指定位置周围设定范围内的饱和度均值记为

S580、根据指定位置周围设定范围内的明度均值，确定描述文本的明度。

本实施例中，描述文本的明度，根据单张图像中在指定位置周围设定范围内的明度均值确定，使得描述文本的明度与周围的饱和度尽量统一，融合性更强。具体的，将指定位置周围设定范围内的明度均值记为

S590、根据描述文本的色调、饱和度以及明度，在单张图像中的指定位置添加描述文本。

图11是本公开实施例五中的在单张图像中添加描述文本的示意图。如图11所示，描述文本添加在单张图像中靠右下角的位置，可以带有文本框，其字体和色彩可根据单张图像的整体风格确定。需要说明的是，本实施例不限定添加描述文本的指定位置，例如还可以是中部靠下的位置、左上角或右上角等。

本实施例的方法，可以为融合多个关键帧的特征信息的单张图像添加描述文本，此过程考虑了封面的整体色彩分布，描述文本的色调与图像的主色调相近，饱和度以及明度也与其周围的图像相适应融合。此外，还可以考虑描述文本与单张图像的色彩的对比度，从而强化或弱化描述文本。

图12是本公开实施例五中的视频封面生成过程的示意图。如图12所示，本实施例中，生成视频封面主要包括三种方式：

方式一：识别视频中的动作序列帧，在各关键帧的动作相关性为相关的情况下，基于动作序列帧进行实例分割以及图像融合，将多个动作序列帧中的实例融合在一个生成的封面背景中；

方式二：在各关键帧的动作相关性为无关的情况下，对视频中的图像进行聚类以及关键帧抽取，提取多个关键帧中的前景目标，并融合在其中一个主帧中；

方式三：在各关键帧的动作相关性为无关的情况下，对视频中的图像进行聚类以及关键帧抽取，对多个关键帧中的图像块进行拼接，得到单张图像。

通过上述方式，可以在静态的单张图像中体现多个关键帧中的特征信息，提高封面的多样性。

此外，对于上述任意方式得到的单张图像，还可以确定描述文本的色调、饱和度以及明度，并据此在单张图像中的指定位置添加描述文本。描述文本的内容可以是具有代表性的字幕，也可以是为视频生成的标题等。

可选的，对于视频，可以优先或者默认采用方式一生成封面，即，在识别到有效的动作序列帧的情况下，基于动作序列帧进行实例分割以及图像融合，将多个动作序列帧中的实例融合在一个统一生成的封面背景中；若无有效识别的动作序列帧，再采用方式二或方式三，即利用聚类算法抽取关键帧，然后提取关键帧中的前景目标或者图像块，进而通过前景目标分割再融合或者图像块拼接的方式生成封面。

需要说明的是，上述的三种方式也可以组合使用，例如，方式一中，多个动作序列帧中的实例也可以排布在其中一个动作序列帧(该动作序列帧可以作为主帧)中；又如，方式二中，多个关键帧中的前景目标也可以排布在一个生成的封面背景中。

本实施例中的视频封面生成方法，通过添加描述文本，并且描述文本的色调、饱和度以及明度可根据单张图像的整体颜色值确定，可进一步丰富和美化封面的内容，使观看者更快地了解视频内容，并使得封面的整体配色更合理，视觉效果更好；此外，利用HSV色彩模式确定描述文本的配色，可以反映出具体颜色、颜色的深浅以及明暗，使得描述文本与封面的融合性更强；本实施例的视频封面生成方法，提供了多种生成封面的方式，提高了生成封面的灵活性。

实施例六

图13是本公开实施例六中的视频封面生成装置的结构示意图。本实施例尚未详尽的内容请参考上述实施例。如图13所示，该装置包括：

提取模块610，用于提取视频中的至少两个关键帧，所述关键帧中包括所述视频的特征信息；

生成模块620，用于根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，其中，所述动作相关性包括相关或无关。

本实施例的视频封面生成装置，通过将多个关键帧的特征信息融合在单张图像中，以单张静态的图像即可展示出丰富的视频内容，占用资源少、效率高，并且在对特征信息进行融合时，考虑了各关键帧的动作相关性，生成视频封面的方式更灵活多样。

在上述基础上，提取模块610，具体用于：基于动作识别算法，识别所述视频中的动作序列帧，并将所述动作序列帧作为所述关键帧；其中，所述动作相关性为相关。

在上述基础上，生成模块620，包括：

分割单元，用于在所述动作相关性为相关的情况下，对各所述动作序列帧进行实例分割，得到各所述动作序列帧的特征信息，所述特征信息包括实例和背景；

背景生成单元，用于根据各所述动作序列帧的背景生成封面背景；

第一融合单元，用于将各所述动作序列帧的实例融合在所述封面背景中，得到单张图像，并将所述单张图像作为所述视频的封面。

在上述基础上，背景生成单元，包括：

填补子单元，用于对于每个动作序列帧，从该动作序列帧中去除相应的实例，并根据设定动作序列帧在相应区域的特征信息填补该动作序列帧中被去除的区域，得到该动作序列帧对应的填补结果，其中，所述设定动作序列帧包括各所述动作序列帧中与当前动作序列帧不同的动作序列帧；

生成子单元，用于根据各所述动作序列帧的填补结果生成所述封面背景。

在上述基础上，该装置还包括：

参考帧选取模块，用于在所述根据各所述动作序列帧的背景生成封面背景之前，选取一个动作序列帧作为参考帧，并根据特征点匹配算法确定各所述动作序列帧与参考帧之间的仿射变换矩阵；

对齐模块，用于根据所述仿射变换矩阵将各所述动作序列帧的背景与所述参考帧的背景对齐。

在上述基础上，各所述动作序列帧的实例与所述封面背景的融合度按照时序顺序依次降低。

在上述基础上，提取模块610，包括：

聚类单元，用于对所述视频中的图像进行聚类，得到至少两个类别；

抽取单元，用于基于图像质量评估算法，从各所述类别中抽取对应的关键帧；其中，各所述关键帧的动作相关性为无关。

在上述基础上，生成模块620，包括：

主帧选取单元，用于在所述动作相关性为无关的情况下，选取一个关键帧作为主帧；

识别单元，用于基于目标识别算法识别各所述关键帧中的特征信息，所述特征信息包括前景目标；

第二融合单元，用于将除所述主帧以外的各所述关键帧中的前景目标融合在所述主帧中，得到单张图像，并将所述单张图像作为所述视频的封面。

在上述基础上，该装置还包括：

虚化模块，用于在得到单张图像之后，对所述单张图像的背景进行虚化处理，所述虚化处理包括模糊处理或羽化处理。

在上述基础上，生成模块620，包括：

图像块提取单元，用于在所述动作相关性为无关的情况下，提取各所述关键帧中包含所述特征信息的图像块；

拼接单元，用于将各所述图像块拼接，得到所述单张图像。

在上述基础上，该装置还包括：

文本色彩确定模块，用于在将各所述关键帧中的特征信息融合在单张图像中之后，根据所述单张图像的颜色值确定描述文本的色调、饱和度以及明度，其中，所述颜色值由红绿蓝RGB色彩模式转换为色调饱和度明度HSV色彩模式；

文本添加模块，用于根据所述描述文本的色调、饱和度以及明度，在所述单张图像中的指定位置添加描述文本。

在上述基础上，文本添加模块，包括：

占比计算单元，用于基于聚类算法确定所述单张图像的色调类型以及每个色调类型的占比；

主色调确定单元，用于将占比最高的色调类型作为所述单张图像的主色调；

色调确定单元，用于将预设色环类型的指定区域内，与所述主色调对应的色调值距离最近的色调，作为所述描述文本的色调。

在上述基础上，文本添加模块，包括：

饱和度确定单元，用于根据所述指定位置周围设定范围内的饱和度均值，确定所述描述文本的饱和度；

明度确定单元，用于根据所述指定位置周围设定范围内的明度均值，确定所述描述文本的明度。

上述视频封面生成装置可执行本公开任意实施例所提供的视频封面生成方法，具备执行方法相应的功能模块和有益效果。

实施例七

图14是本公开实施例七中的电子设备的硬件结构示意图。图14示出了适于用来实现本公开实施例的电子设备700的结构示意图。本公开实施例中的电子设备700包括但不限于计算机、笔记本电脑、服务器、平板电脑或智能手机等具有图像处理功能的设备。图14示出的电子设备700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图14所示，电子设备700可以包括一个或多个处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。一个或多个处理装置701实现如本公开提供的流量数据包转发方法。在RAM703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线705彼此相连。输入/输出(I/O)接口704也连接至总线705。

通常，以下装置可以连接至I/O接口704：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708，存储装置708用于存储一个或多个程序；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图14示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备全部示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：提取视频中的至少两个关键帧，所述关键帧中包括展示在封面中的特征信息；根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，其中，所述动作相关性包括相关或无关。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，示例1提供了一种视频封面生成方法，包括：

提取视频中的至少两个关键帧，所述关键帧中包括展示在封面中的特征信息；

根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，其中，所述动作相关性包括相关或无关。

示例2根据示例1所述的方法，所述提取视频中的至少两个关键帧，包括：

基于动作识别算法，识别所述视频中的动作序列帧，并将所述动作序列帧作为所述关键帧；

其中，所述动作相关性为相关。

示例3根据示例2所述的方法，所述根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，包括：

在所述动作相关性为相关的情况下，对各所述动作序列帧进行实例分割，得到各所述动作序列帧的特征信息，所述特征信息包括实例和背景；

根据各所述动作序列帧的背景生成封面背景；

将各所述动作序列帧的实例融合在所述封面背景中，得到单张图像，并将所述单张图像作为所述视频的封面。

示例4根据示例3所述的方法，根据各所述关键帧的实例和背景生成封面背景，包括：

对于每个动作序列帧，从该动作序列帧中去除相应的实例，并根据设定动作序列帧在相应区域的特征信息填补该动作序列帧中被去除的区域，得到该动作序列帧对应的填补结果，其中，所述设定动作序列帧包括各所述动作序列帧中与当前动作序列帧不同的动作序列帧；

根据各所述动作序列帧的填补结果生成所述封面背景。

示例5根据示例3所述的方法，在所述根据各所述动作序列帧的背景生成封面背景之前，还包括：

选取一个动作序列帧作为参考帧，并根据特征点匹配算法确定各所述动作序列帧与参考帧之间的仿射变换矩阵；

根据所述仿射变换矩阵将各所述动作序列帧的背景与所述参考帧的背景对齐。

示例6根据示例3所述的方法，各所述动作序列帧的实例与所述封面背景的融合度按照时序顺序依次降低。

示例7根据示例1所述的方法，所述提取视频中的至少两个关键帧，包括：

对所述视频中的图像进行聚类，得到至少两个类别；

基于图像质量评估算法，从各所述类别中抽取对应的关键帧；

其中，各所述关键帧的动作相关性为无关。

示例8根据示例7所述的方法，所述根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，包括：

在所述动作相关性为无关的情况下，选取一个关键帧作为主帧；

基于目标识别算法识别各所述关键帧中的特征信息，所述特征信息包括前景目标；

将除所述主帧以外的各所述关键帧中的前景目标融合在所述主帧中，得到单张图像，并将所述单张图像作为所述视频的封面。

示例9根据示例8所述的方法，在得到单张图像之后，还包括：

对所述单张图像的背景进行虚化处理，所述虚化处理包括模糊处理或羽化处理。

示例10根据示例7所述的方法，所述根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，包括：

在所述动作相关性为无关的情况下，提取各所述关键帧中包含所述特征信息的图像块；

将各所述图像块拼接，得到所述单张图像。

示例11根据示例1-10任一项所述的方法，在将各所述关键帧中的特征信息融合在单张图像中之后，还包括：

根据所述单张图像的颜色值确定描述文本的色调、饱和度以及明度，其中，所述颜色值由红绿蓝RGB色彩模式转换为色调饱和度明度HSV色彩模式；

根据所述描述文本的色调、饱和度以及明度，在所述单张图像中的指定位置添加描述文本。

示例12根据示例11所述的方法，根据所述单张图像的颜色值确定描述文本的色调，包括：

基于聚类算法确定所述单张图像的色调类型以及每个色调类型的占比；

将占比最高的色调类型作为所述单张图像的主色调；

将预设色环类型的指定区域内，与所述主色调对应的色调值距离最近的色调，作为所述描述文本的色调。

示例13根据示例11所述的方法，根据所述单张图像的颜色值确定描述文本的饱和度以及明度，包括：

根据所述指定位置周围设定范围内的饱和度均值，确定所述描述文本的饱和度；

根据所述指定位置周围设定范围内的明度均值，确定所述描述文本的明度。

示例14提供一种视频封面生成装置，包括：

提取模块，用于提取视频中的至少两个关键帧，所述关键帧中包括所述视频的特征信息；

生成模块，用于根据各所述关键帧的动作相关性，将各所述关键帧中的特征信息融合在单张图像中，以生成所述视频的封面，其中，所述动作相关性包括相关或无关。

示例15提供一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如示例1-13中任一所述的视频封面生成方法。

示例16提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如示例1-13中任一所述的视频封面生成方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附示例书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现示例书的示例形式。