一种基于语义识别的视频自动剪辑方法

技术领域

本发明属于多媒体技术领域，涉及一种视频自动剪辑方法。

背景技术

随着数字化技术的飞速发展和人类生活品质的不断提高，人们对影视节目制作、图像与视频编辑等的质量要求越来越高，视频剪辑师筛选和剪辑视频素材的需求也越来越多。当前的视频剪辑软件对视频素材的筛选技术还停留在剪辑师人工识别图像然后手段进行剪辑的最初级阶段，筛选和剪辑效率很低。近年来深度学习、神经网络、语义识别等技术得到迅速发展，因此为图像识别技术的迅速发展奠定了基础，也使得文字语义识别技术的效率大大提高。

发明内容

针对目前视频人工手动剪辑和筛选效率低的问题，本发明提供了一种基于语义识别的视频自动剪辑方法。该方法通过深度学习分析视频画面，根据分析结果对视频素材进行分类，对人脸、物体、风景等进行标签分类，改进了目前视频检索的繁琐方法，实现了视频剪辑的智能化和自动化。

本发明的目的是通过以下技术方案实现的：

一种基于语义识别的视频自动剪辑方法，包括如下步骤：

步骤一、把待编辑视频读入视频编辑软件，将视频拆分为独立单帧，以图片形式输入训练完成的深度学习模型；

步骤二、在深度学习模型中对图片进行深度学习内容识别，识别其中所有的人脸信息制作为可修改的名片信息，识别图片中的季节、天气、早晚、物品等待识别物，并对不同物品或图片中待识别物分类贴标签，以便快速查找；

步骤三、根据深度学习模型对给出的画面进行艺术评分；

步骤四、将某段视频内所有帧分析完毕后对视频中所有单帧评分进行平均计算得到该段素材的评分，以判断该段视频的可取性，并根据评分确定自动保留或删除该段视频；

步骤五、用户可根据给出文字型特征(剧本文字)或图片型特征对视频进行检索。

本发明中，用户可以导入现有的剧本，软件将自动生成剧本的语义拆分，再根据拆分好的语义自动识别出步骤二结束后的视频片段进行排序以及重新剪辑完成视频制作。

相比于现有技术，本发明具有如下优点：

1、本发明提出了一种基于深度学习的视频素材评分方法，该方法可以快速对视频素材进行艺术评分，并快速选择出可用片段。

2、本发明可以对单人或多人进行身份检索，大大加快了视频剪辑效率，经过理论验证，可以取代目前的视频检索方法。

3、本发明可以使用语义识别将剧本中的时间轴与内容进行分析，配合深度学习的画面，分析关键词，之后与时间轴匹配以达到自动剪辑。

附图说明

图1为基于语义识别的视频自动剪辑流程图；

图2为实施例1的流程图；

图3为实施例2的流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于语义识别的视频自动剪辑方法，如图1所示，用户将拍摄好的素材导入非线性剪辑软件中，使用训练好的深度学习模型对视频的画面进行分析，对画面中的各个元素进行语义定义，例如：把各元素定义为车、树、建筑、人物等。在对人脸进行搜索时，用户可以提前加载人脸的数据，在对视频素材进行分析后，可以使用人脸信息进行检索，或对关键词进行检索以快速筛选素材。此外，在将画面标签化后，可以使用训练好的深度学习模型对视频进行评分，标记每个素材的可用素材时间段以及视频画面美术风格的评分。如果是剧本拍摄，可以直接导入剧本，对剧本文字进行语义分析，拆解出关键词句以及时间线。使用分析后的剧本对原素材进行匹配，可以自动筛选出剧本中提到的画面，再结合时间线信息自动剪辑出有剧本的视频。

本发明中，利用深度学习模型对图片进行深度学习内容识别，识别其中所有的人脸信息制作为可修改的名片信息，识别图片中的季节、天气、早晚、物品等以此分类为标签。

本发明中，用户可根据给出文字型特征或图片型特征对视频进行检索。

本发明中，深度学习模型可对给出的画面进行艺术评分。

本发明中，将单个视频文件内所有帧分析完毕后，可对视频所有单帧的评分进行平均计算，得到该段素材的评分。

实施例1：

本实施例提供了一种基于Pr视频编辑软件和深度学习方法对视频中多个角色的视频片段进行分类以快速检索每个角色视频的自动剪辑方法，其流程如图2所示。所述方法通过视频编辑Pr软件导入拍摄的视频素材，通过Pr软件中深度学习软件插件对拍摄的视频素材进行人脸画面分析和语言定义，把定义的语义存入本地数据库，得到每名角色的片段标签，后期剪辑师可通过Pr软件或者finalcutpro的插件直接对每个角色的视频片段进行检索，快速完成进一步剪辑。

实施例2：

本实施例提供了一种基于Pr视频编辑软件和深度学习插件对剧本和视频片段进行自动匹配的方法，其流程如图3所示。所述方法首先通过Pr软件导入所拍摄视频，再导入剧本文本，通过深度学习插件对所拍摄视频中某一角色进行语义定义，标记出该角色的所有视频片段，再针对同一角色通过该深度学习插件对剧本文本进行语义识别，标记出与该角色有关的剧本片段，之后通过时间线把标记的视频片段和剧本片段进行匹配，完成视频的自动剪辑。