一种基于深度学习的影视海报自动生成方法与系统

技术领域

本发明涉及影视海报自动制作领域，尤其是涉及一种基于深度学习的影视海报自动生成方法与系统。

背景技术

在IPTV、OTT大屏运营方面，每天需要根据每个页面或栏位第二天将要展示的影视内容进行其对应海报的准备与制作。目前行业内一般是运营人员每天根据第二天将要展示的影片的片单与每一部影片需要的海报数量和尺寸，按其要求手工制作每一部影片的海报。运营人员手工制作海报费事费力，工作量大，且长时间工作容易审美疲劳，导致人员流动较大。目前还未有针对这方面的影视海报自动制作方法，缺少为运营人员提供辅助的影视海报自动生成系统。

发明内容

本发明的目的在于填补在IPTV、OTT大屏运营方面影视海报自动生成方法以及系统的缺失，提供了一种基于深度学习的影视海报自动生成方法与系统，解决了IPTV、OTT大屏运营人员在影视海报制作过程中只能依赖于手工的困境，极大的提高了运营人员的工作效率，减少了公司的运营成本。

第一方面，本申请提出一种基于深度学习的影视海报自动生成方法，包括如下步骤：

步骤一、获取用户提供的影视片单，以及用户为每一部影片提供的用于制作海报的非结构化数据。并将非结构化数据翻译成相应的海报制作模板。

步骤二、将所述的影视片单与自有的影视信息数据库进行影片的校验和确认。并根据所述的影视片单，利用互联网以及本地对应媒资视频进行素材图片的收集。

步骤三、将所述的收集到的素材图片输入到人脸检测模型，得到素材图片中的人脸数量和人脸坐标。根据得到的人脸坐标，截取对应的人脸图像，经过矫正后将其分别输入到人脸特征提取模型、人脸性别识别模型，分别得到人脸的特征向量以及每一张人脸对应的性别信息。

步骤四、将检测到的人脸的特征向量与自有的演员人脸特征向量库进行比对，得到图像中演员的姓名。并将素材图片输入到文本检测模型，得到文本的数量以及文本坐标。

步骤五、根据所述检测到的各素材图片中的人物数量、演员姓名、人脸坐标、文本数量以及文本坐标等信息来筛除不符合步骤一得到的海报制作模板的要求的素材图片，得到精选素材图片。

步骤六、根据所述的海报制作模板、精选素材图片以及图像中的人脸坐标、文本坐标等相关信息生成对应的影视海报。

步骤七、将所述的生成的多张影视海报输入到海报质量评估模型中，输出所述生成的影片海报的评估得分。

作为优选，在步骤七执行后，将评估得分高于预设分值的影视海报输出，供使用者筛选。

作为优选，步骤二中所述的影视信息数据库的获取方法，具体步骤如下：

(1)根据影片具有的基本属性以及特点建立影视信息数据库的表结构，表结构包括影片名称、影片上映年份、导演和演员。

(2)以所述影视信息数据库的表结构为指导，利用互联网获取影片公开的信息。

(3)对采集到的影片信息进行人工清洗、校对以及补充，得到整理过的影片信息。

(4)将整理过的影片信息入库，并定期执行步骤(1)至(3)来进行影片信息的更新。

作为优选，步骤四中所述的演员人脸特征向量库的构建过程如下：

(1)以所述影视信息数据库中的演员字段为指导，利用互联网获取演员的公开文字信息和人脸头像图片。公开文字信息包含演员的姓名。

(2)将步骤(1)得到的演员人脸头像图片输入到人脸特征提取模型中，得到512维的演员的人脸特征向量。

(3)将所述512维的演员的人脸特征向量以及演员的姓名存储在关系型数据库中，得到所述演员人脸特征向量库。

作为优选，步骤三中所述的人脸检测模型采用RetinaFace人脸检测算法。并选择ResNet50网络作为RetinaFace人脸检测算法的主干网络。其训练过程如下：

以开源的WIDERFACE人脸数据集以及自行标注的用于人脸检测的图像作为训练集和测试集。在人脸检测模型上使用所述的训练集进行训练，并保存训练过程中生成的模型权重值文件以及模型网络结构文件，得到可用的人脸检测模型。

作为优选，步骤三中所述的人脸特征提取模型采用ResNet100网络为模型的主干构建的ResNet100-ArcFace人脸特征提取模型，其训练过程如下：

以开源的LFW以及MegaFace人脸数据集作为训练集和测试集。在人脸特征提取模型上使用训练集进行训练，并保存训练过程中生成的模型权重值文件以及模型网络结构文件，得到可用的人脸特征提取模型。

作为优选，步骤三中所述的人脸性别识别模型采用结合交叉熵损失函数构建的用于性别二分类的ResNet50模型，其训练过程如下：

以开源的Asian-Celeb人脸性别数据集作为训练集所述的人脸性别识别模型上使用训练集进行训练，并保存训练过程中生成的模型权重值文件以及模型网络结构文件，得到可用的人脸性别识别模型。

作为优选，步骤四中所述的文本检测模型采用CRATF文本检测算法，并以VGG-16网络作为CRATF文本检测算法的主干网络，其训练过程如下：

以开源的ReCTS文本检测数据集以及大量的人工合成的数据作为训练集和测试集，在文本检测模型上使用训练集进行训练，保存训练过程中生成的模型权重值文件以及模型网络结构文件，得到可用的文本检测模型。

作为优选，步骤七中所述的海报质量评估模型采用基于VGG-16网络以及SoftMax多分类器构建VGG-16-SoftMax评估模型，其训练过程如下：

人工对现有的素材图片或影视海报进行质量评分标注，得到可用于海报质量评估模型训练的图片数据集，以该图片数据集作为训练集和测试集。在海报质量评估模型上使用训练集进行训练，保存训练过程中生成的模型权重值文件以及模型网络结构文件，得到可用的海报质量评估模型。

第二方面，本申请提出.一种基于深度学习的影视海报自动生成系统，其包括视片单接收与校正模块、影视海报模板编辑模块、影视海报二次编辑模块、影视海报浏览与下载模块、爬虫模块、算法模块、海报制作模块和任务调度模块。

视片单接收与校正模块：用于接收用户上传的影视片单。若影视片单包括影片的名称且该影片名称对应多部媒资，则将该影视片单中的信息与自有的影视信息库进行对比、校正，得到最终的影视片单。

影视海报模板编辑模块：用于编辑海报模板。影视海报模板编辑模块的编辑工具包括人像框、动态文字、静态文字、LOGO框和画像框。

影视海报二次编辑模块：用于对自动生成的影视海报进行二次编辑，当自动生成的影视海报不满足用户的需求时，用户通过该模块对海报进行二次编辑。影视海报二次编辑模块的编辑工具包括文字抹除、图像扩展、图像裁切、静态文字和动态文字。

影视海报浏览与下载模块：用于展示和下载自动生成的影视海报。

爬虫模块：用于收集互联网中公开的影片基本信息、演员信息、影片相关图片、演员相关图片，进而建立影视信息数据库。

算法模块：用于分析素材图片中各种元素的具体信息以及评估海报质量，该模块主要包括人脸检测模型、人脸特征提取模型、人脸性别识别模型、文本检测模型以及海报质量评估模型。

海报制作模块：用于生成所需的影视海报，该模块通过整合影视片单、海报模板、以及算法模块在素材图片中检测到的信息对素材图像进行筛选、裁切、尺度变换操作，生成所需的影视海报，并将生成的海报输入海报质量评估模型进行过滤，最终得到所需的影视海报。

任务调度模块：用于调度上述的各个模块。根据影视海报制作的流程进行调度，实现多张影视片单任务并发执行。

本发明的有益效果如下：

本发明通过自建影视信息数据库为影视海报的制作提供了数据支撑，提高了影视制作海报的正确率(影视片单与所需的海报匹配程度)。以深度学习基础，实现人脸检测模型、人脸特征提取模型、人脸性别识别模型、文本检测模型以及海报质量评估模型，为下游海报的制作提供了素材图像中的人脸与文本的大量信息，包括人脸数量、人脸坐标、人脸性别、文本数量以及文本坐标等，实现了海报的自动生成，降低了海报的制作难度，并提高了海报的质量。

附图说明

图1为本发明实施例1提供的影视海报自动生成方法的流程示意图。

图2为本发明实施例2提供的影视海报自动生成系统的结构示意框图。

具体实施方式

为了使本发明的目的、技术方案以及系统结构更加清楚明白，接下来结合附图及实施例，对本发明进行进一步的详细说明。但是此处描述的具体实施例仅用以解释本发明，本发明的保护范围不局限于以下所述。

实施例1

如图1所示，一种基于深度学习的影视海报自动生成方法，具体步骤如下：

本发明实施例提供一种基于深度学习的影视海报自动生成方法以填补在IPTV、OTT大屏运营方面影视海报自动制作方法的缺失，具体包括以下步骤：

S1、获取用户提供的影视片单以及用户为每一部影片提供的用于制作海报的非结构化数据。将所述多个用于制作海报的非结构化数据翻译成相应的海报制作模板。

进一步地，用户提供的影视片单主要包括影片名称、每一部影片需要的海报数量以及尺寸。用户为每一部影片提供的用于制作海报的非结构化数据包括每一部影片的每张海报的基本要求，比如人物数量、人物性别、人物中心点位置、人脸位置、演员等。在明确了每张海报的尺寸、基本要求等非结构化数据后，将其映射成海报制作模板——结构化的json数据。

S2、将所述片单与自有的影视信息数据库进行影片的校验和确认。根据校验后的影视片单，利用互联网以及本地对应媒资视频进行素材图片的收集。

进一步地，自有的影视信息数据库构建步骤包括：数据表字段的设计，主要包括影片名称、影片类型、年份、导演、编剧、主演、评分、影片ID以及制片国家或地区等，接下来是对互联网中公开的影片信息进行自动采集、清洗以及人工校验，最后定期执行以上过程保障影视信息数据库持续更新。

进一步地，素材图片的收集包括：本地影片媒资视频抽帧，得到大量相关的素材图片，以及根据影片名称利用搜索引擎的搜图功能进行相关图片的收集，然后是采集某些特定网站(比如百度图片、豆瓣、微博等)上与影片相关的图片，最终得到基本的素材图片。

S3、将所述的收集到的素材图片输入到人脸检测模型得到图像中人脸数量、人脸坐标。根据得到的人脸坐标，截取对应的人脸图像，经过矫正后将其分别输入到人脸特征提取模型、人脸性别识别模型，分别得到人脸的特征向量以及每一张人脸对应的性别信息。

进一步地，所述人脸检测模型在以ResNet50网络为主干的RetinaFace算法在公开的人脸数据集WIDERFACE以及自行标注的数据上训练得到。所述人脸检测模型的输入为800×1200的图片，人脸检测中设定的阈值为0.75，即只有当检测到的人脸的准确率高于75％(包含75％)时才将其坐标进行输出，输出为所检测图片中每一张人脸的坐标(x

进一步地，所述人脸性别识别模型采用ResNet50网络，并结合交叉熵损失函数以及SoftMax分类函数，然后在公开的人脸性别数据集Asian-Celeb上训练得到。所述人脸性别识别模型的输入为112×112

进一步地，人脸特征提取模型以ArcFace算法为基础，采用ResNet100网络为模型的主干，构建立起ResNet100-ArcFace人脸特征提取模型，然后以开源的LFW以及MegaFace人脸数据集进行训练，得到可用的模型。所述人脸特征提取模型的输入为112×112的包含一张人脸的图片，输出为该图片的512维特征向量——即由512个很小的浮点数构成的数组。

S4、将所述图像中检测到的人脸的特征向量与自有的演员人脸特征向量库进行比对、搜索，得到图像中演员的姓名。将素材图片输入到文本检测模型，得到文本的数量以及文本坐标。

进一步地，所述演员人脸特征向量库以所述影视信息数据库中的演员字段为指导，利用互联网(比如百科、豆瓣等)获取演员的公开信息以及人脸头像图片，需要对获取到的图片进行清洗，剔除其中不包含人脸的图片，且确保每一个演员存在多张人脸头像图片。假定一个演员存在m张人脸头像图片，那么将所述演员人脸头像图片输入到所述的人脸特征提取模型中，得到一个演员的多张图片的512维度人脸特征向量，取m个人脸特征向量的平均值为该演员的人脸特征。将多个演员的人脸特征向量以及演员的姓名进行整合即得到演员的人脸特征向量库。

进一步地，所述文本检测模型采用CRATF文本检测算法，综合考虑检测效果与检测速度，优选VGG-16网络作为CRATF文本检测算法的主干网络。以开源的ReCTS文本检测数据集以及大量的人工合成的数据作为训练和测试样本,其中训练与测试样本均包括中文文本、英文文本，且每种文本类型具有多种字体。最终训练得到可用的文本检测模型。

S5、根据图片中人物数量、演员姓名、人脸坐标、文本数量以及文本坐标等信息筛除不符合模板要求的图片，得到精选素材图片。

S6、根据所述的海报制作模板、精选素材图片以及图像中人脸坐标、文本坐标等相关信息生成对应的影视海报。

S7、将所述的生成的多张影视海报输入到海报质量评估模型中，输出所述生成的影片海报的评估得分。

进一步地，所述海报质量评估模型采用VGG-16网络以及SoftMax多分类器进行构建，得到VGG-16-SoftMax海报质量评估模型。其中，将对海报质量的评分简化成对海报的分类，主要分为1、2、3、4、5共5个类别，类别1、2表示海报的质量较低，处于不可用的程度，类别3、4表示海报的质量中等，处于基本可用的程度，类别5表示海报的质量高。通过人工对所述收集到的影视素材图片或海报进行质量评分标注，得到可用于海报质量评估模型训练的图片数据集。最终训练得到可用的海报质量评估模型。

S8、将在所述评估得分中高于设定分值的所有影片海报作为最终的影片海报提供给用户。

实施例2

如图2所示，一种基于深度学习的影视海报自动生成系统，所述影视海报自动生成系统包括：

影视片单接收与校正模块：用于接收用户提供的影视片单以及对该片单进行影片信息的校正。

影视海报模板编辑模块：用于为用户提供现有的可以进行编辑的海报模板，提高海报的制作效率。

影视海报二次编辑模块：当生成的海报用户不满意时，用户可通过该二次编辑模块对海报进行修改以满足用户的需求。

影视海报浏览与下载模块：当海报制作完成时，需要将海报展示给用户，便于用户进行海报的挑选、编辑和下载。

爬虫模块：用于采集影片信息、演员信息以及与影片相关的素材图片。

算法模块：用于检测素材图片中人物的数量、人脸的坐标、人脸的性别、人脸的特征、文本的数量、文本的坐标以及海报的质量评估等。

海报制作模块：根据海报制作模板、素材图片以及对图片检测、分析得到的相关信息进行具体海报的制作。

任务调度模块：用于调度影视海报自动生成系统中的所有模块，合理安排各任务执行，实现多张影视片单任务并发执行，提高影视海报自动生成系统的效率。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。