视频处理方法、装置、存储介质及设备

技术领域

本公开实施例涉及计算机技术领域，尤其涉及视频处理方法、装置、存储介质及设备。

背景技术

随着互联网用户数量的剧增，网络视频越来越多，基于网络视频的视频搜索或个性化推荐等业务也越来越多。目前，为了吸引用户观看，视频制作者通常会精心设计视频内容，这其中体现了视频制作者的创意性思维，可将这类经过创意性设计的视频称为创意视频，为了更加精准地对创意视频进行应用，需要准确地提取创意视频的特征，然而，由于创意特征复杂且抽象，现有方案无法充分挖掘创意视频的潜在特征。

典型的创意视频可以包括广告创意。以广告创意为例，随着互联网技术的快速发展，在线广告的应用也越来越广泛。在线广告又称网络广告或互联网广告，可以包括通过互联网发布的广告，其载体可包括如网页以及客户端应用程序等，负责对在线广告进行推广的一方可以称为平台方，在线广告推广的委托方可以称为广告主。

在对广告对象进行宣传和推广的过程中，广告创意的重要性越来越显著。广告创意一般指包含创意性思维的广告作品，其通过独特的技术手法或巧妙的广告创作脚本来突出体现产品特性和品牌内涵，并以此达到宣传和推广的作用。广告创意是最终呈现给用户的表现形式，赋予广告生命力，让广告成为一种对用户有价值的讯息。

目前，越来越多的下游业务需要接入并使用广告创意特征，但由于广告创意复杂且抽象，现有方案无法充分挖掘广告创意的潜在特征。

发明内容

本公开实施例提供了视频处理方法、装置、存储介质及设备，可以得到能够更好地识别创意视频的视频特征。

第一方面，本公开实施例提供了一种视频处理方法，包括：

获取目标创意视频对应的视频数据；

将所述视频数据输入至视频特征提取模型中，其中，所述视频特征提取模型通过对包含孪生网络的预设神经网络模型进行训练后得到，所述孪生网络中包括结构相同且共享权重的两个网络，所述视频特征提取模型对应的训练样本包括至少两个创意视频形成的样本对，所述至少两个创意视频具有相同的内容主题和目标对象；

根据所述视频特征提取模型的输出结果，确定所述目标创意视频对应的目标视频特征。

第二方面，本公开实施例提供了一种视频处理装置，包括：

视频数据获取模块，用于获取目标创意视频对应的视频数据；

视频数据输入模块，用于将所述视频数据输入至视频特征提取模型中，其中，所述视频特征提取模型通过对包含孪生网络的预设神经网络模型进行训练后得到，所述孪生网络中包括结构相同且共享权重的两个网络，所述视频特征提取模型对应的训练样本包括至少两个创意视频形成的样本对，所述至少两个创意视频具有相同的内容主题和目标对象；

视频特征确定模块，用于根据所述视频特征提取模型的输出结果，确定所述目标创意视频对应的目标视频特征。

第三方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例提供的视频处理方法。

第四方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本公开实施例提供的视频处理方法。

本公开实施例中提供的视频处理方案，利用来自具有相同的内容主题和目标对象的不同创意视频形成的样本对对包含孪生网络的预设神经网络模型进行训练后得到的视频特征提取模型对目标创意视频进行视频特征的提取，巧妙地利用样本对之间创意相似度较高的这一有监督信息来对模型进行训练，可以更加合理地确定训练样本，提高训练效果，将需要进行视频特征提取的目标创意视频对应的视频数据输入至视频特征提取模型中，能够充分挖掘创意视频的潜在表示信息，并根据输出结果确定对应的视频特征，视频特征的表征能力更加丰富，进而有利于为视频推荐或视频检索等下游任务提供高质量的接入特征。

附图说明

图1为本公开实施例提供的一种视频处理方法的流程示意图；

图2为本公开实施例提供的一种模型训练方法的流程示意图；

图3为本公开实施例提供的一种预设神经网络模型的结构示意图

图4为本公开实施例提供的另一种视频处理方法的流程示意图；

图5为本公开实施例提供的一种视频处理装置的结构框图；

图6为本公开实施例提供的一种计算机设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。

图1为本公开实施例提供的一种视频处理方法的流程示意图，该方法适用于对创意视频的视频特征进行提取的场景，可以由视频处理装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图1所示，该方法包括：

步骤101、获取目标创意视频对应的视频数据。

本公开实施例中，为了便于理解技术方案，以比较典型的创意视频为例，例如以广告创意视频(以下简称广告创意)为例进行后续说明，可以理解的是，创意视频并不限于广告创意，还可以包括如短视频、微电影或宣传片等其他形式的创意视频。

本公开实施例中，目标广告创意可以理解为需要进行广告创意特征提取的广告创意，具体可以由当前的应用场景来确定。目前，越来越多的下游业务需要接入并使用广告创意特征，所涉及的应用场景也有很多，一般都需要对广告创意进行内容理解，可以利用本公开实施例模型输出的广告创意特征进行内容理解，并进行后续的应用。示例性的，应用场景可以包括广告点击率预测场景、广告推荐场景以及广告搜索场景等等。

目标创意视频对应的视频数据可以包括目标创意视频中各种形式存在的数据，例如包括视频文本数据和视频图像数据。其中，视频文本数据包括视频标题、视频简介以及视频中的语音经过转换后得到的文字等；视频图像数据可包括视频封面图像和视频帧，视频帧可以按照一定的抽帧规则进行选择，如等间隔抽取一定数量的视频帧等。

当目标创意视频为目标广告创意时，目标广告创意对应的视频数据可以称为广告创意数据。示例性的，广告创意数据可以包括广告创意中包含的文本数据、图片数据以及视频数据中的任意一种或多种。文本数据例如可以包括广告创意标题数据，还可以包括广告创意文案数据，还可包括对广告创意中的声音数据进行语音识别后得到的语音文本数据；图片数据例如可以包括广告创意封面图片数据，还可包括广告创意中的设计图数据等；视频数据例如可以包括广告创意视频数据。可选的，还可以针对文本数据、图片数据或视频数据进行预处理后，得到相应的广告创意数据，如关键词提取处理、图像缩放处理、视频抽帧处理以及音频信息提取等等，具体不做限定。另外，广告创意数据还可以包括其他与广告创意相关的数据，如所属行业信息以及广告目标对象信息等等。

步骤102、将所述视频数据输入至视频特征提取模型中，其中，所述视频特征提取模型通过对包含孪生网络的预设神经网络模型进行训练后得到，所述孪生网络中包括结构相同且共享权重的两个网络，所述视频特征提取模型对应的训练样本包括至少两个创意视频形成的样本对，所述至少两个创意视频具有相同的内容主题和目标对象。

示例性的，创意视频中一般会包含内容主题和目标对象，内容主题可理解为创意视频中所要表现的中心思想或主要内容，如主人公、宣传对象或核心剧情等等，目标对象可理解为创意视频的观看者或者受众对象。对于具有相同的内容主题和目标对象的两个创意视频来说，可以认为两者具有相近的创意特征，因此，可以作为视频特征提取模型的训练样本。在进行训练样本选取时，可以参考内容主题和目标对象这两个维度进行选取。

以广告创意为例，一个广告主可以创建多个广告组，一个广告组有多个广告计划，一个广告计划包含多个广告创意，最终呈现给用户能直接看到的就是一个广告创意。广告组一般指广告主和推广平台签订的一次投放合同，可包括推广目的及预算等等。推广目的例如可包括广告主题和广告目标对象。其中，广告主题是广告定位的重要构成部分，即“广告什么”，可以包括产品或服务等可以进行推广的对象，广告主题是广告策划活动的中心，每一阶段的广告工作都紧密围绕广告主题而展开，一般不能随意偏离或转移广告主题；广告目标对象是指广告诉求对象，是广告活动的目标公众，可理解为广告定向，这是广告定位中“向谁广告”的问题，广告创意除了以广告主题为核心之外，还需要以广告目标对象为基准。平台方以广告计划为纬度来在如短视频应用程序(Application，APP)等客户端软件或其他网络平台上面进行投放，广告计划也可理解为一个具体的投放策略。广告计划是广告投放的核心，不同的推广目的可以对应不同的广告计划。例如需要把广告定向给北京的用户和定向给上海的用户时，可以分别选择不同的广告计划；又如需要把广告定向给男性和女性时，可以分别选择不同的广告计划。

广告计划一般由广告主和平台方约定，同一广告计划内的广告创意一般需要以相同的广告主题为核心，以相同的广告目标对象为基准进行设计。不同人对不同广告创意的敏感度一般不一样，比如同样是女士化妆品的广告，有人对“满xx减xx”感兴趣，有人对“限量版xx，不买你就错过了”感兴趣，平台方在需要向当前用户展示某个广告计划下的广告创意时，一般由广告系统利用预设筛选策略针对当前用户个性化地选择该广告计划下的某个广告创意，并展示给当前用户，预设筛选策略可以根据实际需求来设定，具体不做限定。

本公开实施例中，广告计划可以理解为相同广告主题以及相同广告目标对象的多个广告创意的集合，从素材类型角度来看，广告创意可以有文本、图片以及视频中的一种或多种表现形式，也就是说，广告创意可以包括文本、图片以及视频中的一种或多种。此外，还可能包含其他表现形式，如声音或气味等等。对于在线投放平台方而言，广告创意中包含的创意性思维信息抽象且复杂，难以对广告创意特征进行准确描述或表征，因此，难以得到准确有效的训练样本对模型进行训练。基于广告计划具备上述特点，可以看出，同一广告计划中的广告创意具有相同的内容主题和目标对象，也即可以认为同一广告计划下的不同广告创意之间是具备较高的相似度的，本公开实施例利用该合理假设，可以更加合理地确定训练样本，也即将存在于相同的广告计划中的不同广告创意形成的样本对作为训练样本对预设神经网络模型进行训练。

具体的，可以将上述样本对中对应的广告创意称为第一广告创意和第二广告创意，两者在于相同的广告计划中，这里的广告计划可以根据实际需求任意选取。对于被选取的广告计划，其中可能包含多个广告创意，第一广告创意和第二广告创意可以是该广告计划中的任意两个不相同的广告创意。在对模型进行训练时，通常需要采用大量训练样本进行训练，示例性的，可以选取预设数量的广告计划，针对每个广告计划，遍历其中所有广告创意，得到两两组合的两个广告创意，分别记为第一广告创意和第二广告创意。

本公开实施例中，待训练的预设神经网络模型可以理解为根据实际需求设计的初始模型，预设神经网络模型中包括孪生网络。孪生网络一般指存在两个网络，这两个网络的结构相同，且参数是共享的，也即权重相同。这两个网络可分别记为第一特征提取网络和第二特征提取网络，其具体结构不做限定，其作用是对广告创意数据进行特征提取，可根据实际需求进行设置。可选的，预设神经网络模型中还可以包含其他网络结构，本公开实施例对此不做限定。

示例性的，在对预设神经网络模型进行训练时，可以将来源于第一广告创意的第一广告创意样本数据输入至第一特征提取网络，将第二广告创意样本数据至第二特征提取网络，通过网络参数反向传播等训练手段进行训练，根据训练后的第一特征提取网络或第二特征提取网络确定视频特征提取模型(对于广告创意，可以称为广告创意特征提取模型)。

步骤103、根据所述视频特征提取模型的输出结果，确定所述目标创意视频对应的目标视频特征。

示例性的，在得到目标创意视频对应的目标视频特征之后，可以将目标视频特征输入到其他模型中，根据其他模型的输出结果进行相关应用；也可以直接利用目标视频特征进行相关应用。以广告创意为例，在得到目标广告创意特征之后，可以将目标广告创意特征输入到其他模型中，根据其他模型的输出结果进行相关应用；也可以直接利用目标广告创意特征进行相关应用。

示例性的，以创意视频预测场景为例，可以将目标视频特征输入到点击率预测模型中，进一步预测目标创意视频被用户点击的概率；以创意视频推荐场景为例，可以用于创意视频的召回步骤，假设预测出当前需要向用户推荐符合某一视频特征的创意视频，则可将创意视频库中的各创意视频依次作为目标创意视频，并利用本公开实施例提供的模型输出对应的目标视频特征，然后将各目标视频特征与需要推荐的视频特征进行比对，根据比对结果确定召回序列，例如，比对时计算目标视频特征与需要推荐的视频特征的相似度，按照相似度由高至低的顺序排列，将排名靠前的目标数量的目标视频特征确定为待召回创意视频的视频特征，进而得到待召回创意视频序列。

以广告点击率预测场景为例，可以将目标广告创意特征输入到点击率预测模型中，进一步预测目标广告创意被用户点击的概率；以广告推荐场景为例，可以用于广告创意的召回步骤，假设预测出当前需要向用户推荐符合某一广告创意特征的广告创意，则可将广告创意库中的各广告创意依次作为目标广告创意，并利用本公开实施例提供的模型输出对应的目标广告创意特征，然后将各目标广告创意特征与需要推荐的广告创意特征进行比对，根据比对结果确定召回序列，例如，比对时计算目标广告创意特征与需要推荐的广告创意特征的相似度，按照相似度由高至低的顺序排列，将排名靠前的目标数量的目标广告创意特征确定为待召回广告创意的广告创意特征，进而得到待召回广告创意序列。

本公开实施例提供的视频处理方法，利用来自具有相同的内容主题和目标对象的不同创意视频形成的样本对对包含孪生网络的预设神经网络模型进行训练后得到的视频特征提取模型对目标创意视频进行视频特征的提取，巧妙地利用样本对之间创意相似度较高的这一有监督信息来对模型进行训练，可以更加合理地确定训练样本，提高训练效果，将需要进行视频特征提取的目标创意视频对应的视频数据输入至视频特征提取模型中，能够充分挖掘创意视频的潜在表示信息，并根据输出结果确定对应的视频特征，视频特征的表征能力更加丰富，进而有利于为视频推荐或视频检索等下游任务提供高质量的接入特征。以广告创意为例，将需要进行广告创意特征提取的目标广告创意对应的广告创意数据输入至本公开实施例提供的广告创意特征提取模型中，并根据输出结果确定对应的目标广告创意特征，由于该模型利用相同广告计划下不同广告创意之间相似度较高的特性训练得到，能够充分挖掘广告创意的潜在表示信息，产出表征能力更加丰富的广告创意特征，从而在具体的应用场景中可以得出更加准确的应用结果。

在一些实施例中，所述视频数据包括视频文本数据和视频图像数据，所述视频文本数据包括视频标题，所述视频图像数据包括视频封面图像和视频帧。

在一些实施例中，所述广告创意特征提取模型采用如下模型训练方法得到：将第一广告创意样本数据输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二广告创意样本数据输入至所述预设神经网络模型中的第二特征提取网络，其中，所述第一广告创意样本数据来源于第一广告创意，所述第二广告创意样本数据来源于第二广告创意，所述第一广告创意和所述第二广告创意存在于相同的广告计划中，所述第一特征提取网络和所述第二特征提取网络构成孪生网络；根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数；基于所述第一损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型；根据所述目标神经网络模型中的训练后的第一特征提取网络或第二特征提取网络确定广告创意特征提取模型。

示例性的，广告创意样本数据可以包括广告创意中包含的文本数据、图片数据以及视频数据中的任意一种或多种。文本数据例如可以包括广告创意标题数据，还可以包括广告创意文案数据，还可包括对广告创意中的声音数据进行语音识别后得到的语音文本数据；图片数据例如可以包括广告创意封面图片数据，还可包括广告创意中的设计图数据等；视频数据例如可以包括广告创意视频数据。可选的，还可以针对文本数据、图片数据或视频数据进行预处理后，得到相应的广告创意样本数据，如关键词提取处理、图像缩放处理、视频抽帧处理以及音频信息提取等等，具体不做限定。另外，广告创意样本数据还可以包括其他与广告创意相关的数据，如所属行业信息以及广告目标对象信息等等。

示例性的，在对预设神经网络模型进行训练时，可以将第一广告创意样本数据输入至第一特征提取网络，得到第一特征提取网络输出的第一特征数据。第一特征数据的具体表现形式不做限定，例如可以是第一特征向量，可以称为广告创意特征的嵌入(embedding)向量。将第二广告创意样本数据至第二特征提取网络，得到第二特征提取网络输出的第二特征数据。同样的，第二特征数据的具体表现形式不做限定，但需要与第一特征数据一致，例如可以是第二特征向量。

示例性的，由于第一广告创意和第二广告创意存在于相同的广告计划中，因此两者的广告创意特征应该是具有较高的相似度的，分别经过第一特征提取网络和第二特征提取网络输出的两组特征数据应该也是比较相似的或者应该认为是同类创意特征，可以基于该特点设计第一损失函数，具体的损失函数计算方式本公开实施例不做限定。

示例性的，通过网络参数反向传播等训练手段不断优化第一损失函数的取值，进而不断优化预设神经网络模型，直到满足一定的训练截止条件。具体的训练截止条件可根据实际需求进行设置，本公开实施例不做限定。

当针对预设神经网络模型的训练结束后，经过训练后的第一特征提取网络和经过训练后的第二特征提取网络中的网络参数得到同步的优化调整，最终训练后的第一特征提取网络和经过训练后的第二特征提取网络完全一致。最后，根据目标神经网络模型中的训练后的第一特征提取网络或第二特征提取网络确定广告创意特征提取模型，若第一特征提取网络或第二特征提取网络之后承接有其他网络结构，则可将训练后的第一特征提取网络或第二特征提取网络和后面的训练后的其他网络结构作为广告创意特征提取模型。

在一些实施例中，所述第一损失函数包括相似度损失函数；所述基于所述第一损失函数对所述预设神经网络模型进行训练，包括：基于所述第一损失函数，以所述第一特征数据和所述第二特征数据的相似度满足预设要求(为了便于与下文区分，这里的预设要求可以为第一预设要求)为训练目标，对所述预设神经网络模型进行训练。可选的，基于第一预设损失函数计算方式计算所述第一特征提取网络输出的第一特征向量和所述第二特征提取网络输出的第二特征向量的第一相似度，得到第一损失函数。第一预设损失函数计算方式例如可包括对比损失函数(Contrastive Loss)计算方式，具体可以是KL散度(Kullback–Leibler divergence)，还可以是噪声对比估计损失(Noise-ConstrastiveEstimation Loss，NCE)等。在对预设神经网络模型进行训练时，可以使模型尽量忽略第一广告创意样本数据和第二广告创意样本数据之间除广告创意特征之外的其他无关特征的差异，提取出第一广告创意样本数据和第二广告创意样本数据共同拥有的特征作为广告创意特征，进而充分挖掘广告创意的潜在表示信息。预设要求可以根据实际需求设置，例如在具体实施时，可以设置第一相似度阈值(如95％)，当第一损失函数的取值大于第一相似度阈值时，可以认为第二特征数据和第一特征数据高度相似，可以认为达到训练目标。

在一些实施例中，所述第一广告创意样本数据和所述第二广告创意样本数据构成正例样本对；所述第一广告创意样本数据和第三广告创意样本数据构成负例样本对，其中，所述第三广告创意样本数据来源于第三广告创意，所述第一广告创意和所述第三广告创意存在于不同的广告计划中。样设置的好处在于，通过合理设置负例样本对，可以使模型更适用于真实的应用环境，提高模型的训练效果。对于负例样本对，在采用上述相似度损失函数进行训练时，可以基于所述第一损失函数，以所述第一特征数据和所述第二特征数据的相似度满足第二预设要求为训练目标，对所述预设神经网络模型进行训练。其中，第二预设要求可根据实际情况设置。具体的，可以设置第二相似度阈值(如5％)，当第一损失函数的取值小于第二相似度阈值时，可以认为第二特征数据和第一特征数据的相似度满足第二预设要求。其中，第二相似度阈值小于第一相似度阈值，且第一相似度阈值与第二相似度阈值的差值大于或等于预设差值阈值(如90％)。

示例性的，当训练样本数量较多时，或者在选择广告创意时，被选取的广告计划较多时，则会存在较多的存在于不同广告计划的广告创意样本对，若均作为负例样本对，则可能会严重影响训练效率，因此，可从中进行筛选。可选的，本公开实施例中可以采用难负例挖掘(Hard Negative Mining)的方式自动构建负例样本对。难负例挖掘方法可以理解为在训练时尽量多挖掘些难负例(hard negative)加入负样本集，这样会比简单负例(easynegative)组成的负样本集效果更好。本公开实施例中的负例样本对可以在同批次(Batch)下利用难负例挖掘方法构建。例如，对于广告计划A中的广告创意a

在一些实施例中，所述第一损失函数包括二分类问题对应的损失函数。该方法还包括：将所述第一广告创意样本数据输入至所述第一特征提取网络，并将所述第三广告创意样本数据输入至所述第二特征提取网络；根据所述第一特征提取网络输出的第三特征数据和所述第二特征提取网络输出的第四特征数据计算第二损失函数，其中，所述第二损失函数与所述第一损失函数的计算方式相同。相应的，所述基于所述第一损失函数对所述预设神经网络模型进行训练，包括：基于所述第一损失函数和所述第二损失函数，以所述第一特征数据和所述第二特征数据类别相同且所述第三特征数据和所述第四特征数据类别不同为训练目标，对所述预设神经网络模型进行训练。这样设置的好处在于，将两组广告创意数据的广告创意特征的相似性判断转换为二分类问题，能够使得训练得到的模型更精准地识别出相同广告计划下的不同广告创意的共性特征。示例性的，所述二分类问题对应的损失函数具体可以是合页损失函数(Hinge Loss)，该损失函数可以最大化分类间隔，又减少错误分类的样本数目。此外，还可以是其他二分类问题对应的损失函数，如逻辑损失函数(Logistic Loss)、交叉熵损失函数(Cross Entropy Loss)或修饰回归损失函数(ModifiedHuber Loss)等，具体不做限定。

在一些实施例中，所述广告创意样本数据中包括广告创意文本样本数据和广告创意图像样本数据。所述第一特征提取网络中包括用于文本特征提取的第一网络结构、用于图像特征提取的第二网络结构和用于特征融合的第三网络结构。所述将第一广告创意样本数据输入至待训练的预设神经网络模型中的第一特征提取网络，包括：将第一广告创意文本样本数据输入至所述第一网络结构中，以输出对应的文本提取特征；将第一广告创意图像样本数据输入至所述第二网络结构中，以输出对应的图像提取特征；所述文本提取特征和所述图像提取特征经由所述第三网络结构，输出对应的融合提取特征，其中，所述第三网络结构基于自注意力机制构建，也即所述第三网络结构基于所述文本提取特征自身的内部相关性、所述图像提取特征自身的内部相关性、以及所述文本提取特征和所述图像提取特征之间的相关性进行特征融合；根据所述融合提取特征确定所述第一特征提取网络输出的第一特征数据。这样设置的好处在于，合理选择广告创意中的多模态的数据作为模型输入，并基于自注意力机制对广告创意中的多模态信息进行融合，有利于提取广告创意整体的特征，更加全面深入地挖掘出广告创意特征。需要说明的是，第一特征提取网络与第二特征提取网络结构相同，第二广告创意样本数据和第三广告创意样本数据的输入方式与第一广告创意样本数据相同。

示例性的，广告创意文本样本数据可以包括创意标题数据，也可包括对创意标题进行处理后的数据，如切词处理或关键词提取处理等。广告创意图像样本数据可以包括封面图片数据，还可包括视频抽帧数据等等。第一网络结构用于提取文本特征，例如可以是词袋模型(bag of words model)、词频与逆向文件频率(term frequency–inverse documentfrequency，TF-IDF)模型或双向编码器表示变换(Bidirectional EncoderRepresentations From Transformers，Bert)模型等。第二网络结构用于图像特征提取，例如可以是残差网络(ResNet)模型或视觉几何组模型(Visual Geometry Group Network，VGG)等。第三网络结构用于跨模态信息融合，例如可以是BERT模型，其基础编码器采用变换(Transformer)结构，Transformer结构主要采用自注意力(self attention)机制对输入数据进行编码，并行化处理，提升每个数据的全局表征能力。Self attention能够学习到输入序列中每个特征的权重大小，并通过加权求和实现上层的特征表达。具体的，第三网络结构可以借助BERT中的Transformer结构实现对文本提取特征和图像提取特征的融合，而非进行简单的拼接，使得融合后的得到的融合提取特征能够更好地表达广告创意特征。

在一些实施例中，所述广告创意数据包括广告创意文本数据和广告创意图像数据；所述将所述广告创意数据输入至广告创意特征提取模型中，包括：将广告创意文本数据输入至所述第一网络结构中，以输出对应的目标文本提取特征；将广告创意图像数据输入至所述第二网络结构中，以输出对应的目标图像提取特征；所述目标文本提取特征和所述目标图像提取特征经由所述第三网络结构，输出对应的目标融合提取特征，得到所述广告创意特征提取模型的输出结果。

在一些实施例中，所述广告创意包括视频广告创意；在所述将第一广告创意样本数据输入至待训练的预设神经网络模型中的第一特征提取网络之前，还包括：获取所述第一广告创意的封面图像；对所述第一广告创意的广告创意视频进行抽帧处理，得到预设数量的具备时序关联性的广告创意视频帧；根据所述封面图像和所述广告创意视频帧确定所述第一广告创意图像样本数据。这样设置的好处在于，合理地选择图像样本数据，在保证准确提取包含创意信息的特征数据的基础上，有效控制单个样本数据的大小，提高模型训练效率，此外，在模型应用阶段，可以减少数据输入，进而提升广告创意特征的提取效率。

示例性的，在对广告创意视频进行抽帧处理时，抽帧规则可以根据实际需求设置，如等间隔抽帧或不等间隔抽帧等，若为不等间隔抽帧，可以对广告创意视频进行视频内容解析，针对视频中出现广告主题的视频片段，可适当提升抽帧频率。例如，对广告创意视频进行视频内容解析，根据解析结果对广告创意视频进行片段分割，得到包含广告主题的一个或多个第一视频片段和不包含广告主题的一个或多个第二视频片段，采用第一抽帧频率对第一视频片段进行抽帧，采用第二抽帧频率对第二视频片段进行抽帧，第一抽帧频率大于第二抽帧频率。具体的抽帧频率可以自由设置，也可根据设置好的预设数量进行适应性配置。另外，在获取封面图像和/或广告创意视频帧之后，还可以对图像进行预处理，如进行长宽预处理等，使得处理后的图像尺寸适配于预设神经网络模型。此外，在确定第一广告创意图像样本数据时，还考虑到了各广告创意视频帧之间的时序特征，能够更加准确地表达视频中的内容。

在一些实施例中，所述获取目标广告创意对应的广告创意数据，包括：获取所述目标广告创意的目标标题文本，并根据所述目标标题文本确定所述广告创意文本数据；获取所述目标广告创意的目标封面图像；对所述目标广告创意的广告创意视频进行抽帧处理，得到预设数量的具备时序关联性的目标广告创意视频帧；根据所述目标封面图像和所述目标广告创意视频帧确定所述广告创意图像数据。

下面针对广告创意特征提取模型的训练过程进行进一步介绍。

图2为本公开实施例提供的一种模型训练方法的流程示意图，本公开实施例以上述实施例中各个可选方案为基础进行优化，以广告创意为视频广告创意为例进行说明，具体的，该方法包括如下步骤：

步骤201、获取样本对数据。

其中，样本对数据包含正例样本对和负例样本对。正例样本对中的两条样本来自于相同的广告计划，负例样本对中的两条样本来自于不同的广告计划。此外，负例样本对可以在同批次利用难负例挖掘方法构建，具体方式可参考上文相关内容。

示例性的，任意一条样本数据可以通过以下方式得到：

获取样本数据对应的广告创意的标题、封面图片和创意视频。对标题、封面图片和创意视频进行预处理，如对标题进行如双字节编码(Byte Pair Encoding，BPE)方式的切词处理，对创意视频进行抽帧处理，对封面图片和视频抽帧后的图片进行长宽预处理，最终处理为模型适配的图片大小。预处理结果可表示为：广告创意标题：[BPE词1，BPE词2，...，BPE词n]，具体可以是n个向量；广告封面图：大小为H*W*3的像素值矩阵(H表示长，W表示宽，3表示红绿蓝RGB通道数量)，可转换为一个向量；广告创意视频：[抽帧图1，抽帧图2，...，抽帧图10]，假设抽取10帧，每个抽帧图的大小也可以为H*W*3的像素值矩阵，可转换为10个向量，每张图对应一个向量。根据预处理结果生成对应的样本数据。

示例性的，图3为本公开实施例提供的一种预设神经网络模型的结构示意图。先根据广告创意1和广告创意2构建样本对数据，以广告创意1为例，先对广告标题1进行预处理得到文本样本数据，对广告视频1进行抽帧，假设抽取10帧，得到10个视频帧图片，与广告封面图1一起进行预处理，得到图像样本数据，文本样本数据和图像样本数据共同构成了广告创意1对应的第一样本数据；同理，广告创意2的构建过程类似，不再赘述。

步骤202、将样本对数据中的第一样本数据输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二样本数据输入至预设神经网络模型中的第二特征提取网络。

预设神经网络模型中包含孪生网络，第一特征提取网络和第二特征提取网络相同，图3中仅示出了第一特征提取网络的具体结构。第一特征提取网络中包含用于文本特征提取的第一网络结构、用于图像特征提取的第二网络结构和用于特征融合的第三网络结构。示例性的，第一网络结构包括Bert模型结构；第二网络结构包括ResNet模型结构；第三网络结构包括self attention机制实现的多模态Bert模型结构(MultiModal_Bert)。

第一样本数据和第二样本数据的输入过程基本相同，下面参照图3，以广告创意1对应的样本数据输入过程为例进行说明。将文本样本数据输入至Bert模型结构中，以输出对应的文本提取特征；将图像样本数据输入至ResNet模型结构，再经过深度图像(Dense_Image)层的处理，以输出对应的图像提取特征；将文本提取特征和图像提取特征进行合并(concat)，再经由MultiModal_Bert模型结构，输出对应的融合提取特征，融合提取特征再经过最大池化(Max Pooling)层和深度输出(Dense_Output)层的处理，得到第一特征提取网络输出的第一特征数据(Creative1_emb)。其中，各模块和神经网络层中的具体结构和权重参数数量等均可根据实际需求设置。同理，广告创意2对应的样本数据经由第二特征提取网络输出第二特征数据(Creative2_emb)。

步骤203、根据第一特征提取网络输出的第一特征数据和第二特征提取网络输出的第二特征数据计算合页损失函数。

如图3所示，根据Creative1_emb和Creative2_emb计算Hinge Loss。

步骤204、当第一特征数据和第二特征数据对应正例样本对时，以第一特征数据和第二特征数据类别相同为训练目标，当第一特征数据和第二特征数据对应正例样本对时，以第一特征数据和第二特征数据类别不同为训练目标，对预设神经网络模型进行训练，得到目标神经网络模型。

步骤205、根据目标神经网络模型中的训练后的第一特征提取网络或第二特征提取网络确定广告创意特征提取模型。

本公开实施例提供的模型训练方法，利用相同广告计划下不同广告创意之间相似度较高的这一有监督信息来进行模型训练，在确定输入数据时，充分考虑广告创意中的多模态信息，根据标题、封面图片和广告视频抽帧图片生成训练样本，利用模型中的基于注意力机制实现的特征融合网络结构对多模态信息进行融合，同时完成跨模态以及同模态的特征交互，训练过程中利用合页损失函数进行训练，并利用负例挖掘方法构建负例样本，可以提高训练效率和训练效果，使得训练得到的广告创意特征提取模型能够更加充分地挖掘广告创意的潜在表示信息，产出表征能力更加丰富的广告创意特征，进而为广告推荐或广告检索等下游任务提供更加高质量的接入特征。

图4为本公开实施例提供的另一种视频处理方法的流程示意图，该方法适用于对视频类型的广告创意进行特征提取的场景，可以由模型使用装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图4所示，该方法包括：

步骤401、获取目标广告创意的目标标题文本，并根据目标标题文本确定广告创意文本数据。

步骤402、获取目标广告创意的目标封面图像。

步骤403、对目标广告创意的广告创意视频进行抽帧处理，得到预设数量的具备时序关联性的目标广告创意视频帧。

步骤404、将广告创意文本数据、目标封面图像和目标广告创意视频帧作为目标广告创意对应的广告创意数据输入至广告创意特征提取模型中。

其中，广告创意特征提取模型的相关技术细节可参照上文相关描述，此处不再赘述。

步骤405、根据广告创意特征提取模型的输出结果确定目标广告创意对应的目标广告创意特征。

本公开实施例提供的视频处理方法，充分考虑视频广告创意中的多模态信息，根据标题、封面图片和广告视频抽帧图片形成输入模型中的数据，利用模型中的基于注意力机制实现的特征融合网络结构对多模态信息进行融合，同时完成跨模态以及同模态的特征交互，能够充分挖掘视频广告创意的潜在表示信息，产出表征能力更加丰富的广告创意特征，从而在具体的应用场景中可以得出更加准确的应用结果。

需要说明的是，上述内容以创意视频为广告创意为例进行说明，对于其他类型的创意视频，相关技术特征可以由本领技术人员进行毫无疑义的合理地适应性替换，本公开实施例不再一一展开。

图5为本公开实施例提供的一种视频处理装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行视频处理方法来进行广告创意特征提取。如图5所示，该装置包括：

视频数据获取模块501，用于获取目标创意视频对应的视频数据；

视频数据输入模块502，用于将所述视频数据输入至视频特征提取模型中，其中，所述视频特征提取模型通过对包含孪生网络的预设神经网络模型进行训练后得到，所述孪生网络中包括结构相同且共享权重的两个网络，所述视频特征提取模型对应的训练样本包括至少两个创意视频形成的样本对，所述至少两个创意视频具有相同的内容主题和目标对象；

视频特征确定模块503，用于根据所述视频特征提取模型的输出结果，确定所述目标创意视频对应的目标视频特征。

本公开实施例提供的视频处理装置，利用来自具有相同的内容主题和目标对象的不同创意视频形成的样本对对包含孪生网络的预设神经网络模型进行训练后得到的视频特征提取模型对目标创意视频进行视频特征的提取，巧妙地利用样本对之间创意相似度较高的这一有监督信息来对模型进行训练，可以更加合理地确定训练样本，提高训练效果，将需要进行视频特征提取的目标创意视频对应的视频数据输入至视频特征提取模型中，能够充分挖掘创意视频的潜在表示信息，并根据输出结果确定对应的视频特征，视频特征的表征能力更加丰富，进而有利于为视频推荐或视频检索等下游任务提供高质量的接入特征。

可选的，所述视频数据包括视频文本数据和视频图像数据，所述视频文本数据包括视频标题，所述视频图像数据包括视频封面图像和视频帧。

可选的，所述视频特征提取模型采用如下模型训练方法得到：将第一视频样本数据输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二视频样本数据输入至所述预设神经网络模型中的第二特征提取网络，其中，所述第一视频样本数据来源于第一创意视频，所述第二视频样本数据来源于第二创意视频，所述第一创意视频和所述第二创意视频形成样本对，所述第一特征提取网络和所述第二特征提取网络构成孪生网络；根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数；基于所述第一损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型；根据所述目标神经网络模型中的训练后的第一特征提取网络或第二特征提取网络确定视频特征提取模型。

可选的，所述第一损失函数包括相似度损失函数。所述基于所述第一损失函数对所述预设神经网络模型进行训练，包括：基于所述第一损失函数，以所述第一特征数据和所述第二特征数据的相似度满足预设要求为训练目标，对所述预设神经网络模型进行训练。

可选的，所述第一损失函数包括二分类问题对应的损失函数；所述第一视频样本数据和所述第二视频样本数据构成正例样本对；所述第一视频样本数据和第三视频样本数据构成负例样本对，其中，所述第三视频样本数据来源于第三创意视频，所述第一创意视频和所述第三创意视频具有不同的内容主题和/或目标对象。

所述模型训练方法还包括：将所述第一视频样本数据输入至所述第一特征提取网络，并将所述第三视频样本数据输入至所述第二特征提取网络；根据所述第一特征提取网络输出的第三特征数据和所述第二特征提取网络输出的第四特征数据计算第二损失函数，其中，所述第二损失函数与所述第一损失函数的计算方式相同；

可选的，所述基于所述第一损失函数对所述预设神经网络模型进行训练，包括：基于所述第一损失函数和所述第二损失函数，以所述第一特征数据和所述第二特征数据类别相同且所述第三特征数据和所述第四特征数据类别不同为训练目标，对所述预设神经网络模型进行训练。

可选的，所述视频样本数据中包括视频文本样本数据和视频图像样本数据；所述第一特征提取网络中包括用于文本特征提取的第一网络结构、用于图像特征提取的第二网络结构和用于特征融合的第三网络结构。所述将第一视频样本数据输入至待训练的预设神经网络模型中的第一特征提取网络，包括：将第一视频文本样本数据输入至所述第一网络结构中，以输出对应的文本提取特征；将第一视频图像样本数据输入至所述第二网络结构中，以输出对应的图像提取特征；所述文本提取特征和所述图像提取特征经由所述第三网络结构，输出对应的融合提取特征，其中，所述第三网络结构基于所述文本提取特征自身的内部相关性、所述图像提取特征自身的内部相关性、以及所述文本提取特征和所述图像提取特征之间的相关性进行特征融合；根据所述融合提取特征确定所述第一特征提取网络输出的第一特征数据。

可选的，所述将所述视频数据输入至视频特征提取模型中，包括：将视频文本数据输入至所述第一网络结构中，以输出对应的目标文本提取特征；将视频图像数据输入至所述第二网络结构中，以输出对应的目标图像提取特征；所述目标文本提取特征和所述目标图像提取特征经由所述第三网络结构，输出对应的目标融合提取特征，得到所述视频特征提取模型的输出结果。

可选的，在所述将第一视频样本数据输入至待训练的预设神经网络模型中的第一特征提取网络之前，还包括：获取所述第一创意视频的封面图像；对所述第一创意视频进行抽帧处理，得到预设数量的具备时序关联性的视频帧；根据所述封面图像和所述视频帧确定所述第一视频图像样本数据。

可选的，所述获取目标创意视频对应的视频数据，包括：获取所述目标创意视频的目标标题文本，并根据所述目标标题文本确定所述视频文本数据；获取所述目标创意视频的目标封面图像；对所述目标创意视频进行抽帧处理，得到预设数量的具备时序关联性的目标视频帧；根据所述目标封面图像和所述目标视频帧确定所述视频数据。

可选的，所述广告创意特征提取模型采用如下模型训练方法得到：将第一广告创意样本数据输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二广告创意样本数据输入至所述预设神经网络模型中的第二特征提取网络，其中，所述第一广告创意样本数据来源于第一广告创意，所述第二广告创意样本数据来源于第二广告创意，所述第一广告创意和所述第二广告创意存在于相同的广告计划中，所述第一特征提取网络和所述第二特征提取网络构成孪生网络；根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数；基于所述第一损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型；根据所述目标神经网络模型中的训练后的第一特征提取网络或第二特征提取网络确定广告创意特征提取模型。

可选的，所述第一损失函数包括相似度损失函数；所述基于所述第一损失函数对所述预设神经网络模型进行训练，包括：基于所述第一损失函数，以所述第一特征数据和所述第二特征数据的相似度满足预设要求为训练目标，对所述预设神经网络模型进行训练。

可选的，所述第一损失函数包括二分类问题对应的损失函数；所述第一广告创意样本数据和所述第二广告创意样本数据构成正例样本对；所述第一广告创意样本数据和第三广告创意样本数据构成负例样本对，其中，所述第三广告创意样本数据来源于第三广告创意，所述第一广告创意和所述第三广告创意存在于不同的广告计划中；

所述模型训练方法还包括：将所述第一广告创意样本数据输入至所述第一特征提取网络，并将所述第三广告创意样本数据输入至所述第二特征提取网络；根据所述第一特征提取网络输出的第三特征数据和所述第二特征提取网络输出的第四特征数据计算第二损失函数，其中，所述第二损失函数与所述第一损失函数的计算方式相同；

相应的，所述基于所述第一损失函数对所述预设神经网络模型进行训练，包括：基于所述第一损失函数和所述第二损失函数，以所述第一特征数据和所述第二特征数据类别相同且所述第三特征数据和所述第四特征数据类别不同为训练目标，对所述预设神经网络模型进行训练。

可选的，所述广告创意样本数据中包括广告创意文本样本数据和广告创意图像样本数据；所述第一特征提取网络中包括用于文本特征提取的第一网络结构、用于图像特征提取的第二网络结构和用于特征融合的第三网络结构；所述将第一广告创意样本数据输入至待训练的预设神经网络模型中的第一特征提取网络，包括：将第一广告创意文本样本数据输入至所述第一网络结构中，以输出对应的文本提取特征；将第一广告创意图像样本数据输入至所述第二网络结构中，以输出对应的图像提取特征；所述文本提取特征和所述图像提取特征经由所述第三网络结构，输出对应的融合提取特征，其中，所述第三网络结构基于所述文本提取特征自身的内部相关性、所述图像提取特征自身的内部相关性、以及所述文本提取特征和所述图像提取特征之间的相关性进行特征融合；根据所述融合提取特征确定所述第一特征提取网络输出的第一特征数据。

可选的，所述广告创意数据包括广告创意文本数据和广告创意图像数据；所述将所述广告创意数据输入至广告创意特征提取模型中，包括：

将广告创意文本数据输入至所述第一网络结构中，以输出对应的目标文本提取特征；将广告创意图像数据输入至所述第二网络结构中，以输出对应的目标图像提取特征；所述目标文本提取特征和所述目标图像提取特征经由所述第三网络结构，输出对应的目标融合提取特征，得到所述广告创意特征提取模型的输出结果。

可选的，所述广告创意包括视频广告创意；在所述将第一广告创意样本数据输入至待训练的预设神经网络模型中的第一特征提取网络之前，还包括：获取所述第一广告创意的封面图像；对所述第一广告创意的广告创意视频进行抽帧处理，得到预设数量的具备时序关联性的广告创意视频帧；根据所述封面图像和所述广告创意视频帧确定所述第一广告创意图像样本数据。

可选的，所述获取目标广告创意对应的广告创意数据，包括：获取所述目标广告创意的目标标题文本，并根据所述目标标题文本确定所述广告创意文本数据；获取所述目标广告创意的目标封面图像；对所述目标广告创意的广告创意视频进行抽帧处理，得到预设数量的具备时序关联性的目标广告创意视频帧；根据所述目标封面图像和所述目标广告创意视频帧确定所述广告创意图像数据。

下面参考图6，其示出了适于用来实现本公开实施例的计算机设备600的结构示意图。本公开实施例中的计算机设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的计算机设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，计算机设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有计算机设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许计算机设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的计算机设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述计算机设备中所包含的；也可以是单独存在，而未装配入该计算机设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该计算机设备执行时，使得该计算机设备：获取目标创意视频对应的视频数据；将所述视频数据输入至视频特征提取模型中，其中，所述视频特征提取模型通过对包含孪生网络的预设神经网络模型进行训练后得到，所述孪生网络中包括结构相同且共享权重的两个网络，所述视频特征提取模型对应的训练样本包括至少两个创意视频形成的样本对，所述至少两个创意视频具有相同的内容主题和目标对象；根据所述视频特征提取模型的输出结果，确定所述目标创意视频对应的目标视频特征

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，视频数据获取模块还可以被描述为“获取目标创意视频对应的视频数据的模块”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，提供了视频处理方法，包括：

获取目标创意视频对应的视频数据；

将所述视频数据输入至视频特征提取模型中，其中，所述视频特征提取模型通过对包含孪生网络的预设神经网络模型进行训练后得到，所述孪生网络中包括结构相同且共享权重的两个网络，所述视频特征提取模型对应的训练样本包括至少两个创意视频形成的样本对，所述至少两个创意视频具有相同的内容主题和目标对象；

根据所述视频特征提取模型的输出结果，确定所述目标创意视频对应的目标视频特征。

可选的，所述视频数据包括视频文本数据和视频图像数据，所述视频文本数据包括视频标题，所述视频图像数据包括视频封面图像和视频帧。

可选的，所述视频特征提取模型采用如下模型训练方法得到：

将第一视频样本数据输入至待训练的预设神经网络模型中的第一特征提取网络，并将第二视频样本数据输入至所述预设神经网络模型中的第二特征提取网络，其中，所述第一视频样本数据来源于第一创意视频，所述第二视频样本数据来源于第二创意视频，所述第一创意视频和所述第二创意视频形成样本对，所述第一特征提取网络和所述第二特征提取网络构成孪生网络；

根据所述第一特征提取网络输出的第一特征数据和所述第二特征提取网络输出的第二特征数据计算第一损失函数；

基于所述第一损失函数对所述预设神经网络模型进行训练，得到目标神经网络模型；

根据所述目标神经网络模型中的训练后的第一特征提取网络或第二特征提取网络确定视频特征提取模型。

可选的，所述第一损失函数包括相似度损失函数；

所述基于所述第一损失函数对所述预设神经网络模型进行训练，包括：

基于所述第一损失函数，以所述第一特征数据和所述第二特征数据的相似度满足预设要求为训练目标，对所述预设神经网络模型进行训练。

可选的，所述第一损失函数包括二分类问题对应的损失函数；所述第一视频样本数据和所述第二视频样本数据构成正例样本对；所述第一视频样本数据和第三视频样本数据构成负例样本对，其中，所述第三视频样本数据来源于第三创意视频，所述第一创意视频和所述第三创意视频具有不同的内容主题和/或目标对象；

所述模型训练方法还包括：

将所述第一视频样本数据输入至所述第一特征提取网络，并将所述第三视频样本数据输入至所述第二特征提取网络；

根据所述第一特征提取网络输出的第三特征数据和所述第二特征提取网络输出的第四特征数据计算第二损失函数，其中，所述第二损失函数与所述第一损失函数的计算方式相同；

相应的，所述基于所述第一损失函数对所述预设神经网络模型进行训练，包括：

基于所述第一损失函数和所述第二损失函数，以所述第一特征数据和所述第二特征数据类别相同且所述第三特征数据和所述第四特征数据类别不同为训练目标，对所述预设神经网络模型进行训练。

可选的，所述视频样本数据中包括视频文本样本数据和视频图像样本数据；所述第一特征提取网络中包括用于文本特征提取的第一网络结构、用于图像特征提取的第二网络结构和用于特征融合的第三网络结构；

所述将第一视频样本数据输入至待训练的预设神经网络模型中的第一特征提取网络，包括：

将第一视频文本样本数据输入至所述第一网络结构中，以输出对应的文本提取特征；

将第一视频图像样本数据输入至所述第二网络结构中，以输出对应的图像提取特征；

所述文本提取特征和所述图像提取特征经由所述第三网络结构，输出对应的融合提取特征，其中，所述第三网络结构基于所述文本提取特征自身的内部相关性、所述图像提取特征自身的内部相关性、以及所述文本提取特征和所述图像提取特征之间的相关性进行特征融合；

根据所述融合提取特征确定所述第一特征提取网络输出的第一特征数据；

可选的，所述将所述视频数据输入至视频特征提取模型中，包括：

将视频文本数据输入至所述第一网络结构中，以输出对应的目标文本提取特征；

将视频图像数据输入至所述第二网络结构中，以输出对应的目标图像提取特征；

所述目标文本提取特征和所述目标图像提取特征经由所述第三网络结构，输出对应的目标融合提取特征，得到所述视频特征提取模型的输出结果。

可选的，在所述将第一视频样本数据输入至待训练的预设神经网络模型中的第一特征提取网络之前，还包括：

获取所述第一创意视频的封面图像；

对所述第一创意视频进行抽帧处理，得到预设数量的具备时序关联性的视频帧；

根据所述封面图像和所述视频帧确定所述第一视频图像样本数据；

可选的，所述获取目标创意视频对应的视频数据，包括：

获取所述目标创意视频的目标标题文本，并根据所述目标标题文本确定所述视频文本数据；

获取所述目标创意视频的目标封面图像；

对所述目标创意视频进行抽帧处理，得到预设数量的具备时序关联性的目标视频帧；

根据所述目标封面图像和所述目标视频帧确定所述视频数据。

根据本公开的一个或多个实施例，提供了一种视频处理装置，包括：

视频数据获取模块，用于获取目标创意视频对应的视频数据；

视频数据输入模块，用于将所述视频数据输入至视频特征提取模型中，其中，所述视频特征提取模型通过对包含孪生网络的预设神经网络模型进行训练后得到，所述孪生网络中包括结构相同且共享权重的两个网络，所述视频特征提取模型对应的训练样本包括至少两个创意视频形成的样本对，所述至少两个创意视频具有相同的内容主题和目标对象；

视频特征确定模块，用于根据所述视频特征提取模型的输出结果，确定所述目标创意视频对应的目标视频特征。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。