掌桥专利:专业的专利平台
掌桥专利
首页

基于query分析的视频反馈方法、装置、设备及介质

文献发布时间:2023-06-19 12:13:22


基于query分析的视频反馈方法、装置、设备及介质

技术领域

本发明涉及人工智能技术领域,尤其涉及一种基于query分析的视频反馈方法、装置、设备及介质。

背景技术

当下的视频内容分析技术应用领域主要是娱乐相关,例如:体育视频生成集锦,综艺视频的剪辑等,对于专业培训领域的视频剪辑还较为欠缺。

另外,目前的各个培训平台,在根据用户提出的问题进行视频反馈时,主要依据的是视频主题,并未将视频内容与用户输入的问题相关联,导致反馈的视频不够详细,且准确性较低,无法匹配用户的需求。

发明内容

本发明实施例提供了一种基于query分析的视频反馈方法、装置、设备及介质,能够通过分析query日志获取到用户关注度较高的目标query及与目标query关联的视频段,以供后续训练模型使用,并能够反映出视频片段的主要内容,使训练得到的模型更加符合用户的关注点,采用目标query的向量表征与每个目标query关联的视频段的向量表征融合后的拼接向量训练所述目标分类模型,能够有效提高问题与反馈视频内容间的关联性,使模型的分类效果更佳,进而基于人工智能手段实现准确的视频反馈。

第一方面,本发明实施例提供了一种基于query分析的视频反馈方法,其包括:

获取预设时长内产生的query日志,从所述query日志中获取浏览信息,并分析所述浏览信息,得到目标query及与所述目标query关联的视频段;

对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征;

将与所述目标query关联的视频段确定为输入,将每个视频段的向量表征确定为输出,并训练预设神经网络模型,得到视频内容分析模型;

将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量;

利用所述拼接向量训练预设分类模型,得到目标分类模型;

当接收到待处理query及所述待处理query的反馈视频时,将所述待处理query转化为第一向量,及将所述反馈视频输入至所述视频内容分析模型,得到至少一个第二向量;

拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量,将所述至少一个第三向量输入至所述目标分类模型,得到至少一个分类结果,及每个分类结果的第一概率;

计算所述第一向量与每个第二向量间的相似度,得到至少一个第二相似度;

根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度,并根据所述相关度确定与所述待处理query对应的目标视频。

根据本发明优选实施例,所述分析所述浏览信息,得到目标query及与所述目标query关联的视频段包括:

从所述浏览信息中获取用户输入的query,并根据所述用户输入的query计算每个query的查询频率,获取所述查询频率大于或者等于配置频率的query作为所述目标query;及/或

从所述浏览信息中获取每个视频段的点击率,将所述点击率大于或者等于配置点击率的视频段所对应的query确定为所述目标query;及/或

从所述浏览信息中获取每个视频段的播放时长,将所述播放时长大于或者等于配置时长的视频段所对应的query确定为所述目标query;

连接指定视频库,并从所述指定视频库中获取与所述目标query关联的视频段。

根据本发明优选实施例,所述对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征包括:

调用Inception-Renet v2模型作为预训练模型;

将与所述目标query关联的视频段输入至所述预训练模型,并获取所述预训练模型的输出的向量作为与所述目标query关联的视频段中每个视频段的向量表征。

根据本发明优选实施例,所述将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量包括:

采用word2vec算法将所述目标query转化为query向量;

获取与每个目标query关联的视频段的向量表征,及获取每个目标query的query向量;

对每个目标query关联的视频段的向量表征与每个目标query的query向量进行横向拼接,得到所述拼接向量。

根据本发明优选实施例,所述利用所述拼接向量训练预设分类模型,得到目标分类模型包括:

按照预设比例划分所述拼接向量,得到训练样本及验证样本;

利用所述训练样本训练线性分类器,直至所述线性分类器达到收敛,停止训练;

利用所述验证样本验证训练得到的模型;

当所述训练得到的模型通过验证时,停止训练,得到所述目标分类模型。

根据本发明优选实施例,所述根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度包括:

确定所述第一概率的第一权重,及确定所述第二相似度的第二权重;

计算所述第一概率与所述第一权重间的乘积作为第一乘积;

计算所述至少一个第二相似度中每个第二相似度与所述第二权重间的乘积作为每个第二相似度对应的第二乘积;

计算所述第一乘积与对应的每个第二乘积间的和作为所述待处理query与所述待处理query的反馈视频间的相关度。

根据本发明优选实施例,所述根据所述相关度确定与所述待处理query对应的目标视频包括:

按照所述相关度由高到低的顺序对所述反馈视频进行排序,并获取排在前预设位的反馈视频作为与所述待处理query对应的目标视频;及/或

获取所述相关度大于或者等于配置相关度的反馈视频作为与所述待处理query对应的目标视频。

第二方面,本发明实施例提供了一种基于query分析的视频反馈装置,其包括:

分析单元,用于获取预设时长内产生的query日志,从所述query日志中获取浏览信息,并分析所述浏览信息,得到目标query及与所述目标query关联的视频段;

提取单元,用于对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征;

训练单元,用于将与所述目标query关联的视频段确定为输入,将每个视频段的向量表征确定为输出,并训练预设神经网络模型,得到视频内容分析模型;

拼接单元,用于将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量;

所述训练单元,还用于利用所述拼接向量训练预设分类模型,得到目标分类模型;

转化单元,用于当接收到待处理query及所述待处理query的反馈视频时,将所述待处理query转化为第一向量,及将所述反馈视频输入至所述视频内容分析模型,得到至少一个第二向量;

分类单元,用于拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量,将所述至少一个第三向量输入至所述目标分类模型,得到至少一个分类结果,及每个分类结果的第一概率;

计算单元,用于计算所述第一向量与每个第二向量间的相似度,得到至少一个第二相似度;

确定单元,用于根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度,并根据所述相关度确定与所述待处理query对应的目标视频。

第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的基于query分析的视频反馈方法。

第四方面,本发明实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于query分析的视频反馈方法。

本发明实施例提供了一种基于query分析的视频反馈方法、装置、设备及介质,能够获取预设时长内产生的query日志,从所述query日志中获取浏览信息,并分析所述浏览信息,得到目标query及与所述目标query关联的视频段,通过分析query日志获取到用户关注度较高的目标query及与所述目标query关联的视频段,以供后续训练模型使用,使训练得到的模型更加符合用户的关注点,对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征,将与所述目标query关联的视频段确定为输入,将每个视频段的向量表征确定为输出,并训练预设神经网络模型,得到视频内容分析模型,训练得到的所述视频内容分析模型能够对输入的视频段进行内容的分析及转化,进而输出视频段内容的向量表征,能够反映出视频片段的主要内容,将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量,利用所述拼接向量训练预设分类模型,得到目标分类模型,采用目标query的向量表征与每个目标query关联的视频段的向量表征融合后的拼接向量训练所述目标分类模型,能够有效提高问题与反馈视频内容间的关联性,使模型的分类效果更佳,当接收到待处理query及所述待处理query的反馈视频时,将所述待处理query转化为第一向量,及将所述反馈视频输入至所述视频内容分析模型,得到至少一个第二向量,拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量,将所述至少一个第三向量输入至所述目标分类模型,得到至少一个分类结果,及每个分类结果的第一概率,计算所述第一向量与每个第二向量间的相似度,得到至少一个第二相似度,根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度,并根据所述相关度确定与所述待处理query对应的目标视频,进而基于人工智能手段实现准确的视频反馈。

附图说明

为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于query分析的视频反馈方法的流程示意图;

图2为本发明实施例提供的基于query分析的视频反馈装置的示意性框图;

图3为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

请参阅图1,为本发明实施例提供的基于query分析的视频反馈方法的流程示意图。

S10,获取预设时长内产生的query日志,从所述query日志中获取浏览信息,并分析所述浏览信息,得到目标query及与所述目标query关联的视频段。

其中,所述预设时长可以进行自定义配置,如一个月。

在本实施例中,所述query日志是系统产生的日志,所述query日志中存储着用户query,用户对于答案的点击情况等。

可以理解的是,通过所述query日志中的浏览信息,能够分析出用户对于视频的关注度。

在本发明的至少一个实施例中,所述浏览信息可以包括,但不限于以下一种或者多种信息的组合:

对反馈的视频是否有点击、对页面的停留时间、对反馈的视频的点击次数、用户输入的query。

在本发明的至少一个实施例中,所述分析所述浏览信息,得到目标query及与所述目标query关联的视频段包括:

从所述浏览信息中获取用户输入的query,并根据所述用户输入的query计算每个query的查询频率,获取所述查询频率大于或者等于配置频率的query作为所述目标query;及/或

从所述浏览信息中获取每个视频段的点击率,将所述点击率大于或者等于配置点击率的视频段所对应的query确定为所述目标query;及/或

从所述浏览信息中获取每个视频段的播放时长,将所述播放时长大于或者等于配置时长的视频段所对应的query确定为所述目标query;

连接指定视频库,并从所述指定视频库中获取与所述目标query关联的视频段。

其中,所述配置频率、所述配置点击率及所述配置时长可以进行自定义配置,本发明不限制。

另外,在其他实施例中,根据数据量的大小,还可以采用排序的方式确定所述目标query,如将点击率排在前100的视频段所对应的query确定为所述目标query,本发明不限制。

在本实施例中,所述指定视频库是指包含丰富视频资源的视频库,由于所述指定视频库中的数据量充足,能够满足后续模型训练的需求。

通过上述实施方式,能够通过分析query日志获取到用户关注度较高的目标query及与所述目标query关联的视频段,以供后续训练模型使用,使训练得到的模型更加符合用户的关注点。

S11,对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征。

在本发明的至少一个实施例中,所述对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征包括:

调用Inception-Renet v2模型作为预训练模型;

将与所述目标query关联的视频段输入至所述预训练模型,并获取所述预训练模型的输出的向量作为与所述目标query关联的视频段中每个视频段的向量表征。

上述实施方式采用Inception-Renet v2作为视觉特征提取的模型,能够增加深度网络的层数,提高视觉特征的泛化性。

S12,将与所述目标query关联的视频段确定为输入,将每个视频段的向量表征确定为输出,并训练预设神经网络模型,得到视频内容分析模型。

在本实施例中,所述预设神经网络模型可以为卷积神经网络模型(ConvolutionalNeural Networks,CNN),本发明不限制。

训练得到的所述视频内容分析模型能够对输入的视频段进行内容的分析及转化,进而输出视频段内容的向量表征。

也就是说,输出的向量表征即是视频内容的主题向量,能够反映出视频片段的主要内容。

S13,将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量。

在本发明的至少一个实施例中,所述将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量包括:

采用word2vec算法将所述目标query转化为query向量;

获取与每个目标query关联的视频段的向量表征,及获取每个目标query的query向量;

对每个目标query关联的视频段的向量表征与每个目标query的query向量进行横向拼接,得到所述拼接向量。

通过上述实施方式,能够对目标query的向量表征(即所述query向量)与每个目标query关联的视频段的向量表征进行特征融合,即实现了query与视频内容间的融合,以供后续训练模型使用。

S14,利用所述拼接向量训练预设分类模型,得到目标分类模型。

在本发明的至少一个实施例中,所述利用所述拼接向量训练预设分类模型,得到目标分类模型包括:

按照预设比例划分所述拼接向量,得到训练样本及验证样本;

利用所述训练样本训练线性分类器,直至所述线性分类器达到收敛,停止训练;

利用所述验证样本验证训练得到的模型;

当所述训练得到的模型通过验证时,停止训练,得到所述目标分类模型。

其中,所述预设比例可以进行自定义配置,如8:2。

其中,所述线性分类器可以包括,但不限于:逻辑回归分类器(LogisticRegression)或者softmax。

通过上述实施方式,能够基于线性分类器训练得到所述分类模型,线性分类器的算法简单,且具有学习能力,对于简单的二分类及多分类问题具有较高的分类效果,运行速度较快。

同时,采用目标query的向量表征与每个目标query关联的视频段的向量表征融合后的拼接向量训练所述目标分类模型,能够有效提高问题与反馈视频内容间的关联性,使模型的分类效果更佳。

S15,当接收到待处理query及所述待处理query的反馈视频时,将所述待处理query转化为第一向量,及将所述反馈视频输入至所述视频内容分析模型,得到至少一个第二向量。

在本实施例中,所述待处理query是指用户输入的待查询的query,所述待处理query的反馈视频是指用户所在的查询平台(如培训平台)根据用户输入的query进行初步反馈的结果,该结果用户不可见,只用于后续进一步地数据分析。

并且,所述待处理query的反馈视频的覆盖面较为全面,以便有充足的数据供后续的分析使用,也避免反馈的视频不准确。

在本实施例中,可以采用word2vec算法将所述待处理query转化为所述第一向量,本发明不限制。

在本实施例中,将所述反馈视频输入至所述视频内容分析模型,即可得到所述反馈视频所包含的视频内容的向量表征,即所述至少一个第二向量。

S16,拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量,将所述至少一个第三向量输入至所述目标分类模型,得到至少一个分类结果,及每个分类结果的第一概率。

在本实施例中,所述拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量包括:

横向拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量。

进一步将所述至少一个第三向量输入至所述目标分类模型,并获取所述目标分类模型针对所述至少一个第三向量的输出作为所述至少一个分类结果,及每个分类结果的第一概率。

例如:所述分类结果的形式可以为0和1,其中,0表示对应的第一向量与第二向量间不匹配,即表示输入的待处理query及对应的反馈视频间不匹配,同时输出分类结果的概率,表示输入的待处理query及对应的反馈视频间不匹配的概率值。

同理,1表示对应的第一向量与第二向量间匹配,即表示输入的待处理query及对应的反馈视频间匹配,同时输出分类结果的概率,表示输入的待处理query及对应的反馈视频间匹配的概率值。

所述第一概率表征的是视频内容维度上与所述待处理query的相似度。

S17,计算所述第一向量与每个第二向量间的相似度,得到至少一个第二相似度。

在本实施例中,可以计算所述第一向量与每个第二向量间的余弦相似度,得到所述至少一个第二相似度,本发明不限制。

其中,所述第二相似度表征的是输入的待处理query与对应的反馈视频间的在文本维度上的相似度。

S18,根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度,并根据所述相关度确定与所述待处理query对应的目标视频。

在本发明的至少一个实施例中,所述根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度包括:

确定所述第一概率的第一权重,及确定所述第二相似度的第二权重;

计算所述第一概率与所述第一权重间的乘积作为第一乘积;

计算所述至少一个第二相似度中每个第二相似度与所述第二权重间的乘积作为每个第二相似度对应的第二乘积;

计算所述第一乘积与对应的每个第二乘积间的和作为所述待处理query与所述待处理query的反馈视频间的相关度。

其中,所述第一权重及所述第二权重可以根据实际情况进行自定义配置。如:所述第一权重为0.5,所述第二权重为0.5。

在上述实施方式中,采用加权的方式确定所述待处理query与所述待处理query的反馈视频间的相关度,使最终计算得到的相关度同时具备了文本维度上的相似度及视频内容维度上的相似度,使反馈的视频与待处理query间具有多个维度上的强相关性,进而提高了反馈的视频的准确度。

在本发明的至少一个实施例中,所述根据所述相关度确定与所述待处理query对应的目标视频包括:

按照所述相关度由高到低的顺序对所述反馈视频进行排序,并获取排在前预设位的反馈视频作为与所述待处理query对应的目标视频;及/或

获取所述相关度大于或者等于配置相关度的反馈视频作为与所述待处理query对应的目标视频。

其中,所述配置相关度可以进行自定义配置,如95%。

上述实施方式同时结合相关度高低的排序及相关度值的大小确定与所述待处理query对应的目标视频,避免了单一方式下反馈数量有限的问题,使反馈的目标视频更加合理。

在本发明的至少一个实施例中,在根据所述相关度确定与所述待处理query对应的所述目标视频后,将所述目标视频反馈至相关设备(如用户设备)的显示界面上,以供用户进行及时查看。

需要说明的是,为了进一步确保数据的安全性,避免数据被恶意篡改,训练的模型可以存储于区块链节点上。

由以上技术方案可以看出,本发明能够获取预设时长内产生的query日志,从所述query日志中获取浏览信息,并分析所述浏览信息,得到目标query及与所述目标query关联的视频段,通过分析query日志获取到用户关注度较高的目标query及与所述目标query关联的视频段,以供后续训练模型使用,使训练得到的模型更加符合用户的关注点,对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征,将与所述目标query关联的视频段确定为输入,将每个视频段的向量表征确定为输出,并训练预设神经网络模型,得到视频内容分析模型,训练得到的所述视频内容分析模型能够对输入的视频段进行内容的分析及转化,进而输出视频段内容的向量表征,能够反映出视频片段的主要内容,将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量,利用所述拼接向量训练预设分类模型,得到目标分类模型,采用目标query的向量表征与每个目标query关联的视频段的向量表征融合后的拼接向量训练所述目标分类模型,能够有效提高问题与反馈视频内容间的关联性,使模型的分类效果更佳,当接收到待处理query及所述待处理query的反馈视频时,将所述待处理query转化为第一向量,及将所述反馈视频输入至所述视频内容分析模型,得到至少一个第二向量,拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量,将所述至少一个第三向量输入至所述目标分类模型,得到至少一个分类结果,及每个分类结果的第一概率,计算所述第一向量与每个第二向量间的相似度,得到至少一个第二相似度,根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度,并根据所述相关度确定与所述待处理query对应的目标视频,进而基于人工智能手段实现准确的视频反馈。

本发明实施例还提供一种基于query分析的视频反馈装置,该基于query分析的视频反馈装置用于执行前述基于query分析的视频反馈方法的任一实施例。具体地,请参阅图2,图2是本发明实施例提供的基于query分析的视频反馈装置的示意性框图。

如图2所示,基于query分析的视频反馈装置100包括:分析单元101、提取单元102、训练单元103、拼接单元104、转化单元105、分类单元106、计算单元107、确定单元108。

分析单元101获取预设时长内产生的query日志,从所述query日志中获取浏览信息,并分析所述浏览信息,得到目标query及与所述目标query关联的视频段。

其中,所述预设时长可以进行自定义配置,如一个月。

在本实施例中,所述query日志是系统产生的日志,所述query日志中存储着用户query,用户对于答案的点击情况等。

可以理解的是,通过所述query日志中的浏览信息,能够分析出用户对于视频的关注度。

在本发明的至少一个实施例中,所述浏览信息可以包括,但不限于以下一种或者多种信息的组合:

对反馈的视频是否有点击、对页面的停留时间、对反馈的视频的点击次数、用户输入的query。

在本发明的至少一个实施例中,所述分析单元101分析所述浏览信息,得到目标query及与所述目标query关联的视频段包括:

从所述浏览信息中获取用户输入的query,并根据所述用户输入的query计算每个query的查询频率,获取所述查询频率大于或者等于配置频率的query作为所述目标query;及/或

从所述浏览信息中获取每个视频段的点击率,将所述点击率大于或者等于配置点击率的视频段所对应的query确定为所述目标query;及/或

从所述浏览信息中获取每个视频段的播放时长,将所述播放时长大于或者等于配置时长的视频段所对应的query确定为所述目标query;

连接指定视频库,并从所述指定视频库中获取与所述目标query关联的视频段。

其中,所述配置频率、所述配置点击率及所述配置时长可以进行自定义配置,本发明不限制。

另外,在其他实施例中,根据数据量的大小,还可以采用排序的方式确定所述目标query,如将点击率排在前100的视频段所对应的query确定为所述目标query,本发明不限制。

在本实施例中,所述指定视频库是指包含丰富视频资源的视频库,由于所述指定视频库中的数据量充足,能够满足后续模型训练的需求。

通过上述实施方式,能够通过分析query日志获取到用户关注度较高的目标query及与所述目标query关联的视频段,以供后续训练模型使用,使训练得到的模型更加符合用户的关注点。

提取单元102对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征。

在本发明的至少一个实施例中,所述提取单元102对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征包括:

调用Inception-Renet v2模型作为预训练模型;

将与所述目标query关联的视频段输入至所述预训练模型,并获取所述预训练模型的输出的向量作为与所述目标query关联的视频段中每个视频段的向量表征。

上述实施方式采用Inception-Renet v2作为视觉特征提取的模型,能够增加深度网络的层数,提高视觉特征的泛化性。

训练单元103将与所述目标query关联的视频段确定为输入,将每个视频段的向量表征确定为输出,并训练预设神经网络模型,得到视频内容分析模型。

在本实施例中,所述预设神经网络模型可以为卷积神经网络模型(ConvolutionalNeural Networks,CNN),本发明不限制。

训练得到的所述视频内容分析模型能够对输入的视频段进行内容的分析及转化,进而输出视频段内容的向量表征。

也就是说,输出的向量表征即是视频内容的主题向量,能够反映出视频片段的主要内容。

拼接单元104将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量。

在本发明的至少一个实施例中,所述拼接单元104将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量包括:

采用word2vec算法将所述目标query转化为query向量;

获取与每个目标query关联的视频段的向量表征,及获取每个目标query的query向量;

对每个目标query关联的视频段的向量表征与每个目标query的query向量进行横向拼接,得到所述拼接向量。

通过上述实施方式,能够对目标query的向量表征(即所述query向量)与每个目标query关联的视频段的向量表征进行特征融合,即实现了query与视频内容间的融合,以供后续训练模型使用。

所述训练单元103利用所述拼接向量训练预设分类模型,得到目标分类模型。

在本发明的至少一个实施例中,所述训练单元103利用所述拼接向量训练预设分类模型,得到目标分类模型包括:

按照预设比例划分所述拼接向量,得到训练样本及验证样本;

利用所述训练样本训练线性分类器,直至所述线性分类器达到收敛,停止训练;

利用所述验证样本验证训练得到的模型;

当所述训练得到的模型通过验证时,停止训练,得到所述目标分类模型。

其中,所述预设比例可以进行自定义配置,如8:2。

其中,所述线性分类器可以包括,但不限于:逻辑回归分类器(LogisticRegression)或者softmax。

通过上述实施方式,能够基于线性分类器训练得到所述分类模型,线性分类器的算法简单,且具有学习能力,对于简单的二分类及多分类问题具有较高的分类效果,运行速度较快。

同时,采用目标query的向量表征与每个目标query关联的视频段的向量表征融合后的拼接向量训练所述目标分类模型,能够有效提高问题与反馈视频内容间的关联性,使模型的分类效果更佳。

当接收到待处理query及所述待处理query的反馈视频时,转化单元105将所述待处理query转化为第一向量,及将所述反馈视频输入至所述视频内容分析模型,得到至少一个第二向量。

在本实施例中,所述待处理query是指用户输入的待查询的query,所述待处理query的反馈视频是指用户所在的查询平台(如培训平台)根据用户输入的query进行初步反馈的结果,该结果用户不可见,只用于后续进一步地数据分析。

并且,所述待处理query的反馈视频的覆盖面较为全面,以便有充足的数据供后续的分析使用,也避免反馈的视频不准确。

在本实施例中,可以采用word2vec算法将所述待处理query转化为所述第一向量,本发明不限制。

在本实施例中,将所述反馈视频输入至所述视频内容分析模型,即可得到所述反馈视频所包含的视频内容的向量表征,即所述至少一个第二向量。

分类单元106拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量,将所述至少一个第三向量输入至所述目标分类模型,得到至少一个分类结果,及每个分类结果的第一概率。

在本实施例中,所述分类单元106拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量包括:

横向拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量。

进一步将所述至少一个第三向量输入至所述目标分类模型,并获取所述目标分类模型针对所述至少一个第三向量的输出作为所述至少一个分类结果,及每个分类结果的第一概率。

例如:所述分类结果的形式可以为0和1,其中,0表示对应的第一向量与第二向量间不匹配,即表示输入的待处理query及对应的反馈视频间不匹配,同时输出分类结果的概率,表示输入的待处理query及对应的反馈视频间不匹配的概率值。

同理,1表示对应的第一向量与第二向量间匹配,即表示输入的待处理query及对应的反馈视频间匹配,同时输出分类结果的概率,表示输入的待处理query及对应的反馈视频间匹配的概率值。

所述第一概率表征的是视频内容维度上与所述待处理query的相似度。

计算单元107计算所述第一向量与每个第二向量间的相似度,得到至少一个第二相似度。

在本实施例中,可以计算所述第一向量与每个第二向量间的余弦相似度,得到所述至少一个第二相似度,本发明不限制。

其中,所述第二相似度表征的是输入的待处理query与对应的反馈视频间的在文本维度上的相似度。

确定单元108根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度,并根据所述相关度确定与所述待处理query对应的目标视频。

在本发明的至少一个实施例中,所述确定单元108根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度包括:

确定所述第一概率的第一权重,及确定所述第二相似度的第二权重;

计算所述第一概率与所述第一权重间的乘积作为第一乘积;

计算所述至少一个第二相似度中每个第二相似度与所述第二权重间的乘积作为每个第二相似度对应的第二乘积;

计算所述第一乘积与对应的每个第二乘积间的和作为所述待处理query与所述待处理query的反馈视频间的相关度。

其中,所述第一权重及所述第二权重可以根据实际情况进行自定义配置。如:所述第一权重为0.5,所述第二权重为0.5。

在上述实施方式中,采用加权的方式确定所述待处理query与所述待处理query的反馈视频间的相关度,使最终计算得到的相关度同时具备了文本维度上的相似度及视频内容维度上的相似度,使反馈的视频与待处理query间具有多个维度上的强相关性,进而提高了反馈的视频的准确度。

在本发明的至少一个实施例中,所述确定单元108根据所述相关度确定与所述待处理query对应的目标视频包括:

按照所述相关度由高到低的顺序对所述反馈视频进行排序,并获取排在前预设位的反馈视频作为与所述待处理query对应的目标视频;及/或

获取所述相关度大于或者等于配置相关度的反馈视频作为与所述待处理query对应的目标视频。

其中,所述配置相关度可以进行自定义配置,如95%。

上述实施方式同时结合相关度高低的排序及相关度值的大小确定与所述待处理query对应的目标视频,避免了单一方式下反馈数量有限的问题,使反馈的目标视频更加合理。

在本发明的至少一个实施例中,在根据所述相关度确定与所述待处理query对应的所述目标视频后,将所述目标视频反馈至相关设备(如用户设备)的显示界面上,以供用户进行及时查看。

需要说明的是,为了进一步确保数据的安全性,避免数据被恶意篡改,训练的模型可以存储于区块链节点上。

由以上技术方案可以看出,本发明能够获取预设时长内产生的query日志,从所述query日志中获取浏览信息,并分析所述浏览信息,得到目标query及与所述目标query关联的视频段,通过分析query日志获取到用户关注度较高的目标query及与所述目标query关联的视频段,以供后续训练模型使用,使训练得到的模型更加符合用户的关注点,对与所述目标query关联的视频段进行视觉特征提取,得到与所述目标query关联的视频段中每个视频段的向量表征,将与所述目标query关联的视频段确定为输入,将每个视频段的向量表征确定为输出,并训练预设神经网络模型,得到视频内容分析模型,训练得到的所述视频内容分析模型能够对输入的视频段进行内容的分析及转化,进而输出视频段内容的向量表征,能够反映出视频片段的主要内容,将所述目标query转化为query向量,拼接所述query向量中的每个query向量与对应的每个视频段的向量表征,得到拼接向量,利用所述拼接向量训练预设分类模型,得到目标分类模型,采用目标query的向量表征与每个目标query关联的视频段的向量表征融合后的拼接向量训练所述目标分类模型,能够有效提高问题与反馈视频内容间的关联性,使模型的分类效果更佳,当接收到待处理query及所述待处理query的反馈视频时,将所述待处理query转化为第一向量,及将所述反馈视频输入至所述视频内容分析模型,得到至少一个第二向量,拼接所述第一向量与所述至少一个第二向量中的每个第二向量,得到至少一个第三向量,将所述至少一个第三向量输入至所述目标分类模型,得到至少一个分类结果,及每个分类结果的第一概率,计算所述第一向量与每个第二向量间的相似度,得到至少一个第二相似度,根据每个分类结果的第一概率及所述至少一个第二相似度计算所述待处理query与所述待处理query的反馈视频间的相关度,并根据所述相关度确定与所述待处理query对应的目标视频,进而基于人工智能手段实现准确的视频反馈。

上述基于query分析的视频反馈装置可以实现为计算机程序的形式,该计算机程序可以在如图3所示的计算机设备上运行。

请参阅图3,图3是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器,服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。

参阅图3,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括存储介质503和内存储器504。

该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行基于query分析的视频反馈方法。

该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。

该内存储器504为存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行基于query分析的视频反馈方法。

该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图3中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现本发明实施例公开的基于query分析的视频反馈方法。

本领域技术人员可以理解,图3中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图3所示实施例一致,在此不再赘述。

应当理解,在本发明实施例中,处理器502可以是中央处理单元 (CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路 (Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质,也可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现本发明实施例公开的基于query分析的视频反馈方法。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备 ( 可以是个人计算机,服务器,或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U 盘、移动硬盘、只读存储器 (ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

相关技术
  • 基于query分析的视频反馈方法、装置、设备及介质
  • 基于query分析的图谱优化方法、装置、设备及介质
技术分类

06120113212415