掌桥专利:专业的专利平台
掌桥专利
首页

基于特征识别的视频信息输出方法及智能终端

文献发布时间:2023-06-19 09:29:07


基于特征识别的视频信息输出方法及智能终端

技术领域

本发明涉及视频直播技术领域,具体而言,涉及一种基于特征识别的视频信息输出方法及智能终端。

背景技术

随着科技的发展,智能终端,例如手机、平板或者笔记本电脑的功能越来越强大。现如今的智能终端能够支持各种信息(视频信息和语音信息等)的实时输出。以视频直播为例,现如今的直播技术发展迅速,人们能够随时随地通过智能终端观看各大直播平台的直播视频。

然而在通过智能终端观看直播视频时,若智能终端需要处理其他业务,则会中断直播视频的输出,待智能终端处理完其他业务继续进行直播视频的输出时,会错过之前一段时间的视频。现有的针对上述问题的解决方法是将直播视频设置为可回放模式,但是这种模式仍然需要用户自行进行直播视频的进度条的回拉。

发明内容

为了改善上述问题,本发明提供了一种基于特征识别的视频信息输出方法及智能终端。

本发明实施例的第一方面,提供了一种基于特征识别的视频信息输出方法,应用于智能终端,所述智能终端与服务器通信,所述智能终端内安装有第一应用程序和第二应用程序,所述方法包括:

在将从服务器处获取的视频信息导入通过第一应用程序建立的第一信息输出线程并基于所述第一信息输出线程将所述视频信息进行输出时,通过所述第一应用程序建立与所述第一信息输出线程并行的第二信息输出线程,并在基于所述第一信息输出线程输出所述视频信息时将所述视频信息同步至所述第二信息输出线程中;

实时检测是否接收到用户输入的第一应用程序切换指令,在检测到所述第一应用程序切换指令时,切出所述第一应用程序以运行所述第二应用程序;获取切出所述第一应用程序的切出时刻以及所述视频信息在所述切出时刻对应的视频帧;

在运行所述第二应用程序时,通过所述第二应用程序采集所述用户的特征信息,对所述特征信息进行识别得到识别结果;

基于所述识别结果判断是否触发针对所述视频信息的回拉信号,若触发针对所述视频信息的回拉信号,在根据检测到所述用户输入的第二应用程序切换指令时,切出所述第二应用程序并运行所述第一应用程序,从所述第二信息输出线程中确定出与所述视频帧对应的目标帧并基于所述第二信息输出线程从所述目标帧开始继续输出同步在所述第二信息输出线程中的视频信息。

可选地,所述对所述特征信息进行识别得到识别结果,包括:

检测集成于所述智能终端的采集设备是否发送检测信号;在检测到所述采集设备发送所述检测信号时,通过所述采集设备的类型标识确定所述采集设备采集到的特征信息的类别;

根据所述特征信息的类别为所述特征信息分配第一特征标识,所述第一特征标识用于对所述特征类别进区分;根据所述第一特征标识在预设数据库中确定出目标特征转换列表,所述预设数据库中存储有多个特征转换列表,每个特征转换设置有第二特征标识,所述目标特征转换列表的第二特征标识与所述第一特征标识相一致,所述特征转换列表中存储有预设特征信息与特征向量的对应关系;

在所述目标特征转换列表中查找出与所述特征信息对应的第一预设特征信息并基于所述目标特征转换列表中包括的所述第一预设特征信息对应的对应关系确定出所述特征信息对应的目标特征向量;

将所述目标特征向量输入预先搭建的卷积神经网络,基于所述卷积神经网络对所述目标特征向量进行识别,输出所述目标特征向量对应的评价标签;

确定所述评价标签的时间权重,基于所述评价标签及其时间权重确定所述特征信息对应的识别结果。

可选地,所述基于所述评价标签及其时间权重确定所述特征信息对应的识别结果,包括:

在所述特征信息为多类时,确定每一类特征信息的评价标签的评价因子,所述评价因子包括评价标签为第一评价标签时的第一评价因子、评价标签为第二评价标签时的第二评价因子以及评价标签为第三评价标签时的评价因子;

根据每一类特征信息的时间权重对每一类特征信息的第一评价因子进行加权得到第二评价因子;

确定所有第二评价因子中位于第一数值区间的第二评价因子的第一占比以及位于第二数值区间的第二评价因子的第二占比;所述第一数值区间由第一端点和第二端点构成,所述第二数值区间由所述第二端点和第三端点构成,所述第一端点小于所述第二端点,所述第二端点小于所述第三端点,所述第一数值区间不包括所述第二端点,所述第二数值区间不包括所述第二端点;

根据所述第一占比和所述第二占比,确定多类特征信息对应的识别结果。

可选地,所述根据所述第一占比和所述第二占比,确定多类特征信息对应的识别结果,包括:

当所述第一占比大于所述第二占比时,确定多类特征信息对应的识别结果为第一识别结果,所述第一识别结果用于表征触发所述回拉信号;

当所述第一占比小于所述第二占比时,确定多类特征信息对应的识别结果为第二识别结果,所述第二识别结果用于表征未触发所述回拉信号;

当所述第一占比等于所述第二占比时,确定所述第一占比对应的第二评价因子的第一均值以及所述第二占比对应的第二评价因子的第二均值,在所述第一均值大于所述第二均值时确定多类特征信息对应的识别结果为所述第一识别结果,在所述第一均值小于所述第二均值时确定多类特征信息对应的识别结果为所述第二识别结果,在所述第一均值等于所述第二均值时确定多类特征信息对应的识别结果为第三识别结果,所述第三识别结果用于指示智能终端输出提示信息,所述提示信息用于提示用户在切回所述第一应用程序时是否手动触发回拉信号。

可选地,所述方法还包括:

若所述识别结果为所述第二识别结果,基于所述第一信息输出线程从所述视频信息的当前帧进行输出,所述当前帧位于所述视频帧之后。

可选地,所述方法还包括:

若所述识别结果为所述第三识别结果,在切出所述第二应用程序并运行所述第一应用程序时输出所述提示信息,若接收到所述用户基于所述提示信息反馈的第一信号,从所述第二信息输出线程中确定出与所述视频帧对应的目标帧并基于所述第二信息输出线程从所述目标帧开始继续输出同步在岁数第二信息输出线程中的视频信息;若未接收到所述用户基于所述提示信息反馈的第一信号,基于所述第一信息输出线程从所述视频信息的当前帧进行输出,所述当前帧位于所述视频帧之后。

可选地,在基于所述第一信息输出线程输出所述视频信息时将所述视频信息同步至所述第二信息输出线程中的步骤之后,所述方法还包括:

根据所述第一信息输出线程已输出的部分信息将对应于所述第二信息输出线程中对应的信息删除。

本发明实施例的第二方面,提供了一种基于特征识别的视频信息输出装置,包括:

同步模块,用于在将从服务器处获取的视频信息导入通过第一应用程序建立的第一信息输出线程并基于所述第一信息输出线程将所述视频信息进行输出时,通过所述第一应用程序建立与所述第一信息输出线程并行的第二信息输出线程,并在基于所述第一信息输出线程输出所述视频信息时将所述视频信息同步至所述第二信息输出线程中;

切换模块,用于实时检测是否接收到用户输入的第一应用程序切换指令,在检测到所述第一应用程序切换指令时,切出所述第一应用程序以运行所述第二应用程序;获取切出所述第一应用程序的切出时刻以及所述视频信息在所述切出时刻对应的视频帧;

识别模块,用于在运行所述第二应用程序时,通过所述第二应用程序采集所述用户的特征信息,对所述特征信息进行识别得到识别结果;

输出模块,用于基于所述识别结果判断是否触发针对所述视频信息的回拉信号,若触发针对所述视频信息的回拉信号,在根据检测到所述用户输入的第二应用程序切换指令时,切出所述第二应用程序并运行所述第一应用程序,从所述第二信息输出线程中确定出与所述视频帧对应的目标帧并基于所述第二信息输出线程从所述目标帧开始继续输出同步在岁数第二信息输出线程中的视频信息。

本发明实施例的第三方面,提供了一种智能终端,包括:处理器以及与所述处理器连接的存储器和总线;所述处理器和所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的计算机程序,以执行上述的基于特征识别的视频信息输出方法。

本发明实施例的第四方面,提供了一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的基于特征识别的视频信息输出方法。

本发明实施例所提供的基于特征识别的视频信息输出方法及智能终端,能够同时建立并列的第一信息输出线程和第二信息输出线程,进而将视频信息同步至第一信息输出线程和第二信息输出线程中,当用户通过智能终端在第一应用程序和第二应用程序之间切换时,能够对采集到的用户的特征信息进行识别并判断是否触发回拉信号,在触发回拉信号时若用户切回第一应用程序,会基于第二信息输出线程从用户最近一次切出第一应用程序的时刻开始输出视频信息,如此,无需用户在切回第一应用程序时手动回拉进度条,一方面使得视频回放更加便捷省事,另一方面也不会影响第一信息输出线程的正常运行。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本发明实施例所提供的一种基于特征识别的视频信息输出方法的流程图。

图2为本发明实施例所提供的一种基于特征识别的视频信息输出装置的功能模块框图。

图3为本发明实施例所提供的一种智能终端的产品模块示意图。

图标:

200-智能终端;201-基于特征识别的视频信息输出装置;2011-同步模块;2012-切换模块;2013-识别模块;2014-输出模块;211-处理器;212-存储器;213-总线。

具体实施方式

下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案,下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明,而不是对本发明技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。

为改善常见的智能终端在输出直播视频遇到断点时仍需要用户手动回拉进度条以返回到断点时刻并继续输出直播视频的问题,本发明实施例提供了一种基于特征识别的视频信息输出方法及智能终端,能够在智能终端中断直播视频而处理其他业务时采集用户的特征信息,并对特征信息进行识别得到识别结果,从而基于识别结果在智能终端重新进行直播视频输出时自动跳转至中断直播视频的进度条位置处,无需用户手动回拉进度条。

请参阅图1,为本发明实施例所提供的一种基于特征识别的视频信息输出方法的流程图,该方法可以应用于智能终端,所述智能终端与服务器通信,所述智能终端内安装有第一应用程序和第二应用程序。

在本实施例中,第一应用程序可以是直播APP,第二应用程序与第一应用程序不相同,例如,第二应用程序可以是聊天软件。智能终端通过从服务器处获取视频信息,并通过第一应用程序将视频信息进行输出,例如,视频信息可以是视频信息。

在上述基础上,该方法具体可以包括以下内容。

步骤S21,在将从服务器处获取的视频信息导入通过第一应用程序建立的第一信息输出线程并基于所述第一信息输出线程将所述视频信息进行输出时,通过所述第一应用程序建立与所述第一信息输出线程并行的第二信息输出线程,并在基于所述第一信息输出线程输出所述视频信息时将所述视频信息同步至所述第二信息输出线程中。

在本实施例中,以第一应用程序为直播APP,视频信息为视频信息为例进行说明。智能终端从服务器处获取视频信息,将视频信息导入第一信息输出线程进行输出,并将视频信息同步到第二信息输出线程中。

步骤S22,实时检测是否接收到用户输入的第一应用程序切换指令,在检测到所述第一应用程序切换指令时,切出所述第一应用程序以运行所述第二应用程序;获取切出所述第一应用程序的切出时刻以及所述视频信息在所述切出时刻对应的视频帧。

在本实施例中,若用户在通过第一应用程序观看直播时接收到第二应用程序(聊天软件)发来的消息,此时用户可以通过智能终端输入应用程序切换指令。其中,第一应用程序切换指令可以是触摸指令或按键指令,用于将正在运行的第一应用程序切换为第二应用程序。

在本实施例中,切出时刻以t1为例进行说明,可以理解,视频信息(视频信息)在t1时刻的视频帧为f1。

步骤S23,在运行所述第二应用程序时,通过所述第二应用程序采集所述用户的特征信息,对所述特征信息进行识别得到识别结果。

在本实施例中,特征信息可以是用户的生物特征信息例如语音信息、人脸图像信息,还可以是用户基于第二应用程序输入的文本信息等,在此不作限定。

步骤S24,基于所述识别结果判断是否触发针对所述视频信息的回拉信号,若触发针对所述视频信息的回拉信号,在根据检测到所述用户输入的第二应用程序切换指令时,切出所述第二应用程序并运行所述第一应用程序,从所述第二信息输出线程中确定出与所述视频帧对应的目标帧并基于所述第二信息输出线程从所述目标帧开始继续输出同步在所述第二信息输出线程中的视频信息。

在本实施例中,回拉信号用于表征用户存在从视频帧处继续观看视频信息的意愿,例如,用户在t1时刻切出第一应用程序,在通过第二应用程序完成相关操作之后,在t2时刻切回第一应用程序,若触发回拉信号,则智能终端会基于第二信息输出线程从t1时刻进行直播视频的播放。

如此,无需用户在切回第一应用程序时手动回拉进度条,一方面使得视频回放更加便捷省事,另一方面也不会影响第一信息输出线程的正常运行。

可以理解,通过步骤S21-步骤S24,能够同时建立并列的第一信息输出线程和第二信息输出线程,进而将视频信息同步至第一信息输出线程和第二信息输出线程中,当用户通过智能终端在第一应用程序和第二应用程序之间切换时,能够对采集到的用户的特征信息进行识别并判断是否触发回拉信号,在触发回拉信号时若用户切回第一应用程序,会基于第二信息输出线程从用户最近一次切出第一应用程序的时刻开始输出视频信息,如此,无需用户在切回第一应用程序时手动回拉进度条,一方面使得视频回放更加便捷省事,另一方面也不会影响第一信息输出线程的正常运行。

在具体实施时,上述基于第二信息输出线程从目标帧进行视频信息输出的方法可以理解成基于第一应用程序设置的视频续放功能。在实现上述视频续放功能时,为了不影响直播视频的正常输出,可以通过并行的第一信息输出线程和第二信息输出线程进行改善。

然而,在实际应用中,如何建立并行的两个信息输出线程以确保视频信息在两个信息输出线程中的同步并有效减少智能终端的运行负荷是实现上述视频续放功能的关键。为此,在步骤S21中,所述通过所述第一应用程序建立与所述第一信息输出线程并行的第二信息输出线程,具体可以包括以下内容。

步骤S211,根据所述第一应用程序在所述智能终端中所占用的第一内存资源,确定所述第一应用程序对应的应用程序压缩包在所述智能终端中进行解压的解压路径,所述解压路径为,所述解压程序压缩包在所述智能终端中的存储位置到所述第一应用程序在所述智能终端中运行的缓存位置之间的路径。

步骤S212,判断所述解压路径中,是否存在满足预设条件的路径节点;所述路径节点为所述智能终端中的一存储空间,所述预设条件为,组成该解压路径的所有路径节点中的节点权重值落入设定数值区间;所述节点权重值用于表征所述解压路径中的路径节点在损坏时对所述解压路径的延时影响,落入所述设定数值区间的节点权重值用于表征对应的路径节点在损坏时对所述解压路径存在延时影响。

步骤S213,若存在,确定搭建所述第一信息输出线程的日志文件,所述日志文件中包括搭建所述第一信息输出线程的操作记录;从所述日志文件的操作记录中提取针对满足所述预设条件的路径节点的第一操作,解析第一操作得到脚本文件,所述脚本文件为,通过所述第一应用程序搭建所述第一信息输出线程的执行文件。

步骤S214,确定在所述第一应用程序中搭建与第一信息输出线程的延时差值小于预设值的视频信息输出线程所占用的所述智能终端的第二内存资源;根据所述第一内存资源以及所述第二内存资源确定所述智能终端在建立视频信息输出线程时是否处于过载状态;若是,从所述脚本文件中提取出提取出目标文件,所述目标文件在运行时用于建立将所述目标程序导入所述第一信息输出线程的通道;根据所述目标文件对所述脚本文件进行压缩,并基于压缩后的脚本文件确定出搭建与第一信息输出线程的延时差值小于预设值的视频信息输出线程所占用的所述智能终端的第三内存资源,并在根据所述第一内存资源以及所述第二内存资源确定所述智能终端在建立视频信息输出线程时未处于过载状态的情况下,运行压缩后的脚本文件以建立所述视频信息输出线程并根据所述视频信息输出线程确定所述第二信息输出线程。

可以理解,基于步骤S211-步骤S214,能够基于脚本文件中用于建立将所述目标程序导入所述第一信息输出线程的目标文件以及搭建信息输出线程时所占用的智能终端的内存资源对脚本文件进行压缩,进而基于压缩后的脚本文件建立第二信息输出线程,如此,能够在确保视频信息在第一信息输出线程和第二信息输出线程中的同步的前提下有效减少智能终端的运行负荷,避免智能终端处于过载状态,相较于常见的单线程运行方式,通过上述内容能够便捷有效地实现视频续放功能。

在具体实施时,识别结果的准确确定是确保回拉信号的判断准确性的关键,为此,在确定识别结果时,不仅需要考虑特征特征信息的类别,还要考虑对特征信息进行识别时的时间权重,为此,在步骤S23中,所述对所述特征信息进行识别得到识别结果,具体可以包括以下内容。

步骤S231,检测集成于所述智能终端的采集设备是否发送检测信号;在检测到所述采集设备发送所述检测信号时,通过所述采集设备的类型标识确定所述采集设备采集到的特征信息的类别。

在本实施例中,采集设备包括但不限于麦克风、前置摄像头和本文采集器。检测信号是采集设备在采集对应的特征信息时向智能终端发送的。

步骤S232,根据所述特征信息的类别为所述特征信息分配第一特征标识,所述第一特征标识用于对所述特征类别进区分;根据所述第一特征标识在预设数据库中确定出目标特征转换列表,所述预设数据库中存储有多个特征转换列表,每个特征转换设置有第二特征标识,所述目标特征转换列表的第二特征标识与所述第一特征标识相一致,所述特征转换列表中存储有预设特征信息与特征向量的对应关系。

步骤S233,在所述目标特征转换列表中查找出与所述特征信息对应的第一预设特征信息并基于所述目标特征转换列表中包括的所述第一预设特征信息对应的对应关系确定出所述特征信息对应的目标特征向量。

在本实施例中,目标特征向量可以作为输入卷积神经网络的预测集。

步骤S234,将所述目标特征向量输入预先搭建的卷积神经网络,基于所述卷积神经网络对所述目标特征向量进行识别,输出所述目标特征向量对应的评价标签。

在本实施例中,卷积神经网络用于识别特征向量对应的用户意向,其中,用户意向可以通过评价标签进行表示,进一步地,评价标签可以包括第一评价标签、第二评价标签和第三评价标签。第一评价标签用于表征用户对视频信息的关注度为优,第二评价标签用于表征用户对视频信息的关注度为正常,第三用户标签用于表征用户对视频信息的关注度为差。

步骤S235,确定所述评价标签的时间权重,基于所述评价标签及其时间权重确定所述特征信息对应的识别结果。

在本实施例中,时间权重用于表征所述特征信息对应的时长特征,例如,用户在进行特征信息输出时的所用时长越短,时间权重越大,表明用户想快速通过第二应用程序完成对应操作进而继续观看第一应用程序的视频直播。

可以理解,根据步骤S231-步骤S235,能够将特征信息的类别和时间权重考虑在内,进而确保识别结果的准确性和可靠性。

在具体实施时,采集到的特征信息可能有很多类,多类特征信息之间可能存在评价标签的互斥,在这种情况下,为了确保识别结果的准确性,在步骤S234中,所述基于所述评价标签及其时间权重确定所述特征信息对应的识别结果,具体可以包括以下内容。

步骤S2341,在所述特征信息为多类时,确定每一类特征信息的评价标签的评价因子,所述评价因子包括评价标签为第一评价标签时的第一评价因子、评价标签为第二评价标签时的第二评价因子以及评价标签为第三评价标签时的评价因子。

步骤S2342,根据每一类特征信息的时间权重对每一类特征信息的第一评价因子进行加权得到第二评价因子。

步骤S2343,确定所有第二评价因子中位于第一数值区间的第二评价因子的第一占比以及位于第二数值区间的第二评价因子的第二占比;所述第一数值区间由第一端点和第二端点构成,所述第二数值区间由所述第二端点和第三端点构成,所述第一端点小于所述第二端点,所述第二端点小于所述第三端点,所述第一数值区间不包括所述第二端点,所述第二数值区间不包括所述第二端点。

在本实施例中,第二评价因子的取值范围可以是0~1。相应地,第一端点为0,第二端点为0.5,第三端点为1,则第一数值区间可以为[0,0.5),第二数值区间可以为[0.5,1]。第一占比可以为x1,第二占比可以为x2。

步骤S2344,根据所述第一占比和所述第二占比,确定多类特征信息对应的识别结果。

在本实施例中,可以基于第一占比和第二占比的比较结果确定多类特征信息对应的识别结果,如此,能够将多类特征信息之间的评价标签互斥情况考虑在内,进而对每一类特征信息进行分析,确保识别结果的准确性。

在上述基础上,根据所述第一占比和所述第二占比,确定多类特征信息对应的识别结果,具体可以包括以下几种情况。

第一种,当所述第一占比x1大于所述第二占比x2时,确定多类特征信息对应的识别结果为第一识别结果,所述第一识别结果用于表征触发所述回拉信号。

第二种,当所述第一占比x1小于所述第二占比x2时,确定多类特征信息对应的识别结果为第二识别结果,所述第二识别结果用于表征未触发所述回拉信号。

第三种,当所述第一占比x1等于所述第二占比x2时,确定所述第一占比x1对应的第二评价因子p1的第一均值d1以及所述第二占比x2对应的第二评价因子p2的第二均值d2,在所述第一均值d1大于所述第二均值d2时确定多类特征信息对应的识别结果为所述第一识别结果,在所述第一均值d1小于所述第二均值d2时确定多类特征信息对应的识别结果为所述第二识别结果,在所述第一均值d1等于所述第二均值d2时确定多类特征信息对应的识别结果为第三识别结果,所述第三识别结果用于指示智能终端输出提示信息,所述提示信息用于提示用户在切回所述第一应用程序时是否手动触发回拉信号。

基于上述内容,在步骤S21-步骤S24的基础上,该方法还可以包括以下内容:

若所述识别结果为所述第二识别结果,基于所述第一信息输出线程从所述视频信息的当前帧进行输出,所述当前帧位于所述视频帧之后。

若所述识别结果为所述第三识别结果,在切出所述第二应用程序并运行所述第一应用程序时输出所述提示信息,若接收到所述用户基于所述提示信息反馈的第一信号,从所述第二信息输出线程中确定出与所述视频帧对应的目标帧并基于所述第二信息输出线程从所述目标帧开始继续输出同步在岁数第二信息输出线程中的视频信息;若未接收到所述用户基于所述提示信息反馈的第一信号,基于所述第一信息输出线程从所述视频信息的当前帧进行输出,所述当前帧位于所述视频帧之后。

可以理解,通过上述内容,能够基于多类特征信息确定出三种不同的识别结果,进而在用户切回第一应用程序时执行不同的操作,提高直播视频续放的灵活性和准确性。

在上述基础上,由于视频信息是同步在第一信息输出线程和第二信息输出线程的,因此智能终端在运行第一应用程序时,是缓存了两组视频信息的,这样会占用智能终端较多的存储空间,为了改善这一问题,在上述基础上,在基于所述第一信息输出线程输出所述视频信息时将所述视频信息同步至所述第二信息输出线程中的步骤之后,该方法还可以包括以下内容。

根据所述第一信息输出线程已输出的部分信息将对应于所述第二信息输出线程中对应的信息删除。例如,第一信息输出线程在T1时刻开始持续进行直播视频输出,则智能终端可以根据第一信息输出线程实时输出的视频将同步于第二信息输出线程的对应的视频进行删除。如此,能够有效改善智能终端的存储空间的占用情况。

在上述基础上,请结合参阅图2,为本发明实施例所提供的一种基于特征识别的视频信息输出装置201的模块框图,该基于特征识别的视频信息输出装置201可以包括以下模块。

同步模块2011,用于在将从服务器处获取的视频信息导入通过第一应用程序建立的第一信息输出线程并基于所述第一信息输出线程将所述视频信息进行输出时,通过所述第一应用程序建立与所述第一信息输出线程并行的第二信息输出线程,并在基于所述第一信息输出线程输出所述视频信息时将所述视频信息同步至所述第二信息输出线程中。

切换模块2012,用于实时检测是否接收到用户输入的第一应用程序切换指令,在检测到所述第一应用程序切换指令时,切出所述第一应用程序以运行所述第二应用程序;获取切出所述第一应用程序的切出时刻以及所述视频信息在所述切出时刻对应的视频帧。

识别模块2013,用于在运行所述第二应用程序时,通过所述第二应用程序采集所述用户的特征信息,对所述特征信息进行识别得到识别结果。

输出模块2014,用于基于所述识别结果判断是否触发针对所述视频信息的回拉信号,若触发针对所述视频信息的回拉信号,在根据检测到所述用户输入的第二应用程序切换指令时,切出所述第二应用程序并运行所述第一应用程序,从所述第二信息输出线程中确定出与所述视频帧对应的目标帧并基于所述第二信息输出线程从所述目标帧开始继续输出同步在岁数第二信息输出线程中的视频信息。

在一种可替换的实施方式中,所述识别模块2013,具体用于:

检测集成于所述智能终端的采集设备是否发送检测信号;在检测到所述采集设备发送所述检测信号时,通过所述采集设备的类型标识确定所述采集设备采集到的特征信息的类别;

根据所述特征信息的类别为所述特征信息分配第一特征标识,所述第一特征标识用于对所述特征类别进区分;根据所述第一特征标识在预设数据库中确定出目标特征转换列表,所述预设数据库中存储有多个特征转换列表,每个特征转换设置有第二特征标识,所述目标特征转换列表的第二特征标识与所述第一特征标识相一致,所述特征转换列表中存储有预设特征信息与特征向量的对应关系;

在所述目标特征转换列表中查找出与所述特征信息对应的第一预设特征信息并基于所述目标特征转换列表中包括的所述第一预设特征信息对应的对应关系确定出所述特征信息对应的目标特征向量;

将所述目标特征向量输入预先搭建的卷积神经网络,基于所述卷积神经网络对所述目标特征向量进行识别,输出所述目标特征向量对应的评价标签;

确定所述评价标签的时间权重,基于所述评价标签及其时间权重确定所述特征信息对应的识别结果。

在一种可替换的实施方式中,所述识别模块2013,具体用于:

在所述特征信息为多类时,确定每一类特征信息的评价标签的评价因子,所述评价因子包括评价标签为第一评价标签时的第一评价因子、评价标签为第二评价标签时的第二评价因子以及评价标签为第三评价标签时的评价因子;

根据每一类特征信息的时间权重对每一类特征信息的第一评价因子进行加权得到第二评价因子;

确定所有第二评价因子中位于第一数值区间的第二评价因子的第一占比以及位于第二数值区间的第二评价因子的第二占比;所述第一数值区间由第一端点和第二端点构成,所述第二数值区间由所述第二端点和第三端点构成,所述第一端点小于所述第二端点,所述第二端点小于所述第三端点,所述第一数值区间不包括所述第二端点,所述第二数值区间不包括所述第二端点;

根据所述第一占比和所述第二占比,确定多类特征信息对应的识别结果。

在一种可替换的实施方式中,所述识别模块2013,具体用于:

当所述第一占比大于所述第二占比时,确定多类特征信息对应的识别结果为第一识别结果,所述第一识别结果用于表征触发所述回拉信号;

当所述第一占比小于所述第二占比时,确定多类特征信息对应的识别结果为第二识别结果,所述第二识别结果用于表征未触发所述回拉信号;

当所述第一占比等于所述第二占比时,确定所述第一占比对应的第二评价因子的第一均值以及所述第二占比对应的第二评价因子的第二均值,在所述第一均值大于所述第二均值时确定多类特征信息对应的识别结果为所述第一识别结果,在所述第一均值小于所述第二均值时确定多类特征信息对应的识别结果为所述第二识别结果,在所述第一均值等于所述第二均值时确定多类特征信息对应的识别结果为第三识别结果,所述第三识别结果用于指示智能终端输出提示信息,所述提示信息用于提示用户在切回所述第一应用程序时是否手动触发回拉信号。

在一种可替换的实施方式中,所述输出模块2014,还用于:

若所述识别结果为所述第二识别结果,基于所述第一信息输出线程从所述视频信息的当前帧进行输出,所述当前帧位于所述视频帧之后。

在一种可替换的实施方式中,所述输出模块2014,还用于:

若所述识别结果为所述第三识别结果,在切出所述第二应用程序并运行所述第一应用程序时输出所述提示信息,若接收到所述用户基于所述提示信息反馈的第一信号,从所述第二信息输出线程中确定出与所述视频帧对应的目标帧并基于所述第二信息输出线程从所述目标帧开始继续输出同步在岁数第二信息输出线程中的视频信息;若未接收到所述用户基于所述提示信息反馈的第一信号,基于所述第一信息输出线程从所述视频信息的当前帧进行输出,所述当前帧位于所述视频帧之后。

在一种可替换的实施方式中,所述同步模块2011,还用于:根据所述第一信息输出线程已输出的部分信息将对应于所述第二信息输出线程中对应的信息删除。

本发明实施例还提供了一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的基于特征识别的视频信息输出方法。

本发明实施例还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述的基于特征识别的视频信息输出方法。

本实施例中,如图3所示,智能终端200包括至少一个处理器211、以及与处理器211连接的至少一个存储器212、总线213。其中,处理器211、存储器212通过总线213完成相互间的通信。处理器211用于调用存储器212中的程序指令,以执行上述的基于特征识别的视频信息输出方法。

综上,本发明实施例所提供的一种基于特征识别的视频信息输出方法及智能终端,能够同时建立并列的第一信息输出线程和第二信息输出线程,进而将视频信息同步至第一信息输出线程和第二信息输出线程中,当用户通过智能终端在第一应用程序和第二应用程序之间切换时,能够对采集到的用户的特征信息进行识别并判断是否触发回拉信号,在触发回拉信号时若用户切回第一应用程序,会基于第二信息输出线程从用户最近一次切出第一应用程序的时刻开始输出视频信息,如此,无需用户在切回第一应用程序时手动回拉进度条,一方面使得视频回放更加便捷省事,另一方面也不会影响第一信息输出线程的正常运行。

本申请是参照根据本申请实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理服务器的处理器以产生一个机器,使得通过计算机或其他可编程数据处理服务器的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中,智能终端包括一个或多个处理器(CPU)、存储器和总线。智能终端还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他特征权重的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储智能终端或任何其他非传输介质,可用于存储可以被计算智能终端匹配的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体,如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者智能终端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者智能终端所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者智能终端中还存在另外的相同要素。

本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

相关技术
  • 基于特征识别的视频信息输出方法及智能终端
  • 基于特征识别的信息输出方法、装置及智能终端
技术分类

06120112182504