掌桥专利:专业的专利平台
掌桥专利
首页

获取视频关联信息的处理方法、装置、电子设备、服务器

文献发布时间:2023-06-19 11:06:50


获取视频关联信息的处理方法、装置、电子设备、服务器

技术领域

本公开涉及计算机数据处理技术领域,尤其涉及一种获取视频关联信息的处理方法、装置、电子设备、服务器。

背景技术

目前终端的短视频应用逐渐普及。用户可以根据观看的视频内容,自己总结出描述视频内容的关键词,然后搜索视频的相关内容。但很多视频内容难以用文字准确描述,导致输入的关键词不够准确,影响搜索结果的准确性。

发明内容

本公开提供一种获取视频关联信息的处理方法、装置、电子设备、服务器,提供新的视频互动方式,以至少解决相关技术中通过输入文字搜索视频关联信息不准确的问题。本公开的技术方案如下:

根据本公开实施例的一方面,提供一种获取视频关联信息的处理方法,包括:

确定客户端的播放视频的画面图像;

在特征数据集合中查找与所述画面图像的特征数据相匹配的目标特征数据,所述特征数据集合包括从关键帧图像中提取得到的特征数据,所述关键帧图像基于视频发布账户上传的视频数据确定;

当查找到所述目标特征数据时,获取与所述目标特征数据对应的视频关联信息;

将所述视频关联信息发送至所述客户端,所述视频关联信息用于在客户端展示。

根据本公开实施例的另一方面,所述方法中,所述确定客户端的播放视频的画面图像包括:接收客户端上传的画面图像,

或者,

接收客户端上传的播放时间标签,根据所述时间标签获取的视频数据的画面图像。

根据本公开实施例的另一方面,所述方法中,所述视频数据的关键帧图像包括:

所述视频数据中指定位置处的帧图像;

所述画面图像包括客户端播放完后视频之后展示的等待界面图像。

根据本公开实施例的另一方面,所述方法中,所述视频关联信息包括下述之一:

所述画面图像中目标对象的账户信息、所述目标特征数据对应的视频数据的出处作品名、与所述画面图像的特征数据匹配程度符合第一要求的图像关联信息。

根据本公开实施例的另一方面,所述方法中,当查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,确定所述人物的出处作品名;

根据所述出处作品名进行搜索,获取与所述出处作品名相关联的作品关联信息;

相应的,所述视频关联信息包括所述作品关联信息。

根据本公开实施例的另一方面,所述方法中,当查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,确定所述人物的人物名称;

根据所述人物名称进行搜索,获取与所述人物名称相关联的人物关联信息;

相应的,所述视频关联信息包括所述人物关联信息。

根据本公开实施例的另一方面,所述方法中,当查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像不包含人物对象时,搜索包含所述画面图像的第一视频数据和/或与所述画面图像的特征数据匹配程度符合第二要求的第二视频数据;

相应的,所述视频关联信息包括所述第一视频数据和/或第二视频数据。

根据本公开实施例的另一方面,提供一种获取视频关联信息的处理方法,包括:

确定播放视频的画面图像;

将所述画面图像上传至服务器;

接收服务器返回的与目标特征数据对应的视频关联信息,所述目标特征数据包括服务器在特征数据集合中查找到的与所述画面图像的特征数据相匹配的特征数据,所述特征数据基于对视频发布账户上传的视频数据确定的关键帧图像中进行特征提取得到;

至少展示部分所述视频关联信息。

根据本公开实施例的另一方面,所述方法中,所述确定播放视频的画面图像包括:

截取播放视频的画面得到画面图像;

或者,

截取的播放视频的画面图像,确定所述画面在播放视频中的播放时间标签,所述将所述画面上传至服务器包括:将所述播放时间标签上传至服务器。

根据本公开实施例的另一方面,所述方法中,所述视频关联信息包括下述之一:

所述画面图像中包含的账户信息、所述目标特征数据对应的视频数据的出处作品名、与所述画面图像的特征数据匹配程度符合第一要求的图像关联信息。

根据本公开实施例的另一方面,所述方法中,当服务器查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,则返回的视频关联信息包括下述信息之一:

根据所述人物的出处作品名进行搜索获取的作品关联信息;

根据所述人物的人物名称进行搜索获取的人物关联信息。

根据本公开实施例的另一方面,所述方法中,当服务器查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,则返回的视频关联信息包括服务器搜索出的下述信息之一:

包含所述画面图像的第一视频数据;

与所述画面图像的特征数据匹配程度符合第二要求的第二视频数据。

根据本公开实施例的另一方面,所述方法中,所述获取播放视频的画面图像包括:

基于触发提供的图像搜索界面元素截取画面图像。

根据本公开实施例的另一方面,所述方法中,所述画面图像包括:

播放完后视频之后展示的等待界面图像。

根据本公开实施例的另一方面,还提供一种获取视频关联信息的处理装置,包括:图像确定模块,特征匹配模块,信息查找模块,发送模块;

所述图像确定模块被配置为,确定客户端的播放视频的画面图像;

所述特征匹配模块被配置为,在特征数据集合中查找与所述画面图像的特征数据相匹配的目标特征数据,所述特征数据集合包括从关键帧图像中提取得到的特征数据,所述关键帧图像基于视频发布账户上传的视频数据确定;

所述信息查找模块被配置为,当查找到所述目标特征数据时,获取与所述目标特征数据对应的视频关联信息;

所述发送模块被配置为,将所述视频关联信息发送至所述客户端,所述视频关联信息用于在客户端展示。

根据本公开实施例的另一方面,所述装置中,所述图像确定模块确定客户端的播放视频的画面图像包括:接收客户端上传的画面图像,

或者,

接收客户端上传的播放时间标签,根据所述时间标签获取的视频数据的画面图像。

根据本公开实施例的另一方面,所述装置中,所述特征匹配模块中的视频数据的关键帧图像包括:

所述视频数据中指定位置处的帧图像;

所述画面图像包括客户端播放完后视频之后展示的等待界面图像。

根据本公开实施例的另一方面,所述装置中,所述信息查找模块中获取的视频关联信息包括下述之一:

所述画面图像中目标对象的账户信息、所述目标特征数据对应的视频数据的出处作品名、与所述画面图像的特征数据匹配程度符合第一要求的图像关联信息。

根据本公开实施例的另一方面,所述装置中,还包括:

人物作品确定模块,其被配置为,在查找到与所述目标特征数据之后,并基于所述画面图像的特征数据确定所述画面图像包含人物时,确定所述人物的出处作品名;

作品搜索模块,其被配置为,根据所述出处作品名进行搜索,获取与所述出处作品名相关联的作品关联信息;

相应的,所述视频关联信息包括所述作品关联信息。

根据本公开实施例的另一方面,所述装置还包括:

人物名称确定模块,其被配置为,在查找到与所述目标特征数据之后,并当基于所述画面图像的特征数据确定所述画面图像包含人物时,确定所述人物的人物名称;

名称搜索模块,其被配置为,根据所述人物名称进行搜索,获取与所述人物名称相关联的人物关联信息;

相应的,所述视频关联信息包括所述人物关联信息。

根据本公开实施例的另一方面,所述装置还包括:

非人物搜索模块,其被配置为,当基于所述画面图像的特征数据确定所述画面图像不包含人物对象时,搜索包含所述画面图像的第一视频数据和/或与所述画面图像的特征数据匹配程度符合第二要求的第二视频数据;

相应的,所述视频关联信息包括所述第一视频数据和/或第二视频数据。

根据本公开实施例的另一方面,还提供一种获取视频关联信息的处理装置,包括:

图像获取模块,其被配置为,确定播放视频的画面图像;

上传模块,其被配置为,将所述画面图像上传至服务器;

关联信息接收模块,其被配置为,接收服务器返回的与目标特征数据对应的视频关联信息,所述目标特征数据包括服务器在特征数据集合中查找到的与所述画面图像的特征数据相匹配的特征数据,所述特征数据基于对视频发布账户上传的视频数据确定的关键帧图像中进行特征提取得到;

展示模块,其被配置为,至少展示部分所述视频关联信息。

根据本公开实施例的另一方面,所述装置中,所述图像获取模块定播放视频的画面图像包括:

截取播放视频的画面得到画面图像;

或者,

截取的播放视频的画面图像,确定所述画面在播放视频中的播放时间标签;所述上传模块将所述画面上传至服务器包括:将所述播放时间标签上传至服务器。

根据本公开实施例的另一方面,所述装置中,所述视频关联信息包括下述之一:

所述画面图像中包含的账户信息、所述目标特征数据对应的视频数据的出处作品名、与所述画面图像的特征数据匹配程度符合第一要求的图像关联信息。

根据本公开实施例的另一方面,所述装置中,当服务器查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,则返回的视频关联信息包括下述信息之一:

根据所述人物的出处作品名进行搜索获取的作品关联信息;

根据所述人物的人物名称进行搜索获取的人物关联信息。

根据本公开实施例的另一方面,所述装置中,当服务器查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,则返回的视频关联信息包括服务器搜索出的下述信息之一:

包含所述画面图像的第一视频数据;

与所述画面图像的特征数据匹配程度符合第二要求的第二视频数据。

根据本公开实施例的另一方面,所述装置中,所述获取播放视频的画面图像包括:

基于触发提供的图像搜索界面元素截取画面图像。

根据本公开实施例的另一方面,所述装置中,所述画面图像包括:

播放完后视频之后展示的等待界面图像。

根据本公开实施例的另一方面,还提供一种电子设备,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,实现本公开中实施于客户端的任一项实施例所述的方法。

根据本公开实施例的另一方面,还提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行本公开中实施于客户端一侧的任一项实施例所述的方法。

根据本公开实施例的另一方面,还提供一种服务器,其特征在于,包括:

至少一个处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,以实现本公开中实施于服务器的任一项实施例所述的方法。

根据本公开实施例的另一方面,还提供一种存储介质,其特征在于,当所述存储介质中的指令由服务器的处理器执行时,使得所述服务器能够执行本公开中实施于服务器的任一项所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果:

服务器可以预先对视频发布账户上传的视频进行处理,截取视频中的关键帧图像,提取关键帧图像的特征数据后进行存储。当视频观看账户在客户端想要获取观看视频中的相关信息时,可以通过客户端截取正在播放的视频的画面图像,可以将画面图像或相应的播放时间标签上传给服务器。服务器可以确定出客户端播放视频的画面图像,根据画面图像的特征数据在预先存储的关键帧图像的特征数据集合中进行查找,获取与用户截取的画面图像相关联的信息,并将其返回给客户端。进而客户端可以展示根据画面图像搜索到的视频关联信息。通过本公开实施例方案,可以通过视频观看账户截取播放视频的画面内容,以图像的方式搜索视频关联信息,由于服务器预先存储了相关视频的特征数据,因此可以获取更加准确的搜索结果。本公开实施例方案,提供新的视频互动方式,可以由服务器自动识别画面图像并返回搜索结果,视频观看账户可以无需通过输入文字信息进行搜索,提高了客户端展示搜索结果的响应速度。并且还丰富了视频互动方式,提升了视频观看账户的体验。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种获取视频关联信息的处理方法的应用环境图。

图2是根据一示例性实施例示出的一种获取视频关联信息的处理方法的流程图。

图3是根据一示例性实施例示出的一种获取视频关联信息的处理方法的场景示意图。

图4是根据一示例性实施例示出的一种获取视频关联信息的处理方法的流程图。

图5是根据一示例性实施例示出的一种获取视频关联信息的处理方法应用场景图。

图6是根据一示例性实施例示出的一种获取视频关联信息的处理方法的流程图。

图7是根据一示例性实施例示出的一种获取视频关联信息的处理方法的流程图。

图8是根据一示例性实施例示出的一种获取视频关联信息的处理方法应用场景图。

图9是根据一示例性实施例示出的一种获取视频关联信息的处理方法的流程图。

图10是根据一示例性实施例示出的一种获取视频关联信息的处理装置的框图。

图11是根据一示例性实施例示出的一种获取视频关联信息的处理装置的框图。

图12是根据一示例性实施例示出的一种获取视频关联信息的处理装置的框图。

图13是根据一示例性实施例示出的一种获取视频关联信息的处理装置的框图。

图14是根据一示例性实施例示出的一种获取视频关联信息的处理装置的框图。

图15是根据一示例性实施例示出的一种电子设备的内部结构图。

图16是根据一示例性实施例示出的一种服务器的内部结构图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

本公开所提供的一种获取视频关联信息的处理方法,可以应用于如图1所示的应用环境中。其中,终端110可以通过网络连接与服务器120进行交互。服务器120可以向终端110发送视频数据,终端110接收到视频数据之后可以在本地生成视频并进行播放。视频可以在终端110一侧在打开视频播放应用(application,APP)时播放,也可以在由其他应用切换到视频播放应用激活视频播放窗口时进行播放。账户可以在终端110播放视频时(包括视频播放后的预览界面)截取视频播放内容的画面图像,将其发送给服务器120。服务器120可以根据画面图像的特征数据找到对应的视频关联信息,并返回给终端110。终端110可以全部或部分展示视频关联信息。这样,账户可以无需输入文字描述进行搜索,可以进行在终端110进行视频截图便可以搜索到播放视频的相关信息。本公开实施例中所述的终端110可以包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、可穿戴设备、车载设备、医疗设备等。本公开实施例中所述的服务器120可以包括但不限于独立的服务器、服务器集群、分布式处理服务器、区块链服务器、云计算平台等以及其组合。所述的服务器120可以理解为相对于客户端110一侧的一个或多个服务器,如可以包括进行图像特征提取和/或匹配的服务器,可以包括对图像中具体的内容识别理解的服务器,如识别出图像中的人物和出处。

一般的,播放视频的操作对象通常为登录所述视频播放应用的账户,其他的应用场景中也可以为观看视频的非登陆视频播放应用的账户,为便于描述,本公开的一些实施例中可以将在终端110执行操控行为的对象称为账户。所述的操控行为可以包括对终端110自身的操控,如按下实体按键、倾斜屏幕、摇一摇、插入耳机等,也可以包括对终端110界面的操控,如点击虚拟按钮、在触控屏上滑动、拖移界面元素等。

图2是根据一示例性实施例示出的一个获取视频关联信息的处理方法的流程图,如图2所示,所述方法可以用于服务器120中,可以包括以下步骤。

在步骤S202中,确定客户端的播放视频的画面图像。

所述确定客户端的播放视频的画面图像,可以包括根据客户端上传的画面图像或与画面图像相关的信息能够确定出视频观看账户在客户端截取的图像的处理。例如服务器可以获取账户在客户端截取的播放视频的画面图像,获取根据接收客户端上传的播放时间标签来确定画面图像。因此,一些实施例中,所述确定客户端的播放视频的画面图像可以包括:接收客户端上传的画面图像。一般的,视频可以视为是连续帧图像的序列集合。视频的播放可以是按照时序将视频数据中包含的帧图像按照一定的帧率展示。例如,以24帧/秒以上的帧率播放视频数据中的帧图像,此时人眼所看到的是连续的画面。所述的播放视频可以包括在客户端正在播放的视频,也可以包括视频播放完后的等待界面。例如视频播放完后包含视频数据的最后一帧图像的等待界面,视频观看账户此时截取的画面图像仍然属于本实施例所述的播放视频的画面图像。视频观看账户可以在视频播放期间通过物理按键、虚拟的界面元素、手势、感官操作(如眨眼等)等操控,实现客户端截取播放视频的画面图像。在客户端截取的视频播放的画面图像,可以为截取的视频播放窗口中图像,也可以为客户端上显示界面的图像,例如包含了显示界面顶部的电量信息、信号强度信息,显示界面中的菜单栏、工具按钮的图像。

客户端可以将在截取画面图像后自动上传给服务器,也可以基于视频观看账户的上传操控指令发送给服务器。例如,视频观看账户可以点击客户端界面的“开始识别”虚拟按钮之后将所述画面图像上传给服务器。客户端可以一次上传一个画面图像,也可以在截取多个播放视频的画面图像之后,一次上传多个画面图像至服务器。

在步骤S204中,在特征数据集合中查找与所述画面图像的特征数据相匹配的目标特征数据,所述特征数据集合包括从关键帧图像中提取得到的特征数据,所述关键帧图像基于视频发布账户上传的视频数据确定。

视频发布账户可以通过客户端或其他设备上传视频数据。服务器可以对视频发布账户上传的视频数据进行处理,截取视频数据中的若干帧图像作为关键帧图像。所述视频关键帧通常可以用于按照预设的方式提取其中的特征数据。例如,可以设置对视频数据每间隔250毫秒截取获得的帧图像作为关键帧图像。也可以采用其他的实施方式中从视频发布账户上传的视频数据中确定出关键帧图像。例如,可以将视频数据的第一帧图像(或封面图像)作为关键帧图像。

获取关键帧图像之后,可以对关键帧图像进行特征提取,确定关键帧图像的特征数据。所述特征数据通常可以包括表征图像自身属性和/或图像所表征内容的数据信息。图像的特征数据可以基于图像的颜色特征、纹理特征、形状特征、空间关系特征等的一个或多个特征提取得到。提取特征数据的算法可以包括但不限于尺度不变特征变换(Scaleinvariant feature Transform,SIFT)、方向梯度直方图(Histogram of OrientedGradient,HOG)、局部二值模式(Local Binary Pattern,LBP)等,以及基于卷积神经网络(Convolutional Neural Networks,CNN)等的机器学习算法。

可以理解的,所述的特征数据可以包括通过前述算法得到的数据,也可以包括对算法得到的数据做进一步处理得到的数据。例如,利用SIFT提取关键帧图像Pic_1的特征数据Date_1之后,再对特征数据Date_1进行编码得到的特征数据Date_11,然后存入到图像变化数据查找表Sheet_1中。或者在特征数据Date_1中添加关键帧图像Pic_1所属视频数据的出处作品名Work_1,以标识该特征数据Date_1是出自于出处作品名Work_1。

服务器存储的一个或多个视频数据的特征数据可以称为特征数据集合。所述特征数据集合可以存储于服务器的存储单元,也可以存储于独立于服务器的专用存储单元或者第三方的存储单元等。服务器可以在本地的存储单元进行查询/搜索,也可以从所述专用存储单元或第三方的存储单元等获取查询/搜索结果。例如服务器可以将前述图像编码数据查找表Sheet_1存储在服务器本地的存储单元。

同理,服务器可以采用与获取所述关键帧图像的特征数据相同的算法,对所述播放视频的画面图像进行特征提取,从而得到所述画面图像的特征数据。服务器可以在所述特征数据集合中查找与画面图像的特征数据相匹配的特征数据(为便于区分和描述,这里将查找到的相匹配的特征数据称为目标特征数据)。查找的方式可以包括将所述画面图像的特征数据与数据集合中的特征数据逐个比较,也可以采用基于预先构建的数据库索引进行查找。

所述的相匹配,可以包括匹配程度符合预设要求。例如,可以设置当所述画面图像的特征数据与特征数据集合中的某个特征数据的相似度达到90%以上时,可以确定所述画面图像的特征数据与该特征数据是相匹配的,可以将该特征数据作为目标特征数据。若查找到两个以上符合匹配程度符合预设要求的特征数据,一个实施方式中可以选择匹配程度最高的特征数据作为目标特征数据。当然,本公开不排除可以包括多个目标特征数据的实施方式,相应的,可以获取并返回各个目标特征数据的视频关联信息。

关于上述描述到的“出处作品名”需要理解的是,一般的,视频发布账户上传视频数据时(后),可以为该视频数据命名。而在一些应用场景中,视频发布账户为视频数据所命名的名称与视频数据所出自的作品的名称可能并不同。例如视频发布账户上传的短视频为电视剧《XXXXA》的片段,则可以视频发布账户可能将该短视频命名为“不得不看的国产神剧”。本公开的一些实施例中所述的出处作品名可以表示视频数据所出自的作品的来源,在确定有需要时,可以返回出处出品名的视频关联信息,提供更加精准的搜索结果。如账户上传的短视频为电视剧《XXXXA》的片段,那么出处作品名可以为“XXXXA”。所述出处作品名可以设置为在视频发布账户上传视频数据时(后)进行填写,也可以由服务器或第三方处理服务器对视频数据进行视频后确定。

在步骤S206中,当查找到所述目标特征数据时,获取与所述目标特征数据对应的视频关联信息。

所述的视频关联信息可以包括与目标视频数据对象的视频数据相关的信息内容。具体的可以包括与视频数据自身相关的信息,如视频数据所对应的出处作品名、导演、主演、上映时间等,也可以包括与视频数据中的内容相关的信息,如该视频数据的导演的其他影视作品,或者视频数据中有中国结,则视频关联信息可以包括中国结的制作、中国结的寓意等相关的信息。其中,一些视频关联信息可以基于视频发布账户上传视频数据时(后)填写的信息确定,例如,视频发布账户上传视频时填写的演员名字、出处作品名等。

服务器若在特征数据集合中查找到与画面图像的特征数据相匹配的目标特征数据,则可以获取该目标特征数据相对应的视频关联信息。

在步骤S208中,将所述视频关联信息发送至所述客户端,所述视频关联信息用于在客户端展示。

服务器可以将获取得到的视频关联信息全部或部分返回至客户端。客户端接收到服务器返回的视频关联信息后,可以作为视频观看账户在客户端截取的画面图像的搜索结果进行展示。

本公开提供的一种搜索视频关联信息的处理方法,可以预先对视频发布账户上传的视频进行处理,截取视频中的关键帧图像,提取关键帧图像的特征数据后进行存储。当视频观看账户在客户端想要获取观看视频中的相关信息时,可以通过客户端截取正在播放的视频的画面图像,然后上传给服务器。这样服务器可以根据客户端上传的画面图像的特征数据在预先存储的关键帧图像的特征数据集合中进行查找,获取与用户截取的画面图像相关联的信息,并将其返回给客户端。进而客户端可以展示根据画面图像搜索到的视频关联信息。通过本公开实施例方案,可以通过视频观看账户截取播放视频的画面内容,以图像的方式搜索视频关联信息,由于服务器预先存储了相关视频的特征数据,因此可以获取更加准确的搜索结果。本公开实施例方案,提供了新的视频互动方式,可以由服务器自动识别画面图像并返回搜索结果,视频观看账户可以无需通过输入文字信息进行搜索,提高了客户端展示搜索结果的响应速度。并且还丰富了视频互动方式,提升了视频观看账户的体验。

另一些实施例中,所述确定客户端的播放视频的画面图像可以包括:接收客户端上传的播放时间标签,根据所述时间标签获取的视频数据的画面图像。

由于播放时间标签的数据量通常远小于图像数据,客户端可以发送播放时间标签,可以不用发送画面图像给服务器,因此,可以减少交互的数据流量,提高客户端发送速度,减少响应时间。

如前所实施例所述,一些实施场景中,视频观看账户可以截取正在播放中的视频的图像,然后上传给服务器。另一些实施场景中,视频完后可以在视频播放页面停留一时间,并持续展刚刚播放的视频的最后一帧。此时,视频观看账户可以对视频播放完之后的等待界面进行截图,将其上传给服务器。相应的,服务器一侧在处理视频发布账户上传的视频数据时,也可以将所述视频数据对应的最后一帧图像作为关键帧图像。当然,本公开的其他实施方式中,也可以将所述视频数据对应的第一帧图像作为关键帧图像,或者以其他指定的帧图像作为关键帧图像。因此,本公开的另一个示例性实施例中,在步骤S204中,所述视频数据的关键帧图像可以包括:

所述视频数据中指定位置处的帧图像。

那么,相应的,在本公开的另一个实施例中,在步骤S202中,客户端上传的画面图像也可以包括客户端播放完后视频之后展示的等待界面图像。

所述指定位置处可以包括前述所述的最后一帧或第一帧或其他指定的帧图像位置等。本公开实施例中,在客户端播放完后视频数据之后展示的等待界面图像,通常包括客户端刚刚播放完的视频中所包含的图像。具体的一个实施示例可以如图3所示,客户端的视频播放应用播放完视频V1后可以在视频播放界面显示倒计时5秒,在这5秒的等待时间内在等待界面持续展示刚刚播放的视频的最后一帧图像Pic_last,并可以同时展示“即将进入下一视频”的信息的操控按钮。此时,视频观看账户可以对视频播放完之后的等待界面进行截图,获取画面图像Scr_1,将其上传给服务器。其中,截取的画面图像Scr_1可以包括所述最后一帧图像Pic_last,也可以包括其他信息。即,所述画面图像可以包括播放完后视频之后展示的等待界面图像。如视频观看账户通过按住实体键或虚拟截图按钮截取的客户端整个显示界面的图像,可以包含了显示界面顶部的电量信息、信号强度信息、显示界面中的工具按钮等。这样,视频观看账户若未能在视频播放中途截取到画面图像,还可以截取在播放完之后展示的等待界面图像,从而减少视频观看账户在例如忘记截取,或者不知道视频时长等情况下重新播放视频导致的操控步骤和整体搜索处理时间(为了截取画面图像执行的重新播放视频的时间)。

本公开的另一个示例性实施例中,在步骤S206中,所述视频关联信息可以包括下述之一:

所述画面图像中目标对象的账户信息、所述目标特征数据对应的视频数据的出处作品名、与所述画面图像的特征数据匹配程度符合第一要求的图像关联信息。

客户端播放的视频种类可以包括多种类型,视频中也可以包括各种各样的对象,如关于人物的视频、关于动态的视频、关于汽车的视频等。那么截取的画面图像也可能包括一个或多个一种以上的目标对象(本公开的一些实施例中,可以将截取的画面图像中所包含的对象称为目标对象)。所述的目标对象可以预先根据视频数据的类型标签或识别的图像内容等进行定义、设置或筛选等处理。例如,播放的是电视剧片段(可以根据视频发布账户上传视频数据时填写的备注信息或选择的标签进行确定),用户截取的画面图像中包含了人物、湖泊、地标等多个对象,这样情况下可以根据播放的视频类型标签等预测视频观看账户更有可能是想要获取电视剧的名字或人物的真实名字(包括艺名)。可以设置目标对象为人物,获取视频关联信息时可以优先获取与画面图像中所包含的人物相关的视频关联信息。

一般的,视频观看账户截取的播放视频的图像,通常是包含了视频观看账户重点关注或感兴趣的视频内容。本实施例返回的视频关联信息可以包括画面图像中目标对象的账户信息,可以更加符合视频观看账户的预期搜索结果,使得搜索结果更加准确、可靠。本公开一些实施例中所述的图像关联信息可以指与所述画面图像相关联的信息。所述的匹配程度可以采用基于画面图像的特征数据与所述特征数据集合中的某个特征数据的相似度确定,也可以与特征数据集合或其他数据信息中包含的文字、图片、视频等信息的特征的相似度确定。所述的第一要求可以自定义设置,如匹配度达到90%。匹配程度符合第一要求的图像关联信息若与其他视频关联信息相冲突或重合,则可以预先设置相应的处理策略。例如可以设置可以为除目标对象、出处作品名之外的其他信息内容,如画面图像中所展示场景的取景地。

类似的,返回视频观看账户所观看的视频的出处作品名或者与所述画面图像的特征数据匹配程度符合第一要求的图像关联信息,同样更加符合视频观看账户的预期搜索结果,使得搜索结果更加准确、可靠,在此不做赘述。

本公开的另一些实施例提供了视频中包含人物的相关信息内容搜索的技术方案。图4是根据一示例性实施例示出的一个获取视频关联信息的处理方法的流程图,如图4所示,本公开的另一示例性实施例中,当查找到与所述目标特征数据之后,还可以包括:

S402:当基于所述画面图像的特征数据确定所述画面图像包含人物时,确定所述人物的出处作品名。

所述的人物通常的可以包括自然人,如张三、李四等。但本公开的一些实施例中,所述的人物也可以是机器人、虚拟人物等非自然人,也可以是改造人、变种人等。这些人物可以是一些影视作品的角色。例如科幻电影中来自未来的机器人Mxx_007、虚拟歌姬LuoTYxx等。服务器可以根据画面图像的特征数据识别出画面图像中是否包含人物,例如可以采用特征脸算法(Eigenface)识别图像是否包含人脸,进而确定是否包含人物图像。若确定画面图像包含人物,则可以基于画面图像对应的目标特征数据的视频数据获取作品出处名。

S404:根据所述出处作品名进行搜索,获取与所述出处作品名相关联的作品关联信息。

相应的,所述视频关联信息可以包括所述作品关联信息。

获得作品出处名之后,服务器可以利用作品出处名进行进一步搜索,获取与该作品出处名相关联的信息(在此可以成为作品关联信息)。例如服务器对画面图像Pic_2识别后确定包含人物Peo_2,并确定画面图像Pic_2的视频数据的出自电视剧《XXXXA》。服务器可以在作品库搜索“XXXXA”,得到与电视剧《XXXXA》的其他视频片段、演员名字等作品关联信息。这些作品关联信息可以作为视频关联信息或者视频关联信息的一部分。

在包含人物的视频的相关信息内容搜索场景中,若视频观看对象对观看的视频感兴趣,则可以对该人物的出处作品名进一步搜索,深度挖掘与观看的视频相关的其他信息内容,然后将其作为一种视频关联信息返回给客户端进行展示。这样,以出处作品名作为关键词进一步搜索视频关联信息,可以返回给视频观看账户更多、更准确的搜索结果,同时也可以满足视频观看账户的预期搜索需求,节省搜索次数和搜索时间。

图5是根据一示例性实施例示出的一个获取视频关联信息的处理方法的流程图,如图5所示,本公开的另一示例性实施例中,当查找到与所述目标特征数据之后,还包括:

S502:基于所述画面图像的特征数据确定所述画面图像包含人物时,确定所述人物的人物名称。

所述的人物名称通常可以包括人物的真实名称,如张三、李四,当然,也可以是人物的艺名,或被领域内约定俗成或广泛知晓的名称。例如著名科幻电影《XXXXM》中来自未来的机器人的人物名称可以为“M_007”,某音乐制作公司推出的虚拟歌姬的人物名称可以为“LuoTY”等。服务器可以根据画面图像的特征数据识别出画面图像中是否包含人物,例如可以采用特征脸算法(Eigenface)识别图像是否包含人脸,进而确定是否包含人物图像。若确定画面图像包含人物时,则可以基于画面图像对应的目标特征数据的视频数据获取人物名称。

S504:根据所述人物名称进行搜索,获取与所述人物名称相关联的人物关联信息。

相应的,所述视频关联信息包括所述人物关联信息。

获得人物名称之后,服务器可以利用人物名称进行进一步搜索,获取与该人物名称相关联的信息(在此可以成为人物关联信息)。例如服务器对画面图像Pic_2识别后确定包含人物Peo_2,也可以同时确定画面图像Pic_2的视频数据的出自电视剧《XXXXA》。服务器可以搜索“Peo_2”,得到与Peo_2的相关的信息,如Peo_2的在视频播放应用的账号信息、直播间信息、参与的其他影视作品的视频片段等。这些人物关联信息可以作为视频关联信息或者视频关联信息的一部分。

在包含人物的视频的相关信息内容搜索场景中,若视频观看对象对观看的视频中的人物感兴趣,则可以对该人物的人物名称进一步搜索,深度挖掘与人物名称相关的其他信息内容,然后将其作为一种视频关联信息返回给客户端进行展示。这样,以人物名称作为关键词进一步搜索视频关联信息,可以返回给视频观看账户更多、更准确的搜索结果,同时也可以满足视频观看账户的预期搜索需求,节省搜索次数和搜索时间。

当然,一些实施例中,视频关联信息可以包括所述的图像关联信息、作品关联信息、人物关联信息中的多种信息。当截取的播放视频的画面图像中含有人物时,在客户端展示的结果可以如图6所示,可以包括人物关联信息“张三的短视频”、“李四的直播”等的人物关联信息,也可以包括“《XXXXA》的花絮”等的作品关联信息。

图7是根据一示例性实施例示出的一个获取视频关联信息的处理方法的流程图,如图7所示,本公开的另一示例性实施例中,当查找到与所述目标特征数据之后,还可以包括:

702:当基于所述画面图像的特征数据确定所述画面图像不包含人物对象时,搜索包含所述画面图像的第一视频数据和/或与所述画面图像的特征数据匹配程度符合第二要求的第二视频数据。

相应的,所述视频关联信息可以包括所述第一视频数据和/或第二视频数据。

对于不含人物的视频,服务器可以利用画面图像的特征数据进行搜索。搜索的内容可以包括包含所述画面图像的第一视频数据,可以包括与所述画面图像的特征数据匹配程度符合第二要求的第二视频数据。所述的第二要求具体的可以参照前述第一要求的描述。所述第二要求可以与第一要求的取值可以相同也可以不同。后台图像理解系统利用服务器的关键帧数据特征数据编码查找表,识别出包含该图像或高度匹配的视频

例如一个示例场景中,客户端播放的是关于中国结的视频片段,截取的画面图像Pic_3是不包含人物的中国结图像。服务器识别出画面图像Pic_3中不包含人物,则在所述特征数据集合中找出包含画面图像Pic_3的第一视频数据。若查找不到所述第一视频数据,则可以在所述特征数据集合中或其他数据单元中查找与画面图像Pic_3的特征数据匹配程度最高且匹配程度大于50%的三个第二视频数据。当然,也可以在查找到第一视频数据的情况下,查找获取第二视频数据。所述视频关联数据可以同时包括所述第一视频数据和第二视频数据。

当然,在不包含人物的视频的场景下,如画面截图不包含人物,返回的视频关联信息除可以包括所诉第一视频据或第二视频数据外,还可以包括其他图片或文字信息。如图8所示的一个实施例的应用场景示意图中,当截取的画面图像不包含人物时,客户端展示的视频关联信息的界面内容中可以包括与中国结相关的文字信息内容,如“中国结的寓意”的文字介绍页面链接,或与中国结相关的周边视频,如“中国结制作”、“视频1”等。

在不包含人物的视频的相关信息内容搜索场景中,若视频观看对象对观看的视频中的目标对象感兴趣,则可以对截取的图像内容做进一步搜索,深度挖掘与画面图像相关的视频关联信息,可以返回给视频观看账户更多、更准确的搜索结果,同时也可以满足视频观看账户的预期搜索需求,节省搜索次数和搜索时间。

参考本公开可以用于服务器一侧的方法实施例描述,本公开还提供可以用于客户端110一侧的一种获取视频关联信息的处理方法。具体的一个示例性实施例如图9所示,所述方法可以包括:

S902:确定播放视频的画面图像;

S904:将所述画面图像上传至服务器;

S906:接收服务器返回的与目标特征数据对应的视频关联信息,所述目标特征数据包括服务器在特征数据集合中查找到的与所述画面图像的特征数据相匹配的特征数据,所述特征数据基于对视频发布账户上传的视频数据的关键帧图像中进行特征提取得到;

S908:至少展示部分所述视频关联信息。

视频观看账户可以截取播放视频的画面,获取画面图像。然后可以将一张或多张画面图像上传给服务器。服务器可以对画面图像进行特征提取,并与存储的特征数据集合中的特征数据进行匹配,获获取目标特征数据。这样,服务器可以根据目标数据获取视频关联信息,并返回给客户端。客户端可以全部展示所述视频关联信息,也可以进行筛选处理或添加其他信息年后进行展示。这样,视频观看账户在客户端观看视频时,可以通过截取画面图像来搜索视频相关联的信息,可以由服务器一侧自动识别画面图像并返回搜索结果,,可以获得更快、更准确的搜索结果。通过本公开实施例方案,客户端在与视频观看账户的交互中,提供新的交互方式,视频观看账户可以无需通过输入文字信息进行搜索,提高了客户端展示搜索结果的响应速度的同时,也减少了视频观看账户通过文字信息搜索的操作步骤,实现更加快速、便捷的视频关联信息搜索。

参考本公开可以用于服务器一侧的方法实施例描述,本公开还提供可以用于客户端110一侧的另一种获取视频关联信息的处理方法。具体的一个示例性实施例中,所述确定播放视频的画面图像包括:

截取播放视频的画面得到画面图像;

或者,

截取的播放视频的画面图像,确定所述画面在播放视频中的播放时间标签,所述将所述画面上传至服务器包括:将所述播放时间标签上传至服务器。

参考本公开可以用于服务器一侧的方法实施例描述,本公开还提供可以用于客户端110一侧的另一种获取视频关联信息的处理方法。具体的一个示例性实施例中,所述视频关联信息包括下述之一:

所述画面图像中包含的目标对象的账户信息、所述目标特征数据对应的视频数据的出处作品名、与所述画面图像的特征数据匹配程度符合第一要求的图像关联信息。

参考本公开可以用于服务器一侧的方法实施例描述,本公开还提供可以用于客户端110一侧的另一种获取视频关联信息的处理方法。具体的一个示例性实施例中,当服务器查找到与所述目标特征数据之后,还可以包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,则返回的视频关联信息包括下述信息之一:

根据所述人物的出处作品名进行搜索获取的作品关联信息;

根据所述人物的人物名称进行搜索获取的人物关联信息。

参考本公开可以用于服务器一侧的方法实施例描述,本公开还提供可以用于客户端110一侧的另一种获取视频关联信息的处理方法。具体的一个示例性实施例中,当服务器查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,则返回的视频关联信息至少包括服务器搜索出的下述信息之一:

包含所述画面图像的第一视频数据;

与所述画面图像的特征数据匹配程度符合第二要求的第二视频数据。

参考本公开可以用于服务器一侧的方法实施例描述,本公开还提供可以用于客户端110一侧的另一种获取视频关联信息的处理方法。具体的一个示例性实施例中,所述获取播放视频的画面图像可以包括:

基于触发提供的图像搜索界面元素截取画面图像。

本实施例中,可以在客户端设置图像搜索界面元素。所述图像搜索界面元素可以是一种展示在显示界面的页面元素,如插件、控件、开关等,可以用于控制视频播放应用或客户端的行为。在本实施例中,图像搜索界面元素可以被触发时,可以执行截取播放视频的画面图像的动作,获取画面图像,进而实现后续的通过图像来搜索视频关联信息。图像搜索界面元素可以是临时性的,例如播放视频时显示出图像搜索界面元素。也可以是常驻在客户端的显示界面中,视频观看账户可以随时截取画面图像。一个示例性实施方式中,图像搜索界面元素可以为图像搜索按钮,在播放视频中,视频观看账户可以点击该虚拟的图像搜索按钮,截取播放视频的画面图像。

上述可以用于客户端一侧的方法实施例,具体实现的相关步骤可以参考前述服务器一侧相关实施例的描述。本实施例中可以提供专门用于截取播放视频画面图像的图像搜索界面,便于视频观看账户快速截取画面图像,进而快速进行基于图像的视频关联信息搜索,交互方式更加简单、便捷,并整体上减少了视频关联信息的获取时间,提高数据信息的获取效率。

可以理解的是,本说明书中上述客户端或服务器一侧方法的各个实施例均采用递进的方式描述,各个实施例之间相同/相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。相关之处参见其他方法实施例的描述说明即可。

应该理解的是,虽然附图2至附图9中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,附图2至附图9中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的步骤或者阶段的至少一部分轮流或者交替地执行。

基于上述所述的视频媒介的页面数据处理实施例的描述,本公开还提供获取视频关联信息的处理装置。所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思,本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参见前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。

图10是根据一示例性实施例示出的一种获取视频关联信息的处理装置框图。所述装置可以为服务器,如前述的服务器120。具体的可以参照图10,该装置100可以包括图像确定模块102,特征匹配模块104,信息查找模块106,发送模块108。

所述图像确定模块102被配置为,确定客户端的播放视频的画面图像;

所述特征匹配模块104被配置为,在特征数据集合中查找与所述画面图像的特征数据相匹配的目标特征数据,所述特征数据集合包括从关键帧图像中提取得到的特征数据,所述关键帧图像基于视频发布账户上传的视频数据确定;

所述信息查找模块106被配置为,当查找到所述目标特征数据时,获取与所述目标特征数据对应的视频关联信息;

所述发送模块108被配置为,将所述视频关联信息发送至所述客户端,所述视频关联信息用于在客户端展示。

在一示例性实施例中,所述图像确定模块确定客户端的播放视频的画面图像包括:

接收客户端上传的画面图像,

或者,

接收客户端上传的播放时间标签,根据所述时间标签获取的视频数据的画面图像。

在一示例性实施例中,所述特征匹配模块104中的视频数据的关键帧图像包括:

所述视频数据中指定位置处的帧图像;

所述画面图像包括客户端播放完后视频之后展示的等待界面图像。

在一示例性实施例中,所述信息查找模块106中获取的视频关联信息包括下述之一:

所述画面图像中目标对象的账户信息、所述目标特征数据对应的视频数据的出处作品名、与所述画面图像的特征数据匹配程度符合第一要求的图像关联信息。

一示例性实施例如图11所示,图11是根据一示例性实施例示出的一种获取视频关联信息的处理装置框图。参照图11,所述装置还可以包括:

人物作品确定模块1102,其被配置为,在查找到与所述目标特征数据之后,并基于所述画面图像的特征数据确定所述画面图像包含人物时,确定所述人物的出处作品名;

作品搜索模块1104,其被配置为,根据所述出处作品名进行搜索,获取与所述出处作品名相关联的作品关联信息;

相应的,所述视频关联信息包括所述作品关联信息。

一示例性实施例如图12所示,图12是根据一示例性实施例示出的一种获取视频关联信息的处理装置框图。参照图12,所述装置还可以包括:

人物名称确定模块1202,其被配置为,在查找到与所述目标特征数据之后,并当基于所述画面图像的特征数据确定所述画面图像包含人物时,确定所述人物的人物名称;

名称搜索模块1204,其被配置为,根据所述人物名称进行搜索,获取与所述人物名称相关联的人物关联信息;

相应的,所述视频关联信息包括所述人物关联信息。

一示例性实施例如图13所示,图13是根据一示例性实施例示出的一种获取视频关联信息的处理装置框图。参照图13,所述装置还可以包括:

非人物搜索模块1302,其被配置为,当基于所述画面图像的特征数据确定所述画面图像不包含人物对象时,搜索包含所述画面图像的第一视频数据和/或与所述画面图像的特征数据匹配程度符合第二要求的第二视频数据;

相应的,所述视频关联信息包括所述第一视频数据和/或第二视频数据。

图14是根据一示例性实施例示出的另一种获取视频关联信息的处理装置框图。所述装置可以为客户端120,具体的可以参照图14,该装置200可以包括:

图像获取模块1402,其被配置为,确定播放视频的画面图像;

上传模块1404,其被配置为,将所述画面图像上传至服务器;

关联信息接收模块1406,其被配置为,接收服务器返回的与目标特征数据对应的视频关联信息,所述目标特征数据包括服务器在特征数据集合中查找到的与所述画面图像的特征数据相匹配的特征数据,所述特征数据基于对视频发布账户上传的视频数据确定的关键帧图像中进行特征提取得到;

展示模块1408,其被配置为,至少展示部分所述视频关联信息。

一示例性实施例示出的另一种获取视频关联信息的处理装置中,所述图像获取模块定播放视频的画面图像包括:

截取播放视频的画面得到画面图像;

或者,

截取的播放视频的画面图像,确定所述画面在播放视频中的播放时间标签;所述上传模块将所述画面上传至服务器包括:将所述播放时间标签上传至服务器。

一示例性实施例示出的另一种获取视频关联信息的处理装置中,所述视频关联信息包括下述之一:

所述画面图像中包含的账户信息、所述目标特征数据对应的视频数据的出处作品名、与所述画面图像的特征数据匹配程度符合第一要求的图像关联信息。

一示例性实施例示出的另一种获取视频关联信息的处理装置中,当服务器查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,则返回的视频关联信息包括下述信息之一:

根据所述人物的出处作品名进行搜索获取的作品关联信息;

根据所述人物的人物名称进行搜索获取的人物关联信息。

一示例性实施例示出的另一种获取视频关联信息的处理装置中,当服务器查找到与所述目标特征数据之后,还包括:

当基于所述画面图像的特征数据确定所述画面图像包含人物时,则返回的视频关联信息包括服务器搜索出的下述信息之一:

包含所述画面图像的第一视频数据;

与所述画面图像的特征数据匹配程度符合第二要求的第二视频数据。

一示例性实施例示出的另一种获取视频关联信息的处理装置中,所述获取播放视频的画面图像包括:

基于触发提供的图像搜索界面元素截取画面图像。

一示例性实施例示出的另一种获取视频关联信息的处理装置中,所述画面图像包括:

播放完后视频之后展示的等待界面图像。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

图15是根据一示例性实施例示出的一种获取视频关联信息处理设备Z00的框图。所述设备Z00可以是视频观看账户一侧的电子设备,例如,设备Z00可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图15,设备Z00可以包括以下一个或多个组件:处理组件Z02、存储器Z04、电源组件Z06、多媒体组件Z08、音频组件Z10、输入/输出(I/O)的接口Z12、传感器组件Z14以及通信组件Z16。

处理组件Z02通常控制设备Z00的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件Z02可以包括一个或多个处理器Z20来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件Z02可以包括一个或多个模块,便于处理组件Z02和其他组件之间的交互。例如,处理组件Z02可以包括多媒体模块,以方便多媒体组件Z08和处理组件Z02之间的交互。

存储器Z04被配置为存储各种类型的数据以支持在设备Z00的操作。这些数据的示例包括用于在设备Z00上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器Z04可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(12RAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。

电源组件Z06为设备Z00的各种组件提供电力。电源组件Z06可以包括电源管理系统,一个或多个电源,及其他与为设备Z00生成、管理和分配电力相关联的组件。

多媒体组件Z08包括在所述设备Z00和对象之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自对象的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件Z08包括一个前置摄像头和/或后置摄像头。当设备Z00处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件Z10被配置为输出和/或输入音频信号。例如,音频组件Z10包括一个麦克风(MIC),当设备Z00处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器Z04或经由通信组件Z16发送。在一些实施例中,音频组件Z10还包括一个扬声器,用于输出音频信号。

I/O接口Z12为处理组件Z02和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件Z14包括一个或多个传感器,用于为设备Z00提供各个方面的状态评估。例如,传感器组件Z14可以检测到设备Z00的打开/关闭状态,组件的相对定位,例如所述组件为设备Z00的显示器和小键盘,传感器组件Z14还可以检测设备Z00或设备Z00一个组件的位置改变,对象与设备Z00接触的存在或不存在,设备Z00方位或加速/减速和设备Z00的温度变化。传感器组件Z14可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件Z14还可以包括光传感器,如CMO12或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件Z14还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件Z16被配置为便于设备Z00和其他设备之间有线或无线方式的通信。设备Z00可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件Z16经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件Z16还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。

在示例性实施例中,设备Z00可以被一个或多个应用专用集成电路(A12IC)、数字信号处理器(D12P)、数字信号处理设备(D12PD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述可以实施于客户端一侧的获取视频关联信息的处理方法。

需要说明的是,上述设备Z00可以是视频观看对象一侧电子设备的示例性描述,在一些终端产品中,可以不必包含上述全部组件或某个组件下的全部功能单元。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器Z04,上述指令可由设备Z00的处理器Z20执行以完成上述可以实施于客户端一侧的获取视频关联信息的处理方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图16是根据一示例性实施例示出的一种获取视频关联信息的处理设备S00的框图。例如,设备S00可以为一个或多个服务器的组合,例如可以包括进行画面图像或关键帧图像特征提取和/或匹配的服务器,也可以包括对画面图像中的内容识别理解的服务器,如识别出图像中的人物和出处,也可以包括对识别出的画面图像中的内容做进行一步搜索的服务器,例如以识别出的出处作品名或人物名称为关键词进行进一步搜索的服务器。参照图16,设备S00包括处理组件S20,其进一步包括一个或多个处理器,以及由存储器S22所代表的存储器资源,用于存储可由处理组件S20的执行的指令,例如应用程序。存储器S22中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件S20被配置为执行指令,以执行上述可以实施于服务器的获取视频关联信息的处理方法。

设备S00还可以包括一个电源组件S24被配置为执行设备S00的电源管理,一个有线或无线网络接口S26被配置为将设备S00连接到网络,和一个输入输出(I/O)接口S28。设备S00可以操作基于存储在存储器S22的操作系统,例如Window12 12erver,Mac O12X,Unix,Linux,FreeB12D或类似。

在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器S22,上述指令可由设备S00的处理器执行以完成上述可以实施于服务器的获取视频关联信息的处理方法。存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。以及其它实现方式的可读存储介质,例如量子存储、石墨烯存储等等。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

需要说明的,上述所述的装置、设备、服务器等根据方法实施例的描述还可以包括其它的实施方式,具体的实现方式可以参照相关方法实施例的描述。同时各个方法以及装置、设备、服务器实施例之间特征的相互组合组成的新的实施例仍然属于本公开所涵盖的实施范围之内,在此不作一一赘述。

为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或描述的装置或单元相互之间的耦合、通信连接等可以是直接和/或间接耦合/连接的方式实现,可以是通过一些标准或自定义的接口、协议等,是电性,机械或其它的形式实现。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。

相关技术
  • 获取视频关联信息的处理方法、装置、电子设备、服务器
  • 视频关联信息的处理方法、装置,服务器及存储介质
技术分类

06120112804876