掌桥专利:专业的专利平台
掌桥专利
首页

视频数据的处理、显示方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 11:52:33


视频数据的处理、显示方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及计算机技术领域,尤其涉及一种视频数据的处理、显示方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的发展,人们的日常生活越来越依赖电子设备。不论是购物、支付和社交等均可以通过电子设备实现。随之而来的是新视频互动方式——互动视频,而视频广告则是互动视频中比较重要的一种类型。

视频广告是一种通过以视频形式介绍产品的广告方式。现有的视频广告只是向受众推送广告信息,无法实现与受众的互动。尤其在受众想要观看更进一步的细节信息时,只能通过手中的工具如手机或电脑根据收看的视频广告的信息进行查找。

可见,现有的视频广告方式缺乏与受众的互动,难以向受众提供了解详细信息的途径。

发明内容

有鉴于此,本发明实施例提供一种视频数据的处理方案,以解决上述部分或全部问题。

根据本发明实施例的第一方面,提供了一种视频数据的处理方法,包括:获取待播放的视频以及链接数据,其中,所述视频中包括预设关键词的信息,所述链接数据与所述预设关键词指示的目标内容对象对应;在所述视频的播放过程中,对播放的所述视频的至少部分图像帧和/或至少部分音频数据进行所述预设关键词的信息的检测;若根据检测结果确定检测到所述预设关键词的信息,则基于播放的所述视频显示对应的所述链接数据。

根据本发明实施例的第二方面,提供了一种显示方法,包括:在视频播放过程中,当检测到预设关键词的信息时,在视频播放界面中显示与检测到的预设关键词的信息指示的目标内容对象对应的链接数据;获取对视频播放界面中显示的目标内容对象对应的链接数据的触发操作;根据所述触发操作,从所述视频播放界面跳转至所述链接数据所链接的、用于显示所述目标内容对象的页面。

根据本发明实施例的第三方面,提供了一种视频数据的处理方法,其特征在于,包括:获取并播放直播视频流;在所述直播视频流的播放过程中,对所述直播视频流中的图像帧进行内容检测,和/或,对所述直播视频流中的音频进行内容检测,以获取所述直播视频流中包含的内容对象;查找所述内容对象是否存在对应的链接数据;将存在对应的链接数据的所述内容对象作为目标内容对象,在所述直播视频流的播放界面中显示与所述目标内容对象对应的链接数据。

根据本发明实施例的第四方面,提供了一种视频数据的处理装置,包括:第一获取模块,用于获取待播放的视频以及链接数据,其中,所述视频中包括预设关键词的信息,所述链接数据与所述预设关键词指示的目标内容对象对应;第一检测模块,用于在所述视频的播放过程中,对播放的所述视频的至少部分图像帧和/或至少部分音频数据进行所述预设关键词的信息的检测;第一显示模块,用于若根据检测结果确定检测到所述预设关键词的信息,则基于播放的所述视频显示对应的所述目标内容对象的链接数据。

根据本发明实施例的第五方面,提供了一种显示装置,包括:视频播放模块,用于在视频播放过程中,当检测到预设关键词的信息时,在视频播放界面中显示与检测到的预设关键词的信息指示的目标内容对象对应的链接数据;触发获取模块,用于获取对视频播放界面中显示的目标内容对象对应的链接数据的触发操作;界面跳转模块,用于根据所述触发操作,从所述视频播放界面跳转至所述链接数据所链接的、用于显示所述目标内容对象的页面。

根据本发明实施例的第六方面,提供了一种视频数据的处理装置,包括:第二获取模块,用于获取并播放直播视频流;第二检测模块,用于在所述直播视频流的播放过程中,对所述直播视频流中的图像帧进行内容检测,和/或,对所述直播视频流中的音频进行内容检测,以获取所述直播视频流中包含的内容对象;匹配模块,用于查找所述内容对象是否存在对应的链接数据;第二显示模块,用于将存在对应的链接数据的所述内容对象作为目标内容对象,在所述直播视频流的播放界面中显示与所述目标内容对象对应的链接数据。

根据本发明实施例的第七方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如第一方面或第三方面所述的视频数据的处理方法对应的操作或者执行如第二方面的显示方法对应的操作。

根据本发明实施例的第八方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面或第三方面所述的视频数据的处理方法或者实现如第二方面的显示方法。

根据本发明实施例提供的视频数据的处理方案,用于推广目标内容对象的视频中包括预设关键词的信息,在视频的播放过程中,检测到预设关键词的信息时,基于播放的视频展示与预设关键词的信息指示的目标内容对象对应的链接数据。这样不仅可以实现通过视频为链接数据对应的页面引流,而且可以很好地与受众进行互动,为受众提供了解目标内容对象的详细信息的途径。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。

图1a为根据本发明实施例一的一种视频数据的处理方法的步骤流程图;

图1b为根据本发明实施例一的一种使用场景的终端设备与服务端交互的示意图;

图1c为根据本发明实施例一的一种使用场景的终端设备中界面变化的示意图;

图2a为根据本发明实施例二的一种视频数据的处理方法的步骤流程图;

图2b为根据本发明实施例二的一种使用场景的界面变化示意图;

图3为根据本发明实施例三的一种显示方法的步骤流程图;

图4a为根据本发明实施例四的一种视频数据的处理的步骤流程图;

图4b为根据本发明实施例四的一种使用场景的界面变化示意图;

图5为根据本发明实施例五的一种视频数据的处理装置的结构框图;

图6为根据本发明实施例六的一种显示装置的结构框图;

图7为根据本发明实施例七的一种视频数据的处理装置的结构框图;

图8为根据本发明实施例八的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明实施例一部分实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

以应用场景为视频广告为例,现有技术中,一种通过视频进行广告的方式是,在网页或者应用程序的界面中播放预先拍摄的广告视频,供受众(即观看该广告视频的人)观看。这样广告方式存在的问题在于:一方面需要预先针对某一需要推广的产品专门拍摄视频,导致广告的制作时间长、成本高;另一方面由于广告视频的时长通常较短,导致能够介绍的产品信息有限,受众如果想要了解产品的更多细节只能根据产品的名称、型号等信息自行搜索了解,导致互动性差。

实施例一

参照图1a,示出了根据本发明实施例一的一种视频数据的处理方法的步骤流程图。

在本实施例中,以终端设备执行该视频数据的处理方法为例,对视频数据的处理方法进行说明。当然,在其他实施例中,视频数据的处理方法也可以由服务端(服务端包括服务器或云端)执行,本实施例对此不作限制。

其中,视频数据的处理方法包括以下步骤:

步骤S102:获取待播放的视频以及链接数据,其中,视频中包括预设关键词的信息,链接数据与预设关键词指示的目标内容对象对应。

待播放的视频可以是用于对目标内容对象进行说明或者展示的视频,目标内容对象可以是商品、人物、地点等等任何适当的对象。以商品为例,其可以是有形的商品,也可以是无形的商品(如服务、虚拟商品等)。

视频中包括图像帧序列数据和音频数据,除此以外还包括预设关键词的信息目标内容对象。需要说明的是,该图像帧序列数据中可以包括目标内容对象的图像,也可以完全不包括目标内容对象的图像。

预设关键词的信息包括下列至少之一:预设语音关键词、预设的文字关键词目标内容对象。

具体例如,预设语音关键词和预设的文字关键词可以是目标内容对象的名称、型号等,也可以是其他根据需要确定的预设关键词,如目标内容对象的品类等。例如,预设关键词的信息中指示语音关键词为“**手机”。又例如,预设关键词的信息中指示的文字关键词为“**保温杯”等。

在一个视频中,预设关键词的信息可以指示一个或多个预设关键词,例如,预设关键词的信息指示的预设关键词包括“**口红”、“**钢笔”等。每个预设关键词可以对应一个链接数据,不同的预设关键词对应的链接数据可以相同或不同。

链接数据可以在目标内容对象的受众(以下简称受众,该受众可以是观看视频的人)进行触发操作后跳转到对应的页面中,从而实现通过视频对链接数据对应的页面引流的目的。链接数据可以是该页面的URL或者IP地址等等。

在一种可行方式中,链接数据可以由应用供应端确定。例如,链接数据A对应于商品A的商品购买页面,则该链接数据A对应的预设关键词为商品A的名称。在播放视频的过程中,若检测到视频中包括商品A的图像或者在字幕或音频中提及商品A的名称,就可以确定链接数据A与视频匹配。

通过此种方式,任意包含预设关键词视频都可以作为链接数据的推广载体,进行链接数据的推广。目标内容对象由此使得任意适当的视频都可以为广告主提供服务,满足其通过视频进行目标内容对象推广的需求。

步骤S104:在视频的播放过程中,对播放的视频的至少部分图像帧和/或至少部分音频数据进行预设关键词的信息的检测。

本领域技术人员可以采用任何适当的方式对图像帧或音频数据进行检测。需要说明的是,检测时,可以是对当前播放的图像帧和/或音频数据进行检测,也可以是对当前时刻播放的图像帧和/或音频数据之后的图像帧和/或音频数据进行预检测,本实施例对此不作限制。

一种具体的检测方式例如,若预设关键词的信息为商品A的名称,在针对图像帧进行检测时,可以采用图像识别算法或者训练的具有商品A识别功能的神经网络模型(如卷积神经网络模型)对视频中的图像帧进行检测,以确定是否有图像帧中包含商品A。

或者,也可以使用能够进行文字识别的神经网络模型(如卷积神经网络模型)对视频中的图像帧进行检测,以确定是否有图像帧中的文字中包含商品A的名称。

又或者,使用语音识别算法(如asr,Automatic Speech Recognition算法)对音频数据进行检测,以确定音频数据中是否存在包含有商品A的名称的音频片段。

步骤S106:若根据检测结果确定检测到预设关键词的信息,则基于播放的视频显示对应的链接数据。

例如,预设关键词的信息为商品A的名称,若针对图像帧识别出图像帧包含的字幕中存在商品A的名称,则确定检测到预设关键词的信息,显示对应的链接数据。

这样可以实现针对任何在播放的视频自动侦测是否存在预设关键词的信息,在检测到预设关键词的信息,也就是预设关键词的信息被播放时,自动显示对应的链接数据,一方面可以通过链接数据为受众提升交互性,使受众可以更加方便地了解感兴趣的目标内容对象,另一方面提升了链接数据显示的灵活性,使其可以更好地融入视频,而且针对任何视频均可以适用。

本领域技术人员可以采用任何适当的方式确定是否检测到预设关键词信息,本实施例对此不作限制。

例如,根据语音关键词在音频数据中的时间信息(即播放时间,如第1分20秒等)确定当前时刻预设语音关键词是否被播放。

或者,通过语音检测算法、图像识别算法或深度学习网络模型等确定是否检测到预设关键词的信息。

在预设关键词被播放时,可以在视频的播放界面的适当位置显示与链接数据对应的控件,以通过控件(例如悬浮窗、蒙版或弹窗等)展示链接数据,而可以通过控件接收受众的点击等操作。这样使得链接数据不会一直在视频中展示,而是随视频的播放过程,根据预设关键词的信息是否被检测到而智能地展示链接数据,使链接数据的展示很好地融合到视频中,不会显得过于突兀或植入强硬,从而提升通过视频进行推广的推广效果,并保证视频的观看体验。

本领域技术人员可以采用任何适当的方式基于播放的视频展示链接数据,本实施例对此不作限制。例如,在视频开始播放时即预先绘制好与链接数据对应的控件,并将其属性设置为“隐藏”,检测到预设关键词信息时,将预先绘制的控件的属性修改为“显示”,等等。

通过展示的链接数据,既可实现视频与受众的交互,又可在受众对该链接数据进行操作时跳转至相应的页面以为受众提供进一步的更详细的信息,方便受众了解或者进行购买。

下面结合图1b和图1c,以一个具体的使用场景为例对视频数据的处理方法的实现过程进行说明如下:

本使用场景中,如图1b所示,终端设备(如手机、个人电脑、个人移动电脑等)通过网络与服务端(服务端包括服务器或云端)连接。受众通过终端设备上的浏览器浏览网页时,终端设备从服务端获取网页数据,该网页数据中包含有待播放的视频(该视频可以是在经常出现在的网页右下角的小窗口中播放)。

该视频中不仅包含常规视频中的图像帧序列数据和音频数据,而且还包括预设关键词的信息。

此外还可以获得与预设关键词指示的目标内容对象的链接数据。链接数据可以包含于视频中,也可以独立于视频单独存在。

当通过小窗口播放视频时,界面如图1c中界面1所示。当在视频播放过程中,检测到预设关键词的信息时,如图1c中的界面2所示,在视频播放界面中展示对应的链接数据,展示链接数据的界面如图1c中界面3所示。

设预设关键词的信息指示的语音关键词或文字关键词为商品A的名称(如**杯子),目标内容对象为**杯子,其中一种检测预设关键词的信息的方式可以为:对当前图像帧进行图像识别,以确定当前图像帧中包含的内容对象,若内容对象中存在商品A(例如存在**杯子),则确定检测到预设关键词的信息,可以显示对应的链接数据。

或者,另一种检测的方式可以为:对当前播放的音频数据进行语音识别,若识别出语音关键词(如商品A的名称),则确定预设关键词的信息被检测到,可以显示对应的链接数据。当然,也可以采用其他方式进行检测,在此不再一一说明。

在后续过程中,如果受众点击了展示的链接数据,则浏览器跳转至与链接数据对应的网页进行显示,跳转后界面如图1c中界面4所示。

通过本实施例,用于推广目标内容对象的视频中包括预设关键词的信息,在视频的播放过程中,检测到预设关键词的信息时,基于播放的视频展示与预设关键词的信息指示的目标内容对象对应的链接数据。这样不仅可以实现通过视频为链接数据对应的页面引流,而且可以很好地与受众进行互动,为受众提供了解目标内容对象的详细信息的途径。

实施例二

参照图2a,示出了根据本发明实施例二的一种视频数据的处理方法的步骤流程图。

本实施例中,仍然以终端设备为执行主体,主要对视频数据的处理方法中的链接数据的展示过程进行说明。本实施例的视频数据的处理方法包括以下:

步骤S100:获取目标内容对象的对应的标识,并根据标识生成与所述目标内容对象对应的所述预设关键词的信息。

目标内容对象可以是广告主选择的,也可以是根据大数据分析确定的等。例如,目标内容对象为实体商品,如杯子、手机等,其也可以是非实体商品,如保洁服务、虚拟货币等等。

标识可以是目标内容对象的名称、型号、类别或者预设代号、其他广告主选定的词等。

生成的预设关键词的信息可以仅指示一个预设关键词,也可以用于指示一个以上的预设关键词。

例如,预设关键词的信息中包括“**杯子”、“**口红”和“**手机”等。

步骤S102:获取待播放的视频以及链接数据。

该步骤S102可以采用与实施例一中的步骤S102相同的实现过程,故不再赘述。步骤S104:在视频的播放过程中,对播放的视频的至少部分图像帧和/或至少部分音频数据进行预设关键词的信息的检测。

检测预设关键词的信息的过程可以采用实施例一中的实现过程,故不再赘述。

步骤S106:若根据检测结果确定检测到预设关键词的信息,则基于播放的视频显示对应的链接数据。

步骤S106可以采用实施例一中的实现方式。

或者,在一种可行方式中,步骤S106可以实现为:从目标内容对象的应用供应端输入的文案数据中匹配出与链接数据对应的文案数据;根据链接数据和匹配的文案数据,生成待展示的链接数据;基于视频的播放界面,展示待展示的链接数据。

这样使得应用供应端可以根据需要输入个性化的文案数据,并自动将文案数据与链接数据进行匹配,从而在展示链接数据时可以同时显示对应的文案数据,以提升受众点击链接数据的兴趣。

或者,在另一种可行方式中,为了能够适应视频的播放过程中界面的图像变化,可以为链接数据设置显示时长,即设定其在视频的播放界面中的停留时间。

其中,为了使链接数据能够更加方便受众操作,在步骤S106中,基于播放的所述视频显示对应的所述链接数据可以实现为:以预设展示时长显示所述链接数据,以使所述目标内容对象的受众在所述预设展示时长内对所述链接数据进行操作。预设展示时长即链接数据停留展示的时长可以根据需要确定,如20秒、1分钟等等,本实施例对此不作限制。

若在显示链接数据的过程中直到到达预设展示时长都未接收到受众对链接数据的触发操作,则将链接数据隐藏或者销毁。

若在显示过程中接收到受众对链接数据的操作,则方法还可以跳转到链接数据对应的页面。

或者,在本实施例中,步骤S106中在基于播放的视频显示对应的链接数据时,可以采用下述方式实现:在视频的播放界面,增加展示控件用于显示对应的链接数据,其中,展示控件包括以下至少之一:悬浮窗、蒙版、弹窗。

由于展示控件可以方便地调整显示位置,因而可以便于在显示链接数据时对视频进行排版,从而可以适应视频的图像帧中的内容对象的位置,以保证能够在较为适当的位置显示链接数据。

优选地,为了使展示控件可以更好地融入视频中,实现既能够比较醒目地显示,使受众更容易注意到展示控件,又能够减少强行植入的感觉,在步骤S106中,在视频的播放界面,增加展示控件显示对应的链接数据包括以下子步骤:

子步骤S1061:基于被播放的所述预设关键词的信息,对当前图像帧之后的预设数量的图像帧进行图像识别,根据识别结果确定图像帧中的内容对象的位置信息。

对于将展示控件融合到视频中而言,展示控件能否在图像中进行较好地融合直接影响了融合效果。故而,在本实施例中,可以采用神经网络模型、前后背景分割等方式对当前图像帧之后的预设数量的图像帧进行图像识别,获得识别结果,根据识别结果可以确定图像帧中的内容对象的位置信息,后续根据位置信息可以确定图像帧中的空白区域、或者不遮挡图像帧中主要内容对象的区域等,将这些区域确定为适合显示展示控件的展示位置。

其中,图像帧中的内容对象可以是图像帧中的人、物品、建筑、文字等等。预设数量可以根据需要确定,本实施例对此不作限制。需要说明的是,例如预设数量为5,则当前图像帧之后的预设数量的图像帧可以是当前图像帧之后连续的5个图像帧,也可以是间隔的5个图像帧。若是间隔的5个图像帧,则相邻两个图像帧之间间隔的图像帧的数量可以根据需要确定。

步骤S1062:根据图像帧中的内容对象的位置信息,确定链接数据的展示位置。

在一具体实现中,步骤S1062可以实现为:根据所述图像帧中的内容对象的位置信息,确定各所述图像帧中的空白位置;根据各所述图像帧中的空白位置,确定所述链接数据的展示位置。这样可以保证进行链接数据展示时可以减少遮挡内容对象。

具体地,一种情况中,在视频中,预设关键词的信息在第20s开始播放,对第20s对应的图像帧之后的5个图像帧进行图像识别,确定了各个图像帧中的空白位置,据此可以确定重合率最高的空白位置,该重合率最高的空白位置就可以作为链接数据的展示位置,这样展示链接数据时可以使得链接数据不遮挡或者少遮挡图像帧中的目标内容对象,提升融合性。

当然,也可以采用其他方式来根据识别结果确定展示位置,例如,根据内容对象的位置信息和预设的排版规则,从内容对象中确定与链接数据对应的目标内容对象,将与目标内容对象间隔一定距离的位置确定为合适的位置作为展示位置。

子步骤S1063:在展示位置通过展示控件显示对应的链接数据。

在确定展示位置后,针对展示控件的结构不同可以采用不同的方式展示该展示控件。

例如,子步骤S1063可以实现为:在展示位置显示展示控件,并且,在展示控件中显示第一子控件和第二子控件。

第一子控件用于展示预设关键词的信息指示的目标内容对象对应的文字和/或图像信息;第二子控件包括链接数据对应的触发控件,用于被触发时将视频的播放界面跳转至链接数据所链接的页面。

目标内容对象对应的文字和/或图像信息可以是预设的,也可以是业务主自主添加的。

这样可以同时显示目标内容对象的相关信息和链接数据的触发控件,从而使受众可以很好地知道目标内容对象及其对应的触发控件,从而使得可以在一个界面中展示多个不同的展示控件。其中,不同的展示控件可以有不同的功能,并采用不同的方式进行展示,从而降低实现成本。

当然,在其他实施例中,若展示控件仅包括一个控件,则可以直接在展示位置显示该展示控件,本实施例对此不作限制。

在展示展示控件的过程中,受众如果需要进一步了解目标内容对象,则可以对展示控制进行操作。

可选地,本实施例中,方法还包括:

步骤S108:接收对展示的链接数据的操作,根据操作从视频的播放界面跳转至链接数据所链接的页面。

在本实施例中,接收到对展示的链接数据的操作表示受众希望进一步对目标内容对象进行了解或者查看更多与目标内容对象有关的信息,故而根据该操作,从视频的播放界面跳转到链接数据所链接的页面,以展示更多与目标内容对象对应的信息。

该视频数据的处理方法可以应用至任何适当的使用场景。例如,引用在电商网站中,以在其中的首页、商品展示页面和搜索展示页面等场景中添加视频播放的窗口,在播放视频的过程中显示相关的链接数据,使受众能够点击链接数据跳转到对应的页面查看与链接数据对应的页面,从而实现为页面引流的目的。

当然,除了电商网站外,还可以应用到其他任何能够播放视频的场景中。

下面结合一个在网页界面中播放视频的使用场景对视频数据的处理方法进行说明如下:

终端设备通过网络从服务端(服务端包括服务器或云端)获取网页数据(终端设备与服务端连接的示意图可以参考图1b),其中,网页数据中包括视频,视频包括图像帧序列数据、音频数据、预设关键词的信息。当然,网页数据中还可以包括链接数据。

在网页界面中播放视频的界面,如图2b中界面1所示。该视频可以是对某个目标内容对象(如商品)进行介绍的视频。

如图2b中的界面2所示,当检测到预设关键词的信息(本使用场景中为播放到语音关键词对应的音频片段)时,界面中的字幕中显示了文字关键词,在界面中显示一个半透明的蒙版,并在蒙版中显示半透明的第一子控件和第二子控件,其中,第一子控件用于显示目标内容对象1的名称(如XXX护手霜等),第二子控件是链接数据的触发控件(如触发按钮、触发弹窗等)。

如图2b中的界面3所示,当受众点击了第二子控件时,界面跳转到目标内容对象的商品介绍界面,用于显示目标内容对象的详细信息(以护手霜为例,其详细信息可以是护手霜的外观图、容量、成分等等)。

可选地,在本实施例中,前述的视频可以是使用视频生成工具自动生成的。例如,预先获取素材视频,对素材视频进行分析处理,获得素材视频对应的目标内容对象和预设关键词。当业务主需要生成用于推广目标内容对象的视频时,根据业务主输入的搜索信息,算法自动匹配确定与搜索信息匹配的素材视频,将素材视频与业务主提供的链接数据进行关联,并根据素材视频和链接数据生成视频。

其中,视频中包括的图像帧序列数据可以是素材视频中的图像帧序列数据,音频数据可以是素材视频中的音频数据或者是根据素材文案自动生成的音频数据,链接数据即为业务主提供的链接数据,这样能更精准的产出广告视频。

通过本实施例,用于推广目标内容对象的视频中包括预设关键词的信息,在视频的播放过程中,检测到预设关键词的信息时,基于播放的视频展示与预设关键词的信息指示的目标内容对象对应的链接数据。这样不仅可以实现通过视频为链接数据对应的页面引流,而且可以很好地与受众进行互动,为受众提供了解目标内容对象的详细信息的途径。

通过智能地确定展示控件的展示位置,使得可以实现链接数据的智能展示,使链接数据的展示很好地融合在视频中。

此外,可以自动生成视频,使得不熟悉视频制作工具或者没有视频制作能力的业务主(如广告主)也能生成需要的视频。在视频播放过程中显示融合度更好的链接数据,做到链接数据的展示位置随视频中的图像变化而变化,智能性和适应性更好,可以直接提升视频的转化率。

实施例三

参照图3,示出了根据本发明实施例三的一种显示方法的步骤流程示意图。

在本实施例中,以终端设备作为执行主体为例,对显示方法进行说明如下。

其中,本实施例的显示方法包括以下步骤:

步骤S300:在视频播放过程中,当检测到预设关键词的信息时,在视频播放界面中显示与检测到的预设关键词的信息指示的目标内容对象对应的链接数据。

显示该链接数据的过程可以如前述的实施例一或实施例二中描述的过程,故在此不再赘述。

步骤S302:获取对视频播放界面中显示的目标内容对象对应的链接数据的触发操作。

其中,链接数据可以指示与目标内容对象关联的页面,链接数据可以是URL(Uniform Resource Locator,统一资源定位符)或者IP地址等等。

具体到本实施例,链接数据为视频播放至预设关键词的信息时,触发显示的与预设关键词的信息对应的链接数据。

目标内容对象可以是商品、人物、景点等等任何适当的对象。商品可以是有形商品,也可以是无形商品。

触发操作可以是受众对链接数据(例如展示链接数据的展示控件)的点击操作、长按操作、滑动操作、双击操作等等。

步骤S304:根据触发操作,从视频播放界面跳转至链接数据所链接的、用于显示目标内容对象的页面。

在一种可行方式中,根据触发操作,生成访问链接数据指示的页面的请求并将其发送到对应的服务端,以获取链接数据对应的页面的数据,从而进行显示。

通过本实施例,在播放视频过程中,若播放到预设关键词的信息,则显示对应的链接数据,以供受众触发,若接收到触发操作,则显示链接数据对应的页面,从而展示目标内容对象(如商品)的详细信息,供受众查看。

实施例四

参照图4a,示出了根据本发明实施例四的一种视频数据的处理方法的步骤流程示意图。

在本实施例中,结合视频直播销售场景,对视频数据的处理方法进行说明。直播视频销售场景中直播主可以通过直播的方式向观看者推荐和介绍商品,还可以在直播中进行试用的效果展示等,由此实现对商品的线上售卖。该视频数据的处理方法可以以作为播放端的终端设备作为执行主体。

本实施例的视频数据的处理方法包括:

步骤S402:获取并播放直播视频流。

直播视频流可以是从直播服务端获取的实时视频,也可以是直接从直播端获取的实时视频。

该直播视频流可以是直播主介绍商品的视频,但并不限于此,其可以是其他任何内容的视频。

步骤S404:在所述直播视频流的播放过程中,对所述直播视频流中的图像帧进行内容检测,和/或,对所述直播视频流中的音频进行内容检测,以获取所述直播视频流中包含的内容对象。

内容对象可以是图像中的人、物品、建筑等,也可以是图像帧中的文字或字幕出现的文字关键词指示的人、物品、建筑等,或者,可以是音频中出现的语音关键词指示的人、物品、建筑等。

在一种具体实现方式中,对所述直播视频流中的图像帧进行内容检测,以获取所述直播视频流中包含的内容对象可以实现为:在所述直播视频流的播放过程中,对所述直播视频流中的图像帧中的预设位置进行图像识别,并根据识别结果获取所述图像帧中的文字关键词指示的内容对象和/或所述图像帧中的图像指示的内容对象。

例如,采用具有对应的内容对象的识别功能的神经网络模型对图像帧中的预设位置进行检测,以识别出图像帧的预设位置处包含的内容对象。

其中,预设位置可以是默认配置的位置,如整个图像帧;或者,也可以是由直播主在直播过程中通过选框等方式选定的部分或全部图像帧。通过这种对预设位置进行检测的方式可以提升检测的自由度,以提升适应性。

对所述直播视频流中的音频进行内容检测,以获取所述直播视频流中包含的内容对象,包括:在所述直播视频流的播放过程中,对所述直播视频流中的音频进行音频识别,并获取所述音频中的语音关键词指示的内容对象。

例如,可以检测音频中的提及的商品名称、商品型号等语音关键词,从而确定这些语音关键词指示的内容对象。

通过采用图像识别和/或音频视频的方式对直播视频流进行检测,可以获取到直播视频流中包含的至少部分内容对象,进而后续可以判断这些内容对象中是否存在目标内容对象,以确定是否需要展示链接数据。

步骤S406:查找所述内容对象是否存在对应的链接数据。

在一种可行方式中,步骤S406包括:查找预设的商品数据库,以确定所述内容对象是否存在对应的链接数据。

商品数据库中保存有商品标识(例如商品名称)以及其对应的链接数据(商品的购买链接)。针对检测出的内容对象,可以通过将内容对象对应的预设关键词与商品标识进行匹配,从而确定商品数据库中是否存在对应的链接数据。若存在,则表示其为目标内容对象,可以在播放界面中显示链接数据,以供观看者根据需要操作链接数据。

在另一种可行方式中,所述直播视频流中包括用于指示待识别的目标内容对象的预设关键词的信息和对应的链接数据。待识别的目标内容对象的预设关键词的信息和链接数据可以是直播主在直播端选定的。例如,在直播端配置有设置接口,直播主通过该设置接口可以配置预设关键词的信息,以通过其指示目标内容对象;并配置对应的链接数据,从而提升自主性,使直播主可以根据需要控制展示的链接数据。

此种情况下,步骤S406可以实现为:确定检测出的所述内容对象中是否包括与所述待识别的目标内容对象匹配的内容对象,若存在,则确定存在对应的链接数据。

例如,通过将检测出的内容对象对应的预设关键词与待识别的目标内容对象的预设关键词进行匹配,确定是否存在匹配的内容对象。若存在匹配的内容对象,则确定存在对应的链接数据。

步骤S408:将存在对应的链接数据的所述内容对象作为目标内容对象,在所述直播视频流的播放界面中显示与所述目标内容对象对应的链接数据。

在检测到目标内容对象时,展示与其对应链接数据,这样可以使直播观看者可以方便地在观看直播的过程中通过操作显示的链接数据而跳转到链接数据对应的页面,以查看其中的内容或者对目标内容对象对应的商品进行购买等操作。由此丰富了直播功能,而且可以使观看者方便地查看目标内容对象的信息。

链接数据除了可以在播放端进行展示之外,还可以同步在直播端进行展示,使直播主可以及时获知链接数据是否展示,以及链接数据的展示效果,从而使直播主能够更加容易的监控直播效果。

为了提升观看效果,在展示链接数据时可以通过设置动画等方式实现对链接数据进行提示的效果,使观看者更容易注意到链接数据。

下面结合一具体使用场景,对直播过程中进行说明:

在直播过程中,如图4b中直播端界面1所示,直播主可以通过直播端配置至少一个预设关键词及对应的链接数据,根据配置的预设关键词可以生成用于指示待识别的目标内容对象的预设关键词的信息,并将直播视频流、预设关键词的信息和链接数据发送给播放端。

如图4b中播放端界面1所示,其示出了播放端播放直播视频流的界面。在播放直播视频流的过程中,可以对其中的图像帧和/或音频进行内容识别,以确定直播视频流中包含的内容对象。进而查找检测到的内容对象是否存在对应的链接数据,如果存在对应的链接数据,则在播放端的播放界面和直播端的播放界面展示该链接数据,图4b中播放端界面2示出了展示链接数据的界面示意图。

观看者通过操作该链接数据可以跳转到对应的页面中,以查看页面中的内容(如图4b中播放端界面3所示)。

实施例五

参照图5,示出了根据本发明实施例五的一种视频数据的处理装置的结构框图。

本实施例的视频数据的处理装置包括:第一获取模块502,用于获取待播放的视频以及链接数据,其中,视频中包括预设关键词的信息,链接数据与预设关键词指示的目标内容对象对应;第一检测模块504,用于在视频的播放过程中,对播放的视频的至少部分图像帧和/或至少部分音频数据进行预设关键词的信息的检测;第一显示模块506,用于若根据检测结果确定检测到预设关键词的信息,则基于播放的视频显示对应的链接数据。

可选地,预设关键词的信息包括下列至少之一:预设的语音关键词和预设的文字关键词。

可选地,该装置还包括:信息生成模块500,用于获取目标内容对象的对应的标识,并根据标识生成与所述目标内容对象对应的所述预设关键词的信息,其中,所述标识包括下列至少之一:目标内容对象的名称、型号和类别。

可选地,该装置还包括:接收模块508,用于接收对展示的链接数据的操作,根据操作从视频的播放界面跳转至链接数据所链接的页面。

可选地,显示模块506用于在视频的播放界面,增加展示控件用于显示对应的链接数据,其中,展示控件包括以下至少之一:悬浮窗、蒙版、弹窗。

可选地,显示模块506用于基于被播放的预设关键词的信息,对当前图像帧之后的预设数量的图像帧进行图像识别,根据识别结果确定图像帧中的内容对象的位置信息,根据图像帧中的内容对象的位置信息,确定链接数据的展示位置;在展示位置通过展示控件显示对应的链接数据。

可选地,显示模块506用于在展示位置通过展示控件显示对应的链接数据时,在展示位置显示展示控件,并且,在展示控件中显示第一子控件和第二子控件;其中,第一子控件用于展示预设关键词的信息指示的目标内容对象对应的文字和/或图像信息;第二子控件包括链接数据对应的触发控件,用于被触发时将视频的播放界面跳转至链接数据所链接的页面。

可选地,显示模块506用于在根据图像帧中的内容对象的位置信息,确定链接数据的展示位置时,根据识别结果指示的各图像帧中的内容对象的位置信息,确定各图像帧中的空白位置;根据各图像帧中的空白位置,确定链接数据的展示位置。

可选地,显示模块506用于在基于播放的视频显示对应的链接数据时,以预设展示时长显示链接数据,以使目标内容对象的受众在预设展示时长内对链接数据进行操作。

可选地,显示模块506在基于播放的视频显示对应的链接数据时,从目标内容对象的应用供应端输入的文案数据中匹配出与链接数据对应的文案数据;根据链接数据和匹配的文案数据,生成待展示的链接数据;基于视频的播放界面,展示待展示的链接数据。

本实施例的视频数据的处理装置用于实现前述多个方法实施例中相应的视频数据的处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的视频数据的处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。

实施例六

参照图6,示出了根据本发明实施例六的一种显示装置的结构框图。

本实施例的显示装置包括:链接数据展示模块600,用于在视频播放过程中,当检测到预设关键词的信息时,在视频播放界面中显示与检测到的预设关键词的信息指示的目标内容对象对应的链接数据;触发获取模块602,用于获取对视频播放界面中显示的目标内容对象对应的链接数据的触发操作;界面跳转模块604,用于根据触发操作,从视频播放界面跳转至链接数据所链接的、用于显示目标内容对象的页面。

本实施例的显示装置用于实现前述多个方法实施例中相应的显示方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的显示装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。

实施例七

参照图7,示出了根据本发明实施例七的一种视频数据的处理装置的结构框图。

本实施例的视频数据的处理装置包括:第二获取模块702,用于获取并播放直播视频流;第二检测模块704,用于在所述直播视频流的播放过程中,对所述直播视频流中的图像帧进行内容检测,和/或,对所述直播视频流中的音频进行内容检测,以获取所述直播视频流中包含的内容对象;匹配模块706,用于查找所述内容对象是否存在对应的链接数据;第二显示模块708,用于将存在对应的链接数据的所述内容对象作为目标内容对象,在所述直播视频流的播放界面中显示与所述目标内容对象对应的链接数据。

可选地,匹配模块706具体用于查找预设的商品数据库,以确定所述内容对象是否存在对应的链接数据。

可选地,所述直播视频流中包括用于指示待识别的目标内容对象的预设关键词的信息和对应的链接数据;匹配模块706具体用于确定检测出的所述内容对象中是否包括与所述待识别的目标内容对象匹配的内容对象,若存在,则确定存在对应的链接数据。

可选地,第二检测模块704具体用于在所述直播视频流的播放过程中,对所述直播视频流中的图像帧进行内容检测,以获取所述直播视频流中包含的内容对象时,在所述直播视频流的播放过程中,对所述直播视频流中的图像帧中的预设位置进行图像识别,并根据识别结果获取所述图像帧中的文字关键词指示的内容对象和/或所述图像帧中的图像指示的内容对象。

可选地,第二检测模块704具体用于在所述直播视频流的播放过程中,对所述直播视频流中的音频进行内容检测,以获取所述直播视频流中包含的内容对象时,在所述直播视频流的播放过程中,对所述直播视频流中的音频进行音频识别,并获取所述音频中的语音关键词指示的内容对象。

本实施例的视频数据的处理装置用于实现前述多个方法实施例中相应的视频数据的处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的视频数据的处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。

实施例八

参照图8,示出了根据本发明实施例八的一种电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。

如图8所示,该电子设备可以包括:处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。

其中:

处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。

通信接口804,用于与其它电子设备如终端设备或服务器进行通信。

处理器802,用于执行程序810,具体可以执行上述视频数据的处理或者显示方法实施例中的相关步骤。

具体地,程序810可以包括程序代码,该程序代码包括计算机操作指令。

处理器802可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。

存储器806,用于存放程序810。存储器806可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。

程序810具体可以用于使得处理器802执行以下操作:获取待播放的视频以及链接数据,其中,视频中包括预设关键词的信息,链接数据与预设关键词指示的目标内容对象对应;在视频的播放过程中,对播放的视频的至少部分图像帧和/或至少部分音频数据进行预设关键词的信息的检测;若根据检测结果确定检测到预设关键词的信息,则基于播放的视频显示对应的链接数据。

在一种可选的实施方式中,预设关键词的信息包括下列至少之一:预设的语音关键词和预设的文字关键词。

在一种可选的实施方式中,程序810还用于使得处理器802获取目标内容对象的对应的标识,并根据标识生成与目标内容对象对应的预设关键词的信息,其中,标识包括下列至少之一:目标内容对象的名称、型号和类别。

在一种可选的实施方式中,程序810还用于使得处理器802接收对展示的链接数据的操作,根据操作从视频的播放界面跳转至链接数据所链接的页面。

在一种可选的实施方式中,程序810还用于使得处理器802在基于播放的视频显示对应的链接数据时,在视频的播放界面,增加展示控件用于显示对应的链接数据,其中,展示控件包括以下至少之一:悬浮窗、蒙版、弹窗。

在一种可选的实施方式中,程序810还用于使得处理器802在视频的播放界面,增加展示控件用于显示对应的链接数据时,基于被播放的预设关键词的信息,对当前图像帧之后的预设数量的图像帧进行图像识别,根据识别结果确定图像帧中的内容对象的位置信息,根据图像帧中的内容对象的位置信息,确定链接数据的展示位置;在展示位置通过展示控件显示对应的链接数据。

在一种可选的实施方式中,程序810还用于使得处理器802在在展示位置通过展示控件显示对应的链接数据时,在展示位置显示展示控件,并且,在展示控件中显示第一子控件和第二子控件;其中,第一子控件用于展示预设关键词的信息指示的目标内容对象对应的文字和/或图像信息;第二子控件包括链接数据对应的触发控件,用于被触发时将视频的播放界面跳转至链接数据所链接的页面。

在一种可选的实施方式中,程序810还用于使得处理器802在根据所述图像帧中的内容对象的位置信息,确定所述链接数据的展示位置时,根据识别结果指示的各图像帧中的内容对象的位置信息,确定各图像帧中的空白位置;根据各图像帧中的空白位置,确定链接数据的展示位置。

在一种可选的实施方式中,程序810还用于使得处理器802在基于播放的所述视频显示对应的所述链接数据时,以预设展示时长显示链接数据,以使目标内容对象的受众在预设展示时长内对链接数据进行操作。

在一种可选的实施方式中,程序810还用于使得处理器802在基于播放的所述视频显示对应的所述链接数据时,从目标内容对象的应用供应端输入的文案数据中匹配出与链接数据对应的文案数据;根据链接数据和匹配的文案数据,生成待展示的链接数据;基于视频的播放界面,展示待展示的链接数据。

或者,程序810具体可以用于使得处理器802执行以下操作:在视频播放过程中,当检测到预设关键词的信息时,在视频播放界面中显示与检测到的预设关键词的信息指示的目标内容对象对应的链接数据;获取对视频播放界面中显示的目标内容对象对应的链接数据的触发操作;根据触发操作,从视频播放界面跳转至链接数据所链接的、用于显示目标内容对象的页面。

或者,程序810具体可以用于使得处理器802执行以下操作:获取并播放直播视频流;在所述直播视频流的播放过程中,对所述直播视频流中的图像帧进行内容检测,和/或,对所述直播视频流中的音频进行内容检测,以获取所述直播视频流中包含的内容对象;查找所述内容对象是否存在对应的链接数据;将存在对应的链接数据的所述内容对象作为目标内容对象,在所述直播视频流的播放界面中显示与所述目标内容对象对应的链接数据。

在一种可选的实施方式中,程序810还用于使得处理器802在查找所述内容对象是否存在对应的链接数据时,查找预设的商品数据库,以确定所述内容对象是否存在对应的链接数据。

在一种可选的实施方式中,程直播视频流中包括用于指示待识别的目标内容对象的预设关键词的信息和对应的链接数据;序810还用于使得处理器802在查找所述内容对象是否存在对应的链接数据时,确定检测出的所述内容对象中是否包括与所述待识别的目标内容对象匹配的内容对象,若存在,则确定存在对应的链接数据。

在一种可选的实施方式中,程序810还用于使得处理器802在所述直播视频流的播放过程中,对所述直播视频流中的图像帧进行内容检测,以获取所述直播视频流中包含的内容对象时,在所述直播视频流的播放过程中,对所述直播视频流中的图像帧中的预设位置进行图像识别,并根据识别结果获取所述图像帧中的文字关键词指示的内容对象和/或所述图像帧中的图像指示的内容对象。

在一种可选的实施方式中,程序810还用于使得处理器802在所述直播视频流的播放过程中,对所述直播视频流中的音频进行内容检测,以获取所述直播视频流中包含的内容对象时,在所述直播视频流的播放过程中,对所述直播视频流中的音频进行音频识别,并获取所述音频中的语音关键词指示的内容对象。

程序810中各步骤的具体实现可以参见上述视频数据的处理、或者显示方法实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。

需要指出,根据实施的需要,可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的视频数据的处理或者显示方法。此外,当通用计算机访问用于实现在此示出的视频数据的处理或者显示方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的视频数据的处理或者显示方法的专用计算机。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例,而并非对本发明实施例的限制,有关技术领域的普通技术人员,在不脱离本发明实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明实施例的范畴,本发明实施例的专利保护范围应由权利要求限定。

相关技术
  • 视频数据的处理、显示方法、装置、电子设备及存储介质
  • 无线投屏数据处理、视频数据显示方法、装置及电子设备
技术分类

06120113082456