展区指示方法、装置、电子设备及存储介质
文献发布时间:2023-06-19 10:32:14
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种展区指示方法、装置、电子设备及存储介质。
背景技术
随着人们对文化体验的追求日益强烈,越来越多的人走进展馆、景区等场地参观学习。而展馆、景区等场地的参观模式主要以人工导游为主,导游对展馆的展示内容进行解说,工作量大。但是如果引入虚拟导游来辅助讲解内容,考虑到展馆等展示区域的参观用户较多,且参观用户的移动随机性比较大,导致虚拟导游讲解的内容针对性较差,起到的引导效果不佳。
发明内容
本公开实施例提供一种展区指示方法、装置、电子设备及存储介质。
本公开实施例的技术方案是这样实现的:
第一方面,本公开实施例提供一种展区指示方法,所述方法包括:
获取展示区域内目标展示位对应的目标视频,所述目标展示位为所述展示区域内的任一展示位,所述目标展示位配置有显示设备,所述目标视频由所述显示设备采集;
基于所述目标展示位对应的目标视频,识别出现在所述目标展示位的目标用户并检测所述目标用户对于所述目标展示位的关注度信息;
获取与所述关注度信息匹配的指示信息;
通过所述显示设备展示基于所述指示信息生成的虚拟引导员的指示动画。
本公开实施例中,可在展示区域内的各展示位配置对应的显示设备,针对任一显示设备,即目标展示位,通过该显示设备采集该目标展示位周边的目标视频,并通过对该目标视频的分析可精确检测到出现在目标展示位的目标用户,进一步通过分析该目标用户的关注度信息,可确定该目标用户是否关注目标展示位的内容,通过以上识别过程可以精确地分析出现在目标展示位的目标用户的意图,比如是路过目标展示位还是在观看该目标展示位的内容,由此可进行个性化的推送虚拟引导员的指示动画,以便提供用户更加贴合需求的指示信息,提升引导效果。
在一些实施方式中,所述基于所述目标展示位对应的目标视频,识别出现在所述目标展示位的目标用户,包括:
识别所述目标视频中出现的多个人体检测框以及多个面部检测框;
基于多个人体检测框的位置信息和多个面部检测框的位置信息,确定属于同一用户的人体检测框以及面部检测框;
将同时具有所述人体检测框以及所述面部检测框的用户确定为出现在所述目标展示位的目标用户。
上述实施方式中,为了达到更好的交互及引导效果,可以优先选择位于目标展示位附近且朝向目标展示位的用户作为交互的目标用户,故在检测到出现在显示设备的采集范围内的任一用户的人体检测框和/或面部检测框之后,对于能够检测到人体检测框的用户,可以反映出该用户出现在目标展示位的附近,但是出现在目标展示位附近的用户不一定都朝向目标展示位的展示区域,对于未朝向目标展示位的展示区域的用户很大可能检测不到对应的面部检测框,鉴于此,可以通过选取同时具有人体检测框和面部检测框的用户,将其视为出现在目标展示位附近且较大可能朝向目标展示位的目标用户,以便后续对目标用户进行分析以及引导。
在一些实施方式中,所述检测所述目标用户对于所述目标展示位的关注度信息,包括:
识别所述目标视频中所述目标用户的面部关键点信息;
基于所述面部关键点信息,识别所述目标用户的面部朝向信息以及视线方向信息;
检测所述面部朝向信息和所述视线方向信息是否满足预设关注条件;
若是,则确定所述关注度信息指示的状态为关注状态;若否,则确定所述关注度信息指示的状态为非关注状态。
上述实施方式中,在检测到目标用户之后,可以进一步基于目标用户的面部特征如面部关键点特征来确定目标用户的面部朝向以及视线方向,由此来分析目标用户是否在关注目标展示位,以便精准地确定目标用户的关注度信息。
在一些实施方式中,所述获取与所述关注度信息匹配的指示信息,包括:
在所述关注度信息指示的状态为关注状态的情况下,获取对所述目标展示位的展示内容的指示信息;
在所述关注度信息指示的状态为非关注状态的情况下,获取对下一目标展示位的指示信息。
上述实施方式中,通过确定目标用户处于关注状态或非关注状态,进而向目标用户推送与当前状态相符合的指示信息,比如处于关注状态时,推送对目标展示位的指示信息,以便指引目标用户更好的了解目标展示位的展示内容,处于非关注状态时推送对下一目标展示位的指示信息,以便指引目标用户更快的找到感兴趣的展示位进行参观。
在一些实施方式中,所述方法还包括:
识别所述目标视频中目标用户的属性信息;
所述获取与所述关注度信息匹配的指示信息,包括:
获取与所述关注度信息及所述属性信息匹配的指示信息。
上述实施方式中,在基于关注度信息匹配指示信息的同时,还可以引入目标用户的属性信息,属性信息例如为目标用户的性别、年龄、职位等,结合属性信息来选取更为贴合用户需求的指示信息,从而达到更好的引导效果。比如,在属性信息包括年龄,检测到小孩关注目标展示位时,可以推送卡通风格的指示信息来讲解目标展示位的内容,从而优化引导效果。
在一些实施方式中,所述通过所述显示设备展示基于所述指示信息生成的虚拟引导员的指示动画,包括:
基于所述指示信息,确定所述虚拟引导员的控制参数,所述控制参数用于控制所述虚拟引导员的面部表情及动作;
利用所述控制参数生成所述虚拟引导员的指示动画,并通过所述显示设备展示所述指示动画。
上述实施方式中,结合指示信息可以确定虚拟引导员的控制参数,以便控制虚拟引导员在讲解指示信息对应的内容时,可以做出相应的面部表情及动作,达到拟人化的讲解效果,优化目标用户的观看体验。
在一些实施方式中,所述方法还包括:
接收作用于所述显示设备显示的所述虚拟引导员的触发信息;
获取与所述触发信息对应的回应信息;
通过所述显示设备展示基于所述回应信息生成的虚拟引导员的回应动画。
上述实施方式中,还可以支持与显示设备展示的虚拟引导员进行交互,具体的可通过手势或者触摸操作等触发与虚拟引导员的交互,以便虚拟引导员做出相应的回应,有利于快速准确获取用户的需求并进行响应,提升交互体验。
第二方面,本公开实施例还提供一种展区指示装置,所述装置包括:
第一获取模块,用于获取展示区域内目标展示位对应的目标视频,所述目标展示位为所述展示区域内的任一展示位,所述目标展示位配置有显示设备;
检测模块,用于基于所述目标展示位对应的目标视频,识别出现在所述目标展示位的目标用户并检测所述目标用户对于所述目标展示位的关注度信息;
第二获取模块,用于获取与所述关注度信息匹配的指示信息;
展示模块,用于通过所述显示设备展示基于所述指示信息生成的虚拟引导员的指示动画。
在一些实施方式中,所述检测模块,在基于所述目标展示位对应的目标视频,识别出现在所述目标展示位的目标用户时,具体用于:
识别所述目标视频中出现的多个人体检测框以及多个面部检测框;
基于多个人体检测框的位置信息和多个面部检测框的位置信息,确定属于同一用户的人体检测框以及面部检测框;
将同时具有所述人体检测框以及所述面部检测框的用户确定为出现在所述目标展示位的目标用户。
在一些实施方式中,所述检测模块,在检测所述目标用户对于所述目标展示位的关注度信息时,具体用于:
识别所述目标视频中所述目标用户的面部关键点信息;
基于所述面部关键点信息,识别所述目标用户的面部朝向信息以及视线方向信息;
检测所述面部朝向信息和所述视线方向信息是否满足预设关注条件;
若是,则确定所述关注度信息指示的状态为关注状态;若否,则确定所述关注度信息指示的状态为非关注状态。
在一些实施方式中,所述第二获取模块,在获取与所述关注度信息匹配的指示信息时,具体用于:
在所述关注度信息指示的状态为关注状态的情况下,获取对所述目标展示位的展示内容的指示信息;
在所述关注度信息指示的状态为非关注状态的情况下,获取对下一目标展示位的指示信息。
在一些实施方式中,所述检测模块还用于:识别所述目标视频中目标用户的属性信息;
所述第二获取模块,在获取与所述关注度信息匹配的指示信息时,具体用于:获取与所述关注度信息及所述属性信息匹配的指示信息。
在一些实施方式中,所述展示模块,在通过所述显示设备展示基于所述指示信息生成的虚拟引导员的指示动画时,具体用于:
基于所述指示信息,确定所述虚拟引导员的控制参数,所述控制参数用于控制所述虚拟引导员的面部表情及动作;
利用所述控制参数生成所述虚拟引导员的指示动画,并通过所述显示设备展示所述指示动画。
在一些实施方式中,所述第一获取模块还用于:接收作用于所述显示设备显示的所述虚拟引导员的触发信息;
所述第二获取模块还用于:获取与所述触发信息对应的回应信息;
所述展示模块还用于:通过所述显示设备展示基于所述回应信息生成的虚拟引导员的回应动画。
第三方面,本公开实施例还提供一种电子设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述展区指示装置、电子设备、及计算机可读存储介质的效果描述参见上述展区指示方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例提供的展区指示方法的流程图;
图2示出了本公开实施例提供的识别出现在目标展示位的目标用户的方法的流程图;
图3示出了本公开实施例提供的检测目标用户对于目标展示位的关注度信息的方法的流程图;
图4示出了本公开实施例提供的一种展区指示装置的示意图;
图5示出了本公开实施例提供的电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
目前对于一些展馆、景区等场地的参观模式主要以人工导游为主,导游对展馆的展示内容进行解说,工作量大。但是如果引入虚拟导游来辅助讲解内容,考虑到展馆等展示区域的参观用户较多,且参观用户的移动随机性比较大,导致虚拟导游讲解的内容针对性较差,起到的引导效果不佳。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
基于上述研究,本公开提供了一种展区指示方案,可在展示区域内的各展示位配置对应的显示设备,针对任一显示设备,即目标展示位,通过该显示设备采集该目标展示位周边的目标视频,并通过对该目标视频的分析可精确检测到出现在目标展示位的目标用户,进一步通过分析该目标用户的关注度信息,可确定该目标用户是否关注目标展示位的内容,通过以上识别过程可以精确地分析出现在目标展示位的目标用户的意图,比如是路过目标展示位还是在观看该目标展示位的内容,由此可进行个性化的推送虚拟引导员的指示动画,以便提供用户更加贴合需求的指示信息,提升引导效果。
此外,本公开实施例中,为了优化展示效果,在展示区域的各展示位配置的显示设备中可展示一个拟人化的虚拟引导员,由虚拟引导员来呈现指示信息,增加展示的趣味性以及智能化。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种展区指示方法进行详细介绍。
本公开实施例所提供的展区指示方法的执行主体一般为具有一定计算能力的电子设备,该电子设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该展区指示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。在一些实施例中,上述终端设备也可以为针对展示区域的各个展示位配置的显示设备,显示设备中用于呈现虚拟引导员对其所在的展示位的展示内容的讲解内容以及对于整个展示区域的引导内容(如参观路径)等。
参见图1所示,为本公开实施例提供的展区指示方法的流程图,方法包括步骤S101~S105,其中:
S101、获取展示区域内目标展示位对应的目标视频,目标展示位为展示区域内的任一展示位,目标展示位配置有显示设备,目标视频由显示设备采集。
其中,展示区域例如为展馆、景区等场地所在区域,由于展区或景区等场地会有各式各样的展示物,每个展示物或者每种类型的展示物可放在一个展示位,供用户参观。展示位可以理解为展示区域内用于摆放一个或相同展示主题的多个展示物的位置区域。针对每个展示位,都可以单独配置一台显示设备,该显示设备包括图像采集单元,如至少一个前置摄像头,用于采集当前展示位的区域范围内的视频。该显示设备还包括处理单元,如处理器,用于对目标视频中的用户进行分析,以便实现精准投放导览内容。该显示设备还包括具有较大尺寸的显示屏幕,该显示屏幕中可展示虚拟引导员的动画,用于通过拟人化的交互向用户呈现导览内容。示例性的,导览内容可包括虚拟引导员对其所在的展示位的展示内容的讲解内容、对于整个展示区域的引导内容(如参观路径)等。
需要说明的是,为了便于解释各个展示位的导览方案,将展示区域内的任一展示位作为目标展示位,任一展示位的显示设备采集的视频作为目标视频,以目标展示位和目标视频为例进行具体实施方式的阐述。
S102、基于目标展示位对应的目标视频,识别出现在目标展示位的目标用户。
本公开实施例中,考虑到出现在目标展示位附近的用户较多,有的可能是路过的用户,有的可能是站在目标展示位附近但并没有落入目标展示位的观看范围内的用户,为了达到更好的交互及引导效果,可以优先选择位于目标展示位附近且落入目标展示位的观看范围内的用户作为交互的目标用户。
鉴于上述考虑,本公开提供了一种识别出现在目标展示位的目标用户的实施方式,具体可参照图2所示步骤,包括:
S1021、识别目标视频中出现的多个人体检测框以及多个面部检测框。
S1022、基于多个人体检测框的位置信息和多个面部检测框的位置信息,确定属于同一用户的人体检测框以及面部检测框。
S1023、将同时具有人体检测框以及面部检测框的用户确定为出现在目标展示位的目标用户。
示例性的,可通过目标检测网络分别检测目标视频中出现的人体检测框和面部检测框。目标检测网络例如为预先训练的区域检测神经网络,该目标检测网络可通过标记有人体样本检测框和面部样本检测框的样本图像训练得到。
在一些实施方式中,通过上述检测过程得到的检测结果中包括人体检测框的标识以及位置信息,还包括面部检测框的标识以及位置信息。其中,人体检测框的范围大于面部检测框的范围。人体检测框所框出的范围包括人体全身的躯干区域,面部检测框所框出的范围包括人脸面部区域。
在一些实施方式中,对于同一个人的人体检测框和面部检测框来说,人体检测框的位置范围可包含面部检测框的位置范围,故可以基于人体检测框的位置信息与面部检测框的位置信息,来判断存在重叠区域的人体检测框和面部检测框,进一步的通过检测重叠区域的范围是是否满足设定检测条件,来确定存在重叠区域的人体检测框和面部检测框是否属于同一用户。示例性的,设定检测条件例如为重叠区域的范围大于设定范围,或者,重叠区域的范围为面部检测框对应的位置范围等。
本公开实施例中,由于检测到的人体检测框和面部检测框是分别独立的,故在检测到出现在显示设备的采集范围内的任一用户的人体检测框和/或面部检测框之后,对于能够检测到人体检测框的用户,可以反映出该用户出现在目标展示位的附近,但是出现在目标展示位附近的用户不一定都朝向目标展示位的展示区域,对于未朝向目标展示位的展示区域的用户很大可能检测不到对应的面部检测框,鉴于此,可以通过选取同时具有人体检测框和面部检测框的用户,将其视为出现在目标展示位附近且较大可能朝向目标展示位的目标用户,以便后续对目标用户进行分析以及引导。
S103、检测目标用户对于目标展示位的关注度信息。
本公开实施例中,考虑到并不是所有出现在目标展示位的目标用户均处于相同的关注状态,比如均处于观看目标展示位的展示内容的状态。故,在检测到出现在目标展示位的目标用户之后,还可以进一步识别目标用户对于目标展示位的关注度信息,以便精确识别目标用户的关注状态。
示例性的,检测到的出现在目标展示位的目标用户为至少一个。在目标用户为多个的情况下,可以按照预设规则分别识别多个目标用户对应的关注度信息并进行后续处理,还可以从多个目标用户中进一步选择符合特定条件的目标用户进行关注度信息的识别和后续处理。
上述预设规则例如为按照出现在目标展示位的先后次序来依次识别对应的关注度信息,或者,按照多个目标用户分别对应的用户属性信息来确定优先级顺序,按照优先级来依次识别对应的关注度信息。上述特定条件的目标用户例如为做出特定手势或者表情的目标用户,或者也可以是符合特定用户属性信息的目标用户。其中,上述用户属性信息、手势、表情等可基于目标视频中目标用户的图像特征以及对应的识别模型得到。识别模型可为利用对应的识别信息的图像样本训练好的神经网络模型。
针对任一目标用户,本公开提供一种用于检测目标用户对于目标展示位的关注度信息的具体实施方式,具体可参照图3所示步骤,包括:
S1031、识别目标视频中目标用户的面部关键点信息。
示例性的,可以基于目标视频中目标用户的面部检测框对应的图像特征,进一步执行面部关键点的识别,得到目标用户的面部关键点信息。面部关键点信息包括但不限于面部轮廓的关键点信息以及面部器官的关键点信息。上述关键点信息包括关键点的标识以及位置信息。
S1032、基于面部关键点信息,识别目标用户的面部朝向信息以及视线方向信息。
具体实施中,基于面部关键点信息中部分关键点的信息,可以识别目标用户的面部朝向信息。示例性的,可以从面部轮廓的两侧分别选取两个具有对称关系的关键点(称为左侧轮廓点和右侧轮廓点),从鼻子部位选取一个处于中间线位置的关键点(如鼻尖关键点)。进一步地,分别计算左侧轮廓点与鼻尖关键点之间的第一距离,右侧轮廓点与鼻尖关键点之间的第二距离,进而将计算得到的第一距离和第二距离进行比较,以确定目标用户的面部朝向信息。比如,若第一距离与第二距离的差值大于第一距离阈值,或者,第二距离与第一距离的差值大于第二距离阈值,则确定目标用户的面部朝向不在目标展示位对应的区域范围内,反之可确定目标用户的面部朝向在目标展示位对应的区域范围内。示例性的,还可以结合用于检测面部朝向的神经网络模型预测得到目标用户的面部朝向信息。
上述面部朝向信息既可以通过具体的面部偏转角度的数值来表示,也可以通过是否面向目标展示位对应的区域范围的结果来表示。
除了基于面部关键点信息确定面部朝向信息之外,还可以结合面部关键点信息中部分关键点信息确定目标用户的视线方向信息。示例性的,可基于眼球关键点或瞳孔关键点的位置信息以及显示设备的虚拟摄像头的位置参数之间的关系,将眼球或瞳孔关键点信息转换到显示设备的虚拟摄像头所在坐标系,通过计算转换后的关键点位置和虚拟摄像头的位置参数之间的位置关系来计算出视线方向信息。或者,还可以结合用于检测视线方向的神经网络模型预测得到目标用户的视线方向信息,本公开对此并不限定。其中,视线方向信息既可以通过视线方向角度的数值来表示,也可以通过是否面向目标展示位对应的区域范围的结果来表示。
S1033、检测面部朝向信息和视线方向信息是否满足预设关注条件;
若是,则执行S1034;若否,则执行S1035。
S1034、确定关注度信息指示的状态为关注状态。
S1035、确定关注度信息指示的状态为非关注状态。
示例性的,若面部朝向信息和视线方向信息均利用具体的数值来表示,那么预设关注条件可以是具体的设定数值或者设定数值范围。通过分别判断面部朝向信息的数值和视线方向信息的数值是否等于设定数值或落入设定数值范围,在判断结果均为是的情况下,确定满足预设关注条件。或者,还可以将面部朝向信息的数字和视线方向信息的数值进行加权处理得到预测关注值,将计算得到的预测关注值与设定数值或者设定数值范围比较,以确定是否满足预设关注条件。其中,上述设定数值或者设定数值范围可基于实际使用场景来针对性配置。
示例性的,若面部朝向信息和视线方向信息均利用具体的结果来表示,那么预设关注条件可以为面部朝向信息和视线方向信息均为面向目标展示位对应的区域范围的结果。
此外,具体实施中,还可以引入面部朝向信息的持续时长以及视线方向信息的持续时长,结合面部朝向信息和视线方向信息分别对应的结果和持续时长,来共同判断是否满足预设关注条件,当然,预设关注条件的设置也可以引入持续时长的条件,比如面部朝向信息和视线方向信息分别对应的结果为面向目标展示位对应的区域范围的结果且持续设定时长等。
上述关注度信息可大致分为关注状态和非关注状态两类。关注状态可表示目标用户在目标展示位的区域范围内且观看目标展示位的展示内容,反之,非关注状态可表示目标用户在目标展示位的区域范围但未观看目标展示位的展示内容。或者,关注状态还可以表示目标用户在目标展示位的区域范围内且对目标展示位的展示内容感兴趣,非关注状态可表示目标用户在目标展示位的区域范围但对目标展示位的展示内容不感兴趣。
S104、获取与关注度信息匹配的指示信息。
在关注度信息指示的状态为关注状态的情况下,获取对目标展示位的展示内容的指示信息;在关注度信息指示的状态为非关注状态的情况下,获取对下一目标展示位的指示信息。
通过确定目标用户处于关注状态或非关注状态,进而向目标用户推送与当前状态相符合的指示信息,比如处于关注状态时,推送对目标展示位的指示信息,以便指引目标用户更好的了解目标展示位的展示内容,处于非关注状态时推送对下一目标展示位的指示信息,以便指引目标用户更快的找到感兴趣的展示位进行参观。
在一些实施方式中,在获取与关注度信息匹配的指示信息的过程中,还可以结合目标用户的属性信息来匹配对应的指示信息。具体的,可以识别目标视频中目标用户的属性信息,进而获取与关注度信息及属性信息匹配的指示信息。目标用户的属性信息包括但不限于用户的年龄、性别、表情、穿衣风格等。
示例性的,在关注度信息指示为关注状态的情况下,可以获取关注状态下的目标展示位的展示内容的指示信息。该指示信息可包括多种不同介绍风格的指示信息,进一步可通过识别目标用户的属性信息,从多种不同介绍风格的指示信息中选择与目标用户的属性信息相符合的介绍风格的指示信息。该指示信息还可以包括对目标展示位的不同展示内容的指示信息,进一步可通过识别目标用户的属性信息,从不同展示内容的指示信息中选择与目标用户的属性信息相符合的展示内容的指示信息。比如,若属性信息为年龄,年龄显示目标用户为儿童,那么结合年龄信息可选择指示信息的介绍风格为卡通风格,且介绍的展示内容可为儿童感兴趣的展示内容等。
同理,在关注度信息为非关注状态的情况下,下一目标展示位的指示信息同样可参照目标用户的属性信息来选择适合目标用户的引导风格以及目标用户可能会感兴趣的下一目标展示位。
在基于关注度信息匹配指示信息的同时,通过结合属性信息来选取更为贴合用户需求的指示信息,从而达到更好的引导效果。比如,在属性信息包括年龄,检测到小孩关注目标展示位时,可以推送卡通风格的指示信息,从而优化引导效果。
S105、通过显示设备展示基于指示信息生成的虚拟引导员的指示动画。
本公开实施例中,显示设备可展示拟人化的虚拟引导员的动画,在未对目标用户进行响应之前,显示设备可展示虚拟引导员的预设动画,比如欢迎动画等。在识别到目标用户且获取到与该目标用户的关注度信息相匹配的指示信息之后,可基于指示信息生成的虚拟引导员的指示动画。
在一些实施方式中,可以基于指示信息,确定虚拟引导员的控制参数,其中,控制参数用于控制虚拟引导员的面部表情及动作;进而利用控制参数生成虚拟引导员的指示动画,并通过显示设备展示指示动画。
上述实施方式中,结合指示信息可以确定虚拟引导员的控制参数,以便控制虚拟引导员在讲解指示信息对应的内容时,可以做出相应的面部表情及动作,达到拟人化的讲解效果,优化目标用户的观看体验。
其中,上述指示信息可包括文本数据和/或语音数据。文本数据与语音数据之间可进行转换。通过提取文本数据中的关键词,和/或提取语音数据中的关键音素,可确定出与关键词或关键音素对应的用于控制虚拟讲解员姿态(如面部表情及动作)的控制参数。
示例性的,可以确定出与关键词匹配的第一控制参数,第一控制参数用于控制虚拟讲解员的肢体动作,比如,在介绍展示内容的方位时,可以将具体的方位如“左上方”作为关键词,对应获取到的第一控制参数用于驱使虚拟讲解员做出提示左上方的展示内容的指向性动作等。再比如,在介绍展示内容的具体精彩数据时,比如讲精彩数据如“非常厉害”作为关键词,对应获取到的第一控制参数用于驱使虚拟讲解员做出“点赞”的肢体动作等。
示例性的,通过关键音素可以确定出与关键音素匹配的第二控制参数,第二控制参数用于控制虚拟讲解员的面部表情,具体可包括控制虚拟讲解员的面部表情的多个表情基的控制参数。多个表情基的控制参数共用作用,可实现对面部表情的控制,也可以实现对讲解过程中虚拟讲解员的口型的控制。比如,在讲解过程中虚拟讲解员发出“哈哈哈”的语音时,通过多个表情基的控制参数可控制虚拟讲解员的面部表情为开心状态,口型也可以与发出“哈哈哈”的声音时相匹配。
上述指示信息的文本数据和/或语音数据中除了能够驱动虚拟讲解员做出适当姿态的关键数据之外,还可包括对目标展示位的展示内容的具体介绍。文本数据和/或语音数据可通过字幕的形式呈现在显示设备中,还可以弹出对应的信息提示框,在信息提示框中呈现具体的介绍。此外,上述指示信息还可包括与目标展示位的展示内容相关的展示图像或视频等。也可在虚拟讲解员的指示动画中呈现对应的展示图像或视频。
在一些实施方式中,显示设备中显示的虚拟引导员还支持与目标用户进行交互。具体的,可以接收作用于显示设备显示的虚拟引导员的触发信息,并获取与触发信息对应的回应信息,进而通过显示设备展示基于回应信息生成的虚拟引导员的回应动画。
上述触发信息可通过对目标视频的视频帧进行手势或动作或表情检测得到,也可以通过对显示设备的显示屏幕的触摸操作进行检测得到,还可以通过显示设备的麦克风采集语音信息得到。
上述回应信息的内容可基于触发信息进行获取,具体可以从预先存储的数据库中获取与触发信息具有对应关系的回应信息,还可以直接从互联网上搜索与触发信息对应的回应信息,这里不具体限定。在得到回应信息之后,可参照基于指示信息生成指示动画的逻辑,生成对应的回应动画。
上述实施方式中,还可以支持与显示设备展示的虚拟引导员进行交互,具体的可通过手势或者触摸操作等触发与虚拟引导员的交互,以便虚拟引导员做出相应的回应,有利于快速准确获取用户的需求并进行响应,提升交互体验。
上述方法实施例中,可在展示区域内的各展示位配置对应的显示设备,针对任一显示设备,即目标展示位,通过该显示设备采集该目标展示位周边的目标视频,并通过对该目标视频的分析可精确检测到出现在目标展示位的目标用户,进一步通过分析该目标用户的关注度信息,可确定该目标用户是否关注目标展示位的内容,通过以上识别过程可以精确地分析出现在目标展示位的目标用户的意图,比如是路过目标展示位还是在观看该目标展示位的内容,由此可进行个性化的推送虚拟引导员的指示动画,以便提供用户更加贴合需求的指示信息,提升引导效果。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与展区指示方法对应的展区指示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述展区指示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种展区指示装置的示意图,所述装置包括:
第一获取模块41,用于获取展示区域内目标展示位对应的目标视频,所述目标展示位为所述展示区域内的任一展示位,所述目标展示位配置有显示设备;
检测模块42,用于基于所述目标展示位对应的目标视频,识别出现在所述目标展示位的目标用户并检测所述目标用户对于所述目标展示位的关注度信息;
第二获取模块43,用于获取与所述关注度信息匹配的指示信息;
展示模块44,用于通过所述显示设备展示基于所述指示信息生成的虚拟引导员的指示动画。
在一些实施方式中,所述检测模块42,在基于所述目标展示位对应的目标视频,识别出现在所述目标展示位的目标用户时,具体用于:
识别所述目标视频中出现的多个人体检测框以及多个面部检测框;
基于多个人体检测框的位置信息和多个面部检测框的位置信息,确定属于同一用户的人体检测框以及面部检测框;
将同时具有所述人体检测框以及所述面部检测框的用户确定为出现在所述目标展示位的目标用户。
在一些实施方式中,所述检测模块42,在检测所述目标用户对于所述目标展示位的关注度信息时,具体用于:
识别所述目标视频中所述目标用户的面部关键点信息;
基于所述面部关键点信息,识别所述目标用户的面部朝向信息以及视线方向信息;
检测所述面部朝向信息和所述视线方向信息是否满足预设关注条件;
若是,则确定所述关注度信息指示的状态为关注状态;若否,则确定所述关注度信息指示的状态为非关注状态。
在一些实施方式中,所述第二获取模块43,在获取与所述关注度信息匹配的指示信息时,具体用于:
在所述关注度信息指示的状态为关注状态的情况下,获取对所述目标展示位的展示内容的指示信息;
在所述关注度信息指示的状态为非关注状态的情况下,获取对下一目标展示位的指示信息。
在一些实施方式中,所述检测模块42还用于:识别所述目标视频中目标用户的属性信息;
所述第二获取模块,在获取与所述关注度信息匹配的指示信息时,具体用于:获取与所述关注度信息及所述属性信息匹配的指示信息。
在一些实施方式中,所述展示模块44,在通过所述显示设备展示基于所述指示信息生成的虚拟引导员的指示动画时,具体用于:
基于所述指示信息,确定所述虚拟引导员的控制参数,所述控制参数用于控制所述虚拟引导员的面部表情及动作;
利用所述控制参数生成所述虚拟引导员的指示动画,并通过所述显示设备展示所述指示动画。
在一些实施方式中,所述第一获取模块41还用于:接收作用于所述显示设备显示的所述虚拟引导员的触发信息;
所述第二获取模块43还用于:获取与所述触发信息对应的回应信息;
所述展示模块44还用于:通过所述显示设备展示基于所述回应信息生成的虚拟引导员的回应动画。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种电子设备,如图5所示,为本公开实施例提供的电子设备的结构示意图,包括:
处理器51和存储器52;所述存储器52存储有处理器51可执行的机器可读指令,处理器51用于执行存储器52中存储的机器可读指令,所述机器可读指令被处理器51执行时,处理器51执行下述步骤:
获取展示区域内目标展示位对应的目标视频,所述目标展示位为所述展示区域内的任一展示位,所述目标展示位配置有显示设备,所述目标视频由所述显示设备采集;
基于所述目标展示位对应的目标视频,识别出现在所述目标展示位的目标用户并检测所述目标用户对于所述目标展示位的关注度信息;
获取与所述关注度信息匹配的指示信息;
通过所述显示设备展示基于所述指示信息生成的虚拟引导员的指示动画。
上述存储器52包括内存521和外部存储器522;这里的内存521也称内存储器,用于暂时存放处理器51中的运算数据,以及与硬盘等外部存储器522交换的数据,处理器51通过内存521与外部存储器522进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的展区指示方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的展区指示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的展区指示方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的展区指示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
- 展区指示方法、装置、电子设备及存储介质
- 硬盘状态指示装置控制方法、装置、电子设备和存储介质