掌桥专利:专业的专利平台
掌桥专利
首页

物体跟踪的动画形象的系统及方法

文献发布时间:2023-06-19 11:55:48


物体跟踪的动画形象的系统及方法

对相关申请的交叉引用

本申请要求标题为“物体跟踪的动画形象的系统及方法”并且提交于2018年12月13日的第62/779373号美国临时申请的利益,该临时申请的公开出于所有目的通过引用而被并入本文中。

背景技术

本公开一般涉及游乐园的领域。更具体地,本公开的实施例涉及被利用来触发动画形象动作以提供游乐园体验的系统及方法。

除了许多其它景点以外,游乐园及其它娱乐场所包含可以提供补充内容和/或为公园顾客增强沉浸式体验的视频显示器。例如,这样的显示器可以包括由动画角色和/或实景真人角色递送并且涉及乘坐设施或环境的内容。虽然这样的预先记录的内容可以被脚本化成仿佛角色正与现场观众交互(例如,角色可以问好或提问)那样显现并且仿佛正等待观众回答那样暂停,但脚本化的内容未为与角色的动态观众交互或一对一观众交互作准备。

发明内容

在下文中总结在范围上与原先要求保护的主题相应的某些实施例。这些实施例不旨在限制本公开的范围,而是更确切地说,这些实施例仅旨在提供某些公开的实施例的简短概要。实际上,本公开可以包含可以与下文中所阐明的实施例类似或不同的各种各样的形式。

在本文中提供了一种动画系统。该动画系统包括:动画形象;动画系统的多个传感器;以及动画控制器。动画控制器包括处理器和存储器,其中,存储器存储由处理器能够执行的指令。所述指令引起动画控制器:从多个传感器接收顾客检测数据,其中,顾客检测数据指示顾客在动画形象附近的存在;从动画系统的多个传感器接收闪光物体检测数据;基于顾客检测数据和闪光物体检测数据而确定动画形象的动画序列;以及传送指示动画序列的控制信号,以引起动画形象执行动画序列。基于顾客检测数据和闪光物体检测数据,动画序列响应于在顾客上或在顾客附近检测到的闪光物体。动画序列包括实时的反应响应、预先编程的响应或它们的组合。

还在本文中提供了一种方法,该方法包括以下的步骤:从多个传感器接收顾客检测数据,其中,顾客检测数据指示顾客在动画形象附近的存在;从配置成检测金属物体或闪光物体的多个传感器接收闪光物体检测数据;基于顾客检测数据和闪光物体检测数据而确定金属物体或闪光物体在顾客上或顾客附近的存在;以及发送控制信号,以引起动画形象基于金属物体或闪光物体的存在而执行动画。动画序列包括实时的反应响应、预先编程的响应或它们的组合。

还在本文中提供了一种显示的动画形象的系统,该显示的动画形象的系统包括:显示屏,其显示动画形象;一个或多个相机;以及显示控制器。显示控制器包括处理器和存储器,其中,存储器存储由处理器能够执行的指令。所述指令引起显示控制器:接收顾客检测数据,其中,顾客检测数据指示顾客在动画形象的预确定的范围内的存在;从一个或多个相机接收图像数据;基于顾客检测数据而确定相对于显示屏的顾客位置;基于图像数据而标识位于顾客上或位于顾客附近的闪光物体;基于顾客位置和闪光物体检测数据而确定动画形象的动画序列以显示于显示屏上;以及传送指示动画序列的控制信号,以引起显示屏显示动画序列。基于闪光物体检测数据和以顾客检测数据为基础的顾客位置,动画序列响应于在顾客上或在顾客附近检测到的闪光物体。动画序列包括实时的反应响应、预先编程的响应或它们的组合。

附图说明

当参考附图而阅读以下的详述时,本公开的这些及其它特征、方面以及优点将变得更好理解,在附图中,贯穿附图,相同的字符表示相同的部分,其中:

图1是根据实施例的具有动画形象的游乐园的示意图;

图2是根据实施例的包括动画形象和动画控制器的动画形象系统的框图;

图3是根据实施例的响应于所检测到的特定闪光物体而执行动画的动画形象的框图;以及

图4是根据实施例的在动画形象中执行动画的过程流程图。

具体实施方式

将在下文中描述本公开的一个或多个具体实施例。为了提供对这些实施例的简明描述,可能未在说明书中描述实际实现方式的所有特征。应当意识到,在对任何这样的实际实现方式的开发中,如同在任何工程或设计项目中一样,必须作出许多特定于实现方式的决策以达到开发者的可能因实现方式而异的具体目标,诸如,对与系统相关的约束条件和与商业相关的约束条件的依从性。此外,应当意识到,这样的开发努力可能复杂并且耗时,但对于得益于本公开的普通技术人员而言,这样的开发努力将不过是设计、制作以及制造的常规任务。

当介绍本公开的各种实施例的元件时,冠词“一”、“一个”以及“该”旨在意味着存在元件中的一个或多个。术语“包含”、“包括”以及“具有”旨在为包括性的,并且意味着可能存在除了所列出的元件之外的另外的元件。另外,应当理解,本公开的对“一个实施例” 或“一实施例”的引用不旨在被解释为排除还将所叙述的特征并入的另外的实施例的存在。

目前的技术涉及个体(例如,游乐园顾客)与动画形象、角色或物体之间的动态交互。动画形象可以作为显示于一个或多个显示器表面上的多个图像或作为动画形象或机器人形象而提供。动画和/或动画序列可以进一步指响应于顾客存在和/或动作而(例如,经由显示器或物理移动)生成动画形象的面部和/或身体移动,所述动画形象的面部和/或身体移动可识别为动作。在某些实施例中,所述技术促进被检测为由顾客穿戴或定位于顾客上并且引起由动画形象作出的响应的特定物体(诸如,闪光物体)的标识。在一个实施例中,动画形象可以通过看起来进行眼神交会、微笑、说话、跑步、挥手等等而响应于检测到的所穿戴的物体的存在。在某些实施例中,所述物体可以是例如由闪光、反射或金属的反射材料形成的闪光物体,包括在人上找到的物体,诸如但不限于戒指、衣服、项链、刀具、钥匙、手表等等。

典型的在游乐园处发生的顾客与动画形象的交互可能限于对于任何给定的交互的预先记录的动画集。例如,无论顾客、顾客所作出的手势和/或顾客的独特特征(诸如,顾客的衣服或外貌)如何,由动画形象提供的动画都可能相同。因而,这样的交互可能不被感知为响应于个别的顾客或对于个别的顾客而个人化。

在本文中提供了促进在顾客与动画形象之间的交互的技术,所述交互看起来是定制的并且是个人的。例如,当标识穿戴于顾客上的物品时,可以提供响应动画,并且,动画形象对这样的物体作出反应或响应。一般而言,顾客穿戴的物品可以包括身体上的一个或多个闪光物体。例如,顾客可以穿戴戒指、手镯、钥匙、太阳眼镜、序列衣服(sequenceclothing)、皮带等等。这些物品中的一个或多个可以被该系统(例如,反射检测器)检测到。因而,动画可以被定制,以响应于顾客所穿戴或携带的特定闪光物体而动画化。然而,提供精确的闪光检测(诸如,检测在身体上的何处找到闪光物体)和/或确定闪光物体的精确性质可能是复杂的。例如,虽然一些金属物体是闪光/反射的,但并非所有金属物体都是闪光物体。另外,并非所有闪光物体都是金属或具有高金属含量。诸如反射塑料或玻璃之类的其它类型的物体能够被认为是闪光的。

考虑到前文,图1是可以与根据目前的实施例的所公开的交互动画系统联合而操作的游乐园10的示意性表示。特别地,游乐园10包括一个或多个动画形象12,动画形象12可以跟踪位于顾客上、位于各种游乐园景点上或位于各种游乐园景点周围的闪光物体并且对位于顾客上、位于各种游乐园景点上或位于各种游乐园景点周围的闪光物体的检测作出反应。在所描绘的实施例中,游乐园10景点可以包括水上景点14、餐厅16、虚拟游戏室18以及基于跟踪的乘坐设施20。可以遍及游乐园10而找到动画形象12的不同实施例,并且,这些实施例中的每个可以检测并且跟踪闪光物体和/或顾客(例如,顾客手势),并且以顾客感知为对被检测物体或顾客的响应的方式作出反应。例如,水上景点14、餐厅16以及基于跟踪的乘坐设施20可以包括显示动画形象12的图像的显示屏22。屏幕22可以描绘对顾客和/或所检测的具体闪光物体作出反应的动画形象12。类似地,动画形象12也可以是在虚拟游戏室18中体验的虚拟游戏中的虚拟实施例或全息图。

应当注意到,尽管本文中所提供的示例可以描述物理或机器人动画形象12,所公开的途径还是可以如上所述地在其它动画(诸如,虚拟动画形象、全息动画形象或显示的动画形象)中使用。因此,如本文中所提供的,所公开的动画或动画序列可以指全息形象或在显示器上渲染的动画或由机器人形象的物理移动引起的动画。因而,目前的示例应当被理解成仅仅反映动画形象的真实世界的示例,以便提供有用的情境以促进讨论,并且不应当被视为限制本途径的适用性。此外,尽管本途径涉及检测顾客上的闪光物体,所公开的途径还是可以在对于其它可检测的感兴趣的特征的其它情境下使用。因而,本途径应当被理解为适用于其中可能存在能够基于可检测的感兴趣的特征而生成反应的动画形象的任何情形。

如所描绘的,动画形象12可以经由动画控制器30来控制成作出反应或动画化。在一个实施例中,动画控制器30可以集中并且同步到遍及游乐园10而定位的至少一个或多个动画形象12(例如,物理动画形象12a、经由显示器(例如,全息图投影仪或显示屏22)的控制来显示的全息或虚拟动画形象12b或显示的动画形象12c)。当动画控制器30经由位于动画形象12上或位于动画形象12周围的一个或多个传感器来检测顾客存在、顾客手势、闪光物体和/或与物体相关联的手势时,动画控制信号可以发送到控制动画形象12的一个或多个系统。通信(例如,指示顾客和/或闪光物体的所感测的数据)还可以发送到监测系统31。监测系统31可以是如下的管理系统:不仅监测动画改变(诸如,响应于闪光物体被检测到并且跟踪而从动画控制器30发送的动画),而且还可以控制或重新配置动画控制器30。以此方式,监测系统31可以重新设定动画选项或对由动画控制器30确定的自动动画进行超驰。例如,动画控制器30可以响应于特定闪光物体的检测而自动地将动画发送到动画形象12。类似地,如果操作人员发现超出由动画控制器30确定的关于动画形象12的问题的关于动画形象12的任何问题,则操作人员可以经由停止机构(例如,按钮)来人工地使动画停止,以对动画进行超驰。监测系统31还可以用于对位于动画形象12上或位于动画形象12周围的传感器进行重新校准。在某些实施例中,监测系统31和动画控制器30可以实现为单个控制器。

如先前所提到的,动画控制器30可以利用由位于动画形象12上或位于动画形象12附近的传感器接收的传感器数据的组合来检测闪光物体并且作为响应而基于所检测到的闪光物体来控制动画。如所示出的,闪光物体检测器26可以用作用以检测闪光物体的存在的传感器机构,闪光物体的存在可以指示顾客上的闪光物体。闪光物体检测器26(例如,反射率传感器、金属物体检测器、闪光物体检测器、金属传感器)生成闪光物体检测数据。尽管闪光物体检测器26在本文中被示出并且讨论成检测材料和/或物体的反射率,闪光物体检测器26还是可以包括任何闪光物体、反射物体、金属物体、金属材料(包括但不限于闪光物体或金属物体(诸如,宝石、玻璃、序列(sequences)、戒指、项链、刀具、钥匙、太阳眼镜、手表等等))的检测。闪光物体检测器26(例如,反射率传感器)可以使用光学传感器来评估材料的反射率,并且基于该反射率而确定该物体闪光。此外,闪光物体检测器26可以包括一个或多个光学检测器、磁性检测器、红外检测器或感应式金属检测器。而且,闪光物体检测器可以是配置成使用光学传感器来评估材料的反射率并且基于该反射率而确定该物体闪光并且很可能为感兴趣的闪光物体的反射率传感器。可能对作为所穿戴的物体(例如,珠宝)的某些类型的闪光物体比其它类型(例如,亮白的牙齿)更感兴趣。为了在洁白的牙齿的反射性与珠宝的反射性之间进行区分,另外的分析(例如,使用相机数据)可以用于估计闪光物体在手指、耳朵、颈部上的位置,或估计腕部很可能是感兴趣的闪光物体,而嘴部上或嘴部中的位置是不太可能的。虽然对某些身体位置进行衡量的途径可能未能捕获具有金属支架的个体,但这样的途径针对感兴趣的物体(例如,所穿戴的物体)的类型而充实所标识的闪光物体。

在一个实施例中,反射率传感器是配置成测量从感兴趣的物体的表面反射的光的强度的光学传感器。反射率传感器可以与一个或多个相机32集成,使得相机图像数据用作用来确定所捕获的物体是否为反射性的输入。可以在逐像素的基础上实行评估,使得评估个别的像素的反射率。如果被标识为来自个别的物体(例如,具有类似的颜色性质、位于很可能的物体位置处或处于预定义的边界内)的足够数量的邻近的像素高于反射率因子阈值,则该物体被归类为闪光。在一个实施例中,可以评估镜面反射性质或漫反射性质。取决于图像捕获位置和可用光源的位置,漫反射率可以遍及物体的较大百分比的表面面积而观察,而镜面反射率可以以固定范围的角观察。闪光物体可以包括两种类型的反射性质。因此,相机数据可以用于标识物体内的高反射率(镜面反射)或覆没其它类型的反射率(例如,在相机图像中显现为明亮光环的闪烁钻石)的小闪光区。由于个体正在环境内移动,因而即使在时间窗内的相机数据指示随着个体及其穿戴物体从镜面反射角移开而减小的反射率,该相机数据也可以用于在孤立的时刻跟踪镜面反射率,以标识闪光物体。如果即使在邻近的时间点的反射率较低的情境下,在时间窗内的一个点估计的反射也高于阈值,则控制器可以将暂时地或间歇地闪光的物体标识为闪光物体。

此外,闪光物体检测器26可以以距动画形象12的预确定的接近度放置于景点的动画形象12上或放置于景点的动画形象12周围,使得动画控制器30可以计量信号强度。因而,当在该接近度内检测到闪光物体时,闪光物体检测器26可以传送可由动画控制器30检测的信号脉冲。该信号可以按可以允许动画控制器30确定闪光物体的准确检测的方式生成。此外,闪光物体检测器26可以允许对于移动物体的可检测性。因而,该信号可以指示所检测到的闪光物体可以位于顾客上。以此方式,可能不会检测到游乐园10的可以位于动画形象12附近的静止闪光物体(例如,由金属制成的静止乘坐设施),诸如,景点16、14、18以及20,从而错误地指示感兴趣的闪光物体。

在一些实现方式中,闪光物体检测器26可能对不同类型的闪光物体敏感。例如,闪光物体检测器26可以是可以基于对于物体的反射率的用户定义的阈值而确定闪光物体的光学传感器或光电传感器。一般而言,每当光通过材料或介质行进时,光的一部分都例如像以反射百分比描述那样从表面反射,并且,光的剩余部分被折射。因而,反射率可以以反射因子%或折射指数测量。折射指数引用无量纲数来描述光多快地通过材料传播。折射指数还确定在进入材料时多少光路被弯折(例如,被折射)。

在一些实施例中,对于确定闪光物体的阈值可以基于反射因子或所反射的光的量。通过示例的方式,在穿过非闪光物体(诸如,砂岩材料)时反射的光的量是20-40%,而经抛光的铝的反射因子是80-87%。因而,在一个实施例中,当光穿过特定物体时,对于反射率的阈值可以是至少80%的反射因子。在另一实施例中,该阈值可以是至少70%的反射因子,使得光的至少70%从物体反射。此外,在其它实施例中,对于确定闪光物体的阈值可以基于所反射的光的范围,诸如,70%-100%的反射因子。

另外或备选地,该阈值可以基于折射指数,而非反射因子或所反射的光的量。通过示例的方式,对于铝的折射指数是1.373,使得光在真空中比通过金属更快1.373倍地行进。对于其它闪光物体的折射指数,诸如但不限于,银是0.266,并且,钻石是2.417。因此,可以由闪光物体检测器26基于至少0.2或0.2-2.5的范围的物体的折射指数而作出闪光物体确定。诸如银金属物体之类的一些闪光物体可以比诸如钻石之类的其它闪光物体明显地更大程度地折射。因此,基于反射因子百分比或折射指数而确定对于反射率的特定阈值可能是困难的。此外,可能不感兴趣的非闪光物体也可能落入反射因子%或折射指数阈值内。例如,雪具有80%的反射因子(在一些实施例中,雪可以基于该阈值而被归类为闪光),从而引起不准确的闪光物体确定。此外,被物体反射的光的量和该光如何被反射可以取决于物体的表面的光滑度或纹理。例如,当缺陷(imperfection)小于入射光的波长时,实际上所有光都同样地被反射。为了说明闪光物体的变化的材料和纹理连同闪光物体的变化的反射率,闪光物体可以使用如本文中所描述的另外的传感器方法(诸如,精神传感器、相机等等)来确定。

例如,闪光物体检测器26可以包括用以确定闪光物体的金属检测器,诸如,甚低频(VLF)检测器或脉冲感应(PI)检测器等等。VLF检测器可以传送电流,从而在表面下面和/或在表面下方产生磁场,并且,VLF检测器可以接收干扰该磁场的信号。取决于金属类型(诸如,高磁性物体(例如,钢或铁)或低磁性物体(例如,金)),磁脉冲干扰可以改变,以指示所检测的金属的类型。在另一示例中,PI检测器可以通过电线线圈使电流产生脉动,以利用每个脉冲来生成短暂的磁场,并且引起另一电流(反射脉冲(reflected pulse))流过线圈。所反射的脉冲短(例如,30微秒)。如果检测到金属物体,则脉冲造成物体中的相反的磁场,从而引起所反射的脉冲或引起该脉冲持续达较长的持续时间,指示检测到金属。因而,动画控制器30可以针对金属物体以及因而闪光物体的具体的类别或种类而解释脉冲信号。例如,所检测的项链、戒指以及手镯可以属于在确定适当的动画时可能感兴趣的珠宝的分类群组。金属检测器可以用来确定分类的特性可以包括但不限于典型地用于贴身珠宝的金属的量、金属类型(例如,金)等等。

如所描绘的,闪光物体检测器26可以用于检测位于穿戴项链34的顾客和穿戴小型戒指36的儿童上的闪光物体。因而,动画控制器30可以针对动画形象12而发送信号,以例如通过改变动画形象12的面部表情以指示动画形象12对珠宝感到惊奇(例如,指向所检测到的珠宝、睁大的眼睛以及兴奋的笑容)而以指示检测到珠宝的方式作出反应。尽管闪光物体检测器26可以用于检测闪光物体和/或闪光物体分类,闪光物体检测器26可能还是难以精确地对闪光物体进行分类和/或跟踪物体在顾客上的位置。继续参考关于穿戴小型金属戒指36的儿童的示例,检测小型闪光物体可能是尤其困难的。因而,为闪光物体确定分类和/或在顾客上跟踪闪光物体以准确地使动画形象12动画化可能在使用反射率或金属传感器或检测器(诸如,闪光物体检测器26)的情况下是困难的。

因此,其它传感器机构可以与配置成提供闪光检测数据的传感器(即,反射率传感器或金属检测器,诸如,可以安装于动画形象12周围和/或安装于游乐园10周围的相机32或一系列的相机32)组合而使用。相机32可以装配成处于距动画形象12的预确定的距离。该预确定的距离可以是可以允许顾客身体图像和顾客可能穿戴闪光物体的区域的全景察看的距离。例如,相机32可以察看围绕动画形象12的20英尺(例如,6米)的周长。以此方式,可以容易地检测到可能触发动画的位于动画形象12附近的任何顾客。另外或备选地,相机32可以集成到动画形象12的身体中。该集成可以定位成导致不论顾客是安置于动画形象12前面还是安置于动画形象12后面,都存在将被感知的顾客和/或闪光物体的清晰视图。例如,使相机32集成于动画形象12的眼睛中可以虑及在动画形象12前面交互的顾客的检测。

相机32还可以用于捕获数据,所述数据用作对如本文中所提供的系统的一个或多个过程的输入。在一个示例中,相机32数据可以被动画控制器30使用来检测人的存在。即,人的所捕获的图像的存在至少部分地用于触发动画。在另一示例中,相机数据可以被处理,以使用骨骼跟踪、面部识别和/或身体识别来标识顾客。顾客检测和/或面部识别还可以允许触发其它传感器机构,以随后检测顾客上的闪光物体。例如,在检测到面部并且因而检测到顾客之后,相机32可以使闪光物体检测器26初始化,以关于在顾客附近检测到的闪光物体而作报告或发送该闪光物体的输入,这于是可以虑及动画形象跟踪闪光物体和/或顾客并且提供响应动画。骨骼跟踪可以包括:使用由相机32得到的实时顾客图像或所捕获的顾客图像;以及将图像与所识别的骨骼模型比较,以指示人体骨骼检测。例如,骨骼模型可以包括人体骨骼的至关重要的关节、骨头以及肢体的相对定位。因而,将顾客的所捕获的图像与骨骼模型比较可以虑及人脸检测和身体检测。骨骼跟踪数据可以进一步被处理,以使用面部识别和身体识别来精确地标识面部或身体,并且,骨骼跟踪数据还可以用于标识优选的身体部分或部位上的闪光物体。面部图像检测可以将多个面部特征作为整体而考虑,以确定已准确地检测到面部。所考虑的特征可以是面部的感兴趣的点及其交点(例如,极接近在每只眼睛之间的点处或该点附近检测到的沿着竖直线的鼻部的沿着水平线对准的两只眼睛)。此外,相机32可以用于全身检测,使得身体特征可以用于精确地标识顾客,并且随后触发闪光物体的检测。例如,身体检测特征可以考虑身体特征及其交点,诸如,面部、手臂以及腿部。此外,相机32可以用于进行热识别来检测体热,这可以用于进一步准确地预测顾客的存在。此外,相机32还可以包括红外(IR)能力,使得相机可以提供夜视,由此在白天和黑夜两者经由形状识别(如下文中所讨论的那样)来检测顾客和/或物体。

另外或备选地,相机32可以用于进行形状识别,以标识感兴趣的闪光物体。相机32可以配置成具体地检测在顾客上找到的常见的多件闪光物体。所识别的形状可以是圆形戒指、圆形项链、皮带搭扣、钥匙形状等等。相机32可以配置成按序列实行骨骼跟踪、面部/身体识别以及形状识别,以虑及在顾客上找到的闪光物体的准确标识。例如,在经由面部/身体识别或体热识别来检测顾客之后,动画形象系统可以确定身体图像并且随后将形状识别应用于被视为很可能具有感兴趣的闪光物体的具体的身体区域。例如,针对金属物体的搜索可能限于针对皮带的所标识的腰部部位、针对戒指的所标识的手部或脚趾、针对项链形状的所标识的颈部或面部等等。而且,所检测的金属的另外的查证还可以将相机数据并入。如果在所标识的顾客手部处检测到闪光物体,则指示与可能的闪光物体对应的环形形状的相机数据指示戒指。此外,在一些实现方式中,相机32还可以捕获顾客的移动(例如,手势)并且使用那些所捕获的移动来进一步针对动画形象12而模拟动画。因而,所检测到的闪光物体还可以用于精确地检测并且跟踪顾客,而非提供可以被感知为对闪光物体本身的响应的动画。

此外,一个或多个另外的传感器28(例如,接近度传感器、热传感器、光学传感器)还可以用于检测人的存在。另外的传感器28可以安装于机器人或动画形象12a的物理身体上或集成于显示动画形象12c的显示屏22附近、集成到显示屏22中或集成于显示屏22上。以此方式,如果顾客触碰动画形象,则动画控制器30可以使动画形象12动画化,以相应地作出反应。例如,如果顾客触碰动画形象12的后肩部,则动画形象可以被指导来诸如通过逃离顾客而仿佛它很恐惧那样作出反应。另外的传感器28还可以与诸如相机32或闪光物体检测器26之类的其它传感器机构联合而使用,以触发闪光物体的检测。因而,基于由热传感器检测到的顾客存在的检测,相机32可以启动热成像和形状识别,以检测顾客上的闪光物体。在某些实施例中,另外的传感器28可以检测顾客是否处于动画形象12的范围内。即,如果所感测的距离33小于阈值和/或如果顾客处于动画形象12的假想视场29内,则动画可以被触发。

其它传感器机构可以包括并入到顾客可穿戴装置(例如,手镯)中的射频标识(RFID)标签38。RFID标签38可以与并入到景点中和/或并入动画形象12周围的电子读取器通信,以指示标签的存在。RFID数据可以被利用来指示顾客的存在,以便触发闪光物体识别,以检测并且跟踪金属物体。

应当理解,在不存在顾客的情况下,动画形象12可能正在默认指令下休息或操作。例如,显示的动画形象12c可能在显示屏22上活动。动画形象12可能一般正到处寻找顾客或实行其它任务,直到交互动画基于顾客的检测和同时发生的位于顾客上或位于顾客附近的金属物体的检测而被触发为止。

如先前所提到的,指示顾客存在和/或闪光物体的检测的所检测的传感器信号的组合可以发送到动画控制器30,动画控制器30然后可以确定对应的动画序列。为了进行说明,图2示出具有动画控制器30和动画形象12(例如,动画形象12a、虚拟动画形象12b和/或显示的动画形象12c)的动画形象系统50的框图。动画控制器30(例如,电子控制器)可以包括存储器52、处理器54、通信电路系统56以及输入装置53。在某些实施例中,存储器52配置成存储指令、数据和/或信息,诸如,动画库(例如,数据库或可选择的可用的动画选项)。另外或备选地,存储器52可以包括对于响应动画的用户定义的算法。例如,该算法可以包括使用动画形象12特征(诸如,眼睛)来跟踪所检测到的闪光物体。因而,该算法可以引起动画形象12的眼睛跟踪并且追随所检测到的闪光物体。应当注意到,尽管本文中所提供的示例可以描述动画库,所公开的途径还是可以使用其它动画或算法或两者(诸如,引起动画形象12跟踪闪光物体并且对其作出反应(例如,追随)的算法),而非从所存储的库选择动画,使得该动画可以被感知为对所跟踪的闪光物体的响应。另外或备选地,该算法可以作为用以跟踪顾客的手段而跟踪闪光物体,并且然后提供可以响应于顾客和/或顾客手势的动画。此外,尽管本文中所提供的示例将动画形象12描述为动画形象12a,所公开的途径还是可以使用其它动画形象,诸如但不限于显示的虚拟动画形象12b、显示的动画形象12c等等。

如在下文中更详细地讨论的,在某些实施例中,处理器54配置成从输入装置53接收来自先前描述的一个或多个传感器的与检测顾客和/或闪光物体和/或顾客手势有关的输入信号,以基于所接收的输入而从动画库选择动画,并且随后基于所接收的输入和/或根据所选择的动画而向动画形象12的致动器58和/或扬声器68提供控制信号。以此方式,动画控制器30可以控制动画形象12的动画。如先前所描述的,可以由相机32、闪光物体检测器26、另外的传感器28(例如,接近度传感器或热传感器)和/或RFID标签38向输入装置53提供传感器数据。应当理解,根据所公开的实施例,所说明的系统仅仅旨在为示例性的,并且,可以省略某些特征和部件,并且,可以添加各种其它特征和部件,以促进实行。

在经由输入装置53来接收传感器数据之后,动画控制器30可以使用处理器54来促进动画形象12的控制,以基于传感器数据而从可以存储于存储器52中的动画库选择动画。动画库可以包括例如可用动画的列表,诸如,第一动画选项(例如,微笑)、第二动画选项(例如,打招呼)、第三动画选项(例如,大笑和挥手)、第四动画选项(例如,告别)等等。在某些实施例中,动画选项可以存储于存储器52中。在一些实现方式中,处理器54可以配置成选择将按序列(例如,动画序列)实行的一个或多个动画。

在某些实施例中,动画控制器30可以用于控制动画形象12的各种部件,并且应当理解,本文中所公开的特征、功能和/或技术中的任一个可以按任何合适的方式(诸如,动画控制器30和动画形象12可以集成到动画形象12中)分布于动画形象12与动画控制器30之间。在所描绘的实施例中,动画控制器30的处理器54可以执行存储于存储器52中的指令以实行操作,诸如,选择动画(例如,微笑、说话、指向闪光物体、逃离闪光物体等等)以在动画形象12上执行。照此,在一些实施例中,处理器54可以是一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程门阵列(FPGA)或它们的任何组合。另外,存储器52可以是存储由处理器54能够执行的指令和将由处理器54处理的数据的有形、非暂时性计算机可读介质。因而,在一些实施例中,存储器52可以包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器、闪速存储器、硬盘驱动器、光盘等等。

此外,动画控制器30可以使通信电路系统56能够与各种其它电子装置(诸如,在动画形象12中说明的部件)通过接口接合。例如,通信电路系统56可以允许动画控制器30通信地耦合到诸如个域网(PAN)、局域网(LAN)和/或广域网(WAN)之类的网络。因此,在一些实施例中,动画控制器30可以处理来自输入装置53的数据并且经由通信电路系统56来将该数据传递到动画形象12(例如,动画形象12a)。例如,在处理来自输入装置53的传感器数据输入之后,处理器54可以使通信电路系统56能够将数据无线地传送到动画形象12,以使动画形象12的面部或身体能够输出一个或多个动画(例如,微笑、说话、指向金属物体、逃离金属物体等等)。另外或备选地,处理器54可以使通信电路系统56能够将数据无线地传送到虚拟动画形象12b的虚拟形象控制器21,以执行动画。类似地,传感器数据可以无线地传送到显示屏22的显示屏控制器25,以控制显示的动画形象12c。尽管未明确地示出,显示屏控制器25和虚拟形象控制器21还是可以各自包括与动画形象12a的形象存储器62类似的存储器(该存储器用来存储动画或用于实行动画的算法)和与动画形象12a的形象处理器60类似的处理器(该处理器用来处理并且执行相应的动画形象12b、12c上的动画)。在另外的配置中,通信电路系统56可以无线地连接到动画形象12或可以经由有线连接来连接到动画形象12。

在一些实现方式中,出于可视化目的,动画控制器30还可以配置成在动画控制器30的显示器27(例如,文本、图像、图形等等的显示器)上显示可用动画(例如,存储于存储器52中的库中的动画或算法的列表)的指示以及所选择的移动、特征和/或动画的指示。该显示器还可以可用于监测系统31(参见图1),监测系统31用于监测动画控制器30和/或动画形象12或对其作出管理改变。因而,对监测系统31进行监测的操作人员可以察看显示器27,以具有可能的动画的视觉指示,并且随后可以诸如通过扩大动画选项库而修改可能的选项,以改进动画形象12与顾客的交互。此外,操作人员可以使用显示器27来对一个或多个可用动画进行超驰并且将其指派给一个或多个所感测的顾客交互和/或闪光物体。因而,在一些实施例中,在显示器27上提供的多个动画可以由操作人员改变、修改、切换、推迟或删除,由此能够实现经更新的动画。在一些实施例中,处理器54可以配置成指导显示器27显示与传感器数据对应的先前实行的动画的列表,以促进可视化并且促进将来的动画的选择。

显示器27可以进一步被利用来提供各种其它信息。例如,在一些实施例中,相机32可以与显示器27通信,以示出顾客的图像(例如,静止图像或实时图像,诸如,视频)和当前实现的动画(例如,动画形象12的当前的移动),顾客的图像和当前实现的动画可能已通过通信电路系统56而传递到动画形象12。此外,显示的图像可以被操作人员使用来修改动画库。

一旦动画信号从动画控制器30发送到动画形象12(或显示动画形象12的显示屏22),动画形象12就可以实现对应的动画。如所示出的,用于实现动画形象12中的动画的部件可以包括致动器58、形象处理器60、形象存储器62、通信装置64以及扬声器68。形象处理器60可以从动画控制器30接收动画信号,并且,形象处理器60可以处理该信号从而提供用来相应地修改致动器58和/或扬声器68的指令。形象处理器60可以执行存储于形象存储器62中的指令,以实行从动画控制器30接收的操作,诸如,确定完整的运动简档(例如,动画)以在动画形象12上执行。照此,在一些实施例中,动画形象12可以包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程门阵列(FPGA)或它们的任何组合。另外,形象存储器62可以是存储由形象处理器60能够执行的指令和将由形象处理器60处理的数据的有形、非暂时性计算机可读介质。因而,在一些实施例中,形象存储器62可以包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器、闪速存储器、硬盘驱动器、光盘等等。

致动器58可以是任何合适的致动器,诸如,机电致动器(例如,线性致动器、旋转致动器等等)。致动器58可以位于动画形象12内侧并且配置成调整动画形象12的某些特征或部分(例如,眼睛、眉毛、脸颊、嘴部、嘴唇、耳朵、手臂、腿部等等)。例如,旋转致动器可以沿着动画形象12的嘴唇的外尖端定位于动画形象12内侧,以引起动画形象12的面部响应于控制信号(例如,来自形象处理器60)而微笑。作为另外的示例,动画形象12可以包含响应于控制信号而驱动动画形象12的眉毛的位置(例如,以皱眉)的电动线性致动器。类似的致动器可以用于提供其它身体特征移动,以便使动画形象12的腿部或手臂移动。在一些实施例中,致动器58可以使动画形象12能够提供各种各样的所投射的面部或身体特征手势、物理地动画化的面部或身体手势中的任一个或它们的组合。此外,扬声器68可以将预先记录的短语作为动画库中的动画选项而投射。

在某些实施例中,动画形象12可以包括一个或多个状态传感器70,状态传感器70配置成监测部件状态和/或动画形象12状态(例如,以确定所实行的动画是否并非对应于所选择的动画),并且,状态的指示可以显示于动画控制器30的显示器27上。例如,状态传感器70可以与每个致动器58相关联,并且配置成检测致动器58的位置和/或移动,致动器58的位置和/或移动可以指示致动器58是否正适当地运作(例如,正基于所选择的动画而以预期的方式移动)。在某些实施例中,动画系统可以配置成经由显示器27来提供部件失效、当前的动画选择、即将发生的动画选择、当前播放的动画等等的指示。

此外,通信装置64可以使动画形象12能够与各种其它电子装置(诸如,动画控制器30的部件)通过接口接合。例如,通信装置64可以使动画形象12能够通信地耦合到诸如个域网(PAN)、局域网(LAN)和/或广域网(WAN)之类的网络。在另外的实施例中,动画形象12可以经由有线(例如,陆上线路)连接来通信地耦合到动画形象12和/或动画控制器30的各种部件。因此,在一些实施例中,形象处理器60可以响应于由动画控制器30的输入装置53接收的输入数据而处理由通信装置64接收的数据,并且经由通信电路系统56来传送到动画形象12。例如,动画控制器30可以配置成在确定适当的动画之后自动地、无线地传送动画信号。另外或备选地,对监测系统31(参见图1)进行监测的操作人员可以选择一个或多个按钮,所述按钮也可以无线地传送动画数据。

图3是根据本公开的方面的实行动画的示出为动画形象12a的动画形象12的实施例的示意图80。所描绘的实施例可以包括与穿戴闪光物体的顾客交互的动画形象12。如所示出的,相机32定位成察看动画形象12和可以进入触发动画的距动画形象12的预确定的距离或范围81(例如,如接近度传感器或相机32所估计的那样)内的顾客两者。闪光物体检测器26定位成检测可以进入也可以触发动画的范围内的闪光物体。由相机32和闪光物体检测器26提供的所感测的数据可以传递到动画控制器30。具体地,动画控制器30可以使用传感器数据输入来运算二维(2D)XY平面映射,使得动画形象12在XY平面范围上针对在动画形象12的预确定的范围81内检测到的顾客而动画化。例如,该映射可以包括动画形象12和预确定的范围81的视图,使得动画形象12是原点,并且,所检测到的任何顾客被确定成处于距动画形象12的X距离(水平距离)和Y距离(竖直距离)。XY平面可以包括四个象限,以便顾客可以在XY平面上在距动画形象12(在其下方或后面)的负值距离处被检测到,但那仍然处于预确定的范围81内。动画控制器30可以使用XY平面数据来基于传感器数据(例如,接近度传感器)而估计相对于动画形象12的顾客位置,而非使用固定相机32来聚焦于顾客或跟踪顾客。该估计可以用于触发动画形象12中的动画。

继续参考如图1中所描述的穿戴项链34的顾客和穿戴戒指36的儿童的示例,这两个顾客可以处于预确定的范围81内,以触发动画。由于两个顾客正穿戴闪光物体并且处于将被检测的范围81内,因而动画形象12可以被动画控制器30指导(例如,经由存储于存储器52中的用户定义的算法)来跟踪最接近动画形象12的顾客并且对该顾客作出反应。在其它实施例中,如果顾客正穿戴多个闪光物体,则动画形象可以被指导来对第一个所检测到的闪光物体和/或较强的闪光信号(例如,较强的金属检测或较高的反射率)作出反应。另外或备选地,如果在预确定的范围81内存在多个闪光物体,则在跟踪顾客的预确定的时段之后,动画形象可以在范围81内将其跟踪和对应的动画重新映射到下一个最强闪光物体信号产生物体。

在此示例中,儿童更大程度地极接近位于动画形象12旁边的闪光物体检测器26,并且因而,动画形象可以对在儿童的身体上找到的闪光物体作出反应,并且可以忽略在其他顾客上检测到的闪光物体。在使用诸如但不限于金属检测分类或形状识别的不同的识别技术的情况下,如先前所讨论的,动画控制器30可以确定所穿戴的闪光物体是戒指36。在一些实施例中,动画形象12可以是被珠宝吸引住的角色。因而,动画控制器30可以在动画库中查找对应的(一个或多个)动画,并且通过通信电路系统56发送该信号。在此,珠宝的检测可以对应于引起动画形象12跟踪所标识的一件珠宝并且指向该珠宝并且露出惊讶表情的动画。另外或备选地,动画指令还可以包括使动画形象12与所检测到的顾客和/或闪光物体齐平。因而,动画形象12可以设计有可移动的特征,以支持各种动画,诸如,眼睛82、鼻部84、嘴部86、手臂88、手指89以及腿部90。所述特征可以基于控制信号(例如,从动画控制器30的处理器54接收)而经由动画形象12中的相应的致动器58来被致动。如上文中所讨论的,还可以使扬声器68能够作为动画的一部分而投射单词和/或短语以与顾客交互。

因而,在本示例中,腿部90可以被致动,以朝下弯折,并且使得动画形象12变得在高度上与儿童齐平,并且,手臂88和手指89可以被致动,以继续跟踪戒指36并且指向戒指36。此外,眼睛82可以被致动,以变得更大,并且,嘴部86可以被致动,以张开并且变成圆形。因而,动画形象12特征可以被致动,以执行从动画库选择的动画。如先前所提到的,代替从动画库选择动画,可以执行可以引起动画形象12固定于所检测到的闪光物体上并且以可识别的方式(诸如,使用动画形象12的眼睛来跟踪戒指36)跟踪闪光物体的算法。如果顾客从检测范围移出,则动画形象12可以被指导来移回到其初始位置,并且,可移动的特征可以相应地被致动。以此方式,动画形象12可以基于所跟踪的顾客和/或在顾客上观察到的所跟踪的闪光物体而与顾客交互长达只要闪光物体处于预确定的范围81内的时间。

图4是对于用于将动画输出到动画形象12的方法100的过程流程图。应当注意到,方法100可以由系统(诸如,具有动画形象12和/或动画控制器30的动画形象系统50)作为自动规程而实行。尽管该流程图按某一序列说明步骤,还是应当理解,可以按任何合适的顺序实行步骤,并且,在适当的情况下,可以同时地实施某些步骤。而且,可以省略方法100的某些步骤或部分,并且,可以添加其它步骤。方法100可以响应于通过传感器数据输入(例如,经由相机32、闪光物体检测器26、另外的传感器28和/或RFID标签38)而检测到的顾客和/或闪光物体等等而实施。

如所说明的,方法100一般包括:提供动画形象12内的一个或多个可用动画选项(框102);接收传感器输入(框104);基于所接收的传感器输入而选择对应的动画(框106);以及对动画形象12中的所选择的动画进行致动(框104)。

更详细而言,方法100可以针对动画形象12而提供一个或多个可用动画选项(框102)。如在上文中详细地讨论的,可能存在来自可以在动画形象12上执行的动画库(例如,该动画库存储于存储器52中,该动画库可以进一步显示于显示器27上)的可用动画选项(例如,微笑、说话、挥手等等)的列表。此外,可以存储于存储器52而非库中的动画选项可以包括经由动画形象12的特征(例如,使眼睛移动以追随闪光物体)来跟踪所检测到的闪光物体。此外,动画选项可以另外或备选地包括通过使用顾客上的闪光物体来跟踪而跟踪顾客。动画选项可以经由动画控制器30的处理器54来自动地确定。另外或备选地,动画可以经由显示器27来对操作人员呈现。动画库的可用动画选项可以被组织为显示可用动画选项(例如,诸如微笑之类的第一动画选项、诸如打招呼之类的第二动画选项、诸如大笑和挥手之类的第三动画选项等等)中的每个的列表、与选项相关联的动画形象特征(例如,嘴部86位置改变、眼睛82位置改变、手臂88位置改变等等)的列表、显示动画选项的网络或显示动画选项和/或促进动画选项的回顾和/或选择的任何其它合适的方式。与多个所感测的输入相关联的更多数量的动画选项可以提高顾客与动画形象12的交互的总体有效性。

方法100接收用于选择动画的传感器输入的组合(框104)。如上文中所讨论的,输入可以是来自一个或多个相机32的所感测的数据。因而,所述输入可以包括对于使用如由动画控制器30确定的面部或身体识别并且使用如由相机32捕获的数据来检测到的顾客的身体轮廓或图像的数据。所述输入还可以包括闪光物体检测(闪光物体检测可以转而包括来自闪光物体检测器26(例如,反射率传感器和/或金属检测器)的数据)以及使用从相机32捕获的相机数据并且具体地检测身体上的闪光物体来进行的形状识别。此外,所感测的输入还可以包括由闪光物体检测器26、另外的传感器28和/或RFID标签38检测的数据。闪光物体检测器26可以用于检测位于动画形象12附近的闪光物体。因而,身体或面部识别和闪光物体检测的组合可以用于针对传感器输入而精确地检测顾客和/或闪光物体在顾客上的位置。

接下来,可以选择基于所接收的传感器输入的动画(框106)。该动画可以作为将被动画形象12的形象处理器60处理的动画信号(例如,(一个或多个)控制信号)而发送。

一旦动画形象12接收并且处理来自动画控制器30的所选择的动画,该动画就由动画形象12执行。在动画形象12的物理结构上执行该动画可以包括在动画形象12的各种致动器58中对该动画进行致动(过程框108)。例如,致动可以通过向致动器58提供控制信号而引起动画形象12将其物理特征的定位修改为皱眉、微笑、投射声音、用眼睛追随金属物体等等。因而,致动可以按响应于检测到顾客和/或特定的闪光物体的方式或者只有检测到顾客和/或特定的闪光物体才有的方式引起顾客将动画形象12感知为进行动作。

虽然只有本公开的某些特征在本文中已被说明和描述,但本领域技术人员将想到许多修改和改变。因此,将理解到,所附权利要求旨在涵盖如落入本公开的真实精神内的所有这样的修改和改变。

本文中所提出并且要求保护的技术被引用并且应用于有实际性质的实质性对象和具体示例,所述实质性对象和具体示例可论证地改进本技术领域并且因此不是抽象的、无形的或纯理论的。而且,如果本说明书的末尾所附的任何权利要求包含指定为“用于[实行]……[功能]的部件”或“用于[实行]……[功能]的步骤”的一个或多个元素,则旨在这样的元素将根据35 U.S.C. 112(f)而解释。然而,对于包含以任何其它方式指定的元素的任何权利要求,旨在这样的元素将并非根据35 U.S.C. 112(f)而解释。

相关技术
  • 物体跟踪的动画形象的系统及方法
  • 自动驾驶车辆自动跟随前方物体的系统和方法、跟踪系统
技术分类

06120113106742