一种基于增强现实的互动方法、装置及电子设备

技术领域

本说明书一个或多个实施例涉及增强现实技术，尤其涉及一种基于增强现实的互动方法、装置及电子设备。

背景技术

随着计算机技术的发展，用户除了能够在游戏厅等线下实体店游玩到音乐游戏外，现在还可以在无线终端上游玩到音乐游戏。

然而，目前无线终端上的音乐游戏多为用户通过手指点击无线终端屏幕来实现游玩过程，难以像在实体店内一样在游玩过程中通过相应动作的交互来获得具有较为真实的体验感。

发明内容

本说明书一个或多个实施例描述了一种基于增强现实的互动方法、装置及电子设备。

第一方面，本说明书实施例提供了一种基于增强现实的互动方法，包括：

获取互动数据，在目标界面上持续展示用户图像，其中，所述互动数据用于在所述目标界面上展示增强现实互动场景；

基于所述互动数据在所述目标界面展示虚拟互动窗口，基于预设的播放规则在所述目标界面生成虚拟互动对象，其中，所述虚拟互动对象用以移动至所述虚拟互动窗口后消失；

基于所述用户图像识别用户针对所述虚拟互动窗口的互动操作，并根据所述虚拟互动窗口中所述互动操作与虚拟互动对象的碰撞面积展示互动动画。

第二方面，本说明书实施例提供了一种基于增强现实的互动装置，所述装置包括：

获取模块，用于获取互动数据，在目标界面上持续展示用户图像，其中，所述互动数据用于在所述目标界面上展示增强现实互动场景；

第一展示模块，用于基于所述互动数据在所述目标界面展示虚拟互动窗口，基于预设的播放规则在所述目标界面生成虚拟互动对象，其中，所述虚拟互动对象用以移动至所述虚拟互动窗口后消失；

第二展示模块，用于基于所述用户图像识别用户针对所述虚拟互动窗口的互动操作，并根据所述虚拟互动窗口中所述互动操作与虚拟互动对象的碰撞面积展示互动动画。

第三方面，本说明书实施例提供了一种电子设备，包括处理器以及存储器；

所述处理器与所述存储器相连；

所述存储器，用于存储可执行程序代码；

所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。

第四方面，本说明书实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机可读存储介质中存储有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如第一方面或第一方面的任意一种可能的实现方式提供的方法。

本说明书实施例提供的方法及装置，能够在无线端的目标界面上展示增强现实互动场景，并将用户图像展示于目标界面，使用户可以通过实际的动作操作在目标界面中进行互动操作，在互动过程中具有更为真实的体验感。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书一个实施例所应用的系统架构的示意图。

图2是本说明书一个实施例提供的一种基于增强现实的互动方法的流程图。

图3是本说明书一个实施例提供的又一种基于增强现实的互动方法的流程图。

图4是本说明书一个实施例提供的又一种基于增强现实的互动方法的流程图。

图5是本说明书一个实施例提供的一种基于增强现实的互动装置的结构示意图。

图6是本说明书一个实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

增强现实技术：也被成为扩增现实，是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。

目标界面：开启了增强现实功能的终端界面等。

图像识别：是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。

请参考图1，图1是本说明书一示例性实施例示出的一种基于增强现实的互动系统的硬件架构图。

如图1所示，上述基于增强现实的互动系统可以包括网络10、服务器11、至少一个电子设备，如手机12等。

服务器11可以为包含一独立主机的物理服务器，或者该服务器11可以为主机集群承载的虚拟服务器、云服务器等。手机12只是用户可以使用的一种类型的电子设备。实际上，用户显然还可以使用诸如下述类型的电子设备：平板设备、掌上电脑(PDAs，PersonalDigital Assistants)、可穿戴设备(如智能眼镜、智能手表等)等，本说明书一个或多个实施例并不对此进行限制。网络10可以包括多种类型的有线或无线网络。

在实际应用中，客户端可以运行在手机12上，服务端可以运行在服务器11上。对于客户端而言，不同的客户端可以由不同的用户使用，也可以由相同的用户使用。

用户通过电子设备上的客户端，能够从服务器的服务端中获取到本次互动过程所需要使用的互动数据，客户端根据互动数据可以在电子设备的目标界面上展示虚拟互动窗口，以及播放虚拟互动对象。同时，客户端还会通过电子设备的相机摄像头采集用户的用户图像，并在目标界面上展示用户图像。这样，实现了将用户图像和增强现实互动场景的融合，用户在现实世界中的互动动作会同步展现到目标界面上的用户图像中形成互动操作，进而与虚拟互动对象发生碰撞，实现用户在增强现实互动场景中的互动过程。

图2是本说明书一个实施例中在终端设备中实现一种基于增强现实的互动方法的流程图。该方法的执行主体可以是上述图1中的电子设备。可以理解，该方法也可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。参见图2，该方法包括：

步骤201：获取互动数据，在目标界面上持续展示用户图像。

其中，互动数据可以用于在所述目标界面上展示增强现实互动场景。

在本说明书实施例中，用户想要通过电子设备进行一次增强现实的互动活动时，用户可以在电子设备上进行点击、滑动等触碰操作，以打开指定应用程序。应用程序会与服务器进行连通，以获取本次互动活动所需要的互动数据。

作为一种示例，假设互动活动为音乐游戏，用户在电子设备中打开音乐游戏相关的应用程序后，应用程序可以展示音乐列表，以供用户选择本次具体想要游玩的音乐。用户完成对音乐的选择操作后，电子设备可以与服务器连接，从云端中下载获取该进行该音乐的互动活动所需要的互动数据。

其中，互动数据可以包括用以在互动中播放的音频数据、用以在互动中展示音符等虚拟互动对象的乐谱数据、用以判断用户互动是否成功的判断窗口数据、用以在目标界面中展示虚拟场景元素的图片数据等。

在本说明书实施例中，电子设备可以通过相机摄像头对用户进行用户图像的采集，采集方式可以是录制、连续拍摄等。接着，电子设备会在目标界面上持续展示用户图像，这样，目标界面可以同时展示用户图像和互动数据对应的增强现实互动场景中的虚拟元素，实现在目标界面上构建增强现实互动场景。

其中，相机将可以持续采集用户的用户图像，并将用户图像展示在目标界面中。因此，当用户在现实世界中进行任何动作时，目标界面展示的用户图像中的“用户”也会同步进行对应的动作。通过这样的方式，用户可以通过在现实世界中进行动作来与增强现实互动场景中的虚拟元素进行互动。

作为一种示例，电子设备在用户图像中识别用户的具体动作的方式可以是图像识别，对用户图像进行特征提取，以通过对不同特征的聚类确定出属于用户的图像部分，并根据图像部分的面积和/或坐标变化确定用户的动作变化。在其他实施例中，还可以通过其他方式识别用户的动作。

在一种可实施方式中，所述在目标界面上持续展示用户图像，包括：

启动相机的录制功能，并调用所述相机的视频流；

基于所述视频流在目标界面上持续展示用户图像。

在本说明书实施例中，电子设备可以开启自身相机的录制功能，相机会通过用户指定的前置摄像头，或后置摄像头进行图像录制，以得到录制对应的视频流。接着，电子设备可以对视频流进行调用，以将视频流的图像数据展示在目标界面上，实现对用户图像的展示。

为了在目标界面上持续展示用户的最新动作图像，电子设备会持续调用视频流，并将调用的视频流持续展示于目标界面中。

步骤203：基于所述互动数据在所述目标界面展示虚拟互动窗口，基于预设的播放规则在所述目标界面生成虚拟互动对象。

其中，虚拟互动对象用以移动至所述虚拟互动窗口后消失。

在本说明书实施例中，根据用户选择的互动活动的不同，电子设备可以获取到不同的互动数据。互动数据中可以包含有虚拟互动窗口的图像资源和窗口坐标，电子设备根据互动数据，可以在目标界面的窗口坐标处展示虚拟互动窗口。接着，互动数据中还可以包含有互动活动对应的预设播放规则和虚拟互动对象的图像资源，电子设备将根据预设播放规则在目标界面中展示虚拟互动对象。

具体的，虚拟互动对象可以根据预设播放规则在目标界面的指定坐标处生成，并按照预设的路径和预设的速度向虚拟互动窗口移动。虚拟互动对象移动到虚拟互动窗口后，该虚拟互动对象会消失。

其中，预设播放规则可以是每一个虚拟互动对象的生成播放规则，其规定了互动活动开始后，每一个虚拟互动对象在目标界面生成的时间、移动路径、移动速度等数据参数。预设播放规则还可以是互动对象动画的播放规则，其规定了每个互动对象动画的播放时间，互动对象动画可以是每一个虚拟互动对象对应的展示动画，该展示动画可以包括一段虚拟互动对象的移动动画。在其他实施例中，预设播放规则还可以是针对虚拟互动对象的其他播放规则。

作为一种示例，虚拟互动对象可以是音乐符号，预设的播放规则可以设置好了每一个音乐符号的生成时间、生成位置、移动路径和移动速度。该音乐符号在目标界面中生成后，会根据移动路径移动至虚拟互动窗口。

作为一种示例，虚拟互动对象、虚拟互动窗口等增强现实互动场景中的虚拟互动元素可以通过电子设备的图像处理引擎与AR引擎的对接实现在目标界面中的生成。图像处理引擎具体可以包括图形引擎和渲染引擎。其中，该渲染引擎可以提供用于进行可视化渲染的API(Application Programming Interface，应用程序接口)接口。

在实际应用中，上述图形引擎可以包括Oasis引擎。其中，Oasis引擎是一种移动端优先的高性能Web图形引擎。

若需要渲染的图形为3D图形，上述渲染引擎可以包括Paladin引擎。其中，Paladin引擎是一种移动端渲染框架，其是基于WebGL(Web Graphics Library)进行渲染的；WebGL是一种3D绘图协议，这种绘图技术标准允许把JavaScript和OpenGL ES2.0结合在一起，通过增加对OpenGL ES2.0的JavaScript绑定(JavaScript binding)，WebGL可以为HTML5Canvas提供硬件3D加速渲染。

上述AR引擎可以包括ARSession引擎。其中，ARSession引擎是一种为AR技术提供相机、目标识别、目标跟踪等功能的AR框架。

需要说明的是，ARSession引擎通常是基于JavaScript编程语言的。也即，上述AR引擎可以包括基于JavaScript编程语言的ARSession引擎。由于Paladin引擎和Oasis引擎通常不是基于JavaScript编程语言的，例如：Paladin引擎和Oasis引擎可以是基于C++编程语言的，在这种情况下，上述渲染引擎可以包括支持JavaScript编程语言的Paladin引擎，或者内置在Oasis引擎中的、支持JavaScript编程语言的Paladin引擎容器。

Paladin引擎或Paladin引擎容器可以对ARSession引擎提供的API进行绑定和适配，例如：可以通过JavaScript桥接(JavaScript bridge)或JavaScript binding的方式对ARSession引擎提供的API进行绑定和适配，使得Paladin引擎或Paladin引擎容器可以调用ARSession引擎提供的API接口(也可以视为ARSession引擎运行在Paladin引擎或Paladin引擎容器中)，并将与ARSession引擎提供的API接口对应的JavaScript代码转换到native代码层来执行，而Oasis引擎也可以通过Paladin引擎调用ARSession引擎提供的API。

步骤205：基于所述用户图像识别用户针对所述虚拟互动窗口的互动操作，并根据所述虚拟互动窗口中所述互动操作与虚拟互动对象的碰撞面积展示互动动画。

在本说明书实施例中，电子设备可以对用户图像进行图像识别，以确定出用户的一系列动作中针对虚拟互动窗口的互动操作。用户进行互动操作时，用户的部分肢体图像将会显示于虚拟互动窗口内，同时，由前述步骤内容可知，虚拟互动对象也可以移动至虚拟互动窗口内。因此，互动操作和虚拟互动对象在虚拟互动窗口内可能会相互碰撞重合，电子设备可以根据二者的碰撞面积的不同来选择不同的互动动画，并在目标界面中展示该互动动画，以通过该互动动画向现实世界中的用户进行互动操作的反馈。这样，用户能够通过在现实世界中的动作，在目标界面中与虚拟互动对象进行互动，与现有的通过手指点击屏幕的交互方式相比，该交互方式可以让用户的参与感更强，在进行互动活动中具有更加真实的体验。

具体的，互动操作可以是用户将任意肢体部位或指定肢体部位移动至虚拟互动窗口的操作，也可以是在虚拟互动窗口中做出指定姿态的操作。在其他实施例中，还可以是其他互动操作。

作为一种示例，用户可以通过观察电子设备的目标界面，同时看到自身的姿态动作和虚拟互动对象的位置。接着，用户可以通过调整自己姿态动作，以改变目标界面中自身的姿态动作，进而在虚拟互动对象移动至虚拟互动窗口时完成对虚拟互动窗口的互动操作，并根据互动动画确定此次互动的结果。其中，互动动画可以展示例如“优秀”、“良好”、“失误”等文字动画。

在本说明书实施例中，电子设备通过从服务器获取互动数据后，在目标界面上持续展示用户图像、虚拟互动窗口和虚拟互相对象。接着，电子设备会根据用户图像对用户的互动操作进行识别，以计算确定互动操作在虚拟互动窗口中与虚拟互动对象的碰撞面积，进而根据碰撞面积展示互动动画，使用户能够通过在现实世界中的动作，在目标界面中与虚拟互动对象进行互动，与现有的通过手指点击屏幕的交互方式相比，该交互方式可以让用户的参与感更强，在进行互动活动中具有更加真实的体验。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图3是本说明书又一个实施例中在终端设备中实现一种基于增强现实的互动方法的流程图。该方法的执行主体可以是上述图1中的电子设备。可以理解，该方法也可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。参见图3，该方法包括：

步骤301：接收用户的互动请求指令，向服务器发送配置拉取指令。

在本说明书实施例中，用户可以根据自身想要进行的互动活动在电子设备的活动列表中进行选择操作。用户的选择操作会生成互动请求指令，电子设备根据互动请求指令，可以确定出用户选择的是哪一个互动活动，进而向服务器发送该互动活动的配置拉取指令，以拉取该互动活动的配置数据，实现在目标界面进行增强现实互动场景的配置。

步骤303：接收所述服务器发送的互动数据。

其中，互动数据包括音乐数据、乐谱数据和图片资源数据。

在本说明书实施例中，互动数据可以是电子设备从服务器拉取到的配置数据。根据互动数据，电子设备可以确定出本次互动活动中需要播放的音乐数据、指示各个音乐符号展示规则的乐谱数据和目标界面中各个虚拟互动元素的图片资源数据。

步骤305：在目标界面上持续展示用户图像。

具体地，步骤305可参阅步骤201，此处不再赘述。

步骤307：基于所述图片资源数据在所述目标界面展示虚拟互动窗口，播放所述音乐数据，并基于所述乐谱数据对应的播放规则在所述目标界面生成虚拟互动对象。

其中，虚拟互动对象用以向所述虚拟互动窗口移动，所述虚拟互动对象在中心点坐标到达所述虚拟互动窗口的目标坐标后消失。

在本说明书实施例中，为了使用户的互动操作可以在虚拟互动窗口中与虚拟互动对象发生碰撞，虚拟互动对象并非是任意部分进入虚拟互动窗口后便消失，而是在虚拟互动窗口中设置一个目标坐标，在虚拟互动对象的中心坐标到达目标坐标后，虚拟互动对象才会消失。其中，目标坐标可以是虚拟互动窗口的中心坐标，也可以是虚拟互动窗口中距离虚拟互动对象最远的坐标。在其他实施例中，还可以是其他坐标位置。

其中，乐谱数据可以是根据音乐对应的乐谱上各个音乐符号的位置以及各个音乐符号之间的时间间隔。服务器可以预先根据每个乐谱数据设置每个音乐符号在目标界面中对应的虚拟互动对象的出现位置以及出现时间，使得各个虚拟互动对象的消失时间满足各个音乐符号在乐谱上的演奏时间。

作为一种示例，每个虚拟互动对象的移动路径可以是工作人员预先设置于播放规则内的，也可以是预先设置有若干个路径模板，电子设备在确定虚拟互动对象的起始位置和目标虚拟互动窗口对应的终止位置后，在路径模板中随机选取生成。在其他实施例中，还可以是其他移动路径生成方式。

其中，针对存在多个虚拟互动窗口的情况，每个虚拟互动对象对应的目标虚拟互动窗口，即移动的目标终点位置，可以是工作人员预先分配的，也可以是在虚拟互动窗口中随机选择的。在其他实施例中，还可以是其他选择方式。

步骤309：基于所述用户图像识别用户针对所述虚拟互动窗口的互动操作，并根据所述虚拟互动窗口中所述互动操作与虚拟互动对象的碰撞面积展示互动动画。

具体地，步骤309可参阅步骤205，此处不再赘述。

在本说明书实施例中，电子设备可以在接收到用户的互动请求指令后，从服务器中拉取得到互动数据。接着，电子设备可以在互动活动开始时播放音乐数据，根据互动数据中的图片资源数据来展示虚拟互动窗口，并根据乐谱数据来确定播放规则，进而在目标界面生成虚拟互动对象，以使得用户能够根据自身选择的音乐进行对应的音乐活动互动。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图4是本说明书又一个实施例中在终端设备中实现一种基于增强现实的互动方法的流程图。该方法的执行主体可以是上述图1中的电子设备。可以理解，该方法也可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。参见图4，该方法包括：

步骤401：获取互动数据，在目标界面上持续展示用户图像。

具体地，步骤401可参阅步骤201，此处不再赘述。

步骤403：基于所述互动数据在所述目标界面展示虚拟互动窗口，基于预设的播放规则在所述目标界面生成虚拟互动对象。

具体地，步骤403可参阅步骤203，此处不再赘述。

在一种可实施方式中，所述基于预设的播放规则在所述目标界面生成虚拟互动对象之前，还包括：

在所述目标界面生成姿态提醒图像，并生成提示信息；

当用户对应的所述人体姿态与所述姿态提醒图像匹配时，执行下一步骤。

在本说明书实施例中，为了避免用户距离电子设备过近或过远，导致用户图像中的用户部分不能够很好的与虚拟互动对象进行互动操作，电子设备会在互动活动正式开始前，生成有姿态提醒图像，并生成提示信息。姿态提醒图像可以是一个指定大小的姿态框图。提示信息可以是展示有“请调整自身位置至与图像匹配”内容的文字信息。电子设备可以在当用户对应的人体姿态与姿态提醒图像匹配时，才会执行下一步骤，否则电子设备可以认为用户还没站到合适的位置，将不会执行下一步骤。

作为一种示例，可以根据用户的用户位置和人体姿态来确定用户与姿态提醒图像的匹配与否。例如，当用户与电子设备之间的距离不在预设的距离阈值范围内、且用户的人体姿态不是完全在姿态提醒图像对应的姿态框图内时，可以认为该用户的人体姿态与姿态提醒图像不匹配。

步骤405：利用神经网络模型根据所述用户图像确定用户的人体姿态，根据所述人体姿态的目标部位的位置信息识别所述用户针对所述虚拟互动窗口的互动操作。

在本说明书实施例中，可以利用神经网络模型根据用户图像的像素数据得到用户的空间位置和/或人体姿态。用于输出空间位置的神经网络模型可以是基于深度学习得到的目标检测模型，用于输出人体姿态的神经网络模型可以是基于深度学习得到的关键点检测模型。

具体的，电子设备可以根据预设的目标部位(例如手部)选择人体姿态中指定部位，并确定该目标部位的位置信息。在该目标部位对应的各个位置信息至少部分处于虚拟互动窗口中时，即可以认为用户针对虚拟互动窗口进行了互动操作。

在一种可实施方式中，所述利用神经网络模型根据所述用户图像确定用户的人体姿态，包括：

利用目标检测模型对所述用户图像的像素点数据进行目标检测，确定所述用户图像中的用户位置；

利用关键点检测模型对所述像素点数据和用户位置进行人体关键点检测，确定用户的人体姿态。

在本说明书实施例中，目标检测模型可以用于针对人体的目标检测，以确定人体所在的用户位置，目标检测模型所检测的目标是人体。关键点检测模型可以用于检测人体的各个关键点，所检测的各个关键点可以指定。人体的各个关键点之间相互组合可以用于确定人体姿态，人体的关键点可以包括各个关节上的点、器官上的点、人体部位上的点等，比如，人体的关键点可以包括头、脖子、肩、手肘、手腕、臀、膝盖、脚踝等。

作为一种示例，关键点检测模型检测关键点时，可以按照人体部位来分别检测各个部位中的关键点，各个部位中的关键点可以指定。例如，头部的关键点可以包括五官中的至少一个对应的关键点。当像素点数据不显示某个部位时，则可以不对该部分的关键点进行检测，从而可以不输出该部位的关键点。

步骤407：计算所述目标部位与虚拟互动对象在所述虚拟互动窗口中的最大碰撞面积，基于所述最大碰撞面积确定互动动画，并展示所述互动动画。

在本说明书实施例中，考虑到目标部位和虚拟互动对象在目标界面上都可能处于移动状态，电子设备可以确定二者在虚拟互动窗口中的最大碰撞面积，以该最大碰撞面积来确定互动动画。

作为一种示例，假设互动动画是文字展示动画，其可以设置三种类型，例如“优秀”、“良好”和“失误”。三种互动动画会对应设置有不同的碰撞面积范围，例如“优秀”对应的碰撞面积范围可以是虚拟互动对象面积的50％-100％，“良好”对应的碰撞面积范围可以是虚拟互动对象面积的5％-49％，“失误”对应的碰撞面积范围可以是虚拟互动对象面积的0％-4％。

在另一种实施例中，还可以根据目标部位与虚拟互动对象发生碰撞时，虚拟互动对象距离消失的剩余时长，根据剩余时长对应的不同时长范围设置不同动画类型的互动动画。

步骤409：统计各动画类型的所述互动动画的动画次数。

在本说明书实施例中，电子设备会在互动活动的活动过程中，持续统计各个动画类型的互动动画的出现次数，即动画次数。这样，电子设备可以根据统计的数据确定用户在与虚拟互动对象互动时的准确度。

步骤411：当接收到结束指令后，根据所述动画类型和动画次数计算互动分数，在所述目标界面展示所述互动分数。

在本说明书实施例中，本次互动活动结束后，会生成有结束指令。电子设备在接收到结束指令后，可以根据之前步骤中统计的动画类型和动画次数对用户的得分，即互动分数进行计算。最终，电子设备可以在目标界面中展示该互动分数。

具体的，每一动画类型的互动动画，可以预先设置有不同的单位分数。将每种动画类型的互动动画的单位分数与动画次数相乘后，累加不同动画类型的互动动画的分数，即可得到互动分数。

在本说明书实施例中，电子设备将通过神经网络模型对用户的人体姿态进行识别，进而根据人体姿态的目标部位的位置信息来较为准确的确定用户的互动操作。接着，电子设备将根据目标部位与虚拟互动对象的最大碰撞面积选择互动动画。最后，当互动活动结束后，电子设备可以根据各个互动动画的动画类型以及动画次数对用户本次互动过程的得分进行计算，以使用户能够直观的了解本次互动过程自身与虚拟互动对象交互的准确度。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

下面将结合附图5，对本申请实施例提供的基于增强现实的互动装置进行详细介绍。需要说明的是，附图5所示的基于增强现实的互动装置，用于执行本申请图1所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图5所示的实施例。

请参见图5，图5是本申请实施例提供的一种基于增强现实的互动装置的结构示意图。如图5所示，所述装置包括：

获取模块501，用于获取互动数据，在目标界面上持续展示用户图像，其中，所述互动数据用于在所述目标界面上展示增强现实互动场景；

第一展示模块502，用于基于所述互动数据在所述目标界面展示虚拟互动窗口，基于预设的播放规则在所述目标界面生成虚拟互动对象，其中，所述虚拟互动对象用以移动至所述虚拟互动窗口后消失；

第二展示模块503，用于基于所述用户图像识别用户针对所述虚拟互动窗口的互动操作，并根据所述虚拟互动窗口中所述互动操作与虚拟互动对象的碰撞面积展示互动动画。

在本说明书装置的一个实施例中，获取模块501具体用于：

启动相机的录制功能，并调用所述相机的视频流；

基于所述视频流在目标界面上持续展示用户图像。

在本说明书装置的一个实施例中，获取模块501具体还用于：

接收用户的互动请求指令，向服务器发送配置拉取指令；

接收所述服务器发送的互动数据，其中，所述互动数据包括音乐数据、乐谱数据和图片资源数据。

在本说明书装置的一个实施例中，第一展示模块502具体还用于：

基于所述图片资源数据在所述目标界面展示虚拟互动窗口，播放所述音乐数据，并基于所述乐谱数据对应的播放规则在所述目标界面生成虚拟互动对象，其中，所述虚拟互动对象用以向所述虚拟互动窗口移动，所述虚拟互动对象在中心点坐标到达所述虚拟互动窗口的目标坐标后消失。

在本说明书装置的一个实施例中，第二展示模块503具体用于：

利用神经网络模型根据所述用户图像确定用户的人体姿态，根据所述人体姿态的目标部位的位置信息识别所述用户针对所述虚拟互动窗口的互动操作。

在本说明书装置的一个实施例中，第二展示模块503具体用于：

利用目标检测模型对所述用户图像的像素点数据进行目标检测，确定所述用户图像中的用户位置；

利用关键点检测模型对所述像素点数据和用户位置进行人体关键点检测，确定用户的人体姿态。

在本说明书装置的一个实施例中，第二展示模块503具体用于：

计算所述目标部位与虚拟互动对象在所述虚拟互动窗口中的最大碰撞面积，基于所述最大碰撞面积确定互动动画，并展示所述互动动画。

在本说明书装置的一个实施例中，第一展示模块502具体用于：

在所述目标界面生成姿态提醒图像，并生成提示信息；

当用户对应的所述人体姿态与所述姿态提醒图像匹配时，执行下一步骤。

在本说明书装置的一个实施例中，装置还包括：

统计模块，用于统计各动画类型的所述互动动画的动画次数；

计算模块，用于当接收到结束指令后，根据所述动画类型和动画次数计算互动分数，在所述目标界面展示所述互动分数。

本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列(Field－ProgrammableGate Array，FPGA)、集成电路(Integrated Circuit，IC)等。

本申请实施例的各处理单元和/或模块，可通过实现本申请实施例所述的功能的模拟电路而实现，也可以通过执行本申请实施例所述的功能的软件而实现。

参见图6，其示出了本申请实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施图1所示实施例中的方法。如图6所示，电子设备600可以包括：至少一个处理器601，至少一个网络接口604，用户接口603，存储器605，至少一个通信总线602。

其中，通信总线602用于实现这些组件之间的连接通信。

其中，用户接口603可以包括显示屏(Display)、摄像头(Camera)，可选用户接口603还可以包括标准的有线接口、无线接口。

其中，网络接口604可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器601可以包括一个或者多个处理核心。处理器601利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器605内的指令、程序、代码集或指令集，以及调用存储在存储器605内的数据，执行终端600的各种功能和处理数据。可选的，处理器601可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器601可集成处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器601中，单独通过一块芯片进行实现。

其中，存储器605可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器605包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器605可选的还可以是至少一个位于远离前述处理器601的存储装置。如图6所示，作为一种计算机存储介质的存储器605中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。

在图6所示的电子设备600中，用户接口603主要用于为用户提供输入的接口，获取用户输入的数据；而处理器601可以用于调用存储器605中存储的基于增强现实的互动应用程序，并具体执行以下操作：

获取互动数据，在目标界面上持续展示用户图像，其中，所述互动数据用于在所述目标界面上展示增强现实互动场景；

基于所述互动数据在所述目标界面展示虚拟互动窗口，基于预设的播放规则在所述目标界面生成虚拟互动对象，其中，所述虚拟互动对象用以移动至所述虚拟互动窗口后消失；

基于所述用户图像识别用户针对所述虚拟互动窗口的互动操作，并根据所述虚拟互动窗口中所述互动操作与虚拟互动对象的碰撞面积展示互动动画。

在本说明书的一个实施例中，所述在目标界面上持续展示用户图像，包括：

启动相机的录制功能，并调用所述相机的视频流；

基于所述视频流在目标界面上持续展示用户图像。

在本说明书的一个实施例中，所述获取互动数据，包括：

接收用户的互动请求指令，向服务器发送配置拉取指令；

接收所述服务器发送的互动数据，其中，所述互动数据包括音乐数据、乐谱数据和图片资源数据。

在本说明书的一个实施例中，所述基于所述互动数据在所述目标界面展示虚拟互动窗口，基于预设的播放规则在所述目标界面生成虚拟互动对象，包括：

基于所述图片资源数据在所述目标界面展示虚拟互动窗口，播放所述音乐数据，并基于所述乐谱数据对应的播放规则在所述目标界面生成虚拟互动对象，其中，所述虚拟互动对象用以向所述虚拟互动窗口移动，所述虚拟互动对象在中心点坐标到达所述虚拟互动窗口的目标坐标后消失。

在本说明书的一个实施例中，所述基于所述用户图像识别用户针对所述虚拟互动窗口的互动操作，包括：

利用神经网络模型根据所述用户图像确定用户的人体姿态，根据所述人体姿态的目标部位的位置信息识别所述用户针对所述虚拟互动窗口的互动操作。

在本说明书的一个实施例中，所述利用神经网络模型根据所述用户图像确定用户的人体姿态，包括：

利用目标检测模型对所述用户图像的像素点数据进行目标检测，确定所述用户图像中的用户位置；

利用关键点检测模型对所述像素点数据和用户位置进行人体关键点检测，确定用户的人体姿态。

在本说明书的一个实施例中，所述根据所述虚拟互动窗口中所述互动操作与虚拟互动对象的碰撞面积展示互动动画，包括：

计算所述目标部位与虚拟互动对象在所述虚拟互动窗口中的最大碰撞面积，基于所述最大碰撞面积确定互动动画，并展示所述互动动画。

在本说明书的一个实施例中，所述基于预设的播放规则在所述目标界面生成虚拟互动对象之前，还包括：

在所述目标界面生成姿态提醒图像，并生成提示信息；

当用户对应的所述人体姿态与所述姿态提醒图像匹配时，执行下一步骤。

在本说明书的一个实施例中，所述方法还包括：

统计各动画类型的所述互动动画的动画次数；

当接收到结束指令后，根据所述动画类型和动画次数计算互动分数，在所述目标界面展示所述互动分数。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。