基于混合现实的远程烹饪方法、装置及终端设备

技术领域

本申请涉及混合现实技术领域，还涉及烹饪自动化技术领域，具体涉及一种基于混合现实的远程烹饪方法、装置、终端设备、计算机可读存储介质及计算机程序产品。

背景技术

混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和操作者之间搭起一个交互反馈的信息回路，以增强操作者体验的真实感。

另一方面，现有的烹饪操作可全程由人工完成，也可通过料理机进行处理。但料理机只能进行简单操作，例如制作面食或简单菜品的炒制。而对于人工操作而言，现代生活中用于烹饪的时间逐渐减少，但人们仍希望能吃上一顿自己做的干净美味的饭菜，这样的矛盾尚无法解决。

针对相关技术中的上述问题，目前尚未发现有效的解决方案。以上仅是发明人了解的与本申请有关的背景信息，并不构成对现有技术的自认。

发明内容

有鉴于此，本申请实施例提供一种基于混合现实的远程烹饪方法、终端设备、计算机可读存储介质及计算机程序产品，用于解决至少一种技术问题。其中，基于混合现实的远程烹饪方法，应用于操作者终端，所述操作者终端为混合现实设备，所述方法包括：所述混合现实设备接收启动远程烹饪的指令；响应于所述启动远程烹饪的指令，所述混合现实设备在屏幕上向操作者提供多个远程控制模式的选项，所述多个远程控制模式与远程设置的机械烹饪设备可执行的多种工作模式分别对应；所述混合现实设备接收操作者的手势指令并确定手势指令对应于第一远程控制模式；所述混合现实设备将根据手势指令确定的所述第一远程控制模式的信息发送至所述机械烹饪设备，以控制所述机械烹饪设备进入与所述第一远程控制模式对应的第一工作模式，其中在所述第一工作模式下，所述机械烹饪设备与远程操作者的骨骼关节绑定以能够远程重现远程操作者的烹饪动作；所述混合现实设备获取操作者的当前烹饪动作，以使所述机械烹饪设备重现所述当前烹饪动作。

可选地，所述多个远程控制模式还包括第二远程控制模式，所述第二远程控制模式用于使所述机械烹饪设备进入第二工作模式，其中在所述第二工作模式下，所述机械烹饪设备能够执行预设的烹饪操作组合。

可选地，如果所述混合现实设备确定操作者的手势指令对应于所述第二远程控制模式，所述方法还包括：所述混合现实设备在屏幕上提供多个烹饪功能的选项，所述多个烹饪功能与所述机械烹饪设备可执行的多组烹饪操作组合分别对应；所述混合现实设备接收操作者的手势指令并确定手势指令对应于第一烹饪功能；所述混合现实设备将根据手势指令确定的所述第一烹饪功能的信息发送至所述机械烹饪设备，以控制所述机械烹饪设备开始执行与所述第一烹饪功能对应的第一组烹饪操作组合，其中，所述第一组烹饪操作组合包括所述机械烹饪设备可执行的多项指定的烹饪操作，所述多项指定的烹饪操作完成后实现所述第一烹饪功能。

可选地，所述烹饪操作包括：开关门、开关火、自动寻路、烹饪材料识别、烹饪材料取放、食材称重、食材预处理或食材烹饪中的至少一种。

可选地，所述方法还包括：所述机械烹饪设备通过图像识别以识别食材或烹饪工具的种类，其中所述食材包括食物或调料。

可选地，所述机械烹饪设备包括阻力检测装置，所述方法还包括：当阻力检测单元检测到所述机械烹饪设备的机械臂运动时受到的阻力超过预设的阻力阈值，则暂停执行当前机械臂的操作。

可选地，所述方法还包括：所述混合现实设备接收当前烹饪场景的画面，当前烹饪场景的画面由所述机械烹饪设备上的摄像头获取并传送。

本申请实施例提供一种基于混合现实的远程烹饪装置，应用于操作者终端，所述操作者终端为混合现实设备，所述装置包括：

接收模块，用于接收启动远程烹饪的指令；

提供模块，用于响应于所述启动远程烹饪的指令，在屏幕上向操作者提供多个远程控制模式的选项，所述多个远程控制模式与远程设置的机械烹饪设备可执行的多种工作模式分别对应；

确定模块，用于接收操作者的手势指令并确定手势指令对应于第一远程控制模式；

发送模块，用于将根据手势指令确定的所述第一远程控制模式的信息发送至所述机械烹饪设备，以控制所述机械烹饪设备进入与所述第一远程控制模式对应的第一工作模式，其中在所述第一工作模式下，所述机械烹饪设备与远程操作者的骨骼关节绑定以能够远程重现远程操作者的烹饪动作；

获取模块，用于获取操作者的当前烹饪动作，以使所述机械烹饪设备重现所述当前烹饪动作。

本申请实施例提供一种终端设备，所述终端设备包括处理器以及存储有计算机程序指令的存储器，所述处理器执行所述计算机程序指令时实现如上所述的方法的步骤。

本申请实施例提供一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的方法的步骤。

本申请实施例提供一种计算机程序产品，所述计算机程序产品中包括计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的方法的步骤。

本申请方案通过混合现实设备远程操控机械烹饪设备，实现远距离烹饪。不但能实现复杂烹饪操作，而且可以通过混合现实设备对机械烹饪设备进行操作，通过身体关节等部分的识别，实现机械烹饪设备与混合现实设备操作者动作基本一致。本申请可以实现辅助烹饪，让操作者利用碎片时间远程烹饪菜品。本申请还可以实现对机械烹饪设备的远程精细操控，让操作者可以远程进行类似人工的烹饪操作，实现如同本人在厨房能实现的烹饪操作，有助于满足人们对烹饪的个性化要求。

附图说明

为了更清楚地说明本申请实施例的实现方式，以下对本申请实施例中的附图作简单介绍。

图1是本申请实施例的基于服务器和终端设备的AR系统架构示意图。

图2是一种利用手机端APP进行AR导航的虚实融合图像示意图。

图3是本申请实施例的基于混合现实的远程烹饪方法流程框图。

图4是本申请实施例的第二远程控制模式下远程烹饪方法流程框图。

图5是本申请实施例的基于混合现实的远程烹饪装置的结构框图。

图6是用来实现本申请实施例的基于混合现实的远程烹饪方法的终端设备或服务器的结构示意图。

图7是本申请实施例的示例性终端设备的软件结构示意图。

具体实施方式

以下将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，提供这些实施方式的目的是为了使本申请的原理和精神更加清楚和透彻，使本领域技术人员能够更好地理解进而实现本申请的原理和精神。本文中提供的示例性实施方式仅是本申请的一部分实施方式，而不是全部的实施方式。基于本文中的实施方式，本领域普通技术人员在不付出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

本领域技术人员知晓，本申请的实施方式可以实现为一种系统、装置、设备、方法、计算机可读存储介质或计算机程序产品。因此，本申请可以具体实现为以下至少一种形式：完全的硬件、完全的软件，或者硬件与软件结合的形式。根据本申请的具体实施方式，本申请请求保护一种基于混合现实的远程烹饪方法方法、装置、终端设备、服务器、计算机可读存储介质及计算机程序产品。

在本文中，诸如第一、第二、第三之类的用语，仅用来将一个实体(或操作)与另一个实体(或操作)区分开来，而不在于要求或暗示这些实体(或操作)之间存在任何顺序或关联。

本申请的实施例可应用于服务器和终端设备。请参考图1，示意性地示出了一种基于服务器和终端设备的AR系统架构示意图。AR系统架构包括服务器10和若干终端设备20。在一些示例中，终端设备20为AR设备，其可以为专用的AR设备，例如头戴式AR设备(Head-mounted displays，HMD)、智能手套、服饰等智能可穿戴电子设备。在一些示例中，终端设备20可为通用的AR设备，例如手机、便携式计算机、笔记本电脑、平板电脑、虚拟现实(VirtualReality，VR)设备、车载设备、导航设备、游戏设备等等。

以AR头盔或AR眼镜为例，可将头戴式显示器、机器视觉系统、移动计算机等集成，设置在可绑定佩戴的设备中，该设备具有外形类似眼镜的显示器，工作时佩戴在使用者头部，该设备能将增强现实类信息传输至显示器上或投射至使用者的眼球中，从而增强操作者的视觉沉浸感。在一些示例中，AR设备还具有摄像头，可为广角摄像头、长焦摄像头，还可为结构光摄像头(也称点云深度摄像头、3D结构光摄像头或深度摄像头)。其中结构光摄像头基于3D视觉技术，可获取物体的平面和深度信息。结构光摄像头可通过近红外激光器将具有一定结构特征的光线投射到被拍摄物体上，再由红外摄像头采集反射光，由处理器芯片处理，其计算原理是根据物体导致的光信号的变化计算物体位置和深度信息，呈现3D图像。通常的终端设备例如手机上呈现二维图像，并不能显示图像上不同位置的深度，利用结构光摄像头可拍摄获取3D图像信息数据，即不仅可获得图像中不同位置的颜色等信息，还可获得不同位置的深度信息，可用于AR测距。当然，普通的终端设备也可以基于光学摄像头采集2D图像并结合深度学习算法等方式获取2D图像的深度信息，最终也可呈现3D图像。

在一些示例中，终端设备20中安装有具备AR功能的软件或应用程序APP。服务器10可以是该软件或APP的管理服务器或应用服务器。服务器10可以为一台服务器，也可以为多台服务器组成的服务器集群，也可以为云服务器或称云端服务器等。终端设备20中集成有具备联网功能的模块，例如无线保真(Wireless-Fidelity，Wifi)模块、蓝牙模块、2G/3G/4G/5G通信模块等，以便通过网络连接到服务器10。

示例性地，操作者可通过安装在手机中的APP登录操作者账号，操作者还可通过安装在AR眼镜中的软件登录操作者账号。

以具备AR导航功能的APP为例，APP可以具备例如高精地图导航能力、环境理解能力和虚实融合渲染能力等，APP可通过终端设备20向服务器10上报当前地理位置信息，服务器10基于实时地理位置信息为操作者提供AR导航服务。示例性地，以终端设备20是手机为例，响应于操作者启动APP的操作，手机可启动摄像头采集现实环境的图像，然后通过系统对摄像头采集的现实环境图像进行AR增强，在现实环境图像中融入或叠加渲染的AR效果(例如导航路线标识、道路名称、商户信息、广告展示等)，将虚实融合的图像展示在手机屏幕上。

图2示意性地示出了一种利用手机端APP进行AR导航的虚实融合图像，其中AR导航的指示箭头叠加在图中真实的路面上及空间中，商户促销的电子资源以降落伞携带礼盒的形式漂浮在空间中的指定位置。

本申请的实施例涉及终端设备和/或服务器。以下将通过若干示例性实施例或代表性实施方式，对本申请的原理和精神进行详细阐释。

参考图3，本申请实施例提出一种基于混合现实的远程烹饪方法，应用于操作者终端，包括以下步骤：

S101，混合现实设备接收启动远程烹饪的指令；

S102，响应于启动远程烹饪的指令，混合现实设备在屏幕上向操作者提供多个远程控制模式的选项，多个远程控制模式与远程设置的机械烹饪设备可执行的多种工作模式分别对应；

S103，混合现实设备接收操作者的手势指令并确定手势指令对应于第一远程控制模式；

S104，混合现实设备将根据手势指令确定的第一远程控制模式的信息发送至机械烹饪设备，以控制机械烹饪设备进入与第一远程控制模式对应的第一工作模式，其中在第一工作模式下，机械烹饪设备与远程操作者的骨骼关节绑定以能够远程重现远程操作者的烹饪动作；

S105，混合现实设备获取操作者的当前烹饪动作，以使机械烹饪设备重现当前烹饪动作。

本申请方案通过混合现实设备远程操控机械烹饪设备，实现远距离烹饪，可以通过混合现实设备对机械烹饪设备进行操作，通过身体关节等部

分的识别，实现机械烹饪设备与混合现实设备操作者动作基本一致。本申5请可以实现辅助烹饪，让操作者利用闲暇时间远程烹饪菜品。本申请还可

以实现对机械烹饪设备的远程精细操控，让操作者可以远程进行类似人工的烹饪操作，实现如同本人在厨房能实现的烹饪操作，使得菜品更加丰富。

根据本申请一个实施例，多个远程控制模式还包括第二远程控制模式，

所述第二远程控制模式用于使所述机械烹饪设备进入第二工作模式，其中0在所述第二工作模式下，所述机械烹饪设备能够执行预设的烹饪操作组合。

本申请方案还包括内置的预设烹饪操作组合，这样可以直接对食材进行预设流程的处理。这样遇到一些可以进行固定操作的处理时(例如切块、削皮等)，可以免去人力操作的繁琐，节省时间和体力。

根据本申请一个实施例，如果所述混合现实设备确定操作者的手势指5令对应于所述第二远程控制模式，所述方法还包括：所述混合现实设备在屏幕上提供多个烹饪功能的选项，所述多个烹饪功能与所述机械烹饪设备可执行的多组烹饪操作组合分别对应；所述混合现实设备接收操作者的手势指令并确定手势指令对应于第一烹饪功能；所述混合现实设备将根据手

势指令确定的所述第一烹饪功能的信息发送至所述机械烹饪设备，以控制0所述机械烹饪设备开始执行与所述第一烹饪功能对应的第一组烹饪操作组合，其中，所述第一组烹饪操作组合包括所述机械烹饪设备可执行的多项指定的烹饪操作，所述多项指定的烹饪操作完成后实现所述第一烹饪功能。

本申请可以实现复杂的烹饪组合，通过不同的组合实现不同烹饪过程。

本申请中的烹饪组合可以进行编辑，可以任意组合不同的烹饪操作，实现5菜品的多样性。

根据本申请一个实施例，烹饪操作包括：开关门、开关火、自动寻路、烹饪材料识别、烹饪材料取放、食材称重、食材预处理或食材烹饪中的至少一种。

本申请包括多种烹饪操作，可以实现复杂菜品的呈现。而且本申请不止可以对食材进行处理，由于是远程操控机械烹饪设备，需要其能实现如同普通人一样的操作，所以除了基本的烹饪，还需要比如去冰箱内取食材等传统烹饪设备无法实现的功能，所以本申请可处理的烹饪操作更复杂，可操作性更强。

根据本申请一个实施例，所述方法还包括：所述机械烹饪设备通过图像识别以识别食材或烹饪工具的种类，其中所述食材包括食物或调料。

本申请可以自行判断和寻找对应的烹饪工具和食材，无需操作者逐个在屏幕上寻找，操作更加便捷。

根据本申请一个实施例，所述机械烹饪设备包括阻力检测装置，所述方法还包括：当阻力检测单元检测到所述机械烹饪设备的机械臂运动时受到的阻力超过预设的阻力阈值，则暂停执行当前机械臂的操作。

在实际操作中由于操作者是没有实物的操作，难免出现操作内容和机械烹饪设备所在场景不适配的情况。例如在切割食物时，操作者发出的切割动作过大，如果不加以控制，而直接对应复制，会导致机械烹饪设备发出过度切割动作。不但可能损坏刀子和砧板，还可能损害机械烹饪设备本身，存在一定危险。本申请可以屏蔽这种危险的发生，当机械烹饪设备遇到足够的阻力时，会停止当前动作，直至阻力低于阻力阈值。

根据本申请一个实施例，所述方法还包括：所述混合现实设备接收当前烹饪场景的画面，当前烹饪场景的画面由所述机械烹饪设备上的摄像头获取并传送。

本申请可以将当前烹饪画面发送至混合现实设备，让操作者观看当前烹饪的进程情况。烹饪这可以监督当前操作是否符合要求，也可以观察菜品的完成程度。

为了更清楚地说明本申请实施例可取得的优势，以下基于具体的例子，对本申请实施例的处理过程进行详细描述。

作为一种示例，当一名操作者使用混合现实设备进行相应烹饪操作时，首先其应保证混合现实设备和机械烹饪设备联网正常，以保证相互之间的正常通讯。

操作者通过混合现实设备远程唤醒机械烹饪设备，然后操作者通过手势指令，对显示在混合现实设备屏幕上的多种工作模式进行选择。其中，多个远程控制模式与远程设置的机械烹饪设备可执行的多种工作模式分别对应。例如：当操作者选择第一远程控制模式时，机械烹饪设备即进入对应的第一工作模式。根据本申请一个实施例，本方法包括至少两种模式，即第一远程控制模式和第二远程控制模式。根据本申请一个实施例，混合现实设备可以识别操作者的手势指令并确定手势指令对应于多种远程控制模式中的某一个。

其中，当操作者选择第一远程控制模式时，机械烹饪设备进入第一工作模式。根据本申请一个实施例，在第一工作模式下，机械烹饪设备与远程操作者的骨骼关节绑定以能够远程重现远程操作者的烹饪动作。其中，混合现实设备获取操作者的当前烹饪动作，以使所述机械烹饪设备重现所述当前烹饪动作。根据本申请一个实施例，机械烹饪设备具有两个机械臂，机械臂可以同步完成操作者的动作。根据本申请一个实施例，当机械烹饪设备处于第一工作模式下，此时机械烹饪设备的机械臂的各个关节与操作者手部的各个关节进行绑定，混合现实设备捕捉到操作者的胳膊和手臂关节的运动轨迹数据，生成相应的关节运动数据并发送至机械烹饪设备。机械烹饪设备根据运动轨迹数据，控制相应的机械臂的关节移动，复刻出操作者的动作。

根据本申请一个实施例，第一远程控制模式是一种将操作者的动作在机械烹饪设备上同步的模式。此时，操作者做出某种动作后，机械烹饪设备的机械臂也会做出类似的动作。例如，当操作者想要用火烧去肉皮上残留的动物毛发时(这个动作可能不包含在已储存的烹饪操作中)，可以通过混合现实设备看到由机械烹饪设备拍摄到的画面，或者通过混合现实设备生成由机械烹饪设备拍摄到的画面对应的虚拟物体。例如，操作者可以通过虚拟现实设备看到虚拟的案板、肉块和已经烧热的锅具等。操作者可以拿起虚拟的肉块，将肉皮一侧放置在虚拟锅具的锅底。此时，机械烹饪设备也会将真实的肉块拿起，将肉皮一侧放置在真实锅具的锅底。操作者可以在这个过程中拿起肉块，观察肉皮加热的情况，直至肉皮达到要求。

根据本申请一个实施例，多个远程控制模式还包括第二远程控制模式，第二远程控制模式用于使所述机械烹饪设备进入第二工作模式，其中在所述第二工作模式下，所述机械烹饪设备能够执行预设的烹饪操作组合。根据本申请一个实施例，混合现实设备在屏幕上提供多个烹饪功能的选项，多个烹饪功能与所述机械烹饪设备可执行的多组烹饪操作组合分别对应。根据本申请一个实施例，混合现实设备接收操作者的手势指令并确定手势指令对应于第一烹饪功能。其中，混合现实设备将根据手势指令确定的所述第一烹饪功能的信息发送至所述机械烹饪设备，以控制所述机械烹饪设备开始执行与所述第一烹饪功能对应的第一组烹饪操作组合。其中，第一组烹饪操作组合包括机械烹饪设备可执行的多项指定的烹饪操作，多项指定的烹饪操作完成后实现所述第一烹饪功能。

对于机械烹饪设备，还可以预先存入一些烹饪操作，例如：开关门、开关火、自动寻路、烹饪材料识别、烹饪材料取放、食材称重、食材预处理或食材烹饪中的至少一种。根据本申请一个实施例，机械烹饪设备基于烹饪控制指令，以执行第一烹饪功能中的第一组烹饪操作组合，其中，第一组烹饪操作组合包括至少一种烹饪操作。

例如，当准备处理一大块肉时，操作者可以计入第二远程控制模式，并从中选择对肉块的操作。这种操作可以是一种烹饪操作，例如食材的预处理，可以只对一个大块肉进行切块的处理，将其分成多个小块肉。又例如，可以是对某些蔬菜类食材进行清洗或去皮处理。这种操作也可以是一种第一组烹饪操作组合，例如对大块肉切块，然后焯水，再进行清洗。这种操作还可以是一种第一烹饪功能，例如将大块肉做成红烧肉。在做成红烧肉的过程中，可能包括多种第一组烹饪操作组合，当机械烹饪设备接收到相应的指令后，就会按照既定流程对大块肉进行处理，直至所有的烹饪操作都完成。

在这个过程中，机械烹饪设备可以识别食材当前的状态(形状、大小、熟制程度等)，在执行下一步的操作前，可能会判断当前食材是否符合下一步的操作要求。例如，在炒制糖色时，会判断当前的糖色是否符合要求，以决定是继续炒制或进行下一步操作。根据本申请一个实施例，当某一步骤出现问题时，例如某种调味料缺失，机械烹饪设备会生成相应的报警信息并反馈至混合现实设备。

本申请方案通过混合现实设备远程操控机械烹饪设备，实现远距离烹饪。不但能自动实现复杂烹饪操作，而且可以通过混合现实设备对机械烹饪设备进行操作，通过身体关节等部分的识别，实现机械烹饪设备与混合现实设备操作者动作一致。本申请可以实现辅助烹饪，让操作者利用闲暇时间远程烹饪菜品。本申请还可以实现对机械烹饪设备的远程精细操控，让操作者可以远程进行类似人工的烹饪操作，实现如同本人在厨房能实现的烹饪操作，使得菜品更加丰富。

本领域技术人员应理解，本文中所描述的实施例属于优选实施例，所涉及的动作、步骤、模块或单元等并不一定是本申请实施例所必须的。在上述实施例中，本申请实施例对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

参考图5，本申请实施例还提供一种基于混合现实的远程烹饪装置100，包括：

接收模块110，用于接收启动远程烹饪的指令；

提供模块120，用于响应于所述启动远程烹饪的指令，在屏幕上向操作者提供多个远程控制模式的选项，所述多个远程控制模式与远程设置的机械烹饪设备可执行的多种工作模式分别对应；

确定模块130，用于接收操作者的手势指令并确定手势指令对应于第一远程控制模式；

发送模块140，用于将根据手势指令确定的所述第一远程控制模式的信息发送至所述机械烹饪设备，以控制所述机械烹饪设备进入与所述第一远程控制模式对应的第一工作模式，其中在所述第一工作模式下，所述机械烹饪设备与远程操作者的骨骼关节绑定以能够远程重现远程操作者的烹饪动作；

获取模块150，用于获取操作者的当前烹饪动作，以使所述机械烹饪设备重现所述当前烹饪动作。

图6为本申请实施例提供的一种电子设备的结构示意图，电子设备60包括处理器61、存储器62以及用于连接处理器61和存储器62的通信总线，其中在存储器62中存储有可以在处理器61上运行的计算机程序，处理器61运行该计算机程序时可执行或称实现本申请中各个实施例的方法中的步骤。电子设备60还包括通信接口，用于接收和发送数据。电子设备60可以是本申请实施例中的服务器，电子设备60也可以是云端服务器。电子设备60也可以是本申请实施例中的终端设备或AR设备。在合适的情况下电子设备也可称为计算设备。

在一些实施例中，处理器61可以是中央处理器(Central Processing Unit，CPU)、图形处理器(graphics processing unit，GPU)、应用处理器(application processor，AP)、调制解调处理器、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)等；处理器61还可以是其他通用处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器，也可以是任何常规的处理器等。其中，神经网络处理器NPU通过借鉴生物神经网络结构，可对输入信息快速处理，还可以不断进行自我学习。通过NPU电子设备60可以实现智能认知等应用，例如图像识别、人脸识别、语义识别、语音识别、文本理解等。

在一些实施例中，存储器62可以是电子设备60的内部存储单元，例如电子设备60的硬盘或内存；存储器62也可以是电子设备60的外部存储设备，例如电子设备60上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。存储器62还可以既包括电子设备60的内部存储单元也包括外部存储设备。存储器62可用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器62包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)或便携式只读存储器(compact disc read-only memory,CD-ROM)。存储器62用于存储电子设备60所执行的程序代码和所传输的数据。存储器62还可以用于暂时地存储已经输出或者将要输出的数据。

本领域技术人员可以理解，图6仅是电子设备60的举例，并不构成对电子设备60的限定，电子设备60可以包括比图示更多或更少的部件，或者组合某些部件，或者包括不同的部件，例如还可以包括输入输出设备、网络接入设备等。

图7是本申请实施例的终端设备的软件结构示意图。以手机操作系统为Android系统为例，在一些实施例中，将Android系统分为四层，分别为：应用程序层、应用程序框架层(framework，FWK)、系统层以及硬件抽象层，层与层之间通过软件接口通信。

首先，应用程序层可以包括多个应用程序包，应用程序包可以是例如通话、相机、视频、导航、天气、即时通讯、教育等各种应用程序app，也可以是基于AR技术的应用程序app。

第二，应用程序框架层FWK为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层可以包括一些预先定义的函数，例如用于接收应用程序框架层所发送的事件的函数。

应用程序框架层可以包括窗口管理器、资源管理器以及通知管理器等。

其中，窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

其中，资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

其中，通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需操作者交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

此外，应用程序框架层还可以包括视图系统，视图系统包括可视控件，例如显示文字的控件、显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的，例如短信通知图标的显示界面上可以包括显示文字的视图以及显示图片的视图。

第三，系统层可以包括多个功能模块，例如传感器服务模块、物理状态识别模块、三维图形处理库(例如：OpenGLES)，等等。

其中，传感器服务模块用于对硬件层各类传感器上传的传感器数据进行监测，确定手机的物理状态；物理状态识别模块用于对操作者手势、人脸等进行分析和识别；三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

此外，系统层还可以包括表面管理器和媒体库。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。

最后，硬件抽象层是硬件和软件之间的层。硬件抽象层可以包括显示驱动、摄像头驱动、传感器驱动等，用于驱动硬件层的相关硬件，如显示屏、摄像头、传感器等。

本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序或指令，该计算机程序或指令被执行时以实现上述实施例中所设计的方法中的步骤。

本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被执行时以实现上述实施例中所设计的方法中的步骤。示例性的，该计算机程序产品可以为一个软件安装包。

本领域技术人员应该知悉，本申请实施例所描述的方法、步骤或者相关模块/单元的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式来实现，也可以是由处理器执行计算机程序指令的方式来实现。其中，该计算机程序产品包括至少一个计算机程序指令，计算机程序指令可以由相应的软件模块组成，软件模块可以被存放于RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。该计算机程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。例如，该计算机程序指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质、或者半导体介质(如SSD)等。

关于上述实施例中描述的各个装置/产品，其中包含的模块/单元可以是软件模块/单元，也可以是硬件模块/单元，还可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用或集成于芯片的装置/产品，其包含的各个模块/单元可以都用电路等硬件的方式实现，或者，至少部分模块/单元采用软件程序的方式实现，运行于芯片内部集成的处理器，剩余的部分模块/单元采用电路等硬件方式实现。又如，对于应用或集成于终端的装置/产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元采用软件程序的方式实现，运行于终端内部集成的处理器，剩余部分模块/单元可以采用电路等硬件方式实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。