一种交互学习方法、装置、智能学习设备及存储介质

技术领域

本申请属于计算机技术领域，尤其涉及一种交互学习方法、装置、智能学习设备及存储介质。

背景技术

随着科学技术的发展，学生在学习的过程中会使用到多种电子设备，例如手机、平板电脑以及PC等。目前学生的学习过程都是基于这些电子设备的自带屏幕，通过触摸、键盘等方式完成交互内容的输入和输出。

上述交互方式过度依赖电子设备的屏幕，需长时间直视屏幕，对学生的视力(尤其是儿童的视力)有着不可忽视的损害。且上述交互模式单一，均为通过触摸或者键盘的方式进行交互，学生的学习兴趣完全依赖预设的内容库的趣味性及丰富程度，主动性会随时间流逝而逐渐降低。

发明内容

有鉴于此，本申请实施例提供了一种交互学习方法、装置、设备及存储介质，以解决现有技术中基于电子设备的交互学习方法交互模式单一的技术问题。

第一方面，本申请实施例提供了一种交互学习方法，适用于一种智能学习设备，智能学习设备用于响应环境物体和/或用户手势的触发操作；环境物体包括第一物体和第二物体中的至少一个，第一物体上设置有用于获取运动轨迹的传感器，第二物体为预先训练的能够被智能学习设备识别的环境物体；

该方法包括：

获取输入数据；输入数据包括环境物体的输入数据和/或用户手势；

根据输入数据确定对应的控制指令，控制指令包括执行主体以及控制动作；

向执行主体发送控制指令，控制指令用于指示执行主体执行控制动作。

在第一方面的一种可能的实现方式中，获取输入数据包括：

在第一模式开启的情况下，通过传感器获取第一物体的运动轨迹；第一模式由设置在第一物体上的开关触发；

根据运动轨迹，生成第一数据，第一数据包括第一物体的标识。

在第一方面的一种可能的实现方式中，智能学习设备包括摄像单元；

获取输入数据包括：

通过摄像单元采集预设区域的图像，图像中包含第二物体和/或用户手势；

将图像输入预训练的图像识别模型，确定图像中包含对象的标识；

生成第二数据，第二数据包括上述对象的标识。

在第一方面的一种可能的实现方式中，第二物体包括下述任意一项：

带有标记的卡片和体积小于预设区域空间大小的学习工具。

在第一方面的一种可能的实现方式中，根据输入数据确定对应的控制指令，包括：

分别从配置文件中查找与第一数据对应的控制指令，以及与第二数据对应的控制指令；其中，第一数据为所述第一物体的输入数据，第二数据为所述第二物体的输入数据和/或用户手势，配置文件包括多组一一对应的标识与控制指令，每个输入数据包括一个标识；

根据每个控制指令的执行主体，为每个控制指令分配与其执行主体对应的目标标识；

将包含有目标标识的各控制指令按照预设优先级依次放入消息队列，其中，第一数据对应的控制指令的优先级高于第二数据对应的控制指令的优先级。

在第一方面的一种可能的实现方式中，向执行主体发送控制指令，包括：

向不同的目标标识对应的多个执行主体同时发送各自分别对应的控制指令；

和/或，

依据消息队列中多个控制指令的排列顺序，依次向相同的目标标识对应的执行主体发送对应的控制指令。

在第一方面的一种可能的实现方式中，执行主体包括投影单元；向所述执行主体发送所述控制指令，包括：

向投影单元发送所述控制指令；控制指令用于指示投影单元投影显示控制指令包含的标识对应的图像。

在第一方面的一种可能的实现方式中，执行主体包括扬声器；向所述执行主体发送所述控制指令，包括：

向扬声器发送控制指令，控制指令用于指示扬声器播放控制指令包含的标识对应的音频。

在第一方面的一种可能的实现方式中，在获取输入数据之前，上述方法还包括：

获得多个训练样本，每个训练样本包括训练图像以及训练图像中包含对象的标识；其中，训练图像中包含的对象为待训练的环境物体，和/或待训练的用户手势；

根据多个训练样本，获得预训练的图像识别模型；

为训练图像中包含对象的标识分配对应的控制指令；

将训练图像中包含对象的标识以及对应的控制指令添加至配置文件。

第二方面，本申请实施例提供了一种交互学习装置，适用于一种智能学习设备，智能学习设备用于响应环境物体和/或用户手势的触发操作；环境物体包括第一物体和第二物体中的至少一个，第一物体上设置有用于获取运动轨迹的传感器，第二物体为预先训练的能够被智能学习设备识别的环境物体；

该装置包括：

获取模块，用于获取输入数据；输入数据包括环境物体的输入数据和/或用户手势；

确定模块，用于根据输入数据确定对应的控制指令，控制指令包括执行主体以及控制动作；

发送模块，用于向执行主体发送控制指令，控制指令用于指示执行主体执行控制动作。

第三方面，本申请实施例提供了一种智能学习设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面任一项方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一项方法的步骤。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项的方法。

本申请实施例提供的交互学习方法，首先获取输入数据，然后根据输入数据确定对应的执行主体以及控制动作，最后向执行主体发送控制指令，控制指令用于指示执行主体执行控制动作。其中，输入数据包括环境物体的输入数据和/或用户手势，环境物体可以为设置有用于获取运动轨迹的传感器的第一物体，和预先训练的能够被智能学习设备识别的第二物体中的至少一个，即本申请实施例提供的交互学习方式，实现了环境物体和/或用户手势对各种执行主体的控制，增加了交互方式的多样性，将交互方式由现有技术中常见的移动终端触摸屏触方式变更为与环境物体和/或用户手势的互动，增加交互的趣味性。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的智能学习系统的硬件组成示意图；

图2为本申请一实施例提供的交互学习方法的流程示意图；

图3为本申请一实施例提供的获取输入数据的流程示意图；

图4为本申请另一实施例提供的获取输入数据的流程示意图；

图5为本申请一实施例提供的确定控制指令的流程示意图；

图6为本申请另一实施例提供的交互学习方法的流程示意图；

图7为本申请一实施例提供的交互学习装置的结构示意图；

图8是本申请一实施例提供的智能学习设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

图1为本申请实施例提供的智能学习系统的硬件组成示意图。智能学习系统包括智能学习设备10以及至少一个环境物体20。图1中示出了环境物体1、环境物体2…环境物体n，n为大于或等于1的整数。

本实施例中，智能学习设备10用于响应至少一个环境物体20的触发操作，生成与该触发操作对应的控制指令，以实现适用于多种环境物体20的交互。

智能学习设备10还可以用于响应用户手势的触发操作，生成与该触发操作对应的控制指令。

其中，智能学习设备10可以同时相应响应环境物体和用户手势的触发操作。

本实施例中，环境物体20包括第一物体和第二物体中的至少一个。其中，第一物体上设置有用于获取运动轨迹的传感器，第二物体为预先训练的能够被智能学习设备识别的环境物体。

示例性地，用于获取运动轨迹的传感器可以为运动传感器。第一物体可以为设有运动传感器的笔。预先训练的能够被智能学习设备识别的环境物体可以为学习工具，例如卡片等。

具体地，环境物体还可以为设置有用户交互界面的移动终端等。

本实施例中，智能学习设备10以学习必须品为载体，在学习必须品上设置有存储单元11、处理单元12以及通讯单元13。

例如，智能学习设备10可以为设置有存储单元11、处理单元12以及通信单元13的灯具。

其中，存储单元11中可以预先存储待交互的内容数据。该待交互的内容数据包括但不限于图片数据、文本数据、音视频数据。

其中，通信单元13用于与环境中的多个执行设备(例如，图1所示的执行设备1、执行设备2…执行设备m)进行通信。执行设备包括但不限于音响、空调等。

其中，通信单元13可以为多对多的无线通信模块。例如，通信单元13可以同时向多个执行设备发送消息，以实现协同控制。

本实施例中，智能学习设备10还可以包括摄像单元14。摄像单元14用于采集预设区域内的图像。智能学习设备的处理单元12接收摄像单元14发送的图像，识别图像包含的对象，若识别到目标图像，执行目标图像对应的控制动作。

其中，目标对象对应的控制动作可以预先进行设置。

示例性地，目标对象为用户手势中的“OK”手势，目标对象对应的控制操作为打开音响。用户手势为“OK”且位于预设区域内时，摄像单元14获取包含“OK”手势的图像，发送至处理单元12，处理单元12识别图像中包含的对象为“OK”手势，则通过通信单元13向音响发送控制指令，或者向音响的控制设备发送控制指令，打开该音响。

本实施例中，为了减少电子设备对学生的视力(尤其是儿童的视力)损害，智能学习设备10还可以包括投影单元15。投影单元15用于将待显示的交互内容投射到目标区域。

例如，智能学习设备10的载体可以为灯具。灯具放置在操作平台上，灯具上安装有摄像单元14以及投影单元15。其中，操作平台可以划分为图像采集区域以及投影显示区域。

通过调整摄像单元14以及投射单元15的安装位置，使得摄像单元14在操作平台的视野区域与图像采集区域相匹配，投影单元15在操作平台的投影区域与投影显示区域相匹配。

在一种场景中，第二物体为魔方，魔方对应的控制动作为显示第一文件夹中的图片，摄像单元14获取包含“魔方”的图像，发送至处理单元12，处理单元12识别图像中包含的对象为“魔方”，生成控制指令，该控制指令指示投影单元15在投影显示区域显示第一文件夹中的图片。

本实施例中，智能学习设备10还可以包括扬声器16，用于播放音频数据。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行示例性说明。值得说明的是，下文中列举的具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为本申请一实施例提供的交互学习方法的流程示意图，适用于图1所示的智能学习设备。如图1所示，该交互学习方法包括：

S10、获取输入数据；输入数据包括环境物体的输入数据和/或用户手势。

本实施例中，环境物体可以包括第一物体和第二物体中的至少一个。

其中，第一物体上设置有用于获取运动轨迹的传感器，第二物体为预先训练的能够被智能学习设备识别的环境物体。

相应地，输入数据可以包括第一物体的输入数据、第二物体的输入数据以及用户手势中的至少一个。

其中，用户手势为预先训练的能够被智能学习设备识别的用户手势。

示例性地，传感器为运动传感器，第一物体为设置运动传感器的笔。第二物体为能够被智能学习设备识别的魔方。用户手势可以包括直接摆出的手势，也可以包括连续运动形成的手势。例如，用户手势可以为“V”字手势；也可以为用户通过食指画出的一个圆。

本实施例中，每个输入数据可以包括一个可唯一识别的标识。

获取输入数据，可以是指获取笔的运动轨迹、包含魔方的图像以及包含“V”字手势的图像中的一个或者多个，并为获取到的运动轨迹以及图像中的一个或多个分别分配预先设定的标识。

本实施例中，输入数据还可以为配置有交互界面的移动终端发送的交互请求指令。

其中，该移动终端可以为多个。相应地，获取输入数据可以为接收多个移动终端发送的一个或多个交互请求指令，并为每个交互请求指令分配预先设定标识。

S20、根据输入数据确定对应的控制指令，控制指令包括执行主体以及控制动作。

本实施例中，执行主体可以为智能学习设备本身，也可以为与智能学习设备通信连接的家居设备或者其他智能设备。

相应地，控制动作可以为智能学习设备的处理动作，也可以为环境中的执行设备(例如家居设备、其他智能设备)的处理动作，还可以同时包括智能学习设备的处理动作以及环境中的执行设备的处理动作。

一种示例中，输入数据为第二物体的输入数据，第二物体为带有“A公司”字符的卡片，对应的控制指令可以为对目标数据表按照关键词“A公司”进行筛选处理。此时执行主体为智能学习设备，控制动作为基于获取到关键词进行的筛选。

另一种示例中，输入数据为第一物体的输入数据，第一物体为设置有运动传感器的笔，在该笔的运动轨迹为“M”时，对应的控制指令为打开智能音响，则此时控制指令的执行主体为智能音响的控制单元，控制动作为打开智能音响。

本实施例中，智能学习设备的存储单元中预先存储有预先定义的各输入数据以及其对应的控制指令。例如，可以通过配置文件进行存储。

其中，预先定义的各输入数据以及其对应的控制指令可以由用户进行定义，从而实现不同用户的定制化交互方法。

其中，配置文件中包含每个输入数据的标识，以及每个输入数据对应的执行主体以及控制动作。

例如，智能学习设备获取输入数据后，从配置文件中查询与上述输入数据对应的执行主体以及控制动作，将执行主体、控制动作以及输入数据的标识打包生成控制指令。

S30、向执行主体发送控制指令，控制指令用于指示执行主体执行控制动作。

本实施例中，若同时获取多个输入数据，则确定控制指令也为多个。在对多个控制指令进行传输之前，可将多个控制指令写入消息队列。若需要向执行主体发送控制指令，可以包括从该消息队列中读取控制指令并进行发送。

其中，从该消息队列中读取控制指令并进行发送，可以包括从该消息队列中同时读取多个具有不同执行主体的控制指令，并向上述不同执行主体同时发送各自对应的控制指令。

本实施例中，执行主体可以包括但不限于投影单元、扬声器等。相应地，向执行主体发送控制指令，可以是指，向投影单元发送所述控制指令；控制指令用于指示投影单元投影显示控制指令包含的标识对应的图像。

还可以是指，向扬声器发送控制指令，控制指令用于指示扬声器播放控制指令包含的标识对应的音频。

其中，不同标识对应的图像或音频预先设置。

相应地，可以同时向投影设备和扬声器发送各自对应的控制指令，则投影设备显示对应图像的同时，扬声器播放对应的音频。

本申请实施例提供的交互学习方法，首先获取输入数据，然后根据输入数据确定对应的执行主体以及控制动作，最后向执行主体发送控制指令，控制指令用于指示执行主体执行控制动作。其中，输入数据包括环境物体的输入数据和/或用户手势，环境物体可以为设置有用于获取运动轨迹的传感器的第一物体，和预先训练的能够被智能学习设备识别的第二物体中的至少一个，即本申请实施例提供的交互学习方式，实现了环境物体和/或用户手势对各种执行主体的控制，增加了交互方式的多样性，将交互方式由现有技术中常见的移动终端触摸屏触方式变更为与环境物体和/或用户手势的互动，增加交互的趣味性。

由于环境物体可以包含有第一物体或第二物体，相应地，获取输入数据的方式会不同，下面通过图3和图4的实施例，分别说明获取输入数据的可能的实施方式。

图3为本申请一实施例提供的获取输入数据的流程示意图。本实施例描述了图2实施例中，获取输入数据的一种可能的实施方式，本实施例中输入数据为第一物体的输入数据。如图3所示，获取输入数据包括：

S101、在第一模式开启的情况下，通过传感器获取第一物体的运动轨迹；第一模式由设置在第一物体上的开关触发。

本实施例中，传感器可以为运动传感器。由于运动传感器设置在第一物体上，第一物体的运动轨迹可以通过运动传感器的运动轨迹表征。

本实施例，以设置有运动传感器的笔表征第一物体进行示例性说明。由于学生学习过程中，会频繁持笔进行操作，此时设置在笔上的运动传感器的运动轨迹没有参考意义，并不能作为触发操作。本步骤通过开关进行第一模式的开启或关闭。若第一模式开启，表征此时笔的运动轨迹可以作为触发操作，则通过传感器获取笔的运动轨迹。

本实施例中，可以通过设置在第一物体上的开关开启或关闭第一模式。

例如，若开关为开启状态，则第一模式开启，若开关为关闭状态，则第一模式为关闭状态。

S102、根据运动轨迹，生成第一数据，第一数据包括第一物体的标识。

本实施例中，根据运动轨迹生成第一数据可以是指，智能学习设备判断是否存在与运动轨迹相匹配的轨迹曲线，若存在与运动轨迹相匹配的轨迹曲线，确定上述相匹配的轨迹曲线的标识，并将该标识分配给获取到的运动轨迹，生成第一数据。

一些实施例中，若不存在与运动轨迹相匹配的轨迹曲线，则可以生成表征运动轨迹无法识别的消息。相应地，可以根据上述消息生成提示音。例如，提示音可以为：“运行轨迹无法识别”。

本实施例中，判断是否存在与运动轨迹相匹配的轨迹曲线可以包括下述步骤：

步骤1：指将运动轨迹与已分配标识的各轨迹曲线进行形状匹配，计算运动轨迹与各已分配标识的各轨迹曲线之间的匹配度。

步骤2：判断上述匹配度中的最大匹配度是否大于预设值.

步骤3：若多个匹配度中的最大匹配度大于预设值，则将最大匹配值对应的轨迹曲线确定为与运动轨迹相匹配的轨迹曲线。

步骤4：若多个匹配度中的最大匹配度小于预设值，则表示不存在与运动轨迹相匹配的轨迹曲线。

本实施例，通过设置在第一物体上的开关开启或关闭第一模式，并在第一模式开启的情况下，通过传感器获取设置在第一物体上的运动轨迹，避免获取无效轨迹，且通过传感器的设置，使得任何安装有上述传感器的环境物体均可以作为交互学习的触发设备，增加了交互方式的多样性，将交互方式由现有技术中常见的移动终端触摸屏触方式变更为与环境物体的互动，增加交互的趣味性。

图4为本申请另一实施例提供的获取输入数据的流程示意图。本实施例描述了图2实施例中，获取输入数据的另一种可能的实施方式，本实施例中输入数据为第二物体的输入数据和/或用户手势。本实施例中，智能学习设备包括摄像单元，如图4所示，获取输入数据，包括：

S103、通过摄像单元采集预设区域的图像，图像中包含第二物体和/或用户手势。

本实施例中，通过灯具表征智能学习设备进行示例性说明。为了提高摄像单元采集图像的清晰度，摄像单元可以安装为朝向灯具光源的照射区域。

本实施例中，预设区域为摄像单元的视野范围。

例如，将用于放置灯具的操作平台划分为图像采集区域以及投影显示区域。通过调整摄像单元的安装角度以及焦距使得摄像单元在操作平台上的视野区域与上述图像采集区域相匹配。

其中，相匹配可以是指摄像单元在操作平台上的视野区域包含上述图像采集区域。例如，摄像单元的视野区域的面积为图像采集区域的N倍，N为略大于1的数值。示例性的，N为1.1。

本实施例中，通过摄像单元采集预设区域的图像可以包括，获取包含第二物体的图像，获取包含用户手势的图像，以及同时包含第二物体和用户手势的图像中的任意一种场景。

本实施例中，第二物体包括下述任意一项：带有标记的卡片以及体积小于预设区域空间大小的学习工具。

其中，标记包括数学符号、单词以及科学符号等。标记可以为用户在卡片上手写或手画的。

一种示例中，带有标记的卡片可以为标记有“V”形符号的卡片，或者画有“小鸟”的卡片。相应地，当带有标记的卡片为画有“小鸟”的卡片时，智能学习设备投影小鸟的图像或者视频，并对应的播放小鸟的声音。

又一种示例中，体积小于预设区域空间大小的学习工具可以为魔方。其中，魔方的不同状态可以对应于不同的控制动作。

例如，魔方为6面体。当魔方的6面全部还原完成时，此时，采集到的6面图像均为纯色图像，6个纯色图像对应的魔方状态为A，则该状态A对应控制指令可以为投影单元的开启。

当魔方中存在未还原的面时，采集的图像中包含非纯色图像，此时可以表征魔方状态为B，则状态B对应的控制指令可以为投影设备的关闭。

应理解的是，体积小于预设区域空间大小的学习工具的外形尺寸应保持不变。

S104、将图像输入预训练的图像识别模型，确定图像中包含对象的标识。

本实施例中，预训练的图像识别模型的输入为待识别图像，输出为该图像中包含对象的标识。其中，待识别图像包含对象为第二物体，和/或用户手势。

本实施例中，若该待识别的图像包含的对象识别成功，则为该对象分配标识。若该待识别的图像包含的对象无法识别，则生成表征图像中包含对象无法识别的标识。

S105、生成第二数据，第二数据包括上述对象的标识。

本申请实施例，通过摄像单元以及预训练的图像识别模型，使得任意预先训练能够被图像识别模型识别的环境物体以及，预先训练能够被图像识别模型识别的用户手势均可以触发智能学习设备进行交互学习，增加了交互方式的多样性。

由图3以及图4的实施例可知，智能学习设备可能同时获取不同类型的环境物体的输入数据，也可能接收到同一个环境物体在一段时间内的多个输入数据，此时智能学习设备需要同时或者依次生成多个控制指令。下面对如何确定多个控制指令进行示例性的说明。

图5为本申请一实施例提供的确定控制指令的流程示意图，在上述实施例的基础上，描述了S20的一种可能的实施方式。如图5所示，根据输入数据确定对应的控制指令，包括：

S201、分别从配置文件中查找与第一数据对应的控制指令，以及与第二数据对应的控制指令；其中，第一数据为第一物体的输入数据，第二数据为第二物体的输入数据和/或用户手势，配置文件包括多组一一对应的标识与控制指令，每个输入数据包括一个标识。

本实施例中，第一模式开启时，智能学习设备既可以获取第一物体的输入数据，也可以获取第二物体的输入数据，还可以获取用户手势。

相应地，智能学习设备在第一模式开启的情况下，若同时获取到多个输入数据，则分别从配置文件中查找与第一数据对应的控制指令，以及与第二数据对应的控制指令。

其中，与第一数据对应的控制指令，可以是指与第一数据包含的标识对应的控制指令。与第二数据对应的控制指令，可以是指与第二数据包含的标识对应的控制指令。

本实施例中，配置文件为用户预先定义的文件，配置文件包括多组一一对应的标识与控制指令，每个输入数据包括一个标识。

应理解的是，在第一模式关闭的情况下，此时获取到的输入数据中不包括第一数据，则可以按照根据第二数据的获取时间，依次查找对应的控制指令。

S202、根据每个控制指令的执行主体，为每个控制指令分配与其执行主体对应的目标标识。

本实施例中，每个执行主体对应的目标标识预先设置。

S203、将包含有目标标识的各控制指令按照预设优先级依次放入消息队列，其中，第一数据对应的控制指令的优先级高于第二数据对应的控制指令的优先级。

本步骤的目的在于，在同时存在第一数据对应的控制指令，以及第二数据对应的控制指令时，将第一数据对应的控制指令优先放入消息队列中。

本实施例中，智能学习设备的通信单元可以支持多对多的无线通信。在消息队列中包含的多个控制指令的执行主体不同时，可以向该多个执行主体同时发送各自分别对应的控制指令，以实现多个执行主体之间的协同控制。

例如：智能学习设备向执行主体发送控制指令，可以包括以下至少一项：向不同的目标标识对应的多个执行主体同时发送各自分别对应的控制指令；依据消息队列中多个控制指令的排列顺序，依次向相同的目标标识对应的执行主体发送对应的控制指令。

一些实例中，消息队列中的多个控制指令的执行主体分别为电子琴和智能音乐播放器，电子琴的控制动作为弹奏A小调，智能音乐播放器的控制动作为播放预设程序B，则向电子琴和智能音乐播放器同时发送对应的控制指令，电子琴和智能音乐播放器同时执行对应的控制动作，实现合奏。

又一些实例中，若消息队列中包含多条具有相同执行主体的控制指令，则按照进入消息队列的时间依次向该执行主体发送。

本实施例中，通过将控制指令写入消息队列，并通过支持多对多通信的通信单元，向该多个执行主体同时发送各自分别对应的控制指令。即多个执行主体之间可以采用消息对通信的方式来协作，从而可以实现多个执行主体的协同控制。

图6为本申请另一实施例提供的交互学习方法的流程示意图。如图6所示，在获取输入数据之前，上述交互学习方法还包括：

S41、获得多个训练样本，每个训练样本包括训练图像以及训练图像中包含对象的标识；其中，训练图像中包含的对象为待训练的环境物体，和/或待训练的用户手势。

本实施例中，若训练图像中对象同时包含待训练的环境物体和待训练的用户手势，训练图像对应的标识仅有一个，该一个标识表征训练图像中对象同时包含待训练的环境物体和待训练的用户手势。

S42、根据多个训练样本，获得预训练的图像识别模型。

S43、为训练图像中包含对象的标识分配对应的控制指令。

本实施例中，智能学习设备响应于用户的输入，为训练图像中包含对象的标识分配对应的控制指令。

S44、将训练图像中包含对象的标识以及对应的控制指令添加至配置文件。

本实施例中配置文件与上述实施例中的配置文件相同。

应理解的是，经过本实施例的处理后，待训练的环境物体转换为能够被预训练的图像识别模型识别的第二物体。

本申请实施例提供的方法，可以实现对多种环境物体，或多种用户手势的训练，从而使得智能学习设备可以响应于不同环境物体，或多种用户手势的触发，增加了交互方式的多样性。而且，环境物体可以根据不同的用户进行定制开发，能够满足用户的定制需求。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

基于上述实施例所提供的交互学习方法，本发明实施例进一步给出实现上述方法实施例的装置实施例。

图7为本申请一实施例提供的交互学习装置的结构示意图。交互学习装置50适用于一种智能学习设备，智能学习设备用于响应环境物体和/或用户手势的触发操作；环境物体包括第一物体和第二物体中的至少一个，第一物体上设置有用于获取运动轨迹的传感器，第二物体为预先训练的能够被智能学习设备识别的环境物体；如图7所示，交互学习装置50包括获取模块501，确定模块502以及发送模块503；其中：

获取模块501，用于获取输入数据；输入数据包括环境物体的输入数据和/或用户手势。

确定模块502，用于根据输入数据确定对应的控制指令，控制指令包括执行主体以及控制动作。

发送模块503，用于向执行主体发送控制指令，控制指令用于指示执行主体执行控制动作。

可选地，获取模块501获取输入数据具体包括：在第一模式开启的情况下，通过传感器获取第一物体的运动轨迹；第一模式由设置在第一物体上的开关触发；根据运动轨迹，生成第一数据，第一数据包括第一物体的标识。

可选地，智能学习设备包括摄像单元；相应地，获取模块501获取输入数据具体包括：

通过摄像单元采集预设区域的图像，图像中包含第二物体和/或用户手势；

将图像输入预训练的图像识别模型，确定图像中包含对象的标识；

生成第二数据，第二数据包括上述对象的标识。

可选地，第二物体包括下述任意一项：带有标记的卡片和体积小于预设区域空间大小的学习工具。

可选地，确定模块502根据输入数据确定对应的控制指令，具体包括：

分别从配置文件中查找与第一数据对应的控制指令，以及与第二数据对应的控制指令；其中，第一数据为所述第一物体的输入数据，第二数据为所述第二物体的输入数据和/或用户手势，配置文件包括多组一一对应的标识与控制指令，每个输入数据包括一个标识；

根据每个控制指令的执行主体，为每个控制指令分配与其执行主体对应的目标标识；

将包含有目标标识的各控制指令按照预设优先级依次放入消息队列，其中，第一数据对应的控制指令的优先级高于第二数据对应的控制指令的优先级。

可选地，发送模块503向执行主体发送控制指令，包括：

向不同的目标标识对应的多个执行主体同时发送各自分别对应的控制指令；

和/或，

依据消息队列中多个控制指令的排列顺序，依次向相同的目标标识对应的执行主体发送对应的控制指令。

可选地，执行主体包括投影单元、扬声器中至少一个；发送模块503向执行主体发送控制指令，包括：

向投影单元发送所述控制指令；控制指令用于指示投影单元投影显示控制指令包含的标识对应的图像；

可选地，发送模块503向执行主体发送控制指令，还可以包括：向扬声器发送控制指令，控制指令用于指示扬声器播放控制指令包含的标识对应的音频。

可选地，交互学习装置50还包括训练模块，训练模块用于在获取输入数据之前：

获得多个训练样本，每个训练样本包括训练图像以及训练图像中包含对象的标识；其中，训练图像中包含的对象为待训练的环境物体，和/或待训练的用户手势；

根据多个训练样本，获得预训练的图像识别模型；

为训练图像中包含对象的标识分配对应的控制指令；

将训练图像中包含对象的标识以及对应的控制指令添加至配置文件。

图7所示实施例提供的交互学习装置，可用于执行上述方法实施例中的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图8是本申请一实施例提供的智能学习设备的示意图。如图8所示，该实施例的智能学习设备包括：至少一个处理器601、存储器602以及存储在所述存储器602中并可在所述处理器601上运行的计算机程序。智能学习设备还包括通信部件603，其中，处理器601、存储器602以及通信部件603通过总线604连接。

处理器601执行所述计算机程序时实现上述各个交互学习方法实施例中的步骤，例如图2所示实施例中的步骤S10至步骤S30。或者，处理器601执行计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块501至503的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器602中，并由处理器601执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在所述智能学习设备中的执行过程。

本领域技术人员可以理解，图8仅仅是智能学习设备的示例，并不构成对智能学习设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如摄像单元、投影单元等。

所称处理器601可以是中央处理单元(Central Processkng Unkt，CPU)，还可以是其他通用处理器、数字信号处理器(Dkgktal Skgnal Processor，DSP)、专用集成电路(Applkcatkon Speckfkc Kntegrated Ckrcukt，ASKC)、现成可编程门阵列(Fkeld-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器602可以是智能学习设备的内部存储单元，也可以是智能学习设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Medka Card，SMC)，安全数字(SecureDkgktal，SD)卡，闪存卡(Flash Card)等。所述存储器602用于存储所述计算机程序以及智能学习设备所需的其他程序和数据。存储器602还可以用于暂时地存储已经输出或者将要输出的数据。

总线可以是工业标准体系结构(Kndustry Standard Archktecture，KSA)总线、外部设备互连(Perkpheral Component，PCK)总线或扩展工业标准体系结构(ExtendedKndustry Standard Archktecture，EKSA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。