掌桥专利:专业的专利平台
掌桥专利
首页

信息交互方法和装置

文献发布时间:2023-06-19 09:44:49


信息交互方法和装置

技术领域

本公开的实施例涉及计算机技术领域,具体涉及信息交互方法和装置。

背景技术

现阶段,采用学习机、早教机等电子设备进行学习正日益普遍。

例如,在儿童早教领域,现有的学习机、早教机等电子设备通常仅仅侧重于知识的传授,以及信息的交互。

例如,在小学语文的学习中,为了让儿童能正确掌握字词和语句的发音,一种方式需要依赖于老师或者家长,对儿童的发音进行辨别;另一种方式则基于深度学习,机械化地检测儿童发音是否符合目标音频标准。

发明内容

本公开提出了信息交互方法和装置。

第一方面,本公开的实施例提供了一种信息交互方法,该方法包括:获取目标用户生成的语音交互音频;基于语音交互音频,生成语音交互音频的反馈信息;基于目标用户的用户画像信息,确定反馈信息的信息反馈方式;控制反馈信息,以信息反馈方式指示的方式进行信息交互。

在一些实施例中,获取目标用户生成的语音交互音频,包括:获取目标用户针对目标音频生成的语音交互音频;以及,基于语音交互音频,生成语音交互音频的反馈信息,包括:基于目标音频和语音交互音频,生成语音交互音频的反馈信息。

在一些实施例中,目标音频为待跟读音频,语音交互音频为用户跟读音频;以及,基于目标音频和语音交互音频,生成语音交互音频的反馈信息,包括:基于待跟读音频和用户跟读音频之间的相似度,与预设音频相似度阈值之间的大小关系,生成用于指示待跟读音频和用户跟读音频是否相匹配的、用户跟读音频的反馈信息。

在一些实施例中,该方法还包括:基于为目标用户播放的、目标用户选取的音乐,确定用于在满足第一预设条件的情况下为目标用户播放的目标音乐,其中,第一预设条件包括待跟读音频和用户跟读音频之间的相似度,大于或等于预设音频相似度阈值;响应于满足第一预设条件,控制目标音乐播放。

在一些实施例中,目标音频为待回复音频,语音交互音频为用户回复音频;以及,基于目标音频和语音交互音频,生成语音交互音频的反馈信息,包括:基于用户回复音频与待回复音频是否相匹配,生成用于指示用户回复音频与待回复音频是否相匹配的、用户回复音频的反馈信息。

在一些实施例中,该方法还包括:基于为目标用户播放的、目标用户选取的音乐,确定用于在满足第二预设条件的情况下为目标用户播放的目标音乐,其中,第二预设条件包括用户回复音频与待回复音频相匹配;响应于满足第二预设条件,控制目标音乐播放。

在一些实施例中,该方法还包括:基于用户画像信息,确定用于向目标用户推送的待推送音乐,其中,用户画像信息包括以下至少一项:性别、年龄、性格、为目标用户播放的目标用户选取的音频。

在一些实施例中,用户画像信息包括:性别、年龄、性格,以及为目标用户播放的目标用户选取的音频;以及,根据用户画像信息,确定用于向目标用户推送的待推送音乐,包括:基于目标用户的交互信息,确定目标用户的性别、年龄、性格,以及为目标用户播放的目标用户选取的音频;基于性别、年龄和性格,从预先确定的音乐集合中,确定用于向目标用户推送的目标数量首音乐;基于为目标用户播放的目标用户选取的音频,从目标数量首音乐中,确定用于向目标用户推送的待推送音乐。

在一些实施例中,基于用户画像信息,确定用于向目标用户推送的待推送音乐,包括:响应于非首次向目标用户推送待推送音乐,确定向与目标用户相关联的用户已推送的音乐,以及将已推送的音乐作为用于向目标用户推送的待推送音乐,其中,与目标用户相关联的用户的用户画像信息,与目标用户的用户画像信息的相似度大于或等于预设用户画像信息相似度阈值。

在一些实施例中,基于目标用户的用户画像信息,确定用于向目标用户推送的待推送音乐,还包括:响应于首次向目标用户推送待推送音乐,基于目标时间段内目标用户的交互信息,确定用于向目标用户推送的待推送音乐,其中,目标时间段以上次向目标用户推送待推送音乐的时刻为起始时刻,以当前时刻为终止时刻。

在一些实施例中,信息反馈方式包括以下至少一项:图像的反馈方式、文字的反馈方式、音频的反馈方式。

第二方面,本公开的实施例提供了一种信息交互装置,该装置包括:获取单元,被配置成获取目标用户生成的语音交互音频;生成单元,被配置成基于语音交互音频,生成语音交互音频的反馈信息;第一确定单元,被配置成基于目标用户的用户画像信息,确定反馈信息的信息反馈方式;第一控制单元,被配置成控制反馈信息,以信息反馈方式指示的方式进行信息交互。

在一些实施例中,获取单元包括:获取子单元,被配置成获取目标用户针对目标音频生成的语音交互音频;以及,生成单元包括:生成子单元,被配置成基于目标音频和语音交互音频,生成语音交互音频的反馈信息。

在一些实施例中,目标音频为待跟读音频,语音交互音频为用户跟读音频;以及,生成子单元包括:第一生成模块,被配置成基于待跟读音频和用户跟读音频之间的相似度,与预设音频相似度阈值之间的大小关系,生成用于指示待跟读音频和用户跟读音频是否相匹配的、用户跟读音频的反馈信息。

在一些实施例中,该装置还包括:第二确定单元,被配置成基于为目标用户播放的、目标用户选取的音乐,确定用于在满足第一预设条件的情况下为目标用户播放的目标音乐,其中,第一预设条件包括待跟读音频和用户跟读音频之间的相似度,大于或等于预设音频相似度阈值;第二控制单元,被配置成响应于满足第一预设条件,控制目标音乐播放。

在一些实施例中,目标音频为待回复音频,语音交互音频为用户回复音频;以及,生成子单元包括:第二生成模块,被配置成基于用户回复音频与待回复音频是否相匹配,生成用于指示用户回复音频与待回复音频是否相匹配的、用户回复音频的反馈信息。

在一些实施例中,该装置还包括:基于为目标用户播放的、目标用户选取的音乐,确定用于在满足第二预设条件的情况下为目标用户播放的目标音乐,其中,第二预设条件包括用户回复音频与待回复音频相匹配;响应于满足第二预设条件,控制目标音乐播放。

在一些实施例中,该装置还包括:第三确定单元,被配置成基于用户画像信息,确定用于向目标用户推送的待推送音乐,其中,用户画像信息包括以下至少一项:性别、年龄、性格、为目标用户播放的目标用户选取的音频。

在一些实施例中,用户画像信息包括:性别、年龄、性格,以及为目标用户播放的目标用户选取的音频;以及,第三确定单元包括:第一确定子单元,被配置成基于目标用户的交互信息,确定目标用户的性别、年龄、性格,以及为目标用户播放的目标用户选取的音频;第二确定子单元,被配置成基于性别、年龄和性格,从预先确定的音乐集合中,确定用于向目标用户推送的目标数量首音乐;第三确定子单元,被配置成基于为目标用户播放的目标用户选取的音频,从目标数量首音乐中,确定用于向目标用户推送的待推送音乐。

在一些实施例中,第三确定单元包括:第四确定子单元,被配置成响应于非首次向目标用户推送待推送音乐,确定向与目标用户相关联的用户已推送的音乐,以及将已推送的音乐作为用于向目标用户推送的待推送音乐,其中,与目标用户相关联的用户的用户画像信息,与目标用户的用户画像信息的相似度大于或等于预设用户画像信息相似度阈值。

在一些实施例中,第三确定单元还包括:第五确定子单元,被配置成响应于首次向目标用户推送待推送音乐,基于目标时间段内目标用户的交互信息,确定用于向目标用户推送的待推送音乐,其中,目标时间段以上次向目标用户推送待推送音乐的时刻为起始时刻,以当前时刻为终止时刻。

在一些实施例中,信息反馈方式包括以下至少一项:图像的反馈方式、文字的反馈方式、音频的反馈方式。

第三方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行,使得该一个或多个处理器实现如上述信息交互方法中任一实施例的方法。

第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述信息交互方法中任一实施例的方法。

本公开的实施例提供的信息交互方法和装置,首先,获取目标用户生成的语音交互音频,基于语音交互音频,生成语音交互音频的反馈信息,以及,基于目标用户的用户画像信息,确定反馈信息的信息反馈方式,最后,控制反馈信息,以信息反馈方式指示的方式进行信息交互。由此,丰富了信息的交互方式,有助于增加目标用户与电子设备间进行交互的时长。在上述电子设备为早教设备的情况下,有助于提高目标用户的学习时长和学习效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:

图1是本公开的一个实施例可以应用于其中的示例性系统架构图;

图2是根据本公开的信息交互方法的一个实施例的流程图;

图3是根据本公开的信息交互方法的一个应用场景的示意图;

图4是根据本公开的信息交互方法的又一个实施例的流程图;

图5是根据本公开的信息交互方法的再一个实施例的流程图;

图6是根据本公开的信息交互装置的一个实施例的结构示意图;

图7是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。

需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的实施例的信息交互方法或信息交互装置的实施例的示例性系统架构100。

如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送数据(例如目标用户生成的语音交互音频)等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如学习类软件、视频播放软件、新闻资讯类应用、图像处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是各种电子设备,包括但不限于早教机、智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块),也可以实现成单个软件或软件模块(例如具有早教功能的软件)。在此不做具体限定。

服务器105可以是提供各种服务的服务器,例如用于生成语音交互音频的反馈信息的后台服务器。可选的,在生成反馈信息之后,服务器105可以将所生成的反馈信息反馈给终端设备101、102、103。作为示例,服务器105可以是云端服务器。

需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。

还需要说明的是,本公开的实施例所提供的信息交互方法可以由服务器执行,也可以由终端设备执行,还可以由服务器和终端设备彼此配合执行。相应地,信息交互装置包括的各个部分(例如各个单元、子单元、模块、子模块)可以全部设置于服务器中,也可以全部设置于终端设备中,还可以分别设置于服务器和终端设备中。

应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。当信息交互方法运行于其上的电子设备不需要与其他电子设备进行数据传输时,该系统架构可以仅包括信息交互方法运行于其上的电子设备(例如终端设备)。

继续参考图2,示出了根据本公开的信息交互方法的一个实施例的流程200。该信息交互方法,包括以下步骤:

步骤201,获取目标用户生成的语音交互音频。

在本实施例中,信息交互方法的执行主体(例如图1所示的服务器或终端设备)可以获取目标用户生成的语音交互音频。其中,目标用户可以是与上述执行主体进行交互的用户。作为示例,上述执行主体可以是早教机,或者,用于为早教机提供支持的服务器,上述目标用户可以是使用早教机的儿童。

上述语音交互音频可以是上述目标用户生成的用于进行交互的语音音频。例如,在跟读场景下,语音交互音频可以是上述目标用户生成的跟读音频(即用户跟读音频);在提问模式下,语音交互音频可以是上述目标用户生成的回复音频(即用户回复音频)。此外,语音交互音频还可以是上述目标用户生成的其他任意音频。

作为示例,当上述执行主体为服务器时,在与上述执行主体通信连接的终端设备获得目标用户生成的语音交互音频之后,上述执行主体可以通过有线连接方式或者无线连接方式从该终端设备获取目标用户生成的语音交互音频,在此场景下,上述终端设备可以具有语音获取功能;当上述执行主体为终端设备时,上述执行主体可以直接地从目标用户获得该目标用户生成的语音交互音频。

步骤202,基于语音交互音频,生成语音交互音频的反馈信息。

在本实施例中,上述执行主体可以基于步骤201中所获取的语音交互音频,生成该语音交互音频的反馈信息。

应该理解,在人机交互场景下,在获得用户生成的语音(例如语音交互音频)之后,需要基于该用户生成的语音进行反馈(例如生成该语音交互音频的反馈信息)。

作为示例,上述执行主体可以采用如下方式执行该步骤202:

将上述步骤201中所获取的语音交互音频输入至预先训练的反馈信息生成模型,生成上述步骤201中所获取的语音交互音频的反馈信息。

其中,上述反馈信息生成模型可以表征语音交互音频与语音交互音频的反馈信息之间的对应关系。

在这里,上述反馈信息生成模型可以是采用机器学习算法训练得到的卷积神经网络模型,也可以是存储有语音交互音频、语音交互音频的反馈信息,以及语音交互音频与反馈信息之间的关联关系信息的二维表或数据库。

作为又一示例,上述执行主体还可以采用如下方式,执行该步骤202:

首先,将步骤201中所获取的语音交互音频发送至预设终端,以供该预设终端播放。其中,预设终端的使用者针对所播放的语音交互音频输入反馈信息。

然后,接收上述预设终端的使用者针对所播放的语音交互音频输入的信息,以及将所接收到的信息作为语音交互音频的反馈信息。

应该理解,在播放音频之前,需要确定待播放的音频的内容(例如上述反馈信息)。

在这里,上述反馈信息也可以是音乐(例如儿歌)。

步骤203,基于目标用户的用户画像信息,确定反馈信息的信息反馈方式。

在本实施例中,上述执行主体可以基于上述目标用户的用户画像信息,确定用于为该目标用户播放的音频的音色信息。其中,用户画像信息可以包括但不限于以下至少一项:年龄、籍贯、工作、学历、性别、爱好等等。音色信息用于指示为目标用户播放的音频的音色。

在这里,用户画像信息可以采用矩阵、向量等形式表征。此外,用户画像信息可以是经过降维、归一化等特征工程处理后得到的信息。

作为示例,上述执行主体可以通过如下步骤,执行该步骤203:

将目标用户的用户画像信息输入至预先训练的第一确定模型,得到反馈信息的信息反馈方式。其中,上述第一确定模型可以表征用户画像信息与信息反馈方式之间的对应关系。

示例性的,上述第一确定模型可以是采用机器学习算法训练得到的卷积神经网络模型,也可以是存储有用户画像信息、信息反馈方式的二维表或数据库。

作为又一示例,上述执行主体还可以通过如下步骤,执行该步骤203:

将目标用户的用户画像信息和步骤202获得的反馈信息输入至预先训练的第二人确定模型,得到反馈信息的信息反馈方式。其中,上述第二确定模型可以表征用户画像信息、反馈信息与信息反馈方式之间的对应关系。

示例性的,上述第二确定模型可以是采用机器学习算法训练得到的卷积神经网络模型,也可以是存储有用户画像信息、反馈信息、信息反馈方式的二维表或数据库。

在本实施例的一些可选的实现方式中,用户画像信息可以包括为目标用户播放的、目标用户选取的音频的信息。由此,上述执行主体还可以通过如下步骤,执行该步骤203:

基于为目标用户播放的、目标用户选取的音频,确定反馈信息的信息反馈方式。

其中,上述为目标用户播放的、目标用户选取的音频可以是目标用户选择播放的音乐或者视频中的音频。

作为示例,上述用于为目标用户播放的音频的音色信息可以指示:多个为目标用户播放的、目标用户选取的音频中,任一音频的音色;也可以指示:多个为目标用户播放的、目标用户选取的音频中,播放时间最长的音频的音色;还可以指示:多个为目标用户播放的、目标用户选取的音频中,最近一次为目标用户播放的音频的音色。

可以理解,在本可选的实现方式中,为目标用户播放的、目标用户选取的音频的音色往往是目标用户所喜欢的音色,由此,本可选的实现方式可以控制音频回复信息的音频采用音色信息指示的音色进行播放,从而通过后续步骤可以采用目标用户所喜欢的音频与目标用户进行交互。从而丰富了信息的交互方式,在与用户的交互过程中,更容易被目标用户接受,提高用户体验。

在本实施例的一些可选的实现方式中,信息反馈方式包括以下至少一项:图像的反馈方式、文字的反馈方式、音频的反馈方式。

其中,上述图像的反馈方式可以包括以下至少一项:图像的风格、图像中的内容等等,例如:图像的反馈方式可以为动漫图像。文字的反馈方式可以包括以下至少一项:文字的颜色、文字的字体、文字的字号、文字的内容等等,例如,文字的反馈方式可以指示动漫海报中动漫人物的名字或动漫名称。音频的反馈方式可以包括以下至少一项:音频的音色、音频的音调、音频的响度等等。

作为示例,当步骤202中的反馈信息为音乐,并且,信息反馈方式包括音频的音色时,可以基于目标用户的用户画像信息以及步骤202中的反馈信息(即音乐),确定用于为目标用户播放该音乐的音色信息。

具体地,如果音乐库中包括3种不同音色的版本的上述音乐(例如甲演唱的该音乐、乙演唱的该音乐、丙演唱的该音乐),那么,上述执行主体可以从上述3种音色的版本的音乐中,确定出用于为目标用户播放的音乐,以及将该音乐的音色信息作为用于为目标用户播放的音频的音色信息。应该理解,在播放音频之前,需要确定待播放的音频的播放形式(例如音色)。

需要说明的是,本申请实施例对上述步骤201-203的执行顺序并不进行限定,例如,上述执行主体可以按照步骤201、步骤202、步骤203的顺序执行上述各步骤,也可以按照步骤203、步骤201、步骤202的顺序执行上述各步骤,还可以按照步骤201、步骤203、步骤202的顺序执行上述各步骤。

步骤204,控制反馈信息,以信息反馈方式指示的方式进行信息交互。

在本实施例中,上述执行主体可以控制步骤202中所生成的反馈信息,以步骤203中所确定的信息反馈方式指示的方式进行信息交互。

作为示例,当信息反馈方式包括图像的反馈方式时,上述执行主体可以控制反馈信息,以信息反馈方式指示的图像的反馈方式进行呈现。

作为又一示例,当信息反馈方式包括音频的反馈方式(例如音色信息)时,在已获得合成有反馈信息和音色信息指示的音色(例如从不同音色的音乐中,确定出用于为目标用户播放的音乐)的情况下,上述执行主体可以直接控制合成后的音频进行播放;在未获得合成后的音频的情况下,上述执行主体可以首先对反馈信息和音色信息指示的音色进行合成,获得合成后音频,之后再控制合成后的音频进行播放。

在这里,在上述执行主体为终端设备的情况下,其可以直接以音色信息指示的音色播放反馈信息;在上述执行主体为服务器的情况下,其可以将音频信息和/或音色信息发送至与其通信连接的终端设备,以便终端设备以音色信息指示的音色播放反馈信息,或者,将音频信息和音色信息合成后的音频发送至与其通信连接的终端设备,以便终端设备以音色信息指示的音色播放反馈信息(也即播放合成后的音频)。

继续参见图3,图3是根据本实施例的信息交互方法的应用场景的一个示意图。在图3的应用场景中,早教机302获取到了目标用户301生成的语音交互音频303(图示中语音交互音频303指示的文字为“1加1等于2”)。然后,早教机302基于语音交互音频303,生成了该语音交互音频303的反馈信息304(图示中为“小朋友,你真棒!”)。之后,早教机302基于目标用户301的用户画像信息,确定反馈信息的信息反馈方式。例如,早教机302可以基于目标用户301的用户画像信息(例如为目标用户301播放的、该目标用户301选取的动画片的信息),确定反馈信息的信息反馈方式(例如指示XX动画片中的XX人物的音色的音色信息)。最后,早教机302可以控制反馈信息,以信息反馈方式指示的方式进行信息交互。例如,采用XX动画片中的XX人物的音色,播放所生成的反馈信息的音频。

本公开的上述实施例提供的方法,通过获取目标用户生成的语音交互音频,基于语音交互音频,生成语音交互音频的反馈信息,以及,基于目标用户的用户画像信息,确定反馈信息的信息反馈方式,之后,控制反馈信息,以信息反馈方式指示的方式进行信息交互,从而可以根据用户画像信息,来确定与用户进行语音交互的方式,由此,丰富了信息的交互方式,有助于增加目标用户与电子设备间进行交互的时长。在上述电子设备为早教设备(例如早教机)的情况下,有助于提高目标用户的学习时长和学习效率。

进一步参考图4,其示出了信息交互方法的又一个实施例的流程400。该信息交互方法的流程400,包括以下步骤:

步骤401,获取目标用户针对目标音频生成的语音交互音频。

在本实施例中,信息交互方法的执行主体(例如图1所示的服务器或终端设备)可以获取目标用户针对目标音频生成的语音交互音频。

其中,当上述执行主体为终端设备时,目标音频可以是上述执行主体所播放的音频;当上述执行主体为服务器时,目标音频可以是与上述执行主体通信连接的终端设备所播放的音频。该目标音频可以用于与目标用户进行音频交互。

上述目标用户可以是与上述执行主体进行交互的用户。作为示例,上述执行主体可以是早教机,或者,用于为早教机提供支持的服务器,上述目标用户可以是使用早教机的儿童。

上述语音交互音频可以是上述目标用户生成的用于进行交互的语音音频。例如,在跟读场景下,语音交互音频可以是上述目标用户生成的跟读音频(即用户跟读音频);在提问模式下,语音交互音频可以是上述目标用户生成的回复音频(即用户回复音频)。此外,语音交互音频还可以是上述目标用户生成的任意音频。

作为示例,当上述执行主体为服务器时,在与上述执行主体通信连接的终端设备获得目标用户生成的语音交互音频之后,上述执行主体可以通过有线连接方式或者无线连接方式从该终端设备获取目标用户生成的语音交互音频,在此场景下,上述终端设备可以具有语音获取功能;当上述执行主体为终端设备时,上述执行主体可以直接地从目标用户获得该目标用户生成的语音交互音频。

步骤402,基于目标音频和语音交互音频,生成语音交互音频的反馈信息。

在本实施例中,信息交互方法的执行主体(例如图1所示的服务器或终端设备)可以基于目标音频和语音交互音频,生成语音交互音频的反馈信息。

作为示例,上述执行主体可以采用如下方式执行该步骤402:

将上述步骤401中所获取的语音交互音频和目标音频,输入至预先训练的生成模型,生成上述步骤401中所获取的语音交互音频的反馈信息。

其中,上述生成模型可以表征语音交互音频、目标音频和语音交互音频的反馈信息三者之间的对应关系。

在这里,上述反馈信息生成模型可以是采用机器学习算法训练得到的卷积神经网络模型,也可以是存储有语音交互音频、目标音频、反馈信息,以及语音交互音频、目标音频与反馈信息之间的关联关系信息的二维表或数据库。

作为又一示例,上述执行主体还可以采用如下方式,执行该步骤402:

首先,将步骤401中所获取的语音交互音频和目标音频发送至预设终端,以供该预设终端播放。其中,在预设终端播放语音交互音频和目标音频之后,该预设终端的使用者可以输入语音交互音频的反馈信息。

然后,接收上述预设终端的使用者针对所播放的语音交互音频和目标音频输入的信息,以及将所接收到的信息作为语音交互音频的反馈信息。

在本实施例的一些可选的实现方式中,上述步骤401中的目标音频可以为待跟读音频。上述步骤401中的语音交互音频可以为用户跟读音频。由此,上述执行主体还可以通过如下步骤来执行上述步骤403:

基于待跟读音频和用户跟读音频之间的相似度,与预设音频相似度阈值之间的大小关系,生成用于指示待跟读音频和用户跟读音频是否相匹配的、用户跟读音频的反馈信息。

具体地,在待跟读音频和用户跟读音频之间的相似度,大于或等于预设音频相似度阈值的情况下,上述执行主体可以生成用于指示待跟读音频和用户跟读音频相匹配的、用户跟读音频的反馈信息;在待跟读音频和用户跟读音频之间的相似度,小于上述预设音频相似度阈值的情况下,上述执行主体可以生成用于指示待跟读音频和用户跟读音频不相匹配的、用户跟读音频的反馈信息。

可以理解,上述可选的实现方式中所描述的技术方案,可以应用于跟读模式中,从而可以提高目标用户的跟读时长和跟读效率。

在上述可选的实现方式的一些应用场景中,上述执行主体还可以执行如下步骤:

步骤一,基于为目标用户播放的、目标用户选取的音乐,确定用于在满足第一预设条件的情况下为目标用户播放的目标音乐。其中,第一预设条件包括待跟读音频和用户跟读音频之间的相似度,大于或等于预设音频相似度阈值。

作为示例,上述执行主体可以从为目标用户播放的、目标用户选取的音乐中,随机地选取音乐,以及将所选取的音乐作为用于在满足第一预设条件的情况下为目标用户播放的目标音乐。

作为又一示例,上述执行主体还可以从为目标用户播放的、目标用户选取的音乐中,选取播放时间最长的音乐,以及将所选取的音乐作为用于在满足第一预设条件的情况下为目标用户播放的目标音乐。

步骤二,在满足第一预设条件的情况下,控制目标音乐播放。

在这里,在满足第一预设条件的情况下,当上述执行主体为终端设备时,上述执行主体可以直接播放目标音乐;在满足第一预设条件的情况下,当上述执行主体为服务器时,上述执行主体可以将目标音乐发送至与其通信连接的终端设备,以便终端设备播放目标音乐

可以理解,在上述应用场景中,可以基于为目标用户播放的、目标用户选取的音乐,确定用于在待跟读音频和用户跟读音频相似(例如待跟读音频和用户跟读音频之间的相似度,大于或等于预设音频相似度阈值)的情况下为目标用户播放的目标音乐,由此,在待跟读音频和用户跟读音频相似的情况下,可以确定目标用户跟读正确,从而播放目标音乐,由于目标音乐通常是目标用户所喜欢的音乐,因而,可以进一步提高用户的跟读时长、跟读体验以及跟读效率。

在本实施例的一些可选的实现方式中,上述步骤401中的目标音频为待回复音频。上述步骤401中的语音交互音频为用户回复音频。由此,上述执行主体还可以通过如下步骤来执行上述步骤403:

基于用户回复音频与待回复音频是否相匹配,生成用于指示用户回复音频与待回复音频是否相匹配的、用户回复音频的反馈信息。

作为示例,上述执行主体可以将用户回复音频和待回复音频输入至预先训练的匹配模型,确定用户回复音频和待回复音频是否相匹配。若用户回复音频和待回复音频相匹配,则将预先确定的第一反馈信息作为用于指示用户回复音频与待回复音频相匹配的、用户回复音频的反馈信息;若用户回复音频和待回复音频不相匹配,则将预先确定的第二反馈信息作为用于指示用户回复音频与待回复音频不相匹配的、用户回复音频的反馈信息。示例性的,可以预先设置上述第一反馈信息和第二反馈信息。例如,第一反馈信息可以是“恭喜你答对了”,“第二反馈信息”可以是“哎呀答错啦”。

作为又一示例,上述执行主体还可以将用户回复音频和待回复音频输入至预先训练的信息生成模型,生成用于指示用户回复音频与待回复音频是否相匹配的、用户回复音频的反馈信息。其中,上述信息生成模型可以基于用户回复音频和待回复音频,生成用于指示用户回复音频与待回复音频是否相匹配的、用户回复音频的反馈信息。示例性的,上述信息生成模型可以是采用机器学习算法训练得到的卷积神经网络模型,也可以是存储有用户回复音频、待回复音频、用于指示用户回复音频与待回复音频是否相匹配的用户回复音频的反馈信息,以及上述三者的对应关系信息的二维表或数据库。

可以理解,上述可选的实现方式中所描述的技术方案,可以应用于早教等领域的问答学习模式中,从而可以提高目标用户的学习时长和学习效率。

在上述可选的实现方式的一些应用场景中,上述执行主体还可以执行如下步骤:

第一步,基于为目标用户播放的、目标用户选取的音乐,确定用于在满足第二预设条件的情况下为目标用户播放的目标音乐。其中,第二预设条件包括用户回复音频与待回复音频相匹配。

作为示例,上述执行主体可以从为目标用户播放的、目标用户选取的音乐中,随机地选取音乐,以及将所选取的音乐作为用于在满足第二预设条件的情况下为目标用户播放的目标音乐。

作为又一示例,上述执行主体还可以从为目标用户播放的、目标用户选取的音乐中,选取播放时间最长的音乐,以及将所选取的音乐作为用于在满足第二预设条件的情况下为目标用户播放的目标音乐。

第二步,在满足第二预设条件的情况下,控制目标音乐播放。

在这里,在满足第二预设条件的情况下,当上述执行主体为终端设备时,上述执行主体可以直接播放目标音乐;在满足第二预设条件的情况下,当上述执行主体为服务器时,上述执行主体可以将目标音乐发送至与其通信连接的终端设备,以便终端设备播放目标音乐。

可以理解,在上述应用场景中,可以基于为目标用户播放的、目标用户选取的音乐,确定用于在用户回复音频与待回复音频相匹配(例如用户回复音频正确回复待回复音频)的情况下为目标用户播放的目标音乐,由此,可以在用户回复音频与待回复音频相匹配的情况下,确定目标用户回复正确,从而播放目标音乐,由于目标音乐通常是目标用户所喜欢的音乐,因而,可以进一步提高用户的问答学习的时长、学习体验以及学习效率。

步骤403,基于目标用户的用户画像信息,确定反馈信息的信息反馈方式。

在本实施例中,步骤403的执行方式可以参考图2对应实施例中的步骤203,这里不再赘述。

步骤404,控制反馈信息,以信息反馈方式指示的方式进行信息交互.

在本实施例中,步骤404的执行方式可以参考图2对应实施例中的步骤204,这里不再赘述。

需要说明的是,除上面所记载的内容外,本申请实施例还可以包括与图2和/或图5对应的实施例相同或类似的特征、效果,在此不再赘述。

从图4中可以看出,本实施例中的信息交互方法的流程400可以基于目标音频和语音交互音频,生成语音交互音频的反馈信息,从而可以进一步丰富交互方式,有助于增加目标用户与电子设备间进行交互的时长。在上述电子设备为早教设备(例如早教机)的情况下,有助于提高目标用户的学习时长和学习效率。

进继续参考图5,其示出了信息交互方法的再一个实施例的流程500。该信息交互方法的流程500,包括以下步骤:

步骤501,获取目标用户生成的语音交互音频。

在本实施例中,步骤501与图2对应实施例中的步骤201基本一致,这里不再赘述。

步骤502,基于语音交互音频,生成语音交互音频的反馈信息。

在本实施例中,步骤502与图2对应实施例中的步骤202基本一致,这里不再赘述。

步骤503,基于目标用户的用户画像信息,确定反馈信息的信息反馈方式。

在本实施例中,步骤503与图2对应实施例中的步骤203基本一致,这里不再赘述。

步骤504,控制反馈信息,以信息反馈方式指示的方式进行信息交互

在本实施例中,步骤504与图2对应实施例中的步骤204基本一致,这里不再赘述。

步骤505,基于用户画像信息,确定用于向目标用户推送的待推送音乐。

在本实施例中,信息交互方法的执行主体(例如图1所示的服务器或终端设备)可以基于用户画像信息,确定用于向目标用户推送的待推送音乐。其中,用户画像信息包括以下至少一项:性别、年龄、性格、为目标用户播放的目标用户选取的音频。

在本实施例的一些可选的实现方式中,用户画像信息包括:性别、年龄、性格,以及为目标用户播放的目标用户选取的音频。由此,上述执行主体可以采用如下方式来执行上述步骤505:

首先,基于目标用户的交互信息,确定目标用户的性别、年龄、性格,以及为目标用户播放的目标用户选取的音频。

其中,上述交互信息可以从目标用户的日常使用中获得,包括查询发问和浏览的记录等。

在这里,上述执行主体可以通过对目标用户的交互信息进行统计和分析,从而确定目标用户的性别、年龄、性格,以及为目标用户播放的目标用户选取的音频。

然后,基于性别、年龄和性格,从预先确定的音乐集合中,确定用于向目标用户推送的目标数量首音乐。

作为示例,上述执行主体可以从预先确定的音乐集合中,选取向具有上述性别、年龄和性格中的至少一项属性的用户,已推送的目标数量首音乐,从而将所选取的目标数量首音乐作为用于向目标用户推送的目标数量首音乐。

作为又一示例,上述执行主体还可以将性别、年龄、性格,以及预先确定的音乐集合输入至预先训练的音乐模型,从而确定用于向目标用户推送的目标数量首音乐。其中,上述音乐模型可以用于从音乐集合中,确定用于向目标用户推送的目标数量首音乐。示例性的,上述音乐模型可以是采用机器学习算法训练得到的卷积神经网络模型。

最后,基于为目标用户播放的目标用户选取的音频,从目标数量首音乐中,确定用于向目标用户推送的待推送音乐。

作为示例,上述执行主体可以从目标数量首音乐中,选取与为目标用户播放的目标用户选取的音频的相似度最高的音乐,从而将所选取的音乐作为用于向目标用户推送的待推送音乐。

作为又一示例,上述执行主体还可以从目标数量首音乐中,随机选取音乐,从而将所选取的音乐作为用于向目标用户推送的待推送音乐。

可以理解,上述可选的实现方式首先基于性别、年龄和性格,为目标用户选取目标数量首音乐,然后,基于为目标用户播放的目标用户选取的音频,确定向目标用户推送的待推送音乐,由此,可以融合目标用户的性别、年龄和性格等客观性的特点,以及目标用户播放的目标用户选取的音频等主观性的特点,来为目标用户推送的待推送音乐,从而,提高了音乐推送的针对性。

在本实施例的一些可选的实现方式中,上述执行主体还可以采用如下方式来执行上述步骤505:

在非首次向目标用户推送待推送音乐的情况下,确定向与目标用户相关联的用户已推送的音乐,以及将已推送的音乐作为用于向目标用户推送的待推送音乐。其中,与目标用户相关联的用户的用户画像信息,与目标用户的用户画像信息的相似度大于或等于预设用户画像信息相似度阈值。

可以理解,上述可选的实现方式可以基于与目标用户相关联的用户已推送的音乐,确定用于向目标用户推送的待推送音乐,从而可以在冷启动的前提下,提高音乐推送的针对性。

在上述可选的实现方式的一些应用场景中,上述执行主体也可以采用如下方式来执行上述步骤505:

在首次向目标用户推送待推送音乐的情况下,基于目标时间段内目标用户的交互信息,确定用于向目标用户推送的待推送音乐。其中,目标时间段以上次向目标用户推送待推送音乐的时刻为起始时刻,以当前时刻为终止时刻。

可以理解,上述可选的实现方式可以随着时间的推移,获得新的目标用户的交互信息,从而确定出当前用于向目标用户推送的待推送音乐,由此实现了随目标用户的年龄、爱好等特点的变化,而变化的音乐推送。

需要说明的是,除上面所记载的内容外,本申请实施例还可以包括与图2和/或图4对应的实施例相同或类似的特征、效果,在此不再赘述。

从图5中可以看出,本实施例中的信息交互方法的流程500可以基于用户画像信息,确定用于向目标用户推送的待推送音乐,从而在与目标用户进行交互的过程中,可以通过音乐,对目标用户进行激励,由此,丰富了交互方式,有助于增加目标用户与电子设备间进行交互的时长。在上述电子设备为早教设备(例如早教机)的情况下,有助于提高目标用户的学习时长和学习效率,从而提高用户体验。

进一步参考图6,作为对上述各图所示方法的实现,本公开提供了一种信息交互装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,除下面所记载的特征外,该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征,以及产生与图2所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。

如图6所示,本实施例的信息交互装置600包括:获取单元601、生成单元602、第一确定单元603和第一控制单元604。其中,获取单元601,被配置成获取目标用户生成的语音交互音频;生成单元602,被配置成基于语音交互音频,生成语音交互音频的反馈信息;第一确定单元603,被配置成基于目标用户的用户画像信息,确定反馈信息的信息反馈方式;第一控制单元604,被配置成控制反馈信息,以信息反馈方式指示的方式进行信息交互。

在本实施例中,信息交互装置600的获取单元601可以获取目标用户生成的语音交互音频。

在本实施例中,上述生成单元602可以基于获取单元601获取到的语音交互音频,生成语音交互音频的反馈信息。

在本实施例中,上述第一确定单元603可以基于上述目标用户的用户画像信息,确定用于为该目标用户播放的音频的音色信息。

在本实施例中,上述第一控制单元可以生成单元602所生成的控制反馈信息,以信息反馈方式指示的方式进行信息交互。

在本实施例的一些可选的实现方式中,获取单元601包括:获取子单元(图中未示出),被配置成获取目标用户针对目标音频生成的语音交互音频;以及,生成单元602包括:生成子单元(图中未示出),被配置成基于目标音频和语音交互音频,生成语音交互音频的反馈信息。

在本实施例的一些可选的实现方式中,目标音频为待跟读音频,语音交互音频为用户跟读音频;以及,生成子单元包括:第一生成模块(图中未示出),被配置成基于待跟读音频和用户跟读音频之间的相似度,与预设音频相似度阈值之间的大小关系,生成用于指示待跟读音频和用户跟读音频是否相匹配的、用户跟读音频的反馈信息。

在本实施例的一些可选的实现方式中,该装置600还包括:第二确定单元(图中未示出),被配置成基于为目标用户播放的、目标用户选取的音乐,确定用于在满足第一预设条件的情况下为目标用户播放的目标音乐,其中,第一预设条件包括待跟读音频和用户跟读音频之间的相似度,大于或等于预设音频相似度阈值;第二控制单元(图中未示出),被配置成响应于满足第一预设条件,控制目标音乐播放。

在本实施例的一些可选的实现方式中,目标音频为待回复音频,语音交互音频为用户回复音频;以及,生成子单元包括:第二生成模块(图中未示出),被配置成基于用户回复音频与待回复音频是否相匹配,生成用于指示用户回复音频与待回复音频是否相匹配的、用户回复音频的反馈信息。

在本实施例的一些可选的实现方式中,该装置600还包括:基于为目标用户播放的、目标用户选取的音乐,确定用于在满足第二预设条件的情况下为目标用户播放的目标音乐,其中,第二预设条件包括用户回复音频与待回复音频相匹配;响应于满足第二预设条件,控制目标音乐播放。

在本实施例的一些可选的实现方式中,该装置600还包括:第三确定单元(图中未示出),被配置成基于用户画像信息,确定用于向目标用户推送的待推送音乐,其中,用户画像信息包括以下至少一项:性别、年龄、性格、为目标用户播放的目标用户选取的音频。

在本实施例的一些可选的实现方式中,用户画像信息包括:性别、年龄、性格,以及为目标用户播放的目标用户选取的音频;以及,第三确定单元包括:第一确定子单元(图中未示出),被配置成基于目标用户的交互信息,确定目标用户的性别、年龄、性格,以及为目标用户播放的目标用户选取的音频;第二确定子单元(图中未示出),被配置成基于性别、年龄和性格,从预先确定的音乐集合中,确定用于向目标用户推送的目标数量首音乐;第三确定子单元(图中未示出),被配置成基于为目标用户播放的目标用户选取的音频,从目标数量首音乐中,确定用于向目标用户推送的待推送音乐。

在本实施例的一些可选的实现方式中,第三确定单元包括:第四确定子单元,被配置成响应于非首次向目标用户推送待推送音乐,确定向与目标用户相关联的用户已推送的音乐,以及将已推送的音乐作为用于向目标用户推送的待推送音乐,其中,与目标用户相关联的用户的用户画像信息,与目标用户的用户画像信息的相似度大于或等于预设用户画像信息相似度阈值。

在本实施例的一些可选的实现方式中,第三确定单元还包括:第五确定子单元,被配置成响应于首次向目标用户推送待推送音乐,基于目标时间段内目标用户的交互信息,确定用于向目标用户推送的待推送音乐,其中,目标时间段以上次向目标用户推送待推送音乐的时刻为起始时刻,以当前时刻为终止时刻。

在本实施例的一些可选的实现方式中,信息反馈方式包括以下至少一项:图像的反馈方式、文字的反馈方式、音频的反馈方式。

本公开的上述实施例提供的装置,通过获取单元601获取目标用户生成的语音交互音频,生成单元602基于语音交互音频,生成语音交互音频的反馈信息,以及,第一确定单元603基于目标用户的用户画像信息,确定反馈信息的信息反馈方式,随后,第一控制单元604控制反馈信息,以信息反馈方式指示的方式进行信息交互。从而可以根据用户画像信息,来确定与用户进行语音交互的方式,由此,丰富了信息的交互方式,有助于增加目标用户与电子设备间进行交互的时长。在上述电子设备为早教设备(例如早教机)的情况下,有助于提高目标用户的学习时长和学习效率。

下面参考图7,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器或终端设备)700的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的终端设备/服务器仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。

如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

通常,以下装置可以连接至I/O接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。

特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM 702被安装。在该计算机程序被处理装置701执行时,执行本公开的实施例的方法中限定的上述功能。

需要说明的是,本公开所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,所述程序设计语言包括面向目标的程序设计语言—诸如Python、Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、生成单元、第一确定单元和第一控制单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取目标用户生成的语音交互音频的单元”。

作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取目标用户生成的语音交互音频;基于语音交互音频,生成语音交互音频的反馈信息;基于目标用户的用户画像信息,确定反馈信息的信息反馈方式;控制反馈信息,以信息反馈方式指示的方式进行信息交互。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

相关技术
  • 信息更新方法、交互方法和信息更新装置、交互装置
  • 信息交互标签结构及制备方法、信息交互装置及制备方法
技术分类

06120112288700