一种多模态交互机器人及交互方法

技术领域

本申请涉及厨房交互机器人技术领域，尤其是涉及权利一种多模态交互机器人及交互方法。

背景技术

近年来，随着科学技术的不断进步，人工智能和机器人技术飞速发展，极大促进了服务机器人的发展，提高了人们的生活水平。最常见的家庭机器人就可以通过语音识别、图像识别等与家庭成员进行服务交互。

然而目前服务机器人的人机交互方式还处于初步发展的阶段，机器人经常性的答非所问，或者对交互指令的执行不当，导致服务机器人对于人们的服务体检欠佳，特别是对于厨房服务机器人而言，在这方面体现尤为明显。

如使用人员在做饭时需要用到100g菜花，而厨房服务机器人得到的语音指令是“取100g菜花”，则厨房服务机器人只会取100g菜花，但是厨房服务机器人所取的100g菜花在处理过后的量是小于100g的，这就有悖使用人员最初取100g能够直接使用的菜花的目的，降低了厨房服务机器人的使用体验。

发明内容

为了提高厨房服务机器人的人机交互体验，本申请目的是提供权利一种多模态交互机器人及交互方法。

本申请的上述申请目的是通过以下技术方案得以实现的：

第一方面，本申请提供权利一种多模态交互机器人交互方法，其特征在于，所述交互方法包括：

厨房交互机器人实时获取语音信息；

厨房交互机器人识别所述语音信息中的命名实体及命名实体的预取量数据；

当预存实体列表中有所述命名实体时，厨房交互机器人依据所述预取量数据、命名实体以在厨房交互机器人存储的历史数据中预取量数据和实取量数据比值计算实取量数据。

通过采用上述技术方案，实时记录预取量数据以及实取量数据形成历史数据，当语音信息的信息发布人员想要命令机器人取一定量的物品时，机器人可以通过历史数据中实取量与预取量的比值以及通过语音识别到的语音信息的信息发布人员想要获取的预取量计算出实取量，使得语音信息的信息发布人员能够在对物品进行处理后得到预取量的最终命名实体，从而提高了服务机器人的人机交互体验。

在一个优选的示例中，所述交互方法还包括：

厨房交互机器人在获取所述语音信息时，获取关联模态信息；

厨房交互机器人识别所述关联模态信息中的关联数据；

当所述关联模态信息中有关联数据时，所述实取量数据与所述预取量数据相等；反之则依据所述预取量数据、命名实体以在历史数据中预取量数据和实取量数据关系计算实取量数据。

通过采用上述技术方案，关联数据的获取和识别可以提供厨房交互机器人两种不同的取材方式，进一步的提高了厨房交互机器人的交互体验。

在一个优选的示例中，所述关联模态信息为肢体图像信息，所述关联数据为从所述肢体图像信息中识别的特征肢体信息。

在一个优选的示例中，当预存实体列表中有所述命名实体时：

厨房交互机器人获取实体图像信息；

厨房交互机器人识别所述实体图像信息中的实体新鲜度数据；

厨房交互机器人依据所述预取量数据、命名实体、实体新鲜度数据以及历史数据中预取量数据和实取量数据比值计算所述实取量数据。

通过采用上述技术方案，在获取实体时，加入了对实体新鲜度数据的参考，从而进一步的提高了对实取量数据计算的准确性，提高了厨房交互机器人的交互体验。

在一个优选的示例中，所述交互方法还包括：识别所述获取语音信息中预存指令，当识别到所述语音信息中同时存在预存指令以及命名实体时，将所述命名实体名称存入所述预存实体列表。

通过采用上述技术方案，语音信息的信息发布人员可以随时通过语音指令的方式在预存实体列表中添加新的实体，提高了厨房交互机器人使用的便利性。

第二方面，本申请还提供权利一种多模态交互机器人，所述机器人包括：

语音获取模块，用于实时获取语音信息；

语音识别模块，用于识别所述语音信息中的命名实体及命名实体的预取量数据；以及

实体计算模块，用于在预存实体列表中有所述命名实体时，依据所述预取量数据、命名实体以在历史数据中预取量数据和实取量数据比值计算实取量数据。

在一个优选的示例中，所述机器人还包括：

关联模态获取模块，用于在获取所述语音信息时，实时获取关联模态信息；

关联模态识别模块，用于识别所述关联模态信息中的关联数据；

所述实体计算模块计算所述实取量数据的方式为：在所述关联模态信息中有关联数据时，所述实取量数据与所述预取量数据相等；反之则依据所述预取量数据、命名实体以在历史数据中预取量数据和实取量数据关系计算实取量数据。

在一个优选的示例中，所述关联模态信息为肢体图像信息，所述关联数据为从所述肢体图像信息中识别的特征肢体信息。

在一个优选的示例中，所述实体计算模块包括：

判断单元，用于判断预存实体列表中是否存在所述命名实体，并在预存实体列表中有所述命名实体时输出取材启动指令；

实体图像获取单元，用于响应取材启动指令获取实体图像信息；

实体图像识别单元，用于识别所述实体图像信息中的实体新鲜度数据；

实取量计算单元，用于依据所述预取量数据、命名实体、实体新鲜度数据以及历史数据中预取量数据和实取量数据比值计算所述实取量数据。

在一个优选的示例中，所述语音识别模块识用于别所述获取语音信息中的预存指令、命名实体及命名实体的预取量数据，并在识别到所述语音信息中同时存在预存指令以及命名实体时，将所述命名实体名称存入所述预存实体列表。

综上所述，本申请包括以下至少一种有益技术效果：

1、厨房交互机器人在服务过程中，可以通过语音识别和图像识别多种方式提供计算实取量的计算数据依据，提高了厨房交互机器人实取量的计算精准度；

2、由于关联模态识别模块的设置，提供了厨房交互机器人多种取材计算方式，提高了交厨房交互机器人的交互体验。

附图说明

图1是本申请中多模态交互方法流程图。

图2是本申请中实取量数据计算方法流程图。

图3是本申请中多模态厨房交互机器人系统框图。

图4是本申请中实体计算模块的系统框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

交互服务机器人作为一种服务型机器人已经愈普及，其普遍通过语音识别或图像识别的方式，利用大数据计算识别指令并进行对应的指令输出或操作。厨房服务机器人由于能够通过深度计算输出并执行多种厨房服务指令，如取菜、洗菜、切菜等食材处理，或者烹饪指导，或者厨余服务等，实现厨房中的多功能服务，是一种深受市场欢迎的服务型机器人。近年来，随着对厨房服务机器人功能性要求的不断提高，厨房服务机器人的交互功能发展已经成为厨房服务机器人领域的研发重点。本申请实施例旨在提高厨房交互机器人在取菜过程中的交互与服务。为了能够更清楚的表述实施例的实施方式，本申请实施例仅以厨房交互服务机器人为例进行描述。

下面结合说明书附图对本申请实施例作进一步详细描述。

本申请实施例提供权利一种多模态交互机器人交互方法，所述方法的主要流程描述如下。

如图1所示：

S101：实时获取语音信息。语音信息为厨房交互机器人在进行厨房服务过程中获取的信息，语音信息的获取方式可以是获取特定家庭人员的语音信息，如父母对厨房交互机器人说的话可以识别为语音信息，孩子说的话不作为语音信息；语音信息的获取方式也可以是厨房交互机器人获取到特定指令出发后获取的语音信息，特定指令如如“午饭”、“晚饭”等。

此外，语音信息可以是厨房交互机器人获取的使用人员实时说出的话，如厨房交互机器人采集到的使用人员说出“取100g瓜子过来”，则使用人员说出的“取100g瓜子过来”为语音信息；语音信息也可以是移动设备发送给厨房交互机器人的指令，如通过手机、pad等发送给厨房交互机器人“取100g瓜子过来”的信息指令；语音信息也可以是固定终端发送给厨房交互机器人的指令，如通过PC端、家庭服务机器人等发送给厨房交互机器人的指令。此处对厨房交互机器人获取语音信息的方式不做唯一限定。

S102：识别语音信息中的预存指令、命名实体以及命名实体的预取量数据，并在识别到语音信息中同时存在预存指令以及命名实体时，将所述命名实体名称存入预存实体列表。

命名实体以及预存实体列表均为预先存储在厨房交互机器人内的数据。命名实体为以名称为单一标识的实体，如瓜子、花生、白糖、菜花等。预存实体列表为单独预存在厨房交互机器人内部的列表数据，其是语音信息的信息发布人员为了存储部分命名实体而录入到厨房交互机器人内的。

预存指令是语音信息中表示将某一命名实体存储预存实体列表的信息，如语音信息为“将实体瓜子存入预存实体列表”，则语音信息中同时包含了一种实体“瓜子”以及预存指令“存入预存实体列表”，此时将实体名称“瓜子”存入预存实体列表；再例如语音信息为“将实体瓜子和茶叶存入预存实体列表”，则语音信息中同时包含了多种实体“瓜子”和“茶叶”以及预存指令“存入预存实体列表”，此时将实体名称“瓜子”和“茶叶”存入预存实体列表。

进一步的，为了保证预存实体列表数据的简洁性，预存实体列表中每一种实体仅存一个，当预存实体列表中已经存在相应实体名称时，厨房交互机器人仅记录将相应实体名称存入预存实体列表的次数。

S103：获取关联模态信息。关联模态信息为肢体图像信息，即厨房交互机器人采集的语音信息发布人员的肢体图像。获取关联模态信息应与获取语音信息同步，或在获取语音信息后的预设时间内获取关联模态信息，以保证获取到的关联模态信息为表示语音信息发布人员在发布语音信息时发布人员肢体特征的图像。

S104：识别关联模态信息中的关联数据。关联数据为从肢体图像信息中识别的特征肢体信息，特征肢体信息为语音信息的信息发布人员做出的肢体动作。

S105：在预存实体列表中有命名实体时，获取实体新鲜度数据，并依据实体新鲜度数据、预取量数据、命名实体、关联数据以及历史数据中预取量数据和实取量数据比值计算实取量数据。历史数据为厨房交互机器人日常工作过程中实时记录预取量数据以及实取量数据形成的数据，包括了表示在每次语音信息的发布人在发布指令后厨房交互机器人实际拿取实体量的实取量数据以及表示语音信息发布人对实体进行处理后得到的实体量的预取量数据。

参照图2，具体的S105通过以下步骤实现：

S105-1：获取实体图像信息。实体图像信息为交互机器移动到命名实体所在位置后，获取的命名实体所在位置的图像。

S105-2：识别实体图像信息中的实体新鲜度数据。实体新鲜度数据为表示实体新鲜程度的数据，如颜色、褶皱程度等。厨房交互机器人受控于语音信息获取的实体为关于饮食的物品，如瓜子、花生、白糖、菜花等，此类物品在长时间放置过程中容易发生变质，导致其新鲜度发生变化，如菜花部分腐烂、花生发霉等。为了提高厨房交互机器人的交互体验，厨房交互机器人内部预先存储有判断每一实体的新鲜度的预存判断数据，当厨房交互机器人获取到实体图像信息后，通过预存判断数据对相应实体新鲜度进行评分，从而得出实体新鲜度数据。

进一步的，预存判断数据包括有相应实体的阈值数据，阈值数据的大小与实体新鲜度成正比。当厨房交互机器人通过图像信息识别出的新鲜度数据大于阈值数据时，则通过无线传输的方式输出所述实体图像信息，语音信息的发布人员可通过移动设备，如手机或IPAD接受实体图像信息，并控制厨房交互机器人拿取相应实体或放弃拿取相应实体，从而提高了厨房交互机器人的交互体验。

S105-3：依据关联数据、预取量数据、命名实体、实体新鲜度数据以及历史数据中预取量数据和实取量数据比值计算所述实取量数据。

计算实取量数据的具体方法如下：

当有关联数据时，将预取量数据等值赋予实取量数据；

当没有关联数据时，依据预取量数据、实体新鲜度数据、命名实体以及历史数据中预取量数据和实取量数据比值计算实取量数据。

在一个优选的示例中，厨房交互机器人记录的将相应实体名称存入预存实体列表的次数大于预存在厨房交互机器人内的预存数量阈值时，厨房交互机器人输出表示相应实体历史数据的提示列表，语音信息的发布人员可通过移动设备接收提示列表，以供语音信息的发布人员对历史数据中相应实体的预取量数据和实取量数据比值进行修改。

上述的交互方法中厨房交互机器人通过历史数据中实取量与预取量的比值以及通过语音识别到的使用人员想要获取的预取量计算出实际需要厨房交互机器人获取食材的实取量，使得使用人员能够在对物品进行处理后得到预取量的最终命名实体，从而提高了厨房交互机器人的人机交互体验。

参照图3，本申请实施例还公开了权利一种多模态交互机器人，厨房交互机器人包括：

语音获取模块，用于实时获取语音信息。

语音识别模块，用于识别所述语音信息中的命名实体及命名实体的预取量数据。

关联模态获取模块，用于在获取所述语音信息时，实时获取关联模态信息。

关联模态识别模块，用于识别所述关联模态信息中的关联数据。

实体计算模块，用于在预存实体列表中有所述命名实体时，依据所述预取量数据、命名实体以在历史数据中预取量数据和实取量数据比值计算实取量数据。

参照图4，实体计算模块包括：

判断单元，用于判断预存实体列表中是否存在所述命名实体，并在预存实体列表中有所述命名实体时输出取材启动指令；

实体图像获取单元，用于响应取材启动指令获取实体图像信息；

实体图像识别单元，用于识别所述实体图像信息中的实体新鲜度数据；

实取量计算单元，用于在有关联数据时，将预取量数据等值赋予实取量数据；当没有关联数据时，依据预取量数据、实体新鲜度数据、命名实体以及历史数据中预取量数据和实取量数据比值计算实取量数据。

具体的，多模态厨房交互机器人的工作过程可参照前述多模态交互方法的对应过程，在此不再赘述。并且，多模态交互方法中所述的历史数据均存储在厨房交互机器人连接的云端数据库中。

本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。