数字人的交互方法、装置、电子设备及计算机存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种数字人的交互方法、装置、电子设备及计算机存储介质。

背景技术

随着人工智能的迅猛发展，数字人经常放在公共场所，以方便为用户进行服务。

但是，在数字人为用户进行服务的过程中，可能会涉及到用户的隐私，因此，在数字人为用户服务的过程中，存在着一定风险。

发明内容

有鉴于此，本申请提供一种数字人的交互方法、装置、电子设备及计算机存储介质，可以在数字人为用户进行服务的过程中，为用户提供信息安全保障。

本申请第一方面提供了一种数字人的交互方法，包括：

获取用户的语音信息；

对所述语音信息进行分析，得到语义信息；

判断所述语义信息所表明的问题是否为隐私问题；

若判断出所述语义信息所表明的问题为隐私问题，则采集所述用户的身份信息；其中，所述身份信息包括人脸信息和身份证信息；

判断所述用户的身份信息与所述用户注册时的身份信息是否一致；

若判断出所述用户的身份信息与所述用户注册时的身份信息一致，则调用预设的数字人问答算法，确定所述语义信息所表明的问题对应的答复信息并进行答复；

若判断出所述用户的身份信息与所述用户注册时的身份信息不一致，则终止答复。

可选的，所述判断所述语义信息所表明的问题是否为隐私问题之后，还包括：

若判断出所述语义信息所表明的问题为隐私问题，则采集所述用户身边预设范围内的人员的图像信息以及所述用户身边预设范围内的语音信息；

根据所述所述用户身边预设范围内的人员的图像信息以及所述用户身边预设范围内的语音信息，判断所述用户当前所处环境是否安全；

若判断出所述用户当前所处环境安全，则调用预设的数字人问答算法，确定所述语义信息所表明的问题对应的答复信息并进行答复；

若判断出所述用户当前所处环境不安全，则终止答复。

可选的，所述判断所述语义信息所表明的问题是否为隐私问题之后，还包括：

若判断出所述语义信息所表明的问题为非隐私问题，则调用预设的数字人问答算法，确定所述语义信息所表明的问题对应的答复信息并进行答复。

可选的，所述若判断出所述用户的身份信息与所述用户注册时的身份信息不一致，则终止答复之后，还包括：

生成第一告警信息；其中，所述第一告警信息用于提示用户的身份信息与所述用户注册时的身份信息不一致。

可选的，所述若判断出所述用户当前所处环境不安全，则终止答复之后，还包括：

生成第二告警信息；其中，所述第二告警信息用于所述用户当前所处环境不安全。

本申请第二方面提供了一种数字人的交互装置，包括：

获取单元，用于获取用户的语音信息；

分析单元，用于对所述语音信息进行分析，得到语义信息；

第一判断单元，用于判断所述语义信息所表明的问题是否为隐私问题；

第一采集单元，用于若所述第一判断单元判断出，所述语义信息所表明的问题为隐私问题，则采集所述用户的身份信息；其中，所述身份信息包括人脸信息和身份证信息；

第二判断单元，用于判断所述用户的身份信息与所述用户注册时的身份信息是否一致；

答复单元，用于若所述第二判断单元判断出，所述用户的身份信息与所述用户注册时的身份信息一致，则调用预设的数字人问答算法，确定所述语义信息所表明的问题对应的答复信息并进行答复；

终止单元，用于若所述第二判断单元，判断出所述用户的身份信息与所述用户注册时的身份信息不一致，则终止答复。

可选的，所述数字人的交互装置，还包括：

第二采集单元，用于若所述第一判断单元判断出，所述语义信息所表明的问题为隐私问题，则采集所述用户身边预设范围内的人员的图像信息以及所述用户身边预设范围内的语音信息；

第三判断单元，用于根据所述所述用户身边预设范围内的人员的图像信息以及所述用户身边预设范围内的语音信息，判断所述用户当前所处环境是否安全；

所述答复单元，还用于若所述第三判断单元判断出，所述用户当前所处环境安全，则调用预设的数字人问答算法，确定所述语义信息所表明的问题对应的答复信息并进行答复；

所述终止单元，还用于若所述第三判断单元判断出，所述用户当前所处环境不安全，则终止答复。

可选的，所述数字人的交互装置，还包括：

所述答复单元，还用于若所述第一判断单元判断出，所述语义信息所表明的问题为非隐私问题，则调用预设的数字人问答算法，确定所述语义信息所表明的问题对应的答复信息并进行答复。

可选的，所述数字人的交互装置，还包括：

第一告警单元，用于生成第一告警信息；其中，所述第一告警信息用于提示用户的身份信息与所述用户注册时的身份信息不一致。

可选的，所述数字人的交互装置，还包括：

第二告警单元，用于生成第二告警信息；其中，所述第二告警信息用于所述用户当前所处环境不安全。

本申请第三方面提供了一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面任意一项所述的数字人的交互方法。

本申请第四方面提供了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如第一方面任意一项所述的数字人的交互方法。

由以上方案可知，本申请提供一种数字人的交互方法、装置、电子设备及计算机存储介质，所述数字人的交互方法包括：首先获取用户的语音信息；然后，对所述语音信息进行分析，得到语义信息；再判断所述语义信息所表明的问题是否为隐私问题；若判断出所述语义信息所表明的问题为隐私问题，则采集所述用户的身份信息；之后，判断所述用户的身份信息与所述用户注册时的身份信息是否一致；若判断出所述用户的身份信息与所述用户注册时的身份信息一致，则调用预设的数字人问答算法，确定所述语义信息所表明的问题对应的答复信息并进行答复；若判断出所述用户的身份信息与所述用户注册时的身份信息不一致，则终止答复。从而达到在数字人为用户进行服务的过程中，为用户提供信息安全保障的目的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种数字人的交互方法的具体流程图；

图2为本申请另一实施例提供的一种数字人的交互方法的具体流程图；

图3为本申请另一实施例提供的一种实现数字人的交互方法的架构的示意图；

图4为本申请另一实施例提供的一种数字人的交互装置的示意图；

图5为本申请另一实施例提供的一种数字人的交互装置的示意图；

图6为本申请另一实施例提供的一种实现数字人的交互方法的电子设备的示意图；

图7为本申请另一实施例提供的一种实现数字人的交互方法的应用场景的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系，而术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请实施例提供了一种数字人的交互方法，如图1所示，具体包括以下步骤：

S101、获取用户的语音信息。

具体的，实时采集用户与数字人交互过程中的语音信息。

S102、对语音信息进行分析，得到语义信息。

由于，不同用户可能有着不同的口音，因此根据语音信息直接确定用户所要表明的问题，可能会不准确，因此，需要先对语音信息进行分析，得到语义信息。

对语音信息进行分析识别，得到语义信息的方式可以是但不限于；先将语音信息转化为文本信息，再将文本信息输入至预先训练好的模型中，输出得到语义信息；或将文本信息在预先设置的文本信息与语义信息的对应关系中进行匹配，得到文本信息对应的语义信息等；方式十分多样化，此处不做限定。

S103、判断语义信息所表明的问题是否为隐私问题。

需要说明的是，判断语义信息所表明的问题是否为隐私问题的方式，可以是但不限于，将语义信息所表明的问题在预先设置的问题与隐私问题的对应关系中进行匹配，若匹配成功则说明语义信息所表明的问题为隐私问题。

具体的，若判断出语义信息所表明的问题为隐私问题，则执行步骤S104；若判断出语义信息所表明的问题为非隐私问题，则执行步骤S106。

S104、采集用户的身份信息。

其中，身份信息包括人脸信息和身份证信息。

具体的，可以通过摄像头采集用户的当前人脸信息，并获取用户当前输入的身份证信息。

S105、判断用户的身份信息与用户注册时的身份信息是否一致。

具体的，若判断出用户的身份信息与用户注册时的身份信息一致，则执行步骤S106；若判断出用户的身份信息与用户注册时的身份信息不一致，则执行步骤S107。

S106、调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复。

在本申请的具体实现过程中，可以是但不限于将语义信息所表明的问题在预先设置的问题与答复信息的对应关系中进行匹配，得到语义信息所表明的问题对应的答复信息等，方式十分多样化，此处不做限定。

S107、终止答复。

可选的，在本申请的另一实施例中，在步骤S107之后的一种实施方式，还包括：

生成第一告警信息。

其中，第一告警信息用于提示用户的身份信息与用户注册时的身份信息不一致。

可以理解的是，在本申请的基础上，在生成多次第一告警信息时，可以判定当前正在向数字人进行提问的用户，想顶替真正的用户进行问答，此时真正的用户的隐私安全可能受到危险(因为当前正在向数字人进行提问的用户可能是不法分子或真正用户的亲戚朋友过来帮忙办理业务等)，应立即告知真正的用户，告知方式可以是但不限于短信告知。

在真正的用户授权后，数字人可以正常的采用上述S106的方式向当前正在向数字人进行提问的用户进行答复。

由以上方案可知，本申请提供一种数字人的交互方法：首先获取用户的语音信息；然后，对语音信息进行分析，得到语义信息；再判断语义信息所表明的问题是否为隐私问题；若判断出语义信息所表明的问题为隐私问题，则采集用户的身份信息；之后，判断用户的身份信息与用户注册时的身份信息是否一致；若判断出用户的身份信息与用户注册时的身份信息一致，则调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复；若判断出用户的身份信息与用户注册时的身份信息不一致，则终止答复。从而达到在数字人为用户进行服务的过程中，为用户提供信息安全保障的目的。

可选的，在本申请的另一实施例中，数字人的交互方法的一种实施方式，如图2所示，包括：

S201、获取用户的语音信息。

S202、对语音信息进行分析，得到语义信息。

S203、判断语义信息所表明的问题是否为隐私问题。

具体的，若判断出语义信息所表明的问题为隐私问题，则执行步骤S204以及步骤S206；若判断出语义信息所表明的问题为非隐私问题，则执行步骤S208。

S204、采集用户的身份信息。

其中，身份信息包括人脸信息和身份证信息。

S205、判断用户的身份信息与用户注册时的身份信息是否一致。

具体的，若判断出用户的身份信息与用户注册时的身份信息一致，则执行步骤S208；若判断出用户的身份信息与用户注册时的身份信息不一致，则执行步骤S209。

需要说明的是，步骤S201～S205的具体实现过程与上述步骤S101～S105的具体实现过程相同，可相互参见。

S206、采集用户身边预设范围内的人员的图像信息以及用户身边预设范围内的语音信息。

需要说明的是，预设范围内的人员的图像信息与预设范围内的语音信息的范围可以不一致也可以一致；例如：采集用户身边5米内的人员的图像信息以及用户身边3米内的语音信息；或采集用户身边4米内的人员的图像信息以及用户身边4米内的语音信息等，此处不做限定。

S207、根据用户身边预设范围内的人员的图像信息以及用户身边预设范围内的语音信息，判断用户当前所处环境是否安全。

续接上述实施例，判断方式可以是但不限于，判断用户身边1米内是否有人，判断用户3米内是否有其他人员的语音信息，若用户身边1米内没人，且用户3米内没有有其他人员的语音信息，确认用户当前所处环境安全，此处不做限定。

具体的，若判断出用户当前所处环境安全，则执行步骤S208；若判断出用户当前所处环境不安全，则执行步骤S209。

S208、调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复。

S209、终止答复。

需要说明的是，步骤S208～S209的具体实现过程与上述步骤S106～S107的具体实现过程相同，可相互参见。

可选的，在本申请的另一实施例中，在因为判断出用户的身份信息与用户注册时的身份信息不一致，终止答复之后，还可以包括：

生成第一告警信息。

其中，第一告警信息用于提示用户的身份信息与用户注册时的身份信息不一致。

需要说明的是，生成第一告警信息的具体实现过程与上述实施例中生成第一告警信息的具体实现过程相同，可相互参见。

可选的，在本申请的另一实施例中，在因为判断出用户当前所处环境不安全，终止答复之后，还可以包括：

生成第二告警信息。

其中，第二告警信息用于用户当前所处环境不安全。

如图3所示，为实现数字人的交互方法的架构图，通过数字人信息采集模块采集注册信息、区域图像、人脸、身份证以及语音，通过数字人APP利用互联网传送至至中控中，使用身份信息验证系统验证当前的人脸与注册信息中的人脸是否一致，并使用旁人监测系统根据用户身边预设范围内的人员的图像信息以及用户身边预设范围内的语音信息，判断用户当前所处环境是否安全，若当前的人脸与注册信息中的人脸一致，且用户当前所处环境安全，则使用数字人算法系统通过预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复。

由以上方案可知，本申请提供一种数字人的交互方法：在确定用户提出的问题为隐私问题后，同时对用户的身份以及用户当前所处的环境进行确认，从而达到在数字人为用户进行服务的过程中，为用户提供信息安全保障的目的。

本申请另一实施例提供了一种数字人的交互装置，如图4所示，具体包括：

获取单元401，用于获取用户的语音信息。

分析单元402，用于对语音信息进行分析，得到语义信息。

第一判断单元403，用于判断语义信息所表明的问题是否为隐私问题。

第一采集单元404，用于若第一判断单元403判断出，语义信息所表明的问题为隐私问题，则采集用户的身份信息。

其中，身份信息包括人脸信息和身份证信息。

第二判断单元405，用于判断用户的身份信息与用户注册时的身份信息是否一致。

答复单元406，用于若第二判断单元405判断出，用户的身份信息与用户注册时的身份信息一致，则调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复。

终止单元407，用于若第二判断单元405，判断出用户的身份信息与用户注册时的身份信息不一致，则终止答复。

本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图1所示，此处不再赘述。

可选的，在本申请的另一实施例中，数字人的交互装置的一种实施方式，还包括：

答复单元，还用于若第一判断单元判断出，语义信息所表明的问题为非隐私问题，则调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复。

本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图1所示，此处不再赘述。

可选的，在本申请的另一实施例中，数字人的交互装置的一种实施方式，还包括：

第一告警单元，用于生成第一告警信息。

其中，第一告警信息用于提示用户的身份信息与用户注册时的身份信息不一致。

本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，此处不再赘述。

由以上方案可知，本申请提供一种数字人的交互装置：首先获取单元401获取用户的语音信息；然后，分析单元402对语音信息进行分析，得到语义信息；第一判断单元403判断语义信息所表明的问题是否为隐私问题；若第一判断单元403判断出语义信息所表明的问题为隐私问题，则第一采集单元404采集用户的身份信息；之后，第二判断单元405判断用户的身份信息与用户注册时的身份信息是否一致；若第二判断单元405判断出用户的身份信息与用户注册时的身份信息一致，则答复单元406调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复；若第二判断单元405判断出用户的身份信息与用户注册时的身份信息不一致，则终止单元407终止答复。从而达到在数字人为用户进行服务的过程中，为用户提供信息安全保障的目的。

可选的，在本申请的另一实施例中，数字人的交互装置的一种实施方式，如图5所示，包括：

获取单元501，用于获取用户的语音信息。

分析单元502，用于对语音信息进行分析，得到语义信息。

第一判断单元503，用于判断语义信息所表明的问题是否为隐私问题。

第一采集单元504，用于若第一判断单元503判断出，语义信息所表明的问题为隐私问题，则采集用户的身份信息。

其中，身份信息包括人脸信息和身份证信息。

第二判断单元505，用于判断用户的身份信息与用户注册时的身份信息是否一致。

第二采集单元506，用于若第一判断单元503判断出，语义信息所表明的问题为隐私问题，则采集用户身边预设范围内的人员的图像信息以及用户身边预设范围内的语音信息。

第三判断单元507，用于根据用户身边预设范围内的人员的图像信息以及用户身边预设范围内的语音信息，判断用户当前所处环境是否安全。

答复单元508，用于若第二判断单元505判断出，用户的身份信息与用户注册时的身份信息一致，则调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复。

终止单元509，用于若第二判断单元505，判断出用户的身份信息与用户注册时的身份信息不一致，则终止答复。

答复单元508，还用于若第三判断单元507判断出，用户当前所处环境安全，则调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复。

终止单元509，还用于若第三判断单元507判断出，用户当前所处环境不安全，则终止答复。

本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图2所示，此处不再赘述。

可选的，在本申请的另一实施例中，答复单元508的一种实施方式，还用于：

若第一判断单元503判断出，语义信息所表明的问题为非隐私问题，则调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复。

本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图2所示，此处不再赘述。

可选的，在本申请的另一实施例中，数字人的交互装置的一种实施方式，还包括：

第一告警单元，用于生成第一告警信息。

其中，第一告警信息用于提示用户的身份信息与用户注册时的身份信息不一致。

本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，此处不再赘述。

可选的，在本申请的另一实施例中，数字人的交互装置的一种实施方式，还包括：

第二告警单元，用于生成第二告警信息。

其中，第二告警信息用于用户当前所处环境不安全。

本申请上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，此处不再赘述。

由以上方案可知，本申请提供一种数字人的交互装置包括：在确定用户提出的问题为隐私问题后，利用第二判断单元505和第三判断单元507同时对用户的身份以及用户当前所处的环境进行确认，在确认安全后，答复单元508调用预设的数字人问答算法，确定语义信息所表明的问题对应的答复信息并进行答复；确认不安全时，终止单元509，终止答复。从而达到在数字人为用户进行服务的过程中，为用户提供信息安全保障的目的。

本申请另一实施例提供了一种电子设备，如图6所示，包括：

一个或多个处理器601。

存储装置602，其上存储有一个或多个程序。

当所述一个或多个程序被所述一个或多个处理器601执行时，使得所述一个或多个处理器601实现如上述实施例中任意一项所述的数字人的交互方法。

本申请另一实施例提供了一种计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述实施例中任意一项所述的数字人的交互方法。

请参阅图7，图7示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的数字人的交互方法可以应该用于如图7所示的交互系统700。交互系统700包括终端设备701以及服务器702，服务器702与终端设备701通信连接。其中，服务器702可以是传统服务器，也可以是云端服务器，在此不做具体限定。

其中，终端设备701可以是具有显示屏、具有数据处理模块、具有拍摄相机、具有音频输入/输出等功能，且支持数据输入的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、自助服务终端和可穿戴式电子设备等。具体的，数据输入可以是基于电子设备上具有的语音模块输入语音、字符输入模块输入字符等。

其中，终端设备701上可以安装有客户端应用程序，用户可以基于客户端应用程序(例如APP，微信小程序等)，其中，本实施例的对话机器人也是配置于终端设备701中的一个客户端应用程序。用户可以基于客户端应用程序在服务器702注册一个用户账号，并基于该用户账号与服务器702进行通信，例如用户在客户端应用程序登录用户账号，并基于该用户账号通过客户端应用程序进行输入，可以输入文字信息或语音信息等，客户端应用程序接收到用户输入的信息后，可以将该信息发送至服务器702，使得服务器702可以接收该信息并进行处理及存储，服务器702还可以接收该信息并根据该信息返回一个对应的输出信息至终端设备701。

在一些实施方式中，对待识别数据进行处理的装置也可以设置于终端设备701上，使得终端设备701无需依赖于服务器702建立通信即可实现与用户的交互，此时交互系统700可以只包括终端设备701。

在本申请公开的上述实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，直播设备，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。