基于数字人引导的业务办理方法、装置、电子设备及介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种基于数字人引导的业务办理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着科技发展，各类应用程序进入人们的生活，为人们提供服务便利。然而，由于应用中页面界面展示内容多，页面操作较为复杂，可能给用户理解和使用都带来困难。目前，当用户遇到应用的使用问题时，一般求助在线的真人客服，由于在线客服人力有限，无法满足大量用户的实时业务办理的需求，同时，由于在线视频交互对网络流量的需求很大，服务质量依赖网络速度，会导致用户体验不佳。

发明内容

鉴于上述问题，本发明提供了一种基于数字人引导的业务办理方法、装置、电子设备及计算机可读存储介质，以至少解决解决部分上述问题。

本公开的一个方面提供了一种基于数字人引导的业务办理方法，包括：当用户进入业务办理页面时，在所述业务办理页面上层显示数字人；控制所述数字人引导所述用户说出当前流程需要的业务信息；识别所述用户的语音，从所述语音中提取所述业务信息，并将所述业务信息填写进所述业务办理页面的预设位置；控制所述数字人按照所述业务办理页面的流程顺序，重复上述步骤，直至业务办理完毕。

可选地，所述控制所述数字人引导所述用户说出当前流程需要的业务信息包括：控制所述数字人做出手势动作，引导所述用户关注当前所述业务办理页面中正在办理的流程；以及控制所述数字人发出引导所述用户说出所述业务信息的语音声音，使所述用户根据所述数字人的引导进行相应回答。

可选地，所述方法还包括：若当前流程需要用户本人操作，在显示所述业务办理页面的界面上展示所述流程的示例样本，所述示例样本为完成所述流程的操作的图片或视频；控制所述数字人对所述示例样本进行介绍，引导所述用户根据所述示例样本执行操作。

可选地，所述识别所述用户的语音，从所述语音中提取所述业务信息，并将所述业务信息填写进所述业务办理页面的预设位置之前，所述方法还包括：检测是否存在用户的语音；若在预设时长内检测到所述用户的语音，则对所述语音进行识别，从所述语音中提取所述业务信息；若在预设时长内未检测到用户的语音，则控制所述数字人再次引导所述用户说出当前流程需要的业务信息。

可选地，在所述数字人引导所述用户办理业务的过程中，若所述业务办理页面发生了跳转，所述数字人将在跳转后的业务办理页面中显示，并继续引导所述用户办理业务，直至本次业务办理完毕。

可选地，所述方法还包括：若所述用户通过说话按钮提问，控制所述数字人提示所述用户如何正确提问；识别所述用户提问的语音，从所述语音中提取关键字；根据所述关键字查询对应结果，并将查询结果展示于当前页面；控制所述数字人根据查询结果进行答复。

可选地，所述方法还包括：在所述数字人引导所述用户办理业务的过程中，通过双录技术对关键业务场景进行录制，所述关键业务场景为所述业务办理过程中安全性要求高的场景；将所述录制信息传输至后台进行人工审核。

可选地，所述方法还包括：在所述数字人引导所述用户办理业务的过程中，对所述用户进行人脸检测；若检测发现异常，终止本次业务办理。

可选地，所述方法还包括：在所述数字人引导所述用户办理业务的过程中，检测环境噪音；若所述环境噪音超过预设阈值，控制所述数字人提示用户换到安静环境。

可选地，所述方法还包括：在所述数字人引导所述用户办理业务的过程中，识别所述用户的情绪信息；当识别到所述用户不好的情绪信息时，控制所述数字人发出语音对所述用户进行安抚，和/或，控制所述数字人询问所述用户是否需要提供人工服务；当所述用户需要人工服务时，将所述数字人切换为人工客服。

本公开还提供了一种基于数字人引导的业务办理装置，包括：数字人启动模块，用于当用户进入业务办理页面时，在所述业务办理页面上层显示数字人；业务询问模块，用于控制所述数字人引导所述用户说出当前流程需要的业务信息；识别模块，用于识别所述用户的语音，从所述语音中提取所述业务信息，并将所述业务信息填写进所述业务办理页面的预设位置；业务引导模块，用于控制所述数字人按照所述业务办理页面的流程顺序，重复上述步骤，直至业务办理完毕。

本公开另一方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现第一方面中所述基于数字人引导的业务办理方法中的各个步骤。

本公开另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现第一方面中所述基于数字人引导的业务办理方法中的各个步骤。

在本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：

本公开提供了一种基于数字人引导的业务办理方法，通过数字人引导用户在业务页面上进行交易操作，实时全程为用户服务，减少人工在线客服的工作压力，提升用户体验，在保障用户交易安全的同时，减少后台流量和计算压力。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了本公开实施例提供的一种基于数字人引导的业务办理方法的流程图；

图2示意性示出了本公开实施例提供的一种数字人引导用户进行业务办理的示意图；

图3示意性示出了本公开实施例提供的一种数字人引导用户提问并解答的示意图；

图4示意性示出了本公开实施例提供的一种基于数字人引导的业务办理装置的结构框图；

图5示意性示出了本公开实施例提供的一种电子设备的结构框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

图1示意性示出了本公开实施例提供的一种基于数字人引导的业务办理方法的流程图。

如图1所示，本公开提供了一种基于数字人引导的业务办理方法，包括步骤S110～S140。

S110，当用户进入业务办理页面时，在所述业务办理页面上层显示数字人。

S120，控制所述数字人引导所述用户说出当前流程需要的业务信息。

S130，识别所述用户的语音，从所述语音中提取所述业务信息，并将所述业务信息填写进所述业务办理页面的预设位置。

S140，控制所述数字人按照所述业务办理页面的流程顺序，重复上述步骤，直至业务办理完毕。

在本公开实施例中，数字人的形象可以为真人形象，也可以为卡通人物形象，通过语言和动作结合的方式，可明确引导用户在业务办理界面中按照流程顺序进行业务的办理，从而提高用户办理业务的效率，提高用户体验。数字人替代了人工客服的工作，可减小人工客服的工作压力，同时，减少了对人工客服提供服务所需的后台支撑的需求。

需要说明的是，在本公开实施例中，数字人可以是通过预先构建的模型生成的，根据不同的业务类型，预设有相应的话术内容和动作内容，在引导用户执行操作时，只需根据业务类型和业务执行的步骤，播放相应的话术内容的语音声音和控制数字人执行相应的动作内容即可。该数字人的模型预存于应用本方法的系统中，数字人引导用户的相关运算可以仅限于在该系统中执行，且该过程不需要人工干预，且在离线状态也可正常执行。

根据步骤S110，当用户进入业务办理页面后，数字人即可出现在业务办理页面的上层，并根据步骤120，开始对用户的引导工作，具体的，按照业务办理页面上的需要填写的用户信息的顺序，数字人依次开始对用户进行引导，例如，当前业务为信息录入页面，需要用户依次输入“姓名”、“性别”、“年龄”、“职业”等信息，数字人按照顺序，首先引导用户输入“姓名”，数字人通过语音提示用户“请输入您的名字”，同时，手指指向页面上需要输入姓名的位置，请用户确认信息输入的内容。

在引导过程开始后，系统开始监听用户的语音，并执行步骤S130，以识别用户提供的业务信息具体的，步骤S130包括步骤S131～S132。

S131，控制所述数字人做出手势动作，引导所述用户关注当前所述业务办理页面中正在办理的流程。

S132，控制所述数字人发出引导所述用户说出所述业务信息的语音声音，使所述用户根据所述数字人的引导进行相应回答。

在本公开实施例中，语音声音实际由应用本方法的系统发出，在发出语音声音的同时，系统控制数字人的唇部可以做出与语音声音相应的口腔动作，营造数字人像真实人类一样与用户交流的效果，同时，数字人的脸部可以具有一些面部表情，以使数字人的形象更加生动；在数字人发出语音声音的同时，控制数字人做一些动作进一步引导用户进行操作，例如，当用手指指向业务办理业务的某一按钮，示意用户按下这个按钮；数字人还可以具有一些肢体动作，使数字人做出手势动作的姿态更加自然。

在执行步骤130之前，系统还包括以下步骤S121～S123。

S121，检测是否存在用户的语音。

S122，若在预设时长内检测到所述用户的语音，则对所述语音进行识别，从所述语音中提取所述业务信息。

S123，若在预设时长内未检测到用户的语音，则控制再次引导所述用户说出当前流程需要的业务信息。

在本公开实施例中，，若在数字人给出引导后，预设时间段内用户未发出语音信号，例如，数字人通过语音提示用户“请输入您的名字”，同时，手指指向页面上需要输入姓名的位置，请用户确认信息输入的内容，过了10s，用户并未发出语音指示，数字人可以再次通过语音提示用户“请输入您的名字”，同时，手指指向页面上需要输入姓名的位置，请用户确认信息输入的内容，当得到用户的回答后，数字人可引导用户进行相应的操作。若用户一直未发出语音指示，数字人可每隔预设时长间询问用户一次，当询问次数达到预设次数后，不再询问。

可选地，若用户不需要数字人的引导，用户可以通过语音或预设在业务办理页面上的按钮等方式，告诉系统当前不需要数字人进行引导，令数字人从界面上消失，并停止语音引导用户，避免给用户造成不好的用户体验。当用户需要数字人时，用户可以通过预设在业务办理页面上的另一按钮，重新启用数字人。

可选的，数字人的大小和位置可以随着业务办理的过程自动变化，使数字人不会遮挡业务办理页面上用户需要了解的部分，或者，数字人的大小和位置可以由用户随意调整。

根据本公开的实施例，除了通过步骤120引导用户通过语音进行信息输入，还可以包括步骤S124～S125，通过数字人引导用户进行本人操作。

S124，若当前流程需要用户本人操作，在显示所述业务办理页面的界面上展示所述流程的示例样本，所述示例样本为完成所述流程的操作的图片或视频。

S125，控制所述数字人对所述示例样本进行介绍，引导所述用户根据所述示例样本执行操作。

图2示意性示出了本公开实施例提供的一种数字人引导用户进行业务办理的示意图。

如图2所示，当业务办理页面为认证资料信息页面时，数字人对该页面进行介绍，同时，在数字人的右侧展示了一示例样本，该示例样本实际为该页面的缩小图，其中用箭头标出了在该页面中“添加图片”的标识，以提示用户点击该页面中的对应标识以添加待认证资料的图片，从而进行资料认证。该示例样本也可以为重复播放的短视频，通过动态的模拟添加图片的过程，使用户更容易了解实际操作过程。

根据本公开的实施例，在当前的业务办理页面每完成一个业务流程，根据步骤140，数字人将按照所述业务办理页面的流程顺序，自动引导用户进行下一个流程，例如，当前业务为信息录入页面，需要用户依次输入“姓名”、“性别”、“年龄”、“职业”等信息，数字人按照顺序，引导用户输入“姓名”后，接着引导用户输入“性别”，通过语音“请输入您的性别”，并通过手势指引用户看到性别的输入栏，引导用户说出其性别，若用户回答“性别女”，根据该回答的语音，从中提取到业务信息“女”，并将该信息填写进性别那一栏中，数字人接着引导用户输入“年龄”，以此类推，直至将用户信息录入完毕为止。

本公开实施例提供的另一种基于数字人引导的业务办理方法除了包括步骤S110～S140，还可以包括步骤S150。

S150，在所述数字人引导所述用户办理业务的过程中，若所述业务办理页面发生了跳转，所述数字人将在跳转后的业务办理页面中显示，并继续引导所述用户办理业务，直至本次业务办理完毕。

在本公开实施例中，当用户办理的业务需要跳转多个页面时，为了持续稳定的对用户进行引导，每次页面跳转后，数字人都在新的页面上方重新显示，并针对新的页面对用户进行引导，例如，当前页面为填写用户信息页面，数字人引导用户填写完毕后，页面跳转至用户信息确认页面，数字人将引导用户检查之前填写的信息是否有误，若用户发现错误，使页面跳转回填写用户信息页面，数字人引导用户修改错误信息，修改完毕后，页面再次跳转至用户信息确认页面，数字人再次引导用户检查信息是否有误，直至确认无误为止。

根据本公开的实施例，所述方法还可以包括步骤S161～S164。

S161，若所述用户通过说话按钮提问，控制所述数字人提示所述用户如何正确提问。

S162，识别所述用户提问的语音，从所述语音中提取关键字。

S163，根据所述关键字查询对应结果，并将查询结果展示于当前页面。

S164，控制所述数字人根据查询结果进行答复。

在本公开实施例中，在用户进行业务办理的过程中，可能会提出一些与业务相关的问题，以更好的了解该业务，或者，可能会提出一些与操作相关的问题，以确认操作是否正确，这时，数字人应及时为用户解答问题，使用户的需求及时得到满足。

图3示意性示出了本公开实施例提供的一种数字人引导用户提问并解答的示意图。

如图3所示，数字人首先引导用户正确的提问，若用户提出了与本业务无关的问题，例如用户提问“今天的股市行情怎么样”，而本业务为银行业务，数字人可以回答用户“您问的问题我不清楚，不过，您可以提问我关于贷款业务的相关问题”，当用户提出了相关问题时，例如“我的理财收益怎么样”，系统根据关键词“理财收益”，获取用户得理财收益情况，并在界面中展示，控制数字人对所展示得理财收益情况进行分析。

根据本公开的实施例，所述方法还可以包括步骤S171～S172。

S171，在所述数字人引导所述用户办理业务的过程中，通过双录技术对关键业务场景进行录制，所述关键业务场景为所述业务办理过程中安全性要求高的场景。

S172，将所述录制信息传输至后台进行人工审核。

在本公开实施例中，对关键业务场景进行录制，例如，当用户正在进行密码输入操作时，系统应对该场景进行视频及语音的录制，并将该录制文件存储起来，并上传给后台进行人工审核，以保证用户的的交易安全。

根据本公开的实施例，所述方法还可以包括步骤S181～S182。

S181，在所述数字人引导所述用户办理业务的过程中，对所述用户进行人脸检测。

S182，若检测发现异常，终止本次业务办理。

在本公开实施例中，在数字人引导用户办理业务的过程中，通过人脸检测、人脸识别、活体检测等端智能模型，按照一定的频率进行检测(根据场景，频率可调整)，当发现异常时，例如，用户在操作过程中离开、用户换人、用户非真人、用户身旁有人偷窥等，及时结束交易，以预防可能存在的风险。

根据本公开的实施例，所述方法还可以包括步骤S191～S192。

S191，在所述数字人引导所述用户办理业务的过程中，检测环境噪音。

S192，若所述环境噪音超过预设阈值，控制所述数字人提示用户换到安静环境。

在本公开实施例中，数字人在引导业务办理的过程中，在用户与数字人不说话的时间检测环境噪音，当噪音过大时，提示用户噪音将影响语音识别效果，可在较为安静的环境办理业务。

根据本公开的实施例，所述方法还可以包括步骤S1001～S1003。

S1001，在所述数字人引导所述用户办理业务的过程中，识别所述用户的情绪信息。

S102，当识别到所述用户不好的情绪信息时，控制所述数字人发出语音对所述用户进行安抚，和/或，控制所述数字人询问所述用户是否需要提供人工服务。

S1003，当所述用户需要人工服务时，将所述数字人切换为人工客服。

在本公开实施例中，数字人在引导业务办理的过程中，通过情绪识别技术识别用户的情绪信息，当发现用户出现不好情绪时，可及时安抚，安抚的语言可配置道歉、没能理解用户意图等话术，并根据用户需求切换人工客服，以迅速解决用户问题，保证用户体验。

根据本公开提供的基于数字人引导的业务办理方法，通过数字人引导用户在业务页面上进行交易操作，实时全程为用户服务，减少人工在线客服的工作压力，提升用户体验，在保障用户交易安全的同时，减少后台流量和计算压力。

图4示意性示出了本公开实施例提供的一种基于数字人引导的业务办理装置的结构框图。

如图4所示，本公开提供了一种基于数字人引导的业务办理装置，包括：数字人启动模块410，业务询问模块420，识别模块430，业务引导模块440。

数字人启动模块410，用于当用户进入业务办理页面时，在所述业务办理页面上层显示数字人。

业务询问模块420，用于控制所述数字人引导所述用户说出当前流程需要的业务信息。

识别模块430，用于识别所述用户的语音，从所述语音中提取所述业务信息，并将所述业务信息填写进所述业务办理页面的预设位置。业务引导模块440，用于控制所述数字人发出与所述业务名称关联的语音声音，并执行相应的动作，引导所述用户执行与所述业务名称对应的操作。

可以理解的是，数字人启动模块410、业务询问模块420、识别模块430、业务引导模块440444可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，数字人启动模块410、业务询问模块420、识别模块430、业务引导模块440中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，数字人启动模块410、业务询问模块420、识别模块430、业务引导模块440中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。

需要说明的是，本公开的实施例中基于数字人引导的业务办理装置部分与本公开的实施例中基于数字人引导的业务办理方法部分是相对应的，商品向量化装置部分的描述具体参考商品向量化方法部分，在此不再赘述。

图5示意性示出了本公开实施例提供的一种电子设备的结构框图。

如图5所示，本实施例中所描述的电子设备，包括：电子设备500包括处理器510、计算机可读存储介质520。该电子设备500可以执行上面参考图1描述的方法，以实现对特定操作的检测。

具体地，处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器510还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行参考图1描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质520，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

计算机可读存储介质520可以包括计算机程序521，该计算机程序521可以包括代码/计算机可执行指令，其在由处理器510执行时使得处理器510执行例如上面结合图1所描述的方法流程及其任何变形。

计算机程序521可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序521中的代码可以包括一个或多个程序模块，例如包括521A、模块521B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器510执行时，使得处理器510可以执行例如上面结合图1所描述的方法流程及其任何变形。

根据本发明的实施例，数字人启动模块410、业务询问模块420、识别模块430、业务引导模块440中的至少一个可以实现为参考图5描述的计算机程序模块，其在被处理器510执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。