智能客户服务的对话方法和对话装置

技术领域

本申请涉及人工智能技术领域，尤其涉及一种智能客户服务的对话方法和对话装置。

背景技术

近年来，银行越来越多地采用智能客户服务技术，如聊天机器人和虚拟助理，以改善其客户服务体验。智能客户服务技术一般由人工智能(artificial intelligence，AI)和机器学习(machine learning，ML)算法驱动，可以理解并以对话的方式回应客户的询问。

银行智能客户服务可以在不与客户直接交谈的情况下，同时处理大量的客户咨询，并可以提供7*24小时支持，有利于减少客户的等待时间，提高客户满意度。

但是，目前的智能客户服务技术在有些场景中不能快速有效地解决客户的疑问，影响用户体验。

发明内容

本申请提供了一种智能客户服务的对话方法和对话装置，用于解决智能客户服务技术在有些场景中不能快速有效地解决客户的疑问，影响用户体验的问题。

第一方面，本申请提供了一种智能客户服务的对话方法，包括：响应于客户的输入操作，得到第一信息，第一信息为文本信息或者语音信息，第一信息所表示的语言类型包括外文或者中文，中文包括普通话或者方言；若第一信息所表示的语言类型不是普通话，则将第一信息转换为第二信息，第二信息所表示的语言类型为普通话；分析第二信息含义，得到第二信息所表述的需求；分析第二信息的词语、句子结构以及语气，得到第二信息所包含的客户的情绪；基于第二信息所表述的需求和第二信息所包含的客户的情绪，从数据库中选择相应的第三信息，第三信息用于回复第一信息，数据库中包括多个信息，多个信息用于在客户处于不同情绪时满足客户的不同需求；使用第一信息所表示的语言类型输出第三信息。

本申请提供的智能客户服务的对话方法，无论客户使用什么类型的语言，均可以识别出客户输入的文本信息或者语音信息中客户的情绪和客户的需求，并基于客户的情绪和客户的需求通过客户所使用的语言类型为客户提供富有同情心的回复，有利于提高解决客户疑问的效率，也有利于提高客户满意度和忠诚度。

结合第一方面，在第一方面的某些实现方式中，第三信息是模型针对第二信息输出的，模型包括第一模型、第二模型以及第三模型，第一模型用于分析第二信息含义，第二模型用于分析第二信息的词语、句子结构以及语气，第三模型用于从数据库中选择相应的第三信息；方法还包括：获取训练样本，训练样本包括多语言数据、多语言数据对应的客户需求、多语言数据对应的客户情绪以及用于对多语言数据进行回复的回复信息，多语言数据用于表示各种方言的语音和文本数据以及各种外文的语音和文本数据，回复信息为客户反馈的满意程度大于或等于预设程度的信息；将多语言数据作为第一初始模型的输入，将多语言数据对应的客户需求作为第一初始模型的标签，对第一初始模型进行训练，得到第一模型；将多语言数据作为第二初始模型的输入，将多语言数据对应的客户情绪作为第二初始模型的标签，对第二初始模型进行训练，得到第二模型；将多语言数据对应的客户需求和多语言数据对应的客户情绪作为第三初始模型的输入，将回复信息作为第三初始模型的标签，对第三初始模型进行训练，得到第三模型。

本申请提供的智能客户服务的对话方法，通过模型识别出客户输入的文本信息或者语音信息中客户的情绪和客户的需求，并基于客户的情绪和客户的需求通过客户所使用的语言类型为客户提供富有同情心的回复，有利于提高识别速度。

结合第一方面，在第一方面的某些实现方式中，将多语言数据作为第一初始模型的输入之前，方法还包括：通过以下至少一种方式对多语言数据进行预处理：对多语言数据进行文本符号化；删除多语言数据中的停顿词、特殊符号、统一资源定位符以及标点符号；或者，对多语言数据进行词性化、词干化或者词形还原。

本申请提供的智能客户服务的对话方法，对多语言数据进行预处理，使其更加规范，将与处理后的多语言数据输出至模型中对模型进行训练，有利于提高模型的训练速度。

结合第一方面，在第一方面的某些实现方式中，第一模型包括词嵌入、位置编码、自注意力机制以及前馈神经网络，词嵌入的输入为第一模型的输入，词嵌入的输出为位置编码的输入，位置编码的输出为自注意力机制的输入，自注意力机制的输出为前馈神经网络的输入，前馈神经网络的输出为第一模型的输出。

这样，词嵌入为输入序列中单词的初始表示，位置编码被添加到词嵌入中以纳入位置信息，自注意力机制被用来捕捉序列中单词之间的依赖关系，注意层的输出由前馈神经网络处理，以捕捉非线性的依赖关系，有利于使第一模型可以对多语言进行理解以得到客户的需求。

结合第一方面，在第一方面的某些实现方式中，第一模型还包括多头注意力，多头注意力的输入为自注意力机制的输出，多头注意力的输出为前馈神经网络的输入。

这样，词嵌入为输入序列中单词的初始表示，位置编码被添加到词嵌入中以纳入位置信息，自注意力机制被用来捕捉序列中单词之间的依赖关系，多头注意力使模型能够并行地学习不同的关系，注意层的输出由前馈神经网络处理，以捕捉非线性的依赖关系，有利于使第一模型可以对多语言进行理解以得到客户的需求。

结合第一方面，在第一方面的某些实现方式中，方法还包括：通过准确性、精确性、召回率或F1得分中的至少一个对第二模型的识别准确度进行评估；若第二模型的识别准确度不满足预设要求，则将多语言数据作为第二模型的输入，将多语言数据对应的情绪作为第二模型的标签，对第二模型进行训练，直至训练后的模型的识别准确度满足预设要求。

这样，处理设备训练第二模型之后，可以使用适当的指标对训练好的模型进行评估，有利于使第二模型更好地识别输入信息所包含的情绪。

结合第一方面，在第一方面的某些实现方式中，方法还包括：在客户沟通完成后，提示客户对第三信息的满意程度进行反馈；接收客户的反馈信息，反馈信息为文本信息或者语音信息。这样，基于客户的反馈信息对第三信息进行评价，有利于了解本申请的方法的可行性。

结合第一方面，在第一方面的某些实现方式中，方法还包括：保存第一信息、第二信息所表述的需求和第二信息所包含的客户的情绪，第三信息以及客户的反馈信息以用于对第三信息进行调整。在实际使用过程中，可以保存相关信息，后续可以整理为反馈数据集对本申请提供的方法进行调整，有利于对本申请提供的方法进行优化，以提高多语言识别和情绪识别的准确度。

第二方面，本申请提供了一种智能客户服务的对话装置，包括：获取模块和处理模块。其中，获取模块用于：响应于客户的输入操作，得到第一信息，第一信息为文本信息或者语音信息，第一信息所表示的语言类型包括外文或者中文，中文包括普通话或者方言；处理模块用于：若第一信息所表示的语言类型不是普通话，则将第一信息转换为第二信息，第二信息所表示的语言类型为普通话；分析第二信息含义，得到第二信息所表述的需求；分析第二信息的词语、句子结构以及语气，得到第二信息所包含的客户的情绪；基于第二信息所表述的需求和第二信息所包含的客户的情绪，从数据库中选择相应的第三信息，第三信息用于回复第一信息，数据库中包括多个信息，多个信息用于在客户处于不同情绪时满足客户的不同需求；使用第一信息所表示的语言类型输出第三信息。

结合第二方面，在第二方面的某些实现方式中，第三信息是模型针对第二信息输出的，模型包括第一模型、第二模型以及第三模型，第一模型用于分析第二信息含义，第二模型用于分析第二信息的词语、句子结构以及语气，第三模型用于从数据库中选择相应的第三信息；获取模块还用于：获取训练样本，训练样本包括多语言数据、多语言数据对应的客户需求、多语言数据对应的客户情绪以及用于对多语言数据进行回复的回复信息，多语言数据用于表示各种方言的语音和文本数据以及各种外文的语音和文本数据，回复信息为客户反馈的满意程度大于或等于预设程度的信息；处理模块还用于：将多语言数据作为第一初始模型的输入，将多语言数据对应的客户需求作为第一初始模型的标签，对第一初始模型进行训练，得到第一模型；将多语言数据作为第二初始模型的输入，将多语言数据对应的客户情绪作为第二初始模型的标签，对第二初始模型进行训练，得到第二模型；将多语言数据对应的客户需求和多语言数据对应的客户情绪作为第三初始模型的输入，将回复信息作为第三初始模型的标签，对第三初始模型进行训练，得到第三模型。

结合第二方面，在第二方面的某些实现方式中，处理模块还用于：通过以下至少一种方式对多语言数据进行预处理：对多语言数据进行文本符号化；删除多语言数据中的停顿词、特殊符号、统一资源定位符以及标点符号；或者，对多语言数据进行词性化、词干化或者词形还原。

结合第二方面，在第二方面的某些实现方式中，第一模型包括词嵌入、位置编码、自注意力机制以及前馈神经网络，词嵌入的输入为第一模型的输入，词嵌入的输出为位置编码的输入，位置编码的输出为自注意力机制的输入，自注意力机制的输出为前馈神经网络的输入，前馈神经网络的输出为第一模型的输出。

结合第二方面，在第二方面的某些实现方式中，第一模型还包括多头注意力，多头注意力的输入为自注意力机制的输出，多头注意力的输出为前馈神经网络的输入。

结合第二方面，在第二方面的某些实现方式中，处理模块还用于：通过准确性、精确性、召回率或F1得分中的至少一个对第二模型的识别准确度进行评估；若第二模型的识别准确度不满足预设要求，则将多语言数据作为第二模型的输入，将多语言数据对应的情绪作为第二模型的标签，对第二模型进行训练，直至训练后的模型的识别准确度满足预设要求。

结合第二方面，在第二方面的某些实现方式中，处理模块还用于：在客户沟通完成后，提示客户对第三信息的满意程度进行反馈；接收客户的反馈信息，反馈信息为文本信息或者语音信息。

结合第二方面，在第二方面的某些实现方式中，处理模块还用于：保存第一信息、第二信息所表述的需求和第二信息所包含的客户的情绪，第三信息以及客户的反馈信息以用于对第三信息进行调整。

第三方面，本申请提供了一种智能客户服务的对话装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，以执行上述第一方面中任一种可能实现方式中的方法。

可选地，处理器为一个或多个，存储器为一个或多个。

可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。

在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，ROM)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请对存储器的类型以及存储器与处理器的设置方式不做限定。

上述第三方面中的智能客户服务的对话装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

应当理解的是，本申请的第二方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为一种银行智能客户服务的示意图；

图2为本申请实施例提供的一种智能客户服务的对话方法的示意性流程图；

图3为本申请实施例提供的一种智能客户服务的对话装置的示意性框图；

图4为本申请实施例提供的另一种智能客户服务的对话装置的示意性框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。需要说明的是，本申请所涉及的客户信息(包括但不限于用户设备信息、客户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经客户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供客户选择授权或者拒绝。还需要说明的是，本申请提供的智能客户服务的对话方法和对话装置可用于人工智能技术领域，也可用于人工智能技术领域以外的任意领域。本申请提供的智能客户服务的对话方法和对话装置对应用领域不作限定。

在介绍本申请实施例提供的智能客户服务的对话方法和对话装置之前，先做出以下几点说明。

第一，在下文示出的实施例中第一、第二以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围。例如，区分不同的模型、区分不同的信息等。

第二，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b和c中的至少一项(个)，可以表示：a，或b，或c，或a和b，或a和c，或b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

近年来，银行越来越多地采用智能客户服务技术，如聊天机器人和虚拟助理，以改善其客户服务体验。智能客户服务技术一般由人工智能(artificial intelligence，AI)和机器学习(machine learning，ML)算法驱动，可以理解并以对话的方式回应客户的询问。银行智能客户服务的优点包括：可以不与客户直接交谈；可以同时处理大量的客户咨询；可以提供7*24小时支持。银行智能客户服务有利于减少客户的等待时间，提高客户满意度。此外，银行可以使用智能客户服务技术为客户提供个性化互动。例如，聊天机器人或者虚拟助理通过分析客户数据和交易历史，可以为客户提供个性化的建议和意见，如建议合适的信用卡或投资方案。

示例性地，图1示出了一种银行智能客户服务的示意图。如图1所示，手机安装的银行应用程序中部署有银行语音服务助手，客户可以向银行语音服务助手询问问题，银行语音服务助手可以理解并以对话的方式回应客户的询问。在图1所示的界面中，客户可以通过控件101与银行语音服务助手实现语音对话，也可以通过控件102与银行语音服务助手实现文字对话。在图1所示的界面中，客户向银行语音服务助手咨询购买理财的相关问题，银行语音服务助手理解客户的问题，并为客户提供方案。

但是，目前的智能客户服务技术在有些场景中不能快速有效地解决客户的疑问，影响用户体验。

例如，聊天机器人或者虚拟助理在与客户聊天时大多按照既定好的回答方式回复客户，缺乏情商，让客户觉的是一个冰冷的机器人，不能理解客户的情绪或者语气的细微差别，对客户的建议可能会导致客户的误解或者沮丧，客户的体验感较差。

又如，聊天机器人或者虚拟助理对客户使用普通话的询问可以进行有效地回复，对客户使用方言或者外文的询问不能理解其含义，以至于不能进行有效地回复。

有鉴于此，本申请实施例提供一种智能客户服务的对话方法和对话装置，可以识别出文本信息或者语音信息中客户的情绪和客户的需求，并基于客户的情绪和客户的需求通过客户所使用的语言类型为客户提供富有同情心的回复，有利于提高解决客户疑问的效率，也有利于提高客户满意度和忠诚度。其中，客户所使用的语言类型可以为外文或者方言。本申请实施例可以为客户提供更加个性化和富有同情心的体验，而且能支持多语言。

本申请实施例提供一种可以富有情感且能适应多语言的智能客户服务系统。一方面，提高智能客户服务系统的情商，将情绪检测算法纳入客户服务系统使其可以识别和理解客户的情绪状态。使用算法分析客户信息的各个方面，如客户的选词、句子结构和语气，以确定潜在的情绪。一旦系统确定了这种情绪，就可以做出适当的反应，使用富有同情心的语言和语气与客户进行交流。通过纳入一些策略并利用人工智能和机器学习的最新进展，银行可以为客户提供更具同情心和个性化的体验，最终导致客户满意度和忠诚度的提高。另一方面，使用一些可以用来使智能客户服务系统适应多语言的策略，自动将客户信息从一种语言例如方言翻译成另一种语言例如普通话，使用机器学习算法来分析文本的结构和含义，然后将其翻译成所需语言。然后，翻译后的文本可用于生成客户首选语言的回复，以便于银行智能客服系统可以为客户提供无缝和个性化的体验，无论客户说什么语言来自什么地方。其中，客户首选语言是指客户所使用的设备默认的语言或者客户在与智能客户服务沟通过程中要求的语言。例如，客户在沟通过程中要求“请用英文回答我”，智能客户服务可以将回复的语言翻译为英文，使用英文回复客户。

其中，自然语言处理(natural language processing，NLP)研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，故多语言策略可以通过NLP实现。本申请实施例可以对NLP进行多语言训练，提高NLP算法的准确性。例如，本申请实施例收集多种语言的训练数据，通过多种语言的训练数据训练NLP。训练数据可以代表每种语言的不同方言和地区差异，以确保系统能够理解并适当地回应各种客户的询问。

本申请实施例所述的智能客户服务系统为可以实现本申请实施例提供的智能客户服务的对话方法的设备，例如处理设备。

为了更好地理解本申请实施例提供的方法，下面对本申请实施例提供的方法进行详细介绍。

图2为本申请实施例提供的一种智能客户服务的对话方法的示意性流程图，该方法200可以由具有处理功能的处理设备执行，例如终端设备或者服务器。例如上述图1所示的手机，但本申请实施例对此不作限定。

如图2所示，该方法200可以包括如下步骤：

S201、响应于客户的输入操作，得到第一信息，第一信息为文本信息或者语音信息，第一信息所表示的语言类型包括外文或者中文，中文包括普通话或者方言。

客户可以通过语音或者文字的方式询问，当客户通过文字输入时，响应于客户的文字输入操作，处理功能得到的第一信息为文本信息；当客户通过语音输入时，响应于客户的语音输入操作，处理功能得到的第一信息为语音信息。

无论是语音或者文字，客户均有可能使用方言、外文或者普通话，故第一信息所表示的语言类型包括外文或者中文，中文包括普通话或者方言。

S202、若第一信息所表示的语言类型不是普通话，则将第一信息转换为第二信息，第二信息所表示的语言类型为普通话。

处理功能可以包括专业翻译服务或者机器翻译工具，可以在第一信息所表示的语言类型不是普通话时，将第一信息转换为语言类型为普通话的第二信息。这样，有利于后续对文本进行分析，相比于直接分析方言或者外文，有利于提高分析速度和准确度。

S203、分析第二信息含义，得到第二信息所表述的需求。

第二信息所表述的需求，也可以说，第二信息所表述的意图，本申请实施例对此不做限定。

处理设备可以分析第二信息含义，得到第二信息所表述的需求，以便于根据需求对客户进行回复。其中，客户的需求可以包括银行所涉及的业务的需求，例如，贷款、存款、理财、基金以及还款等需求。

S204、分析第二信息的词语、句子结构以及语气，得到第二信息所包含的客户的情绪。

处理设备具有情绪分析能力，可以分析第二信息的词语、句子结构以及语气，得到第二信息所包含的客户的情绪，以便于根据客户的情绪对客户进行富有同情心的回复。其中，客户的情绪可以包括快乐、悲伤、沮丧、消极或者中性等类别。

S205、基于第二信息所表述的需求和第二信息所包含的客户的情绪，从数据库中选择相应的第三信息，第三信息用于回复第一信息，数据库中包括多个信息，多个信息用于在客户处于不同情绪时满足客户的不同需求。

数据库中可以包括不同需求下客户在不同情绪下的回复信息，以在客户处于不同情绪时满足客户的不同需求。

处理设备可以基于第二信息所表述的需求和第二信息所包含的客户的情绪，从数据库中选择相应的第三信息，以用于回复第一信息。

客户在交互时的情绪或情绪状态可以显著影响系统在客户服务上下文中的响应。处理设备根据第二信息所表述的需求和第二信息所包含的客户的情绪，根据用户的情绪和需求定制响应可以提高客户满意度和参与度。

例如，如果客户的情绪在他们的沟通中表现出中立，处理设备可以通过以中立和专业的语气回应来承认这一点。比如，“感谢您的留言。今天我能为您效劳吗？”

又如，如果客户表达积极或满意，处理设备可以以积极回应来加强他们的积极情绪。比如，“我们很高兴听到你在我们公司有很好的经历！”今天我们还能为您做些什么？”

再如，客户表达消极或沮丧时，处理设备应移情和理解。比如，“我很理解你很焦急，让我们共同努力解决这个问题。”

S206、使用第一信息所表示的语言类型输出第三信息。

处理设备可以包括专业翻译服务或者机器翻译工具，通过专业翻译服务或者机器翻译工具将第三信息翻译为第一信息所表示的语言类型，使用第一信息所表示的语言类型输出第三信息。

可选地，若客户指定了回复信息所使用的语言类型，则处理设备可以使用客户指定的语言类型输出第三信息。

本申请实施例提供的智能客户服务的对话方法，无论客户使用什么类型的语言，均可以识别出客户输入的文本信息或者语音信息中客户的情绪和客户的需求，并基于客户的情绪和客户的需求通过客户所使用的语言类型为客户提供富有同情心的回复，有利于提高解决客户疑问的效率，也有利于提高客户满意度和忠诚度。

可选地，第三信息是模型针对第二信息输出的，模型包括第一模型、第二模型以及第三模型，第一模型用于分析第二信息含义，第二模型用于分析第二信息的词语、句子结构以及语气，第三模型用于从数据库中选择相应的第三信息；方法还包括：获取训练样本，训练样本包括多语言数据、多语言数据对应的客户需求、多语言数据对应的客户情绪以及用于对多语言数据进行回复的回复信息，多语言数据用于表示各种方言的语音和文本数据以及各种外文的语音和文本数据，回复信息为客户反馈的满意程度大于或等于预设程度的信息；将多语言数据作为第一初始模型的输入，将多语言数据对应的客户需求作为第一初始模型的标签，对第一初始模型进行训练，得到第一模型；将多语言数据作为第二初始模型的输入，将多语言数据对应的客户情绪作为第二初始模型的标签，对第二初始模型进行训练，得到第二模型；将多语言数据对应的客户需求和多语言数据对应的客户情绪作为第三初始模型的输入，将回复信息作为第三初始模型的标签，对第三初始模型进行训练，得到第三模型。

第三信息是模型针对第二信息输出的，换句话说，处理设备可以将第二信息输入是模型中，模型的输出为第三信息，即模型可以分析第二信息含义，分析第二信息的词语、句子结构以及语气，并从数据库中选择相应的第三信息。模型中可以包括第一模型、第二模型以及第三模型，第一模型用于分析第二信息含义，第二模型用于分析第二信息的词语、句子结构以及语气，第三模型用于从数据库中选择相应的第三信息，换句话说，第一模型用于识别出输入信息所包含的客户需求，第二模型用于识别出输入信息所包含的客户情绪，第三模型用于根据客户需求和客户情绪确定对客户的回复信息，则第一模型和第二模型的输入相同，第三模型的输入为第一模型的输入和第二模型的输出。

第一模型用于识别出输入信息所包含的客户需求，第一模型可以为训练后的NLP。第二模型用于识别出输入信息所包含的客户情绪，第二模型也可以成为情绪识别模型、情绪分析模型或者情绪检测模型，本申请实施例对此不做限定。第二模型可以为循环神经网络(recurrent neural networks，RNN)、长短期记忆(long short term memory，LSTM)或基于变压器的模型等神经网络架构。该第二模型由神经元层组成，旨在学习数据中的模式。第一初始模型用于表示第一模型训练前的模型，同理，第二初始模型用于表示第二模型训练前的模型，第三初始模型用于表示第三模型训练前的模型。

在模型训练之前需要先获取训练样本，训练样本包括多语言数据、多语言数据对应的客户需求、多语言数据对应的客户情绪以及用于对多语言数据进行回复的回复信息。多语言数据用于表示各种方言的语音和文本数据以及各种外文的语音和文本数据，代表每种语言的不同方言和地区变化，以确保数据集的多样性和代表性，确保系统能理解并适当回应各种客户的询问。除文本数据和语音数据之外，还考虑纳入其他数据模式，如客户互动的图像，以便于理解来自音频或视觉输入的情感线索。回复信息为客户反馈的满意程度大于或等于预设程度的信息。本申请实施例对预设程序不做具体限定。

获取训练样本之后，对第一初始模型、第二初始模型以及第三初始模型进行训练。这三个初始模型可以同时训练，也可以先训练第一初始模型和第二初始模型，再训练第三初始模型，本申请实施例对此不做限定。若三个初始模型一起训练，这三个模型可以同时达到最优，兼容性更强。若先训练第一初始模型和第二初始模型，再训练第三初始模型，由于第三初始模型的输入为第一初始模型的输出和第二初始模型的输出，第三初始模型的输入较准确，有利于提高第三初始模型的训练速度。

第一模型的训练过程包括：处理设备将多语言数据作为第一初始模型的输入，将多语言数据对应的客户需求作为第一初始模型的标签，对第一初始模型进行训练。在训练过程中，第一初始模型的输出与第一初始模型的标签之间的差距可以用交叉熵损失函数表示，当交叉熵损失函数最小时，训练结束，得到第一模型。当交叉熵损失函数不是最小时，可以通过随机梯度下降(stochastic gradient descent，SGD)或自适应时刻估计方法(adaptive moment estimation，Adam)等优化算法更新模型参数，以使交叉熵损失函数最小。

第二模型的训练过程包括：处理设备将多语言数据作为第二初始模型的输入，将多语言数据对应的客户情绪作为第二初始模型的标签，对第二初始模型进行训练。在训练过程中，第二初始模型的输出与第二初始模型的标签之间的差距可以用分类交叉熵损失函数表示，当分类交叉熵损失函数最小时，训练结束，得到第二模型。同理，第三模型的训练过程中，第三初始模型的输出与第三初始模型的标签之间的差距可以用分类交叉熵损失函数或者交叉熵损失函数表示，当分类交叉熵损失函数或者交叉熵损失函数最小时，训练结束，得到第三模型。

对第一初始模型、第二初始模型以及第三初始模型训练完成后，得到第一模型、第二模型以及第三模型，处理设备可以使用验证样本对这三个模型进行验证，若不满足验证要求例如模型性能不达标，可以调整模型训练过程中使用的超参数以使得模型性能达标。处理设备还可以使用测试样本对这三个模型进行测试以用于评估模型的最终性能。需要说明的是，训练模型的执行主体和上述图2所示的方法的执行主体可以为同一个设备，也可以为不同的设备，本申请实施例对此不做限定。例如，训练模型的执行主体可以为服务器，上述图2所示的方法的执行主体可以为终端设备。

本申请实施例提供的智能客户服务的对话方法，通过模型识别出客户输入的文本信息或者语音信息中客户的情绪和客户的需求，并基于客户的情绪和客户的需求通过客户所使用的语言类型为客户提供富有同情心的回复，有利于提高识别速度。

可选地，上述将多语言数据作为第一初始模型的输入之前，方法还包括：通过以下至少一种方式对多语言数据进行预处理：对多语言数据进行文本符号化；删除多语言数据中的停顿词、特殊符号、统一资源定位符以及标点符号；或者，对多语言数据进行词性化、词干化或者词形还原。

多语言数据中可能包含些不必要的信息，若不对其进行预处理，会对后续的识别造成影响，使得后续无法识别出客户的需求或者情绪，故处理设备可以对多语言数据进行预处理。

对于多语言数据中的语音数据，处理设备可以通过软件将语音数据转换为文本数据。对于多语言数据中的外文，处理设备可以通过专业翻译服务或机器翻译工具将外文翻译为中文的普通话。

处理设备可以删除文本数据中不相关的信息，可以理解为去噪，即删除停顿词、特殊符号、统一资源定位符(uniform resource locator，URL)以及标点符号等无助于对客户查询的理解的信息。其中，停顿词可以为冠词、介词、代词以及连词等。处理设备可以将文本数据分割成单独的标记(词或子词)，以得到离散元素序列，便于输入至模型中，即对文本数据进行文本符号化。处理设备对文本数据进行词性化、词干化或者词形还原，即通过词性化可以将单词规范化为其基本形式，以减少冗余并提高概括性，通过词形还原(Lemmatization)将单词映射为其字典中的词根，通过干化则将单词还原为其词干。另外，对于一些特定语言例如方言，处理设备可以对其进行口音处理或者变音处理，还可以对特定语言的标点符号进行处理。

本申请实施例提供的智能客户服务的对话方法，对多语言数据进行预处理，使其更加规范，将与处理后的多语言数据输出至模型中对模型进行训练，有利于提高模型的训练速度。

可选地，第一模型包括词嵌入、位置编码、自注意力机制以及前馈神经网络，词嵌入的输入为第一模型的输入，词嵌入的输出为位置编码的输入，位置编码的输出为自注意力机制的输入，自注意力机制的输出为前馈神经网络的输入，前馈神经网络的输出为第一模型的输出。

第一模型用于对多语言进行理解以得到客户的需求，第一模型可以为NLP机器学习模型，包括深度学习和迁移学习等技术，以针对每种语言进行学习，有利于达到最优性能。其中，第一模型也可以成为多语言模型或者多语种模型，本申请实施例对此不做限定。

第一模型可以使用Transformer架构和流行的多语种语言模型mBERT(多语种BERT)训练得到。在一些实现中，第一模型包括词嵌入、位置编码、自注意力机制以及前馈神经网络，词嵌入的输入为第一模型的输入，词嵌入的输出为位置编码的输入，位置编码的输出为自注意力机制的输入，自注意力机制的输出为前馈神经网络的输入，前馈神经网络的输出为第一模型的输出。

其中，词嵌入是词语在一个矢量空间中的数字表示。这些表征捕捉了关于单词的语义关系和上下文信息。词嵌入一般是使用预训练的模型生成的，如Word2Vec或fastText。输入序列中的每个词(word_i)都会被转化为一个词嵌入向量(w_i)，使用预先训练的嵌入模型，如Word2Vec或fastText，可以捕捉到单词之间的语义关系：w_i＝Embedding(word_i)。

位置编码是一种基于Transformer的模型中使用的技术，将位置信息纳入词嵌入中，可以为输入序列中的每个单词位置分配唯一的编码值，使模型能够理解单词的顺序和相对位置。为了让模型理解序列中单词的顺序和相对位置，需要将位置信息纳入模型，例如，正弦波位置编码被添加到词嵌入中，得到PE(pos,2i)＝sin(pos/10000^(2i/d_model))；PE(pos,2i+1)＝cos(pos/10000^(2i/d_model))。其中，pos为输入序列中的某一个单词在该序列中的位置号码，d_model为位置向量的维度，与整个模型的隐藏状态维度值相同，i为0至(d_model/2-1)之间的整数值，2i为向量维度中的偶数维，2i+1为向量维度中的奇数维，PE用于表示位置向量，是一个矩阵，PE(pos,2i)是PE矩阵中的第pos行、第2i列的数值，是一个标量，PE(pos,2i+1)是PE矩阵中的第pos行、第2i+1列的数值，是一个标量。

自注意力机制是一种捕捉序列中不同词之间的依赖关系的机制。自注意力机制通过获取查询(Q)和关键(K)向量之间的点积来计算注意力分数，并应用softmax函数来获得注意力权重。然后，这些权重被用来对价值(V)向量进行加权，从而形成对序列中单词的上下文加权表示，得到(Q,K,V)＝softmax(QK^T/sqrt(d_k))*V，其中，d_k为K的维度。

前馈神经网络(feedforward neural network，FNN)被用来处理转化器模型中自注意力机制的输出。前馈网络一般由两个线性转换组成，中间有一个非线性激活函数(如ReLU)，有助于模型捕捉复杂的关系，并将非线性转换应用到表征中，得到FFN(x)＝max(0,xW_1+b_1)W_2+b_2，其中，x为FNN的输入，W_1和W_2为FNN的权重，b_1和b_2为FNN的参数，FFN(x)用于表示FNN的输出。

这样，词嵌入为输入序列中单词的初始表示，位置编码被添加到词嵌入中以纳入位置信息，自注意力机制被用来捕捉序列中单词之间的依赖关系，注意层的输出由前馈神经网络处理，以捕捉非线性的依赖关系，有利于使第一模型可以对多语言进行理解以得到客户的需求。

可选地，第一模型还包括多头注意力，多头注意力的输入为自注意力机制的输出，多头注意力的输出为前馈神经网络的输入。

在该示例中，第一模型包括词嵌入、位置编码、自注意力机制、多头注意力以及前馈神经网络，词嵌入的输入为第一模型的输入，词嵌入的输出为位置编码的输入，位置编码的输出为自注意力机制的输入，自注意力机制的输出为多头注意力的输入，多头注意力的输出为前馈神经网络的输入，前馈神经网络的输出为第一模型的输出。

其中，多头注意力是自我注意机制的延伸，其中多个注意头并行运作，每个头学习不同的关系和单词之间的依赖关系。注意力头的输出被串联起来并进行线性转换，以捕捉输入序列的不同方面。为了捕捉不同类型的关系和依赖性，多个自注意力层(头)被平行应用，每个头关注输入序列的不同部分，多个自注意力层的输出被串联起来，并使用参数矩阵W^O进行线性转换，得到MultiHead(Q,K,V)＝Concat(head_1,...,head_h)W^O。

这样，词嵌入为输入序列中单词的初始表示，位置编码被添加到词嵌入中以纳入位置信息，自注意力机制被用来捕捉序列中单词之间的依赖关系，多头注意力使模型能够并行地学习不同的关系，注意层的输出由前馈神经网络处理，以捕捉非线性的依赖关系，有利于使第一模型可以对多语言进行理解以得到客户的需求。

在训练上述第一模型时，可以使用交叉熵损失函数对模型进行训练，实现优化模型参数以提高模型预测能力的效果。

在第一模型的训练过程中，模型预测目标标签(y_true)在输入序列(x)上的概率分布，给定输入序列。交叉熵损失函数测量预测和真实标签分布之间的差异，鼓励模型学习准确的预测。交叉熵损失函数是根据预测的标签和数据集中的真实标签计算的，模型参数通过反向传播和优化算法进行更新。其中，交叉熵损失函数可以表示为Loss＝-log(P(y_true|x))。

可选地，上述方法还包括：通过准确性、精确性、召回率或F1得分中的至少一个对所述第二模型的识别准确度进行评估；若所述第二模型的识别准确度不满足预设要求，则将所述多语言数据作为第二模型的输入，将所述多语言数据对应的情绪作为所述第二模型的标签，对所述第二模型进行训练，直至训练后的模型的识别准确度满足所述预设要求。

处理设备训练第二模型之后，可以使用适当的指标对训练好的模型进行评估，如情绪理解的准确性、精确性、召回率或F1得分，以及情绪智能的情感分析指标。处理设备可以使用验证数据集或交叉验证技术来评估模型性能。根据反馈和评估结果，不断地迭代模型训练和微调。结合客户的反馈和用户的评价来完善模型的情商，有利于使第二模型更好地识别输入信息所包含的情绪。

另外，若处理设备先训练第一模型，再训练第二模型，第二初始模型中包括的权重和参数可以为第一模型中包括的权重和参数，有利于使得第二模型能够利用第一模型学习的知识。在训练第二模型的过程中，可以使用反向传播和/或梯度下降等技术，根据情感预测任务更新模型的参数，这种微调过程有助于模型适应多语言的情感分析。

可选地，上述方法还包括：在客户沟通完成后，提示客户对第三信息的满意程度进行反馈；接收客户的反馈信息，反馈信息为文本信息或者语音信息。

在实际使用过程中，可以通过客户反馈的满意度评估情商和整体效果。故处理设备可以在客户沟通完成后，提示客户对第三信息的满意程度进行反馈；若客户进行了反馈，则处理设备可以接收客户的反馈信息。处理设备可以支持客户通过文本或者语音进行反馈，以满足客户不同的需求。这样，基于客户的反馈信息对第三信息进行评价，有利于了解本申请实施例方法的可行性。

处理设备还可以识别客户反馈时所使用的语言，以便于下次通过该语言提示用户进行反馈，提高用户体验。

可选地，上述方法还包括：保存第一信息、第二信息所表述的需求和第二信息所包含的客户的情绪，第三信息以及客户的反馈信息以用于对第三信息进行调整。

在实际使用过程中，处理设备可以保存相关信息，后续可以整理为反馈数据集对本申请实施例提供的方法进行调整，有利于对本申请实施例提供的方法进行优化，以提高多语言识别和情绪识别的准确度。

利用反馈数据集对本申请实施例提供的方法进行优化，可以对数据库中的信息进行调整，以便于回复使用户更满意的信息。数据库中的信息一般为银行领域常用的特定语言的术语或表达，可以优化处理特定领域的语言模式，提高其在与银行相关的对话中的相关性和准确性。

本申请实施例使用反馈数据集对上述第一模型进行微调，根据客户反馈更新模型参数，提高对客户需求的识别能力。本申请实施例使用反馈数据集增强模型在多语言客户互动中检测和分析情绪的能力，根据反馈中的情感内容，微调模型的情感分析能力。本申请实施例使用反馈数据集定期更新和完善模型，以确保其适应不断变化的客户需求和语言模式，建立一个反馈循环，使用最新的多语言客户反馈定期对模型进行再培训，以不断提高其性能。

本申请实施例通过反馈数据集维护、更新或者优化模型，以解决新出现的客户需求、语言变化和不断发展的情商要求，有利于确保模型与客户使用的语言、客户的情绪以及客户的需求保持相关性和有效性。

上文中结合图1和图2，详细描述了本申请实施例提供的智能客户服务的对话方法，下面将结合图3和图4，详细描述本申请实施例提供的智能客户服务的对话装置。

图3示出了本申请实施例提供的一种智能客户服务的对话装置300。如图3所示，该对话装置300包括：获取模块310和处理模块320。其中，获取模块310用于：响应于客户的输入操作，得到第一信息，第一信息为文本信息或者语音信息，第一信息所表示的语言类型包括外文或者中文，中文包括普通话或者方言；处理模块320用于：若第一信息所表示的语言类型不是普通话，则将第一信息转换为第二信息，第二信息所表示的语言类型为普通话；分析第二信息含义，得到第二信息所表述的需求；分析第二信息的词语、句子结构以及语气，得到第二信息所包含的客户的情绪；基于第二信息所表述的需求和第二信息所包含的客户的情绪，从数据库中选择相应的第三信息，第三信息用于回复第一信息，数据库中包括多个信息，多个信息用于在客户处于不同情绪时满足客户的不同需求；使用第一信息所表示的语言类型输出第三信息。

该对话装置300可以实现上述所示的任一方法。

应理解，这里的对话装置300以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中，本领域技术人员可以理解，该装置300可以具体为上述实施例中的处理设备，或者，上述实施例中处理设备的功能可以集成在该对话装置300中，该对话装置300可以用于执行上述方法实施例中与处理设备对应的各个流程和/或步骤，为避免重复，在此不再赘述。

上述对话装置300具有实现上述方法200中处理设备执行的相应步骤的功能；上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。例如，上述获取模块可以为通信接口，例如收发接口。

图4示出了本申请实施例提供的另一种智能客户服务的对话装置400。如图4所示，该对话装置400包括：处理器410、通信接口420和存储器430。其中，处理器410、通信接口420和存储器430通过内部连接通路互相通信，该存储器430用于存储指令，该处理器410用于执行该存储器430存储的指令，以控制该通信接口发送信号和/或接收信号。

应理解，该对话装置400可以用于执行上述方法实施例中与处理设备对应的各个步骤和/或流程。可选地，该存储器430可以包括只读存储器和随机存取存储器，并向处理器410提供指令和数据。存储器430的一部分还可以包括非易失性随机存取存储器。例如，存储器430还可以存储设备类型的信息。该处理器410可以用于执行存储器430中存储的指令，并且当该处理器410执行存储器430中存储的指令时，该处理器410用于执行上述与该处理设备对应的方法实施例的各个步骤和/或流程。

应理解，在本申请实施例中，上述对话装置400的处理器410可以是中央处理单元(central processing unit，CPU)，该处理器410还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本申请提供一种可读计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，该计算机程序用于实现上述实施例中处理设备对应的方法。

本申请提供了一种计算机程序产品，该计算机程序产品包括计算机程序(也可以称为代码，或指令)，当该计算机程序在计算机上运行时，该计算机可以执行上述实施例中处理设备对应的方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。