一种信息反馈方法、装置及设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种信息反馈方法、装置及设备。

背景技术

人机协作在各行业有着广泛的应用，以智能客服为例，转人工是人机协作的一种最简单方法。目前已知的转人工方法主要有以下两种：(1)通过智能客服内的转人工识别模块或者当遇到用户提供负面反馈时，将用户问题直接转交给人工进行处理；(2)针对用户问题，当智能客服系统无法准确判断用户意图时，人工坐席则手动为智能客服系统选择一个意图，然后智能客服系统继续处理。严重依赖人工坐席资源。

发明内容

本申请实施例提供一种信息反馈方法、装置及设备。

根据本申请第一方面，提供了一种信息反馈方法，所述方法包括：接收用户输入信息；在所述用户输入信息满足第一条件的情况下，通过人工指令库，基于所述用户输入信息进行检索；如果检索得到的检索结果示出所述人工指令库中不具有与所述用户输入信息匹配的历史指令，发出信息获取指令；接收响应于所述信息获取指令的人工指导信息；根据所述人工指导信息，生成用于对所述用户输入信息进行反馈的反馈信息。

根据本申请一实施方式，所述根据所述人工指导信息，生成用于对所述用户输入信息进行反馈的反馈信息，包括：对所述人工指导信息进行自然语言理解，得到信息理解结果，所述信息理解结果用于表征对所述用户输入信息进行反馈所需要获取的关联信息；根据所述信息理解结果，生成所述反馈信息。

根据本申请一实施方式，所述方法还包括：根据信息理解结果，更新所述人工指令库。

根据本申请一实施方式，所述通过人工指令库，基于所述用户输入信息进行检索，包括：将所述用户输入信息与所述人工指令库的多个历史用户输入信息进行匹配；其中，所述人工指令库包括多个历史指令以及所述历史指令与相应的历史用户输入信息的对应关系。

根据本申请一实施方式，所述通过人工指令库，基于所述用户输入信息进行检索，包括：获取所述用户输入信息的上下文信息；将所述上下文信息与多个历史指令对应的历史上下文信息进行匹配；其中，所述人工指令库包括多个历史指令以及所述历史指令与相应历史用户输入信息的上下文信息的对应关系。

根据本申请一实施方式，所述方法还包括：如果所述检索结果示出所述人工指令库中具有与所述用户输入信息匹配的历史指令，根据与所述用户输入信息匹配的历史指令，对所述用户输入信息进行反馈。

根据本申请一实施方式，所述用户输入信息满足第一条件包括以下至少之一：用于对所述用户输入信息进行反馈的预反馈信息的置信度小于设定置信阈值；接收到用于示出请求对所述用户输入信息进行人工处理的处理指令；接收到对所述用户输入信息的反馈提醒信息，所述反馈提醒信息用于示出需要对所述用户输入信息进行人工处理。

根据本申请一实施方式，所述用于对所述用户输入信息进行反馈的预反馈信息的置信度小于设定置信阈值，采用以下操作确定：获取所述用户输入信息的上下文信息；根据所述上下文信息，确定所述预反馈信息的置信度；判断所述置信度是否小于设定置信阈值。

根据本申请第二方面，又提供了一种信息反馈装置，所述装置包括：第一接收模块，用于接收用户输入信息；检索模块，用于在所述用户输入信息满足第一条件的情况下，通过人工指令库，基于所述用户输入信息进行检索；信息获取模块，用于如果检索得到的检索结果示出所述人工指令库中不具有与所述用户输入信息匹配的历史指令，发出信息获取指令；第二接收模块，用于接收响应于所述信息获取指令的人工指导信息；生成模块，用于根据所述人工指导信息，生成用于对所述用户输入信息进行反馈的反馈信息。

根据本申请第三方面，又提供了一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述信息反馈方法。

需要理解的是，本申请的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本申请的其他实施方式还能够实现上面未提到的有益效果。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了本申请一实施例信息反馈方法的实现流程示意图；

图2示出了本申请另一实施例信息反馈方法的实现流程示意图；

图3a示出了本申请实施例信息反馈方法一具体应用示例的应用场景示意图；

图3b示出了图3a这一具体应用示例的应用场景与现有技术的对比关系示意图；

图4示出了本申请实施例信息反馈方法这一具体应用示例的实现流程示意图；

图5示出了本申请实施例信息反馈装置的组成结构示意图；

图6示出了本申请实施例设备的组成结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为使本申请更加透彻和完整，并能够将本申请的范围完整地传达给本领域的技术人员。

下面结合附图和具体实施例对本申请的技术方案进一步详细阐述。

图1示出了本申请一实施例信息反馈方法的实现流程示意图。

参考图1，本申请实施例信息反馈方法，至少包括如下操作流程：操作101，接收用户输入信息；操作102，在用户输入信息满足第一条件的情况下，通过人工指令库，基于用户输入信息进行检索；操作103，如果检索得到的检索结果示出人工指令库中不具有与用户输入信息匹配的历史指令，发出信息获取指令；操作104，接收响应于信息获取指令的人工指导信息；操作105，根据人工指导信息，生成用于对用户输入信息进行反馈的反馈信息。

本申请实施例提供一种信息反馈方法，如果用户输入信息满足第一条件，则通过人工指令库对用户输入信息进行检索，避免了直接转人工，节省坐席资源，在人工指令库不具有匹配的指令时，通过获取人工指导信息的方式，生成用户输入信息的反馈信息，有效处理用户输入信息所包括的新问题。

在操作101中，接收用户输入信息。

在本申请这一实施方式中，用户输入信息可以是用户提出的问题，例如：1、我是一个网红，可以免费为你们做推送，能提供一部你们最新款手机吗？2、我想考试高级工程师，你们有这样的培训吗？

在本申请另一实施方式中，用户输入信息还可以是“转人工”等指令，这里“转人工”可以是文字类型的输入信息，也可以是一个预先配置的虚拟按键或物理按键。

在操作102中，在用户输入信息满足第一条件的情况下，通过人工指令库，基于用户输入信息进行检索。

在本申请这一实施方式中，用户输入信息满足第一条件可以包括以下至少之一：用于对用户输入信息进行反馈的预反馈信息的置信度小于设定置信阈值；接收到用于示出请求对用户输入信息进行人工处理的处理指令；接收到对用户输入信息的反馈提醒信息，反馈提醒信息用于示出需要对用户输入信息进行人工处理。

在本申请这一实施方式中，用于对用户输入信息进行反馈的预反馈信息的置信度小于设定置信阈值，可以采用以下操作确定：获取用户输入信息的上下文信息，根据上下文信息，确定预反馈信息的置信度，判断置信度是否小于设定置信阈值。

这里，对该实施例的应用场景做一示例性说明，用户通过智能客服系统输入信息，通过智能客服系统进行沟通和交流。若系统自动对用户输入信息进行反馈，则对用户输入信息的反馈是否满足用户期望，主要取决于系统根据系统内已经完成的多个自然语言理解模型得到的预反馈信息的置信度是否达到设定值。若预反馈信息的置信度小于设定置信阈值，则说明系统自动对用户输入信息进行的反馈无法满足用户期望。

在本申请这一实施方式中，用户输入信息如果是用户与系统的第一轮交互过程，则这里用户输入信息尽具有下文内容，如果用户已经与系统进行过一轮次及以上的交流，则这里可以获得用户输入信息的上下文信息。根据上下文信息，确定预反馈信息的置信度，可以采用自然语言理解领域通用的置信度确定方法。这里设定置信阈值可以根据实际需求进行设定，本申请对此不做具体限定。

在本申请这一实施方式中，可以通过人工指令库，将用户输入信息与人工指令库的多个历史用户输入信息进行匹配，以实现基于用户输入信息进行检索。其中，人工指令库包括多个历史指令以及历史指令与相应的历史用户输入信息的对应关系。

具体的，参考上述示例性应用场景，用户与系统进行交互可以是一个用户与系统的多次交互，也可以是多个用户与系统的多次交互。人工指令库可以记录用户与系统交互过程中转人工的信息处理过程，将历史用户输入信息与对该历史用户输入信息的历史指令以映射等形式进行一一对应的记录。如此，人工指令库中可以包括多个历史用户输入信息与相对应的多个历史指令的对应关系。为了保证人工指令库的有效性，同时有效节约存储资源，可以采用最少使用等方式对人工指令库的中设定时间内被检索到的频率小于设定频率的历史用户输入信息进行删除，删除历史用户输入信息的同时删除相应的历史指令。这里还可以采用最近使用等方式，将人工指令库中设定时间之前录入的历史用户输入信息和相应的历史指令删除。

在操作103中，如果检索得到的检索结果示出人工指令库中不具有与用户输入信息匹配的历史指令，发出信息获取指令。

在本申请这一实施方式中，可以通过人工指令库，将用户输入信息与人工指令库的多个历史用户输入信息进行匹配的结果可以包括：人工指令库中不具有与用户输入信息匹配的历史指令和人工指令库中不具有与用户输入信息匹配的历史指令。如果人工指令库中不具有与用户输入信息匹配的历史指令，则这里，可以发出信息获取指令，以获取人工指导信息。

操作104中，接收响应于信息获取指令的人工指导信息。

在本申请这一实施方式中，人工指导信息可以是对用户输入信息进行反馈所需要的信息。例如：用户输入信息为“我是一个网红，可以免费为你们做推广，能提供一部你们最新款手机吗”，这里经过自然语言理解可以确定对用户输入信息进行反馈需要如下信息：确认该用户是否确实为一网红，具体的可以通过获取该用户的关注量等信息确定；以及提供最新款手机的标准，具体的可以以该用户的关注量是否大于设定阈值确定。举例说明，这里最终生成的人工指导信息可以为“根据对话，获取用户当前关注量，如果关注量大于5000，可以接受用户推广请求，留下用户联系方式；否则委婉拒绝用户”。

操作105中，根据人工指导信息，生成用于对用户输入信息进行反馈的反馈信息。

在本申请这一实施方式中，根据人工指导信息，可以采用以下操作生成用于对用户输入信息进行反馈的反馈信息：对人工指导信息进行自然语言理解，得到信息理解结果，根据信息理解结果，生成反馈信息。其中，信息理解结果用于表征对用户输入信息进行反馈所需要获取的关联信息。

举例说明，用户输入信息为“我是一个网红，可以免费为你们做推送，能提供一部你们最新款手机吗？”。人工指导信息可以为“根据对话，获取用户当前关注量，如果关注量大于5000，可以接受用户推广请求，留下用户联系方式；否则委婉拒绝用户”。对人工指导信息进行自然语言理解，得到的信息理解结果可以包括：1、需要确认该用户是否确实为一网红，具体的可以通过获取该用户的关注量等信息确定；以及，具体的可以以该用户的关注量是否大于设定阈值确定。2、获取关注量之后，需要根据关注量与设定关注阈值的关系，确定下一轮交互的内容，其中设定关注阈值根据能够提供最新款手机的标准设定。例如：若关注量大于阈值，接受用户推广请求，留下联系方式，否则，婉拒。以上信息理解结果均可以称为用于表征对用户输入信息进行反馈所需要获取的关联信息。

根据对人工指导信息进行自然语言理解得到的信息理解结果，生成的第一条反馈信息可以是“请问您的关注量是多少？”，此时可以获得该用户的实际关注量，并基于关注量进行再一次判断。如此，可以使得系统获得对新的复杂场景的多轮次交互过程的处理能力，而不是依赖于人工不断的与用户进行交互。

进一步的，在本申请另一实施方式中，还根据信息理解结果，更新人工指令库。

在本申请这一实施方式中，如果检索结果示出人工指令库中具有与用户输入信息匹配的历史指令，则根据与用户输入信息匹配的历史指令，对用户输入信息进行反馈。

如此，人工指令库不断进行更新，针对类似场景，可以直接通过人工指令库进行检索，有效避免直接转人工处理所带来的人工处理工作量大、不同的人工坐席进行人工处理时所带来的语言风格等个体差异的问题，显著减少转人工的次数，从响应速度和对用户输入信息的信息反馈针对性方面显著提升用户体验。

图2示出了本申请另一实施例信息反馈方法的实现流程示意图。

参考图2，本申请实施例信息反馈方法，至少包括如下操作流程：

操作201，接收用户输入信息。

操作202，在用户输入信息满足第一条件的情况下，获取用户输入信息的上下文信息。

操作203，通过人工指令库，基于用户输入信息进行检索。

在本申请这一实施方式中，人工指令库包括多个历史指令以及历史指令与相应历史用户输入信息的历史上下文信息的对应关系。

这里，可以获取用户输入信息的上下文信息，并将所获取的上下文信息与多个历史指令对应的历史上下文信息进行匹配。

操作204，如果检索得到的检索结果示出人工指令库中不具有与用户输入信息匹配的历史指令，发出信息获取指令。

操作205，接收响应于信息获取指令的人工指导信息。

操作206，根据人工指导信息，生成用于对用户输入信息进行反馈的反馈信息。

其中，操作201、操作204～操作206的具体实现过程与图1所示实施例中操作101～操作105的具体实现过程相类似，这里不再赘述。

图3a示出了本申请实施例信息反馈方法一具体应用示例的应用场景示意图。

参考图3a，本申请这一具体应用示例中，信息反馈方法应用于智能客服系统中，智能客服系统的交互界面示意图301中示出了用户与系统的多轮交互过程。智能客服系统302简单示出了系统对用户输入信息的处理过程，人工坐席303在需要获取人工指导信息时，向智能客服系统输入人工指导信息。系统对用户输入信息的处理过程、人工坐席303向系统输入人工指导信息等过程，将在下文结合图4进行详细说明，此处不再赘述。

图3b示出了图3a这一具体应用示例的应用场景与现有技术的对比关系示意图。

参考图3b可知，现有技术中用户304除了需要与智能客服系统302之间进行交互之外，还需要在遇到智能客服系统无法解决的问题时与人工坐席303之间进行交互。而本申请信息反馈方法的具体应用示例中，用户只需要与智能客服系统进行交互，在遇到智能客服系统无法解决的问题时，通过智能客服系统向人工坐席303获取信息，进行自然语言理解和模型训练等操作，减少了用户与人工坐席303之间的直接交互，节省人工坐席资源，如此，用户所获取的信息都是经过智能客服系统进行处理之后的。保证了交互语言风格等交互形式的统一性。进一步的，智能客户系统不断更新人工指令库，快速有效处理类似的复杂问题，显著提升用户体验。

图4示出了本申请实施例信息反馈方法这一具体应用示例的实现流程示意图。

参考图4，本申请这一具体应用示例中，信息反馈方法至少可以包括如下流程：

操作401，进入当前轮对话。

操作402，接收用户输入信息—用户新一轮输入问题(Query)。

操作403，获取用户输入信息的上下文信息(Context)。

这里用户输入信息的上下文信息，可以包括当前轮次的前一轮次或前多轮次交互信息，还包括系统基于现有的自然语言理解功能，对用户输入信息进行理解之后得到的预反馈信息。

操作404，将Query和Context输入对预反馈信息进行置信度得分的评分模型。这里评分模型采用自然语言理解领域通用的置信度评分模型即可，本申请对此不做具体限定。

操作405，调用评分模型，获得该预反馈信息的置信度。

操作406，判断置信度是否大于设定置信阈值。若是，则执行操作407；否则，执行操作408。

操作407，基于当前Query、Context和智能客服系统的现有配置，输出当前轮次的反馈信息。

操作408，基于当前Query和Context，通过人工指令库进行检索，检索结果同样可以根据自然语言理解领域通用的置信度评分，得到检索结果的评分。

操作409，判断检索结果的评分是否大于设定匹配阈值。若是，则执行操作412；否则，执行操作410。

操作410，将当前Query和Context推送给人工坐席。

操作411，获取新的人工指导信息。

操作412，基于当前Query、Context和人工指导信息，调用智能客服系统的自然语言理解模块进行自然语言理解，得到用户输入信息的反馈信息。

操作413，更新人工指令库。

操作414，当前轮次对话处理结束。

本申请实施例信息反馈方法，通过接收用户输入信息，在用户输入信息满足第一条件的情况下，通过人工指令库，基于用户输入信息进行检索，如果检索得到的检索结果示出人工指令库中不具有与用户输入信息匹配的历史指令，则发出信息获取指令，接收响应于信息获取指令的人工指导信息，根据人工指导信息，生成用于对用户输入信息进行反馈的反馈信息。由此，如果用户输入信息满足第一条件，则通过人工指令库对用户输入信息进行检索，有效避免了直接转人工，在人工指令库不具有匹配的指令时，通过获取人工指导信息的方式，生成用户输入信息的反馈信息，有效处理用户输入信息所包括的新问题。

同理，基于上文信息反馈方法，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有程序，当程序被处理器执行时，使得处理器至少执行如下的操作步骤：操作101，接收用户输入信息；操作102，在用户输入信息满足第一条件的情况下，通过人工指令库，基于用户输入信息进行检索；操作103，如果检索得到的检索结果示出人工指令库中不具有与用户输入信息匹配的历史指令，发出信息获取指令；操作104，接收响应于信息获取指令的人工指导信息；操作105，根据人工指导信息，生成用于对用户输入信息进行反馈的反馈信息。

进一步，基于如上文信息反馈方法，本申请实施例还提供一种信息反馈装置，如图5，该装置50包括：第一接收模块501，用于接收用户输入信息；检索模块502，用于在用户输入信息满足第一条件的情况下，通过人工指令库，基于用户输入信息进行检索；信息获取模块503，用于如果检索得到的检索结果示出人工指令库中不具有与用户输入信息匹配的历史指令，发出信息获取指令；第二接收模块504，用于接收响应于信息获取指令的人工指导信息；生成模块505，用于根据人工指导信息，生成用于对用户输入信息进行反馈的反馈信息。

在本申请这一实施方式中，生成模块505包括：理解子模块，用于对人工指导信息进行自然语言理解，得到信息理解结果，信息理解结果用于表征对用户输入信息进行反馈所需要获取的关联信息；生成子模块，用于根据信息理解结果，生成反馈信息。

在本申请这一实施方式中，装置50还包括：更新模块，用于根据信息理解结果，更新人工指令库。

在本申请这一实施方式中，检索模块502包括：第一匹配子模块，用于将用户输入信息与人工指令库的多个历史用户输入信息进行匹配；其中，人工指令库包括多个历史指令以及历史指令与相应的历史用户输入信息的对应关系。

在本申请这一实施方式中，检索模块502包括：信息获取子模块，用于获取用户输入信息的上下文信息；第二匹配子模块，用于将上下文信息与多个历史指令对应的历史上下文信息进行匹配；其中，人工指令库包括多个历史指令以及历史指令与相应历史用户输入信息的上下文信息的对应关系。

在本申请这一实施方式中，装置50还包括：反馈模块，用于如果检索结果示出人工指令库中具有与用户输入信息匹配的历史指令，根据与用户输入信息匹配的历史指令，对用户输入信息进行反馈。

在本申请这一实施方式中，用户输入信息满足第一条件包括以下至少之一：用于对用户输入信息进行反馈的预反馈信息的置信度小于设定置信阈值；接收到用于示出请求对用户输入信息进行人工处理的处理指令；接收到对用户输入信息的反馈提醒信息，反馈提醒信息用于示出需要对用户输入信息进行人工处理。

在本申请这一实施方式中，用于对用户输入信息进行反馈的预反馈信息的置信度小于设定置信阈值，采用以下操作确定：获取用户输入信息的上下文信息；根据上下文信息，确定预反馈信息的置信度；判断置信度是否小于设定置信阈值。

进一步，基于如上文信息反馈方法，本申请实施例还提供一种设备，如图6，该设备60包括：至少一个处理器601、以及与处理器601连接的至少一个存储器602、总线603；其中，处理器601、存储器602通过总线603完成相互间的通信；处理器601用于调用存储器602中的程序指令，以执行上述信息反馈方法。

这里需要指出的是：以上对针对信息反馈装置及设备实施例的描述，与前述图1至4所示的方法实施例的描述是类似的，具有同前述图1至4所示的方法实施例相似的有益效果，因此不做赘述。对于本申请信息反馈装置及设备实施例中未披露的技术细节，请参照本申请前述图1至4所示的方法实施例的描述而理解，为节约篇幅，因此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。