展厅数字人实现方法、装置、设备及存储介质

技术领域

本发明涉及物业智能技术领域，尤其涉及展厅数字人实现方法、装置、设备及存储介质。

背景技术

展厅通常会展示企业或者其他组织的发展史和重要人物介绍，例如在物业企业的展厅中，展厅管家负责相关内容的讲解，例如讲述物业企业的介绍、物业企业的服务内容、物业企业的荣誉等等，另外，展厅管家还会与用户进行互动，回答用户的问题。在上述过程中，包含大量的机械而重复的工作，导致工作量较大，负担大，并且用户提出的问题多种多样，涉及的领域可能与物业相关，有些与物业并不相关，导致展厅管家也无法准确给出答案。

发明内容

本发明实施例提供了展厅数字人实现方法、装置、设备及存储介质，旨在解决现有展厅在讲解过程中存在的效率低、准确率低的问题。

第一方面，本发明实施例提供了基于多模态学习的展厅数字人实现方法，其中，包括：

通过语音采集单元采集展厅人员的语音数据；

使用语音转文本模型将采集的语音数据转化为原始文本，并对所述原始文本进行过滤处理，以去掉无用信息得到输入文本；

通过意图识别模型对所述输入文本进行意图识别，得到所述输入文本的类别；其中所述类别包括物业相关文本和非物业相关文本；

针对所述物业相关文本，通过基于SIMBERT网络和GPT3网络的语义匹配模型进行对答；

针对所述非物业相关文本，通过经强化学习的基模型GPT2进行对答。

第二方面，本发明实施例提供了一种基于多模态学习的展厅数字人实现装置，其中，包括：

语音采集单元，用于采集展厅人员的语音数据；

文本转化单元，用于使用语音转文本模型将采集的语音数据转化为原始文本，并对所述原始文本进行过滤处理，以去掉无用信息得到输入文本；

意图识别单元，用于通过意图识别模型对所述输入文本进行意图识别，得到所述输入文本的类别；其中所述类别包括物业相关文本和非物业相关文本；

物业对答单元，用于针对所述物业相关文本，通过基于SIMBERT网络和GPT3网络的语义匹配模型进行对答；

非物业对答单元，用于针对所述非物业相关文本，通过经强化学习的基模型GPT2进行对答。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于多模态学习的展厅数字人实现方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如第一方面所述的基于多模态学习的展厅数字人实现方法。

本发明实施例提供了展厅数字人实现方法、装置、设备及存储介质，方法包括：通过语音采集单元采集展厅人员的语音数据；使用语音转文本模型将采集的语音数据转化为原始文本，并对所述原始文本进行过滤处理，以去掉无用信息得到输入文本；通过意图识别模型对所述输入文本进行意图识别，得到所述输入文本的类别；其中所述类别包括物业相关文本和非物业相关文本；针对所述物业相关文本，通过基于SIMBERT网络和GPT3网络的语义匹配模型进行对答；针对所述非物业相关文本，通过经强化学习的基模型GPT2进行对答。本发明实施例通过意图识别模型进行意图识别，并根据输入文本的类别使用不同的模型进行对答，从而提高了对答准确率，避免了模型过于泛化的对答，针对性更强，并且降低了工作量。本发明也解决了通用大模型无法解决物业垂直领域一些相关问题，实现数字人的智能回答。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于多模态学习的展厅数字人实现方法的流程示意图；

图2为本发明实施例提供的一种基于多模态学习的展厅数字人实现装置的示意性框图；

图3为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本发明实施例提供的一种基于多模态学习的展厅数字人实现方法的流程示意图，该方法包括步骤S101～S105：

S101、通过语音采集单元采集展厅人员的语音数据；

S102、使用语音转文本模型将采集的语音数据转化为原始文本，并对所述原始文本进行过滤处理，以去掉无用信息得到输入文本；

S103、通过意图识别模型对所述输入文本进行意图识别，得到所述输入文本的类别；其中所述类别包括物业相关文本和非物业相关文本；

S104、针对所述物业相关文本，通过基于SIMBERT网络和GPT3网络的语义匹配模型进行对答；

S105、针对所述非物业相关文本，通过经强化学习的基模型GPT2进行对答。

本发明实施例中，先通过意图识别模型确定输入文本分是物业相关内容，还是非物业相关文本，并针对不同类别的输入文本进行不同的处理。具体的，对于物业相关文本，采用基于SIMBERT网络和GPT3网络的语义匹配模型进行语义匹配；对于非物业相关文本，采用的是基模型GPT2通过RLHF(强化学习)的优化模型生成对应答案。通过针对性的对答，提高对答准确率，避免了模型过于泛化的对答，针对性更强，并且降低了工作量。本发明也解决了通用大模型无法解决物业垂直领域一些相关问题，实现数字人的智能回答。

具体的，在步骤S101中，首先通过语音采集单元采集展厅人员的语音数据。具体可以将语音采集单元设置于展厅模块中，然后采集展厅人员即展厅场所的人员的语音数据。

在步骤S102中，使用语音转文本模型进行文本转化，即将语音数据转化为文本数据，具体可以使用开源的语音转文本模型，例如科大讯飞开源的语音转文本API。然后对原始文本进行数据处理，例如过滤(即清洗)，以便去除掉其中的无用信息，例如无用字符和停用词。

然后可以根据业务实际需求，使用标注平台对输入文本进行标注，记录不同输入文本的标签，然后将标注信息存入json格式文件中。

输入文本可以具体划分为训练集、验证集和测试集，通过训练集进行训练，通过验证集进行验证，以及通过测试集进行测试。

在一实施例中，所述步骤S103包括：

对于所述输入文本，获取词节点和文档节点，构建包含所述词节点和文档节点的异质图；

将所述异质图中所有词节点和文档节点进行初始化，得到所有节点的特征向量；

将所述特征向量输入GCN模块进行传播，并将GCN模块的输出进行激活，得到关于类别的分布信息；

将所述分布信息输入至BERT模块进行增强处理，得到所述输入文本的类别。

本实施例中，意图识别模型主要包括GCN模块和BERT模块。

本实施例中，对于异质图，包含词节点与文档节点，各节点之间的边是指词节点与词节点、词节点与文档节点之间所连接的边。各边的权重可以根据所连接节点的关系决定，例如假设边的两个节点均为词节点，那么边的权重表示单词之间的互信息，假设边的两个节点分别是词节点和文档节点，那么边的权重表示单词和文档的相关性。

构建异质图之后，那么可以获取所有节点构成的特征矩阵，再将所述异质图中所有词节点和文档节点进行初始化，得到所有节点的特征向量，再输入到GCN模块进行传播，并将GCN模块的输出进行激活，得到关于类别的分布信息；再将所述分布信息输入至BERT模块进行增强处理，得到输入文本的类别。也就是确定输入文本是物业相关文本还是非物业相关文本。

在一实施例中，所述步骤S104包括：

通过BM25和BOOL对所述物业相关文本和物业问答语料库进行粗排，得到若干候选结果；

通过预训练的SIMBERT网络和GPT3网络对所述若干候选结果进行细排，得到最终答案。

针对物业相关文本，可以将其按标签按比例进行划分，例如将70％作为训练集，将20％作为验证集，将10％作为测试集。具体来说，本实施例分为两步，第一步进行粗排，第二步进行细排，也就是先进行粗略的排序，然后进行精细的排序。首先通过BM25和BOOL对所述物业相关文本和物业问答语料库进行粗排，取排序靠前的若干候选结果，然后通过预训练的SIMBERT网络和GPT3网络进行细排，取排序最前的结果作为最终答案。

在一实施例中，SIMBERT网络的预训练过程包括：

对物业问答语料库中的问答语料进行数据增强，使得对应每个问答语料衍生n个相似问答语料；

将数据增强后的问答语料输入至SIMBERT网络，并使用SGD随机梯度下降方法进行训练，在训练迭代到满足预设条件后停止训练。

本实施例中，首先对物业问答语料库的问答语料进行数据增强，针对每个问答语料衍生n个相似问答语料。

再设定初始训练参数，并将数据增强后的训练样本送到SIMBERT网络进行训练；训练过程中使用SGD随机梯度下降方法，训练迭代到300个epoch后停止训练，保存训练好的模型。

再将之前划分好的验证集对模型进行验证，查看模型训练结果指标。

在一实施例中，所述通过预训练的SIMBERT网络和GPT3网络对所述若干候选结果进行细排，得到最终答案，包括：

将所述若干候选结果输入预训练的SIMBERT网络和GPT3网络，分别得到第一特征和第二特征；

将所述第一特征和第二特征融合，得到各候选结果的融合特征；

对各候选结果的融合特征与所述物业相关文本进行匹配，得到匹配度最高的候选结果，并作为最终答案。

本实施例采用了特征融合的方式，结合了SIMBERT网络和GPT3网络，进行ebmedding语义匹配，使得匹配结果更加准确。

在一实施例中，所述步骤S105包括：

收集人工编写的期望输出的数据集，并使用所述数据集来有监督学习训练基模型GPT2得到生成模型；

对问答语料中的答案进行排序，并利用排序结果对奖励模型进行训练；

使用所述奖励模型作为奖励函数，以强化学习的方式，微调监督学习训练出来的生成模型。

在本实施例中，首先基于基模型GPT2来进行有监督学习训练，具体收集人工编写的期望模型输出的数据集，并使用所述数据集来训练生成模型。

然后收集人工标注的模型多个输出之间的排序数据集，即对问答语料中的答案进行排序，并利用排序结果训练奖励模型，以预测用户更喜欢哪个模型的输出。

然后基于强化学习loss(损失)持续迭代生成模型，使用奖励模型作为奖励函数，以强化学习的方式，微调监督学习训练出来的生成模型。

在一实施例中，所述对问答语料中的答案进行排序，并利用排序结果对奖励模型进行训练，包括：

通过标注形成偏好结果，并对所述偏好结果进行随机交叉验证，然后取中位数作为答案的评分结果。

本实施例修改了RLHF(人类反馈强化学习)中的奖励机制。现有技术中，只是让标注人员标注哪个更好，形成偏好数据集。但偏好只是说哪个比哪个好，而非哪个有多好，即标注存在主观的意志，本实施例则是将标注人员的打分又做个随机交叉验证，然后取中位数作为评分结果，使其更具随机性。

本发明实施例还提供一种基于多模态学习的展厅数字人实现装置，该基于多模态学习的展厅数字人实现装置用于执行前述基于多模态学习的展厅数字人实现方法的任一实施例。具体地，请参阅图2，图2是本发明实施例提供的基于多模态学习的展厅数字人实现装置的示意性框图。该基于多模态学习的展厅数字人实现装置200可以配置于服务器中。

该基于多模态学习的展厅数字人实现装置200可以包括：

语音采集单元201，用于采集展厅人员的语音数据；

文本转化单元202，用于使用语音转文本模型将采集的语音数据转化为原始文本，并对所述原始文本进行过滤处理，以去掉无用信息得到输入文本；

意图识别单元203，用于通过意图识别模型对所述输入文本进行意图识别，得到所述输入文本的类别；其中所述类别包括物业相关文本和非物业相关文本；

物业对答单元204，用于针对所述物业相关文本，通过基于SIMBERT网络和GPT3网络的语义匹配模型进行对答；

非物业对答单元205，用于针对所述非物业相关文本，通过经强化学习的基模型GPT2进行对答。

在一实施例中，所述意图识别单元203包括：

异质图构建单元，用于对于所述输入文本，获取词节点和文档节点，构建包含所述词节点和文档节点的异质图；

初始化单元，用于将所述异质图中所有词节点和文档节点进行初始化，得到所有节点的特征向量；

传播单元，用于将所述特征向量输入GCN模块进行传播，并将GCN模块的输出进行激活，得到关于类别的分布信息；

增强单元，用于将所述分布信息输入至BERT模块进行增强处理，得到所述输入文本的类别。

在一实施例中，所述物业对答单元204包括：

粗排单元，用于通过BM25和BOOL对所述物业相关文本和物业问答语料库进行粗排，得到若干候选结果；

细排单元，用于通过预训练的SIMBERT网络和GPT3网络对所述若干候选结果进行细排，得到最终答案。

在一实施例中，SIMBERT网络的预训练过程包括：

对物业问答语料库中的问答语料进行数据增强，使得对应每个问答语料衍生n个相似问答语料；

将数据增强后的问答语料输入至SIMBERT网络，并使用SGD随机梯度下降方法进行训练，在训练迭代到满足预设条件后停止训练。

在一实施例中，所述细排单元包括：

提取单元，用于将所述若干候选结果输入预训练的SIMBERT网络和GPT3网络，分别得到第一特征和第二特征；

融合单元，用于将所述第一特征和第二特征融合，得到各候选结果的融合特征；

匹配单元，用于对各候选结果的融合特征与所述物业相关文本进行匹配，得到匹配度最高的候选结果，并作为最终答案。

在一实施例中，所述非物业对答单元205包括：

生成单元，用于收集人工编写的期望输出的数据集，并使用所述数据集来有监督学习训练基模型GPT2得到生成模型；

训练单元，用于对问答语料中的答案进行排序，并利用排序结果对奖励模型进行训练；

奖励单元，用于使用所述奖励模型作为奖励函数，以强化学习的方式，微调监督学习训练出来的生成模型。

在一实施例中，所述训练单元包括：

验证单元，用于通过标注形成偏好结果，并对所述偏好结果进行随机交叉验证，然后取中位数作为答案的评分结果。

本发明实施例通过意图识别模型进行意图识别，并根据输入文本的类别使用不同的模型进行对答，从而提高了对答准确率，避免了模型过于泛化的对答，针对性更强，并且降低了工作量。

上述基于多模态学习的展厅数字人实现装置可以实现为计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。

请参阅图3，图3是本发明实施例提供的计算机设备的示意性框图。该计算机设备3是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图3，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括非易失性存储介质303和内存储器304。

该非易失性存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行基于多模态学习的展厅数字人实现方法。

该处理器302用于提供计算和控制能力，支撑整个计算机设备300的运行。

该内存储器304为非易失性存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行基于多模态学习的展厅数字人实现方法。

该网络接口305用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下功能：

通过语音采集单元采集展厅人员的语音数据；

使用语音转文本模型将采集的语音数据转化为原始文本，并对所述原始文本进行过滤处理，以去掉无用信息得到输入文本；

通过意图识别模型对所述输入文本进行意图识别，得到所述输入文本的类别；其中所述类别包括物业相关文本和非物业相关文本；

针对所述物业相关文本，通过基于SIMBERT网络和GPT3网络的语义匹配模型进行对答；

针对所述非物业相关文本，通过经强化学习的基模型GPT2进行对答。

本领域技术人员可以理解，图3中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图3所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器302可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：

通过语音采集单元采集展厅人员的语音数据；

使用语音转文本模型将采集的语音数据转化为原始文本，并对所述原始文本进行过滤处理，以去掉无用信息得到输入文本；

通过意图识别模型对所述输入文本进行意图识别，得到所述输入文本的类别；其中所述类别包括物业相关文本和非物业相关文本；

针对所述物业相关文本，通过基于SIMBERT网络和GPT3网络的语义匹配模型进行对答；

针对所述非物业相关文本，通过经强化学习的基模型GPT2进行对答。

在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。