语义识别方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种语义识别方法、装置、电子设备及存储介质。

背景技术

随着全民医疗迅速推进，患者诊后管理成为了医疗流程的重要一环。诊后管理包含院内外、从治疗到康复的整个流程，及时回复患者问询是其重要组成部分。随着患者数量增加，完全依靠人工回复对医护资源造成了极大浪费。

目前，虽然存在利用人工智能辅助回复患者提问，但是其往往无法准确的识别患者意图，导致回复内容与患者的提问相关性较低，依然需要依靠人工回复。

发明内容

为了解决上述问题，本申请提出一种语义识别方法、装置、电子设备及存储介质，能够准确地确定出输入信息所对应的文本意图。

根据本申请实施例的第一方面，提供了一种语义识别方法，包括：

获取患者的输入信息；

基于所述输入信息和所述患者的历史诊疗信息，确定所述输入信息的语义向量；

利用预设的文本与文本意图的对应关系，确定所述输入信息的语义向量对应的文本意图

根据本申请实施例的第二方面，提供了一种语义识别装置，包括：

获取模块，用于获取患者的输入信息；

确定模块，用于基于所述输入信息和所述患者的历史诊疗信息，确定所述输入信息的语义向量；

识别模块，用于利用预设的文本与文本意图的对应关系，确定所述输入信息的语义向量对应的文本意图。

本申请第三方面提供了一种电子设备，包括：

存储器和处理器；

所述存储器与所述处理器连接，用于存储程序；

所述处理器，通过运行所述存储器中的程序，实现上述的语义识别方法。

本申请第四方面提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现上述的语义识别方法。

上述申请中的一个实施例具有如下优点或有益效果：

通过引入患者的历史诊疗信息，避免了患者信息的缺失，如此，将患者的历史诊疗信息与患者的输入信息融合，可以更准确且全面地确定出输入信息的语义向量。这样，就能够在预设的文本与文本意图的对应关系中更准确地确定出输入信息所对应的文本意图，从而大幅度降低人工回复的次数，实现智能地对患者的输入信息进行处理。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种语义识别方法的流程示意图；

图2为本申请实施例提供的预设模型训练的示意图；

图3为本申请实施例提供的预训练模型训练的示意图；

图4为本申请实施例提供的调整预训练模型的示意图；

图5为本申请实施例提供的Attention-Mask进行修正的示意图；

图6为本申请实施例提供的一种语义识别方法中确定历史诊疗信息的流程示意图；

图7为本申请实施例提供的构建预设的医疗术语与词语的映射关系的示意图；

图8为本申请实施例提供的训练模型的示意图；

图9为本申请实施例提供的模型使用的示意图；

图10为本申请实施例提供的又一种语义识别方法的流程示意图；

图11为本申请实施例提供的一种语义识别装置的结构示意图；

图12为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

本申请实施例技术方案适用于应用在各种语义识别的场景中，例如，线上问诊场景、智慧医疗场景、诊后复诊场景等。采用本申请实施例技术方案，能够准确地确定出输入信息所对应的文本意图。

本申请实施例技术方案可示例性地应用于处理器、电子设备、服务器(包括云服务器)等硬件设备，或包装成软件程序被运行，当硬件设备执行本申请实施例技术方案的处理过程，或上述软件程序被运行时，可以实现智能地对患者的输入信息进行处理的目的。本申请实施例只对本申请技术方案的具体处理过程进行示例性介绍，并不对本申请技术方案的具体实现形式进行限定，任意的可以执行本申请技术方案处理过程的技术实现形式，都可以被本申请实施例所采用。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

示例性方法

图1是根据本申请一实施例的语义识别方法的流程图。在一示例性实施例中，提供了一种语义识别方法，包括：

S110、获取患者的输入信息；

S120、基于所述输入信息和所述患者的历史诊疗信息，确定所述输入信息的语义向量；

S130、利用预设的文本与文本意图的对应关系，确定所述输入信息的语义向量对应的文本意图。

在步骤S110中，示例性地，患者指的是患有疾病的或者身体感到不适的生命体。例如，去医院或在线上问诊的人，去宠物医院看病的动物等。输入信息指的是患者发出的语音或文字，输入信息是用于表示患者身体情况的信息。可选地，输入信息可以是患者在终端设备上输入的文字，还可以是通过终端设备采集到的患者发出的语音。其中，终端设备可以是手机、平板等终端。

具体地，在获取患者输入文字时，则可以直接获取患者输入文字作为输入信息；在获取患者发出的语音时，则可以通过语音识别技术将上述语音转换为文字，并将转换得到的文字作为输入信息。进一步地，在进行语音转换时，可以利用医疗术语词集对患者的表达方式进行修正，以使转换后的文本更加符合医学领域的表达方式。其中，医疗术语词集是基于医学术语构建的词集。

在步骤S120中，示例性地，患者的历史诊疗信息，指的是在过去的时间内患者所进行的就诊和治疗信息。患者的历史诊疗信息用于补充输入信息中缺失的信息，并对患者的真实意图加以限定。可选地，患者的历史诊疗信息可以包括：疾病信息(即患者曾患过的疾病)、曾经做过的手术信息(即曾经做过的手术)、药物信息(即患者曾服用的药物)、身体是否有创口、是否属于特殊人群。其中，特殊人群包括：孕妇、老人、残疾人等。

具体地，在现有的复诊场景中，原始输入信息为患者描述身体状况的文本，由于患者没有足够的医学知识，描述口语化较为严重；同时由于诊后是诊疗过程的延续，患者在问询过程中常会省略前期诊疗信息(如医生做出的诊断、接受的治疗等)造成信息缺失。因此仅利用患者输入信息识别意图往往效果不佳。所以可以是将输入信息与历史诊疗信息进行拼接处理，再对拼接后的信息进行编码，得到对应的语义向量。还可以是分别对输入信息和历史诊疗信息进行编码，再对编码后的信息进行拼接处理得到对应的语义向量。如此，将历史诊疗信息和患者的输入信息相结合，生成结构化的诊疗信息，可解决信息输入缺失导致的细粒度意图识别错误的问题。

进一步地，还可以判断输入信息和历史诊疗信息是否信息匹配，再根据匹配结果确定输入信息的语义向量；若匹配，则根据输入信息和患者的历史诊疗信息确定输入信息的语义向量；若不匹配，则根据输入信息确定输入信息的语义向量。其中，信息匹配指的是输入信息和历史诊疗信息不存在冲突。例如，历史诊疗信息的手术信息是膝盖做过固定手术，而患者的输入信息是胃间歇性疼痛。可见患者输入信息与历史诊疗信息无关。

在步骤S130中，示例性地，预设的文本与文本意图的对应关系包括预先存储的不同的文本及其对应的文本意图，文本意图用于表示通过文本想要表达的目的。例如，文本为“骨折手术两个月了腿还是痛是因为什么？”对应的文本意图为“骨折术后疼痛”。可选地，文本与文本意图的对应关系可以是以文本与文本意图的对应关系库的形式存储，还可以是以列表的形式存储。

具体地，将文本与文本意图的对应关系中的文本通过语义向量进行表示，将文本与文本意图的对应关系中文本对应的语义向量分别与输入信息的语义向量进行语义距离计算，将语义距离最近的文本所对应的文本意图作为输入信息的文本意图。

在本申请的技术方案中，通过引入患者的历史诊疗信息，避免了患者信息的缺失，如此，将患者的历史诊疗信息与患者的输入信息融合，可以更准确且全面地确定出输入信息的语义向量。这样，就能够在预设的文本与文本意图的对应关系中更准确地确定出输入信息所对应的文本意图，从而大幅度降低人工回复的次数，实现智能地对患者的输入信息进行处理。

在一种实施方式中，所述基于所述输入信息和所述患者的历史诊疗信息，确定所述输入信息的语义向量，包括：

将所述输入信息和所述患者的历史诊疗信息输入至预设模型中，输出所述输入信息对应的语义向量；

其中，所述预设模型是根据医疗文本训练数据集对预训练模型进行文本语义特征提取训练得到的；所述预训练模型是根据通用领域的文本训练数据集对神经网络模型进行文本语义特征提取训练得到的；其中，医疗文本训练数据集包括：患者输入文本训练数据和患者的历史诊疗信息。

示例性地，如图2所示，预设模型用于对医疗领域数据进行文本语义特征提取的模型。由于医疗领域相关标注语料少，因此先采用通用领域的标注语料进行训练，得到一个基础模型(即预训练模型)，其中，通用领域用于表示无个性化需求的领域。再利用少量医疗领域标注语料和历史诊疗信息对预训练模型进行微调，以生成预设模型。如此，可提升模型对语义信息的表示能力。在本实施例中，预训练模型采用的神经网络模型可以是BERT编码器。

进一步地，在对预训练模型进行微调之后，还可以通过海量无标注的询问数据对微调后的模型进行蒸馏处理，如此对模型进行压缩，得到的蒸馏后的预设模型。

优选地，其中，所述预训练模型的生成方法包括：

基于所述通用领域的文本训练数据集对神经网络模型进行文本语义特征提取训练，并确定所述文本训练数据对应的空间角损失函数和所述文本训练数据之间的语义关系损失函数；

基于所述空间角损失函数和所述语义关系损失函数优化所述神经网络模型，得到预训练模型。

示例性地，空间角损失函数用于从语义向量自身在空间角上的特征对神经网络模型(如编码器)进行调整。语义关系损失函数用于从语义向量间的关系上的特征对神经网络模型(如编码器)进行调整。可选地，可以通过空间角损失函数和语义关系损失函数的和构成目标损失函数，如此通过目标损失函数优化所述神经网络模型，得到预训练模型。如此，基于有监督的对比学习与分类任务训练编码器，让模型同时关注语义本身的远近以及人为定义的类别信息，可有效提升编码器输出应用至语义度量时的效果。

在本实施例中，如图3所示，以Bert编码器为例，通用领域的文本训练数据集均通过编码器进行编码，再进行均值池化处理得到对应的语义向量。

例如，以S＝[w

x

其中，enc(*)表示使用的编码器，w

得到编码器(Bert)输出的“字”向量表示序列后，对序列进行均值池化，即可得到当前输入语句的语义向量表示：

其中，avg(*)表示平均值。

未经调整的Bert生成的语义向量各向异性较为严重，直接利用其输出进行向量相似度计算无法有效衡量句子的语义距离。为调整Bert生成的句向量，基于有标数据，设计了两个任务共同对其进行调整，即有监督的对比学习与分类任务。

设输入的一批数据为：

其中，N为一批数据包含的句子个数。

进一步地，进行有监督地对比学习的任务，由于向量距离的远近本质上是向量之间空间角的大小，因此设计基于角度空间的损失函数(即空间角损失函数)。

优选地，所述空间角损失函数的获取方法包括：

对所述通用领域的文本训练数据集中的第i个文本训练数据进行遮罩处理，得到所述第i个文本训练数据对应的增强数据；i为正整数；

在所述通用领域的文本训练数据集中确定与所述第i个文本训练数据的语义相似的文本训练数据；

利用所述神经网络模型提取所述第i个文本训练数据与增强数据以及所述第i个文本训练数据的语义相似的文本训练数据的语义向量；

通过计算所述第i个文本训练数据与增强数据以及所述第i个文本训练数据的语义相似的文本训练数据的语义向量的空间角，得到空间角损失函数。

示例性地，增强数据用于表示对同一语句中的不同词进行遮罩(MASK)处理后形成的语句。

在本实施例中，对于任意S

其中，θ

如此，有监督对比学习的损失函数，通过将其转换至角度空间并增加决策面间隔，提升模型对数据的区分能力和对噪声数据的鲁棒性。

其次，为基于句子对的分类任务。此处的类别对应句子的语义关系，语义关系定义为相似、无关、相反三类。对于输入语句对，获取两个句子的句向量

其中，

其中，K表示句子间关系的类别数量，f(*)为使用的分类函数，如Softmax，Y

整体的损失函数(即目标损失函数)由两部分损失函数的加权和构成，公式表达如下：

Loss＝Loss

其中，λ为介于[0,1]之间的值。以上两个损失函数分别从语义向量自身在空间角上的特征以及语义向量间在关系上的特征对编码器进行调整，提升了编码器生成具有区分度的语义向量的能力。

如图4所示，经上述训练过程得到的编码器生成的句向量已能较好的用于相似度对比任务。但其采用通用语料训练，编码器缺乏对医疗数据特征的学习，因此需利用医疗数据进行微调。

先构建模型的输入，通过历史诊疗信息补充输入中缺失的信息并对患者的真实意图加以限定。此阶段模型的输入为历史诊疗信息与患者输入语句的拼接，其中，患者输入语句可以是根据预设的医疗术语与词语的映射关系处理后的标准化的语句。在历史诊疗信息的各字段间以及患者输入语句间插入特殊字符[SEP]作为分隔标志；同时，对于历史诊疗信息与患者输入语句分别构建其position-embedding。具体示例如下所示：

患者输入：伤痛是为什么

历史诊疗信息：手术信息：无；药物信息：阿莫西林；有无创口：有等。

模型输入：

[CLS]手术：无[SEP]…[SEP]伤口痛是为什么？[SEP]

position-embedding：

0 1 2 3 4 5…0 1 2 3 4 5 6 7 8 9进一步地，对于“历史诊疗信息”与“患者输入语句”两部分信息，通过Attention-Mask则用来控制不同“字”间的可见性，可以理解的是，Attention机制是Bert的核心，负责进行“字”间的信息交互。在本实施例中，“历史诊疗信息”不应该看见“患者输入语句”，而“患者输入语句”需要看见“历史诊疗信息”。如图5所示，对Bert原有的Attention-Mask进行修正。

此时模型输出包含历史诊疗信息与患者输入语句两部分的编码信息，且位置与输入逐字对应。但历史诊疗信息的作用主要是对患者的输入进行信息补充和限制，在进行语义度量时若显示的利用当前患者输入语句与历史诊疗信息的语义相似信息明显是不合理的。因此模型仅选取患者输入语句对应位置的输出构成向量序列进行下一步计算。

依次对历史诊疗信息与患者输入语句两个向量序列进行均值池化后，即可获得融合诊疗信息的患者输入的语义向量以及“意图-标准句”库(即预设的文本与文本意图的对应关系)中标准句的语义向量。此时不再进行分类和对比学习任务，而是直接对两个语义向量进行语义距离计算。根据相似度及标签的差值对编码器的参数进行微调。此处采用平方损失作为其损失函数，公式如下：

Loss＝(Y

其中，g(*,*)为相似度计算函数，具体使用余弦距离作为语义距离。

在一种实施方式中，如图6所示，所述患者的历史诊疗信息的获取方法包括：

S610、在所述患者的历史医疗信息中提取用户画像信息；其中，所述用户画像信息表示体现用户诊疗情况的信息；

S620、利用所述输入信息对所述用户画像信息进行筛选，得到所述历史诊疗信息。

示例性地，历史医疗信息指患者在当前问询前，曾接受的治疗、服用的药物、被做出的诊断等信息，其可从患者病例中获取，可将其定义为若干指定字段(即槽)。用户画像的生成过程即获取各字段对应的值(即槽值)的过程。槽值的本质为不同类型的实体，因此利用命名实体识别技术对患者最新的病例进行实体抽取。

在本实施例中，用户画像信息包括：疾病信息、手术信息、药物信息、有无创口、是否为特殊人群等。在历史医疗信息和输入信息中分别对疾病信息、手术信息、药物信息、有无创口、是否为特殊人群进行实体抽取。将输入信息抽取的内容与历史医疗信息抽取的内容进行对比，若历史医疗信息抽取的内容与输入信息抽取的内容冲突，则以输入信息抽取的内容为准。若历史医疗信息抽取的内容与输入信息抽取的内容相同则保留历史医疗信息抽取的内容作为历史诊疗信息。若历史医疗信息抽取的内容不存在输入信息抽取的内容中，则保留历史医疗信息抽取的内容作为历史诊疗信息。如此，提取且补充了患者问询的深层特征，能够有效提升对医学领域中细粒度意图的识别能力，更准确地确定历史诊疗信息，这样可以避免补充信息错误，能够更准确地确定输入信息的语义向量。进一步地，可以基于医疗术语词集对历史医疗信息抽取的内容进行映射，如此形成结构化的历史诊疗信息表达更加标准。

在一种实施方式中，在所述获取患者的输入信息之后，在所述基于所述输入信息和所述患者的历史诊疗信息，确定所述输入信息对应的语义向量之前，还包括：

利用预设的医疗术语与词语的映射关系，确定所述输入信息对应的标准信息文本；

示例性地，预设的医疗术语与词语的映射关系用于表示预先存储的患者输入词语及其对应的医疗术语。可选地，预设的医疗术语与词语的映射关系的构建方式可以是：如图7所示，先基于医学知识(例如诊后场景特点，主要包括手术、症状、疾病、药品等)构建医疗术语词集。再利用分词工具(如Jieba)对大量的无标患者问询数据进行分词、去停用词操作，根据词性对剩余的词进行筛选，保留名词、动词、形容词、副词等词性的词语形成重点词集，并统计筛选后的词语的词频；进一步的，基于词语间的共现关系、前后顺序、词向量等挖掘同义词，将剩余的词分为若干同义词组，对同义词组进行复核，每组内按照词频顺序由高至低进行排序。再构建复核后的同义词组和医疗术语词集之间的映射关系，如此形成预设的医疗术语与词语的映射关系。可选地，可以利用医疗术语与词语的映射关系查找输入信息中的每个词对应的医疗术语，再根据查找到的医疗术语形成标准信息文本。

可选地，将输入信息输入至训练好的神经网络模型，输出标准信息文本。其中，训练好的神经网络模型是根据预设的医疗术语与词语的映射关系和文本训练数据训练神经网络模型得到的。

具体地，如图8所示，在模型训练过程中，采用相同的分词方式对患者输入语句进行分词。对于输入中的每个停用词，按照一定比例决定是否对其保留。对于每个重点词，按照50％的概率将其映射为标准词、30％的概率保持原词不变、20％的概率将其替换为其对应的任意同义词。根据上述处理后的词汇对神经网络模型进行训练。

如图9所示，在模型使用的过程中，对输入信息进行分词处理得到多个词汇，去掉多个词汇中的中的停用词，得到待替换词汇。利用预设的医疗术语与词语的映射关系将待替换词汇替换为对应标准词，并进行句子重组，输出标准信息文本。如此，对输入信息进行规范化处理，提升了原始信息的可用性，可缓解就诊场景口语化过于严重的问题。

相应地，所述基于所述输入信息和所述患者的历史诊疗信息，确定所述输入信息对应的语义向量，包括：

基于所述标准信息文本和所述患者的历史诊疗信息，确定所述标准信息文本对应的语义向量。

示例性地，在确定标准信息文本后，将标准信息文本和患者的历史诊疗信息输入至预设模型中，标准信息文本与患者的历史诊疗信息进行拼接，再对拼接后的数据进行编码，再进行均值池化处理，输出标准信息文本对应的语义向量。如此，输出的语义向量包含的语义信息更加准确。

在一种实施方式中，利用预设的文本与文本意图的对应关系，确定所述输入信息的语义向量对应的文本意图，步骤S130包括：

确定所述预设的文本与文本意图的对应关系中每个文本对应的语义向量；

基于所述每个文本对应的语义向量与所述输入信息的语义向量的相似度，确定所述输入信息的语义向量对应的文本意图。

示例性地，将文本与文本意图的对应关系中每个文本中输入至编码器进行编码，并将编码后的文本进行均值池化处理，得到每个文本对应的语义向量。然后，在文本与文本意图的对应关系中文本对应的语义向量中确定出与输入信息的语义向量相似度最高的文本，将该文本对应的文本意图作为输入信息的文本意图。可选地，可以采用余弦距离来计算向量之间的相似度。如此，通过相似度可以更准确地判断文本之间的语义距离，这样，就可以根据语义距离近的文本在文本与文本意图的对应关系中找到合适的文本意图。

在一种实施方式中，如图10所示，在所述利用预设的文本与文本意图的对应关系，确定所述输入信息的语义向量对应的文本意图之后，所述方法，还包括：

S140、利用预设的意图与回答的对应关系，确定所述文本意图对应的回答文本。

示例性地，预设的意图与回答的对应关系包括预先存储的文本意图及其对应的回答文本。可选地，预设的意图与回答的对应关系可以是以文本库的形式存储，还可以是以列表的形式存储。

具体地，在确定输入信息的语义向量之后，将文本与文本意图的对应关系中的文本进行编码得到对应的语义向量。在预设的文本与文本意图的对应关系的文本对应的语义向量中确定与输入信息的语义向量相似度最高的文本，将相似度最高的文本对应的文本意图确定为输入信息对应的文本意图。在预设的意图与回答的对应关系中查找上述文本意图对应的回答文本，将查找到的回答文本确定为输入信息对应的回答文本。然后，将回答文本以信息或者语音的形式发送至患者，以对患者的输入信息进行解答，从而帮助患者解决问题。

下面提供具体的应用示例，以进一步说明本申请实施例如何确定文本意图：

在诊后患者线上问询场景下，患者输入信息为文本数据或经语音识别技术(如Automatic Speech Recognition，ASR)转译得到的文本数据，以下句为例：

患者：张医生你好，我最近啊就是腿经常一刺一刺的痛是怎么回事啊？

首先，利用医疗术语与词语的映射关系对患者的输入信息进行标准化处理，得到标准信息文本：

患者：张医生你好，我最近腿经常刺痛是怎么回事？

其次，在病历库(即历史医疗信息)中寻找患者对应的最新的就诊信息，并提取用户画像信息，然后将输入信息与用户画像信息进行对比，在用户画像信息中筛选出历史诊疗信息(即结构化的诊疗信息)。

此处设当前患者的用户画像信息如下：

疾病：无；手术：单处四肢长管骨骨折切开复位与内固定术；用药：无；创口；无；特殊人群：无；手术时间：三月前。

用户画像信息与输入信息不存在冲突，因此将用户画像信息作为历史诊疗信息。将输入信息与用户画像信息结合形成预设模型的输入：

“[CLS]疾病：无[SEP]手术：单处四肢长管骨骨折切开复位与内固定术[SEP]用药：无[SEP]创口：无[SEP]特殊人群：无[SEP]手术时间：三月前[SEP]张医生你好，我最近腿经常刺痛是怎么回事？[SEP]”

可以理解的是，换行只为显示方便，实际输入不包含换。其中，标点符号统一归整为英文标点符号，[SEP]与[CLS]均视为一个整体。将输入送至预设模型，获取输入信息对应的语义向量。将该向量与“意图-标准句”库(即预设的文本与文本意图的对应关系)中各个标准句对应的语义向量进行语义相似度计算，得到最相似的标准句。此处，假设最相似的标准句为下句：

最相似的标准句：骨折手术两个月了腿还是痛是因为什么？

再根据最相似的标准句到“意图-标准句”库中获取该句对应的意图，得到意图为“骨折术后疼痛”。然后，在“意图-答案”库(即预设的意图与回答的对应关系)中寻找该意图(即“骨折术后疼痛”)对应的答案。如果存在对应的答案，则自动调用对应答案回答患者的咨询；如果不存在对应的答案，也可将识别到的意图推送给医生作为其后续回答的参考。

示例性装置

相应的，图11是根据本申请一实施例的语义识别装置的结构示意图。在一示例性实施例中，提供了一种语义识别装置，包括：

获取模块1110，用于获取患者的输入信息；

确定模块1120，用于基于所述输入信息和所述患者的历史诊疗信息，确定所述输入信息的语义向量；

识别模块1130，用于利用预设的文本与文本意图的对应关系，确定所述输入信息的语义向量对应的文本意图。

在一种实施方式中，确定模块1120，还用于：

将所述输入信息和所述患者的历史诊疗信息输入至预设模型中，输出所述输入信息对应的语义向量；

其中，所述预设模型是根据医疗文本训练数据集对预训练模型进行文本语义特征提取训练得到的；所述预训练模型是根据通用领域的文本训练数据集对神经网络模型进行文本语义特征提取训练得到的；其中，医疗文本训练数据集包括：患者输入文本训练数据和患者的历史诊疗信息。

在一种实施方式中，其中，所述预训练模型的生成方法包括：

基于所述通用领域的文本训练数据集对神经网络模型进行文本语义特征提取训练，并确定所述文本训练数据对应的空间角损失函数和所述文本训练数据之间的语义关系损失函数；

基于所述空间角损失函数和所述语义关系损失函数优化所述神经网络模型，得到预训练模型。

在一种实施方式中，所述空间角损失函数的获取方法包括：

对所述通用领域的文本训练数据集中的第i个文本训练数据进行遮罩处理，得到所述第i个文本训练数据对应的增强数据；i为正整数；

在所述通用领域的文本训练数据集中确定与所述第i个文本训练数据的语义相似的文本训练数据；

利用所述神经网络模型提取所述第i个文本训练数据与增强数据以及所述第i个文本训练数据的语义相似的文本训练数据的语义向量；

通过计算所述第i个文本训练数据与增强数据以及所述第i个文本训练数据的语义相似的文本训练数据的语义向量的空间角，得到空间角损失函数。

在一种实施方式中，识别模块1130，包括：

第一处理模块，用于确定所述预设的文本与文本意图的对应关系中每个文本对应的语义向量；

第二处理模块，用于基于所述每个文本对应的语义向量与所述输入信息的语义向量的相似度，确定所述输入信息的语义向量对应的文本意图。

在一种实施方式中，所述患者的历史诊疗信息的获取方法包括：

在所述患者的历史医疗信息中提取用户画像信息；其中，所述用户画像信息表示体现用户诊疗情况的信息；

利用所述输入信息对所述用户画像信息进行筛选，得到所述历史诊疗信息。

在一种实施方式中，所述装置，还包括：

映射模块，用于利用预设的医疗术语与词语的映射关系，确定所述输入信息对应的标准信息文本；

相应地，确定模块1120，还用于：基于所述标准信息文本和所述患者的历史诊疗信息，确定所述标准信息文本对应的语义向量。

在一种实施方式中，所述装置，还包括：

回答模块，用于利用预设的意图与回答的对应关系，确定所述文本意图对应的回答文本。

本实施例提供的语义识别装置，与本申请上述实施例所提供的语义识别方法属于同一申请构思，可执行本申请上述任意实施例所提供的语义识别方法，具备执行语义识别方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的语义识别方法的具体处理内容，此处不再加以赘述。

示例性电子设备

本申请另一实施例还提出一种电子设备，参见图12所示，该设备包括：

存储器1200和处理器1210；

其中，所述存储器1200与所述处理器1210连接，用于存储程序；

所述处理器1210，用于通过运行所述存储器1200中存储的程序，实现上述任一实施例公开的语义识别方法。

具体的，上述电子设备还可以包括：总线、通信接口1220、输入设备1230和输出设备1240。

处理器1210、存储器1200、通信接口1220、输入设备1230和输出设备1240通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器1210可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器1210可包括主处理器，还可包括基带芯片、调制解调器等。

存储器1200中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器1200可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备1230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备1240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口1220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

处理器1210执行存储器1200中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的任意一种语义识别方法的各个步骤。

示例性计算机程序产品和存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的语义识别方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是存储介质，其上存储有计算机程序，计算机程序被处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的语义识别方法中的步骤。

上述的电子设备的具体工作内容，以及上述的计算机程序产品和存储介质上的计算机程序被处理器运行时的具体工作内容，均可以参见上述的方法实施例的内容，此处不再赘述。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。