实体识别方法、装置及智能设备

技术领域

本申请属于人工智能技术领域，尤其涉及实体识别方法、装置、智能设备及计算机可读存储介质。

背景技术

随着人工智能的发展，智能设备的智能化程度也越来越高，其能够与用户进行的交流也越来越多。例如，在用户向智能设备提出一个问题后，该智能设备将识别该问题的实体，再根据实体识别结果输出一个自动回复。

现有的实体识别方法中，其直接将用户语句输入一个意图实体联合识别模型，再将该意图实体联合识别模型输出的信息作为实体识别结果。但由于用户语句通常多种多样，因此，现有的实体识别方法仍难以得到准确的实体识别结果。

发明内容

本申请实施例提供了实体识别方法，能够提高得到的实体的识别结果的准确性。

第一方面，本申请实施例提供了一种实体识别方法，包括：

确定用户语句的第一实体，所述第一实体为所述用户语句候选的实体；

根据所述用户语句的第一实体确定至少一个实体模板，其中，一个实体模板为包括用户语句的至少一个第一实体的一个语句；

分别确定各个所述实体模板的实体参考信息，一个所述实体参考信息用于指示一个实体模板所包含的所述用户语句的第一实体在所述实体模板的位置；

将所述用户语句以及各个所述实体参考信息输入预设的意图实体联合识别模型，得到所述预设的意图实体联合识别模型输出的识别结果，所述识别结果包括所述用户语句的第二实体，所述第二实体为识别所述用户语句得到的最终的实体。

第二方面，本申请实施例提供了一种实体识别装置，包括：

第一实体确定单元，用于确定用户语句的第一实体，所述第一实体为所述用户语句候选的实体；

实体模板确定单元，用于根据所述用户语句的第一实体确定至少一个实体模板，其中，一个实体模板为包括用户语句的至少一个第一实体的一个语句；

实体参考信息确定单元，用于分别确定各个所述实体模板的实体参考信息，一个所述实体参考信息用于指示一个实体模板所包含的所述用户语句的第一实体在所述实体模板的位置；

识别结果确定单元，用于将所述用户语句以及各个所述实体参考信息输入预设的意图实体联合识别模型，得到所述预设的意图实体联合识别模型输出的识别结果，所述识别结果包括所述用户语句的第二实体，所述第二实体为识别所述用户语句得到的最终的实体。

第三方面，本申请实施例提供了一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。包括：

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在智能设备上运行时，使得智能设备执行上述第一方面所述的方法。

本申请实施例与现有技术相比存在的有益效果是：

由于一个实体模板为包括用户语句的至少一个第一实体的一个语句，因此，一个实体参考信息能够用于指示一个实体模板所包含的用户语句的第一实体在该实体模板的位置。也即，在本申请实施例中，由于预设的意图实体联合识别模型的输入信息不仅包括了用户语句，也包括了能够指示一个实体模板所包含的第一实体在该实体模板的位置，因此，增加了输入该预设的意图实体联合识别模型的实体位置的信息量，从而使得该意图实体联合识别模型根据更多信息量所输出的第二实体更准确，也即，能够得到与上述用户语句对应的更准确的实体。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本申请实施例一提供的一种实体识别方法的流程示意图；

图2是本申请实施例一提供的另一种实体识别方法的流程示意图；

图3是本申请实施例一提供的一种预设的意图实体联合识别模型的结构示意图；

图4是本申请实施例一提供的另一种预设的意图实体联合识别模型的结构示意图；

图5是本申请实施例一提供的上述预设的意图实体联合识别模型中的attention模块的结构示意图；

图6是本申请实施例二提供的一种实体识别装置的结构示意图；

图7是本申请实施例三提供的智能设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

现有的实体识别方法中，将用户语句直接输入一个识别模型，再将该识别模型输出的信息作为实体识别结果。但由于用户语句通常多种多样，而识别模型从用户语句获得的信息量有限，因此，导致现有的实体识别方法仍存在难以得到准确的实体识别结果的情况，为了解决该技术问题，本申请实施例提供了一种实体识别方法，在该实体识别方法中，除了将用户语句作为意图实体联合识别模型的一个输入，还将实体参考信息也作为上述意图实体联合识别模型的一个输入，其中，实体参考信息用于指示用户语句的至少一个实体在对应实体模板的位置。也即，在本申请实施例中，通过增加输入意图实体联合识别模型的信息来提高该意图实体联合识别模型输出的识别结果的准确性。

下面结合附图对本申请实施例提供的实体识别方法进行描述。

图1示出了本申请实施例提供的一种实体识别方法的流程图，该实体识别方法应用于智能设备，该智能设备包括人型机器人，或，不具有人型但能够与用户交流的其他设备，详述如下：

步骤S11，确定用户语句的第一实体，该第一实体为上述用户语句候选的实体。

其中，用户语句是指用户与智能设备交流的信息，该信息可以以文字的形式呈现，也可以以语音数据的形式呈现，此处不作限定。

本申请实施例中，当智能设备获取到用户语句后，对该用户语句进行实体识别，若该用户语句存在实体，则得到该用户语句的第一实体。其中，本申请实施例的第一实体为命名实体，该命名实体用于指代实际生活中的实物，例如人名，地名，机构名等；需要注意的是，在本申请实施例中，时间也是一种实体，也即，本申请实施例所指的第一实体为广义上的命名实体。

在一些实施例中，将第一实体分为两大类别，分别为非数字实体类别及数字实体类别。

针对非数字实体类别的第一实体来说，研发人员已预先对非数字实体类别设定了相应的词典树(trie tree)；也即，若判断出一个第一实体所属的实体类别为非数字实体类别，则采用trie tree算法对该第一实体进行匹配，以查找出与该第一实体匹配的实体。上述词典树算法的优势主要在匹配速度上，在构建好词典树后，其匹配速度往往远快于暴力匹配的匹配速度。

针对数字实体类别的第一实体来说，考虑到数字实体类别还可以细分为身份证号类别、手机号类别、日期类别等，故研发人员对每一数字实体类别设定了相应地匹配规则。以下通过几个具体实例进行说明：以对身份证号类别的数字实体进行实体识别为例，其所采用的匹配规则为：前五位数代表地区，有一个限定的范围；随后八位数是出生日期，该日期数字也有限定范围，所以该八位数要符合日期规则，例如，不可能出现19901332的数字；最后一位数是验证位，根据身份证前面的所有数字检测该位数字是否符合预设的身份证验证规则。又以对在中国所使用的手机号类别的数字实体进行实体识别为例，其所采用的匹配规则为：共有十一位数字，并且前两位数是限定的，例如13、15、17、18或19等。为了更加准确的判断一串数字是否为手机号码，除了判断该十一位数字，还可以再看语句中是否出现“号码”、“电话”、“拨打”或“手机”等关键字。举个例子：“交易金额为13727999989”，虽然这一串数字符合11位并且前两位限定，但是语句中没有关键字，因而可以判定这不是电话号码。再以对日期类别的日期实体进行实体识别为例，其所采用的匹配规则为日期正则表达式，该正则表达式具体为“\d(年|year)\d(月|month)\d(日|day)”。也即，若判断出一个实体所属的实体类别为数字实体类别，则会关联对应的匹配规则，再根据所关联的匹配规则查找出上述用户语句中所包含的属于数字实体类别的实体。

步骤S12，根据上述用户语句的第一实体确定至少一个实体模板，其中，一个实体模板为包括用户语句的至少一个第一实体的一个语句。

本申请实施例中，将词槽对用户语句的不同的第一实体进行排列组合的替换后，得到对应的实体模板。例如，假设用户语句为“我想从北京去成都”，用户语句的第一实体有“北京”，“成都”。其中，“北京”只能指代城市，因而“北京”只可能对应“city”这一个词槽，而“成都”可能指代“成都”这个城市，也可能指代“成都”这首歌曲，因而“成都”既能对应“city”这一词槽，也能对应“song”这一词槽；基于此，通过词槽对上述用户语句进行替换时，将得到以下A1～A6个实体模板：

(A1)、我想从北京去成都；

(A2)、我想从city去city；

(A3)、我想从city去song；

(A4)、我想从city去成都；

(A5)、我想从北京去city；

(A6)、我想从北京去song。

步骤S13，分别确定各个上述实体模板的实体参考信息，一个上述实体参考信息用于指示一个实体模板所包含的上述用户语句的第一实体在上述实体模板的位置。

本申请实施例中，实体参考信息采用向量的形式表示，具体地，采用非0的数字表示用户语句中的第一实体，采用数字0表示用户语句中的非第一实体。例如，假设实体模板为“我想听成都”，其包含用户语句“我想从北京去成都”中的第一实体“成都”，该“成都”采用“21”表示，其他非第一实体采用“0”表示，那么“我想听成都”对应的实体参考信息为“[00 0 2 1]”。

步骤S14，将上述用户语句以及各个上述实体参考信息输入预设的意图实体联合识别模型，得到上述预设的意图实体联合识别模型输出的识别结果，上述识别结果包括上述用户语句的第二实体，该第二实体为识别上述用户语句得到的最终的实体。

其中，预设的意图实体联合识别模型为经过训练的神经网络模型。该神经网络模型在获取到输入信息后，将输出对应的识别结果。

在一些实施例中，在将用户语句和实体参考信息输入预设的意图实体联合识别模型之前，还包括：根据实体参考信息确定位置参考信息，该位置参考信息包括该实体参考信息中用于表示非第一实体的字符，也包括用于表示该实体参考信息的第一实体的字符的开始信息，以及用于表示该实体参考信息的第一实体的字符的结束信息。例如对于实体参考信息“[0 0 0 2 1]”，对应的位置参考信息可表示为[0 0 0Bsls]，Bs表示该位置将要出现一个表示第一实体的字符，ls表示该位置出现的字符为该实体参考信息中最后一个用于表示实体的字符。当确定位置参考信息之后，将该位置参考信息、用户语句和实体参考信息一同输入预设的意图实体联合识别模型。由于预设的意图实体联合识别模型的输入多了实体位置参考信息，因此使得该预设的意图实体联合识别模型能够更快速地对实体参考信息进行识别和处理，从而能够提高得到识别结果的速度。

本申请实施例中，确定用户语句的第一实体后，根据上述用户语句的第一实体确定至少一个实体模板，再分别确定各个上述实体模板的实体参考信息，最后将用户语句以及各个上述实体参考信息输入预设的意图实体联合识别模型，得到预设的意图实体联合识别模型输出的识别结果，上述识别结果包括上述用户语句的意图。由于一个实体模板为包括用户语句的至少一个第一实体的一个语句，因此，一个实体参考信息能够用于指示一个实体模板所包含的用户语句的第一实体在该实体模板的位置。也即，在本申请实施例中，由于预设的意图实体联合识别模型的输入信息不仅包括了用户语句，也包括了能够指示一个实体模板所包含的用户语句的第一实体在该实体模板的位置，因此，增加了输入该预设的意图实体联合识别模型的实体位置的信息量，从而使得该意图实体联合识别模型根据更多信息量所输出的第二实体更准确，也即，能够得到与上述用户语句对应的更准确的实体。

图2示出了本申请实施例提供的另一种实体识别方法的流程图，其中，步骤S22和步骤S23为对上述步骤S12的细化，详述如下：

步骤S21，确定用户语句的第一实体，该第一实体为上述用户语句候选的实体。

具体地，该步骤S21与上述S11相同，此处不再赘述。

步骤S22，获取预设的词槽组合列表，上述词槽组合列表中包含有一个以上词槽组合，每一词槽组合包括至少一个词槽。

本申请实施例中，若确定出用户语句的实体，则获取预设的词槽组合列表，其中，上述词槽组合列表中包含有一个以上词槽组合，每一词槽组合至少包括一个词槽。具体地，该词槽组合列表为研发人员预先根据人们的日常生活中所使用的语句穷举而得。为了方便理解，下表1给出一词槽组合列表的示例：

表1：

需要指出的是，为了避免得到不合理的实体模板，需要对穷举得到的各个词槽组合进行限定，以排除不合理的词槽组合。考虑到实际情况中，一般不会出现一个实体模板既有“city”这一词槽又有“song”这一词槽的情况，则限定了词槽组合没有“city”跟“song”这种搭配。

步骤S23，基于上述词槽组合列表中所包含的词槽组合，对上述用户语句的至少一个第一实体进行匹配及替换，得到一个以上实体模板。

假设训练数据集有三条语料，分别为：

听{singer}的{song}；

从{city}到{city}的机票；

播放一首{song}；

那么所有词槽组合(词槽不包含文字)为：

{singer}，{song}；

{city},{city}；

{song}；

一条测试语料(用户语句)过来后，假设为“我想订从北京去成都的机票”，则遍历得到实体模板(下面例子中右边的部分)为：

(A1)、我想从北京去成都；({})

(A2)、我想从city去city；({city}{city})

(A3)、我想从city去song；({city}{song})

(A4)、我想从city去成都；({city})

(A5)、我想从北京去city；({city})

(A6)、我想从北京去song。({song})

在上述的(A1)～(A6)中，只有(A2)对应的词槽组合是属于训练集的词槽组合(即{city}{city})的，因此，其他实体模板都要舍弃，只保留(A2)。

本申请实施例中，通过对词槽组合进行限定，在词槽组合特别复杂的时候，即一个用户语句包含大量第一实体时，优势尤为明显。

步骤S24，分别确定各个上述实体模板的实体参考信息，一个上述实体参考信息用于指示一个实体模板所包含的上述用户语句的第一实体在上述实体模板的位置。

步骤S25，将上述用户语句以及各个上述实体参考信息输入预设的意图实体联合识别模型，得到上述预设的意图实体联合识别模型输出的识别结果，上述识别结果包括上述用户语句的用户语句的第二实体，该第二实体为识别上述用户语句得到的最终的实体。

本申请实施例中，由于获取的词槽组合列表为限定了词槽组合的列表，因此减少了根据用户语句的实体确定的实体模板的数量，从而减少了与实体模板对应的实体参考信息的数量，也即，由于减少了输入预设的意图实体联合识别模型的实体参考信息的数量，因此减少了该预设的意图实体联合识别模型的运算量，从而提高了该预设的意图实体联合识别模型得到识别结果的速度。

在一些实施例中，上述步骤S23，包括：

B1、获取基于上述词槽组合列表所生成的一个以上词槽组合树，其中，包含相同词槽的词槽组合之间形成同一词槽组合树中的子节点及父节点。

在本申请实施例中，包含相同词槽的词槽组合之间可以形成同一词槽组合树中的子节点及父节点，以下通过一实例对词槽组合树作出说明：

以上表1给出的词槽组合列表为基础，可以看到词槽组合[drink]与[{position},{drink}]之间存在相同的词槽，基于此，可以视[{position},{drink}]为继承了[drink]的词槽组合，也即，[drink]为[{position},{drink}]的父节点，[{position},{drink}]为[drink]的子节点。当然，该子节点也可以继续作为另一词槽组合的父节点，例如，假定词槽组合列表中还有一词槽组合[{position},{drink}，{drink}]，虽然[{position},{drink},{drink}]与[drink]也存在相同词槽，但由于[{position},{drink},{drink}]与[{position},{drink}]存在相同词槽的数量更多，也即，[{position},{drink},{drink}]与[{position},{drink}]的重合度更高，因而，此处认为[{position},{drink}]是[{position},{drink},{drink}]的父节点，[position,food,food]是[position,food]的子节点。可以认为，形成了[drink]-[position,food]-[position,food,food]这样一个词槽组合树。当然，一个父节点可以有多个子节点，例如，假定词槽组合列表中还有一词槽组合[{food},{drink}]，则[{food},{drink}]也可以作为[drink]的子节点，也即，[drink]存在两个子节点，分别为[{food},{drink}]及[{position},{drink}]。可选地，上述词槽组合列表中每一词槽组合都对应有各自的序号，则可以以序号表明父节点与子节点的关系，其表现形式为“x:y”，含义为第x个词槽组合继承于第y个词槽组合，也即冒号之前的序号所对应的词槽组合继承于该冒号之后的序号所对应的词槽组合。例如，上述例子中，[{position},{drink}]继承于[drink]，假设[{position},{drink}]所对应的序号为“3”，[drink]所对应的序号为“1”，那么二者之间的关系可以表示为“3:1”。

B2、若上述用户语句所包含的第一实体中，存在能够与目标词槽组合树中的根节点相匹配的实体词语，则基于上述目标词槽组合树对上述用户语句中的各个第一实体进行匹配及替换，得到一个以上实体模板，其中，上述目标词槽组合为任一词槽组合树。

在本申请实施例中，针对任何一个词槽组合树来说，其根节点都是最为重要的节点，该词槽组合树的其它节点都直接或间接继承于该根节点。基于此，为了便于说明，考虑到智能设备会对所有的词槽组合树进行相同或相似的操作，此处可以将任一词槽组合树选定为目标词槽组合树，并基于该目标词槽组合树对实体词语的匹配及替换过程做出说明：检测该目标词槽组合树的根节点是否与上述用户语句中的任一实体词语相匹配；若该目标词槽组合树的根节点与上述用户语句中的任一实体词语相匹配，则以上述目标词槽组合树的根节点为起点，根据父节点至子节点的顺序依次将上述目标词槽组合树中的各个词槽组合与上述用户语句中的实体词语进行匹配及替换，得到一个以上实体模板。

以下举出实例进行说明：

在以没有词槽组合树的方式进行实体模板的生成时，假定用户语句为“我想在肯德基吃炸鸡”，基于词槽组合列表的顺序，先根据词槽组合[food]对用户语句进行匹配及替换，得到“我想在肯德基吃food”；随后再基于词槽组合[{food},{position}]对用户语句进行匹配及替换，这其中，先算该词槽组合中的[food]，得到实体模板“我想在肯德基吃food”，再算该词槽组合中的[position]，得到实体模板“我想在position吃food”；或者，也可以先算该词槽组合中的[position]，得到实体模板“我想在position吃炸鸡”，再算该词槽组合中的[food]，得到实体模板“我想在position吃food”。可以看到，上述过程中，出现了重复运算的情况。

而在以词槽组合树的方式进行实体模板的生成时，假定用户语句为“我想在肯德基吃炸鸡”，检测发现“炸鸡”这一实体词语与[food]相匹配，而[food]又是[food]-[{position},{food}]这一词槽组合树的根节点；基于此，可以先通过[food]对用户语句进行匹配及替换，得到一实体模板“我想在肯德基吃food”；随后，考虑到已基于[food]得到了实体模板“我想在肯德基吃food”，由于[{position},{food}]继承于[food]，因而基于[{position},{food}]所得的实体模板也应该继承于基于[food]所得的实体模板，因此，通过词槽[position]对“我想在肯德基吃food”进行进一步词槽替换，得到实体模板“我想在position吃food”。可以看到，上述过程中，不需要再使用词槽“food”进行替换，也即不再有重复运算的情况。

可见，以词槽组合树的方式进行实体模板的生成时可以避免出现多次重复匹配及替换的情况，可进一步提升实体模板的生成效率。

在一些实施例中，本申请实施例的预设的意图实体联合识别模型通过以下方式得到识别结果：

C1、确定各个所述实体参考信息的词向量，得到第一词向量。

C2、分别根据各个所述第一词向量和所述用户语句的词向量，确定对应的和向量。

上述C1和C2，首先将用户语句和实体参考信息都转换为对应的词向量，再从转换得到的词向量得到对应的和向量，该和向量可以为第一词向量直接与用户语句的词向量相加得到，也可以对第一词向量处理后，再将处理后的第一词向量与用户语句的词向量相加得到，此处不作限定。

C3、对各个上述和向量进行第一降维处理以及分类处理，得到分类向量，对上述分类向量进行条件随机场(Conditional Random Field，CRF)处理，得到类别标签，上述类别标签用于指示对应的上述实体参数信息的第一实体的类别信息。

C4、根据所述类别标签确定识别结果。

具体地，每个类别标签与一个概率值对应，该概率值用于表示第一实体属于该类别标签指示的类别信息的概率。在本实施例中，若类别标签的概率值高于某个值，比如，高于50％，那么判定该第一实体属于该类别标签所指示的类别信息，进而输出该第一实体(即为得到的第二实体)。

上述C1～C4中，由于对和向量进行了第一降维处理(这里的“第一”仅为了与后续的降维处理区分，该“第一降维处理”实际就是一种降维处理，其需要降解的维数与实际的分类需求匹配)，因此，能够减少后续需处理的数据量，从而提高运算速度。同时，由于输出的第二实体是由用户语句和实体参考信息共同确定，因此，提高了得到的第二实体的准确性。

在一些实施例中，上述的C3，包括：

C31、获取各个上述和向量的语义依赖信息，该语义依赖信息通过向量的方式表示。其中，可通过双向长短期记忆神经网络(Bi-directional Long Short-Term Memory，Bi-LSTM)获取各个和向量的语义依赖信息。由于通过该Bi-LSTM可以更好地捕捉和向量中的双向的语义依赖信息，因此能够保证第一特征信息所包含的信息量更大。

C32、对各个上述和向量的语义依赖信息进行第一降维处理以及分类处理，得到分类向量，对上述分类向量进行条件随机场处理，得到类别标签，上述类别标签用于指示对应的上述实体参数信息的第一实体的类别信息。

本申请实施例中，由于和向量的语义依赖信息所包含的信息量大于和向量本身，因此，能够保证在获取和向量的语义依赖信息之后再进行降维处理以及分类处理所得到的类别标签更准确。

图3示出了本申请实施例提供的一种预设的意图实体联合识别模型的结构示意图，在图3中，data表示用户语句的词向量，slot info表示第一词向量，CNN表示卷积神经网络，Bi_LSTM表示双向长短期记忆神经网络，CF1、CF2、CF3均为全连接层，用于实现不同的降维处理(第一降维处理、第二降维处理和第三降维处理)，softmax1和softmax2均作为一个分类器，sigmod为归一化函数，CRF为条件随机场，intent_lablel表示意图标签，LM_lablel表示实体模板的标签，slot_lablel表示类别标签。即在一些实施例中，在C2之后，包括：

C3’、分别提取各个上述和向量的特征信息，得到对应的第一特征信息。

本申请实施例中，可通过卷积神经网络(Convolutional Neural Networks,CNN)分别提取各个和向量的特征信息。

在一些实施例中，为了得到更多的特征信息，则在C3’之前，还包括：获取各个上述和向量的语义依赖信息，该语义依赖信息通过向量的方式表示，对应地，上述步骤C3’具体为：分别提取各个语义依赖信息的特征信息，得到对应的第一特征信息。

C4’、对各个上述第一特征信息进行第二降维处理以及归一化处理，得到对应的意图标签，上述意图标签用于指示对应上述实体模板所属的意图类别，每一个上述意图标签均对应一个概率值，上述概率值用于指示对应的上述实体模板为上述意图类别的概率。

由于第一特征信息由实体参考信息得到，而实体参考信息由实体模板得到，因此，第一特征信息与实体模板之间存在一个一一对应关系，且由于意图标签与第一特征信息也存在一个一一对应关系，因此，该意图标签与实体模板之间也存在一个一一对应关系。例如，假设实体模板为“我想听成都”，则该实体模板对应的意图标签为“听音乐”，其对应的概率值假设为0.7。假设实体模板为“我想从深圳到北京”，则该实体模板对应的意图标签为“去城市”其对应的概率值假设为0.8。

本申请实施例中，由于对第一特征信息进行第二降维处理，因此，能够减少后续需处理的数据量，从而提高运算速度。同时，由于在对第一特征信息进行第二降维处理后还进行归一化处理，也即，将概率值限定在[0～1]之间，从而有利于后续对不同的意图标签的概率值进行比较。

C5’、对各个上述第一特征信息进行第三降维处理以及分类处理，得到各个上述实体模板的标签，上述实体模板的标签为正确模板，或为错误模板，上述正确模板用于指示对应上述实体参考信息为正确的信息。

其中，第二降维处理和第三降维处理都属于降维处理的一种，区别在于第二降维处理后剩余的维数与意图标签的维数相同，而第三降维处理后剩余的维数与实体模板标签的维数相同。由于实体模板的标签为正确模板或为错误模板，因此，第三降维处理后剩余的维数为2。

本申请实施例中，结合上述描述可知，由于第一特征信息由实体参考信息得到，且实体模板的标签与第一特征信息之间存在一个一一对应关系，因此，该实体模板的标签与实体参考信息之间也存在一个一一对应关系，即当实体模板的标签为正确模板时，能够用于指示该第一特征信息对应的实体参考信息为正确的信息，同理，当实体模板的标签为错误模板时，能够用于指示该第一特征信息对应的实体参考信息为错误的信息。例如，假设实体模板为“我想听成都”，得到的实体参考信息为“00000”，由于“成都”是一个实体，故该实体参考信息是一个错误的信息，因此，根据该实体参考信息得到第一特征信息，后，再根据该第一特征信息得到的实体模板的标签为“错误模板”。假设实体模板为“我想听成都”，得到的实体参考信息为“00021”，由于实体“成都”被正确识别，故该实体参考信息是一个正确的信息，也即最后得到的实体模板的标签为“正确模板”。

对应地，上述C4包括：

根据目标第一特征信息对应的目标意图标签、目标实体模板的标签以及目标类别标签确定上述识别结果，其中，上述目标实体模板的标签为正确模板、上述目标类别标签的类别信息与上述目标意图标签的意图类别相同，且上述目标意图标签的概率值为各个正确模板所对应的最大概率值。

根据上面C4’和C5’可知，每个第一特征信息均对应一个意图标签和一个实体模板的标签，且每个意图标签均对应一个概率值，考虑到需要输出与用户语句匹配的正确的意图，因此，首先要保证实体参考信息为正确的信息，也即，首先要保证实体模板的标签为“正确模板”，同时，考虑到词槽信息实际上是包含了一定的意图信息的，比如到音乐词槽，一定只出现在音乐类的领域，天气词槽，一定是出现在差天气的领域，故，在从不同的第一特征信息中选择符合用户意图的第一特征信息时，是通过三个维度：意图标签、实体模板的标签以及类别标签来比较，由于增加了比较的维度，因此，能够提高得到的识别结果的准确率。通过执行上述步骤，能够保证得到准确率最高的意图标签，而该意图标签用于指示对应的实体模板所属的意图类别，且该实体模板包括用户语句的至少一个第一实体，也即，通过执行上述步骤能够得到准确率最高的用户语句的意图信息和第二实体。

在一些实施例中，在上述C2，包括：

C21、提取上述用户语句的词向量的特征信息，得到第二特征信息，以及，分别确定各个上述第一词向量的特征信息，得到对应数量的第三特征信息。

具体地，可以通过CNN从词向量中提取对应的特征信息。例如，假设第一词向量的数量为3，那么，分别从3个第一词向量中提取特征信息后，也将得到3个第三特征信息。

C22、分别根据各个上述第三特征信息以及上述第二特征信息确定对应的权重值。

本申请实施例中，权重值的数量与第三特征信息的数量相同。具体地，一个权重值可通过一个第三特征信息与一个第二特征信息进行点乘后得到。通过该权重值，可以更改各个第二特征信息的比重，比如增加重要的第二特征信息的比重，减少不重要的第二特征信息的比重等，这样，能够提高得到的识别结果的准确性。

C23、分别根据各个确定的权重值与对应的上述第一词向量，得到第二词向量。

本申请实施例中，假设一个权重值是第三特征信息X1与第二特征信息计算得到，且该第三特征信息X1是从第一词向量Y1提取特征信息后得到，那么该权重值对应的第一词向量为该第一词向量Y1。具体地，将权重值与其对应的第一词向量相乘，得到第二词向量。也即，通过分别给各个第一词向量赋予一个权重值，得到同样数量的新的词向量---第二词向量。

C24、分别将上述用户语句的词向量与各个上述第二词向量相加，得到对应的和向量。

具体地，一个和向量为一个用户语句的词向量与一个第二词向量相加得到，和向量的数量与第二词向量的数量相同。

在一些实施例中，在上述步骤C23之后，包括：

分别提取各个上述第二词向量的特征信息，得到对应的第一特征信息；

上述步骤C4’，包括：

C41、分别将各个上述第一特征信息与各个上述第一特征信息相加，得到对应的和特征信息；

C42、对各个上述和特征信息进行第二降维处理以及归一化处理，得到对应的意图标签。

具体地，可采用CNN提取各个第二词向量的特征信息，得到与第二词向量的数量相同的第一特征信息。

本申请实施例中，由于获取更多的特征信息后再进行降维处理和归一化处理，因此，能够提高处理后得到的意图标签的准确度。

为了更清楚地描述本申请实施例提供的预设的意图实体联合识别模型获得识别结果的过程，下面结合图4进行描述。

在图4中，attention的结构如图5所示，CNN1和CNN2表示不同的卷积神经网络，CNN1和CNN2之间通过点乘“.”进行运算，a表示得到的权重值，slot info’表示第二词向量，slot CNN是指用于提取第二词向量的特征信息的卷积神经网络，

在图4中，data和slot info输入attention后，该attention输出的值即为权重值a，该a与slot info相乘后得到slot info’，该slot info’与data相加后作为Bi_LSTM的输入，该Bi_LSTM的输出作为CNN的输入，以及，作为CF3的输入，该CF3的输出作为softmax1的输入，该softmax1的输出与CRF相加后得到slot_lablel。

上述的slot info’还作为slot CNN的输入，该slot CNN的输出与CNN的输出相加后作为CF1的输入，以及，作为CF2的输入，上述CF1的输出作为sigmod的输入，该sigmod的输出即为intent_lablel。上述CF2的输出作为softmax2的输入，该softmax2的输出即为LM_lablel。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例上述的实体识别方法，图6示出了本申请实施例提供的实体识别装置的结构框图，该实体识别装置应用于智能设备中，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图6，该实体识别装置6包括：第一实体确定单元61、实体模板确定单元62、实体参考信息确定单元63、识别结果确定单元64。其中：

用户语句的实体确定单元61，用于确定用户语句的第一实体，该第一实体为上述用户语句候选的实体。

具体地，根据用户语句中的第一实体的类别确定该用户语句的实体，如针对非数字实体类别的第一实体，通过词典树进行匹配和替换，针对数字实体类别的第一实体，通过对应的匹配规则进行匹配和替换。

实体模板确定单元62，用于根据上述用户语句的第一实体确定至少一个实体模板，其中，一个实体模板为包括用户语句的至少一个第一实体的一个语句。

实体参考信息确定单元63，用于分别确定各个上述实体模板的实体参考信息，一个上述实体参考信息用于指示一个实体模板所包含的上述用户语句的第一实体在上述实体模板的位置。

识别结果确定单元64，用于将上述用户语句以及各个上述实体参考信息输入预设的意图实体联合识别模型，得到上述预设的意图实体联合识别模型输出的识别结果，上述识别结果包括上述用户语句的第二实体，该第二实体为识别上述用户语句得到的最终的实体。

在一些实施例中，该实体识别装置6还包括：

位置参考信息确定单元，用于根据实体参考信息确定位置参考信息，该位置参考信息包括该实体参考信息中用于表示非第一实体的字符，也包括用于表示该实体参考信息的第一实体的字符的开始信息，以及用于表示该实体参考信息的第一实体的字符的结束信息。

对应地，识别结果确定单元64具体用于：将该位置参考信息、用户语句和实体参考信息一同输入预设的意图实体联合识别模型，得到上述预设的意图实体联合识别模型输出的识别结果，上述识别结果包括上述用户语句的第二实体。

本申请实施例中，由于预设的意图实体联合识别模型的输入信息不仅包括了用户语句，也包括了能够指示一个实体模板所包含的用户语句的第一实体在该实体模板的位置，因此，增加了输入该预设的意图实体联合识别模型的实体位置的信息量，从而使得该意图实体联合识别模型根据更多信息量所输出的第二实体更准确，也即，能够得到与上述用户语句对应的更准确的实体。

在一些实施例中，上述实体模板确定单元62包括：

词槽组合列表获取模块，用于获取预设的词槽组合列表，上述词槽组合列表中包含有一个以上词槽组合，每一词槽组合包括至少一个词槽；

实体模板生成模块，用于基于上述词槽组合列表中所包含的词槽组合，对上述用户语句的至少一个第一实体进行匹配及替换，得到一个以上实体模板。

在一些实施例中，上述实体模板生成模块，包括：

词槽组合树获取模块，用于获取基于上述词槽组合列表所生成的一个以上词槽组合树，其中，包含相同词槽的词槽组合之间形成同一词槽组合树中的子节点及父节点；

实体匹配模块，用于若上述用户语句所包含的第一实体中，存在能够与目标词槽组合树中的根节点相匹配的实体词语，则基于上述目标词槽组合树对上述用户语句中的各个第一实体进行匹配及替换，得到一个以上实体模板，其中，上述目标词槽组合为任一词槽组合树。

在一些实施例中，上述实体匹配模块在基于上述目标词槽组合树对上述用户语句中的各个实体词语进行匹配及替换，得到一个以上实体模板时，具体用于：

以上述目标词槽组合树的根节点为起点，根据父节点至子节点的顺序依次将上述目标词槽组合树中的各个词槽组合与上述用户语句中的第一实体词语进行匹配及替换，得到一个以上实体模板。

在一些实施例中，上述预设的意图实体联合识别模型通过以下方式得到识别结果：

上述预设的意图实体联合识别模型通过以下方式得到识别结果：

确定各个上述实体参考信息的词向量，得到第一词向量；

分别根据各个上述第一词向量和上述用户语句的词向量，确定对应的和向量；

对各个上述和向量进行第一降维处理以及分类处理，得到分类向量，对上述分类向量进行CRF处理，得到类别标签，上述类别标签用于指示对应的上述实体参数信息的第一实体的类别信息；

根据所述类别标签确定识别结果。

在一些实施例中，上述的对各个上述和向量进行第一降维处理以及分类处理，得到分类向量，对上述分类向量进行CRF处理，得到类别标签，包括：

获取各个上述和向量的语义依赖信息，该语义依赖信息通过向量的方式表示；

对各个上述和向量的语义依赖信息进行第一降维处理以及分类处理，得到分类向量，对上述分类向量进行条件随机场处理，得到类别标签。

在一些实施例中，在分别根据各个上述第一词向量和上述用户语句的词向量，确定对应的和向量之后，包括：

分别提取各个上述和向量的特征信息，得到对应的第一特征信息；

对各个上述第一特征信息进行第二降维处理以及归一化处理，得到对应的意图标签，上述意图标签用于指示对应上述实体模板所属的意图类别，每一个上述意图标签均对应一个概率值，上述概率值用于指示对应的上述实体模板为上述意图类别的概率；

对各个上述第一特征信息进行第三降维处理以及分类处理，得到各个上述实体模板的标签，上述实体模板的标签为正确模板，或为错误模板，上述正确模板用于指示对应上述实体参考信息为正确的信息；

对应地，上述根据所述类别标签确定识别结果，包括：

根据目标第一特征信息对应的目标意图标签、目标实体模板的标签以及目标类别标签确定上述识别结果，其中，上述目标实体模板的标签为正确模板、上述目标类别标签的类别信息与上述目标意图标签的意图类别相同，且上述目标意图标签的概率值为各个正确模板所对应的最大概率值。

在一些实施例中，为了得到更多的特征信息，则在上述分别提取各个上述和向量的特征信息，得到对应的第一特征信息之前，还包括：获取各个上述和向量的语义依赖信息，该语义依赖信息通过向量的方式表示，对应地，上述分别提取各个上述和向量的特征信息，得到对应的第一特征信息具体为：分别提取各个语义依赖信息的特征信息，得到对应的第一特征信息。

在一些实施例中，上述分别根据各个上述第一词向量和上述用户语句的词向量，确定对应的和向量，包括：

提取上述用户语句的词向量的特征信息，得到第二特征信息，以及，分别提取各个上述第一词向量的特征信息，得到对应数量的第三特征信息；

分别根据各个上述第三特征信息以及上述第二特征信息确定对应的权重值；

分别根据各个确定的权重值与对应的上述第一词向量，得到第二词向量；

分别将上述用户语句的词向量与各个上述第二词向量相加，得到对应的和向量。

在一些实施例中，在上述分别根据各个确定的权重值与对应的上述第一词向量，得到第二词向量之后，包括：

分别提取各个上述第二词向量的特征信息，得到对应的第一特征信息；

上述对各个上述第一特征信息进行第二降维处理以及归一化处理，得到对应的意图标签，包括：

分别将各个上述第一特征信息与各个上述第一特征信息相加，得到对应的和特征信息；

对各个上述和特征信息进行第二降维处理以及归一化处理，得到对应的意图标签。

在一些实施例中，上述的对各个上述和向量进行第一降维处理以及分类处理，得到分类向量，对上述分类向量进行条件随机场处理，得到类别标签，上述类别标签用于指示对应的上述实体参数信息的实体的类别信息，包括：

获取各个上述和向量的语义依赖信息，该语义依赖信息通过向量的方式表示；

对各个上述和向量的语义依赖信息进行第一降维处理以及分类处理，得到分类向量，对上述分类向量进行条件随机场处理，得到类别标签，上述类别标签用于指示对应的上述实体参数信息的实体的类别信息。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图7为本申请一实施例提供的智能设备的结构示意图。如图7所示，该实施例的智能设备7包括：至少一个处理器70(图7中仅示出一个处理器)、存储器71以及存储在上述存储器71中并可在上述至少一个处理器70上运行的计算机程序72，上述处理器70执行上述计算机程序72时实现上述任意各个方法实施例中的步骤：

确定用户语句的第一实体，上述第一实体为上述用户语句候选的实体；

根据上述用户语句的第一实体确定至少一个实体模板，其中，一个实体模板为包括用户语句的至少一个第一实体的一个语句；

分别确定各个上述实体模板的实体参考信息，一个上述实体参考信息用于指示一个实体模板所包含的上述用户语句的第一实体在上述实体模板的位置；

将上述用户语句以及各个上述实体参考信息输入预设的意图实体联合识别模型，得到上述预设的意图实体联合识别模型输出的识别结果，上述识别结果包括上述用户语句的第二实体，上述第二实体为识别上述用户语句得到的最终的实体。

可选地，上述根据上述用户语句的第一实体确定至少一个实体模板，包括：

获取预设的词槽组合列表，上述词槽组合列表中包含有一个以上词槽组合，每一词槽组合包括至少一个词槽；

基于上述词槽组合列表中所包含的词槽组合，对上述用户语句的至少一个第一实体进行匹配及替换，得到一个以上实体模板。

可选地，上述基于上述词槽组合列表中所包含的词槽组合，对上述用户语句的至少一个第一实体进行匹配及替换，得到一个以上实体模板，包括：

获取基于上述词槽组合列表所生成的一个以上词槽组合树，其中，包含相同词槽的词槽组合之间形成同一词槽组合树中的子节点及父节点；

若上述用户语句所包含的第一实体中，存在能够与目标词槽组合树中的根节点相匹配的实体词语，则基于上述目标词槽组合树对上述用户语句中的各个第一实体进行匹配及替换，得到一个以上实体模板，其中，上述目标词槽组合为任一词槽组合树。

可选地，上述基于上述目标词槽组合树对上述用户语句中的各个实体词语进行匹配及替换，得到一个以上实体模板，包括：

以上述目标词槽组合树的根节点为起点，根据父节点至子节点的顺序依次将上述目标词槽组合树中的各个词槽组合与上述用户语句中的实体词语进行匹配及替换，得到一个以上实体模板。

可选地，上述预设的意图实体联合识别模型通过以下方式得到识别结果：

确定各个上述实体参考信息的词向量，得到第一词向量；

分别根据各个上述第一词向量和上述用户语句的词向量，确定对应的和向量；

对各个上述和向量进行第一降维处理以及分类处理，得到分类向量，对上述分类向量进行条件随机场处理，得到类别标签，上述类别标签用于指示对应的上述实体参数信息的第一实体的类别信息；

根据上述类别标签确定识别结果。

可选地，在上述分别根据各个上述第一词向量和上述用户语句的词向量，确定对应的和向量之后，还包括：

分别提取各个上述和向量的特征信息，得到对应的第一特征信息；

对各个上述第一特征信息进行第二降维处理以及归一化处理，得到对应的意图标签，上述意图标签用于指示对应上述实体模板所属的意图类别，每一个上述意图标签均对应一个概率值，上述概率值用于指示对应的上述实体模板为上述意图类别的概率；

对各个上述第一特征信息进行第三降维处理以及分类处理，得到各个上述实体模板的标签，上述实体模板的标签为正确模板，或为错误模板，上述正确模板用于指示对应上述实体参考信息为正确的信息；

上述根据上述类别标签确定识别结果，包括：

根据目标第一特征信息对应的目标意图标签、目标实体模板的标签以及目标类别标签确定上述识别结果，其中，上述目标实体模板的标签的值为正确模板、上述目标类别标签的类别信息与上述目标意图标签的意图类别相同，且上述目标意图标签的概率值为各个正确模板所对应的最大概率值。

可选地，上述分别根据各个上述第一词向量和上述用户语句的词向量，确定对应的和向量，包括：

提取上述用户语句的词向量的特征信息，得到第二特征信息，以及，分别提取各个上述第一词向量的特征信息，得到对应数量的第三特征信息；

分别根据各个上述第三特征信息以及上述第二特征信息确定对应的权重值；

分别根据各个确定的权重值与对应的上述第一词向量，得到第二词向量；

分别将上述用户语句的词向量与各个上述第二词向量相加，得到对应的和向量。

可选地，在上述分别根据各个确定的权重值与对应的上述第一词向量，得到第二词向量之后，包括：

分别提取各个上述第二词向量的特征信息，得到对应的第一特征信息；

上述对各个上述第一特征信息进行第二降维处理以及归一化处理，得到对应的意图标签，包括：

分别将各个上述第一特征信息与各个上述第一特征信息相加，得到对应的和特征信息；

对各个上述和特征信息进行第二降维处理以及归一化处理，得到对应的意图标签。

上述智能设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该智能设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是智能设备7的举例，并不构成对智能设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71在一些实施例中可以是所述智能设备7的内部存储单元，例如智能设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述智能设备7的外部存储设备，例如所述智能设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述智能设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/智能设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。