命名实体的识别方法和命名实体识别模型的训练方法

技术领域

本公开涉及人工智能领域，具体涉及自然语言处理和深度学习等技术领域，可应用于知识挖掘和知识图谱构建等场景。

背景技术

命名实体识别(Named Entity Recognition，NER)是自然语言处理中的基础任务和重要任务之一。命名实体一般指文本中具有特定意义或者指代性强的实体名称，例如可以包括人名、地名、组织机构名等。

命名实体识别技术例如可以应用于知识挖掘和知识图谱的构建等场景。

发明内容

本公开旨在提供一种命名实体的识别方法和命名实体识别模型的训练方法、装置、电子设备和存储介质，以提高命名实体的识别精度和识别场景的广泛性。

根据本公开的一个方面，提供了一种命名实体的识别方法，包括：根据待识别命名实体的实体类型和待识别文本，获得标记序列；对标记序列进行语义编码，得到实体类型和待识别文本的语义特征；对语义特征进行解码，得到标注矩阵；标注矩阵指示标记序列中的目标标记和语义相邻关系；以及根据标注矩阵，确定待识别文本中属于实体类别的目标命名实体，其中，目标标记为对应目标命名实体的标记；语义相邻关系包括标记序列中对应目标命名实体的任意两个标记之间的相邻关系。

根据本公开的另一个方面，提供了一种命名实体识别模型的训练方法，其中，命名实体识别模型包括编码子模型和解码子模型，训练方法包括：根据样本文本和样本文本中命名实体的实体类型，获得标记序列；样本文本具有标注矩阵真值；标注矩阵真值指示标记序列中的目标标记和语义相邻关系；采用编码子模型对标记序列进行语义编码，得到实体类型和样本文本的语义特征；采用解码子模型对语义特征进行解码，得到标注矩阵预测值；标注矩阵预测值指示目标标记预测值和语义相邻关系预测值；以及根据标注矩阵真值和标注矩阵预测值之间的差异，对命名实体识别模型进行训练，其中，目标标记对应样本文本中属于实体类型的目标命名实体；语义相邻关系包括标记序列中对应目标命名实体的任意两个标记之间的相邻关系。

根据本公开的另一个方面，提供了一种命名实体的识别装置，包括：标记序列获得模块，用于根据待识别命名实体的实体类型和待识别文本，获得标记序列；语义编码模块，用于对标记序列进行语义编码，得到实体类型和待识别文本的语义特征；特征解码模块，用于对语义特征进行解码，得到标注矩阵；标注矩阵指示标记序列中的目标标记和语义相邻关系；以及实体确定模块，用于根据标注矩阵，确定待识别文本中属于实体类别的目标命名实体，其中，目标标记为对应目标命名实体的标记；语义相邻关系包括标记序列中对应目标命名实体的任意两个标记之间的相邻关系。

根据本公开的另一个方面，提供了一种命名实体识别模型的训练装置，其中，命名实体识别模型包括编码子模型和解码子模型。上述装置包括：标记序列获得模块，用于根据样本文本和样本文本中命名实体的实体类型，获得标记序列；样本文本具有标注矩阵真值；标注矩阵真值指示标记序列中的目标标记和语义相邻关系；语义编码模块，用于采用编码子模型对标记序列进行语义编码，得到实体类型和样本文本的语义特征；特征解码模块，用于采用解码子模型对语义特征进行解码，得到标注矩阵预测值；标注矩阵预测值指示目标标记预测值和语义相邻关系预测值；以及模型训练模块，用于根据标注矩阵真值和标注矩阵预测值之间的差异，对命名实体识别模型进行训练，其中，目标标记对应样本文本中属于实体类型的目标命名实体；语义相邻关系包括标记序列中对应目标命名实体的任意两个标记之间的相邻关系。

根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的命名实体的识别方法和/或命名实体识别模型的训练方法。

根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的命名实体的识别方法和/或命名实体识别模型的训练方法。

根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现本公开提供的命名实体的识别方法和/或命名实体识别模型的训练方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的命名实体的识别方法和命名实体识别模型的训练方法、装置的应用场景示意图；

图2是根据本公开实施例的命名实体的识别方法的流程示意图；

图3是根据本公开实施例的命名实体的识别方法的实现原理图；

图4是根据本公开第一实施例的得到标注矩阵的原理示意图；

图5是根据本公开第二实施例的得到标注矩阵的原理示意图；

图6是根据本公开实施例的根据标注矩阵确定目标命名实体的原理示意图；

图7是根据本公开实施例的命名实体识别模型的训练方法的流程示意图；

图8是根据本公开实施例的命名实体的识别装置的结构框图；

图9是根据本公开实施例的命名实体识别模型的训练装置的结构框图；

图10是用来实施本公开实施例的命名实体的识别方法和/或命名实体识别模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

命名实体一般指的是文本中具有特定意义或者指代性强的实体，通常可以包括人名、地名、组织机构名、日期时间、专有名词等。命名实体识别技术用于从非结构化的输入文本中抽取出命名实体，还可以按照业务需求识别出更多类别且结构相较于命名实体更为复杂的实体片段，比如产品名称、型号、价格等。

随着深度学习技术的发展，可以采用深度学习模型来进行命名实体的识别。

例如，可以采用实体抽取模型来从输入文本中抽取出命名实体。例如，实体抽取模型可以为序列标注模型。序列标注模型用于对一个自然语言序列中的每一个元素标注一个标签，例如，人名、地名等标签。但该序列标注模型在解决通用命名实体抽取的任务时，仅能解决某个实体类别范围内的命名实体抽取需求，即往往需要圈定一个命名实体的类别范围。相应地，该序列标注模型的训练数据应包含且仅仅包含具有该圈定的类别范围内的命名实体的文本。该序列标注模型例如可以采用双向长短期记忆网络LSTM、基于Transformer的双向编码描述模型BERT或文心模型ERNIE等来提取输入文本的句子级别的语义信息，并在此基础上使用条件随机场模型CRF对输入文本中每个字符位置的标签进行判别。该方法因抽取的命名实体的类别范围有限，因此，在实际应用中的实用性不高。再者，该方法无法对嵌套实体及非连续实体进行准确抽取。例如，对于嵌套实体，某些字符可以既是一个命名实体的后继位置的字符，也可以是另一个命名实体的起始位置的字符，但序列标注模型无法对同一个位置预测多个标签，因此无法抽取嵌套实体。由于序列标注模型仅支持连续的命名实体的标注，因此也无法抽取非连续实体。

例如，还可以采用基于提示学习的边界判别模型来识别输入文本中的命名实体。该模型在效果及可扩展性上均优于上述的序列标注模型。边界判别模型是通过判别目标片段起始节点和终止节点的原理来识别目标片段的一种命名实体识别方案。该提示学习是将待抽取的命名实体的类别的建模从解码层转移至编码层。在解码的过程中，非提示学习方式的输入为句子本身，解码维度为2*n(n为类别个数，对于每个类别都需要判断每个字符是否为该每个类别的命名实体的起始字符或者终止字符)；而提示学习方式的解码维度仅为2，类别信息包含在输入文本中。例如，若输入文本为“[CLS]人名[SEP]XXXX大学经济学教授YYY”，基于提示学习的边界判别模型只需要从文本“XXXX大学经济学教授YYY”中抽取人名类别的命名实体“YYY”。该基于提示学习的边界判别模型例如可以采用BERT、ERNIE等预训练网络抽取输入文本的句子级别的语义信息，将语义信息经由一个全连接层处理，以对命名实体的起始位置和终止位置进行判断。

该基于提示学习的边界判别模型虽然可以解决抽取的命名实体的类别的局限性，但该模型在通过起始位置和终止位置判断命名实体的边界的过程中，仍旧只能抽取连续的命名实体片段。但无法抽取非连续的命名实体。

为了解决该问题，本公开提供了一种命名实体的识别方法和命名实体识别模型的训练方法、装置、设备和介质。以下先结合图1对本公开提供的方法和装置的应用场景进行描述。

图1是根据本公开实施例的命名实体的识别方法和命名实体识别模型的训练方法、装置的应用场景示意图。

如图1所示，该实施例的应用场景100可以包括终端设备110，该终端设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。

该终端设备110例如可以安装有各种客户端应用，例如文本处理类应用、命名实体识别类应用、语音交互类应用、即时通信类应用等，本公开对此不做限定。

终端设备110例如可以对输入的待识别文本120进行实体抽取，得到待识别文本120中的命名实体130。该终端设备110例如可以采用上文描述的序列标注模型或基于提示学习的边界判别模型来抽取待识别文本120中的命名实体130。

在一实施例中，终端设备110可以采用服务器140预训练得到的命名实体识别模型150来抽取待识别文本120中的命名实体130。其中，终端设备110例如可以通过网络与服务器140通信连接。网络可以包括有线或无线通信链路。例如，服务器140例如可以为向终端设备110中安装的客户端应用的运行提供支持的后台管理服务器，也可以为云服务器或者区块链服务器等，本公开对此不做限定。其中，命名实体识别模型150可以为本公开提供的训练方法训练得到的模型。

在一实施例中，终端设备110也可以将待识别文本120经由网络发送给服务器140，由服务器140来识别得到待识别文本120中的命名实体。

需要说明的是，本公开提供的命名实体的识别方法可以由终端设备110执行，也可以由服务器140执行。相应地，本公开提供的命名实体的识别装置可以设置在终端设备110中，也可以设置在服务器140中。本公开提供的命名实体模型的训练方法可以由服务器140执行。相应地，本公开提供的命名实体模型的训练装置可以设置在服务器140中。

应该理解，图1中的终端设备110和服务器140的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备110和服务器140。

以下将结合图2～图6对本公开提供的命名实体的识别方法进行详细描述。

图2是根据本公开实施例的命名实体的识别方法的流程示意图。

如图2所示，该实施例的命名实体的识别方法200可以包括操作S210～操作S240。

操作S210，根据待识别命名实体的实体类型和待识别文本，获得标记序列。

根据本公开的实施例，实体类型可以例如可以为人名类型、地名类型、机构名称类型、物品名称、文学作品名称、生物名称、音乐作品名称或游戏名称等。

该实施例可以以字为单位对命名实体的实体类型和待识别文本进行字符分割处理，得到字序列，该字序列可以作为标记序列。其中，例如，实体类型为人名，待识别文本为“ABCD大学的经济学教授XYZ”，则以字为单位进行字符分割处理得到的字序列为(人，名，A，B，C，D，大，学，的，经，济，学，教，授，X，Y，Z)。

在一实施例中，还可以在字序列前添加[CLS]标记，以表示标记序列的起始位置，该标记经过语义编码得到的表征向量可以用于后续的分类任务。在一实施例中，还可以在字序列中实体类型的字和待识别文本的字之间添加[SEP]标记，以用于区分开实体类型和待识别文本。例如，还可以在字序列的最后一个字之后添加[SEP]标记，以用于标记字序列的终止位置。例如，得到的标记序列可以为([CLS]，人，名，[SEP]，A，B，C，D，大，学，的，经，济，学，教，授，X，Y，Z，[SEP])。

在一实施例中，还可以对上述字序列进行word2vec转换，得到向量序列，在该向量序列前添加标记[CLS]，在表示实体类型的字的向量与表示待识别文本的字的向量之间添加标记[SEP]，得到包括标记[CLS]、向量序列和[SEP]的标记序列。

在一实施例中，标记序列中，待识别文本的字也可以位于实体类型的字之前，本公开对该待识别文本的字和实体类型的字的排列顺序不做限定。

在操作S220，对标记序列进行语义编码，得到实体类型和待识别文本的语义特征。

在一实施例中，可以采用长短期记忆网络LSTM、双向长短期记忆网络Bi-LSTM、ERNIE网络或BERT网络来对标记序列进行语义编码，得到语义特征。或者，可以采用BERT与Bi-LSTM相结合的网络来对标记序列进行语义编码。例如，可以先采用BERT对标记序列进行编码，将BERT网络的输出作为Bi-LSTM网络的输入，由Bi-LSTM网络对输入特征进行处理，输出语义特征。

在操作S230，对语义特征进行解码，得到标注矩阵。

在一实施例中，可以采用解码网络对语义特征进行解码，得到能够指示标记序列中的目标标记和标记序列中对应目标命名实体的任意两个标记之间的相邻关系的标注矩阵。

其中，解码网络例如可以为基于注意力机制的网络，例如可以包括Transformer框架的解码器和多层感知机构成的网络，也可以为基于双仿射注意力机制的双仿射分类器，本公开对此不做限定。

例如，标注矩阵可以包括针对标记序列中每个标记的分类信息，以指示该每个标记是否为目标标记。目标标记例如可以为标记序列中实体类型的命名实体的起始字和终止字所对应的标记。该分类信息例如可以与基于提示学习的边界判别模型的输出信息类似。标记序列中对应目标命名实体的标记可以为多个，例如，若目标命名实体为“XYZ”，则标记序列中对应目标命名实体的标记为三个。则标注矩阵可以指示该三个标记两两之间的相邻关系。例如，标注矩阵可以指示“X”对应的标记与“Y”对应的标记具有相邻关系，“Y”对应的标记与“Z”对应的标记具有相邻关系。

在一实施例中，对解码语义特征得到标注矩阵的任务可以理解为是两个分类任务，一个分类任务是用于对标记序列中的每个标记进行分类，根据标注矩阵可以确定每个标记是否为目标标记。另一个分类任务是用于对标记序列中的任意两个标记的相邻关系进行分类，根据标注矩阵可以确定该任意两个标记之间是否具有相邻关系。

可以理解的是，对语义特征进行解码的网络可以为任意地具有能够执行两个分类任务的网络，本公开对此不做限定。

在操作S240，根据标注矩阵，确定待识别文本中属于实体类别的目标命名实体。

该实施例可以遍历标注矩阵指示的语义相邻关系，确定所有具有相邻关系的标记对，随后，根据标记对应的字在待识别文本中的排列顺序，对标记对中的两个标记进行排序，可以得到至少一个排序后的标记序列。该实施例可以对至少一个排序后的标记序列中相邻且相同的标记进行去重，得到去重后标记序列。最后，可以将去重后标记序列中标记依次对应的字所构成的字片段作为目标命名实体。

或者，该实施例可以先根据目标标记在标记序列中的顺序，确定目标标记中排在首位的标记和排在末尾的标记。以该排在首位的标记为起始点，以排在末尾的标记为终止点，遍历得到所有具有相邻关系的标记对，并根据该遍历得到的标记对得到目标命名实体。

本公开实施例的技术方案，由于对待识别文本和实体类型进行同时编码，因此可以通过设置所需的实体类型，对任意实体类型的命名实体进行识别和抽取，从而可以提高识别方法适用场景的广泛性。再者，通过对根据实体类型得到的标记序列进行编码，可以在输入和编码阶段对实体类别进行建模，从而可以使得解码过程与分类得到的类别数量解耦，可以实现对待识别文本的多分类的任务。如此，基于解码得到的多分类结果(标注矩阵)不仅可以解析得到连续实体，还可以解析得到嵌套实体和非连续实体。因此，该实施例的识别方法可以达到使用的场景更为广泛，识别的目标命名实体更为准确的效果。

在一实施例中，可以采用基于双仿射注意力机制(Biaffine Attention)双仿射分类器来对语义特征进行解码，从而得到标注矩阵。具体地，将语义特征与预训练得到的biaffine矩阵相乘，得到标注矩阵。如此，可以更好地识别标注序列中各标注之间的交叉特征，利于提高得到的标注矩阵的精度。

图3是根据本公开实施例的命名实体的识别方法的实现原理图。

在一实施例中，在对语义特征进行解码的过程中，还可以对语义特征进行进一步的至少两个维度的特征提取，再将提取得到的至少两个维度的特征进行融合，最后通过对融合得到的融合特征进行解码来得到标注矩阵。如此，由于解码时考虑了语义特征的至少两个维度的特征，因此可以提高解码得到标注矩阵时所依据的特征的表达能力。并因此可以提高标注矩阵指示的目标标记和语义相邻关系的精度，提高得到的目标命名实体的准确性。

其中，例如可以采用嵌入网络Embedding layer来对语义特征进行至少两个维度的嵌入处理，得到至少两个嵌入特征。该至少两个嵌入特征即为至少两个维度的特征。至少两个维度例如可以包括以下维度中的至少两个：字维度、距离维度、区域维度。其中，字维度的特征例如可以为从语义特征中提取得到的实体类型和待识别文本中每个字的特征。距离维度的特征例如可以为从语义特征中提取的实体类型和待识别文本中所有字两两之间的距离特征。区域维度的特征例如可以为从语义特征中提取的用于区分实体类型和待识别文本的特征。

在一实施例中，在对语义特征进行进一步的至少两个维度的特征提取之前，例如还可以先对语义特征进行归一化处理，随后对归一化处理得到的特征进行至少两个维度的特征提取。以此，可以避免解码过程中过拟合情形的发生。

如图3所示，在实施例300中，可以先采用编码网络310对标注序列301进行编码，得到语义特征。其中，编码网络310由ERNIE网络311和Bi-LSTM网络312构成。将标注序列301输入ERNIE网络311中，ERNIE网络311对标注序列301处理后输出的特征作为Bi-LSTM网络312的输入。由Bi-LSTM网络对输入特征进行处理，输出语义特征。可以理解的是，标注序列是根据提示信息(prompt)和待识别文本(Context)得到的，其中的提示信息为上文描述的实体类型。

如图3所示，该语义特征可以作为归一化网络321的输入，以由归一化网络321对该语义特征进行归一化处理，从而得到归一化特征。在一实施例中，归一化网络321例如可以为条件归一化网络(C

在得到归一化特征后，可以采用嵌入网络对归一化特征进行嵌入处理。具体地，嵌入网络可以包括与至少两个维度分别对应的至少两个嵌入层，该实施例可以将归一化特征输入该至少两个嵌入层，由该至少两个嵌入层中的每个嵌入层输出一个维度的特征，总计得到至少两个特征。例如，如图3所示，嵌入网络322包括距离维度的嵌入层、字维度的嵌入层和区域维度的嵌入层，该三个嵌入层分别对归一化特征进行处理，分别得到距离嵌入特征(Distance embedding)302、字嵌入特征(Word embedding)303和区域嵌入特征(Regionembedding)304。

在得到至少两个特征后，可以融合该至少两个特征，得到融合特征。例如，可以采用concat()函数拼接该至少两个特征，从而得到融合特征。在得到融合特征后，该实施例可以采用多层感知机MLP 323等分类器来对融合特征进行解码，由多层感知机MLP 323等分类器输出标注矩阵305。

图4是根据本公开第一实施例的得到标注矩阵的原理示意图。

在一实施例中，在得到至少两个嵌入特征之后，例如还可以经由空洞卷积网络来对至少两个嵌入特征拼接后得到的特征进行处理，经由空洞卷积(Dilated Convolution)网络处理后的特征可以作为融合特征参与解码。如此，由于空洞卷积网络可以加大特征的感受野，使得每个卷积输出都包含较大范围的信息，因此，基于空洞卷积处理后得到的融合特征可以表达更大感受野的上下文信息，利于更好地学习到非连续命名实体中各个字之间的上下文关系，利于提高解码得到的标注矩阵的精度，提高对非连续命名实体的识别精度。

在一实施例中，在采用空洞卷积网络对至少两个嵌入特征拼接后得到的特征进行处理之前，例如还可以采用多层感知机先对拼接后的特征进行处理，以更好地融合至少两个嵌入特征。如此，空洞卷积网络处理的为多层感知机处理后的特征。

如图4所示，在该实施例400中，在经由至少两个维度的嵌入层提取得到至少两个维度的嵌入特征(例如嵌入特征402、嵌入特征403和嵌入特征404)之后，可以先拼接得到的至少两个嵌入特征，得到拼接后特征。例如可以采用concat()函数对该至少两个嵌入特征进行拼接。随后将得到的拼接后特征作为多层感知机MLP1 423的输入，以对至少两个嵌入特征充分融合，得到感知后特征。

随后，可以采用空洞卷积网络424对感知后特征进行处理，得到融合特征。具体的，将感知后特征输入空洞卷积网络424中，将空洞卷积网络424输出的特征作为融合特征。

在一实施例中，可以并行地设置至少两个空洞率(Dilation rate)不同的空洞卷积层，以并行地对感知后特征进行处理。随后，可以将该至少两个空洞卷积层处理得到的至少两个卷积特征拼接，将拼接后特征作为融合特征。如此，可以在扩大特征表达信息的感受野的同时，进行至少两个不同感受野的特征提取，使得融合特征可以表达不同感受野的上下文信息，提高融合特征的表达能力。并因此，可以进一步地利于学习到待识别文本中各个字之间的上下文关系，利于提高解码得到的标注矩阵的精度，提高对命名实体的识别精度。

如图4所示，空洞卷积网络424例如可以包括并行设置的第一空洞卷积层4241、第二空洞卷积层4242和第三空洞卷积层4243，该三个空洞卷积层的空洞率例如可以分别为1、2、3。该实施例可以将多层感知机MLP1423输出的感知后特征同时输入该三个空洞卷积层，该三个空洞卷积层中的每个层输出一个卷积特征，总计可以得到三个卷积特征。随后，该实施例可以拼接该三个卷积特征，例如可以采用concat()函数来拼接该三个卷积特征，得到融合特征。

可以理解的是，该实施例400中空洞卷积层的个数及空洞卷积层的空洞率仅作为示例以利于理解本公开，本公开对此不做限定。

在得到融合特征后，例如可以采用多层感知机MLP 2425等分类器对该融合特征进行解码，从而得到标注矩阵405。

图5是根据本公开第二实施例的得到标注矩阵的原理示意图。

在一实施例中，可以设置两个不同的解码网络来对语义特征进行解码，随后对两个解码网络解码得到的两个标注矩阵进行融合，将融合后的矩阵作为上文描述的操作S230得到的标注矩阵。由于依据两种不同的解码网络的解码结果来得到最终的标注矩阵，因此，可以提高得到的标注矩阵的精度，且可以使得该实施例的命名实体的识别方法适应于多种不同的命名实体识别场景，利于提高该实施例的命名实体的识别方法的鲁棒性，并可以避免因单个解码网络不准确导致的过拟合的情况。

其中，两个不同的解码网络例如可以包括上文描述的双仿射分类器和基于多层感知机的分类器。基于多层感知机的分类器结构可以采用图3所示的原理来解码得到标注特征，也可以采用图4所示的原理来解码得到标注特征。

以下结合图5，以基于多层感知机的分类器结构采用图4所示的原理来解码得到标注特征为例，对该实施例的命名实体的识别方法的实现原理进行描述。

如图5所示，该实施例500中，与实施例300类似，可以采用编码网络510对得到的标记序列501进行语义编码，得到语义特征。其中，编码网络510包括ERNIE网络511和Bi-LSTM网络512。

在得到语义特征后，可以将语义特征输入归一化网络521(例如可以为CLN)，由归一化网络输出归一化特征。随后，该实施例500可以将该归一化特征分别输入嵌入网络522包括的三个维度的嵌入层，三个维度的嵌入层输出的三个嵌入特征502～504拼接后得到拼接后特征。该拼接后特征经由多层感知机MLP 1523处理后，得到感知后特征。将该感知后特征分别输入空洞卷积网络524包括的具有不同空洞率的三个空洞卷积层5241～5243，得到三个卷积特征。该三个卷积特征拼接后即可得到融合特征。通过将该融合特征输入多层感知机MLP2525，可以得到第二标注矩阵。

在得到第二标注矩阵的同时，该实施例500可以将归一化特征输入双仿射分类器Biaffine 526中，由双仿射分类器Biaffine 526输出第三标注矩阵。最后，该实施例可以通过融合该第二标注矩阵和第三标注矩阵，得到对语义特征进行解码所得到的标注矩阵505。

例如，可以将第二标注矩阵和第三标注矩阵相加，得到标注矩阵505。

图6是根据本公开实施例的根据标注矩阵确定目标命名实体的原理示意图。

根据本公开的实施例，在根据标注矩阵确定目标命名实体时，例如可以先根据标注矩阵指示的语义相邻关系和上文描述的标记序列，生成标记有向图。随后根据标注矩阵指示的目标标记在标记有向图中的位置，来确定目标命名实体。

例如，可以先根据标注矩阵指示的语义相邻关系，来遍历地确定标记序列中具有相邻关系的两个标记构成的标记对，得到多个标记对。随后，将每个标记对包括的两个标记根据在标记序列中的先后顺序，对该两个标记添加指向箭头。例如，指向箭头由在标记序列中排在较前位置的标记指向在标记序列中排在较后位置的标记。通过对所有标记对中的标记均添加指向箭头，可以得到标记有向图。

例如，目标标记包括对应于目标命名实体的首位字的标记和对应于目标命名实体的末位字的标记。该实施例可以定位标记有向图中的目标标记。随后，将标记有向图中连接两个目标标记的链路上所有标记所对应的字，按链路指向拼接，得到目标命名实体。

例如，如图6所示，在该实施例600中，对于实体类别“疾病”和待识别文本“脐静脉导管不能用于急性食道炎、胃炎等。”，得到的标记序列为([CLS]，[疾]，[病]，[SEP]，[脐]、[静]，[脉]，[导]，[管]，[不]，[能]，[用]，[于]，[急]，[性]，[食]，[道]，[炎]，[、]，[胃]，[炎]，[等]，[。])，该标记序列包括23个标记。通过采用上文描述的各实施例的原理得到的标注矩阵601的尺寸可以为23*23。如图6所示，该标记矩阵的左上角区域的元素可以指示23个标记中任意两个标记之间的相邻关系，该标记矩阵的右下角区域的元素指示23个标记中每个标记是否为目标标记。若两个标记之间具有相邻关系，则在标注矩阵601中，该两个标记中在标记序列中排在较前位置的第一标记在标注矩阵中所对应的行、与该两个标记中在标记序列中排在较后位置的第二标记在标注矩阵中所对应的列的相交位置处元素的取值为“nnw”。对于目标标记，标注矩阵中任意两个目标标记在标注矩阵中所对应位置的交叉位置的元素的取值为“En”。可以理解的是，上述标注矩阵中元素的取值仅作为示例以利于理解本公开，本公开对此不做限定，只要该元素的取值可以区分不同的分类结果即可。

根据该标注矩阵601，可以确定具有相邻关系的两个标记构成的标记对包括以下六个标记对：([急]，[性])、([性]，[食])、([食]，[管])、([管]，[炎])、([性]，[胃])、([胃]，[炎])。根据该六个标记对，可以得到标记有向树602。根据目标标记，可以定位到标记有向树中的目标标记为[急]、[炎]，其中，目标标记[炎]有两个，分别为标记对([管]，[炎])中的[炎]和标记对([胃]，[炎])中的[炎]。则连接两个目标标记的链路包括以下两个链路：[急]→[性]→[食]→[管]→[炎]；[急]→[性]→[胃]→[炎]，确定的目标命名实体包括“急性食管炎”和“急性胃炎”。

本公开实施例的方法采用了超图的解码方式，通过超图(标注矩阵)中上三角元素可以学习到字与字之间的连接关系，通过超图中下三角元素可以学习到目标类型的命名实体的边界信息，可以实现对连续实体、嵌套实体及非连续实体等全部命名实体形式的识别。

为了便于本公开提供的命名实体的识别方法的实施，本公开还提供了一种命名实体识别模型的训练方法，以下将结合图7对该训练方法进行详细描述。

图7是根据本公开实施例的命名实体识别模型的训练方法的流程示意图。

如图7所示，该实施例的训练方法700可以包括操作S710～操作S740。其中，命名实体识别模型包括编码子模型和解码子模型。

在操作S710，根据样本文本和样本文本中命名实体的实体类型，获得标记序列。

其中，命名实体的实体类型可以为样本文本中任意一个命名实体的实体类型。样本文本可以具有标注矩阵真值。该标注矩阵真值指示标记序列中的目标标记和语义相邻关系。其中，目标标记对应样本文本中属于实体类型的目标命名实体，语义相邻关系包括标记序列中对应目标命名实体的任意两个标记之间的相邻关系。可以理解的是，该标注矩阵真值与上文描述的标注矩阵类似，区别在于，标注矩阵真值指示的信息为真实信息，而标注矩阵指示的信息为预测信息；标注矩阵真值可以预先标注得到，而标注矩阵可以由命名实体识别模型预测得到。

可以理解的是，该操作S710的实现原理与上文描述的操作S210的实现原理类似，在此不再赘述。

在操作S720，采用编码子模型对标记序列进行语义编码，得到实体类型和样本文本的语义特征。

根据本公开的实施例，编码子模型对标记序列进行语义编码的原理可以与上文描述的操作S220中进行语义编码的原理类似。例如，该编码子模型可以包括上文描述的ERNIE网络和Bi-LSTM网络构成的模型，本公开对此不做限定。

在操作S730，采用解码子模型对语义特征进行解码，得到标注矩阵预测值。

其中，标注矩阵预测值指示目标标记预测值和语义相邻关系预测值。可以理解的是，该操作S730的实现原理与上文描述的操作S230的实现原理类似，且操作S730得到的标注矩阵预测值与操作S230得到的标注矩阵类似，在此不再赘述。

在操作S740，根据标注矩阵真值和标注矩阵预测值之间的差异，对命名实体识别模型进行训练。

例如，该实施例可以采用交叉熵损失函数来计算标注矩阵真值和标注矩阵预测值之间的差异，将计算得到的交叉熵损失值作为命名实体识别模型的损失值。该实施例可以以最小化该损失值为目标，对该命名实体识别模型进行训练。可以理解的是，上述采用的损失函数仅作为示例以利于理解本公开，本公开对此不做限定。

在一实施例中，可以获取多个实体类型的命名实体的文本，作为样本文本。例如，针对多个实体类型中的每个实体类型，可以获取包括该每个实体类型的命名实体的文本，得到针对该每个实体类型的多个文本。最后，该实施例可以根据针对多个实体类型的所有文本，生成样本文本。例如，在汇总得到针对多个实体类型的所有文本后，可以通过人机交互来获得针对所有文本中的每个文本的标注矩阵真值，并根据该标注矩阵真值标注该每个文本，从而可以得到样本文本。

其中，多个实体类型例如可以根据百科知识的类别来确定。例如，该多个实体类型可以包括以下23个类型中的部分或全部：人物类型、影视作品类型、组织机构类型、物品类型、文学作品类型、生物类型、音乐作品类型、游戏类型、软件类型、交通工具类型、地名类型、食品类型、网站类型、医药类型、疾病类型、节日历法类型、治疗类型、物质类型、品牌类型、时间类型、事件活动类型、奖项类型和语言类型等。

在一实施例中，可以将百科知识的标题中某个类型的标题作为目标命名实体，从文本库中抽取包括该目标命名实体的文本，从而获得针对该某个类型的文本。

在一实施例中，每个实体类型包括至少一个子类，该实施例在获取包括该每个实体类型的命名实体的文本时，可以针对该每个实体类型包括的每个子类，获取包括该每个子类的命名实体的文本，将针对该每个实体类型包括的所有子类获取的所有文本作为针对该每个实体类型的文本。

例如，对于人物类型，包括的子类可以包括人物子类和人物领域词子类，人物子类的命名实体包括人物名，人物领域词子类的命名实体可以包括表示人物身份等的类别名，例如主持人、运动员等。对于组织机构类型，包括的子类可以包括教育机构子类、医疗机构子类、政府部分子类、企业&公司子类及其他组织机构子类。其他组织机构子类的命名实体例如可以包括电视台的名称、广播台的名称等。例如，对于物品类型，包括的子类可以包括科技产品子类、电器子类、机械产品子类和部件子类等。对于文学作品类型，包括的子类可以包括文学作品子类和艺术作品子类等。文学作品子类的命名实体可以包括已发表的书籍、文档等的名称，艺术作品子类的命名实体可以包括绘画名称等。可以理解的是，各类型包括的子类例如可以跟百科知识中知识的类别划分来确定，本公开对此不做限定。

通过多个实体类别和每个实体类别包括的子类的设置，可以使得样本文本能够覆盖更多的实际应用场景，使得命名实体识别模型可以对更多类别的命名实体进行建模学习，提升命名实体识别模型对命名实体类型的建模能力。从而使得训练得到的命名实体识别模型能够在面对未曾学习过的实体类型时，具备更佳的理解和推理泛化能力。

在一实施例中，在采用针对多个实体类型的所有文本对命名实体识别模型进行训练之后，若将该命名实体识别模型应用于某个垂直领域，利于识别目标实体类型(可以为多个实体类型中的任一类型)的领域时，例如还可以采用针对该目标实体类型的文本生成针对该目标实体类型的样本文本，并依据针对该目标实体类型的样本文本对命名实体识别模型进行微调，即采用与上文描述的操作S710～操作S740类似的原理，对命名实体识别模型进行二次训练。如此，可以使得该实施例的命名实体识别模型不仅具有高泛化性，还可以支持对特定领域中命名实体的精准识别，以满足用户对该特定领域、特定类型的命名实体识别的更高精度要求。

根据本公开的实施例，解码子模型包括双仿射分类器。上述操作S730具体可以通过以下操作来实现：采用双仿射分类器对语义特征进行解码，得到第一标注矩阵。

根据本公开的实施例，解码子模型包括依次连接的嵌入网络、第一融合网络和感知机分类器。上述操作S730具体可以先采用嵌入网络对语义特征进行至少两个维度的嵌入处理，得到至少两个嵌入特征；至少两个维度包括以下维度中的至少两个：字维度、距离维度、区域维度。随后采用第一融合网络融合至少两个嵌入特征，得到融合特征。之后采用感知机分类器对融合特征进行解码，得到第二标注矩阵。

根据本公开的实施例，嵌入网络包括条件归一化层及与至少两个维度分别对应的至少两个嵌入层。上述采用嵌入网络对语义特征进行至少两个维度的嵌入处理，得到至少两个嵌入特征的操作可以包括以下操作：采用条件归一化层对语义特征进行归一化处理，得到归一化特征；以及将归一化特征输入至少两个嵌入层，由至少两个嵌入层一一对应的输出至少两个特征。

根据本公开的实施例，第一融合网络包括拼接子网络、多层感知机和空洞卷积子网络。上述采用第一融合网络融合至少两个嵌入特征，得到融合特征的操作可以包括：采用拼接子网络拼接至少两个嵌入特征，得到拼接后特征；采用多层感知机对拼接后特征进行处理，得到感知后特征；以及采用空洞卷积子网络对感知后特征进行处理，得到融合特征。

根据本公开的实施例，空洞卷积子网络包括具有不同空洞率的至少两个空洞卷积层和拼接层。上述采用空洞卷积子网络对感知后特征进行处理，得到融合特征的操作可以包括：采用至少两个空洞卷积层对感知后特征进行处理，得到至少两个卷积特征；以及采用拼接层拼接至少两个卷积特征，得到融合特征。

根据本公开的实施例，解码子模型还包括双仿射分类器和第二融合网络。上述采用解码子模型对语义特征进行解码，得到标注矩阵预测值的操作还可以包括：采用双仿射分类器对归一化特征进行处理，得到第三标注矩阵；采用第二融合网络融合第二标注矩阵与第三标注矩阵，得到对语义特征进行解码所得到的标注矩阵预测值。

基于本公开提供的命名实体的识别方法，本公开还提供了一种命名实体的识别装置，以下将结合图8对该装置进行详细描述。

图8是根据本公开实施例的命名实体的识别装置的结构框图。

如图8所示，该实施例的命名实体的识别装置800包括标记序列获得模块810、语义编码模块820、特征解码模块830和实体确定模块840。

标记序列获得模块810用于根据样本文本和样本文本中命名实体的实体类型，获得标记序列。其中，样本文本具有标注矩阵真值；标注矩阵真值指示标记序列中的目标标记和语义相邻关系。目标标记对应样本文本中属于实体类型的目标命名实体；语义相邻关系包括标记序列中对应目标命名实体的任意两个标记之间的相邻关系。在一实施例中，标记序列获得模块810可以用于执行上文描述的操作S210，在此不再赘述。

语义编码模块820用于采用编码子模型对标记序列进行语义编码，得到实体类型和样本文本的语义特征。在一实施例中，语义编码模块820可以用于执行上文描述的操作S220，在此不再赘述。

特征解码模块830用于采用解码子模型对语义特征进行解码，得到标注矩阵预测值；标注矩阵预测值指示目标标记预测值和语义相邻关系预测值。在一实施例中，特征解码模块830可以用于执行上文描述的操作S230，在此不再赘述。

实体确定模块840用于根据标注矩阵，确定待识别文本中属于实体类别的目标命名实体。在一实施例中，实体确定模块840可以用于执行上文描述的操作S240，在此不再赘述。

根据本公开的实施例，上述特征解码模块830具体可以用于采用双仿射分类器对语义特征进行解码，得到第一标注矩阵。

根据本公开的实施例，上述特征解码模块830可以包括嵌入处理子模块、第一融合子模块和解码子模块。嵌入处理子模块用于采用嵌入网络对语义特征进行至少两个维度的嵌入处理，得到至少两个嵌入特征；至少两个维度包括以下维度中的至少两个：字维度、距离维度、区域维度。第一融合子模块用于融合至少两个嵌入特征，得到融合特征。解码子模块用于对融合特征进行解码，得到第二标注矩阵。

根据本公开的实施例，嵌入网络包括与至少两个维度分别对应的至少两个嵌入层。上述嵌入处理子模块可以包括归一化单元和嵌入处理单元。归一化单元用于采用条件归一化网络对语义特征进行归一化处理，得到归一化特征。嵌入处理单元用于将归一化特征输入至少两个嵌入层，由至少两个嵌入层一一对应的输出至少两个特征。

根据本公开的实施例，上述第一融合子模块可以包括拼接单元、感知处理单元和空洞卷积处理单元。拼接单元用于拼接至少两个嵌入特征，得到拼接后特征。感知处理单元用于采用多层感知机对拼接后特征进行处理，得到感知后特征。空洞卷积处理单元用于采用空洞卷积网络对感知后特征进行处理，得到融合特征。

根据本公开的实施例，上述空洞卷积处理单元包括处理子单元和融合子单元。处理子单元用于采用具有不同空洞率的至少两个空洞卷积层对感知后特征进行处理，得到至少两个卷积特征。融合子单元用于拼接至少两个卷积特征，得到融合特征。

根据本公开的实施例，上述特征解码模块830还可以包括分类子模块和第二融合子模块。分类子模块用于采用双仿射分类器对归一化特征进行处理，得到第三标注矩阵。第二融合子模块用于融合第二标注矩阵与第三标注矩阵，得到对语义特征进行解码所得到的标注矩阵。

根据本公开的实施例，上述实体确定模块840可以包括图生成子模块和实体确定子模块。图生成子模块用于根据标注矩阵指示的语义相邻关系和标记序列，生成标记有向图。实体确定子模块用于根据标注矩阵指示的目标标记在标记有向图中的位置，确定目标命名实体。其中，目标标记包括对应于目标命名实体的首位字的标记和对应于目标命名实体的末位字的标记。

基于本公开提供的命名实体识别模型的训练方法，本公开还提供了一种命名实体识别模型的训练装置，以下将结合图9对该装置进行详细描述。

图9是根据本公开实施例的命名实体识别模型的训练装置的结构框图。

如图9所示，该实施例的命名实体识别模型的训练装置900可以包括标记序列获得模块910、语义编码模块920、特征解码模块930和模型训练模块940。其中，命名实体识别模型包括编码子模型和解码子模型。

标记序列获得模块910用于根据样本文本和样本文本中命名实体的实体类型，获得标记序列。其中，样本文本具有标注矩阵真值；标注矩阵真值指示标记序列中的目标标记和语义相邻关系。目标标记对应样本文本中属于实体类型的目标命名实体；语义相邻关系包括标记序列中对应目标命名实体的任意两个标记之间的相邻关系。在一实施例中，标记序列获得模块910可以用于执行上文描述的操作S710，在此不再赘述。

语义编码模块920用于采用编码子模型对标记序列进行语义编码，得到实体类型和样本文本的语义特征。在一实施例中，语义编码模块920可以用于执行上文描述的操作S720，在此不再赘述。

特征解码模块930用于采用解码子模型对语义特征进行解码，得到标注矩阵预测值。其中，标注矩阵预测值指示目标标记预测值和语义相邻关系预测值。在一实施例中，特征解码模块930可以用于执行上文描述的操作S730，在此不再赘述。

模型训练模块940用于根据标注矩阵真值和标注矩阵预测值之间的差异，对命名实体识别模型进行训练。在一实施例中，模型训练模块940可以用于执行上文描述的操作S740，在此不再赘述。

根据本公开的实施例，上述命名实体识别模型的训练装置900还可以包括文本获取模块和样本生成模块。文本获取模块用于针对多个实体类型中的每个实体类型，获取包括每个实体类型的命名实体的文本，得到针对多个实体类型的多个文本。样本生成模块用于根据多个文本，生成样本文本。

根据本公开的实施例，每个实体类型包括至少一个子类。上述文本获取模块具体用于：针对至少一个子类中每个子类，获取包括每个子类的命名实体的文本。

根据本公开的实施例，解码子模型包括双仿射分类器。上述特征解码模块930具体可以用于采用双仿射分类器对语义特征进行解码，得到第一标注矩阵。

根据本公开的实施例，解码子模型包括依次连接的嵌入网络、第一融合网络和感知机分类器。上述特征解码模块930可以包括嵌入处理子模块、第一融合子模块和解码子模块。嵌入处理子模块用于采用嵌入网络对语义特征进行至少两个维度的嵌入处理，得到至少两个嵌入特征；至少两个维度包括以下维度中的至少两个：字维度、距离维度、区域维度。第一融合子模块用于采用第一融合网络融合至少两个嵌入特征，得到融合特征。解码子模块用于采用感知机分类器对融合特征进行解码，得到第二标注矩阵。

根据本公开的实施例，嵌入网络包括条件归一化层及与至少两个维度分别对应的至少两个嵌入层。上述嵌入处理子模块可以包括归一化单元和嵌入处理单元。归一化单元用于采用条件归一化层对语义特征进行归一化处理，得到归一化特征。嵌入处理单元用于将归一化特征输入至少两个嵌入层，由至少两个嵌入层一一对应的输出至少两个特征。

根据本公开的实施例，第一融合网络包括拼接子网络、多层感知机和空洞卷积子网络。上述第一融合子模块可以包括拼接单元、感知处理单元和空洞卷积处理单元。拼接单元用于采用拼接子网络拼接至少两个嵌入特征，得到拼接后特征。感知处理单元用于采用多层感知机对拼接后特征进行处理，得到感知后特征。空洞卷积处理单元用于采用空洞卷积子网络对感知后特征进行处理，得到融合特征。

根据本公开的实施例，空洞卷积子网络包括具有不同空洞率的至少两个空洞卷积层和拼接层。上述空洞卷积处理单元包括处理子单元和融合子单元。处理子单元用于采用至少两个空洞卷积层对感知后特征进行处理，得到至少两个卷积特征。融合子单元用于采用拼接层拼接至少两个卷积特征，得到融合特征。

根据本公开的实施例，解码子模型还包括双仿射分类器和第二融合网络。上述特征解码模块930还可以包括分类子模块和第二融合子模块。分类子模块用于采用双仿射分类器对归一化特征进行处理，得到第三标注矩阵。第二融合子模块用于采用第二融合网络融合第二标注矩阵与第三标注矩阵，得到对语义特征进行解码所得到的标注矩阵预测值。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本公开实施例的命名实体的识别方法和/或命名实体的识别模型的训练方法的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如命名实体的识别方法和/或命名实体的识别模型的训练方法。例如，在一些实施例中，命名实体的识别方法和/或命名实体的识别模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1 008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的命名实体的识别方法和/或命名实体的识别模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行命名实体的识别方法和/或命名实体的识别模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。