一种健康问答模型的训练、健康问答方法及相关装置

技术领域

本发明涉及健康的技术领域，尤其涉及一种健康问答模型的训练、健康问答方法及相关装置。

背景技术

在健康领域的智能客服场景下，多会提供智能问答，用户的意图被识别出来，并且给出最接近的标准答案，可以快速帮助用户自主解决一些重复或常见的问题，例如，营养素的功效，营养素的使用说明，等等。

基于孪生句向量变换器的双向编码器(Sentence-BERT)是目前是智能问答主流的召回模型之一，其提前针对知识库计算向量，从而快速响应的召回任务，节约大量推理时间。

一方面，健康领域中关于问答的数据量稀少，因而Sentence-BERT对于健康领域的适应性较差，从而导致召回的答案准确率较低。

另一方面，由于在健康领域中产品、疾病、营养素等实体词迭代迅速，为了理解新的实体词，每间隔一定的时间开发人员重新训练Sentence-BERT，由于标注量较大，使得训练Sentence-BERT的成本较高、效率较低。

发明内容

本发明提供了一种健康问答模型的训练、健康问答方法及相关装置，以解决如何提高Sentence-BERT召回答案的准确率、提高Sentence-BERT适配新的实体词的效率。

根据本发明的一方面，提供了一种健康问答模型的训练方法，所述方法包括：

S101：采集多个样本，每个样本包括健康问题信息，健康答案信息，所述健康问题信息中包含健康实体词的问题关键词，所述健康答案信息中包含健康实体词的答案关键词；

S102：将所述健康问题信息与所述健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量；

S103：将所述问题中间向量转换为受所述问题关键词控制的问题关键向量；

S104：将所述答案中间向量转换为受所述答案关键词控制的答案关键向量；

S105：将所述问题关键向量与所述答案关键向量输入所述基于孪生句向量变换器的双向编码器中继续完成编码，得到问题目标向量与答案目标向量；

S106：根据所述问题目标向量与所述答案目标向量将所述基于孪生句向量变换器的双向编码器训练为健康问答模型。

根据本发明的另一方面，提供了一种健康问答方法，所述方法包括：

S201：加载属于基于孪生句向量变换器的双向编码器的健康问答模型；

S202：若接收到客户端输入的健康问题信息，则从所述健康问题信息中提取包括健康实体词的问题关键词；

S203：将所述健康问题信息输入所述健康问答模型中初步编码，得到中间层输出的问题中间向量；

S204：将所述问题中间向量转换为受所述问题关键词控制的问题关键向量；

S205：将所述问题关键向量输入所述健康问答模型中继续完成编码，得到问题目标向量；

S206：根据所述问题关键向量与预设的答案关键向量召回用于解答所述健康问题信息的所述健康答案信息，所述答案关键向量编码自健康问答信息及所述健康答案信息中包含健康实体词的答案关键词；

S207：将用于解答所述健康问题信息的所述健康答案信息推送至所述客户端进行显示。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序及健康问答模型，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的健康问答模型的训练方法或者健康问答方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序及健康问答模型，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的健康问答模型的训练方法或者健康问答方法。

在本实施例中，采集多个样本，每个样本包括健康问题信息，健康答案信息，健康问题信息中包含健康实体词的问题关键词，健康答案信息中包含健康实体词的答案关键词；将健康问题信息与健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量；将问题中间向量转换为受问题关键词控制的问题关键向量；将答案中间向量转换为受答案关键词控制的答案关键向量；将问题关键向量与答案关键向量输入基于孪生句向量变换器的双向编码器中继续完成编码，得到问题目标向量与答案目标向量；根据问题目标向量与答案目标向量将基于孪生句向量变换器的双向编码器训练为健康问答模型。本实施例通过引入包含健康实体词的问题关键词、答案关键词训练基于孪生句向量变换器的双向编码器，让基于孪生句向量变换器的双向编码器的注意力更加集中到包含健康实体词的问题关键词、答案关键词上，提高了基于孪生句向量变换器的双向编码器在健康领域的适应性，从而提高答案召回的准确率，并且，通过自定义编码问题关键向量、答案关键向量的结构，在更新迭代健康实体词重新训练基于孪生句向量变换器的双向编码器时，可以有效减少标注量，从而降低训练基于孪生句向量变换器的双向编码器的成本，提高训练基于孪生句向量变换器的双向编码器的效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种健康问答模型的训练方法的流程图；

图2是根据本发明实施例一提供的一种Sentence-BERT的结构示意图；

图3是根据本发明实施例一提供的一种引入关键词的Sentence-BERT的结构示意图；

图4是根据本发明实施例一提供的一种生成问题目标向量的流程示意图；

图5是根据本发明实施例一提供的一种输出层的结构示意图；

图6是根据本发明实施例一提供的一种生成答案目标向量的流程示意图；

图7是根据本发明实施例一提供的一种输出层的结构示意图；

图8是根据本发明实施例二提供的一种健康问答方法的流程图；

图9是根据本发明实施例三提供的一种健康问答模型的训练装置的结构示意图；

图10是根据本发明实施例四提供的一种健康问答装置的结构示意图；

图11是实现本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种健康问答模型的训练方法的流程图，本实施例可适用于融入包含健康实体词的关键词将Sentence-BERT训练为健康问答模型的情况，该方法可以由健康问答模型的训练装置来执行，该健康问答模型的训练装置可以采用硬件和/或软件的形式实现，该健康问答模型的训练装置可配置于电子设备中。如图1所示，该方法包括：

步骤S101、采集多个样本。

在本实施例中，可以通过第三方公开的数据集、网站日志文件积累等方式采集多个样本，每个样本均为五元组，该五元组包括健康问题信息，健康答案信息，健康问题信息中包含健康实体词的问题关键词，健康答案信息中包含健康实体词的答案关键词，健康问题信息与健康答案信息之间的真实相似度。

其中，健康问题信息为与健康相关的问题，例如，“不同维生素可以一起吃吗？”。

健康答案信息为用于解答健康问题信息的、与健康相关的答案，例如，“不同类营养素有需要可以搭配一起补充，同类营养素同时食用不宜超过推荐量哦。如：维生素C片是补充维生素C，B族维生素片是补充维生素B族，是属于不同类的维生素，这两款产品就可以搭配一起补充。”。

健康实体词为与健康相关的实体词，包括营养素的名称(如维生素D)、营养品的名称(如蛋白粉)、疾病的名称(如骨质疏松)，等等；

问题关键词为健康问题信息中的关键词，答案关键词为健康答案信息中的关键词，一般情况下，问题关键词、答案关键词除了包含一个或多个健康实体词之外，还包含表示意图的词、表示情感的词，等等，在某些情况中，问题关键词、答案关键词包含的健康实体词为空，本实施例对此不加以限制。

在具体实现中，样本的类型可以包括正样本、负样本，在正样本中，健康答案信息可准确地解答健康问题信息提出的疑问，在负样本中，健康答案信息并不能准确地解答健康问题信息提出的疑问。

在制作正本时，可以通过第三方公开的数据集、网站日志文件积累等方式获取相互匹配的健康问题信息、健康答案信息，所谓相互匹配，可以指健康答案信息准确地解答健康问题信息提出的疑问。

对于健康问题信息、健康答案信息，可以通过统计的方式从健康问题信息、健康答案信息中总结出关键词的词表，标准的实体词及其同义词的词表，停用词的词表，通过不断迭代优化来动态扩充这些词表。

其中，停用词为一些对内容理解无效的词与符号，如语气词、标点符号等。

此时，可对健康问题信息、健康答案信息执行如下至少一种预处理：

1、去除停用词

使用停用词的词表构建正则表达式，将正则表达式与健康问题信息、健康答案信息进行匹配，将健康问题信息、健康答案信息中出现的停用词删除。

2、提取关键词

使用关键词的词表、实体词的词表建立字典树，使用字典树从健康问题信息中提取含健康实体词的关键词，作为问题关键词，使用字典树从健康答案信息中提取含健康实体词的关键词，作为答案关键词。

3、归一化

将同义词的词表与关键词(问题关键词、答案关键词)中的实体词进行匹配，将属于同义词的实体词映射为标准的实体词。

对健康问题信息与健康答案信息之间配置趋向相似度上限值(即1)的数值(如1)，作为实际相似度。

此时，可将相互匹配的健康问题信息与健康答案信息、问题关键词、答案关键词、实际相似度构建为正样本。

在制作负样本时，除了直接构建相互不匹配的健康问题信息与健康答案信息，将相互不匹配的健康问题信息与健康答案信息、问题关键词、答案关键词、实际相似度构建为负样本之外，还可以对正样本进行负采样制作负样本，以提高制作负样本的效率，提高健康问答模型的鲁棒性。

在一种制作负样本的方式中，从当前正样本中采样健康问题信息及问题关键词，从除当前正样本之外的其他正样本中随机负采样k(k为正整数)个健康答案信息及答案关键词，那么，当前正样本中的健康问题信息与其他正样本中的健康答案信息相互不匹配。

对健康问题信息与健康答案信息之间配置趋向相似度下限值(即0)的数值(如0.03)，作为实际相似度。

将来源于当前正样本的健康问题信息及问题关键词，来源于其他正样本的健康答案信息及答案关键词、实际相似度构建为负样本。

在另一种制作负样本的方式中，从当前正样本中采样健康问题信息及问题关键词，针对当前正样本选定第一目标样本，第一目标样本为与当前正样本具有相同问题关键词的其他正样本，从第一目标样本中随机负采样k(k为正整数)个健康答案信息及答案关键词，那么，当前正样本中的健康问题信息与第一目标样本中的健康答案信息相互不匹配，并且，当前正样本中的健康问题信息与第一目标样本中的健康问题信息具有一定的相似性。

在第一数值与第二数值之间取最小者，作为健康问题信息与健康答案信息之间的实际相似度，其中，第一数值趋向相似度上限值(即1)，如0.95，第二数值为对当前正样本与第一目标样本之间在问题关键词和/或答案关键词重合的数量取指定的第一比例(第一比例小于1，如0.25)。

将来源于当前正样本的健康问题信息及问题关键词，来源于第一目标样本的健康答案信息及答案关键词、实际相似度构建为负样本。

在又一种制作负样本的方式中，从当前正样本中采样健康答案信息及答案关键词，针对当前正样本选定第二目标样本，第二目标样本为与当前正样本具有相同答案关键词的其他正样本，从第二目标样本中随机负采样k(k为正整数)健康问题信息及问题关键词，那么，当前正样本中的健康答案信息与第二目标样本中的健康问题信息相互不匹配，并且，当前正样本中的健康答案信息与第二目标样本中的健康答案信息具有一定的相似性。

在第三数值与第四数值之间取最小者，作为健康问题信息与健康答案信息之间的实际相似度，其中，第三数值趋向上限值(即1)，如0.95，第四数值为对当前正样本与第二目标样本之间在问题关键词和/或答案关键词重合的数量取指定的第二比例(第二比例小于1，如0.25)。

将来源于第二目标样本的健康问题信息及问题关键词，来源于当前正样本的健康答案信息及答案关键词、实际相似度构建为负样本。

当然，上述制作样本的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其它制作样本的方式，本实施例对此不加以限制。另外，除了上述制作样本的方式外，本领域技术人员还可以根据实际需要采用其它制作样本的方式，本实施例对此也不加以限制。

步骤S102、将健康问题信息与健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量。

如图2所示，Sentence-BERT是基于预训练过的BERT(BidirectionalEncoderRepresentationfromTransformers，来自编码-解码架构的双向编码器)的孪生网络，BERT是基于多层的双向Transformer(编码-解码架构)建立的。

在Sentence-BERT中，将句子(SentenceA、SentenceB)对输入到参数共享的两个BERT中，BERT输出句子的所有字向量传入Pooling(池化层)进行池化操作(如平均池化操作，在句子长度这个维度上对所有字向量求均值)，获取到每个句子的句向量(u，v)表示，并使用余弦值等函数计算相似度(Sim(u,v))。

在本实施例中，如图3所示，将健康问题信息与健康答案信息分别输入Sentence-BERT中的两个通道中初步编码，得到Sentence-BERT的中间层的隐层输出，即，对健康问题信息编码的向量，作为问题中间向量H_question_middle∈R

其中，中间层为Sentence-BERT的参数共享的两个BERT中任一层，例如，某个Sentence-BERT的参数共享的两个BERT中具有十二层Transformer，中间层可以为第六层Transformer，中间层也可以为第十二层Transformer，等等。

在具体实现中，如图4所示，将健康问题信息输入预设的第一分词器(如BERT-tokenlizer)中进行处理，获得第一数字序列input_ids、第一分片序列segment_ids与第一掩码序列mask_ids，以满足BERT的输入规范。

如图6所示，将健康答案信息输入预设的第一分词器(如BERT-tokenlizer)中进行处理，获得第二数字序列input_ids、第二分片序列segment_ids与第二掩码序列mask_ids，以满足BERT的输入规范。

如图4与图6所示，将第一数字序列input_ids、第一分片序列segment_ids与第一掩码序列mask_ids，以及，第二数字序列input_ids、第二分片序列segment_ids与第二掩码序列mask_ids输入基于孪生句向量变换器的双向编码器(Sentence-BERT)中的两个通道进行初步编码，得到中间层输出的问题中间向量H_question_middle与答案中间向量H_answer_middle。

步骤S103、将问题中间向量转换为受问题关键词控制的问题关键向量。

在本实施例中，如图3所示，可以参照问题关键词对问题中间向量H_question_middle进行编码，增加问题关键词对问题中间向量H_question_middle的重要程度，从而将问题中间向量H_question_middle转换为受问题关键词控制的问题关键向量H_q。

在本发明的一个实施例中，步骤S103可以包括如下步骤：

步骤S1031、将问题中间向量转换为问题查询向量、问题索引向量与问题内容向量。

在本实施例中，如图4所示，对问题中间向量H_question_middle进行编码，转换为问题查询向量Q_question、问题索引向量K_question与问题内容向量V_question，以满足第一自注意力层(self-attention)的输入规范。

在具体实现中，对问题中间向量H_question_middle进行线性变换，生成第一查询矩阵(Q矩阵，即一组Qurey集合组成的矩阵)、第一索引矩阵(K矩阵，即一组Key集合组成的矩阵)、第一内容矩阵(V矩阵，一组Value集合组成的矩阵)。

将问题中间向量H_question_middle与第一查询矩阵(Q矩阵)相乘，得到问题查询向量Q_question。

将问题中间向量H_question_middle与第一索引矩阵(K矩阵)相乘，得到问题索引向量K_question。

将问题中间向量H_question_middle与第一内容矩阵(V矩阵)相乘，得到问题内容向量V_question。

步骤S1032、对问题关键词进行编码，得到第一词索引向量、第一词内容向量。

在本实施例中，如图4所示，对问题关键词进行编码，得到第一词索引向量K_qe、第一词内容向量V_qe，使得第一词索引向量K_qe、第一词内容向量V_qe与问题索引向量K_question、问题内容向量V_question处于同一向量空间中，以便进行融合。

在具体实现中，如图4所示，将问题关键词输入预设的第二分词器中进行处理，获得第三数字序列keyword_input_ids、第三分片序列keyword_segment_ids与第三掩码序列keyword_mask_ids。

其中，第二分词器为针对含有健康实体词的关键词训练的分词器，例如，在BERT-tokenlizer中添加实体词的词表训练的分词器。

将第三数字序列keyword_input_ids、第三分片序列keyword_segment_ids与第三掩码序列keyword_mask_ids输入预设的词向量矩阵中进行处理，得到隐层输出的问题关键向量H_q_keyword’∈R

将问题关键向量H_q_keyword’输入预设的问题索引矩阵W_K_qe∈R

将第一词索引向量K_qe输入预设的问题内容矩阵V_K_qe∈R

步骤S1033、将问题索引向量与第一词索引向量融合为第一目标索引向量。

在本实施例中，如图4所示，可以通过线性或非线性下的相加、相乘或拼接等方式对问题索引向量K_question与第一词索引向量K_qe进行融合，得到第一目标索引向量Kq。

在一个示例中，可以将第一词索引向量K_qe乘以预设的第一超参数，获得第一调权索引向量，将第一调权索引向量与问题索引向量K_question拼接为第一目标索引向量Kq∈R

步骤S1034、将问题内容向量与第一词内容向量融合为第一目标内容向量。

在本实施例中，如图4所示，可以通过线性或非线性下的相加、相乘或拼接等方式对问题内容向量V_question与第一词内容向量V_qe进行融合，得到第一目标内容向量Vq。

在一个示例中，可以将第一词内容向量V_qe乘以预设的第一超参数，获得第一调权内容向量，将第一调权内容向量与问题内容向量V_question拼接为第一目标内容向量Vq∈R

步骤S1035、将问题查询向量、第一目标索引向量与第一目标内容向量输入预设的第一自注意力层进行处理，得到问题候选向量。

在本实施例中，如图4所示，将问题查询向量Q_question、第一目标索引向量Kq与第一目标内容向量Vq输入预设的第一自注意力层进行处理，得到问题候选向量A_q。

第一自注意力层属于自注意力机制(self-attention)，又称内部注意力机制，是一种将单个序列的不同位置关联起来以计算同一序列的表示的注意力机制(Attention)的一种。

以KQV模型来解释Attention机制：

假定输入为Q(Query，查询),Memory中以键值对(Key/Value，K/V，又称索引/内容)形式存储上下文，那么注意力机制是Query到一系列键值对上的映射函数。

注意力机制本质上是为序列中每个元素都分配一个权重系数，即软寻址，如果序列中每一个元素都以键值对形式存储，那么注意力机制则通过计算Q和K的相似度来完成寻址。Q和K计算出来的相似度反映了取出来的V值的重要程度，即权重，然后加权求和就得到了attention值。

SelfAttention在KQV模型中的特殊点在于Q＝K＝V，其是文本和文本自己求相似度再和文本本身相乘计算得来。

进一步而言，第一自注意力层的处理过程如下：

其中，A_q为问题候选向量，Q为问题查询向量Q_question，K为第一目标索引向量Kq，V为第一目标内容向量Vq，d为特征的维度。

步骤S1036、从问题候选向量中提取特征，得到问题关键向量。

在本实施例中，如图4所示，将问题候选向量A_q输入到输出层中提取高维度的特征，得到问题关键向量H_q。

在一种输出层的示例中，如图5所示，输出层包括三个全连接层(fullyconnectedlayers，FC)，分别为第一问题全连接层Dense1′、第二问题全连接层Dense2′、第三问题全连接层Dense3′。

在本示例中，将问题候选向量A_q输入预设的第一问题全连接层Dense1′中映射为第一问题特征向量，使用Sigmoid(S型生长函数，将任意数值转换为概率(0-1))等激活函数对第一问题特征向量进行激活。

若完成激活第一问题特征向量，则将第一问题特征向量输入预设的第二问题全连接层Dense2′中映射为第二问题特征向量，使用ReLU(RectifiedLinearUnit，整流线性单元)等激活函数对第二问题特征向量进行激活。

若完成激活第二问题特征向量，则将第二问题特征向量输入预设的第三问题全连接层Dense3′中映射为第三问题特征向量，使用Sigmoid等激活函数对第三问题特征向量进行激活，得到问题关键向量H_q。

在本示例中，提取问题关键向量H_q的过程表示如下：

H_q＝Sigmoid(Dense3′(ReLU(Dense2′(Sigmoid(Dense1′(A_q))))))

其中，Dense1′为第一问题全连接层，Dense2′为第二问题全连接层，Dense3′为第三问题全连接层，Sigmoid与ReLu均为激活函数。

步骤S104、将答案中间向量转换为受答案关键词控制的答案关键向量。

在本实施例中，如图3所示，可以参照答案关键词对答案中间向量H_answer_middle进行编码，增加答案关键词对答案中间向量H_answer_middle的重要程度，从而将答案中间向量H_answer_middle转换为受答案关键词控制的答案关键向量H_a。

在本发明的一个实施例中，步骤S104可以包括如下步骤：

步骤S1041、将答案中间向量转换为答案查询向量、答案索引向量、答案内容向量。

在本实施例中，如图6所示，对答案中间向量H_answer_middle进行编码，转换为答案查询向量Q_answer、答案索引向量K_answer、答案内容向量V_answer，以满足第二自注意力层(self-attention)的输入规范。

在具体实现中，对答案中间向量H_answer_middle进行线性变换，生成第二查询矩阵(Q矩阵，即一组Qurey集合组成的矩阵)、第二索引矩阵(K矩阵，即一组Key集合组成的矩阵)、第二内容矩阵(V矩阵，一组Value集合组成的矩阵)。

将答案中间向量H_answer_middle与第二查询矩阵(Q矩阵)相乘，得到答案查询向量Q_answer。

将答案中间向量H_answer_middle与第二索引矩阵(K矩阵)相乘，得到答案索引向量K_answer。

将答案中间向量H_answer_middle与第二内容矩阵(V矩阵)相乘，得到答案内容向量V_answer。

步骤S1042、对答案关键词进行编码，得到第二词索引向量、第二词内容向量。

在本实施例中，如图6所示，对答案关键词进行编码，得到第二词索引向量K_ae、第二词内容向量V_ae，使得第二词索引向量K_ae、第二词内容向量V_ae与答案查询向量Q_answer、答案索引向量K_answer、答案内容向量V_answer处于同一向量空间中，以便进行融合。

在具体实现中，如图6所示，将答案关键词输入预设的第二分词器中进行处理，获得第四数字序列keyword_input_ids、第四分片序列keyword_segment_ids与第四掩码序列keyword_mask_ids。

将第四数字序列keyword_input_ids、第四分片序列keyword_segment_ids与第四掩码序列keyword_mask_ids输入预设的词向量矩阵中进行处理，得到隐层输出的答案关键向量H_a_keyword’∈R

将答案关键向量H_a_keyword’输入预设的答案索引矩阵W_K_ae∈R

将第二词索引向量K_ae输入预设的答案内容矩阵V_K_ae∈R

步骤S1043、将答案索引向量与第二词索引向量融合为第二目标索引向量。

在本实施例中，如图6所示，可以通过线性或非线性下的相加、相乘或拼接等方式对答案索引向量K_answer与第二词索引向量K_ae进行融合，得到第二目标索引向量Ka。

在一个示例中，将第二词索引向量K_ae乘以预设的第二超参数，获得第二调权索引向量，将第二调权索引向量与答案索引向量K_answer拼接为第二目标索引向量Ka∈

R

步骤S1044、将答案内容向量与第二词内容向量融合为第二目标内容向量。

在本实施例中，如图6所示，可以通过线性或非线性下的相加、相乘或拼接等方式对答案内容向量V_answer与第二词内容向量V_ae进行融合，得到第二目标内容向量Va。

在一个示例中，可以将第二词内容向量V_ae乘以预设的第二超参数，获得第二调权内容向量，将第二调权内容向量与答案内容向量V_answer拼接为第二目标内容向量Va∈R

步骤S1045、将答案查询向量、第二目标索引向量与第二目标内容向量输入预设的第二自注意力层进行处理，得到答案候选向量。

在本实施例中，如图6所示，将答案查询向量Q_answer、第二目标索引向量Ka与第二目标内容向量Va输入预设的第二自注意力层进行处理，得到答案候选向量A_a。

第二自注意力层属于自注意力机制(self-attention)，第二自注意力层的处理过程如下：

其中，A_a为答案候选向量，Q为答案查询向量Q_answer，K为第二目标索引向量Ka，V为第二目标内容向量Va，d为特征的维度。

步骤S1046、将答案候选向量中提取特征，得到答案关键向量。

在本实施例中，如图6所示，将答案候选向量A_a输入到输出层中提取高维度的特征，得到答案关键向量H_a。

在一种输出层的示例中，如图7所示，输出层包括三个全连接层，分别为第一答案全连接层Dense 1、第二答案全连接层Dense2、第三答案全连接层Dense3。

在本示例中，将答案候选向量A_a输入预设的第一答案全连接层Dense1中映射为第一答案特征向量，使用Sigmoid等激活函数对第一答案特征向量进行激活。

若完成激活第一答案特征向量，则将第一答案特征向量输入预设的第二答案全连接层Dense2中映射为第二答案特征向量，使用ReLU等激活函数对第二答案特征向量进行激活。

若完成激活第二答案特征向量，则将第二答案特征向量输入预设的第三答案全连接层Dense3中映射为第三答案特征向量，使用Sigmoid等激活函数对第三答案特征向量进行激活，得到答案关键向量H_a。

在本示例中，提取答案关键向量H_a的过程表示如下：

H_a＝Sigmoid(Dense3(ReLU(Dense2(Sigmoid(Dense1(A_a))))))

其中，Dense 1为第一答案全连接层，Dense2为第二答案全连接层，Dense3为第三答案全连接层，Sigmoid与ReLu均为激活函数。

步骤S105、将问题关键向量与答案关键向量输入基于孪生句向量变换器的双向编码器中继续完成编码，得到问题目标向量与答案目标向量。

如图3所示，一方面，将问题关键向量H_q重新输入Sentence-BERT中继续完成剩余的编码，从而输出问题目标向量H1q，另一方面，将答案关键向量H_a重新输入Sentence-BERT中继续完成剩余的编码，从而输出答案目标向量Hla。

步骤S106、根据问题目标向量与答案目标向量将基于孪生句向量变换器的双向编码器训练为健康问答模型。

在本实施例中，可以根据问题目标向量H1q与答案目标向量H1a对Sentence-BERT进行训练，在完成训练时，Sentence-BERT记为健康问答模型，健康问答模型用于推理健康问题信息与健康答案信息之间的相似度。

在本发明的一个实施例中，步骤S106可以包括如下步骤：

步骤S1061、基于问题目标向量与答案目标向量计算健康问题信息与健康答案信息之间的预测相似度。

在本实施例中，如图3所示，将问题目标向量H1q与答案目标向量H1a进行比较，从而推理健康问题信息与健康答案信息之间的匹配程度，记为预测相似度Sim(H1q,H1a)。

示例性地，可以计算问题目标向量H1q与答案目标向量H1a之间的余弦值，表示如下：

其中，Scos为余弦值，||||为取模运算。

使用Sigmoid等激活函数对余弦值进行激活，得到健康问题信息与健康答案信息之间的预测相似度。

在使用Sigmoid激活时，预测相似度表示如下：

其中，Scos′为预测相似度，Scos为余弦值。

当然，上述计算预测相似度的方法只是作为示例，在实施本实施例时，可以根据实际情况设置其它计算预测相似度的方法，例如，余弦值、欧氏距离，等等，本实施例对此不加以限制。另外，除了上述计算预测相似度的方法外，本领域技术人员还可以根据实际需要采用其它计算预测相似度的方法，本实施例对此也不加以限制。

步骤S1062、基于预测相似度与真实相似度计算损失值。

针对同一对健康问题信息与健康答案信息，既有已标准的相似度(即真实相似度)，由于推理的相似度(即预测相似度)，此时，可以将真实相似度与预测相似度代入预设的损失函数中，计算预测相似度与真实相似度之间在某个上的差异，记为损失值LOSS。

示例性地，计算预测相似度与真实相似度之间的均方误差(MSE)，作为损失值，表示为Lmse＝||Scos'-S||

进一步而言，均方误差又称为二次损失，L2损失(MeanSquareError,QuadraticLoss,L2Loss)，MSE是真实相似度与预测相似度之间距离平方之和。

当然，上述损失函数只是作为示例，在实施本实施例时，可以根据实际情况设置其它损失函数，例如，平均绝对误差(MAE)，等等，本实施例对此不加以限制。另外，除了上述损失函数外，本领域技术人员还可以根据实际需要采用其它损失函数，本实施例对此也不加以限制。

步骤S1063、按照损失值更新基于孪生句向量变换器的双向编码器。

在Sentence-BERT中完成正向传播之后，可以对Sentence-BERT进行反向传播，将损失值代入SGD(stochastic gradient descent，随机梯度下降)、Adam(Adaptivemomentum，自适应动量)等优化算法中，分别计算Sentence-BERT中参数的梯度，分别按照该梯度更新Sentence-BERT中的参数。

步骤S1064、判断是否满足预设的训练条件；若是，则执行步骤S1065，若否，则返回执行步骤S102至步骤S105。

步骤S1065、将基于孪生句向量变换器的双向编码器输出为健康问答模型。

在本实施例中，可以预先针对训练Sentence-BERT设置训练条件，作为停止训练Sentence-BERT的条件，例如，迭代的次数达到阈值，损失值连续多次的变化幅度小于某个阀值，等等，在每轮迭代训练中，判断是否满足训练条件。

如果满足训练条件，则可以认为确认完成训练，将Sentence-BERT(含参数)输出为Sentence-BERT。

如果未满足训练条件，则可以进入下一轮迭代训练，重新执行步骤S102至步骤S105，如此循环迭代训练，直至满足训练条件。

在本实施例中，采集多个样本，每个样本包括健康问题信息，健康答案信息，健康问题信息中包含健康实体词的问题关键词，健康答案信息中包含健康实体词的答案关键词；将健康问题信息与健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量；将问题中间向量转换为受问题关键词控制的问题关键向量；将答案中间向量转换为受答案关键词控制的答案关键向量；将问题关键向量与答案关键向量输入基于孪生句向量变换器的双向编码器中继续完成编码，得到问题目标向量与答案目标向量；根据问题目标向量与答案目标向量将基于孪生句向量变换器的双向编码器训练为健康问答模型。本实施例通过引入包含健康实体词的问题关键词、答案关键词训练基于孪生句向量变换器的双向编码器，让基于孪生句向量变换器的双向编码器的注意力更加集中到包含健康实体词的问题关键词、答案关键词上，提高了基于孪生句向量变换器的双向编码器在健康领域的适应性，从而提高答案召回的准确率，并且，通过自定义编码问题关键向量、答案关键向量的结构，在更新迭代健康实体词重新训练基于孪生句向量变换器的双向编码器时，可以有效减少标注量，从而降低训练基于孪生句向量变换器的双向编码器的成本，提高训练基于孪生句向量变换器的双向编码器的效率。

实施例二

图8为本发明实施例二提供的一种健康问答方法的流程图，本实施例可适用于通过在属于Sentence-BERT的健康问答模型中融入包含健康实体词的关键词、召回答案的情况，该方法可以由健康问答装置来执行，该健康问答模型的训练装置可以采用硬件和/或软件的形式实现，该健康问答装置可配置于电子设备中。如图8所示，该方法包括：

步骤S201、加载属于基于孪生句向量变换器的双向编码器的健康问答模型。

在实际应用中，可以应用本发明任一实施例所述的健康问答模型的训练方法将Sentence-BERT训练为健康问答模型，在健康问答模型在性能通过评估时，部署线上运行，此时，可将健康问答模型加载至内存运行。

步骤S202、若接收到客户端输入的健康问题信息，则从健康问题信息中提取包括健康实体词的问题关键词。

在本实施例中，用户可以使用账号、密码等方式登录客户端，也可以使用临时的身份信息登录客户端，该客户端可以为浏览器、购物应用、即时通讯工具，等等。

用户可以通过客户端进入人工客服等系统，输入健康问题信息，在接收到健康问题信息时，可以使用由关键词的词表、实体词的词表建立的字典树从健康问题信息中提取含健康实体词的关键词，作为问题关键词。

步骤S203、将健康问题信息输入健康问答模型中初步编码，得到中间层输出的问题中间向量。

在本实施例中，将健康问题信息输入健康问答模型的其中一个通道初步编码，得到健康问答模型的中间层的隐层输出，即，对健康问题信息编码的向量，作为问题中间向量。

在具体实现中，将健康问题信息输入预设的第一分词器(如BERT-tokenlizer)中进行处理，获得第一数字序列、第一分片序列与第一掩码序列，以满足BERT的输入规范。

将第一数字序列、第一分片序列与第一掩码序列输入基于健康问答模型的其中一个通道进行初步编码，得到中间层输出的问题中间向量。

步骤S204、将问题中间向量转换为受问题关键词控制的问题关键向量。

在本实施例中，可以参照问题关键词对问题中间向量进行编码，增加问题关键词对问题中间向量的重要程度，从而将问题中间向量转换为受问题关键词控制的问题关键向量。

在本发明的一个实施例中，步骤S204可以包括如下步骤：

步骤S2041、将问题中间向量转换为问题查询向量、问题索引向量与问题内容向量。

在具体实现中，对问题中间向量生成第一查询矩阵、第一索引矩阵、第一内容矩阵；将问题中间向量分别与第一查询矩阵、第一索引矩阵、第一内容矩阵相乘，得到问题查询向量、问题索引向量与问题内容向量。

步骤S2042、对问题关键词进行编码，得到第一词索引向量、第一词内容向量。

在具体实现中，将问题关键词输入预设的第二分词器中进行处理，获得第三数字序列、第三分片序列与第三掩码序列；将第三数字序列、第三分片序列与第三掩码序列输入预设的词向量矩阵中进行处理，得到问题关键向量；将问题关键向量输入预设的问题索引矩阵中进行处理，得到第一词索引向量；将第一词索引向量输入预设的问题内容矩阵中进行处理，得到第一词内容向量。

步骤S2043、将问题索引向量与第一词索引向量融合为第一目标索引向量。

在具体实现中，将第一词索引向量乘以预设的第一超参数，获得第一调权索引向量；将第一调权索引向量与问题索引向量拼接为第一目标索引向量。

步骤S2044、将问题内容向量与第一词内容向量融合为第一目标内容向量。

在具体实现中，将第一词内容向量乘以预设的第一超参数，获得第一调权内容向量；将第一调权内容向量与问题内容向量拼接为第一目标内容向量。

步骤S2045、将问题查询向量、第一目标索引向量与第一目标内容向量输入预设的第一自注意力层进行处理，得到问题候选向量。

步骤S2046、从问题候选向量中提取特征，得到问题关键向量。

在具体实现中，将问题候选向量输入预设的第一问题全连接层中映射为第一问题特征向量；对第一问题特征向量进行激活；若完成激活第一问题特征向量，则将第一问题特征向量输入预设的第二问题全连接层中映射为第二问题特征向量；对第二问题特征向量进行激活；若完成激活第二问题特征向量，则将第二问题特征向量输入预设的第三问题全连接层中映射为第三问题特征向量；对第三问题特征向量进行激活，得到问题关键向量。

步骤S205、将问题关键向量输入健康问答模型中继续完成编码，得到问题目标向量。

将问题关键向量重新输入健康问答模型中继续完成剩余的编码，从而输出问题目标向量。

步骤S206、根据问题关键向量与预设的答案关键向量召回用于解答健康问题信息的健康答案信息。

在实际应用中，可以应用本发明任一实施例的健康问答模型的训练方法将Sentence-BERT训练为健康问答模型，在训练完成时，已经将健康问答信息及健康答案信息中包含健康实体词的答案关键词编码为答案关键向量，即，答案关键向量编码自健康问答信息及健康答案信息中包含健康实体词的答案关键词。

那么，根据问题目标向量与答案目标向量从所有健康答案信息中召回用于解答当前健康问题信息的健康答案信息。

在具体实现中，基于问题关键向量与预设的答案关键向量计算健康问题信息与健康答案信息之间的相似度。

示例性地，可以计算问题目标向量与答案目标向量之间的余弦值，使用Sigmoid等激活函数对余弦值进行激活，得到健康问题信息与健康答案信息之间的相似度。

召回多个相似度最高的健康答案信息，作为用于解答健康问题信息的健康答案信息。

步骤S207、将用于解答健康问题信息的健康答案信息推送至客户端进行显示。

对于用于解答健康问题信息的健康答案信息，可以按照相似度进行排序，将用于解答当前健康问题信息的健康答案信息推送至客户端，客户端显示用于解答当前健康问题信息的健康答案信息，供用户浏览。

在本发明实施例中，由于训练健康问答模型、生成问题关键向量、生成答案关键向量、计算健康问题信息与健康答案信息之间的相似度等过程与实施例一的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本实施例在此不加以详述。

在本实施例中，加载属于基于孪生句向量变换器的双向编码器的健康问答模型；若接收到客户端输入的健康问题信息，则从健康问题信息中提取包括健康实体词的问题关键词；将健康问题信息输入健康问答模型中初步编码，得到中间层输出的问题中间向量；将问题中间向量转换为受问题关键词控制的问题关键向量；将问题关键向量输入健康问答模型中继续完成编码，得到问题目标向量；根据问题关键向量与预设的答案关键向量召回用于解答健康问题信息的健康答案信息，答案关键向量编码自健康问答信息及健康答案信息中包含健康实体词的答案关键词；将用于解答健康问题信息的健康答案信息推送至客户端进行显示。本实施例通过引入包含健康实体词的问题关键词、答案关键词，让健康问答模型的注意力更加集中到包含健康实体词的问题关键词、答案关键词上，提高了基于孪生句向量变换器的双向编码器在健康领域的适应性，从而提高答案召回的准确率。

在一项试验中，在不融入包含健康实体词的关键词(即问题关键词、答案关键词)的基础下，得到排序最高的十个健康答案信息，召回率为75％左右，其中有40％的未被召回的健康问题信息中，是因为无法识别包含健康实体词的关键词，融入包含健康实体词的关键词后，得到排序最高的十个健康答案信息，召回率提高了5.5％。

实施例三

图9为本发明实施例三提供的一种健康问答模型的训练装置的结构示意图。如图9所示，该装置包括：

样本采集模块901，用于采集多个样本，每个所述样本包括健康问题信息，健康答案信息，所述健康问题信息中包含健康实体词的问题关键词，所述健康答案信息中包含健康实体词的答案关键词；

初步编码模块902，用于将所述健康问题信息与所述健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码，得到中间层输出的问题中间向量与答案中间向量；

问题关键向量转换模块903，用于将所述问题中间向量转换为受所述问题关键词控制的问题关键向量；

答案关键向量转换模块904，用于将所述答案中间向量转换为受所述答案关键词控制的答案关键向量；

继续编码模块905，用于将所述问题关键向量与所述答案关键向量输入所述基于孪生句向量变换器的双向编码器中继续完成编码，得到问题目标向量与答案目标向量；

健康问答模型训练模块906，用于根据所述问题目标向量与所述答案目标向量将所述基于孪生句向量变换器的双向编码器训练为健康问答模型。

本发明实施例所提供的健康问答模型的训练装置可执行本发明任意实施例所提供的健康问答模型的训练方法，具备执行健康问答模型的训练方法相应的功能模块和有益效果。

实施例四

图10为本发明实施例四提供的一种健康问答装置的结构示意图。如图10所示，该装置包括：

健康问答模型加载模块1001，用于加载属于基于孪生句向量变换器的双向编码器的健康问答模型；

问题关键词提取模块1002，用于若接收到客户端输入的健康问题信息，则从所述健康问题信息中提取包括健康实体词的问题关键词；

初步编码模块1003，用于将所述健康问题信息输入所述健康问答模型中初步编码，得到中间层输出的问题中间向量；

问题关键向量转换模块1004，用于将所述问题中间向量转换为受所述问题关键词控制的问题关键向量；

继续编码模块1005，用于将所述问题关键向量输入所述健康问答模型中继续完成编码，得到问题目标向量；

健康答案信息召回模块1006，用于根据所述问题关键向量与预设的答案关键向量召回用于解答所述健康问题信息的所述健康答案信息，所述答案关键向量编码自健康问答信息及所述健康答案信息中包含健康实体词的答案关键词；

健康答案信息推送模块1007，用于将用于解答所述健康问题信息的所述健康答案信息推送至所述客户端进行显示。

本发明实施例所提供的健康问答装置可执行本发明任意实施例所提供的健康问答方法，具备执行健康问答方法相应的功能模块和有益效果。

实施例五

图11示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图11所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序及本发明任一实施例所述的健康问答模型，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序及本发明任一实施例所述的健康问答模型，来执行各种适当的动作和处理。在RAM13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM12以及RAM13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，如健康问答模型的训练方法或健康问答方法。

在一些实施例中，健康问答模型的训练方法或健康问答方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的健康问答模型的训练方法或健康问答方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行健康问答模型的训练方法或健康问答方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

实施例六

本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序及本发明任一实施例所述的健康问答模型，该计算机程序在被处理器执行时实现如本发明任一实施例所提供的健康问答模型的训练方法或健康问答方法。

计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。