文本质量评估、智能问答方法、装置、系统、设备和介质

技术领域

本发明涉及人工智能领域，尤其涉及一种文本质量评估、智能问答方法、装置、系统、设备和介质。

背景技术

通常，规模较大的大模型，做为问答系统，回答的质量会比较好。比如chatgpt、通义千问等这些商业大模型。但是这些大模型的需要支付使用费用。通常是按照输入输出的token数来进行收费的。如果使用开源的大模型来搭建本地问答系统，回答的质量会不太稳定，有些问题回答的质量好，有些问题的质量不好。比如chatglm等。但是本地大模型不需要为使用付费。

在实现本发明过程中，申请人发现现有技术中至少存在如下问题：

如何在使用大模型时，即能获得高质量的回答又能节省费用。

发明内容

本发明实施例提供一种文本质量评估、智能问答方法、装置、系统、设备和介质，也是一种文本质量评估、大模型调度方法、装置和系统，也是一种文本质量评估、大语言模型调度方法、装置和系统，解决了如何在使用大模型时，即能获得高质量的回答又能节省费用的技术问题。

为达上述目的，第一方面，本发明实施例提供一种文本质量评估方法，包括：

获取待检测文本；

对所述待检测文本进行文本易读性评估，得到所述待检测文本的文本易读性指标；

对所述待检测文本进行语义连贯性评估，得到所述待检测文本的语义连贯性指标；

根据所述待检测文本的文本易读性指标和语义连贯性指标，确定所述待检测文本的文本质量。

第二方面，本发明实施例提供一种智能问答方法，包括：

接收用户问题，根据所述用户问题提取问题文本；

调用本地大模型对所述问题文本进行回答，得到所述本地大模型反馈的本地回答文本；

对所述本地回答文本进行文本易读性评估和语义连贯性评估，得到所述本地回答文本的文本易读性指标和语义连贯性指标；

根据所述文本易读性指标和所述语义连贯性指标，确定所述本地回答文本的文本质量；

在所述本地回答文本的文本质量好的情况下，将所述本地回答文本作为所述用户问题的回答文本进行输出；

在所述本地回答文本的文本质量不好的情况下，调用远程大模型对所述问题文本进行回答，将所述远程大模型反馈的远程回答文本作为所述用户问题的回答文本进行输出，所述远程大模型回答的文本质量高于所述本地大模型回答的文本质量。

第三方面，本发明实施例提供一种文本质量评估装置，包括：

文本获取单元，用于获取待检测文本；

易读性指标确定单元，用于对所述待检测文本进行文本易读性评估，得到所述待检测文本的文本易读性指标；

语义连贯性指标确定单元，用于对所述待检测文本进行语义连贯性评估，得到所述待检测文本的语义连贯性指标；

文本质量确定单元，用于根据所述待检测文本的文本易读性指标和语义连贯性指标，确定所述待检测文本的文本质量。

第四方面，本发明实施例提供一种智能问答装置，包括：

问题文本获取单元，用于接收用户问题，根据所述用户问题提取问题文本；

本地模型触发单元，用于调用本地大模型对所述问题文本进行回答，得到所述本地大模型反馈的本地回答文本；

文本质量评估单元，用于对所述本地回答文本进行文本易读性评估和语义连贯性评估，得到所述本地回答文本的文本易读性指标和语义连贯性指标；根据所述文本易读性指标和所述语义连贯性指标，确定所述本地回答文本的文本质量；

本地回答确认单元，用于在所述本地回答文本的文本质量好的情况下，将所述本地回答文本作为所述用户问题的回答文本进行输出；

远程模型触发单元，用于在所述本地回答文本的文本质量不好的情况下，调用远程大模型对所述问题文本进行回答，将所述远程大模型反馈的远程回答文本作为所述用户问题的回答文本进行输出，所述远程大模型回答的文本质量高于所述本地大模型回答的文本质量。

第五方面，本发明实施例提供一种智能问答系统，包括：智能问答装置、如前所述的文本质量评估装置、本地大模型、远程大模型；

所述智能问答装置，接收用户问题，根据所述用户问题提取问题文本后，调用所述本地大模型对所述问题文本进行回答，得到所述本地大模型反馈的本地回答文本；

所述智能问答装置，通过所述文本质量评估装置对所述本地回答文本进行文本质量评估，得到本地回答文本的文本质量；

所述智能问答装置，在所述本地回答文本的文本质量好的情况下，将所述本地回答文本作为所述用户问题的回答文本进行输出；

所述智能问答装置，在所述本地回答文本的文本质量不好的情况下，调用远程大模型对所述问题文本进行回答，将所述远程大模型反馈的远程回答文本作为所述用户问题的回答文本进行输出，所述远程大模型回答的文本质量高于所述本地大模型回答的文本质量。

第六方面，本发明实施例提供一种计算机设备，包括至少一台主机，

所述至少一台主机，包括处理器，适于执行各种指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行包括如前所述的任一项文本质量评估方法，或如前所述的智能问答方法。

第七方面，本发明实施例提供一种存储介质，其中存储有多条指令，所述指令适于由处理器加载并执行如前所述的任一项文本质量评估方法，或如前所述的智能问答方法。

上述技术方案具有如下有益效果：一方面，通过对文本易读性评估，以及通过语义连贯性评估，综合文本易读性和语义连贯性评估结果，确定文本质量，为多种应用场景下生成的文本提供了一种文本质量评估方法，无需人工评估，得到的文本质量可以作为文本生成工具的反馈信息，使文本生成工具有依据的改进生成的文本，例如在训练文本生成模型时，可以根据文本质量判断文本生成模型的当前参数是否可用，评价训练是否达到预期目标，再例如，可以评价大模型的回答文本的质量，以便控制输出给用户的最终回答文本，改善用户体验。另一方面，通过文本质量评估方法评估本地模型的本地回答文本，在本地回答文本质量不好时，才去调用远程模型，具体地，大概有50％的机会去调用远程模型，输出远程模型的远程回答文本，充分利用本地模型执行效率高和远程模型回答文本质量好的特点，从而保持高执行效率的同时保持高质量，经测试，相对于单独使用本地模型，回答文本的采用率提高了30％，相对于单独使用远程模型，费用节省了50％，显著提高用户体验，因减少了对远程模型的调用，从而显著节省了使用费用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例之一的一种文本质量评估方法的流程图；

图2是本发明实施例之一的一种智能问答方法的流程图；

图3是本发明实施例之一的一种文本质量评估装置的架构图；

图4是本发明实施例之一的一种智能问答装置的架构图；

图5是本发明实施例之一的一种智能问答系统的架构图；

图6是本发明实施例之一的另一种智能问答系统的架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

名词解释：

问答系统：是一种能够回答用户提出的问题的人工智能系统。它通过自然语言理解和推理等技术，将问题中的信息提取出来，并与系统中的知识库或数据进行匹配、比对和逻辑推理，最终生成符合用户问题的准确答案。问答系统在各种领域都有应用，如智能助理、智能客服、智能搜索等。它可以帮助用户快速找到准确的信息，并提供个性化的服务体验。

大模型：大模型是指具有相对较大规模的机器学习模型。通常情况下，大模型拥有更多的参数和更多的层级，能够处理更复杂的任务和数据。大模型在自然语言处理、计算机视觉、语音识别等领域中得到广泛应用。大模型的训练需要更大的计算资源和更长的训练时间，但通常能够取得更好的性能和预测结果。事实上，大模型的出现和发展是由于硬件计算能力的提升和数据集的增加，以及算法和架构的不断优化。

Flesch易读性公式：本发明用来计算文本易读性的公式。Flesch易读性计算公式是一种用于评估文本易读性的指标。该公式是由雷夫·F·菲斯奇(RudolfFlesch)提出的，通过考虑句子长度和单词长度来计算文本的易读性。

第一方面，如图1所示，本发明实施例提供一种文本质量评估方法，包括：

步骤S10，获取待检测文本；

步骤S11，对所述待检测文本进行文本易读性评估，得到所述待检测文本的文本易读性指标；

步骤S12，对所述待检测文本进行语义连贯性评估，得到所述待检测文本的语义连贯性指标；

步骤S13，根据所述待检测文本的文本易读性指标和语义连贯性指标，确定所述待检测文本的文本质量。

在一些实施例中，发明人创造性地使用文本易读性和语义连贯性综合评价文本质量。其中，文本易读性评估方法可以包括但不限于Flesch易读性公式、Gunning-fog指数(冈宁指数)和SMOG易读性公式等。Gunning Fog Index是通过计算复杂单词在文本中的百分比和句子平均字数来评估文本的易读性，它较大程度上侧重于复杂单词的使用情况。SMOG指数是根据文本中多音节单词的数量来评估易读性的方法，它假设阅读者至少有一定的教育水平，通过计算多音节单词出现的频率来确定易读性。Flesch易读性公式是一种用于评估文本易读性的指标，该公式是由雷夫·F·菲斯奇(Rudolf Flesch)提出的，通过考虑句子长度和单词长度来计算文本的易读性。本发明实施例使用文本相似性评估方法对待检测文本进行处理，得到待检测文本的语义连贯性指标，文本相似性评估方法包括但不限于余弦相似度、Siamese LSTM模型、Transformer模型、Bag of Words(BoW，词袋模型)模型、基于Word2Vec实现的相似度计算和基于Doc2Vec实现的相似度计算等。Transfor mer模型是一种基于注意力机制的序列到序列模型，可以用于文本语义连贯性任务。它利用自注意力机制来编码输入序列，从而捕捉序列中不同位置的语义关系。BoW算法将文本表示为一个词汇表大小的向量，其中向量的每个元素表示相应词汇在文本中出现的频率，通过计算两个文本之间的词汇频率的差异，可以评估它们的语义连贯性。Word2Vec是一种基于神经网络的词嵌入算法，可以将词汇映射到低维度的向量空间，通过计算词汇向量的相似度，可以评估两个文本之间的语义连贯性。Doc2Vec是一种扩展的Word2Vec算法，可以将整个文档映射到低维度的向量空间，通过计算文档向量的相似度，可以评估两个文本之间的语义连贯性。

本发明实施例具有如下技术效果：通过对文本易读性评估，以及通过语义连贯性评估，综合文本易读性和语义连贯性评估结果，确定文本质量，为多种应用场景下生成的文本提供了一种文本质量评估方法，无需人工评估，得到的文本质量可以作为文本生成工具的反馈信息，使文本生成工具有依据的改进生成的文本，例如在训练文本生成模型时，可以根据文本质量判断文本生成模型的当前参数是否可用，评价训练是否达到预期目标，再例如，可以评价大模型的回答文本的质量，以便控制输出给用户的最终回答文本，改善用户体验。

进一步地，所述语义连贯性指标包括连贯性好或连贯性不好；所述根据所述待检测文本的文本易读性指标和语义连贯性指标，确定所述待检测文本的文本质量，包括：

判断所述待检测文本的文本易读性指标是否大于或等于预设的易读性阈值，以及所述待检测文本的语义连贯性指标是否为连贯性好；

如果判断出所述待检测文本的文本易读性指标大于或等于预设的易读性阈值，并且所述待检测文本的语义连贯性指标为连贯性好，则确定所述待检测文本的文本质量好；否则，确定所述待检测文本的文本质量不好。

在一些实施例中，对于待检测文本，进行文本易读性和语义连贯性两个维度的判定。标准是待检测文本的文本易读性指标要大于或等于预设的易读性阈值并且语义连贯性指标为连贯性好，则确定待检测文本的文本质量好，否则，如果文本易读性指标小于预设的易读性阈值，或者语义连贯性指标为连贯性不好，则确定待检测文本的文本质量不好。优选地，预设的易读性阈值为60。

进一步地，对所述待检测文本进行语义连贯性评估，得到所述待检测文本的语义连贯性指标，包括：

使用文本相似性评估方法计算所述待检测文本中的相邻句子之间的相似度，得到多个相似度数值；

将所述多个相似度数值的平均值作为所述待检测文本的句子平均相似度；

判断所述句子平均相似度是否大于或等于预设的相似度阈值；

如果判断出所述句子平均相似度大于所述相似度阈值，则将所述待检测文本的语义连贯性指标设定为连贯性好；否则，将所述待检测文本的语义连贯性指标设定为连贯性不好；

其中，所述语义连贯性指标包括连贯性好或连贯性不好。

在一些实施例中，创造性地通过待检测文本中的相邻句子之间的文本相似性确定待检测文本的语义连贯性指标，并使用待检测文本的语义连贯性指标与待检测文本的文本易读性指标综合评价待检测文本的文本质量。下面以Siamese LSTM(基于LSTM神经网络的孪生网络)模型作为文本相似性评估方法为例进行说明，其中，LSTM全称为Long Short-Term Memory即长短时记忆网络。本发明实施例中采用待检测文本的句子平均相似度的办法来确定待检测文本的语义连贯性。Siamese LSTM模型将需要对比的两句话分别通过不同的LSTM进行编码，并采用两个LSTM最后一个时间步的输出来计算曼哈顿距离，并通过MSEloss(均方误差损失函数)进行反向传导。Siamese LSTM模型与其他算法相比，SiameseLSTM模型同时具有如下优点：计算效率方面，Siamese LSTM具有并行计算的优势，可以更高效地计算文本之间的语义连贯性；对序列信息的建模方面，Siamese LSTM可以捕捉输入序列中的时序关系，可以更好地理解文本之间的上下文信息；对长文本的处理方面，SiameseLSTM对于长文本的处理效果较好，能够更好地保持语义连贯性；迁移学习能力方面，Siamese LSTM可以通过预训练在大规模文本数据上，然后迁移到具体任务上，可以提高模型的泛化性能。用Siamese LSTM模型来确定句子之间的相似度。Siamese LSTM模型计算出的句子之间相似度一般在0到1之间。0表示两个句子完全不相似，1表示两个句子完全相似。模型输出的数值越接近1，表示两个句子越相似；数值越接近0，表示两个句子越不相似。在计算一篇待检测文本的句子平均相似度时，通常将待检测文本中的每个句子与其后面的句子计算相似度，并取平均值作为整个待检测文本的句子平均相似度。如果待检测文本的句子平均相似度大于或等于预设的相似度阈值，表示文本的语义连贯性较好，即文本中的句子之间有较高的语义相似性。优选地，预设的相似度阈值可以为0.7。本发明实施例具有如下技术效果：创造性地通过待检测文本中的相邻句子之间的文本相似性确定待检测文本的语义连贯性指标，并使用待检测文本的语义连贯性指标与待检测文本的文本易读性指标综合评价待检测文本的文本质量。提供了一种可以自动、客观的评价待检测文本质量的方法，无需人工评估，提高评估的客观性，更容易整合到其他需要评估文本质量的系统中，例如训练文本生成模型和评价大模型的回答文本的质量等。

进一步地，所述对所述待检测文本进行文本易读性评估，得到所述待检测文本的文本易读性指标，包括：

统计所述待检测文本的平均句子长度和平均单词长度；

将所述平均句子长度和平均单词长度输入Flesch易读性计算公式，得到所述待检测文本的文本易读性指标；

其中，所述平均句子长度是所述待检测文本的文字总数与所述待检测文本的句子总数之商；所述平均单词长度是所述待检测文本的文字总数与所述待检测文本的单词总数之商。

在一些实施例中，相对于其他易读性评估方法，Flesch易读性公式具有以下优点：Flesch易读性公式更简单，具体地，相对于其他算法，Flesch易读性公式的计算更简单直观，只需要计算句子长度和单词和音节等的统计量；Flesch易读性公式考虑了句子长度的影响，具体地，Flesch易读性公式将句子长度考虑在内，认为较短的句子更容易阅读，而较长的句子则更具挑战性；Flesch易读性公式考虑了音节的影响，具体地，相对于某些算法，Flesch易读性公式进一步考虑了音节的数量，因为音节在阅读中的识别和理解也会对易读性产生影响。总之，Flesch易读性计算公式在简洁性和综合性能上具有较大优势。Flesch易读性计算公式是一种用于评估文本易读性的指标。该公式是由雷夫·F·菲斯奇(RudolfFlesch)提出的，通过考虑句子长度和单词长度来计算文本的易读性。Flesch易读性计算公式是根据句子和单词的平均长度来估算文本的易读性。具体如公式(1)：

206.835-(1.015×平均句子长度)-(84.6×平均单词长度)(1)

其中，平均句子长度是指文字总数除以句子总数，平均单词长度是指文字总数除以单词总数。公式(1)的结果一般在0到100之间，数值越高表示文本越易读。根据Flesch易读性计算公式(1)的结果，文本可以被分为以下几个易读性水平：(90,100]对应非常易读，(80,90]对应容易读，(70,80]对应较易读，(60,70]对应中等，(50,60]对应有些难度，(30,50]对应困难，(0,30]对应非常困难。Flesch易读性计算公式是一种简单但有效的工具，可以帮助作家、编辑和教育者评估文本的易读性，并对需要进行修改和改进的部分进行指导。

第二方面，如图2所示，本发明实施例提供一种智能问答方法，包括：

步骤S20，接收用户问题，根据所述用户问题提取问题文本；

步骤S21，调用本地大模型对所述问题文本进行回答，得到所述本地大模型反馈的本地回答文本；

步骤S22，对所述本地回答文本进行文本易读性评估和语义连贯性评估，得到所述本地回答文本的文本易读性指标和语义连贯性指标；根据所述文本易读性指标和所述语义连贯性指标，确定所述本地回答文本的文本质量；

步骤S23，在所述本地回答文本的文本质量好的情况下，将所述本地回答文本作为所述用户问题的回答文本进行输出；

步骤S24，在所述本地回答文本的文本质量不好的情况下，调用远程大模型对所述问题文本进行回答，将所述远程大模型反馈的远程回答文本作为所述用户问题的回答文本进行输出，所述远程大模型回答的文本质量高于所述本地大模型回答的文本质量。

在一些实施例中，现有技术中，随着chatgpt、通义千问等大模型系统的应用。基于chatgpt来实现问答系统，效果比以前的问答系统有明显提升。但是，发明人发现，基于chatgpt、通义千问等实现的问答系统，还是存在一些不足之处。chatgpt、通义千问等这些超大规模的大模型，无法进行本地部署。都需要通过互联网进行远程调用。因为网络耗时等因素，大模型的响应速度通常比较慢。并且互联网公网有时网络状况不好的时候，会出现调用失败的情况。稳定性也不如本地大模型好。基于以上不足之处，本发明实施例提供一种智能问答方法，也是一种模型调度方法，也是一种多级大模型的调度方法，也是一种多级大模型智能问答系统的调度方法。能够更快速、更便宜的实现一个高质量的智能问答系统。本发明实施例的多级大模型调用机制，会先向本地(大)模型进行提问。如果本地(大)模型回答的质量不够好，才会去问远程(大)模型。这样可以实现更快速的响应用户问题。本发明实施例不是每次用户提问都访问远程(大)模型。所以能大大节省超大规模模型的使用费用。发明人创造性的使用文本易读性和语义连贯性相结合的方式评价回答文本的质量，解决了多级大模型智能问答系统的回答指令评估问题，进而实现了在本地(大)模型与远程(大)模型之间的合理调度的问题。本发明实施例的多级大模型，对于用户的问题，会先使用本地(大)模型进行回答。然后检查本地回答文本的质量。如果本地回答文本的质量不高，则会再次使用更大规模的商用远程(大)模型进行回答。这种多级大模型构建的智能问答系统，具有更快速和回答质量高的特点。本地(大)模型部署不用走互联网公网，网络稳定性也更好，并且响应速度更快；商用远程(大)模型，要通过互联网公网去调用，速度慢，并且有时也不稳定，会调用失败，但回答文本质量高。本发明实施例综合了本地(大)模型和远程(大)模型双方的优点。在一些具体实施例中，具体使用Flesch易读性公式评价文本易读性指标，并且创造性的将用于评价句子相似性的Siamese LSTM模型用于评价回答文本的语义连贯性。

第三方面，如图3所示，本发明实施例提供一种文本质量评估装置，包括：

文本获取单元300，用于获取待检测文本；

易读性指标确定单元301，用于对所述待检测文本进行文本易读性评估，得到所述待检测文本的文本易读性指标；

语义连贯性指标确定单元302，用于对所述待检测文本进行语义连贯性评估，得到所述待检测文本的语义连贯性指标；

文本质量确定单元303，用于根据所述待检测文本的文本易读性指标和语义连贯性指标，确定所述待检测文本的文本质量。

进一步地，所述语义连贯性指标包括连贯性好或连贯性不好；

所述文本质量确定单元303，具体配置为：判断所述待检测文本的文本易读性指标是否大于或等于预设的易读性阈值，以及所述待检测文本的语义连贯性指标是否为连贯性好；如果判断出所述待检测文本的文本易读性指标大于或等于预设的易读性阈值，并且所述待检测文本的语义连贯性指标为连贯性好，则确定所述待检测文本的文本质量好；否则，确定所述待检测文本的文本质量不好。

进一步地，所述语义连贯性指标确定单元302，包括：

相似度确定模块，用于使用文本相似性评估方法计算所述待检测文本中的相邻句子之间的相似度，得到多个相似度数值；

平均相似度确定模块，用于将所述多个相似度数值的平均值作为所述待检测文本的句子平均相似度；

相似度判断模块，用于判断所述句子平均相似度是否大于或等于预设的相似度阈值；

语义连贯性确定模块，用于如果判断出所述句子平均相似度大于所述相似度阈值，则将所述待检测文本的语义连贯性指标设定为连贯性好；否则，将所述待检测文本的语义连贯性指标设定为连贯性不好。

进一步的，所述易读性指标确定单元301，包括：

句子和单词长度确定模块，用于统计所述待检测文本的平均句子长度和平均单词长度；

易读性指标确定模块，用于将所述平均句子长度和平均单词长度输入Flesch易读性计算公式，得到所述待检测文本的文本易读性指标；

其中，所述平均句子长度是所述待检测文本的文字总数与所述待检测文本的句子总数之商；所述平均单词长度是所述待检测文本的文字总数与所述待检测文本的单词总数之商。

本发明实施例是与前述的文本质量评估方法的实施例一一对应的装置类实施例，可依据前述的文本质量评估方法的实施例理解本发明实施例，在此不再赘述。

第四方面，如图4所示，一种智能问答装置，其特征在于，包括：

问题文本获取单元400，用于接收用户问题，根据所述用户问题提取问题文本；

本地模型触发单元401，用于调用本地大模型对所述问题文本进行回答，得到所述本地大模型反馈的本地回答文本；

文本质量评估单元402，用于对所述本地回答文本进行文本易读性评估和语义连贯性评估，得到所述本地回答文本的文本易读性指标和语义连贯性指标；根据所述文本易读性指标和所述语义连贯性指标，确定所述本地回答文本的文本质量；

本地回答确认单元403，用于在所述本地回答文本的文本质量好的情况下，将所述本地回答文本作为所述用户问题的回答文本进行输出；

远程模型触发单元404，用于在所述本地回答文本的文本质量不好的情况下，调用远程大模型对所述问题文本进行回答，将所述远程大模型反馈的远程回答文本作为所述用户问题的回答文本进行输出，所述远程大模型回答的文本质量高于所述本地大模型回答的文本质量。

本发明实施例是与前述的智能问答方法的实施例一一对应的装置类实施例，可依据前述的文本质量评估方法的实施例理解本发明实施例，在此不再赘述。

第五方面，如图5所示，本发明实施例提供一种智能问答系统，也是一种模型调度系统，也是一种基于多级大模型的智能问答系统，包括：智能问答装置500、如前所述的文本质量评估装置501、本地大模型502、远程大模型503；

所述智能问答装置500，接收用户问题，根据所述用户问题提取问题文本后，调用所述本地大模型502对所述问题文本进行回答，得到所述本地大模型502反馈的本地回答文本；

所述智能问答装置500，通过所述文本质量评估装置501对所述本地回答文本进行文本质量评估，得到本地回答文本的文本质量；

所述智能问答装置500，在所述本地回答文本的文本质量好的情况下，将所述本地回答文本作为所述用户问题的回答文本进行输出；

所述智能问答装置500，在所述本地回答文本的文本质量不好的情况下，调用远程大模型503对所述问题文本进行回答，将所述远程大模型503反馈的远程回答文本作为所述用户问题的回答文本进行输出，所述远程大模型503回答的文本质量高于所述本地大模型502回答的文本质量。

优选地，所述系统还包括领域知识库；领域知识库，是针对问答系统要回答的领域，把相关知识做向量化处理后，保存在向量数据库中。当收到用户问题的时候，基于用户问题做向量查询，找到领域知识库中对应的知识，和用户问题一起传给本地(大)模型和远程(大)模型，用于进行问答推理。

在一些实施例中，图6说明了本系统又一系统架构图，展示了智能问答装置500的调度下处理用户问题的过程。本地开源大模型模块即本地(大)模型，是基于开源的大模型搭建的。本发明实施例的本地模型采用的是ChatGLM，是清华大学开源的大模型。ChatGLM是一个开源的、支持中英双语的对话语言模型，基于General Language Model(GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB显存)。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。领域知识库(模块)是针对问答系统要回答的领域，把相关知识做向量化处理后，保存在向量数据库中。当用户提问的时候，基于用户提问做向量查询，找到知识库中对应的知识，和用户问题一起传给大模型，用于进行问答推理。本发明实施例中使用的向量数据库是开源的Milvus向量数据库。对知识和用户问题进行向量处理，使用的是huggingface上开源的shibing624/text2vec-base-chinese模型，该模型生成的是768维的向量。大模型回答质量检测模块即文本质量评估装置，用于对本地大模型生成的回答，进行质量检测。其中的文本易读性检测，是基于Flesch易读性计算公式编写的。语义连贯性判定，是通过pytorch实现了SiameseLSTM模型。远程商业大模型接口模块即远程(大)模型，是通过开源的Langchain对接的商业大模型。在一些实施例中可以对接通义千问等大模型接口。

本发明实施例具有如下技术效果：引入了多级大模型机制。通过对回答文本进行文本易读性和语义连贯性检测。决定是否直接给出本地大模型的回答，还是调用远程商业大模型进行回答。可以更高效、便宜的实现一个智能问答系统。可以智能的选择用本地开源大模型给出的回答，还是用远程商业大模型给出的回答。选择哪个大模型，无需人工判定。因为减少了远程商业大模型的使用，速度更快，价格更便宜。在实际使用中，更具实用性。

第六方面，本发明实施例提供一种计算机设备，包括至少一台主机，

所述至少一台主机，包括处理器，适于执行各种指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行包括如前所述的任一项文本质量评估方法，或如前所述的智能问答方法。

本发明实施例是存储并执行前述的文本质量评估方法和/或智能问答方法的计算机设备实施例，可依据前述的文本质量评估方法和/或智能问答方法的实施例理解本发明实施例，在此不再赘述。

第七方面，本发明实施例提供一种存储介质，其中存储有多条指令，所述指令适于由处理器加载并执行如前所述的任一项文本质量评估方法，或如前所述的智能问答方法。

本发明实施例是存储前述的文本质量评估方法和/或智能问答方法的计算机设备实施例，可依据前述的文本质量评估方法和/或智能问答方法的实施例理解本发明实施例，在此不再赘述。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。