问题生成方法、装置、计算机设备和存储介质
文献发布时间:2023-06-19 19:27:02
技术领域
本申请涉及人工智能技术领域,特别是涉及一种问题生成方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展,基于问题生成技术,进行智能问答的产品逐渐普及。例如,该类产品可以基于用户输入的目标段落及问题,预测答案。
为了快速且精准的为用户提供信息问答服务,智能问答产品通常需要构建问题数据库,数据库中记录有文本段落、答案和预测用户问题等。
现有技术构建数据库时,虽然可通过神经网络模型基于文本段落和答案,预测用户问题,但由于神经网络模型的预测结果不稳定,仍需人工对预测的问题进行质检,导致数据库构建工作存在效率较低且成本高的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高问题生成准确性的问题生成方法、装置、计算机设备和存储介质。
第一方面,本申请提供了一种问题生成方法。所述方法包括:
通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题;
通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签;
为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
在其中一个实施例中,通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题,包括:
通过问题生成模型的编码网络,对目标段落和目标段落对应的目标答案进行编码,得到目标段落对应的段落语义编码结果和段落位置编码结果,以及目标答案对应的答案语义编码结果和答案位置编码结果;
通过问题生成模型的特征融合网络,对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行特征融合,得到融合特征;
通过问题生成模型的解码网络,对融合特征进行解码,得到目标预测问题。
在其中一个实施例中,通过问题生成模型的特征融合网络,对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行特征融合,得到融合特征,包括:
对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行拼接,得到拼接编码结果;
通过问题生成模型的特征融合网络,对拼接编码结果进行特征融合,得到融合特征。
在其中一个实施例中,通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签,包括:
通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题对应的答案与目标答案之间的目标位置重合度;
根据目标位置重合度,确定目标预测问题的质量标签。
在其中一个实施例中,问题生成模型通过如下方式训练得到:
将样本段落和样本段落对应的样本答案输入到问题生成模型中,得到样本预测问题;
根据样本预测问题、样本答案对应的样本标准问题,确定样本预测问题和样本标准问题之间的问题相似度;
根据样本预测问题、样本段落,以及样本答案在样本段落中的位置,确定样本预测问题对应的答案与样本答案之间的样本位置重合度;
根据问题相似度和样本位置重合度,确定目标损失值;
根据目标损失值,更新问题生成模型的模型参数。
在其中一个实施例中,根据样本预测问题、样本答案对应的样本标准问题,确定样本预测问题和样本标准问题之间的问题相似度,包括:
将样本预测问题、样本答案对应的样本标准问题输入复述识别模型,得到样本预测问题和样本标准问题之间的问题相似度。
在其中一个实施例中,根据样本预测问题、样本段落,以及样本答案在样本段落中的位置,确定样本预测问题对应的答案与样本答案之间的样本位置重合度,包括:
将样本预测问题、样本段落,以及样本答案在样本段落中的位置输入至阅读理解模型中,得到样本预测问题对应的答案与样本答案之间的样本位置重合度。
在其中一个实施例中,根据问题相似度和样本位置重合度,确定目标损失值,包括:
根据问题相似度和样本位置重合度,确定第一损失值;
根据第一损失值和复述识别模型的复述损失值和复述损失权重,确定第二损失值;
根据第一损失值和阅读理解模型的理解损失值和理解损失权重,确定第三损失值;
根据第二损失值和第三损失值,确定目标损失值。
第二方面,本申请还提供了一种问题生成装置。所述装置包括:
问题生成模块,用于通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题;
标签确定模块,用于通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签;
问题输出模块,用于为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题;
通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签;
为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题;
通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签;
为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题;
通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签;
为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
上述问题生成方法、装置、计算机设备和存储介质,通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题,通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签,为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。本方案通过引入阅读理解模型,根据目标预测问题、目标段落,以及答案在目标段落中的位置,自动确定目标预测问题的质量标签,无需再利用人工对生成的目标预测问题进行质检,进一步提高了数据库构建工作的效率,且降低了数据库构建成本。
附图说明
图1为本实施例中提供的一种问题生成方法的应用环境图;
图2为本实施例中提供的第一种问题生成方法的流程示意图;
图3为本实施例中提供的一种得到目标预测问题的流程示意图;
图4为本实施例中提供的一种训练问题生成模型的流程示意图;
图5为本实施例中提供的一种确定目标损失值的流程示意图;
图6为本实施例中提供的第二种问题生成方法的流程示意图;
图7为本实施例中提供的第一种问题生成装置的结构框图;
图8为本实施例中提供的第二种问题生成装置的结构框图;
图9为本实施例中提供的第三种问题生成装置的结构框图;
图10为本实施例中提供的第四种问题生成装置的结构框图;
图11为本实施例中提供的第五种问题生成装置的结构框图;
图12为本实施例中提供的一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的问题生成方法,可以应用于如图1所示的应用环境中。在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图1所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储段落和答案数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种问题生成方法。
本实施例公开了一种问题生成方法、装置、计算机设备和存储介质,通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题,再通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签,再为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
在一个实施例中,如图2所示,提供了一种问题生成方法,应用于基于目标段落与目标段落对应目标答案生成目标答案对应的问题的场景中,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
S201通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题。
其中,问题生成模型可以是用于基于目标段落与目标段落对应目标答案预测目标答案对应的问题的模型。可选的,本实施例的问题生成模型可以是基于Transform模型构建。
其中,目标段落可以是在问题生成模型使用阶段,用于生成预测问题的段落。可选地,该段落可以是文章段落,也可以是规章制度、规则条款段落等。
其中,目标答案可以是目标段落中的其中一句或几句话组成的答案。
其中,目标预测问题可以是问题生成模型生成的,与目标答案和目标段落对应的问题。
可选地,服务器将目标段落与目标段落对应的目标答案,输入至预先训练好的问题生成模型,由问题生成模型对输入的目标段落和目标答案进行解析,得到目标预测问题。
S202通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签。
其中,阅读理解模型可以是用于对目标预测问题生成答案与目标答案之间的重合度进行判断的模型。该阅读理解模型可以通过开放的阅读理解数据集(SQuAD,即QA数据集)执行预测任务,也可以基于预训练模型(如预训练的语言表征模型,BidirectionalEncoder Representation from Transformers,BERT),通过开源的中文机器阅读理解数据集(Cloze-Style Machine Reading Comprehension,SC-MRC,CMRC)执行预测任务。
其中,质量标签可以是表征目标预测问题的质量的标签,可选地,本实施例中目标预测问题的质量可以通过目标预测问题的准确性来衡量,本实施例可以是根据目标答案在目标段落中对应的位置,与目标预测问题对应的答案在目标段落中对应的位置之间的重合度来衡量目标预测问题的质量,位置重合度越高,目标预测问题的质量越好。
可选地,本实施例可以通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题对应的答案与目标答案之间的目标位置重合度,根据目标位置重合度,确定目标预测问题的质量标签。
具体的,服务器将目标预测问题、目标段落,以及目标答案在目标段落中的位置,输入至预先设置的阅读理解模型中,阅读理解模型对接入的目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,得到该目标预测问题对应答案在目标段落中对应的位置,与目标答案在目标段落中对应的位置之间的位置重合度,即目标位置重合度,并基于该目标位置重合度,与预先设置的目标位置重合度阈值进行比较,若阅读理解模型所得目标位置重合度大于目标位置重合度阈值,则该阅读理解模型所得目标位置重合度对应的目标预测问题满足要求,此时确定该目标预测问题的质量标签为高质量标签,反之,则确定该目标预测问题的质量标签为低质量标签。
S203为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
可选地,服务器基于确定出的质量标签,为目标预测问题进行质量标签添加,并将添加有质量标签的目标预测问题作为输出,供后续人为继续筛选,或服务器直接选用带有高质量标签的目标预测问题执行后续操作。
本实施例可以基于添加有质量标签的目标预测问题来构建问题数据库,问题数据库在提供信息问答服务时,可优先显示携带有高质量标签的目标预测问题,以供用户进行选择,并进一步得到目标预测问题的答案。
上述问题生成方法,通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题,通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签,为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。本方案通过引入阅读理解模型,根据目标预测问题、目标段落,以及答案在目标段落中的位置,自动确定目标预测问题的质量标签,无需再利用人工对生成的目标预测问题进行质检,进一步提高了数据库构建工作的效率,且降低了数据库构建成本。
在一个实施例中,上述实施例的问题生成模型可以是Transform模型,且该问题生成模型可以包括:编码网络、特征融合网络和解码网络,如图3所示,本实施例给出了一种基于问题生成模型的编码网络、特征融合网络和解码网络,如何得到目标预测问题的可选方式,包括如下步骤:
S301通过问题生成模型的编码网络,对目标段落和目标段落对应的目标答案进行编码,得到目标段落对应的段落语义编码结果和段落位置编码结果,以及目标答案对应的答案语义编码结果和答案位置编码结果。
其中,编码网络可以是用于对目标段落与目标答案进行编码的网络。
其中,段落语义编码结果可以是对段落中的每个字进行语义解析,得到的多维度编码结果。答案语义编码结果可以是基于对答案中的每个字进行语义解析,得到的多维度编码结果。
其中,段落位置编码结果可以是基于段落语义编码结果,通过正弦位置编码处理得到的每个字的在段落中对应的相对位置编码结果。答案位置编码结果可以是基于答案语义编码结果,通过正弦位置编码处理得到的每个字的在答案中对应的相对位置编码结果。
可选地,服务器将目标段落和目标段落对应的目标答案,输入至预先设置好的问题生成模型的编码网络,由编码网络基于输入的目标段落和目标答案进行语义解析,分别得到目标段落的段落语义编码结果和目标答案的答案语义编码结果,再基于该目标段落的段落语义编码结果通过预先设置的计算逻辑(如正弦位置编码),得到目标段落的段落位置编码结果,基于该目标答案的答案语义编码通过预先设置的计算逻辑(如正弦位置编码),得到目标答案的答案位置编码结果。
S302通过问题生成模型的特征融合网络,对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行特征融合,得到融合特征。
其中,特征融合网络可以是将段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果的特征进行融合处理的网络。可选的,该特征融合网络可以是多头注意力机制网络。
可选地,对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行拼接,得到拼接编码结果,通过问题生成模型的特征融合网络,对拼接编码结果进行特征融合,得到融合特征。具体的,服务器将段落语义编码结果和段落位置编码结果基于预先设置的计算逻辑(如相加),计算出段落相加编码结果,将答案语义编码结果和答案位置编码结果基于预先设置的计算逻辑(如相加),计算出答案相加编码结果,再将段落相加编码结果与答案相加编码结果进行相加,得到拼接编码结果,并将该拼接编码结果输入至特征融合网络中,基于多头注意力机制进行特征融合,得到拼接编码结果融合表示,并将该拼接编码结果融合表示作为融合特征。
S303通过问题生成模型的解码网络,对融合特征进行解码,得到目标预测问题。
其中,解码网络可以包含多个依次连接的解码层。
可选地,服务器将融合特征输入至问题生成模型的解码网络中,解码网络基于预先设置的监督(teacher-forcing)学习方式,该解码网络的首个解码层的输入为融合特征,之后各解码层的输入为其之前的各解码层的输出解的加权之和,并将最后一个解码层输出的加权和作为目标预测问题。
上述得到目标预测问题方法,通过问题生成模型的编码网络,对目标段落和目标段落对应的目标答案进行编码,得到目标段落对应的段落语义编码结果和段落位置编码结果,以及目标答案对应的答案语义编码结果和答案位置编码结果,通过问题生成模型的特征融合网络,对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行特征融合,得到融合特征,通过问题生成模型的解码网络,对融合特征进行解码,得到目标预测问题。本方法在对目标段落和目标答案进行编码时,考虑到了段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果,提高了编码结果维度的多样性,通过多维度的编码特征计算使得得到的融合特征更具有合理性,再基于融合特征得到目标预测问题,提高了准确性。
图4为一个实施例中训练问题生成模型的流程示意图。目前,现有技术中,仅基于模型本身的损失函数对模型进行优化,优化后的准确性仍旧较低,缺少合理性,因此,为提高对模型优化的合理性,本实施例给出了一种训练问题生成模型的可选方式,包括如下步骤:
S401将样本段落和样本段落对应的样本答案输入到问题生成模型中,得到样本预测问题。
其中,样本段落可以是在问题生成模型训练阶段,用于生成问题的段落。
其中,样本答案可以是在样本段落中的一句或多句话组成的答案。
可选地,服务器将样本段落与样本段落对应的样本答案输入到预先设置的问题生成模型中,该问题生成模型对样本段落与样本答案进行解析,得到样本预测问题。
具体的,通过问题生成模型的编码网络,对样本段落和样本段落对应的样本答案进行编码,得到样本段落对应的段落语义编码结果和段落位置编码结果,以及样本答案对应的答案语义编码结果和答案位置编码结果,通过问题生成模型的特征融合网络,对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行特征融合,得到融合特征,通过问题生成模型的解码网络,对融合特征进行解码,得到样本预测问题。
S402根据样本预测问题、样本答案对应的样本标准问题,确定样本预测问题和样本标准问题之间的问题相似度。
其中,问题相似度可以是样本预测问题和样本标准问题之间的语义相似度。
可选地,根据样本预测问题、样本答案对应的样本标准问题,确定样本预测问题和样本标准问题之间的问题相似度的方式有多种,本申请对此不做限定。
其中一种可选实施方式可以是,服务器根据样本预测问题、样本答案对应的样本标准问题,通过预先设置的计算逻辑,计算出样本预测问题和样本标准问题之间的问题相似度。
另一种可选实施方式可以是,将样本预测问题、样本答案对应的样本标准问题输入复述识别模型,得到样本预测问题和样本标准问题之间的问题相似度。
其中,复述识别模型可以是基于样本预测问题与样本标准问题,进行样本预测问题是否为样本标准问题的相似问题的预测,并输出预测的二分类概率(即问题相似度)。该复述识别模型可以基于预训练模型(如预训练的语言表征模型,Bidirectional EncoderRepresentation from Transformers,BERT),通过开源的中文相似问任务数据集(ALarge-scale Chinese Question Matching Corpus,LCQMC)进行微调训练得到。
具体的,服务器将样本预测问题、样本答案对应的样本标准问题输入至预先设置的复述识别模型中,该复述识别模型计算样本预测问题与样本标准问题之间的问题相似度,得到样本预测问题与样本标准问题之间的二分类概率,并将该二分类概率作为样本预测问题和样本标准问题之间的问题相似度。
S403根据样本预测问题、样本段落,以及样本答案在样本段落中的位置,确定样本预测问题对应的答案与样本答案之间的样本位置重合度。
可选地,根据样本预测问题、样本段落,以及样本答案在样本段落中的位置,确定样本预测问题对应的答案与样本答案之间的样本位置重合度的方式有多种,本申请对此不做限定。
其中一种可选实施方式可以是,服务器基于样本预测问题、样本段落输入至预先设置的答案生成模型中,得到样本预测问题对应的样本预测答案,并解析出该样本预测答案在样本段落中的位置,再将该样本预测答案在样本段落中的位置与样本答案在样本段落中的位置,基于预先设置的计算逻辑计算出该样本预测问题对应的答案与样本答案之间的样本位置重合度。
另一种可选实施方式可以是,将样本预测问题、样本段落,以及样本答案在样本段落中的位置输入至阅读理解模型中,得到样本预测问题对应的答案与样本答案之间的样本位置重合度。具体的,服务器将样本预测问题、样本段落,以及样本答案在样本段落中的位置输入至预先设置的阅读理解模型中,该阅读理解模型对样本预测问题、样本段落,以及样本答案在样本段落中的位置进行解析,得到样本预测问题对应的答案与样本答案之间的样本位置重合度。
S404根据问题相似度和样本位置重合度,确定目标损失值。
其中,目标损失值可以是用于优化问题生成模型的参数值。
可选地,服务器将问题相似度和样本位置重合度,基于预先设置的计算逻辑,(如求和,或者求均值处理等)计算出问题相似度和样本位置重合度之间的损失值,并将该损失值作为目标损失值。
S405根据目标损失值,更新问题生成模型的模型参数。
可选地,服务器基于计算出的目标损失值,对问题生成模型的模型参数进行替换,即更新问题生成模型的模型参数。
上述训练问题生成模型方法,将样本段落和样本段落对应的样本答案输入到问题生成模型中,得到样本预测问题,根据样本预测问题、样本答案对应的样本标准问题,确定样本预测问题和样本标准问题之间的问题相似度,根据样本预测问题、样本段落,以及样本答案在样本段落中的位置,确定样本预测问题对应的答案与样本答案之间的样本位置重合度,根据问题相似度和样本位置重合度,确定目标损失值,根据目标损失值,更新问题生成模型的模型参数。本方法基于对问题生成模型生成的问题进行问题相似度与样本位置重合度的质检,使得计算出问题生成模型的目标损失值更具有合理性,再基于该目标损失值对问题生成模型进行更新,进一步提高了问题生成模型生成问题的语义准确性和逻辑可控性。
图5为一个实施例中确定目标损失值的流程示意图。目前,现有技术中,问题生成模型的生成问题的准确性较低,因此,为提高最终生成问题的准确性,本实施例给出了一种确定目标损失值的可选方式,包括如下步骤:
S501根据问题相似度和样本位置重合度,确定第一损失值。
可选地,服务器将问题相似度和样本位置重合度,基于预先设置的计算逻辑,计算出问题相似度和样本位置重合度之间的损失值,并将该损失值作为第一损失值。
S502根据第一损失值和复述识别模型的复述损失值和复述损失权重,确定第二损失值。
可选地,服务器将第一损失值和复述识别模型的复述损失值和复述损失权重,基于预先设置的计算逻辑计算出第二损失值。示例性的,第二损失值计算公式如(1-1)所示。
其中,
S503根据第一损失值和阅读理解模型的理解损失值和理解损失权重,确定第三损失值。
可选地,服务器将第一损失值和阅读理解模型的理解损失值和理解损失权重,基于预先设置的计算逻辑计算出第三损失值。示例性的,第三损失值计算公式如(1-2)所示。
其中,
需要说明的是,复述损失值和理解损失值均是基于高效的梯度策略(self-critical sequence traing,SCST)与奖励机制进行强化奖励设计得到的,其中,梯度策略最重要的思想是采用贪婪搜索的编码结果作为基准。但由于对复述识别模型与阅读理解模型进行模型训练时,用n:m固定比例样本训练数据对两模型进行强化学习迭代训练,示例性的,若复述识别模型用n比例的样本训练数据进行训练时,机器阅读理解模型则用m比例的样本训练数据进行训练,所以,复述损失值和理解损失值虽应用同一强化学习损失函数进行计算,但所得结果不同。示例性的,复述损失值和理解损失值的强化学习损失函数L
其中,L
S504根据第二损失值和第三损失值,确定目标损失值。
可选地,服务器将第二损失值和第三损失值通过预先设置的计算逻辑(如相加),计算出第二损失值和第三损失值的相加损失值,并将该相加损失值作为目标损失值。
上述确定目标损失值方法,根据问题相似度和样本位置重合度,确定第一损失值,根据第一损失值和复述识别模型的复述损失值和复述损失权重,确定第二损失值,根据第一损失值和阅读理解模型的理解损失值和理解损失权重,确定第三损失值,根据第二损失值和第三损失值,确定目标损失值。本方案确定目标损失时,不但考虑了问题相似度和样本位置重合度,还考虑了复述识别模型的复述损失值和复述损失权重,以及阅读理解模型的理解损失值和理解损失权重,基于多维度进行计算,使得计算出的第二损失值和第三损失值更具体全面性和合理性,再基于确定出的第二损失值和第三损失值计算出目标损失值,进一步提高了目标损失值的准确性,使得后续基于目标损失值对问题生成模型进行更新更加合理。
在一个实施例中,本实施例给出了一种问题生成的可选方式,以该方法应用于服务器为例进行说明。如图6所示,该方法包括如下步骤:
S601将样本段落和样本段落对应的样本答案输入到问题生成模型中,得到样本预测问题。
S602将样本预测问题、样本答案对应的样本标准问题输入复述识别模型,得到样本预测问题和样本标准问题之间的问题相似度。
S603将样本预测问题、样本段落,以及样本答案在样本段落中的位置输入至阅读理解模型中,得到样本预测问题对应的答案与样本答案之间的样本位置重合度。
S604根据问题相似度和样本位置重合度,确定第一损失值。
S605根据第一损失值和复述识别模型的复述损失值和复述损失权重,确定第二损失值。
S606根据第一损失值和阅读理解模型的理解损失值和理解损失权重,确定第三损失值。
S607根据第二损失值和第三损失值,确定目标损失值。
S608根据目标损失值,更新问题生成模型的模型参数。
S609通过问题生成模型的编码网络,对目标段落和目标段落对应的目标答案进行编码,得到目标段落对应的段落语义编码结果和段落位置编码结果,以及目标答案对应的答案语义编码结果和答案位置编码结果。
S610对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行拼接,得到拼接编码结果。
S611通过问题生成模型的特征融合网络,对拼接编码结果进行特征融合,得到融合特征。
S612通过问题生成模型的解码网络,对融合特征进行解码,得到目标预测问题。
S613通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题对应的答案与目标答案之间的目标位置重合度。
S614根据目标位置重合度,确定目标预测问题的质量标签。
S615为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
需要说明的是,本实施例中步骤S601-S608是对问题生成模型进行训练的过程,步骤S609-S615是利用问题生成模型进行问题生成的过程,可选地,可以先执行步骤S601-S608对问题生成模型进行训练,再执行步骤S609-S615利用问题生成模型进行问题生成。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的问题生成方法的问题生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个问题生成装置实施例中的具体限定可以参见上文中对于问题生成方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种问题生成装置1,包括:问题生成模块10、标签确定模块11和问题输出模块12,其中:
问题生成模块10,用于通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题;
标签确定模块11,用于通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签;
问题输出模块12,用于为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
在一个实施例中,如图8所示,图7中的问题生成模块10,包括:
编码单元100,用于通过问题生成模型的编码网络,对目标段落和目标段落对应的目标答案进行编码,得到目标段落对应的段落语义编码结果和段落位置编码结果,以及目标答案对应的答案语义编码结果和答案位置编码结果;
特征融合单元101,用于通过问题生成模型的特征融合网络,对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行特征融合,得到融合特征;
解码单元102,用于通过问题生成模型的解码网络,对融合特征进行解码,得到目标预测问题。
在一个实施例中,图8中的特征融合单元101,包括:
编码拼接子单元,用于对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行拼接,得到拼接编码结果;
融合特征生成子单元,用于通过问题生成模型的特征融合网络,对拼接编码结果进行特征融合,得到融合特征。
在一个实施例中,如图9所示,图7中的标签确定模块11,包括:
重合度确定单元110,用于通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题对应的答案与目标答案之间的目标位置重合度;
质量标签确定单元111,用于根据目标位置重合度,确定目标预测问题的质量标签。
在一个实施例中,如图10所示,图7中的问题生成装置1,还包括:
样本问题确定模块13,用于将样本段落和样本段落对应的样本答案输入到问题生成模型中,得到样本预测问题;
相似度确定模块14,用于根据样本预测问题、样本答案对应的样本标准问题,确定样本预测问题和样本标准问题之间的问题相似度;
重合度确定模块15,用于根据样本预测问题、样本段落,以及样本答案在样本段落中的位置,确定样本预测问题对应的答案与样本答案之间的样本位置重合度;
损失值确定模块16,用于根据问题相似度和样本位置重合度,确定目标损失值;
模型参数更新模块17,用于根据目标损失值,更新问题生成模型的模型参数。
在一个实施例中,图10中的相似度确定模块14,还用于将样本预测问题、样本答案对应的样本标准问题输入复述识别模型,得到样本预测问题和样本标准问题之间的问题相似度。
在一个实施例中,图10中的重合度确定模块15,还用于将样本预测问题、样本段落,以及样本答案在样本段落中的位置输入至阅读理解模型中,得到样本预测问题对应的答案与样本答案之间的样本位置重合度。
在一个实施例中,如图11所示,图10中的损失值确定模块16,包括:
第一损失值确定单元160,用于根据问题相似度和样本位置重合度,确定第一损失值;
第二损失值确定单元161,用于根据第一损失值和复述识别模型的复述损失值和复述损失权重,确定第二损失值;
第三损失值确定单元162,用于根据第一损失值和阅读理解模型的理解损失值和理解损失权重,确定第三损失值;
目标损失值确定单元163,用于根据第二损失值和第三损失值,确定目标损失值。
上述问题生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种问题生成方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题;
通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签;
为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
通过问题生成模型的编码网络,对目标段落和目标段落对应的目标答案进行编码,得到目标段落对应的段落语义编码结果和段落位置编码结果,以及目标答案对应的答案语义编码结果和答案位置编码结果;
通过问题生成模型的特征融合网络,对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行特征融合,得到融合特征;
通过问题生成模型的解码网络,对融合特征进行解码,得到目标预测问题。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对段落语义编码结果、段落位置编码结果、答案语义编码结果和答案位置编码结果进行拼接,得到拼接编码结果;
通过问题生成模型的特征融合网络,对拼接编码结果进行特征融合,得到融合特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题对应的答案与目标答案之间的目标位置重合度;
根据目标位置重合度,确定目标预测问题的质量标签。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将样本段落和样本段落对应的样本答案输入到问题生成模型中,得到样本预测问题;
根据样本预测问题、样本答案对应的样本标准问题,确定样本预测问题和样本标准问题之间的问题相似度;
根据样本预测问题、样本段落,以及样本答案在样本段落中的位置,确定样本预测问题对应的答案与样本答案之间的样本位置重合度;
根据问题相似度和样本位置重合度,确定目标损失值;
根据目标损失值,更新问题生成模型的模型参数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将样本预测问题、样本答案对应的样本标准问题输入复述识别模型,得到样本预测问题和样本标准问题之间的问题相似度。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将样本预测问题、样本段落,以及样本答案在样本段落中的位置输入至阅读理解模型中,得到样本预测问题对应的答案与样本答案之间的样本位置重合度。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据问题相似度和样本位置重合度,确定第一损失值;
根据第一损失值和复述识别模型的复述损失值和复述损失权重,确定第二损失值;
根据第一损失值和阅读理解模型的理解损失值和理解损失权重,确定第三损失值;
根据第二损失值和第三损失值,确定目标损失值。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题;
通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签;
为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
通过问题生成模型,对目标段落和目标段落对应的目标答案进行解析,得到目标预测问题;
通过阅读理解模型,对目标预测问题、目标段落,以及目标答案在目标段落中的位置进行解析,确定目标预测问题的质量标签;
为目标预测问题添加质量标签,并输出添加有质量标签的目标预测问题。
需要说明的是,本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
- 样本存储路径生成方法、装置、计算机设备及存储介质
- 动态表情生成方法、装置、计算机可读存储介质和计算机设备
- 图像生成方法和装置、计算机设备和计算机存储介质
- 网页生成方法、装置、电子设备及计算机可读存储介质
- 抗噪声波的生成方法、装置、计算机设备及存储介质
- 问题生成方法、生成装置及计算机设备和存储介质
- 问题生成方法、装置、设备、计算机设备和存储介质