线上心理咨询方法及装置、介质、终端

技术领域

本申请涉及人工智能技术领域以及医疗领域，特别是涉及一种线上心理咨询方法及装置、介质、终端。

背景技术

近年来，随着我国社会和经济水平的快速发展，越来越多的人开始重视自身的健康水平，其中，心理健康得到了越来越多的重视。根据中国科学院心理研究所发布2022版“心理健康蓝皮书”调查中，抑郁风险检出率为10.6％，焦虑风险检出率为15.8％。越来越多的人开始寻求心理咨询服务来应对自身的心理健康问题。随着互联网技术的发展和普及，使得心理咨询服务可以通过互联网提供。

目前，大多智慧医疗平台的心理咨询服务是通过聘请专业的心理医生或心理咨询师在线上进行心理咨询的。然而，专业的心理医生或心理咨询师提供专业的心理咨询服务的资源是有限的，患者数量增加时，容易造成候诊时长的增加，降低患者体验感；且聘请大量的专业心理医生，会导致平台运营成本的大幅增加。

发明内容

有鉴于此，本申请提供一种线上心理咨询方法及装置、介质、终端，主要目的在于现有专业的心理医生提供专业心理咨询服务资源有限，患者数量增加时，容易造成候诊时长的增加，降低患者体验感；且聘请大量的专业心理医生，会导致平台运营成本的大幅增加的问题。

依据本申请一个方面，提供了一种线上心理咨询方法，包括：

接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据所述首轮咨询信息生成对应的首轮应答信息，所述应答信息生成模型基于预训练的对话生成模型进行监督学习和强化学习两次模型训练过程得到，所述应答信息生成模型的训练样本为多条历史咨询信息和对应的历史应答信息，以及每条历史咨询信息之前的全部历史咨询信息和对应的历史应答信息；

接收针对所述首轮应答信息反馈的次轮咨询信息，并基于所述应答信息生成模型，根据所述次轮咨询信息以及所述次轮之前的全部咨询信息和对应的应答信息，生成所述次轮咨询信息对应的次轮应答信息；

基于所述应答信息生成模型，对所述目标用户各个轮次的咨询信息依次进行应答，若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程。

优选的，接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据所述首轮咨询信息生成对应的首轮应答信息之前，所述方法还包括：

基于历史咨询数据生成训练样本集，其中，每条样本数据包含一个对话数据中的一个轮次的历史咨询信息和对应的历史应答信息，以及所述轮次之前的全部历史咨询信息和对应的历史应答信息；

基于所述训练样本集对预训练的对话生成模型进行模型训练，得到初步应答信息生成模型，其中，所述初步应答信息生成模型的输入为一个轮次的历史咨询信息，以及所述轮次之前的全部历史咨询信息和对应的历史应答信息，所述初步应答信息生成模型的输出为所述轮次的历史咨询信息对应的历史应答信息；

基于所述初步应答信息生成模型，根据所述训练样本集中各条历史咨询信息以及所述历史咨询信息之前的全部历史咨询信息和对应的历史应答信息，生成所述训练样本集中各条历史咨询信息的第一预测应答信息；

根据所述第一预测应答信息的多维度评分结果对所述初步应答信息生成模型进行参数优化，得到已完成模型训练的应答信息生成模型。

优选的，所述基于所述训练样本集对对预训练的话生成模型进行模型训练，得到初步应答信息生成模型，具体包括：

基于预训练的对话生成模型，根据所述当前轮次历史咨询信息以及所述当前轮次之前的全部历史咨询信息和对应的历史应答信息，生成所述当前轮次历史咨询信息对应的第二预测应答信息；

根据所述第二预测应答信息与所述当前轮次的历史应答信息之间的交叉熵损失函数，对所述预训练的对话生成模型的参数进行更新，以得到初步应答信息生成模型。

优选的，所述根据所述第一预测应答信息的多维度评分结果对所述初步应答信息生成模型进行参数优化，得到已完成模型训练的应答信息生成模型，具体包括：

基于已完成模型训练的应答信息评价模型分别对各个所述第一预测应答信息进行评分处理，得到各个所述第一预测应答信息的多维度评分结果，其中，所述多维度评分结果包括医学专业度评分、共情情感评分、回复内容一致性评分中的至少一种评分；

基于近端策略优化算法，根据所述多维度评分结果对所述初步应答信息生成模型进行参数优化，得到已完成模型训练的应答信息生成模型。

优选的，所述基于已完成模型训练的应答信息评价模型分别对各个所述第一预测应答信息进行评分处理，得到各个所述第一预测应答信息的多维度评分结果之前，所述方法还包括：

对所述训练样本集中的各个历史应答信息进行多维度评分标注处理；

基于所述多维度评分标注后的历史应答信息对预训练的语言理解模型进行模型训练，得到已完成模型训练的应答信息评价模型，以基于所述应答信息评价模型对所述第一预测应答信息进行评分处理，其中，所述应答信息评价模型的输入为历史应答信息，所述应答信息评价模型的输出为所述历史应答信息对应的多维度评分标注结果。

优选的，所述若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程，具体包括：

从所述首轮咨询信息的接收时刻开始计时操作；

若计时结果达到预设咨询时长阈值，则结束当前线上心理咨询线程。

优选的，所述若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程，还包括：

接收所述目标用户触发的咨询结束指令，并控制结束当前线上心理咨询线程。

依据本申请另一个方面，提供了一种线上心理咨询装置，包括：

首轮应答模块，用于接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据所述首轮咨询信息生成对应的首轮应答信息，所述应答信息生成模型基于预训练的对话生成模型进行监督学习和强化学习两次模型训练过程得到，所述应答信息生成模型的训练样本为多条历史咨询信息和对应的历史应答信息，以及每条历史咨询信息之前的全部历史咨询信息和对应的历史应答信息；

次轮应答模块，用于接收针对所述首轮应答信息反馈的次轮咨询信息，并基于所述应答信息生成模型，根据所述次轮咨询信息以及所述次轮之前的全部咨询信息和对应的应答信息，生成所述次轮咨询信息对应的次轮应答信息；

结束模块，用于基于所述应答信息生成模型，对所述目标用户各个轮次的咨询信息依次进行应答，若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程。

优选的，首轮应答模块之前，所述装置还包括：

生成模块，用于基于历史咨询数据生成训练样本集，其中，每条样本数据包含一个对话数据中的一个轮次的历史咨询信息和对应的历史应答信息，以及所述轮次之前的全部历史咨询信息和对应的历史应答信息；

训练模块，用于基于所述训练样本集对预训练的对话生成模型进行模型训练，得到初步应答信息生成模型，其中，所述初步应答信息生成模型的输入为一个轮次的历史咨询信息，以及所述轮次之前的全部历史咨询信息和对应的历史应答信息，所述初步应答信息生成模型的输出为所述轮次的历史咨询信息对应的历史应答信息；

预测模块，用于基于所述初步应答信息生成模型，根据所述训练样本集中各条历史咨询信息以及所述历史咨询信息之前的全部历史咨询信息和对应的历史应答信息，生成所述训练样本集中各条历史咨询信息的第一预测应答信息；

优化模块，用于根据所述第一预测应答信息的多维度评分结果对所述初步应答信息生成模型进行参数优化，得到已完成模型训练的应答信息生成模型。

优选的，所述训练模块，具体包括：

第一生成单元，用于基于预训练的对话生成模型，根据所述当前轮次历史咨询信息以及所述当前轮次之前的全部历史咨询信息和对应的历史应答信息，生成所述当前轮次历史咨询信息对应的第二预测应答信息；

更新单元，用于根据所述第二预测应答信息与所述当前轮次的历史应答信息之间的交叉熵损失函数，对所述预训练的对话生成模型的参数进行更新，以得到初步应答信息生成模型。

优选的，所述优化模块还包括：

评分单元，用于基于已完成模型训练的应答信息评价模型分别对各个所述第一预测应答信息进行评分处理，得到各个所述第一预测应答信息的多维度评分结果，其中，所述多维度评分结果包括医学专业度评分、共情情感评分、回复内容一致性评分中的至少一种评分；

优化单元，用于基于近端策略优化算法，根据所述多维度评分结果对所述初步应答信息生成模型进行参数优化，得到已完成模型训练的应答信息生成模型。

优选的，评分单元之前，所述优化模块还包括：

标注单元，用于对所述训练样本集中的各个历史应答信息进行多维度评分标注处理；

训练单元，用于基于所述多维度评分标注后的历史应答信息对预训练的语言理解模型进行模型训练，得到已完成模型训练的应答信息评价模型，以基于所述应答信息评价模型对所述第一预测应答信息进行评分处理，其中，所述应答信息评价模型的输入为历史应答信息，所述应答信息评价模型的输出为所述历史应答信息对应的多维度评分标注结果。

优选的，所述结束模块，具体包括：

计时单元，用于从所述首轮咨询信息的接收时刻开始计时操作；

结束单元，用于若计时结果达到预设咨询时长阈值，则结束当前线上心理咨询线程。

优选的，所述结束模块，还包括：

接收单元，用于接收所述目标用户触发的咨询结束指令，并控制结束当前线上医疗咨询线程。

根据本申请的又一方面，提供了一种存储介质，所述存储介质中存储有至少一条可执行指令，所述可执行指令使处理器执行如上述线上心理咨询方法对应的操作。

根据本申请的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行上述线上心理咨询方法对应的操作。

借由上述技术方案，本申请实施例提供的技术方案至少具有下列优点：

本申请提供了一种线上心理咨询方法及装置、介质、终端，首先接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据所述首轮咨询信息生成对应的首轮应答信息，所述应答信息生成模型基于预训练的对话生成模型进行监督学习和强化学习两次模型训练过程得到，所述应答信息生成模型的训练样本为多条历史咨询信息和对应的历史应答信息，以及每条历史咨询信息之前的全部历史咨询信息和对应的历史应答信息；其次接收针对所述首轮应答信息反馈的次轮咨询信息，并基于所述应答信息生成模型，根据所述次轮咨询信息以及所述次轮之前的全部咨询信息和对应的应答信息，生成所述次轮咨询信息对应的次轮应答信息；后基于所述应答信息生成模型，对所述目标用户各个轮次的咨询信息依次进行应答，若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程。与现有技术相比，本申请实施例通过应答信息生成模型对用户的咨询信息进行应答，缓解了由于在线医生资源有限而造成的用户候诊时长增加的问题，并且降低了由于聘请大量专业医生所需要的运营成本；同时，由于用于应答的应答信息生成模型是依次通过监督学习以及强化学习两次模型训练得到的，进一步提高了应答信息的有效性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请实施例提供的一种线上心理咨询方法流程图；

图2示出了本申请实施例提供的训练应答信息生成模型的流程图；

图3示出了本申请实施例提供的一种线上心理咨询装置组成框图；

图4示出了本申请实施例提供的一种终端的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

基于此，在一个实施例中，如图1所示，提供了一种线上心理咨询方法，以该方法应用于服务器等计算机设备为例进行说明，其中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，如智能医疗系统、数字医疗平台等。上述方法包括以下步骤：

101、接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据首轮咨询信息生成对应的首轮应答信息。

其中，应答信息生成模型是基于预训练的对话生成模型进行监督学习和强化学习两次模型训练过程得到；应答信息生成模型的训练样本为多条历史咨询信息和对应的历史应答信息，以及每条历史咨询信息之前的全部历史咨询信息和对应的历史应答信息；首轮咨询信息用于表征用户输入的第一条信息，例如，“医生，我最近总是失眠，精神涣散”或者“医生您好，我最近头疼”等；首轮应答信息用于表征当前执行端针对用户第一条信息的应答信息；应答信息生成模型用于生成应答用户咨询信息的应答信息。本申请实施例中，当前执行端可以是智慧医疗平台的线上心理咨询模块，在接收的用户的首轮咨询信息后，根据首轮咨询信息生成对应的首轮应答信息，以开始线上心理咨询线程。

102、接收针对首轮应答信息反馈的次轮咨询信息，并基于应答信息生成模型，根据次轮咨询信息以及次轮之前的全部咨询信息和对应的应答信息，生成次轮咨询信息对应的次轮应答信息。

其中，次轮咨询信息用于表征用户针对当前执行端的首轮应答信息反馈的信息，为当前线上心理咨询线程中用户输入的第二条信息；次轮应答信息用于表征当前执行端针对上述第二条信息的应答信息。本申请实施例中，在生成次轮应答信息时，是根据次轮咨询信息以及次轮之前的全部咨询信息和对应的应答信息生成的，通过结合上下文对话信息，使得生成的应答信息更贴近用户的需求，从而提高了应答信息的有效性。

需要说明的是，在生成次轮应答信息时，应答信息生成模型可以采用自回归的方式进行生成，例如，对于文本“您有什么身体上的症状”，应答信息生成模型的生成过程是，模型根据已有对话生成“您”，再将“您”输入模型，模型输出“有”；将“您有”输入模型，模型输出“什”；将“您有什”输入模型，模型输出“么”；将“您有什么”输入模型，模型输出“身”；将“您有什么身”输入模型，模型输出“体”；将“您有什么身体”输入模型，模型输出“上”；将“您有什么身体上”输入模型，模型输出“的”；将“您有什么身体上的”输入模型，模型输出“症”；将“您有什么身体上的症”输入模型，模型输出“状”；最后，将完整的“您有什么身体上的症状”显示给用户。

103、基于应答信息生成模型，对目标用户各个轮次的咨询信息依次进行应答，若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程。

其中，预设线上咨询结束条件可以是固定的咨询时长，也可以是用户的咨询结束指令，本申请实施例中不做具体限定。本申请实施例中，基于应答信息生成模型，根据实施例步骤102中的方法，重复应答目标用户各个轮次的咨询信息，直至达到预设线上咨询结束条件，并结束咨询线程。

与现有技术相比，本申请实施例通过应答信息生成模型对用户的咨询信息进行应答，缓解了由于在线医生资源有限而造成的用户候诊时长增加的问题，并且降低了由于聘请大量专业医生所需要的运营成本；同时，由于用于应答的应答信息生成模型是依次通过监督学习以及强化学习两次模型训练得到的，进一步提高了应答信息的有效性。

在一个本申请实施例中，为了进一步限定及说明，如图2所示，实施例步骤101接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据首轮咨询信息生成对应的首轮应答信息之前，实施例方法还包括：

201、基于历史咨询数据生成训练样本集。

其中，每条样本数据包含一个对话数据中的一个轮次的历史咨询信息和对应的历史应答信息，以及轮次之前的全部历史咨询信息和对应的历史应答信息；历史咨询数据是专业医生与患者之间的真实对话数据。需要说明的是，获取已有的专业医生与患者之间的历史咨询数据，其中，一次历史咨询数据会包含医生与患者之间的多轮对话，每一轮对话会包含一条患者的咨询信息以及一条医生的应答信息。

202、基于训练样本集对预训练的对话生成模型进行模型训练，得到初步应答信息生成模型。

其中，初步应答信息生成模型的输入为一个轮次的历史咨询信息，以及轮次之前的全部历史咨询信息和对应的历史应答信息，初步应答信息生成模型的输出为该轮次的历史咨询信息对应的历史应答信息。本申请实施例中，预训练的对话生成模型可以选择预训练对话生成模型GPT(Generative Pre-trained Transformer)，并在此基础上基于实施例步骤201中的训练样本集作进一步的优化，可以采用监督式的微调方式，以得到与当前线上心理咨询场景更加匹配的初步应答信息生成模型，使得生成的应答信息更贴近用户的需求，从而提高了应答信息的有效性。

具体的，首先将一条样本数据中的一个轮次的用户历史咨询信息以及该轮次之前的全部历史对话数据，包括历史咨询信息和对应的历史应答信息输入至预训练的对话生成模型，得到的模型输出为该轮次用户历史咨询信息的预测应答信息，即第二预测应答信息。进一步的，计算该条样本数据中与该轮次用户历史咨询信息相对应的历史应答信息(即专业医生针对本轮次用户历史咨询信息给出的真实应答信息)之间的交叉熵损失值。最后，基于上述交叉熵损失值对对话生成模型的参数进行更新，多次重复上述步骤，直至预测应答信息与真实应答信息之间的交叉熵损失值小于预设交叉熵损失值阈值，或逐渐收敛变化微小，从而得到初步应答信息生成模型。

相应的，实施例步骤202具体包括：基于预训练的对话生成模型，根据当前轮次历史咨询信息以及所述当前轮次之前的全部历史咨询信息和对应的历史应答信息，生成当前轮次历史咨询信息对应的第二预测应答信息；根据第二预测应答信息与当前轮次的历史应答信息之间的交叉熵损失函数，对预训练的对话生成模型的参数进行更新，以得到初步应答信息生成模型。

203、基于初步应答信息生成模型，根据训练样本集中各条历史咨询信息以及历史咨询信息之前的全部历史咨询信息和对应的历史应答信息，生成训练样本集中各条历史咨询信息的第一预测应答信息。

204、根据第一预测应答信息的多维度评分结果对初步应答信息生成模型进行参数优化，得到已完成模型训练的应答信息生成模型。

其中，第一预测应答信息是基于实施例步骤202得到的初步应答信息生成模型生成的。本申请实施例中，进一步的，将样本数据中的本轮次用户历史咨询信息以及本轮次之前的全部历史对话数据再一次输入实施例步骤202得到的初步应答信息生成模型中，得到第一预测应答信息。再基于已完成模型训练的应答信息评价模型对第一预测应答信息进行评分，其中，应答信息评价模型可从多个维度对第一预测应答信息进行评分，例如，医学专业度评价维度、共情情感评价维度、回复内容一致性评价维度等。示例性的，针对医学专业评价维度，可以划分为6个等级，分别为0-5分；同理，针对共情情感评价维度以及回复内容一致性评价维度，同样划分为6个等级，分别为0-5分；并为各个评价维度配置权重，如，医学专业评价维度0.4、共情情感评价维度0.2、回复内容一致性评价维度0.4。基于此，将第一预测应答信息输入至应答信息评价模型，模型输出即为第一预测应答信息的多维度评分结果。最后，可以采用强化学习中的PPO(Proximal Policy Optimization)方式对初步应答信息生成模型进行进一步优化，从而得到已完成模型训练的应答信息生成模型。

相应的，实施例步骤204具体包括：基于已完成模型训练的应答信息评价模型分别对各个第一预测应答信息进行评分处理，得到各个第一预测应答信息的多维度评分结果，其中，多维度评分结果包括医学专业度评分、共情情感评分、回复内容一致性评分中的至少一种评分；基于近端策略优化算法，根据多维度评分结果对初步应答信息生成模型进行参数优化，得到已完成模型训练的应答信息生成模型。

在一个本申请实施例中，为了进一步限定及说明，基于已完成模型训练的应答信息评价模型分别对各个第一预测应答信息进行评分处理，得到各个第一预测应答信息的多维度评分结果之前，实施例方法还包括：对训练样本集中的各个历史应答信息进行多维度评分标注处理；基于多维度评分标注后的历史应答信息对预训练的语言理解模型进行模型训练，得到已完成模型训练的应答信息评价模型。

进一步的，以基于应答信息评价模型对第一预测应答信息进行评分处理。其中，应答信息评价模型的输入为历史应答信息，应答信息评价模型的输出为历史应答信息对应的多维度评分标注结果。本申请实施例中，语言理解模型可以选择预训练语言理解模型BERT(Bidirectional Encoder Representations from Transformers)，并在此基础上基于经过评分标注的训练样本集作进一步的优化。其中，经过评分标注的训练样本集是预先从多个评价维度进行评价的，例如，医学专业评价维度、共情情感评价维度、回复内容一致性评价维度等。

在一个本申请实施例中，为了进一步限定及说明，实施例步骤103若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程，具体包括：从首轮咨询信息的接收时刻开始计时操作；若计时结果达到预设咨询时长阈值，则结束当前线上心理咨询线程。

本申请实施例中，可以采用固定的医疗咨询时长作为预设线上咨询结束条件，示例性的，可以从首轮咨询信息的接收时刻开始计算时长，当时长达到预设咨询时长阈值时，提示用户本次线上心理咨询即将结束，通过控制每个用户的咨询时长，以避免用户恶意占用咨询资源的情况。

在一个本申请实施例中，为了进一步限定及说明，实施例步骤103若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程，还包括：接收目标用户触发的咨询结束指令，并控制结束当前线上心理咨询线程。

本申请实施例中，还可以采用在用户主动结束线上心理咨询的方式作为预设线上咨询结束条件，当接收到用户触发的咨询结束指令时，控制结束当前线上心理咨询线程。

本申请提供了一种线上心理咨询方法，首先接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据所述首轮咨询信息生成对应的首轮应答信息，所述应答信息生成模型基于预训练的对话生成模型进行监督学习和强化学习两次模型训练过程得到，所述应答信息生成模型的训练样本为多条历史咨询信息和对应的历史应答信息，以及每条历史咨询信息之前的全部历史咨询信息和对应的历史应答信息；其次接收针对所述首轮应答信息反馈的次轮咨询信息，并基于所述应答信息生成模型，根据所述次轮咨询信息以及所述次轮之前的全部咨询信息和对应的应答信息，生成所述次轮咨询信息对应的次轮应答信息；后基于所述应答信息生成模型，对所述目标用户各个轮次的咨询信息依次进行应答，若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程。与现有技术相比，本申请实施例通过应答信息生成模型对用户的咨询信息进行应答，缓解了由于在线医生资源有限而造成的用户候诊时长增加的问题，并且降低了由于聘请大量专业医生所需要的运营成本；同时，由于用于应答的应答信息生成模型是依次通过监督学习以及强化学习两次模型训练得到的，进一步提高了应答信息的有效性。

进一步的，作为对上述图1所示方法的实现，本申请实施例提供了一种线上心理咨询装置，如图3所示，该装置包括：

首轮应答模块31，次轮应答模块32，结束模块33。

首轮应答模块31，用于接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据所述首轮咨询信息生成对应的首轮应答信息，所述应答信息生成模型基于预训练的对话生成模型进行监督学习和强化学习两次模型训练过程得到，所述应答信息生成模型的训练样本为多条历史咨询信息和对应的历史应答信息，以及每条历史咨询信息之前的全部历史咨询信息和对应的历史应答信息；

次轮应答模块32，用于接收针对所述首轮应答信息反馈的次轮咨询信息，并基于所述应答信息生成模型，根据所述次轮咨询信息以及所述次轮之前的全部咨询信息和对应的应答信息，生成所述次轮咨询信息对应的次轮应答信息；

结束模块33，用于基于所述应答信息生成模型，对所述目标用户各个轮次的咨询信息依次进行应答，若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程。

优选的，首轮应答模块之前，所述装置还包括：

生成模块，用于基于历史咨询数据生成训练样本集，其中，每条样本数据包含一个对话数据中的一个轮次的历史咨询信息和对应的历史应答信息，以及所述轮次之前的全部历史咨询信息和对应的历史应答信息；

训练模块，用于基于所述训练样本集对预训练的对话生成模型进行模型训练，得到初步应答信息生成模型，其中，所述初步应答信息生成模型的输入为一个轮次的历史咨询信息，以及所述轮次之前的全部历史咨询信息和对应的历史应答信息，所述初步应答信息生成模型的输出为所述轮次的历史咨询信息对应的历史应答信息；

预测模块，用于基于所述初步应答信息生成模型，根据所述训练样本集中各条历史咨询信息以及所述历史咨询信息之前的全部历史咨询信息和对应的历史应答信息，生成所述训练样本集中各条历史咨询信息的第一预测应答信息；

优化模块，用于根据所述第一预测应答信息的多维度评分结果对所述初步应答信息生成模型进行参数优化，得到已完成模型训练的应答信息生成模型。

优选的，所述训练模块，具体包括：

第一生成单元，用于基于预训练的对话生成模型，根据所述当前轮次历史咨询信息以及所述当前轮次之前的全部历史咨询信息和对应的历史应答信息，生成所述当前轮次历史咨询信息对应的第二预测应答信息；

更新单元，用于根据所述第二预测应答信息与所述当前轮次的历史应答信息之间的交叉熵损失函数，对所述预训练的对话生成模型的参数进行更新，以得到初步应答信息生成模型。

优选的，所述优化模块还包括：

评分单元，用于基于已完成模型训练的应答信息评价模型分别对各个所述第一预测应答信息进行评分处理，得到各个所述第一预测应答信息的多维度评分结果，其中，所述多维度评分结果包括医学专业度评分、共情情感评分、回复内容一致性评分中的至少一种评分；

优化单元，用于基于近端策略优化算法，根据所述多维度评分结果对所述初步应答信息生成模型进行参数优化，得到已完成模型训练的应答信息生成模型。

优选的，评分单元之前，所述优化模块还包括：

标注单元，用于对所述训练样本集中的各个历史应答信息进行多维度评分标注处理；

训练单元，用于基于所述多维度评分标注后的历史应答信息对预训练的语言理解模型进行模型训练，得到已完成模型训练的应答信息评价模型，以基于所述应答信息评价模型对所述第一预测应答信息进行评分处理，其中，所述应答信息评价模型的输入为历史应答信息，所述应答信息评价模型的输出为所述历史应答信息对应的多维度评分标注结果。

优选的，所述结束模块，具体包括：

计时单元，用于从所述首轮咨询信息的接收时刻开始计时操作；

结束单元，用于若计时结果达到预设咨询时长阈值，则结束当前线上心理咨询线程。

优选的，所述结束模块，还包括：

接收单元，用于接收所述目标用户触发的咨询结束指令，并控制结束当前线上医疗咨询线程。

本申请提供了一种线上心理咨询装置，首先接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据所述首轮咨询信息生成对应的首轮应答信息，所述应答信息生成模型基于预训练的对话生成模型进行监督学习和强化学习两次模型训练过程得到，所述应答信息生成模型的训练样本为多条历史咨询信息和对应的历史应答信息，以及每条历史咨询信息之前的全部历史咨询信息和对应的历史应答信息；其次接收针对所述首轮应答信息反馈的次轮咨询信息，并基于所述应答信息生成模型，根据所述次轮咨询信息以及所述次轮之前的全部咨询信息和对应的应答信息，生成所述次轮咨询信息对应的次轮应答信息；后基于所述应答信息生成模型，对所述目标用户各个轮次的咨询信息依次进行应答，若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程。与现有技术相比，本申请实施例通过应答信息生成模型对用户的咨询信息进行应答，缓解了由于在线医生资源有限而造成的用户候诊时长增加的问题，并且降低了由于聘请大量专业医生所需要的运营成本；同时，由于用于应答的应答信息生成模型是依次通过监督学习以及强化学习两次模型训练得到的，进一步提高了应答信息的有效性。

根据本申请一个实施例提供了一种存储介质，所述存储介质存储有至少一条可执行指令，该计算机可执行指令可执行上述任意方法实施例中的线上心理咨询方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

图4示出了根据本申请一个实施例提供的一种终端的结构示意图，本申请具体实施例并不对计算机设备的具体实现做限定。

如图4所示，该终端可以包括：处理器(processor)402、通信接口(CommunicationsInterface)404、存储器(memory)406、以及通信总线408。

其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述线上心理咨询方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行以下操作：

接收目标用户的首轮咨询信息，并基于已完成模型训练的应答信息生成模型，根据所述首轮咨询信息生成对应的首轮应答信息，所述应答信息生成模型是基于预训练的对话生成模型进行监督学习和强化学习两次模型训练过程得到，所述应答信息生成模型的训练样本为多条历史咨询信息和对应的历史应答信息，以及每条历史咨询信息之前的全部历史咨询信息和对应的历史应答信息；

接收针对所述首轮应答信息反馈的次轮咨询信息，并基于所述应答信息生成模型，根据所述次轮咨询信息以及所述次轮之前的全部咨询信息和对应的应答信息，生成所述次轮咨询信息对应的次轮应答信息；

基于所述应答信息生成模型，对所述目标用户各个轮次的咨询信息依次进行应答，若已满足预设线上咨询结束条件，则结束当前线上心理咨询线程。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述线上心理咨询的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本申请的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。