一种大语言模型的输出优化方法

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种大语言模型的输出优化方法。

背景技术

ChatGPT以其强大的文本理解和生成能力，逐渐成为追求生产效率的人们的智能化工具，也是目前LLM（大语言模型）领域的标杆产品。随着其影响力的日益扩大，国内外具备类似功能的LLM纷纷涌现。对于大部分人来说，大语言模型变得触手可及。然而，怎样才能使用好LLM，得到理想的输出，仍然是一个值得研究的问题。

目前人们使用LLM，主要是通过手动编辑prompt（提示词）的方式，然而由于LLM输出的特性，一次性的prompt往往并不能得到理想的输出，通常需要经过反复调试prompt才能得到较好的输出，尽管如此，输出的效果也取决于LLM本身的性能，如果LLM本身的性能不稳定，会造成人工调试的浪费。

因此，亟需一种大语言模型的输出优化方法。

发明内容

本发明提供一种大语言模型的输出优化方法，用以解决现有技术通过人工、手动、多次调试prompt使用大语言模型，得到的输出效率低下也没有质量保证的缺陷。

本发明提供一种大语言模型的输出优化方法，通过大语言模型的输出优化系统实现，大语言模型的输出优化系统包括LMM输出生成模块、prompt优化模块、历史对话处理模块，大语言模型的输出优化方法包括：

通过LMM输出生成模块根据用户输入的初始prompt生成第一LMM输出；

通过历史对话处理模块将第一LMM输出传输至prompt优化模块；

通过prompt优化模块根据预设评价标准判定第一LMM输出待优化，并得到改进要求prompt；

通过历史对话处理模块将改进要求prompt传输至LMM输出生成模块；

通过LMM输出生成模块结合第一LMM输出和改进要求prompt，生成第二LMM输出；

重复上述步骤，直至prompt优化模块判定LMM输出生成模块生成的输出满足预设优化结束要求，通过prompt优化模块输出LMM输出生成模块最后一次生成的输出，作为最终输出。

根据本发明提供的一种大语言模型的输出优化方法，所述通过prompt优化模块根据预设评价标准判定第一LMM输出待优化，具体为：

当prompt优化模块根据预设评价标准判定第一LMM输出未符合预设生成要求，且根据预设迭代条件判定prompt优化次数未满足时，通过prompt优化模块判定第一LMM输出待优化。

根据本发明提供的一种大语言模型的输出优化方法，所述当prompt优化模块根据预设评价标准判定第一LMM输出未符合预设生成要求，具体为：

通过prompt优化模块对LMM输出生成模块生成的输出中的关键要素分别进行评价，当一个或以上的关键要素的评价结果为不及格时，通过prompt优化模块判定LMM输出生成模块生成的输出未符合预设生成要求。

根据本发明提供的一种大语言模型的输出优化方法，关键要素包括以下任一项或其任意组合：论据、逻辑、语言表达、字数控制，当关键要素的评价结果低于预设分数时，判定关键要素的评价结果为不及格。

根据本发明提供的一种大语言模型的输出优化方法，预设优化结束要求包括：

当prompt优化模块根据预设评价标准判定LMM输出生成模块生成的输出符合预设生成要求，和/或当prompt优化模块判定prompt优化次数达到预设迭代条件时，通过prompt优化模块判定LMM输出生成模块生成的输出满足预设优化结束要求。

根据本发明提供的一种大语言模型的输出优化方法，还包括：

当prompt优化模块根据预设评价标准判定LMM输出生成模块生成的输出未符合预设生成要求，但判定prompt优化次数达到预设迭代条件时，通过prompt模块输出LMM输出生成模块最后一次生成的输出以及对LMM输出生成模块生成的输出的评价结果，作为LMM输出生成模块的性能评价报告。

根据本发明提供的一种大语言模型的输出优化方法，大语言模型的输出优化系统中设置有若干个prompt优化模块，不同prompt优化模块内设置的预设评价标准不同，在对LMM输出生成模块生成的输出进行评价时，可得到不同的改进要求prompt，以供LMM输出生成模块结合不同的改进要求prompt进行输出优化。

根据本发明提供的一种大语言模型的输出优化方法，通过历史对话处理模块的第一LMM接口将第一LMM输出传输至prompt优化模块，通过历史对话处理模块的第二LMM接口将改进要求prompt传输至LMM输出生成模块。

本发明提供的一种大语言模型的输出优化方法，结合LMM输出生成模块、prompt优化模块、历史对话处理模块实现大语言模型输出优化的自动化，无需通过手动方式反复调试prompt，提高LMM输出生成模型的输出效率和质量，通过本发明可以为某个任务生成通过迭代优化之后的prompt，供后续直接使用，减少计算冗余，还能检验LMM的性能是否满足使用要求，有针对性地优化大语言模型的精度，降低试验成本。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做出简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种大语言模型的输出优化方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，它们不应该理解成对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。

本发明提供的大语言模型的输出优化方法可应用于标准格式的文本生成领域，可能的应用场景有医疗咨询、法律咨询、学科教育等专业性较强的文本生成场景。

图1是本发明提供的大语言模型的输出优化方法的流程示意图。参照图1，本发明提供的一种大语言模型的输出优化方法，通过大语言模型的输出优化系统实现，大语言模型的输出优化系统包括LMM输出生成模块、prompt优化模块、历史对话处理模块，大语言模型的输出优化方法可以包括：

步骤S110、通过LMM输出生成模块根据用户输入的初始prompt生成第一LMM输出；

步骤S120、通过历史对话处理模块将第一LMM输出传输至prompt优化模块；

步骤S130、通过prompt优化模块根据预设评价标准判定第一LMM输出待优化，并得到改进要求prompt；

步骤S140、通过历史对话处理模块将改进要求prompt传输至LMM输出生成模块；

步骤S150、通过LMM输出生成模块结合第一LMM输出和改进要求prompt，生成第二LMM输出；

步骤S160、重复上述步骤，直至prompt优化模块判定LMM输出生成模块生成的输出满足预设优化结束要求，通过prompt优化模块输出LMM输出生成模块最后一次生成的输出，作为最终输出。

即，LMM输出生成模块根据prompt优化模块提供的改进要求prompt，再次生成的输出，需要由历史对话处理模块传输至prompt优化模块，再次通过prompt优化模块判定是否满足预设优化结束要求，如果prompt优化模块判定LMM输出生成模块再次生成的输出满足预设优化结束要求，即结束迭代优化，否则进入下一迭代优化周期。

在一种实施例中，用户输入的初始prompt、LMM输出生成模块的输出、prompt优化模块输出的改进要求prompt和评价结果的表现形式均可以为文本。LMM输出生成模块、prompt优化模块、历史对话处理模块可以采用可以实现各自功能的任何软件或硬件实现。

在一种实施例中，步骤S130 可以为：当prompt优化模块根据预设评价标准判定第一LMM输出未符合预设生成要求，且根据预设迭代条件判定prompt优化次数未满足时，通过prompt优化模块判定第一LMM输出待优化。

例如，通过prompt优化模块对LMM输出生成模块生成的输出中的关键要素分别进行评价，关键要素可以包括以下任一项或其任意组合：论据、逻辑、语言表达、字数控制，当一个或以上的关键要素的评价结果为不及格（例如当关键要素的评价结果低于预设分数（例如80分））时，通过prompt优化模块判定LMM输出生成模块生成的输出未符合预设生成要求，并且prompt优化模块可以根据不及格的关键要素输出对应的改进要求prompt。如果关键要素的评价结果均为及格，则表示LMM输出生成模块生成的输出符合预设生成要求。

例如，第一LMM输出为一段文本，prompt优化模块的预设评价标准为：“下文是一段文本，请对其中的关键要素进行评价，关键要素有：论据、逻辑、语言表达、字数控制。prompt优化模块的评价方法是对关键要素进行打分，打分的最低0分，最高100分。文本的合格标准是每一个要素的打分均在80分以上。如果其中有一项或几项低于上述标准，请明确指出，并给出改进要求prompt。如果全部要素的打分合格，请输出：文本已符合要求。输入的文本是：{text}”。

在一种实施例中，为避免每次优化后LMM输出生成模块生成的输出均未符合预设生成要求而导致进行无限次无效的优化，本实施例结合迭代次数设置了预设优化结束要求，可以为：当prompt优化模块根据预设评价标准判定LMM输出生成模块生成的输出符合预设生成要求，和/或当prompt优化模块判定prompt优化次数达到预设迭代条件（例如迭代次数为10次）时，通过prompt优化模块判定LMM输出生成模块生成的输出满足预设优化结束要求。即，在迭代次数为10次内时，当prompt优化模块根据预设评价标准判定LMM输出生成模块生成的输出符合预设生成要求时，即结束大语言模型的输出优化；当迭代次数到达10次，但prompt优化模块根据预设评价标准仍然判定LMM输出生成模块生成的输出未符合预设生成要求时，依然结束大语言模型的输出优化，避免浪费计算资源。

在一种实施例中，当prompt优化模块根据预设评价标准判定LMM输出生成模块生成的输出未符合预设生成要求，但判定prompt优化次数达到预设迭代条件时，通过prompt模块输出LMM输出生成模块最后一次生成的输出，作为最终输出，以及对LMM输出生成模块生成的输出的评价结果，作为LMM输出生成模块的性能评价报告，评价结果可以描述LMM输出生成模块生成的输出中的关键要素的评分。

在一种实施例中，大语言模型的输出优化系统中可以设置有若干个prompt优化模块，不同prompt优化模块内设置的预设评价标准不同（预设评价标准可以是以下任一项或其任意组合：1、是否按指定格式输出，如：要求指定输出json格式，并且字段与指令相吻合；2、是否按指定的风格生成文本，比如严谨公文风格、优美文艺风格、幽默搞笑风格等等；3、是否按指定字数输出；4、输出是否达到一定的专业度等等），在对LMM输出生成模块生成的输出进行评价时，可得到不同维度的改进要求prompt，不同LMM输出生成模块的评价结果可形成专家组意见，以得到更可靠的优化意见，用于LMM输出生成模块结合不同的改进要求prompt全面地进行输出优化。

在一种实施例中，通过历史对话处理模块的第一LMM接口将第一LMM输出传输至prompt优化模块，通过历史对话处理模块的第二LMM接口将改进要求prompt传输至LMM输出生成模块。

下面以一个利用LLM生成文本的示例进行说明本发明，示例中用户希望LLM输出生成器输出一段论据充分、逻辑严谨、语言表达流畅的新闻评论，假设用户输入的初始prompt是：”请就XX事件发表500字左右的评论”：

步骤1、构建用于处理中间输出的历史对话处理器，由于prompt优化器和LLM输出生成器无法直接对话，历史对话处理器在示例中的作用就是将两方LLM的输出作存储中转，间接实现双方对话。

步骤2、分别构建基于LLM的prompt优化器，和基于LLM的LLM输出生成器。

步骤3、为基于LLM的prompt优化器设置生成要求标准的prompt（预设评价标准）：“下文是一段文本，请对其中的关键要素进行评价，关键要素有：论据、逻辑、语言表达、字数控制。你的评价方法是对关键要素进行打分，打分的最低0分，最高100分。文本的合格标准是每一个要素的打分在80分以上。如果其中有一项或几项低于上述标准，请明确指出，并给出改进要求的prompt。如果全部要素的打分合格，请说：文本已符合要求。输入的文本是：{text}”。

步骤4、设定最大的迭代次数是10次。

步骤5、在用户输入的初始prompt传递到LMM输出生成器时，LMM输出生成器会生成一段文本，这段文本经过历史对话处理器，形成prompt优化器的输入，即上述3中prompt模板中的text变量。

步骤6、prompt优化器根据步骤3设置的生成要求标准的prompt（预设评价标准），分析LMM输出生成器的第一LMM输出文本，如果该文本有不符合生成要求的标准的项，则prompt优化器给出改进要求prompt，该改进要求prompt经历史对话处理器，并结合LMM输出生成器已生成的文本，输入到LMM输出生成器，LMM输出生成器再根据改进要求prompt，重新生成文本（第二LMM输出），并重复执行步骤5。

步骤7、如果步骤6中的prompt优化器输出“文本已符合要求”，并且优化次数还没有达到10次，则结束优化，并直接输出结果。

步骤8、如果步骤6中的prompt优化器在达到迭代次数10次时，继续输出改进要求prompt，则结束迭代，放弃继续优化，并将prompt优化器对LMM输出生成器的输出文本的打分结果作为LMM输出生成器的性能报告进行输出。

本发明提供的一种大语言模型的输出优化方法，结合LMM输出生成模块、prompt优化模块、历史对话处理模块实现大语言模型输出优化的自动化，无需通过手动方式反复调试prompt，提高LMM输出生成模型的输出效率和质量，通过本发明可以为某个任务生成通过迭代优化之后的prompt，供后续直接使用，减少计算冗余，还能检验LMM的性能是否满足使用要求，有针对性地优化大语言模型的精度，降低试验成本。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。