大模型服务管理方法、系统、终端及存储介质

技术领域

本发明涉及大模型技术领域，尤其涉及一种大模型服务管理方法、系统、终端及存储介质。

背景技术

大模型是大规模语言模型(Large Language Mode l)的简称。语言模型是一种人工智能模型，被训练成理解和生成人类语言。大模型的设计和训练旨在提供更强大、更准确的模型性能，以应对更复杂、更庞大的数据集或任务。大模型通常能够学习到更细微的模式和规律，具有更强的泛化能力和表达能力。

现有的大模型服务管理过程中，用户与大模型之间的服务需要采用指定格式的协议，导致用户需要手动对协议格式进行转换，降低了用户的使用体验。

发明内容

本发明实施例的目的在于提供一种大模型服务管理方法、系统、终端及存储介质，旨在解决现有的大模型服务管理过程中，用户使用体验低下的问题。

本发明实施例是这样实现的，一种大模型服务管理方法，所述方法包括：

获取服务调用信息，并根据所述服务调用信息中的用户参数确定目标大模型；

根据所述服务调用信息中的服务调用量对所述目标大模型进行负载均衡，并根据负载均衡结果对所述目标大模型进行模型调用；

获取模型调用过程中所述目标大模型接收到的输入协议，并对所述输入协议进行解析，得到协议解析信息；

对所述协议解析信息进行标准化处理，得到协议标准化信息，并根据所述服务调用信息中的服务需求对所述协议标准化信息进行转换，得到转换协议信息；

根据所述转换协议信息控制所述目标大模型执行交互服务。

优选的，根据所述转换协议信息控制所述目标大模型执行交互服务之后，还包括：

获取所述交互服务过程中的用户交互信息和模型响应信息，并根据所述用户交互信息和所述模型响应信息确定Token值和计费信息；

对所述用户交互信息和所述模型响应信息进行向量转换，得到交互向量信息；

获取用户标识，并将所述用户标识、所述用户交互信息和所述模型响应信息进行存储，得到交互数据信息。

优选的，获取服务调用信息之后，还包括：

获取所述服务调用信息中的用户信息，并对所述用户信息进行权限检测；

若所述权限检测未合格，则发送服务权限错误提示，并停止对所述服务调用信息的响应。

优选的，根据所述服务调用信息中的服务调用量对所述目标大模型进行负载均衡，包括：

分别查询各目标大模型对应的服务空闲量和服务占比，并根据所述服务剩余量和所述服务占比，确定各目标大模型对应的负载剩余量；

将除最大所述负载剩余量外的目标大模型进行模型删除。

优选的，对所述输入协议进行解析，得到协议解析信息，包括：

对所述输入协议进行类型识别，得到协议类型，并根据所述协议类型确定解析方式；

根据所述解析方式对所述输入协议进行解析处理，得到所述协议解析信息。

优选的，根据负载均衡结果对所述目标大模型进行模型调用之后，还包括；

若所述模型调用失败，则将所述目标大模型中调用失败的模型服务进行下线处理，并控制所述目标大模型中的空闲模型服务执行所述模型调用。

优选的，将所述目标大模型中调用失败的模型服务进行下线处理之后，还包括；

若检测到任一下线后的模型服务功能正常，则将功能正常的模型服务设置为所述空闲服务。

本发明实施例的另一目的在于提供一种大模型服务管理系统，所述系统包括：

模型确定模块，用于获取服务调用信息，并根据所述服务调用信息中的用户参数确定目标大模型；

模型调用模块，用于根据所述服务调用信息中的服务调用量对所述目标大模型进行负载均衡，并根据负载均衡结果对所述目标大模型进行模型调用；

解析模块，用于获取模型调用过程中所述目标大模型接收到的输入协议，并对所述输入协议进行解析，得到协议解析信息；

信息转换模块，用于对所述协议解析信息进行标准化处理，得到协议标准化信息，并根据所述服务调用信息中的服务需求对所述协议标准化信息进行转换，得到转换协议信息；

服务执行模块，用于根据所述转换协议信息控制所述目标大模型执行交互服务。

本发明实施例的另一目的在于提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例，基于服务调用信息中的用户参数，能自动确定目标大模型，提高了用户与目标大模型之间交互服务的准确性，基于服务调用信息中的服务调用量，能有效地对目标大模型进行负载均衡，提高了用户与目标大模型之间交互服务的效率，通过对输入协议进行解析、对协议解析信息进行标准化处理、对协议标准化信息进行转换，能自动地将不同格式的输入协议转换为服务需求对应格式的协议信息，无需用户手动对协议格式进行转换，提高了用户的使用体验。

附图说明

图1是本发明第一实施例提供的大模型服务管理方法的流程图；

图2是本发明第二实施例提供的大模型服务管理方法的流程图；

图3是本发明第三实施例提供的大模型服务管理系统的结构示意图；

图4是本发明第四实施例提供的大模型服务管理系统的结构示意图；

图5是本发明第四实施例提供的终端设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

请参阅图1，是本发明第一实施例提供的大模型服务管理方法的流程图，该大模型服务管理方法可以应用于任一终端设备或系统，该大模型服务管理方法包括步骤：

步骤S10，获取服务调用信息，并根据所述服务调用信息中的用户参数确定目标大模型；

其中，服务调用信息用于调用目标大模型进行模型服务，本实施例中的模型服务可以为语音问答，该步骤中，将用户参数与模型查询表进行匹配，得到该目标模型接口，该模型查询表中存储有不同用户参数与对应目标模型接口之间的对应关系，同一用户参数可以对应多个目标模型接口，基于目标模型接口确定对应的目标大模型和模型版本。

可选的，获取服务调用信息之后，还包括：

获取所述服务调用信息中的用户信息，并对所述用户信息进行权限检测；其中，该用户信息包括用户账号、用户姓名、用户权限等级等信息，该步骤中，通过对用户信息进行权限检测，以判断用户是否有调用目标大模型的权限；

若所述权限检测未合格，则发送服务权限错误提示，并停止对所述服务调用信息的响应；其中，通过发送服务权限错误提示，以提示用户无权进行目标大模型的调用。

步骤S20，根据所述服务调用信息中的服务调用量对所述目标大模型进行负载均衡，并根据负载均衡结果对所述目标大模型进行模型调用；

其中，由于目标大模型的模型服务在不同地域会有不同的服务接入，不同目标大模型当前的负载数量各不相同，因此，通过服务调用信息中的服务调用量对目标大模型进行负载均衡，能有效地确定到负载最小的目标大模型，有效地提高了模型调用效率。

可选的，根据所述服务调用信息中的服务调用量对所述目标大模型进行负载均衡，包括：

分别查询各目标大模型对应的服务空闲量和服务占比，并根据所述服务剩余量和所述服务占比，确定各目标大模型对应的负载剩余量；其中，获取各目标大模型的模型标识，基于模型标识确定各目标大模型对应的服务空闲量和服务占比；

将除最大所述负载剩余量外的目标大模型进行模型删除，其中，通过删除除最大负载剩余量外的目标大模型，有效地保留负载状态最佳的目标大模型，提高了模型服务效率。

进一步地，根据负载均衡结果对所述目标大模型进行模型调用之后，还包括；

若所述模型调用失败，则将所述目标大模型中调用失败的模型服务进行下线处理，并控制所述目标大模型中的空闲模型服务执行所述模型调用；其中，目标大模型中的某些大模型服务会因超载、欠费等异常多次调用失败，通过自动下线异常服务，有效地提高了模型服务的准确性。

更进一步地，将所述目标大模型中调用失败的模型服务进行下线处理之后，还包括；

若检测到任一下线后的模型服务功能正常，则将功能正常的模型服务设置为所述空闲服务；其中，目标大模型中的某些下线服务功能如果恢复正常，可以将功能恢复正常的模型服务自动调整为可用状态，以达到对模型服务的自动修复上线的效果。

步骤S30，获取模型调用过程中所述目标大模型接收到的输入协议，并对所述输入协议进行解析，得到协议解析信息；

其中，通过对输入协议进行解析，有效地提高了后续协议标准化处理的准确性。

可选的，对所述输入协议进行解析，得到协议解析信息，包括：

对所述输入协议进行类型识别，得到协议类型，并根据所述协议类型确定解析方式；

根据所述解析方式对所述输入协议进行解析处理，得到所述协议解析信息；

其中，将输入协议的协议类型与解析查询表进行匹配，得到该解析方式，该解析查询表中存储有不同协议类型与对应解析方式之间的对应关系，例如，对于HTTP协议，需要解析HTTP请求报文和生成HTTP响应报文等；对于SSE协议，需要解析服务器推送的事件流信息和进行实时的消息处理等。

步骤S40，对所述协议解析信息进行标准化处理，得到协议标准化信息，并根据所述服务调用信息中的服务需求对所述协议标准化信息进行转换，得到转换协议信息；

其中，通过对协议解析信息进行标准化处理，能有效地将不同类型的协议进行规范化和标准化，以便客户端调用时进行统一的接口调用和参数传递。例如，对于HTTP协议，通常需要规范化HTTP请求方法、请求头和响应头等；对于WebSocket协议，通常需要规范化WebSocket的握手过程和数据帧格式等。

该步骤中，基于服务调用信息中的服务需求对协议标准化信息进行转换，以满足用户对协议的适配需求，例如，根据用户需求，将HTTP协议转化为WebSocket协议或SSE协议，以实现实时消息推送和长连接数据传输；根据用户需求，将多个协议进行融合和转换，以实现多个模型的协同处理和多种业务需求的支持。

步骤S50，根据所述转换协议信息控制所述目标大模型执行交互服务；

其中，通过转换协议信息控制目标大模型执行交互服务，以控制目标大模型为用户提供语音交互的功能。

本实施例中，基于服务调用信息中的用户参数，能自动确定目标大模型，提高了用户与目标大模型之间交互服务的准确性，基于服务调用信息中的服务调用量，能有效地对目标大模型进行负载均衡，提高了用户与目标大模型之间交互服务的效率，通过对输入协议进行解析、对协议解析信息进行标准化处理、对协议标准化信息进行转换，能自动地将不同格式的输入协议转换为服务需求对应格式的协议信息，无需用户手动对协议格式进行转换，提高了用户的使用体验。

实施例二

请参阅图2，是本发明第二实施例提供的大模型服务管理方法的流程图，该实施例用于对第一实施例做进一步细化，包括步骤：

步骤S60，获取所述交互服务过程中的用户交互信息和模型响应信息，并根据所述用户交互信息和所述模型响应信息确定Token值和计费信息；

其中，通过获取交互服务过程中的用户交互信息(对话上下文信息)和模型响应信息，基于用户交互信息和模型响应信息能有效地确定到Token值和计费信息；

该步骤中，用于根据用户每次提交的对话上下文信息和目标大模型的响应信息，动态选择计算策略并计算出Token总数。Token通常表示大模型对话中的会话单元或者语义单元，可以用于对话的匹配、响应和理解，以提供更加个性化、流畅和准确的对话服务。用于根据对话上下文信息和响应信息，生成计费信息，并扣除用户的预付费余额。计费策略可以根据不同的业务模式进行设置，包括按照对话长度、对话轮数、对话时间和对话质量等不同的维度进行计费。

步骤S70，对所述用户交互信息和所述模型响应信息进行向量转换，得到交互向量信息；

其中，通过对用户交互信息和模型响应信息进行向量转换，能有效地将对话上下文和响应信息进行向量化，向量化可以提取对话上下文和响应信息的语义特征和相似度，以实现对话匹配的高效处理。向量化还可以用于对话推荐、语义分析和情感分析等应用场景，以提供更加智能化和个性化的对话服务。

步骤S80，获取用户标识，并将所述用户标识、所述用户交互信息和所述模型响应信息进行存储，得到交互数据信息；

其中，通过将用户标识、用户交互信息和模型响应信息进行存储，得到交互数据信息，基于交互数据信息，能有效地根据用户标识，保存用户每次提交的上下文信息和目标大模型的响应信息，以便在后续的对话中进行上下文的识别和管理。上下文信息可以按照对话轮数、过期时间和文本相似度等策略进行保存和管理，以提高对话匹配的准确性和实时性。

本实施例中，通过获取用户交互信息和模型响应信息，能有效地确定Token值和计费信息，通过对用户交互信息和模型响应信息进行向量转换，能有效地将对话上下文和响应信息进行向量化，。

实施例三

请参阅图3，是本发明第三实施例提供的大模型服务管理系统100的结构示意图，包括：

模型确定模块10，用于获取服务调用信息，并根据所述服务调用信息中的用户参数确定目标大模型。

可选的，模型确定模块10还用于：获取所述服务调用信息中的用户信息，并对所述用户信息进行权限检测；

若所述权限检测未合格，则发送服务权限错误提示，并停止对所述服务调用信息的响应。

模型调用模块11，用于根据所述服务调用信息中的服务调用量对所述目标大模型进行负载均衡，并根据负载均衡结果对所述目标大模型进行模型调用。

可选的，模型调用模块11还用于：分别查询各目标大模型对应的服务空闲量和服务占比，并根据所述服务剩余量和所述服务占比，确定各目标大模型对应的负载剩余量；

将除最大所述负载剩余量外的目标大模型进行模型删除。

进一步地，模型调用模块11还用于：若所述模型调用失败，则将所述目标大模型中调用失败的模型服务进行下线处理，并控制所述目标大模型中的空闲模型服务执行所述模型调用。

更进一步的，模型调用模块11还用于：若检测到任一下线后的模型服务功能正常，则将功能正常的模型服务设置为所述空闲服务。

解析模块12，用于获取模型调用过程中所述目标大模型接收到的输入协议，并对所述输入协议进行解析，得到协议解析信息。

可选的，解析模块12还用于：对所述输入协议进行类型识别，得到协议类型，并根据所述协议类型确定解析方式；

根据所述解析方式对所述输入协议进行解析处理，得到所述协议解析信息。

信息转换模块13，用于对所述协议解析信息进行标准化处理，得到协议标准化信息，并根据所述服务调用信息中的服务需求对所述协议标准化信息进行转换，得到转换协议信息。

服务执行模块14，用于根据所述转换协议信息控制所述目标大模型执行交互服务。

可选的，服务执行模块14还用于：获取所述交互服务过程中的用户交互信息和模型响应信息，并根据所述用户交互信息和所述模型响应信息确定Token值和计费信息；

对所述用户交互信息和所述模型响应信息进行向量转换，得到交互向量信息；

获取用户标识，并将所述用户标识、所述用户交互信息和所述模型响应信息进行存储，得到交互数据信息。

本实施例，基于服务调用信息中的用户参数，能自动确定目标大模型，提高了用户与目标大模型之间交互服务的准确性，基于服务调用信息中的服务调用量，能有效地对目标大模型进行负载均衡，提高了用户与目标大模型之间交互服务的效率，通过对输入协议进行解析、对协议解析信息进行标准化处理、对协议标准化信息进行转换，能自动地将不同格式的输入协议转换为服务需求对应格式的协议信息，无需用户手动对协议格式进行转换，提高了用户的使用体验。

实施例四

请参阅图4，是本发明第四实施例提供的大模型服务管理系统的系统示意图，包括：标准接口服务(API)、适配路由模块(Adapter Route)、协议解析模块(ProtocolParsing)、对话管理模块(Dialogue Management)和功能管理模块(Web Manager)。

标准接口服务，用于提供统一的接口协议、开发者通过接口控制调用厂商及模型版本、业务类型，不需要为因为模型版本重新对接api接口，只需要调整参数即可，可以做到平滑切换。

适配路由模块，用于实现模型选择、负载均衡、自动下线和自动修复四个功能。可以自动选择合适的大模型接口进行调用，实现服务间的负载平衡，并能提供自动下线和修复即时处理异常服务的能力，提升了系统对服务故障的响应速度，保证了服务的连续性和稳定性。

模型选择功能：用于根据用户的参数选择不同的模型接口进行调用。

负载均衡功能：大模型服务在不同地域会有不同的服务接入，根据服务的调用量进行负载均衡，可以配置不同服务占比等算法。

自动下线功能：某些大模型服务会因超载、欠费等异常多次调用失败，系统会自动下线异常服务，自动切换到可用服务。

自动修复功能：某些下线服务如果恢复正常，系统会自动调整为可用状态，以最快速度自动修复上线。

协议解析模块，用于在底层大模型服务中，对于不同厂商或模型支持的协议进行统一的解析和输出，如HTTP协议、SSE协议、WebSocket协议等。协议解析包括以下几个方面：

协议识别和解析：对于不同的协议进行识别和解析，并进行相应的处理和转化。例如，对于HTTP协议，需要解析HTTP请求报文和生成HTTP响应报文等；对于SSE协议，需要解析服务器推送的事件流信息和进行实时的消息处理等。

协议规范化和标准化：对于不同的协议进行规范化和标准化，以便客户端调用时进行统一的接口调用和参数传递。例如，对于HTTP协议，通常需要规范化HTTP请求方法、请求头和响应头等；对于WebSocket协议，通常需要规范化WebSocket的握手过程和数据帧格式等。

协议适配和转化：对于不同的协议进行适配和转化，以满足客户端的要求。例如，将HTTP协议转化为WebSocket协议或SSE协议，以实现实时消息推送和长连接数据传输；将多个协议进行融合和转换，以实现多个模型的协同处理和多种业务需求的支持。

对话管理模块，用于对大模型中的对话进行实时的管理和处理，以提供更加智能化、准确和个性化的对话服务。对话管理主要包括上下文管理、Token计算、向量管理和计费管理等子功能。

上下文管理：用于根据用户的对话ID，保存用户每次提交的上下文信息和大模型的响应信息，以便在后续的对话中进行上下文的识别和管理。上下文信息可以按照对话轮数、过期时间和文本相似度等策略进行保存和管理，以提高对话匹配的准确性和实时性。

Token计算：用于根据用户每次提交的上下文信息和大模型的响应信息，动态选择计算策略并计算出Token总数。Token通常表示大模型对话中的会话单元或者语义单元，可以用于对话的匹配、响应和理解，以提供更加个性化、流畅和准确的对话服务。

向量管理：用于将对话上下文和响应信息向量化，并存储到向量Milvus数据库中。向量化可以提取对话上下文和响应信息的语义特征和相似度，以实现对话匹配的高效处理。向量化还可以用于对话推荐、语义分析和情感分析等应用场景，以提供更加智能化和个性化的对话服务。

计费管理：用于根据模型对话的上下文和响应信息，生成计费信息，并扣除用户的预付费余额。计费策略可以根据不同的业务模式进行设置，包括按照对话长度、对话轮数、对话时间和对话质量等不同的维度进行计费。计费管理可以帮助提高对话服务的质量和效率，并实现对话服务的可持续发展。

功能管理模块用于鉴权管理、账号(LDAP)管理、授权管理、模型管理、prompt管理、日志管理、厂商管理(第三方对接)、用户管理、大模型配置和缓存(Cache)管理。

鉴权管理：用于对大模型平台进行访问权限的控制和管理，包括用户登录认证、访问权限分配、密码修改和用户注销等。

账号管理：用于管理大模型平台的账号信息，包括用户信息的增删改查、账号状态的管理、权限的分配和角色的管理等。

厂商管理：用于管理与大模型相关的厂商信息，包括厂商信息的增删改查，厂商状态的管理等。

模型管理：用于管理大模型的各种模型信息，包括模型的创建和删除、模型的测试、模型的部署和升级等。

日志管理：用于记录大模型管理平台的各种操作日志以及系统日志信息，包括用户操作日志、系统异常日志和性能日志等

prompt管理：用于管理大模型中的prompt信息，包括prompt的创建和删除、prompt的编辑和导出等，用户可以通过API参数控制对话的prompt信息。

Cache管理：用于管理大模型中的缓存信息，包括缓存的创建和清除、缓存的状态和性能监控等。

本实施例中，通过标准化大模型的接口，使得不同模型或版本间能够平滑切换，极大地简化了对接过程。通过统一的上下文管理策略，提高了大模型对话理解的准确性和对话质量，提升了系统的整体可用性。在屏蔽大模型服务的不稳定性的同时，提高了服务调用的成功率，保证了服务的连续性和稳定性。

实施例五

图5是本申请第四实施例提供的一种终端设备2的结构框图。如图5所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如大模型服务管理方法的程序。处理器20执行所述计算机程序22时实现上述各个大模型服务管理方法各实施例中的步骤。

示例性的，所述计算机程序22可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。所述终端设备可包括，但不仅限于，处理器20、存储器21。

所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。