基于多主体协同的机器学习模型定价方法、装置

技术领域

本发明涉及人工智能领域，尤其涉及的是一种基于多主体协同的机器学习模型定价方法、装置。

背景技术

长期以来，为不同应用场景定制机器学习模型一直是许多人工智能服务的痛点。这一痛点主要源于高昂的数据采集成本以及繁琐的模型微调开支。而伴随着近来深度学习基础大模型(Foundation Models，简称“大模型”)领域的技术突破，这一现状正在发生转变。大模型通常指在大量未标记数据上预训练得到的大规模机器学习模型。这类模型可以借助少样本甚至零样本技术快速适配到许多智能服务场景中，极大提升了模型定制的效率与适用范围。这一趋势正重塑机器学习产业，使机器学习模型定制不必再由单方统一协调，推动了基于“大模型提供方-服务定制方”的机器学习产业分工。

这一产业化分工趋势使定制化模型成为了不同自利实体(如大模型提供方、服务定制方等)相互协作与博弈的结果。然而，现有模型定制与定价机制假设定制模型的开发与交付由模型提供方统一制定，不适用于基于大模型的多主体协同机器学习模型定制。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于多主体协同的机器学习模型定价方法、装置，旨在解决现有技术中根据模型定制与定价机制由模型提供方统一定制的模型不适用于基于大模型的多主体协同机器学习模型定制的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种基于多主体协同的机器学习模型定价方法，其中，所述方法包括：

获取基于定制使用方提供的定制需求信息；

获取模型定制模式，其中，所述模型定制模式根据模型提供方、模型定制方以及模型使用方的执行实体确定；

在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案。

在一种实施方法中，当所述模型提供方与所述模型定制方的执行实体相同，所述模型使用方的执行实体与所述模型提供方、所述模型定制方的执行实体不相同，所述模型定制模式为第一模型定制模式，所述在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案，包括：

在所述第一模型定制模式下，根据所述定制需求信息确定所述目标定制模型对应的计算资源量；

获取模型定制样本效率，根据模型定制样本效率和所述计算资源量确定所述目标定制模型对应的模型质量评估函数；

根据所述质量评估函数确定所述目标定制模型对应的所述定价方案。

在一种实施方法中，所述在所述第一模型定制模式下，根据所述定制需求信息确定所述目标定制模型对应的计算资源量，包括：

通过所述模型提供方对所述定制需求信息进行分析，确定目标基础模型、用户数量、用户效益估计以及定制模型封顶价格；

基于所述模型定制方根据所述定制需求信息对所述目标基础模型进行定制和部署，确定所述目标定制模型和所述目标定制模型对应的单位部署成本、定制计算成本；

根据所述用户数量、所述用户效益估计、所述定制模型封顶价格、所述单位部署成本以及所述定制计算成本确定所述计算资源量。

在一种实施方法中，当所述模型定制方与所述模型使用方的执行实体相同，所述模型提供方与所述模型定制方、所述模型使用方的执行实体不相同，所述模型定制模式为第二模型定制模式，所述在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案，包括：

在所述第二模型定制模式下，根据所述需求信息确定所述目标定制模型对应的计算资源价格；

根据所述计算资源价格确定所述目标定制模型对应的定价方案。

在一种实施方法中，所述在所述第二模型定制模式下，根据所述需求信息确定所述目标定制模型对应的计算资源价格，包括：

通过所述模型定制方对所述定制需求信息进行分析，确定目标基础模型和模型定制数据；

通过所述模型提供方根据所述模型定制数据对所述目标基础模型进行定制，确定所述目标定制模型和定制计算成本，并通过所述模型提供方预估所述目标定制模型对应的单位计算资源费用、用户数量以及用户效益估计；

通过所述模型定制方部署所述目标定制模型，确定所述目标定制模型对应的单位部署成本；

根据所述单位计算资源费用、所述用户数量、所述用户效益估计、所述定制计算成本以及所述单位部署成本，确定所述计算资源价格。

在一种实施方法中，当所述模型提供方、所述模型定制方以及所述模型使用方分别对应不同的执行实体，所述模型定制模式为第三模型定制模式，所述在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案，包括：

在所述第三模型定制模式下，根据所述需求信息确定所述目标定制模型对应的计算资源价格和模型使用价格；

根据所述计算资源价格和所述模型使用价格，确定所述目标定制模型对应的定价方案。

在一种实施方法中，所述在所述第三模型定制模式下，根据所述需求信息确定所述目标定制模型对应的计算资源价格和模型使用价格，包括：

通过所述模型定制方对所述定制需求信息进行分析，确定目标基础模型和模型定制数据；

通过所述模型提供方根据所述模型定制数据对所述目标基础模型进行定制，确定所述目标定制模型，并通过所述模型提供方预估所述目标定制模型对应的用户数量、用户效益估计、定制模型封顶价格、模型定制样本效率以及最低计算资源量；

通过所述模型定制方部署所述目标定制模型，确定所述目标定制模型对应的单位部署成本；

根据所述用户数量、所述单位部署成本、所述用户效益估计、所述模型封顶价格以及所述最低计算资源量确定所述计算资源价格；

根据所述最低计算资源量和所述模型定制样本效率确定所述模型使用价格。

第二方面，本发明实施例还提供一种基于多主体协同的机器学习模型定价装置，其中，所述基于多主体协同的机器学习模型定价装置包括：

信息获取模块，用于获取基于定制使用方提供的定制需求信息；

模式获取模块，用于获取模型定制模式，其中，模型定制模式根据模型提供方、模型定制方以及模型使用方的执行实体确定；

定价方案确定模块，用于在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案。

第三方面，本发明实施例还提供一种终端，其特征在于，所述终端包括有存储器和一个以上处理器；所述存储器存储有一个以上的程序；所述程序包含用于执行如上述任一所述的基于多主体协同的机器学习模型定价方法的指令；所述处理器用于执行所述程序。

第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有多条指令，其中，所述指令适用于由处理器加载并执行，以实现上述任一所述的基于多主体协同的机器学习模型定价方法。

本发明的有益效果：本发明实施例通过获取基于定制使用方提供的定制需求信息；获取模型定制模式，其中，模型定制模式根据模型提供方、模型定制方以及模型使用方的执行实体确定；在模型定制模式下，根据定制需求信息确定目标定制模型对应的定价方案。本发明中根据模型提供方、模型定制方以及模型使用方对应的执行实体确定模型定制模式，并在模型定制模式下根据定制需求信息进行模型定制，能够满足不同模式的机器学习模型定制，且能够协调各方决策、优化各方收益，解决了现有技术中根据模型定制与定价机制由模型提供方统一定制的模型不适用于基于大模型的多主体协同机器学习模型定制的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于多主体协同的机器学习模型定价方法的流程示意图。

图2是本发明实施例提供的模型定制模式示意图。

图3是本发明实施例提供的第一模型定制模式的模型定制流程示意图。

图4是本发明实施例提供的第二模型定制模式的模型定制流程示意图。

图5是本发明实施例提供的第三模型定制模式的模型定制流程示意图。

图6是本发明实施例提供的基于多主体协同的机器学习模型定价装置的内部模块示意图。

图7是本发明实施例提供的终端的原理框图。

具体实施方式

本发明公开了基于多主体协同的机器学习模型定价方法、装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

长期以来，为不同应用场景定制机器学习模型一直是许多人工智能服务的痛点。这一痛点主要源于高昂的数据采集成本以及繁琐的模型微调开支。而伴随着近来深度学习基础大模型(Foundation Models，简称“大模型”)领域的技术突破，这一现状正在发生转变。大模型通常指在大量未标记数据上预训练得到的大规模机器学习模型。这类模型可以借助少样本甚至零样本技术快速适配到许多智能服务场景中，极大提升了模型定制的效率与适用范围。这一趋势正重塑机器学习产业，使机器学习模型定制不必再由单方统一协调，推动了基于“大模型提供方-服务定制方”的机器学习产业分工。

这一产业化分工趋势使定制化模型成为了不同自利实体(如大模型提供方、服务定制方等)相互协作与博弈的结果。然而，现有模型定制与定价机制假设定制模型的开发与交付由模型提供方统一制定，不适用于基于大模型的多主体协同机器学习模型定制。

针对现有技术的上述缺陷，本发明提供一种基于多主体协同的机器学习模型定价方法，所述方法通过获取基于定制使用方提供的定制需求信息；获取模型定制模式，其中，模型定制模式根据模型提供方、模型定制方以及模型使用方的执行实体确定；在模型定制模式下，根据定制需求信息确定目标定制模型对应的定价方案。本发明中根据模型提供方、模型定制方以及模型使用方对应的执行实体确定模型定制模式，并在模型定制模式下根据定制需求信息进行模型定制，能够满足不同模式的机器学习模型定制，且能够协调各方决策、优化各方收益，解决了现有技术中根据模型定制与定价机制由模型提供方统一定制的模型不适用于基于大模型的多主体协同机器学习模型定制的问题。

示例性方法

如图1所示，所述方法包括：

步骤S100、获取基于定制使用方提供的定制需求信息。

简单来说，定制使用方为需要定制机器学习模型的实体，通常为下游企业、机构或个人。定制使用方根据自身需求，上传所需定制模型对应的定制需求信息。定制需求信息中包括定制模型的类型、参数、用途、用于模型定制的数据(如用于模型调优的数据)等。

步骤S200、获取模型定制模式，其中，所述模型定制模式根据模型提供方、模型定制方以及模型使用方的执行实体确定。

根据功能、分工的不同，将模型定制过程中的涉及的角色分为模型提供方、模型定制方以及模型使用方。模型提供方用于提供各基础模型，模型定制方通过根据定制需求信息，对基础模型进行微调、定制、调优以及部署，以得到模型使用方所需的定制模型，模型使用方为对所定制模型应用的一方。为了满足各种模式的需求，根据模型提供方、模型定制方以及模型使用方对应的执行实体不同，确定不同的模型定制模式。执行实体可以为某个企业、结构或个人。模型提供方、模型定制方以及模型使用方可能对应相同的执行实体，也可能对应不同的执行实体。本实施例根据模型提供方、模型定制方以及模型使用方的执行实体确定模型定制模式，使得机器学习不再限制于由模型提供方统一进行模型的开发和交付，能够满足多主体协同机器学习模型的定制。

步骤S300、在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案。

简单来说，由于在模型定制的过程中，涉及到了不同的主体。考虑到不同主体关于成本与收益的考量，模型定制的资源投入与模型服务价格往往取决于多方博弈的结果。例如，模型提供方为了最大化定制资源收益，同时模型使用方期望获得高质量(如预测精度)的定制模型服务，这给模型定制方的定制资源投入带来高昂的成本。此时，若模型提供方对定制资源定价过高，则可能迫使模型定制方转向别的大模型提供方，从而给前者带来损失。本实施例在相应的模型定制模式下，根据定制需求信息确定目标定制模型对应的定价方案这一过程，实际是协调不同模型定制模式下，优化模型提供方、模型定制方、模型使用方的利益，通过多阶段的博弈分析，结合方向规约技术，保证参与的各执行主体的利益最大化。

在一种实现方式中，当所述模型提供方与所述模型定制方的执行实体相同，所述模型使用方的执行实体与所述模型提供方、所述模型定制方的执行实体不相同，所述模型定制模式为第一模型定制模式(大模型提供方驱动模式)，所述在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案，包括：

在所述第一模型定制模式下，根据所述定制需求信息确定所述目标定制模型对应的计算资源量；

获取模型定制样本效率，根据模型定制样本效率和所述计算资源量确定所述目标定制模型对应的模型质量评估函数；

根据所述质量评估函数确定所述目标定制模型对应的所述定价方案。

具体地，当模型提供方与模型定制方为同一执行实体，模型使用方为另一个不同的执行实体，则该模型定制模式为第一模型定制模式。例如，企业A同时承担模型提供方和模型定制方的角色，企业B承担模型使用方的角色，通过企业A和企业B实现对机器学习模型的定制，则该模式为第一模型定制模式。第一模型定制模式中，模型提供方和模型定制方为同一执行实体，能够结合特定领域或任务数据借助既有技术(如模型微调、迁移学习、知识蒸馏等)对目标基础模型进行定制，并向模型使用方交付部署好的目标定制模型。

在第一定制模式下，假设模型提供方与模型定制方所在的执行实体为第一执行实体，模型使用方对应的执行实体为第二执行实体，此时，目标定制模型对应的定价方案包括第一执行实体指定的关于目标定制模型的定价，从而第二执行实体能够根据该定价向第一执行实体支付相关费用。因此，在第一定制模式下，第一执行实体根据定制需求信息对目标基础模型进行定制和部署，根据定制和部署过程中所消耗的计算资源量，确定目标定制模型对应的计算资源量，其中，计算资源量表示定制和部署模型过程中各个用于定制模型的数据对应的计算资源的总和。

在所述第一模型定制模式下，根据所述定制需求信息确定所述目标定制模型对应的计算资源量，具体包括：通过所述模型提供方对所述定制需求信息进行分析，确定目标基础模型、用户数量、用户效益估计以及定制模型封顶价格；基于所述模型定制方根据所述定制需求信息对所述目标基础模型进行定制和部署，确定所述目标定制模型和所述目标定制模型对应的单位部署成本、定制计算成本；根据所述用户数量、所述用户效益估计、所述定制模型封顶价格、所述单位部署成本以及所述定制计算成本确定所述计算资源量。

其中，用户数量N为模型提供方预估的目标定制模型的使用人数，如某机器学习模型的订阅人数等。用户效益估计A表示用户在使用目标定制模型所得到的收益，如某客户想要咨询某个旅游路线，若是咨询某个旅行社，可能需要付出一定的费用，若使用某个旅游路线规划模型，可以根据所输入的地址，自动生成旅游路线，则该客户能够节省一笔费用，则可以认为该笔费用为该客户对应的用户效益估计。定制模型封顶价格B根据模型使用方在定制需求信息中描述的模型使用方所能接受的最高模型定制价格。单位部署成本D为单个模型部署所需的资源成本。定制计算成本C为模型定制过程中对应的计算量。则根据用户数量N、用户效益估计A、定制模型封顶价格B、单位部署成本D、定制计算成本C确定计算资源量s*为：

s*＝sqrt{N·D/C·(0.5·B/A+0.5·A/B-1)}

此外，模型定制样本效率b为模型定制过程中，目标定制模型的性能(如预测精度)与所使用的数据量之比。通过计算资源量s*和模型定制样本效率b，得到定制模型对应的模型质量评估函数。此时，模型提供方和模型定制方对应的第一执行实体即可根据模型质量评估函数对目标定制模型进行定价。根据计算资源量s*和模型定制样本效率b确定模型质量评估函数为：q(s*,b)，其中，q(s*,b)函数表示任何在s*和b上单调递增的质量评估函数，如[1-(1+s*)

本实施例中考虑了机器学习模型定制过程于模型定制的计算资源成本、模型部署的服务成本等资源因素，为参与模型定制的各主体在资源成本与收益方面提供了更多维度的决策指导，从而得到更优的定价方案。

所述在所述第一模型定制模式下，根据所述定制需求信息确定所述目标定制模型对应的计算资源量，包括：

当所述模型定制方与所述模型使用方的执行实体相同，所述模型提供方与所述模型定制方、所述模型使用方的执行实体不相同，所述模型定制模式为第二模型定制模式，所述在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案，包括：

在所述第二模型定制模式下，根据所述需求信息确定所述目标定制模型对应的计算资源价格；

根据所述计算资源价格确定所述目标定制模型对应的定价方案。

具体地，当模型定制方与模型使用方的执行实体相同，模型提供方与模型定制方、模型使用方的执行实体不相同，则模型定制模式为第二模型定制模式(定制服务使用方驱动模式)。令模型提供方对应的执行实体为第三执行实体，模型定制方和模型使用方对应的执行实体为第四执行实体。在第二定制模式中，第三执行实体调用模型提供方(通常为训练并维护基础模型的提供商)提供的模型定制接口，并在云端或特定的计算平台(不必由模型提供方直接提供)完成模型定制与部署。由于模型定制方和模型使用方为同一执行实体，则在第二定制模式中，目标定制模型对应的定价方案包括第三执行实体(模型提供方)向第四执行实体(模型定制方、模型使用方)收取计算资源价格等。

在第二模型定制模式下，根据需求信息确定目标定制模型对应的计算资源价格具体包括：通过所述模型定制方对所述定制需求信息进行分析，确定目标基础模型和模型定制数据；通过所述模型提供方根据所述模型定制数据对所述目标基础模型进行定制，确定所述目标定制模型和定制计算成本，并通过所述模型提供方预估所述目标定制模型对应的单位计算资源费用、用户数量以及用户效益估计；通过所述模型定制方部署所述目标定制模型，确定所述目标定制模型对应的单位部署成本；根据所述单位计算资源费用、所述用户数量、所述用户效益估计、所述定制计算成本以及所述单位部署成本，确定所述计算资源价格。

其中，目标基础模型为模型提供方提供的带定制的模型。在第二模型定制模型中，通过模型定制方或模型使用方对定制需求信息进行分析，根据分析结果在模型提供方选择相应的目标基础模型。模型定制数据为模型定制方或模型使用方从定制需求信息中分离出的用于模型定制、调优的数据，通过将模型定制数据上传到模型提供方或者云计算平台，对目标基础模型进行定制，得到目标定制模型和目标定制模型对应的单位计算资源费用、用户数量以及用户效益估计。单位计算资源费用为单个定制数据用于目标基础模型定制、调优过程中所消耗的计算资源费用。完成定制后，模型定制方或模型使用方对目标定制模型进行验证与部署，向模型提供方提交反馈用以调优模型提供方的定制接口服务。此时，根据单位计算资源费用p、用户数量N、用户效益估计A、定制计算成本C以及单位部署成本D，确定计算资源价格为:

p*＝N·{2·sqrt(-q

p*是在区间[C,p

当所述模型提供方、所述模型定制方以及所述模型使用方分别对应不同的执行实体，所述模型定制模式为第三模型定制模式，所述在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案，包括：

在所述第三模型定制模式下，根据所述需求信息确定所述目标定制模型对应的计算资源价格和模型使用价格；

根据所述计算资源价格和所述模型使用价格，确定所述目标定制模型对应的定价方案。

具体地，当模型提供方、模型定制方以及模型使用方对应不同的执行实体，模型定制模式为第三模型定制模式(第三方带定制模式)。令模型提供方对应的执行实体为第五执行实体，模型定制方对应的执行实体为第六执行实体，模型使用方对应的执行实体为第七执行实体。在第三模型定制模式中，第六执行实体需要向第五执行实体支付计算资源价格，第七执行实体需想第六执行实体支付模型使用价格。因此，在第三模型定制模式中，根据计算资源价格和模型使用价格来确定目标定制模型对应的定价方案。

在第三模型定制模式中，模型定制的流程为：模型提供方向模型定制方(第三方定制服务厂商)开放模型定制接口与单位计算资源费用；同时模型定制方根据用户需求指定模型定制方案。接着，模型定制方选择所需定制的目标基础模型，向模型提供方提供预处理后的数据记性模型微调与模型定制，并向模型提供方支付计算资源价格。完成定制后，模型定制方对目标定制模型进行验证和部署，并向模型使用方公开模型使用价格。

在所述第三模型定制模式下，根据需求信息确定目标定制模型对应的计算资源价格和模型使用价格，具体包括：通过所述模型定制方对所述定制需求信息进行分析，确定目标基础模型和模型定制数据；通过所述模型提供方根据所述模型定制数据对所述目标基础模型进行定制，确定所述目标定制模型，并通过所述模型提供方预估所述目标定制模型对应的用户数量、用户效益估计、定制模型封顶价格、模型定制样本效率以及最低计算资源量；通过所述模型定制方部署所述目标定制模型，确定所述目标定制模型对应的单位部署成本；根据所述用户数量、所述单位部署成本、所述用户效益估计、所述模型封顶价格以及所述最低计算资源量确定所述计算资源价格；根据所述最低计算资源量和所述模型定制样本效率确定所述模型使用价格。

其中，根据用户数量N、单位部署成本D、用户效益估计A、模型封顶价格B以及最低计算资源量s

p

根据最低计算资源量p

基于上述实施例，本发明还提供了一种基于多主体协同的机器学习模型定价装置，如图6所示，所述装置包括：

信息获取模块01，用于获取基于定制使用方提供的定制需求信息；

模式获取模块02，用于获取模型定制模式，其中，模型定制模式根据模型提供方、模型定制方以及模型使用方的执行实体确定；

定价方案确定模块03，用于在所述模型定制模式下，根据所述定制需求信息确定目标定制模型对应的定价方案。

基于上述实施例，本发明还提供了一种终端，其原理框图可以如图7所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于多主体协同的机器学习模型定价方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏。

本领域技术人员可以理解，图7中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一种实现方式中，所述终端的存储器中存储有一个以上的程序，且经配置以由一个以上处理器执行所述一个以上程序包含用于进行基于多主体协同的机器学习模型定价方法的指令。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

综上所述，本发明公开了基于多主体协同的机器学习模型定价方法、装置，所述方法通过获取基于定制使用方提供的定制需求信息；获取模型定制模式，其中，模型定制模式根据模型提供方、模型定制方以及模型使用方的执行实体确定；在模型定制模式下，根据定制需求信息确定目标定制模型对应的定价方案。本发明中根据模型提供方、模型定制方以及模型使用方对应的执行实体确定模型定制模式，并在模型定制模式下根据定制需求信息进行模型定制，能够满足不同模式的机器学习模型定制，且能够协调各方决策、优化各方收益，解决了现有技术中根据模型定制与定价机制由模型提供方统一定制的模型不适用于基于大模型的多主体协同机器学习模型定制的问题。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。