一种高效的机器学习模型管理方法及系统

技术领域

本发明涉及人工智能技术领域，尤其涉及一种高效的机器学习模型管理方法及系统。

背景技术

传统的机器学习模型构建过程，需要人工对多种输入、参数、拟合方式构建的模型进行评估，然后选出表现最好的模型交付使用。但是，在构建模型时存在大量的重复工作，人工效率极低。

同时，在评估模型时缺乏标准，可靠性低；以及在模型更新时依靠人工手动更新，可控性差，在更新过程中会出现模型不可用的情况。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本发明提供一种高效的机器学习模型管理方法及系统，其解决了在构建模型时存在大量的重复工作，人工效率极低的技术问题。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

第一方面，本发明实施例提供一种高效的机器学习模型管理方法，包括：

S1、接收用户输入的模型类型和模型名称，并基于用户输入的模型类型和模型名称确定与其对应的预先设定的模型配置信息；

所述模型配置信息，包括：与所述模型类型和模型名称对应的预先设定的模型标识ID、预先指定的特征参数、预先设定的训练时长、预先设定的训练算法、预先设定的评估时长、预先设定的模型更新周期；

S2、基于所述模型配置信息，获取与该模型配置信息对应的模型；

S3、根据预设的评估模式，对模型组中的每一模型进行评估，获取评估结果；

其中，模型组包括：与所述配置信息对应的模型以及预先存储的与所述配置信息对应的模型相应的其他多个不同版本的模型；

S4、将评估结果中对应的符合预设条件的模型储存。

优选地，所述S1具体包括：

S11、获取用户输入的模型类型和模型名称，并根据用户输入得模型类型和模型名称确定与所述模型类型和模型名称对应的预先设定的模型标识ID；

S12、基于所述模型类型、模型名称、所述模型标识ID，确定与所述模型类型、模型名称、所述模型标识ID对应的预先设定的模型配置信息。

优选地，

所述预先指定的特征参数为：所述预先设定的训练算法中的输入参数和输出参数。

优选地，所述S2具体包括：

S21、根据模型配置信息，将数据库中预先存储的预先指定的特征参数中当前时间点之前的预先指定训练时长的特征参数，作为训练数据；

S22、使用所述训练数据训练所述模型配置信息中预先设定的训练算法，得到训练结果；所述预先设定的训练算法为预先指定的基础模型算法；

若所述训练结果为模型时，则将该模型存储至数据库中；

该模型与所述配置信息中的模型标识ID相对应；

所述预先指定的基础模型算法为：回归机器学习算法、分类机器学习算法、集成算法中的一种。

优选地，S3具体包括：

S31、若所述训练结果为模型时，则根据与该模型相对应的模型标识ID，获取预先存储的与该模型标识ID相对应的多个版本的模型；

S32、针对所述模型以及预先存储的与该模型标识ID相对应的多个版本的模型进行评估，获取每一模型的评估结果。

优选地，所述S32具体包括：

S321、根据模型配置信息中的预先设定评估时长，将数据库中预先存储的预先指定的特征参数中当前时间点前的预先设定评估时长的特征参数，作为评估数据；

S322、根据所述评估数据，采用预先设定的用于根据所述评估数据计算出模型量化指标的数值的评估算法获取模型组中每个模型的量化指标的数值并作为评估结果；

其中，所述模型组具体包括：使用所述训练数据训练所述模型配置信息中预先设定的训练算法得到的模型以及预先存储的与该模型标识ID相对应的多个不同版本的模型。

优选地，S4具体包括：

根据评估结果，确定该模型组最优的模型和最差的模型，并将最优的模型进行存储，并将最差的模型删除；

其中，该模型组中量化指标的数值最大的模型作为最优模型，将该模型组中量化指标的数值最小的模型作为最差模型。

优选地，

所述量化指标具体包括：精确性、波动性、拟合性；

所述量化指标的数值为：表示精确性的数值、表示波动性的数值以及表示拟合性数值的总和。

优选地，所述方法还包括：

S5、根据预先设定的模型更新周期，按照预先设定的模型更新周期定时自动执行一遍S1-S4。

另一方面，本实施例还提供一种执行如上述所述的高效的机器学习模型管理方法的系统，包括：

模型管理模块，用于获取用户输入的模型类型和模型名称，并根据用户输入得模型类型和模型名称确定与所述模型类型和模型名称对应的预先设定的模型标识ID；

模型配置工厂模块，用于基于所述模型类型和模型名称、模型标识ID，确定与所述模型类型、模型名称、模型标识ID对应的预先设定的模型配置信息；

所述模型配置信息，包括：所述预先设定的模型标识ID、预先指定的特征参数、预先设定训练时长、预先设定的训练算法、预先设定评估时长、预先设定的模型更新周期；

模型管理模块，还用于基于所述模型配置信息，将数据库中预先存储的预先指定的特征参数中当前时间点之前的预先指定训练时长的特征参数，作为训练数据；并调用任务管理模块，再由任务管理模块调用模型训练模块使用所述训练数据训练所述模型配置信息中预先设定的训练算法，得到训练结果；所述预先设定的训练算法是预先指定的基础模型算法；若所述训练结果为模型时，则将该模型存储至数据库；

模型管理模块，还用于在所述训练结果为模型时，则根据与该模型相对应的模型标识ID，调用数据库获取预先存储的与该模型标识ID相对应的多个版本的模型；

模型管理模块，还用于根据模型配置信息中的预先设定评估时长，将数据库中预先存储的预先指定的特征参数中当前时间点前的预先设定评估时长的特征参数，作为评估数据；

模型管理模块，还用于调用模型评估模块，模型评估模块根据所述评估数据，采用预先设定的用于根据所述评估数据计算出模型量化指标的数值的评估算法获取模型组中每个模型的量化指标的数值；

所述模型组包括：使用所述训练数据训练所述模型配置信息中预先设定的训练算法得到的模型以及预先存储的与该模型标识ID相对应的多个不同版本的模型；

模型管理模块，调用模型选择模块将该模型组中量化指标的数值最大的模型作为最优模型，将该模型组中量化指标的数值最小的模型作为最差模型；

模型管理模块，还用于将模型配置信息中的预先设定的模型更新周期设置给任务管理模块，任务管理模块根据预先设定的模型更新周期，按照预先设定的模型更新周期定时自动更新。

(三)有益效果

本发明的有益效果是：本发明的一种高效的机器学习模型管理方法及系统，由于获取用户输入的模型类型和模型名称，并根据用户输入得模型类型和模型名称确定与所述模型类型和模型名称对应的预先设定的模型标识ID，以及进一步确定与所述模型类型、模型名称、所述模型标识ID对应的预先设定的模型配置信息，最后基于模型配置信息，获取与所述模型配置信息对应的模型，相对于现有技术而言，其可以按照上述步骤实现自动化获取模型，以满足在模型数量急剧增长场景下的建模效率要求，同时可以降低成本。

附图说明

图1为本发明的一种高效的机器学习模型管理方法流程图；

图2为本发明实施例二中的一种高效的机器学习模型管理系统。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

实施例一

参见图1，本实施例提供一种高效的机器学习模型管理方法，包括：

S1、接收用户输入的模型类型和模型名称，并基于用户输入的模型类型和模型名称确定与其对应的预先设定的模型配置信息。

所述模型配置信息，包括：与所述模型类型和模型名称对应的预先设定的模型标识ID、预先指定的特征参数、预先设定的训练时长、预先设定的训练算法、预先设定的评估时长、预先设定的模型更新周期。

所述S1具体包括：S11、获取用户输入的模型类型和模型名称，并根据用户输入得模型类型和模型名称确定与所述模型类型和模型名称对应的预先设定的模型标识ID。

S12、基于所述模型类型、模型名称、所述模型标识ID，确定与所述模型类型、模型名称、所述模型标识ID对应的预先设定的模型配置信息。

所述预先指定的特征参数为：所述预先设定的训练算法中的输入参数和输出参数。

S2、基于所述模型配置信息，获取与该模型配置信息对应的模型。

所述S2具体包括：S21、根据模型配置信息，将数据库中预先存储的预先指定的特征参数中当前时间点之前的预先指定训练时长的特征参数，作为训练数据。

S22、使用所述训练数据训练所述模型配置信息中预先设定的训练算法，得到训练结果；所述预先设定的训练算法为预先指定的基础模型算法。

若所述训练结果为模型时，则将该模型存储至数据库中；该模型与所述配置信息中的模型标识ID相对应；所述预先指定的基础模型算法为：回归机器学习算法、分类机器学习算法、集成算法中的一种。

S3、根据预设的评估模式，对模型组中的每一模型进行评估，获取评估结果。

其中，模型组包括：与所述配置信息对应的模型以及预先存储的与所述配置信息对应的模型相应的其他多个不同版本的模型。

S3具体包括：S31、若所述训练结果为模型时，则根据与该模型相对应的模型标识ID，获取预先存储的与该模型标识ID相对应的多个版本的模型。

S32、针对所述模型以及预先存储的与该模型标识ID相对应的多个版本的模型进行评估，获取每一模型的评估结果。

所述S32具体包括：S321、根据模型配置信息中的预先设定评估时长，将数据库中预先存储的预先指定的特征参数中当前时间点前的预先设定评估时长的特征参数，作为评估数据。

S322、根据所述评估数据，采用预先设定的用于根据所述评估数据计算出模型量化指标的数值的评估算法获取模型组中每个模型的量化指标的数值并作为评估结果。

其中根据评估数据计算出模型量化指标的数值这个过程是现有的，实现这个过程的是预先设定的评估算法。

其中，所述模型组具体包括：与所述预先设定的训练算法和所述训练数据相应的模型以及预先存储的与该模型标识ID相对应的多个不同版本的模型。

S4、将评估结果中对应的符合预设条件的模型储存。

S4具体包括：根据评估结果，确定该模型组最优的模型和最差的模型，并将最优的模型进行存储，并将最差的模型删除。

其中，该模型组中量化指标的数值最大的模型作为最优模型，将该模型组中量化指标的数值最小的模型作为最差模型。

所述量化指标具体包括：精确性、波动性、拟合性；所述量化指标的数值为所述精确性数值、波动性数值、拟合性数值的总和。

所述方法还包括：S5、根据预先设定的模型更新周期，按照预先设定的模型更新周期定时自动执行一遍S1-S4。

本实施例中的一种高效的机器学习模型管理方法，由于获取用户输入的模型类型和模型名称，并根据用户输入得模型类型和模型名称确定与所述模型类型和模型名称对应的预先设定的模型标识ID，以及进一步确定与所述模型类型、模型名称、所述模型标识ID对应的预先设定的模型配置信息，最后基于模型配置信息，获取与所述模型配置信息对应的模型，相对于现有技术而言，其可以按照上述步骤实现自动化获取模型，以满足在模型数量急剧增长场景下的建模效率要求，同时可以降低成本。

实施例二

参见图2，本实施例还提供一种执行上述所述的高效的机器学习模型管理方法的系统，包括：

模型管理模块、任务管理模块、模型配置工厂模块、模型训练模块、模型评估模块、模型选择模块、消息模块、告警管理模块、数据库。

模型管理模块，用于获取用户输入的模型类型和模型名称，并根据用户输入得模型类型和模型名称确定与所述模型类型和模型名称对应的预先设定的模型标识ID。

在本实施例中，所述模型管理模块，用于模型管理调度，通过调度其他模块或服务使模型管理系统正常运行。

模型配置工厂模块，用于基于所述模型类型和模型名称、模型标识ID，确定与所述模型类型、模型名称、模型标识ID对应的预先设定的模型配置信息。

所述模型配置信息，包括：所述预先设定的模型标识ID、预先指定的特征参数、预先设定训练时长、预先设定的训练算法、预先设定评估时长、预先设定的模型更新周期。

模型管理模块，还用于基于所述模型配置信息，将数据库中预先存储的预先指定的特征参数中当前时间点之前的预先指定训练时长的特征参数，作为训练数据；并调用任务管理模块，再由任务管理模块调用模型训练模块使用所述训练数据训练所述模型配置信息中预先设定的训练算法，得到训练结果；所述预先设定的训练算法是预先指定的基础模型算法；若所述训练结果为与所述预先设定的训练算法和所述训练数据相应的模型，则将该模型存储至数据库。

本实施例中，假如所述训练结果不是与所述预先设定的训练算法和所述训练数据相应的模型，则模型训练模块调用消息模块将该消息(所述训练结果不是与所述预先设定的训练算法和所述训练数据相应的模型)发送给模型管理模块，模型管理模块接收信息后调用告警模块通知用户建模失败。本实施例中，告警模块，用于发出警告信息。

本实施例中，模型训练模块能够用于使用所述训练数据训练所述模型配置信息中预先设定的训练算法，得到训练结果。

模型管理模块，还用于在所述训练结果为与所述预先设定的训练算法和所述训练数据相应的模型时，则根据与该模型相对应的模型标识ID，调用数据库获取预先存储的与该模型标识ID相对应的多个版本的模型。

模型管理模块，还用于基于所述模型配置信息，将数据库中预先存储的预先指定的特征参数中当前时间点之前的预先指定训练时长的特征参数，作为训练数据；并调用任务管理模块，再由任务管理模块调用模型训练模块使用所述训练数据训练所述模型配置信息中预先设定的训练算法，得到训练结果；所述预先设定的训练算法是预先指定的基础模型算法；若所述训练结果为与所述预先设定的训练算法和所述训练数据相应的模型，则将该模型存储至数据库。

模型管理模块，还用于在所述训练结果为与所述预先设定的训练算法和所述训练数据相应的模型时，则根据与该模型相对应的模型标识ID，调用数据库获取预先存储的与该模型标识ID相对应的多个版本的模型。

模型管理模块，还用于根据模型配置信息中的预先设定评估时长，将数据库中预先存储的预先指定的特征参数中当前时间点前的预先设定评估时长的特征参数，作为评估数据。

模型管理模块，还用于调用模型评估模块，模型评估模块根据所述评估数据，采用预先设定的用于根据所述评估数据计算出模型量化指标的数值的评估算法获取模型组中每个模型的量化指标的数值。

所述模型组包括：与所述预先设定的训练算法和所述训练数据相应的模型以及预先存储的与该模型标识ID相对应的多个版本的模型。

模型管理模块，调用模型选择模块将该模型组中量化指标的数值最大的模型作为最优模型，将该模型组中量化指标的数值最小的模型作为最差模型。

模型管理模块，还用于将模型配置信息中的预先设定的模型更新周期设置给任务管理模块，任务管理模块根据预先设定的模型更新周期，按照预先设定的模型更新周期定时自动更新。

本实施例中的高效的机器学习模型管理系统，可满足模型数量急剧增长场景下的建模效率要求，同时可以降低成本；通过模型管理系统模型评估模块的评估功能，构建统一的模型评估标准，提高模型选择的可靠性；通过模型管理系统的自动化更新模型功能，无感知更新，提高模型的可用性。通过模型管理系统统一管理所有模型，自动化完成建模、评估和更新，减少在简单重复工作中的人力消耗，提升对模型的管理能力。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。