自动建模运行系统及运行方法

技术领域

本申请涉及深度学习技术领域，具体而言，涉及一种自动建模运行系统及运行方法。

背景技术

目前深度学习的应用场景越来越广泛，深度学习在安防、影像识别、预测和估计等领域都有很重度的使用。在使用深度学习的过程中，我们可以把深度学习的训练过程分为数据准备、模型构建、参数调试和结果评估。数据准备是收集并整理解决问题需要的训练数据和相关测试数据；模型构建是选择解决问题的深度学习模型；参数调试是筛选一组超参数使选择的模型最终效果最好；结果评估是使用一些测试数据对生成的模型进行评估，计算该模型效果的优劣。其中模型构建和参数调试是这一过程的核心，也是对算法工程师要求较高的地方。

算法工程师或者算法专家在进行模型构建和参数调试的过程中，需要人工确立模型结构和参数范围，并根据每一次的结果评估进行模型参数取值的调整，这一过程主要依靠算法工程师的经验。另外，调优的方式并没有一个可量化的方式，去寻找最优模型参数取值。

针对相关技术中传统深度学习的训练过程需要人工确立模型结构和参数范围，且需要凭借人为经验根据每一次的结果评估进行模型参数取值的调整，调试过程无法量化的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种自动建模运行系统及运行方法，以解决传统深度学习的训练过程需要人工确立模型结构和参数范围，且需要凭借人为经验根据每一次的结果评估进行模型参数取值的调整，调试过程无法量化的问题。

为了实现上述目的，第一方面，本申请提供了一种自动建模运行系统。

根据本申请的自动建模运行系统，包括：

样本模型选取单元，样本模型选取单元用于根据待训练数据，获取对应待训练数据的问题类型信息，并根据问题类型信息，选取相应的样本模型；

参数范围选取单元，参数范围选取单元用于根据样本模型，选取相应的历史超参数和对应历史超参数的参数范围；

调参单元，调参单元用于基于样本模型，对历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型；

评估单元，评估单元用于对优化模型进行评估处理，并根据评估的结果，生成评估报告信息。

在其中一个实施例中，还包括超参数存储单元；

超参数存储单元用于存储历史超参数；

调参单元还用于将训练后超参数作为历史超参数存储至超参数存储单元。

在其中一个实施例中，调参单元还包括超参数获取子单元；

超参数获取子单元用于根据当前的评估报告信息，从超参数存储单元获取相应的历史超参数。

在其中一个实施例中，待训练数据包括字段类型、字段名称和数据样本。

在其中一个实施例中，字段类型包括int类型、float类型、category类型、txt类型、text类型、image类型、video类型或json类型。

在其中一个实施例中，评估单元还用于对优化模型进行评估处理，并根据评估的结果，得到评价指标信息。

在其中一个实施例中，评价指标信息包括准确率、召回率、mAP信息或自定义指标信息。

第二方面，本申请还提供了一种自动建模运行方法，包括以下步骤：

根据待训练数据，获取对应待训练数据的问题类型信息，并根据问题类型信息，选取相应的样本模型；

根据样本模型，选取相应的历史超参数和对应历史超参数的参数范围；

基于样本模型，对历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型；

对优化模型进行评估处理，并根据评估的结果，生成评估报告信息。

在其中一个实施例中，根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型的步骤之后包括：

将训练后超参数作为历史超参数存储至超参数存储单元。

在其中一个实施例中，基于样本模型，对历史超参数和参数范围进行训练处理的步骤之前包括：

根据当前的评估报告信息，从超参数存储单元获取相应的历史超参数。

在本申请实施例中，提供了一种自动建模运行系统，样本模型选取单元根据待训练数据，获取对应待训练数据的问题类型信息，并根据问题类型信息，选取相应的样本模型；参数范围选取单元根据样本模型，选取相应的历史超参数和对应历史超参数的参数范围；调参单元基于样本模型，对历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型；评估单元用于对优化模型进行评估处理，并根据评估的结果，生成评估报告信息，实现自动建模和模型优化，量化了调参训练过程。本申请提供的自动建模运行系统具有高易用性和高准确性，在深度学习的训练过程无需人工确立模型结构和参数范围，就能得到高准确度的训练模型结果，且简化了模型建立、优化和评估的过程，便于用户使用。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的自动建模运行系统的第一方框示意图；

图2是根据本申请实施例提供的自动建模运行系统的第二方框示意图；

图3是根据本申请实施例提供的自动建模运行方法的第一流程示意图；

图4是根据本申请实施例提供的自动建模运行方法的第二流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

另外，术语“多个”的含义应为两个以及两个以上。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

在一个实施例中，如图1所示，提供了一种自动建模运行系统，包括：

样本模型选取单元110，样本模型选取单元110用于根据待训练数据，获取对应待训练数据的问题类型信息，并根据问题类型信息，选取相应的样本模型；

参数范围选取单元120，参数范围选取单元120用于根据样本模型，选取相应的历史超参数和对应历史超参数的参数范围；

调参单元130，调参单元130用于基于样本模型，对历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型；

评估单元140，评估单元140用于对优化模型进行评估处理，并根据评估的结果，生成评估报告信息。

其中，待训练数据指的是为深度学习相应的标注数据。在一个示例中，待训练数据可以是具有数据自定义格式的训练数据。问题类型信息可以是主流问题信息例如，问题类型信息可以但不限于是图片分类信息、语义分割信息、目标检测信息、实例分割信息、文字检测信息、文字识别实现、文本分类信息、文本翻译信息和语音识别信息。另外，问题类型信息还可以是一般性分类和回归问题类型信息。样本模型指的是对应问题类型信息的深度学习算法模型。例如，图片分类信息对应的样本模型可以是ResNet模型或Inception模型；语义分割信息对应的样本模型可以是U-Net模型、PSPNet模型或DeepLabv3模型；目标检测信息对应的样本模型可以是R-CNN模型、SSD模型或YOLO模型；实例分割信息对应的样本模型可以是YOLACT++模型；文字检测信息对应的样本模型可以是TextBoxes++模型或PAN模型；文字识别实现对应的样本模型可以是CRNN模型；文本分类信息对应的样本模型可以是LSTM+Attention模型；文本翻译信息对应的样本模型可以是Tensor2Tensor模型或Attention模型；语音识别信息对应的样本模型可以是GRU+Attention模型。

历史超参数指的是系统已有的超参数。在一个示例中，以文字检测和对应的超参数为例，历史超参数可以是卷积核尺寸、卷积核通道数、取景框阈值、旋转角度(度)、文字框最大个数、批次大小、输入图片大小、优化器、迭代次数和学习率。每个超参数对应有一个参数范围。例如，参数范围可以是卷积核尺寸的参数范围可以是：1*7；1*5；3*3；3*5；5*3；5*5；5*1；7*1。卷积核通道数的参数范围可以是：16；32；64；128；256。取景框阈值的参数范围可以是：[0.3,0.8]。旋转角度(度)的参数范围可以是：-45；-30；-20；-10；0；10；20；30；45。文字框最大个数的参数范围可以是：10；20；50；100。批次大小的参数范围可以是：4；8；16；24；32；64。输入图片大小的参数范围可以是Adam；SGD：256；512；768。优化器的参数范围可以是：10000；20000；50000；100000。迭代次数的参数范围可以是：。学习率的参数范围可以是：5e-3；1e-3；5e-4；1e-4；5e-5；1e-5。

需要说明的是，在样本模型中，每一个样本模型都可以根据输入的超参数来调整自身的网络结构，达到不同的训练效果。比如，卷积核尺寸、全联接个数、泛化参数、注意力机制等。每个超参数会有一个预先设定的参数范围，通过在参数范围内调整超参数来适应对应问题的不同情况。针对不同的样本模型，系统在这个样本模块中为每个模型配置了不同的超参数，同时为每一个超参数设定了一个通常较好的参数范围。在这个范围中，能够得到一个相对较好的模型，以解决用户的深度学习问题。

训练后超参数指的是基于调参单元130使用一套历史超参数进行训练处理后，得到的优化后的超参数。优化模型可包含通过学习训练后，得到最优指标的超参数和相应的参数范围。评估报告信息可用来评价模型全面的指标特征。

需要说明的是，调参单元130可针对一个指定问题的指定数据集，根据设定进行一次自动建模。一次自动建模需要设置最主要的三个变量：问题类型、学习目标、最大尝试次数；在问题类型设定好之后，可以认为系统已经确定样本模型和参数范围的配置。调参单元130在一次自动建模的过程中，使用一套超参数进行一次完整的训练。该套超参数的每一个参数值都要在系统配置的参数范围之内，进而系统可根据已经进行过训练的超参数，在参数范围中选择一套最有可能得到模型最优指标的超参数。

在一个示例中，第一次从平台获取历史超参数时，可系统随机获取任意一个历史超参数；在获取历史超参数之后，对历史超参数进行训练并评估结果，并将训练评估结果上传的超参数存储单元，由于超参数存储单元拥有了训练后超参数，后续的历史超参数也会从超参数存储单元中重新选取。

具体地，样本模型选取单元110可用来接收待训练数据，并根据接收到的待训练数据，获取对应待训练数据的问题类型信息；样本模型选取单元110可根据问题类型信息，选取相应的样本模型，并将选取的样本模型传输给参数范围选取单元120。参数范围选取单元120可根据获取到的样本模型，从数据库中选取相应的历史超参数和对应历史超参数的参数范围，并将选取到的历史超参数和参数范围传输给调参单元130；调参单元130可基于样本模型，对获取到的历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型；调参单元130可将处理得到的优化模型传输给评估单元140，进而评估单元140可对获取到的优化模型进行评估处理，并根据评估的结果，生成评估报告信息，实现对自动构建深度学习模型并给出最优的参数组合，达到自动建模的目的

上述实施例中，样本模型选取单元110可根据待训练数据，获取对应待训练数据的问题类型信息，并根据问题类型信息，选取相应的样本模型；参数范围选取单元120根据样本模型，选取相应的历史超参数和对应历史超参数的参数范围；调参单元130基于样本模型，对历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型；评估单元140用于对优化模型进行评估处理，并根据评估的结果，生成评估报告信息，实现自动建模和模型优化，量化了调参训练过程。本申请提供的自动建模运行系统具有高易用性和高准确性，在深度学习的训练过程无需人工确立模型结构和参数范围，就能得到高准确度的训练模型结果，且简化了模型建立、优化和评估的过程，便于用户使用。

在一个示例中，调参单元130可基于贝叶斯算法进行调参训练，具体的调参过程为：把所有的参数范围看作是x，把最终目标看作是y，假设有一个函数f，可以把x和y对应起来，表示为y＝f(x)。通过对y＝f(x)进行训练，得到三个训练结果(x1，y1)、(x2，y3)和(x3，y3)。根据y1

在一个实施例中，如图2中，自动建模运行系统还包括超参数存储单元150；超参数存储单元150用于存储历史超参数；调参单元130还用于将训练后超参数作为历史超参数存储至超参数存储单元150。

其中，超参数存储单元150可用来存储历史超参数和训练后的超参数；超参数存储单元150还可用来存储参数范围。

具体地，参数范围选取单元120可根据获取到的样本模型，从超参数存储单元150中选取相应的历史超参数和对应历史超参数的参数范围，并将选取到的历史超参数和参数范围传输给调参单元130；调参单元130可基于样本模型，对获取到的历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型；调参单元130可将得到的训练后超参数存储在超参数存储单元150中，便于调参单元130在后续的训练调参过程中使用。

在其中一个实施例中，调参单元130还包括超参数获取子单元；

超参数获取子单元用于根据当前的评估报告信息，从超参数存储单元150获取相应的历史超参数。

具体地，调参单元130在后续的训练过程中，可通过超参数获取子单元获取评估单元140得到的评估报告信息，并根据该评估报告信息从超参数存储单元150获取相应的历史超参数，进而调参单元130对可获取到的历史超参数进行下一次的训练处理，直至达到预设的最大训练次数，进而可得到模型最优指标的超参数。

在一个实施例中，待训练数据包括字段类型、字段名称和数据样本。

其中，待训练数据的数据格式可以是OpenBayes数据格式。OpenBayes数据格式指的是使用OpenBayes定义的一套统一数据集整理的格式标准。OpenBayes以meta.csv为数据集的主要格式文件，文件以csv格式为主体：第一行为字段类型和字段名称，格式为：[类型]_[名称]；第二行以及以后每一行为数据样本。

在一个具体的实施例中，字段类型包括int类型、float类型、category类型、txt类型、text类型、image类型、video类型或json类型。

具体地，字段类型表示该列字段的数据类型，其中包括简单字段：int、float、category和txt，简单字段的值就是meta.csv中每一行对应列的值。另一类是复杂字段：text、image、video和json，复杂字段因为无法在meta.csv中表示，所以复杂字段对应的值是一个相对路径，表示该字段的值在数据集中对应的文件。json格式用来表示复杂标注格式，不同的问题会使用不同的字段和解析方式。

在一个实施例中，评估单元140还用于对优化模型进行评估处理，并根据评估的结果，得到评价指标信息。

具体地，评估单元140可对获取到的优化模型进行评估处理，并根据评估的结果，得到评价指标信息，进而可实现对生成的优化模型的评价指标，便于用户直接查看评估的结果。

在其中一个实施例中，评价指标信息包括准确率、召回率、mAP信息或自定义指标信息。

在一个实施例中，如图3中，还提供了一种自动建模运行方法，包括以下步骤：

步骤S310，根据待训练数据，获取对应待训练数据的问题类型信息，并根据问题类型信息，选取相应的样本模型。

步骤S320，根据样本模型，选取相应的历史超参数和对应历史超参数的参数范围。

步骤S330，基于样本模型，对历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型。

步骤S340，对优化模型进行评估处理，并根据评估的结果，生成评估报告信息。

具体而言，根据待训练数据，获取对应待训练数据的问题类型信息，并根据问题类型信息，选取相应的样本模型；根据样本模型，选取相应的历史超参数和对应历史超参数的参数范围；基于样本模型，对历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型；对优化模型进行评估处理，并根据评估的结果，生成评估报告信息，实现自动建模和模型优化，量化了调参训练过程，具有高易用性和高准确性，在深度学习的训练过程无需人工确立模型结构和参数范围，就能得到高准确度的训练模型结果，且简化了模型建立、优化和评估的过程，便于用户使用。

在一个实施例中，如图4中，还提供了一种自动建模运行方法，包括以下步骤：

步骤S410，根据待训练数据，获取对应待训练数据的问题类型信息，并根据问题类型信息，选取相应的样本模型。

步骤S420，根据样本模型，选取相应的历史超参数和对应历史超参数的参数范围。

步骤S430，基于样本模型，对历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型。

步骤S440，将训练后超参数作为历史超参数存储至超参数存储单元。

具体地，可根据获取到的样本模型，从超参数存储单元中选取相应的历史超参数和对应历史超参数的参数范围，并将选取到的历史超参数和参数范围进行训练处理，并根据训练的结果，得到训练后超参数以及对应训练后超参数的优化模型；可将得到的训练后超参数存储在超参数存储单元中，便于在后续的训练调参过程中使用。

步骤S450，对优化模型进行评估处理，并根据评估的结果，生成评估报告信息。

其中，上述步骤S430、步骤S420、步骤S430和步骤S450的具体内容过程可参考上文内容，此处不再赘述。

上述实施例中，实现自动建模和模型优化，量化了调参训练过程，具有高易用性和高准确性，在深度学习的训练过程无需人工确立模型结构和参数范围，就能得到高准确度的训练模型结果，且简化了模型建立、优化和评估的过程，便于用户使用。

在一个实施例中，基于样本模型，对历史超参数和参数范围进行训练处理的步骤之前包括：

根据当前的评估报告信息，从超参数存储单元获取相应的历史超参数。

具体地，在后续的训练过程中，可获取处理得到的评估报告信息，并根据该评估报告信息从超参数存储单元获取相应的历史超参数，进而对可获取到的历史超参数进行下一次的训练处理，直至达到预设的最大训练次数，进而可得到模型最优指标的超参数。

应该理解的是，虽然图3-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项的自动建模运行方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。