一种基于动态记忆空间的自动调参方法

技术领域

本发明涉及自动机器学习(AutoML)领域，特别涉及一种基于动态记忆空间的自动调参方法。

背景技术

随着计算机技术的发展，机器学习技术得到了广泛的应用。但是当确定好机器学习的模型后，还有较多的超参数需要依据专家经验进行调整，时间成本相对较高。若花费的时间较少，则难以找到一个较优的超参数组合。本文中，将确定好模型后，在一个较大的搜索空间中，搜索一组超参数组合来提高模型性能的过程称为超参数优化。目前的超参数优化方法主要分为三类，一类是穷举搜索，比如网格搜索和随机搜索，另一类是贝叶斯优化，最后一类是启发式算法。启发式算法是一个基于直观或经验构造的算法，在可接受的花费(指计算时间和空间下)给出待解决组合优化问题一个可行解。若启发式算法的搜索能力越强，那么就有更大的可能性在一个有限的时间内得到一个更好的可行解。在以往的启发式算法中，其主要目的是为了解决基于数值型的多峰问题、单峰问题，以及工程上的优化问题。这些问题与机器学习上的优化问题在时间上有本质的区别。计算一个工程问题的可行解的目标函数值的时间在cpu上即可进行，其运行时间约在10s以内，但是机器学习上一组超参数若要得到其对对应的正确率(分类问题上),在1个GPU进行训练的情况下，基于2万笔的图像数据进行分类，花费的时间约在10分钟以上。从上可看出，在机器学习上的超参数优化问题，其目标函数值的计算过程是非常昂贵的。因此，在超参数优化问题上，优化算法的搜索性能也比其他的工程优化问题要求更高。本文基于超参数优化问题的特性，提出了搜索性能更好的启发式算法。这一启发式算法基于原始的和声搜索上进行改进，在本文中命名为基于动态记忆空间的自动调参方法DM automl(Dynamic memory based optimizationautoml)。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于动态记忆空间的自动调参方法。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于动态记忆空间的自动调参方法，和声搜索算法的具体算法步骤如下所示：

步骤1：初始化算法和问题参数

和声搜索算法的主要参数包括和声记忆大小(HMS)、和声记忆考虑率(HMCR)、音调调整率(PAR)和带宽(BW)，HMS是可以存储在和声记忆库(HM)中的和声总数，HMCR决定音乐家是否基于HM中的和声来创造新的和声，PAR决定音乐家是否对曲调中所选择的和声的音符进行微调，带宽BW是音乐家微调选定和声的范围；另一个参数是最大迭代次数(NI)，它表示音乐家为定义最佳和声所做的即兴创作的数量；在这一步中，确定HS算法中的上述参数；此外，当前迭代(k)设置为1，HS算法通常用于定义为f(x)在x

步骤2：初始化和声记忆库(HM)

HM中存储的和声的数量等于HMS，一个和声向量是一组决策变量，决策变量

步骤3：即兴创作新的和声

通过记忆库考虑、音高调节和随机选择三种机制，即兴生成了一个新的和声向量

在这里，

步骤4：更新和声记忆

如果新的和声向量

步骤5：检查停止迭代

如果当前迭代等于停止迭代(最大迭代次数为NI)，则终止计算；否则，设置k＝k+1并返回步骤3。

作为本发明的一种优选技术方案，为进一步提高和声搜索算法的搜索性能，提出两种解决方法：

第一解决方法是和声记忆库的大小随着迭代的进行，动态的缩小，若当前迭代次数为k时，其k+1次的记忆库的大小计算如等式3所示，计算公式以最小化问题为例，

其中，F

第二个解决方案是基于重要性的调参，在原始的和声搜索算法中，在进行音高调节时，每个变量都有相同的概率来进行这一机制，为得到每个决策变量的对目标函数值的重要性，本文将每次迭代过程中产生的解向量以及其对应的目标函数值均保存下来，用以训练随机森林，通过随机森林来得到每个决策变量的重要性，假设有n个决策变量，每j个决策变量的音高调节概率用PAR

其中PAR为预先设定的一个固定概率值，大小为(0,1)之间，其中IM

与现有技术相比，本发明的有益效果如下：

本发明提出了一种基于动态记忆空间的自动调参方法，可以通过动态记忆库进一步平衡自动调参方法的全局搜索能力和局部搜索能力，在有限的时间内，相比其他的调参的方法找到一个更好的超参数组合。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的步骤流程图；

图2是本发明的步骤3中的算法示意图；

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明提供一种基于动态记忆空间的自动调参方法，原始的和声搜索算法模拟的和声的创作过程，和声由几个音符共同演奏而成，在这一算法中，引入音符来表示实际问题中的决策变量，音符的数量由决策变量的数量决定，每个音符都由一个音乐家演奏，和声需要两个或两个以上的音符同时演奏，因此，每个和声代表一组决策值；和声搜索算法的具体算法步骤如下所示：

步骤1：初始化算法和问题参数

和声搜索算法的主要参数包括和声记忆大小(HMS)、和声记忆考虑率(HMCR)、音调调整率(PAR)和带宽(BW)，HMS是可以存储在和声记忆库(HM)中的和声总数，HMCR决定音乐家是否基于HM中的和声来创造新的和声，PAR决定音乐家是否对曲调中所选择的和声的音符进行微调，带宽BW是音乐家微调选定和声的范围；另一个参数是最大迭代次数(NI)，它表示音乐家为定义最佳和声所做的即兴创作的数量；在这一步中，确定HS算法中的上述参数；此外，当前迭代(k)设置为1，HS算法通常用于定义为f(x)在x

步骤2：初始化和声记忆库(HM)

HM中存储的和声的数量等于HMS，一个和声向量是一组决策变量，决策变量

步骤3：即兴创作新的和声

通过记忆库考虑、音高调节和随机选择三种机制，即兴生成了一个新的和声向量

在这里，

步骤4：更新和声记忆

如果新的和声向量

步骤5：检查停止迭代

如果当前迭代等于停止迭代(最大迭代次数为NI)，则终止计算；否则，设置k＝k+1并返回步骤3。

作为本发明的一种优选技术方案，为进一步提高和声搜索算法的搜索性能，提出两种解决方法：

第一解决方法是和声记忆库的大小随着迭代的进行，动态的缩小，若当前迭代次数为k时，其k+1次的记忆库的大小计算如等式3所示，计算公式以最小化问题为例，

其中，F

由于在每次迭代过程中，新产生的解均基于和声记忆库中保存的解向量来进行产生，因此，在迭代初期的时候，较大的和声记忆库保存了较多的解向量，这时，解向量的分布范围相对较广，那么新的解向量在产生的时侯，可供选择的探索范围也相对较广，加强了算法的全局搜索能力，不易于陷入局部最优。然而在迭代后期，此时，解向量基本已收敛在最优解的附近，那么此时较小的和声记忆搜索库的大小，将有助于新的解向量考虑范围相对较小，主要在较好的解向量附近去进行搜索，可以在有限的时间内找到一个更优的值。

同时，在等式3中，为进一步使得算法在有限的时间内，能达到收益最大，加入了一个缩小的权重。缩小权重的值越小，下一次迭代时所对应的和声记忆库的大小将越小。这一缩小的权重大小将由新产生的解向量和当前记忆库中最差解向量来决定。若当前新产生的解向量优于当前记忆库中最差的解向量，那么以正常的速率来缩小和声记忆库，缩小权重为1。若当前新产生的解向量比当前记忆库中最差的解向量还要差，那么就根据

第二个解决方案是基于重要性的调参，在原始的和声搜索算法中，在进行音高调节时，每个变量都有相同的概率来进行这一机制，为得到每个决策变量的对目标函数值的重要性，本文将每次迭代过程中产生的解向量以及其对应的目标函数值均保存下来，用以训练随机森林，通过随机森林来得到每个决策变量的重要性，假设有n个决策变量，每j个决策变量的音高调节概率用PAR

其中PAR为预先设定的一个固定概率值，大小为(0,1)之间，其中IM

为得到更为准确的重要性，将充分利用花费了较多的时间得到的新的解向量以及其对应的目标函数值。在每次迭代后产生的新的解向量以及其对应的目标函数值将加入随机森林的训练集中，重新训练随机森林，随着迭代的进行，随机森林的性能也越来越好，那么得到的决策变量的重要性也越来越准确，那么对算法的搜索性能的提高也会越来越明显，能进一步加快算法的搜索速率，在有限的时间内，找到一个更优的解向量。

实验中，实验中NI＝500，HMS

与现有技术相比，本发明的有益效果如下：

本发明提出了一种基于动态记忆空间的自动调参方法，可以通过动态记忆库进一步平衡自动调参方法的全局搜索能力和局部搜索能力，在有限的时间内，相比其他的调参的方法找到一个更好的超参数组合。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。