音乐生成方法、装置、设备及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及一种音乐生成方法、装置、设备及存储介质。

背景技术

随着科技的发展，人工智能技术也越来越成熟，并且已经被广泛地应用于各个技术领域。例如，应用于图片处理领域、音乐处理领域、文本处理领域等。

在人工智能技术领域中，可以利用机器对音乐进行智能混音、智能分析、智能优化等，还可以利用机器来生成音乐。但是，在相关技术中，在利用机器生成音乐时，需要输入一段原始音乐，然后通过机器根据原始音乐，在原始音乐上进行续写，从而生成新的音乐。这样的音乐生成方法，依赖于输入的原始音乐，并且根据原始音乐生成的新的音乐的创新性较低，音乐价值较低。

发明内容

为克服相关技术中存在的问题，本公开提供一种音乐生成方法、装置、设备及存储介质。

根据本公开实施例的第一方面，提供一种音乐生成方法，所述方法包括：

根据用户的第一输入操作，获取第一音乐参数；

将所述第一音乐参数输入音乐生成模型，得到初始音乐；

将所述初始音乐输入音色预测模型，得到与所述初始音乐对应的音色参数；

根据所述音色参数和所述初始音乐，得到目标音乐。

在一些实施例中，所述根据用户的第一输入操作，获取第一音乐参数，包括：

在检测到所述第一输入操作的情况下，确定与所述第一输入操作对应的场景类型；

根据所述场景类型，从预设数据库中获取与所述场景类型对应的第一音乐参数；

其中，所述预设数据库中预存有：所述场景类型、所述第一音乐参数以及所述场景类型和所述第一音乐参数之间的映射关系。

在一些实施例中，基于所述场景类型，确定与所述场景类型对应的目标格式；

所述根据所述音色参数和所述初始音乐，得到目标音乐，包括：

根据所述音色参数和所述初始音乐，得到具有初始格式的音乐；

基于与所述目标格式对应的格式转换策略，对具有所述初始格式的音乐进行格式转换，得到具有所述目标格式的目标音乐。

在一些实施例中，所述第一音乐参数包括：风格标签值、音符数目和音乐总时值；所述将所述第一音乐参数输入音乐生成模型，得到初始音乐，包括：

将所述风格标签值、所述音符数目和所述音乐总时值输入所述音乐生成模型的编码层进行编码，得到合成特征序列；

将所述合成特征序列输入所述音乐生成模型的预测层进行音乐预测，得到所述初始音乐。

在一些实施例中，所述音色参数包括：音色标签；所述根据所述音色参数和所述初始音乐，得到目标音乐，包括：

根据所述音色标签，从预设音色素材库中确定与所述音色标签对应的目标音色素材；其中，所述预设音色素材库中预存有：所述音色标签、音色素材以及所述音色标签和所述音色素材之间的映射关系；

对所述目标音色素材和所述初始音乐进行合成处理，得到所述目标音乐。

在一些实施例中，所述方法还包括：

从预设音源获取样本音乐；

将所述样本音乐输入初始音乐生成模型，通过所述初始音乐生成模型，得到预测音乐；

根据所述预测音乐和所述样本音乐之间的差异，对所述初始音乐生成模型的模型参数进行调整，得到所述音乐生成模型。

在一些实施例中，所述方法还包括：

将所述目标音乐和所述目标音乐对应的所述第一音乐参数，更新至目标音乐库；

在检测到用户的第二输入操作的情况下，获取第二音乐参数；

将所述第二音乐参数与所述目标音乐库中的所述第一音乐参数进行比对，得到比对结果；

根据所述比对结果，从所述目标音乐库中确定与所述第二输入操作对应的音乐。

根据本公开实施例的第二方面，提供一种音乐生成装置，其特征在于，所述装置包括：

第一获取模块，配置为根据用户的第一输入操作，获取第一音乐参数；

第一生成模块，配置为将所述第一音乐参数输入音乐生成模型，得到初始音乐；

预测模块，配置为将所述初始音乐输入音色预测模型，得到与所述初始音乐对应的音色参数；

处理模块，配置为根据所述音色参数和所述初始音乐，得到目标音乐。

在一些实施例中，所述第一获取模块，配置为：

在检测到所述第一输入操作的情况下，确定与所述第一输入操作对应的场景类型；

根据所述场景类型，从预设数据库中获取与所述场景类型对应的第一音乐参数；

其中，所述预设数据库中预存有：所述场景类型、所述第一音乐参数以及所述场景类型和所述第一音乐参数之间的映射关系。

在一些实施例中，所述装置还包括：

第一确定模块，配置为基于所述场景类型，确定与所述场景类型对应的目标格式；

所述处理模块，配置为：

根据所述音色参数和所述初始音乐，得到具有初始格式的音乐；

基于与所述目标格式对应的格式转换策略，对具有所述初始格式的音乐进行格式转换，得到具有所述目标格式的目标音乐。

在一些实施例中，所述第一音乐参数包括：风格标签值、音符数目和音乐总时值；

所述第一生成模块，配置为：

将所述风格标签值、所述音符数目和所述音乐总时值输入所述音乐生成模型的编码层进行编码，得到合成特征序列；

将所述合成特征序列输入所述音乐生成模型的预测层进行音乐预测，得到所述初始音乐。

在一些实施例中，所述音色参数包括：音色标签；

所述处理模块，配置为：

根据所述音色标签，从预设音色素材库中确定与所述音色标签对应的目标音色素材；其中，所述预设音色素材库中预存有：所述音色标签、音色素材以及所述音色标签和所述音色素材之间的映射关系；

对所述目标音色素材和所述初始音乐进行合成处理，得到所述目标音乐。

在一些实施例中，所述装置还包括：

第二获取模块，配置为从预设音源获取样本音乐；

第二生成模块，配置为将所述样本音乐输入初始音乐生成模型，通过所述初始音乐生成模型，得到预测音乐；

调整模块，配置为根据所述预测音乐和所述样本音乐之间的差异，对所述初始音乐生成模型的模型参数进行调整，得到所述音乐生成模型。

在一些实施例中，所述装置还包括：

更新模块，配置为将所述目标音乐和所述目标音乐对应的所述第一音乐参数，更新至目标音乐库；

第三获取模块，配置为在检测到用户的第二输入操作的情况下，获取第二音乐参数；

比对模块，配置为将所述第二音乐参数与所述目标音乐库中的所述第一音乐参数进行比对，得到比对结果

第二确定模块，配置为根据所述比对结果，从所述目标音乐库中确定与所述第二输入操作对应的音乐。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行时实现上述第一方面中任一项音乐生成方法中的步骤。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面中任一项音乐生成方法中的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

在本公开实施例中，可以在根据用户的第一输入操作获取第一音乐参数之后，将第一音乐参数输入音乐生成模型得到初始音乐，然后将初始音乐输入音色预测模型，得到与初始音乐对应的音色参数，最后根据音色参数和初始音乐得到目标音乐。

本公开实施例中，可以根据用户的操作获取第一音乐参数，并基于第一音乐参数得到初始音乐，即不需要输入原始的音乐，可以根据用户的操作生成全新的音乐，能够使得生成的音乐的创新性和音乐价值更高。同时，根据初始音乐得到的与初始音乐对应的音色参数与初始音乐更加适配，从而根据音色参数和初始音乐得到的目标音乐的音乐效果更好。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开一示例性实施例示出的一种音乐生成方法的流程图一。

图2是根据本公开一示例性实施例示出的一种音乐生成方法的流程图二。

图3是根据本公开一示例性实施例示出的一种音乐生成方法的流程图三。

图4是根据本公开一示例性实施例示出的一种音乐生成方法的流程图四。

图5是根据本公开一示例性实施例示出的一种音乐生成装置的结构框图。

图6是根据本公开一示例性实施例示出的一种电子设备的硬件结构框图一。

图7是根据本公开一示例性实施例示出的一种电子设备的硬件结构框图二。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据本公开一示例性实施例示出的音乐生成方法的流程图一，如图1所示，主要包括以下步骤：

步骤101，根据用户的第一输入操作，获取第一音乐参数；

步骤102，将所述第一音乐参数输入音乐生成模型，得到初始音乐；

步骤103，将所述初始音乐输入音色预测模型，得到与所述初始音乐对应的音色参数；

步骤104，根据所述音色参数和所述初始音乐，得到目标音乐。

需要说明的是，本公开提出的音乐生成方法可以应用于电子设备，也可以应用于服务器，这里，电子设备可以包括：终端设备，例如，移动终端或者固定终端。其中，移动终端可以包括：手机、平板电脑、笔记本电脑等设备。固定终端可以包括：台式电脑或智能电视等。

这里，第一输入操作可以包括用户基于电子设备输入的操作。例如，可以包括：语音输入操作、手势操作等。例如，可以通过手势键入文字、符号等。其中，输入操作还可以包括：按键操作、点击操作等。

在一些实施例中，可以通过电子设备的触控显示屏输出操作界面，用户通过该操作界面执行第一输入操作，进而将用户自定义的第一音乐参数输入电子设备。当然，也可以在电子设备上安装应用程序，用户可以先触发该应用程序，并通过该应用程序进入操作界面，进而通过该操作界面实现对应的操作。

本公开实施例中，第一音乐参数可以为与第一输入操作对应的音乐参数，这里的音乐参数可以包括风格标签值、音符数目和音乐总时值等参数。这里的风格标签值可以为音乐风格对应的标签值，例如，音乐风格可以包括安静、悲伤、摇滚、民谣、欢快、动感等；音符数目可以为目标音乐中的音符的总数目；音乐总时值可以为目标音乐中各个音符的时值的和，各个音符的时值用于表示各个音符的相对持续时长。在一些实施例中，第一音乐参数还可以包括音色参数、音调参数等。

在一些实施例中，可以预先设置各种输入操作与音乐参数之间的映射关系，在检测到对应的输入操作时，就能够根据该输入操作和该映射关系，获取对应的音乐参数。例如，第一输入操作为单击操作，则第一音乐参数可以为摇滚风格的音乐参数；第一输入操作为双击操作，则第一音乐参数可以为悲伤风格的音乐参数；第一输入操作为语音中包含“民谣”的语音输入操作，则第一音乐参数可以为民谣风格的音乐参数；第一输入操作为语音中包含“安静”的语音输入操作，则第一音乐参数可以为安静风格的音乐参数；第一输入操作为文字中包含“欢快”的文字输入操作，则第一音乐参数可以为欢快风格的音乐参数；第一输入操作为文字中包含“动感”的文字输入操作，则第一音乐参数可以为动感风格的音乐参数。

在一些实施例中，可以根据用户的第一输入操作，获取第一音乐参数。例如，在第一输入操作为用户的语音输入操作的情况下，执行该音乐生成方法的电子设备可以包括声音采集模组(如，麦克风)和处理器。用户输入的语音中可以包含第一音乐参数，声音采集模组可以接收用户输入的语音，并将语音传输至处理器，处理器对语音进行解析，从解析到的信息中获取第一音乐参数。

在第一输入操作为用户的文字输入操作的情况下，执行该音乐生成方法的电子设备可以包括键盘或触控显示屏等文字输入模块，以及处理器。用户输入的文字中可以包含第一音乐参数，文字输入模块可以接收用户输入的文字，并将文字传输给处理器，处理器对文字进行解析，从解析到的信息中获取第一音乐参数。

在第一输入操作为用户的点击操作的情况下，执行该音乐生成方法的电子设备可以包括触控显示屏和处理器。触控显示屏可以显示多种参数选项，用户可以通过点击参数选项来选择参数，触控显示屏在接收到用户针对目标参数选项的第一输入操作之后，可向处理器传输与目标参数选项对应的信号，处理器接收到信号后，确定出与该信号对应的目标参数选项，进而基于目标参数选项以及目标参数选项与音乐参数的映射关系，确定出与目标参数选项对应的第一音乐参数。进而能够一键确定第一音乐参数，提高确定第一音乐参数的效率和用户操作的便利性。

在一些实施例中，第一输入操作中可以携带有第一音乐参数，在此实施例中，可以解析出第一输入操作中携带的信息，并从携带的信息中获取第一音乐参数。例如，用户可以直接通过语音输入操作输入第一音乐参数，此时可以从用户的语音输入操作携带的信息中获取第一音乐参数。在一些实施例中，第一输入操作中可以携带有与第一音乐参数相关的信息，在此实施例中，可以解析出第一输入操作中携带的信息，并从携带的信息中获取与第一音乐参数相关的信息，并基于与第一音乐参数相关的信息获取第一音乐参数。例如，用户可以直接通过语音输入操作输入场景类型，此时可以从用户的语音输入操作携带的信息中获取场景类型，然后基于场景类型以及预设的场景类型与音乐参数的映射关系，确定出与场景类型对应的第一音乐参数。

在确定出第一音乐参数之后，可以将第一音乐参数输入音乐生成模型，得到初始音乐。

这里，音乐生成模型可以是预先通过机器学习的方式进行训练得到的，用于基于输入的音乐参数生成音乐的模型。在一些实施例中，音乐生成模型可以包括深度学习模型。例如，音乐生成模型可以包括基于CNN(Convolutional Neural Networks，卷积神经网络)的模型、基于RNN(Recurrent Neural Network，循环神经网络)的模型、基于LSTM(LongShort-Term Memory，长短期记忆神经网络)的模型、或者基于Transformer(深度自注意力网络)的模型等。

图2是根据本公开一示例性实施例示出的一种音乐生成方法的流程图二。如图2所示，所述音乐生成方法还可以包括以下步骤：

步骤201，从预设音源获取样本音乐；

步骤202，将所述样本音乐输入初始音乐生成模型，通过所述初始音乐生成模型，得到预测音乐；

步骤203，根据所述预测音乐和所述样本音乐之间的差异，对所述初始音乐生成模型的模型参数进行调整，得到所述音乐生成模型。

这里的预设音源可以包括：执行所述音乐生成方法的电子设备或其它电子设备中的包含已下载音乐的音乐下载列表、包含已收藏音乐的音乐收藏列表或包含播放次数超过预设次数阈值的音乐的经常播放列表。这里，可以从预设音源中获取音乐构成第一训练集，这里的样本音乐可以为第一训练集中的样本音乐。这里的初始音乐生成模型可以为还未开始训练或未训练完成的模型，初始音乐生成模型可以包括用于进行音乐预测的预测层。

在一些实施例中，第一训练集中的样本音乐可以为基于预设音源中音乐的音乐参数和音符信息进行编码得到的音乐序列格式的样本音乐，如基于风格标签值、音符数目、音乐总时值以及各个音符和各个音符的音高和时值进行编码得到的音乐序列格式的样本音乐。

在一些实施例中，第一训练集中的样本音乐可以为已标注的样本音乐，第一训练集中的样本音乐的标注标签可以包括音乐参数。在将第一训练集中的样本音乐输入初始音乐生成模型之后，初始音乐生成模型的预测层会基于第一训练集中的样本音乐的音乐参数进行音乐预测，得到预测音乐。

在得到预测音乐之后，可以将预测音乐与第一训练集中的样本音乐进行比对，根据比对结果(即预测音乐与第一训练集中的样本音乐之间的差异)和预设的损失函数(如，交叉熵损失函数)，确定初始音乐生成模型的损失值，得到损失值后，可以通过反向传播的方法，调整初始音乐生成模型的模型参数，以对初始音乐生成模型进行优化，直至达到收敛条件，则停止训练，得到音乐生成模型。其中，收敛条件可以为：损失值在设定时长内的数值变化小于设定变化阈值；或者训练轮次达到预设次数阈值等。在其他可选的实施例中，也可以以其他方式训练得到音乐生成模型，在此不作具体限定。

这样，通过对初始音乐生成模型的模型参数进行调整，可以对初始音乐生成模型进行优化，使得得到的音乐生成模型的性能更好。

以Transformer模型是初始音乐生成模型为例，可以基于第一训练集中的已标注的样本音乐对Transformer模型进行训练，得到音乐生成模型。例如，可以利用损失函数，基于第一训练集中的样本音乐和Transformer模型根据第一训练集中的样本音乐的标注标签预测得到的预测音乐，确定Transformer模型的损失值，并基于损失值更新Transformer模型的模型参数，直至达到收敛条件，则停止训练Transformer模型，得到音乐生成模型。

需要说明的是，在将第一音乐参数输入音乐生成模型之后，音乐生成模型可以输出初始音乐。这里的初始音乐可以包括一个按照预设编码策略进行编码的音乐序列，也可以包括其它格式的音乐，如MIDI(Musical Instrument Digital Interface，乐器数字接口)格式的音乐。在一些实施例中，初始音乐可以是基于输出的第一音乐参数和预测到的音符信息，按照预设编码策略进行编码得到的音乐序列。

例如，音乐参数可以包括k维风格标签值(k由用于训练音乐生成模型的训练数据中的风格类别的数量决定)、m维音符数目(m由用于训练音乐生成模型的训练数据中所出现过的音符数决定)和n维音乐总时值(n由用于训练音乐生成模型的训练数据中出现的总时值的值决定)，音符信息可以包括各个音符和各个音符的128维音高和16维时值。此时，可以将k维风格标签值、m维音符数目、n维音乐总时值、各个音符和各个音符的128维音高和16维时值按照one-hot(独热码)编码方式进行编码得到音乐序列格式的初始音乐。

在一些实施例中，在得到音乐序列格式的初始音乐之后，可以将音乐序列格式的初始音乐转换为MIDI格式的初始音乐，以便初始音乐可以应用于多种音乐处理设备。

在得到初始音乐之后，可以将初始音乐输入音色预测模型，得到与初始音乐对应的音色参数。

这里，音色预测模型可以是训练得到的，用于基于输入的初始音乐确定与初始音乐对应的音色参数的模型。在一些实施例中，音色预测模型可以包括深度学习模型。例如，音色预测模型可以包括基于CNN的模型、基于RNN的模型、基于LSTM的模型、或者基于Transformer的模型等。

在一些实施例中，所述音乐生成方法还可以包括以下步骤：

步骤204，获取第二训练集中的样本音乐；

步骤205，将所述第二训练集中的样本音乐输入初始音色预测模型，通过所述初始音色预测模型，得到第二训练集中的样本音乐的预测音乐参数；

步骤206，根据所述预测音乐参数和所述第二训练集中的样本音乐的标注标签之间的差异，对所述初始音色预测模型的模型参数进行调整，得到所述音色预测模型，其中，所述第二训练集中的样本音乐的标注标签包括音色参数。

在一些实施例中，可以从预设音源中获取音乐构成第二训练集。这里的第二训练集中的样本音乐，可以为已标注的样本音乐。第二训练集中的样本音乐和第一训练集中的样本音乐可以相同，也可以不相同；第二训练集中的样本音乐的标注标签和第一训练集中的样本音乐的标注标签可以不同；第二训练集中的样本音乐的格式可以与第一训练集中的样本音乐的格式不同。在一些实施例中，第二训练集中的样本音乐可以为由MIDI格式的音乐进行格式转换得到的pianoroll(钢琴卷帘窗)格式的样本音乐。

这里的初始音色预测模型可以为还未开始训练或未训练完成的模型，初始音色预测模型可以包括：用于进行特征提取的特征提取层和分类器。

在将第二训练集中的样本音乐输入初始音色预测模型之后，初始音色预测模型的特征提取层会对第二训练集中的样本音乐进行特征提取，得到第二训练集中的样本音乐的音乐特征，然后分类器可以基于第二训练集中的样本音乐的音乐特征对第二训练集中的样本音乐进行分类，得到分类结果，然后输出与分类结果对应的预测音色参数。

在得到预测音乐参数之后，可以将预测音乐参数与第二训练集中的样本音乐的标注标签进行比对，根据比对结果(即预测音乐参数与标注标签之间的差异)和预设的损失函数(如，交叉熵损失函数)，确定初始音色预测模型的损失值，得到损失值后，可以通过反向传播的方法，调整初始音色预测模型的模型参数，以对初始音色预测模型进行优化，直至达到收敛条件，则停止训练，得到音色预测模型。其中，收敛条件可以为：损失值在设定时长内的数值变化小于设定变化阈值；或者训练轮次达到预设次数阈值等。在其他可选的实施例中，也可以以其他方式训练得到音色预测模型，在此不作具体限定。

这样，通过对初始音色预测模型的模型参数进行调整，可以对初始音色预测模型进行优化，使得得到的音色预测模型的性能更好。可以理解的是，音乐生成模型和音色预测模型可以是基于相同类型网络构成的模型，但是在一些实施例中，音乐生成模型和音色预测模型的结构和模型参数可以不同。

在一些实施例中，音乐生成模型可以为一深度学习模型中用于进行音乐生成的模块，音色预测模型可以为该深度学习模型中用于进行音色预测的模块。即，音乐生成模型和音色预测模型可以为同一模型中能够实现不同功能的两个模块。如，可以为Transformer模型中的两个模块。

当然，在另一些实施例中，音乐生成模型和音色预测模型也可以为两个相互独立的能够分别实现不同功能的模型，如，音乐生成模型可以为Transformer模型，音色预测模型可以为LSTM模型等，在此不作具体限定。

在一些实施例中，在得到MIDI格式的初始音乐之后，还可以将MIDI格式的初始音乐转换为与音色预测模型对应格式的初始音乐，如转换为pianoroll格式的初始音乐，然后将pianoroll格式的初始音乐输入音色预测模型。

在一些实施例中，音色预测模型可以包括特征提取层和分类器，将初始音乐输入音色预测模型之后，音色预测模型的特征提取层可以对初始音乐进行特征提取得到初始音乐的音乐特征，然后分类器可以基于初始音乐的音乐特征对初始音乐进行分类得到分类结果，然后输出与分类结果对应的音色参数。这里的音色参数可以为与初始音乐对应的音色类型、与初始音乐对应的音色素材的音色标签或者与初始音乐对应的音色素材的音色编号等。

在得到初始音乐以及与初始音乐对应的音色参数之后，可以根据音色参数和初始音乐得到目标音乐。在一些实施例中，根据音色参数，可以基于音色参数与音色素材的映射关系，确定与初始音乐对应的音色素材，然后可以对初始音乐以及与初始音乐对应的音色素材进行合成处理，得到成品音乐(即目标音乐)。

在本公开实施例中，可以在根据用户的第一输入操作获取第一音乐参数之后，将第一音乐参数输入音乐生成模型得到初始音乐，然后将初始音乐输入音色预测模型，得到与初始音乐对应的音色参数，最后根据音色参数和初始音乐得到目标音乐。

本公开实施例中，可以根据用户的操作获取第一音乐参数，并基于第一音乐参数得到初始音乐，即不需要输入原始的音乐，可以根据用户的操作生成全新的音乐，能够使得生成的音乐的创新性和音乐价值更高。同时，根据初始音乐得到的与初始音乐对应的音色参数与初始音乐更加适配，从而根据音色参数和初始音乐得到的目标音乐的音乐效果更好。

在一些实施例中，在步骤101中，所述根据用户的第一输入操作，获取第一音乐参数，主要包括以下步骤：

在检测到所述第一输入操作的情况下，确定与所述第一输入操作对应的场景类型；

根据所述场景类型，从预设数据库中获取与所述场景类型对应的第一音乐参数；其中，所述预设数据库中预存有：所述场景类型、所述第一音乐参数以及所述场景类型和所述第一音乐参数之间的映射关系。

这里的场景类型可以包括闹钟铃声、来电铃声、消息提示音、开机音乐等。在一些实施例中，第一输入操作中可以包含用户输入的场景类型，此时可以从第一输入操作携带的信息中获取场景类型，然后根据获取到的场景类型，从预设数据库中获取与场景类型对应的第一音乐参数。

可以理解的是，可以预先建立各种场景类型与各个音乐参数的映射关系，然后按照映射关系，将场景类型和音乐参数关联存储至预设数据库中。

例如，在音乐参数包括风格标签值、音符数目和音乐总时值的情况下，与闹钟铃声应用场景对应的风格标签值可以为安静，与闹钟铃声对应的音符数目可以为第一音符数目，与闹钟铃声对应的音乐总时值可以为第一音乐总时值，即与闹钟铃声对应的一组音乐参数为：安静，第一音符数目，第一音乐总时值。

再例如，与消息提示音对应的风格标签值可以为欢乐，与消息提示音对应的音符数目可以为第二音符数目，与消息提示音对应的音乐总时值可以为第二音乐总时值。考虑到闹钟铃声的时长一般比消息提示音的时长更长，也比消息提示音更加复杂，所以这里的第一音符数目可以大于第二音符数目，第一音乐总时值可以大于第二音乐总时值。

在一些实施例中，一种场景类型可以对应多组音乐参数。在此实施例中，可以获取音乐参数的历史使用记录，将与第一输入操作对应的场景类型对应的多组音乐参数中，使用次数最多的一组音乐参数确定为第一音乐参数。

这样，用户只需通过第一输入操作输入场景类型，即可准确地根据场景类型确定第一音乐参数，不需用户自行输入音乐参数，这样的方法更加便捷、智能。并且，从预设数据库中获取与场景类型对应的第一音乐参数的效率更高，且得到的第一音乐参数更加准确。

在一些实施例中，所述音乐生成方法还可以包括：

基于所述场景类型，确定与所述场景类型对应的目标格式；

在步骤104中，所述根据所述音色参数和所述初始音乐，得到目标音乐，可以包括：

根据所述音色参数和所述初始音乐，得到具有初始格式的音乐；

基于与所述目标格式对应的格式转换策略，对具有所述初始格式的音乐进行格式转换，得到具有所述目标格式的目标音乐。

可以理解的是，在不同类型的应用场景中，音乐的音乐格式可以不同。这里的音乐格式可以包括：CD格式(Compact Disc Audio track，音轨索引格式)、WAVE格式(WaveformAudio，波形文件格式)、AIFF格式(Audio Interchange File Format，音频交换文件格式)、MIDI格式或MP3格式(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)等。

为了使得到的目标音乐更加适配于应用场景，还可以根据场景类型确定目标格式，然后在根据音乐参数和初始音乐得到初始格式的音乐之后，可以按照与目标格式对应的格式转化策略，将初始格式的音乐转换为目标格式的目标音乐。这里的格式转换策略可以包括格式转换器，如MP3格式转换器，还可以包括格式转换算法。

例如，这里根据音乐参数和初始音乐得到的初始格式的音乐可以为MIDI格式的音乐，与场景类型对应的音乐可以为MP3格式的音乐，在基于音色参数和初始音乐得到MIDI格式的音乐之后，可以按照与MP3格式对应的格式转换策略，将MIDI格式的音乐转换为MP3格式的目标音乐。

这样，将初始格式的音乐转换为目标格式的目标音乐之后，可以使得得到的目标音乐更加应用于与场景类型对应的应用场景。

在一些实施例中，所述第一音乐参数包括：风格标签值、音符数目和音乐总时值。

在此实施例中，在步骤102中，所述将所述第一音乐参数输入音乐生成模型，得到初始音乐，包括：

将所述风格标签值、所述音符数目和所述音乐总时值输入所述音乐生成模型的编码层进行编码，得到合成特征序列；

将所述合成特征序列输入所述音乐生成模型的预测层进行音乐预测，得到所述初始音乐。

这里，音乐生成模型的编码层可以按照进行模型训练时学习到的编码策略，对输入的第一音乐参数进行编码，得到合成特征序列。音乐生成模型的预测层可以根据编码层得到的合成特征序列进行音乐预测，即在将合成特征序列输入预测层后，预测层可以输出预测得到的初始音乐。

预测层预测得到的初始音乐可以为在合成特征序列之后继续编码得到的音乐序列。可以理解的是，预测层可以基于合成特征序列预测音符信息(如，音符及音符的音高和时值)，然后基于预测的音符信息在合成特征序列之后进行编码，得到包含合成特征序列的音乐序列。

这样，通过音乐生成模型，根据输入的风格标签值、音符数目和音乐总时值，智能地生成与风格标签值、音符数目和音乐总时值对应的初始音乐，使得可以通过机器生成音乐，减少了人工成本。

在一些实施例中，所述音色参数可以包括：音色标签。

在此实施例中，在步骤104中，所述根据所述音色参数和所述初始音乐，得到目标音乐，可以包括：

根据所述音色标签，从预设音色素材库中确定与所述音色标签对应的目标音色素材；其中，所述预设音色素材库中预存有：所述音色标签、音色素材以及所述音色标签和所述音色素材之间的映射关系；

对所述目标音色素材和所述初始音乐进行合成处理，得到所述目标音乐。

可以理解的是，可以预先建立各个音色素材与各个音色标签的映射关系，然后按照映射关系，将音色素材和音色标签关联存储至预设音色素材库中。这里的音色素材可以包括：古筝音色素材、钢琴音色素材、电子琴音色素材、吉他音色素材等。

在一些实施例中，对所述目标音色素材和所述初始音乐进行合成处理可以包括：通过根据目标音色素材对初始音乐进行音色挂载处理，实现音色素材与初始音乐的合成，即给初始音乐的每个音符挂载目标音色素材。

可以理解的是，初始音乐可以为没有融合音色素材的音乐，根据不同音色素材对初始音乐进行合成处理得到的目标音乐的音乐效果可以不同。因此，为了得到更好的音乐效果，可以将与初始音乐更加适配的音色素材与初始音乐进行合成。

这里，根据初始音乐预测得到的音色标签为与初始音乐对应的音色标签，因此基于音色标签确定的目标音色素材也是与初始音乐对应的音色素材，能够很好的适配于初始音乐，所以将目标音色素材与初始音乐进行合成处理，得到的目标音乐的音乐效果更好。

图3是根据本公开一示例性实施例示出的一种音乐生成方法的流程图三。如图3所示，所述音乐生成方法还可以包括以下步骤：

步骤301，将所述目标音乐和所述目标音乐对应的所述第一音乐参数，更新至目标音乐库；

步骤302，在检测到用户的第二输入操作的情况下，获取第二音乐参数；

将所述第二音乐参数与所述目标音乐库中的所述第一音乐参数进行比对，得到比对结果；

步骤303，根据所述比对结果，从所述目标音乐库中确定与所述第二输入操作对应的音乐。

这里的目标音乐库可以是基于生成的目标音乐得到音乐数据库，在每次得到新的目标音乐之后，可以将得到的目标音乐和目标音乐对应的第一音乐参数，保存至目标音乐库，以对目标音乐库进行更新。

在此实施例中，第二输入操作，可以包括用户基于电子设备输入的操作，用于输入第二音乐参数。例如，可以包括：语音输入操作、或手势操作等。例如，可以通过手势键入文字、符号等。其中，输入操作还可以包括：按键操作、点击操作等。在一些实施例中，可以预先设置各种输入操作与音乐参数之间的映射关系，在检测到对应的输入操作时，就能够根据该输入操作和该映射关系，获取对应的音乐参数，例如，第二输入操作为双击操作，则第二音乐参数可以为安静风格的音乐参数等。

在一些实施例中，可以通过电子设备的触控显示屏输出操作界面，用户通过该操作界面执行第二输入操作，进而将用户自定义的第二音乐参数输入电子设备。当然，也可以在电子设备上安装应用程序，用户可以先触发该应用程序，并通过该应用程序进入操作界面，进而通过该操作界面实现对应的操作。

本公开实施例中，第二音乐参数可以为与第二输入操作对应的音乐参数，这里的音乐参数可以包括风格标签值、音符数目和音乐总时值等参数。这里的风格标签值可以为音乐风格对应的标签值，例如，音乐风格可以包括安静、悲伤、摇滚等；音符数目可以为目标音乐中的音符的总数目；音乐总时值可以为目标音乐中各个音符的时值的和，各个音符的时值用于表示各个音符的相对持续时间。在一些实施例中，第二音乐参数还可以包括音色参数、音调参数等。

例如，在第二输入操作为用户的语音输入操作的情况下，执行该音乐生成方法的电子设备可以包括声音采集模组(如，麦克风)和处理器。用户输入的语音中可以包含第二音乐参数，声音采集模组可以接收用户输入的语音，并将语音传输至处理器，处理器对语音进行解析，从解析到的信息中获取第二音乐参数。

在第二输入操作为用户的文字输入操作的情况下，执行该音乐生成方法的电子设备可以包括键盘或触控显示屏等文字输入模块，以及处理器。用户输入的文字中可以包含第二音乐参数，文字输入模块可以接收用户输入的文字，并将文字传输给处理器，处理器对文字进行解析，从解析到的信息中获取第二音乐参数。

在第二输入操作为用户的点击操作的情况下，执行该音乐生成方法的电子设备可以包括触控显示屏和处理器。触控显示屏可以显示多种参数选项，用户可以通过点击参数选项来选择参数，触控显示屏在接收到用户针对目标参数选项的第二输入操作之后，可向处理器传输与目标参数选项对应的信号，处理器接收到信号后，确定出与该信号对应的目标参数选项，进而基于目标参数选项以及目标参数选项与音乐参数的映射关系，确定出与目标参数选项对应的第二音乐参数。进而能够一键确定第二音乐参数，提高确定第二音乐参数的效率和用户操作的便利性。

在一些实施例中，第二输入操作中可以携带有第二音乐参数，在此实施例中，可以解析出第二输入操作中携带的信息，并从携带的信息中获取第二音乐参数。例如，用户可以直接通过语音输入操作输入第二音乐参数，此时可以从用户的语音输入操作携带的信息中获取第二音乐参数。在一些实施例中，第二输入操作中可以携带有与第二音乐参数相关的信息，在此实施例中，可以解析出第二输入操作中携带的信息，并从携带的信息中获取与第二音乐参数相关的信息，并基于与第二音乐参数相关的信息获取第二音乐参数。例如，用户可以直接通过语音输入操作输入场景类型，此时可以从用户的语音输入操作携带的信息中获取场景类型，然后基于场景类型以及预设的场景类型与音乐参数的映射关系，确定出与场景类型对应的第二音乐参数。

在得到第二音乐参数之后，可以将第二音乐参数与目标音乐库中的每一第一音乐参数进行比对，得到比对结果，这里的比对结果可以包括第二音乐参数与每一第一音乐参数之间的相似度。然后将与第二音乐参数的相似度大于或等于预设相似度阈值的第一音乐参数对应的目标音乐，确定为与第二输入操作对应的音乐。

这里，可以根据用户的第二输入操作，直接从目标音乐库中确定与第二输入操作对应的音乐，这样从目标音乐库中确定与第二输入操作对应的音乐的效率更高。

在另一些实施例中，还可以基于目标音乐对音乐生成模型进行训练，得到目标音乐生成模型。通过用户自定义生成的目标音乐对音乐生成模型进行训练，能够通过目标音乐生成模型直接得到用户期望的音乐，不仅更加快捷方便，且能够使得到的音乐与用户的需求和喜好更加贴合。

图4是根据本公开一示例性实施例示出的一种音乐生成方法的流程图四。如图4所示，所述音乐生成方法主要包括以下步骤：

步骤401，基于第一训练集中的样本音乐对初始音乐生成模型进行训练，得到音乐生成模型；基于第二训练集中的样本音乐对初始音色预测模型进行训练，得到音色预测模型。

这里，对初始音乐生成模型进行训练，得到音乐生成模型的方法可以参照上述步骤201至步骤203；对初始音色预测模型进行训练，得到音色预测模型的方法可以参照上述步骤204至步骤206。

步骤402，根据用户的第一输入操作，获取第一音乐参数。

这里用户的第一输入操作，可以包括用户的语音输入操作、文字输入操作或按键操作、点击操作等，第一音乐参数可以为与第一输入操作对应的音乐参数，这里的音乐参数可以包括风格标签值、音符数目和音乐总时值等参数。

在一些实施例中，第一输入操作中可以携带有第一音乐参数，在此实施例中，可以解析出第一输入操作中携带的信息，并从携带的信息中获取第一音乐参数。在另一些实施例中，第一输入操作中可以携带有与第一音乐参数相关的信息，在此实施例中，可以解析出第一输入操作中携带的信息，并从携带的信息中获取与第一音乐参数相关的信息，并基于与第一音乐参数相关的信息获取第一音乐参数。

步骤403，将所述第一音乐参数输入所述音乐生成模型，得到初始音乐。

这里的音乐生成模型可以是训练完成的，用于基于输入的音乐参数生成音乐的模型。在一些实施例中，音乐生成模型可以为深度学习模型，例如，音乐生成模型可以为基于CNN的模型、基于RNN的模型、基于LSTM的模型、或者基于Transformer的模型。

步骤404，将所述初始音乐输入所述音色预测模型，得到与所述初始音乐对应的音色参数。

这里的音色预测模型可以是训练完成的，用于基于输入的初始音乐确定与初始音乐对应的音色参数的模型。在一些实施例中，音色预测模型可以为深度学习模型，例如，音色预测模型可以为基于CNN的模型、基于RNN的模型、基于LSTM的模型、或者基于Transformer的模型。

步骤405，根据所述音色参数和所述初始音乐，得到目标音乐。

在得到初始音乐以及与初始音乐对应的音色参数之后，可以根据音色参数和初始音乐得到目标音乐。在一些实施例中，根据音色参数，可以基于音色参数与音色素材的映射关系，确定与初始音乐对应的音色素材，然后可以对初始音乐以及与初始音乐对应的音色素材进行合成处理，得到成品音乐(即目标音乐)。

在本公开实施例中，可以在根据用户的第一输入操作获取第一音乐参数之后，将第一音乐参数输入音乐生成模型得到初始音乐，然后将初始音乐输入音色预测模型，得到与初始音乐对应的音色参数，最后根据音色参数和初始音乐得到目标音乐。

本公开实施例中，可以根据用户的操作获取第一音乐参数，并基于第一音乐参数得到初始音乐，即不需要输入原始的音乐，可以根据用户的操作生成全新的音乐，能够使得生成的音乐的创新性和音乐价值更高。同时，根据初始音乐得到的与初始音乐对应的音色参数与初始音乐更加适配，从而根据音色参数和初始音乐得到的目标音乐的音乐效果更好。

图5是根据本公开一示例性实施例示出的一种音乐生成装置的结构框图。如图5所示，该音乐生成装置500主要包括：

第一获取模块501，配置为根据用户的第一输入操作，获取第一音乐参数；

第一生成模块502，配置为将所述第一音乐参数输入音乐生成模型，得到初始音乐；

预测模块503，配置为将所述初始音乐输入音色预测模型，得到与所述初始音乐对应的音色参数；

处理模块504，配置为根据所述音色参数和所述初始音乐，得到目标音乐。

在一些实施例中，所述第一获取模块501，配置为：

在检测到所述第一输入操作的情况下，确定与所述第一输入操作对应的场景类型；

根据所述场景类型，从预设数据库中获取与所述场景类型对应的第一音乐参数；

其中，所述预设数据库中预存有：所述场景类型、所述第一音乐参数以及所述场景类型和所述第一音乐参数之间的映射关系。

在一些实施例中，所述装置还包括：

第一确定模块，配置为基于所述场景类型，确定与所述场景类型对应的目标格式；

所述处理模块504，配置为：

根据所述音色参数和所述初始音乐，得到具有初始格式的音乐；

基于与所述目标格式对应的格式转换策略，对具有所述初始格式的音乐进行格式转换，得到具有所述目标格式的目标音乐。

在一些实施例中，所述第一音乐参数包括：风格标签值、音符数目和音乐总时值；

所述第一生成模块502，配置为：

将所述风格标签值、所述音符数目和所述音乐总时值输入所述音乐生成模型的编码层进行编码，得到合成特征序列；

将所述合成特征序列输入所述音乐生成模型的预测层进行音乐预测，得到所述初始音乐。

在一些实施例中，所述音色参数包括：音色标签；

所述处理模块504，配置为：

根据所述音色标签，从预设音色素材库中确定与所述音色标签对应的目标音色素材；其中，所述预设音色素材库中预存有：所述音色标签、音色素材以及所述音色标签和所述音色素材之间的映射关系；

对所述目标音色素材和所述初始音乐进行合成处理，得到所述目标音乐。

在一些实施例中，所述装置还包括：

第二获取模块，配置为从预设音源获取样本音乐；

第二生成模块，配置为将所述样本音乐输入初始音乐生成模型，通过所述初始音乐生成模型，得到预测音乐；

调整模块，配置为根据所述预测音乐和所述样本音乐之间的差异，对所述初始音乐生成模型的模型参数进行调整，得到所述音乐生成模型。

在一些实施例中，所述装置还包括：

更新模块，配置为将所述目标音乐和所述目标音乐对应的所述第一音乐参数，更新至目标音乐库；

第三获取模块，配置为在检测到用户的第二输入操作的情况下，获取第二音乐参数；

比对模块，配置为将所述第二音乐参数与所述目标音乐库中的所述第一音乐参数进行比对，得到比对结果

第二确定模块，配置为根据所述比对结果，从所述目标音乐库中确定与所述第二输入操作对应的音乐。

图6是根据本公开一示例性实施例示出的一种电子设备的硬件结构框图一。例如，电子设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，电子设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其它组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其它与为电子设备600生成、管理和分配电力相关联的组件。

多媒体组件608包括在所述电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于电子设备600和其它设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如WI-FI，4G或5G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其它技术来实现。

在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其它电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种音乐生成方法，包括：

根据用户的第一输入操作，获取第一音乐参数；

将所述第一音乐参数输入音乐生成模型，得到初始音乐；

将所述初始音乐输入音色预测模型，得到与所述初始音乐对应的音色参数；

根据所述音色参数和所述初始音乐，得到目标音乐。

图7是根据一示例性实施例示出的一种电子设备的硬件结构框图二。例如，电子设备700可以被提供为一服务器。参照图7，电子设备700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行一种音乐生成方法，包括：

根据用户的第一输入操作，获取第一音乐参数；

将所述第一音乐参数输入音乐生成模型，得到初始音乐；

将所述初始音乐输入音色预测模型，得到与所述初始音乐对应的音色参数；

根据所述音色参数和所述初始音乐，得到目标音乐。

电子设备700还可以包括一个电源组件726被配置为执行电子设备700的电源管理，一个有线或无线网络接口750被配置为将电子设备700连接到网络，和一个输入/输出(I/O)接口757。电子设备700可以操作基于存储在存储器732的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。