行驶声音库、用于生成行驶声音库的装置以及包括行驶声音库的车辆

相关申请的交叉引用

本申请要求2020年6月26日提交的韩国专利申请No.10-2020-0078536号的优先权，该申请的全部内容通过引用结合于此用于所有目的。

技术领域

本发明涉及一种行驶声音库、用于生成行驶声音库的装置以及包括用于存储各种主题的行驶声音的行驶声音库的车辆。

背景技术

车辆是最常用的交通工具，并且车辆的数量正在增加。过去，车辆不会用作交通工具以外的用途，但近年来，车辆已不仅仅用作交通工具。因此，许多人享受摩托车和赛车一样的速度，而那些享受这种速度感的人享受包括由车辆的发动机生成的操作声音和振动声音。因此，一些驾驶员改造发动机以获得想要的行驶声音。

具体地，对于电动车辆，由于不存在由车辆发动机生成的工作声音和振动声音，因此也输出了通过扬声器人工生成的行驶声音。然而，由于提供给车辆的行驶声音是制造商提前设计的行驶声音，因此难以满足驾驶员对发动机声音的要求。

发明内容

提供了行驶声音库、用于生成行驶声音库的装置以及包括存储被分类为各种主题的行驶声音的行驶声音库的车辆。

根据本发明的一个方面，提供了一种行驶声音库，其通过以下方法生成，所述方法可以包括：分析被分类为多个类别的多个声源中的每个声源的频率特性和时间特性；基于频率特性和时间特性来确定与多个声源中的每个声源相对应的和弦；生成通过应用与多个声源中的每个声源相对应的和弦对多个声源中的每个声源进行调制的多个调制声源；利用多个声源和多个调制声源作为输入数据来生成多个行驶声源；基于多个行驶声源和与预设范围的发动机每分钟转数(revolutions per minute，RPM)相对应的多个发动机声音级数来改变多个行驶声源的音高并生成多个行驶声音；接收多个行驶声音的每个主题的分数；彼此相关联地存储多个行驶声音和多个行驶声音中的每个行驶声音的主题。

分析被分类为多个类别的多个声源中的每个声源的频率特性和时间特性可以包括：根据频带对多个声源中的每个声源进行分类；将多个声源中的每个声源分类为具有连续声音的第一声源和具有不连续声音的第二声源。生成通过应用与多个声源中的每个声源相对应的和弦对多个声源中的每个声源进行调制的多个调制声源可以包括：将相同的和弦应用于在第一声源或第二声源内被分类为相同频带的声源。

利用多个声源和多个调制声源作为输入数据来生成多个行驶声源可以包括：利用通过将每个时间段的多个声源划分而获得的声源作为WaveGan的输入数据。基于多个行驶声源和与预设范围的发动机RPM相对应的多个发动机声音级数来改变多个行驶声源的音高并生成多个行驶声音可以包括：改变多个行驶声源的音高，使得多个行驶声源的频率与多个发动机声音级数的频率之间的差值小于或等于预设值。

另外，接收多个行驶声音的每个主题的分数可以包括：接收多个行驶声音中的每个行驶声音的第一主题的分数和第二主题的分数，并且彼此相关联地存储多个行驶声音和多个行驶声音中的每个行驶声音的主题可以包括：通过在多个行驶声音中将具有第一主题分数最高的行驶声音分类为第一主题并且将具有第二主题分数最高的行驶声音分类为第二主题来进行存储。

根据本发明的一方面，一种用于生成行驶声音库的装置可以包括：数据库，其配置为存储被分类为多个类别的多个声源；至少一个处理器，其配置为：分析多个声源中的每个声源的频率特性和时间特性；基于频率特性和时间特性来确定与多个声源中的每个声源相对应的和弦；生成通过应用与多个声源中的每个声源相对应的和弦对多个声源中的每个声源进行调制的多个调制声源；利用多个声源和多个调制声源作为输入数据来生成多个行驶声源；基于多个行驶声源和与预设范围的发动机RPM相对应的多个发动机声音级数来改变多个行驶声源的音高并生成多个行驶声音；输入装置，其配置为接收多个行驶声音的每个主题的分数；以及行驶声音库。至少一个处理器可以配置为彼此关联地存储多个行驶声音和多个行驶声音中的每个行驶声音的主题。

另外，至少一个处理器可以配置为：根据频带对多个声源中的每个声源进行分类；将多个声源中的每个声源分类为具有连续声音的第一声源和具有不连续声音的第二声源。至少一个处理器可以配置为：将相同的和弦应用于在第一声源或第二声源内被分类为相同频带的声源。

此外，至少一个处理器可以配置为：利用通过将每个时间段的多个声源划分而获得的声源作为WaveGan的输入数据。至少一个处理器可以配置为：改变多个行驶声源的音高，使得多个行驶声源的频率与多个发动机声音级数的频率之间的差值小于或等于预设值。

输入装置可以配置为：接收多个行驶声音的每个主题的分数。具体地，输入装置可以配置为：接收多个行驶声音中的每个行驶声音的第一主题的分数和第二主题的分数，至少一个处理器可以配置为通过在多个行驶声音中将具有第一主题分数最高的行驶声音分类为第一主题并且将具有第二主题分数最高的行驶声音分类为第二主题来存储行驶声音。

根据本发明的一方面，一种车辆可以包括行驶声音库、扬声器以及控制器，所述控制器配置为：基于在导航系统中输入的车辆的目的地或车辆正在行驶的道路信息，从存储在行驶声音库中的多个行驶声音的主题中选择任意一个主题，并操作扬声器以输出与选择的主题相关联存储的多个行驶声音。

控制器可以配置为：基于车辆的输出扭矩、速度、加速踏板压力中的至少一项来选择与选择的主题相关联存储的多个行驶声音中的至少一种行驶声音。控制器也可以配置为：基于车辆的输出扭矩、速度和加速踏板压力中的至少一项来确定与选择的主题相关联存储的至少多个行驶声音的音量。

附图说明

通过随后结合附图所呈现的具体描述将更为清楚地理解本发明目的、特征以及优点，其中：

图1是根据示例性实施方案的用于生成行驶声音库的装置的控制框图。

图2是根据示例性实施方案的用于生成行驶声音库的装置的控制流程图。

图3是示出根据示例性实施方案的存储在数据库中的多个声源的图。

图4示出了通过将多个和弦应用于声源来生成多个调制声源的步骤。

图5示出了根据实施方案的通过人工神经网络模型生成多个行驶声音的步骤。

图6是根据示例性实施方案的车辆的控制框图。

图7是示出根据示例性实施方案的车辆控制的流程图。

具体实施方式

应当理解的是，本文所使用的术语“车辆”或“车辆的”或其它类似术语包括一般机动车辆，例如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只以及航空器等等，并且包括混合动力车辆、电动车辆、内燃机车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如，源于非化石能源的燃料)。

虽然示例性实施方案描述为使用多个单元执行示例性的过程，但是应当理解的是，示例性的过程也可以由一个或更多个模块进行。此外，应当理解的是，术语“控制器/控制单元”指的是包括存储器和处理器的硬件装置，并且经过专门编程以执行本文所述的过程。存储器配置为对模块进行存储，并且处理器具体配置为执行所述模块以进行以下进一步描述的一个或更多个过程。

此外，本发明的控制逻辑可以实施为计算机可读介质上的非易失性计算机可读介质，其包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪盘驱动器、智能卡和光学数据存储装置。计算机可读记录介质还可以分布在网络连接的计算机系统上，使得计算机可读介质例如通过远程信息处理服务器或控制器局域网(CAN)以分布方式存储和执行。

除非特别声明或者从上下文显而易见的，本文所使用的术语“大约”理解为在本领域的正常公差范围内，例如在平均值的2个标准差内。“大约”可以理解为在指定值的10％、9％、8％、7％、6％、5％、4％、3％、2％、1％、0.5％、0.1％、0.05％或者0.01％之内。除非上下文另有清楚的说明，否则本文所提供的所有数值通过术语“大约”进行修饰。

相同的附图标记都指代相同的元件。本发明没有描述示例性实施方案的所有元件，并且在本发明所属的技术领域中的通常内容或实施方案之间的重叠部分。本说明书没有描述本发明的示例性实施方案的所有元件，并且可以省略对本领域公知的内容的详细描述，或者可以省略对大致上相同的配置的冗余描述。

在整个说明书中，当一个元件称为“连接到”另一个元件时，它可以直接或间接连接到另一个元件，并且“间接连接到”包括经由无线通信网络连接到另一个元件。说明书中使用的术语“部件、模块、构件、块”可以以软件或硬件来实现，并且多个“部件、模块、构件、块”可以实现为一个组件，一个“部件、模块、构件、块”也可以包括多个组件。在整个说明书中，当一个元件称为“连接到”另一个元件时，它可以直接或间接连接到另一个元件，并且“间接连接到”包括经由无线通信网络连接到另一个元件。

另外，当部件称为“包括”某个组件时，这意味着它可以进一步包括其他组件，而不排除其他组件，除非另有说明。单数表述包括复数表述，除非上下文明确指出。另外，诸如“～单元”、“～组”、“～块”、“～部件”和“～模块”之类的术语可以表示处理至少一个功能或操作的单元。例如，这些术语可以指诸如现场可编程门阵列(FPGA)/专用集成电路(ASIC)的至少一种硬件、存储在存储器中的至少一种软件，或由处理器处理的至少一种处理。

附加到每个步骤的符号用于标识每个步骤，并且这些符号不指示每个步骤的顺序，每个步骤的执行均与指定的顺序不同，除非在上下文中明确指出了特定顺序。在下文中，将参考附图描述本发明的工作原理和示例性实施方案。

图1是根据示例性实施方案的用于生成行驶声音库的装置的控制框图。参考图1，根据示例性实施方案的用于生成行驶声音库的装置100可以包括数据库110、输入装置120和处理器130，数据库110配置为存储被分类为多个类别的多个声源；输入装置120配置为接收多个行驶声音的每个主题的分数；处理器130配置为基于存储在数据库110中的声源和通过输入装置120的输入来生成多个行驶声音，并且通过对多个行驶声音和主题进行链接来将行驶声音存储在行驶声音库140中。

根据示例性实施方案的数据库110可以配置为存储被分类为多个类别的多个声源。具体地，多个类别可以指诸如自然声音、动物声音、乐器声音、ASMR声音和音效之类的类别，但不限于此。

图3是示出根据示例性实施方案的存储在数据库中的多个声源的图。参考图3，多个声源可以被分类为多个类别中的每个。例如，被分类为乐器声音的多个声源可以包括诸如低音号、钟和大提琴的声源。因此，多个声源可以由操作者采集并分类，并存储在数据库110中。

配置为存储多个声源的数据库110可以由非易失性存储器件或易失性存储器件或存储介质中的至少一种来实现，非易失性存储器件诸如用于存储各种信息的高速缓存、只读存储器(ROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)和闪存，易失性存储器件诸如随机存取存储器(RAM)，存储介质诸如硬盘驱动器(HDD)或CD-ROM，但不限于此。数据库110可以是以单独的芯片实现的存储器，或者可以利用至少一个处理器130和单个芯片来实现。

根据示例性实施方案的输入装置120可以配置为从用户接收多个行驶声音的每个主题的分数。具体地，在收听到特定的行驶声音之后，用户可以通过输入装置120输入行驶声音的每个主题的分数。具体地，用于行驶声音的主题可以被分类为多个主题。例如，行驶声音的主题可以被分类为娱乐、商务、放松和旅行。

例如，在收听到特定的行驶声音之后，用户可以通过输入装置120接收听到的行驶声音的每个主题的分数，诸如“娱乐：8分，商务：2分，放松：4分，旅行：6分”。因此，输入装置120不仅可以包括可以直接从用户输入每个主题的分数的配置，诸如键盘、鼠标、触摸屏、旋钮等，输入装置120还可以包括通信模块，其配置为接收通过外部终端输入的每个主题的分数以及间接接收每个主题的分数。

根据示例性实施方案的配置为生成行驶声音库的装置100可以包括配置为存储各种程序的至少一个存储器(未示出)，各种程序诸如用于分析多个声源的频率和时间特性的程序、通过选择与多个声源相对应的和弦来调制多个声源的程序、利用人工神经网络模型基于少量声源来生成大量行驶声源的程序、以及用于分类和存储多个行驶声音的程序。

存储在存储器中的程序包括：自然语言处理(NLP，Natural LanguageProcessing)算法、K均值(K-means)算法、卷积神经网络(CNN，Convolutional NeuralNetworks)算法、生成式对抗网络(GAN，Generative Adversarial Networks)算法、递归神经网络(RNN，Recurrent Neural Networks)算法、长短期记忆(LSTM，Long Short-TermMemory)算法(其是一种RNN算法)、以及人工智能算法(人工神经网络模型，诸如基于区域的卷积神经网络(R-CNN，Region Based Convolutional Neural Networks)算法)。至少一个处理器130可以执行存储在上述存储器中的各种程序。具体地，至少一个处理器130可以配置为通过执行存储在存储器中的至少一个程序来生成多个行驶声音，并且可以将多个行驶声音和多个行驶声音的各个主题彼此关联地存储在行驶声音库140中。

行驶声音库140可以由非易失性存储器件或易失性存储器件或存储介质中的至少一种来实现，非易失性存储器件诸如用于存储各种信息的高速缓存、只读存储器(ROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)和闪存，易失性存储器件诸如随机存取存储器(RAM)，存储介质诸如硬盘驱动器(HDD)或CD-ROM，但是不限于此。行驶声音库140可以是实现为单独的芯片的存储器，或者可以实现为具有至少一个处理器130或数据库110的单个芯片。

上面已经描述了根据示例性实施方案的用于生成行驶声音库的装置100的配置。在下文中，将参照图2至图5详细地描述生成行驶声音库140的方法。图2是根据示例性实施方案的用于生成行驶声音库的装置的控制流程图。图3是示出根据示例性实施方案的存储在数据库中的多个声源的图。图4示出了通过将多个和弦应用于声源来生成多个调制声源的步骤。图5示出了根据示例性实施方案的通过人工神经网络模型生成多个行驶声音的步骤。

参考图2，至少一个处理器130可以配置为分析存储在数据库110中的被分类为多个类别的多个声源中的每个声源的频率特性和时间特性(1000)。具体地，至少一个处理器130可以配置为根据频带对多个声源进行分类。例如，基于多个声源的频率特性，至少一个处理器130可以配置为选择具有1kHz或更低的频带的声源作为第一组，选择具有高于1kHz且低于5kHz的频带的声源作为第二组，并且具有高于5kHz且低于10kHz的频带的声源可以被分类为第三组。

另外，至少一个处理器130可以配置为基于多个声源的时间特性将多个声源分类为多个组。例如，至少一个处理器130可以配置为基于多个声源的时间特性，将具有连续声音的声源分类为第一组，将具有不连续声音的声源分类为第二组，将具有可变声音的声源分类为第三组，将具有固定声音的声源分类为第四组。此后，至少一个处理器130可以配置为根据多个声源的分类来确定与多个声源中的每个声源相对应的和弦。

换句话说，至少一个处理器130可以配置为基于多个声源的频率特性和时间特性来确定与多个声源中的每个声源相对应的和弦(1100)。具体地，至少一个处理器130可以配置为设定基于频率和时间特性分类的声源以进行分析，然后根据该设定来分析声源以选择最合适的和弦。例如，至少一个处理器130可以配置为设定声源的分析区间和长度、窗口类型、采样频率等，并且进行FFT分析。

此后，至少一个处理器130可以配置为确定与多个声源中的每个声源相对应的和弦。例如，至少一个处理器130可以配置为将大七和弦应用于具有大于1kHz且小于5kHz的频带并且具有连续声音的声源。换句话说，至少一个处理器130可以配置为将相同的和弦应用于由相同的频带分类并且具有相同的时间特性的声源。

参考图4，至少一个处理器130可以配置为通过分别将小三和弦(Cm)、大三和弦(C)和小七和弦(CM7)应用于声源来生成三个调制声源。换句话说，至少一个处理器130可以配置为生成通过应用与多个声源中的每个声源相对应的和弦对多个声源中的每个声源进行调制的多个调制声源(1200)。

此后，至少一个处理器130可以配置为基于数据库110中存储的多个声源以及多个声源，利用生成的调制声源作为WaveGAN的输入数据来生成多个行驶声源(1300)。另外，至少一个处理器130可以配置为对每个时间段的多个声源进行划分，并且利用所述声源作为WaveGAN的输入数据。

具体地，至少一个处理器130可以配置为利用声源、对每个时间段的声源进行划分的多个声源、以及通过将和弦应用于声源而调制的调制声源作为WaveGAN的输入数据。例如，如果将3个声源划分为10个时间间隔，并对其应用4个和弦，则可以用作WaveGAN的输入数据的声源数量将增加到120个(3×10×4＝120)。换句话说，根据示例性实施方案的用于生成行驶声音库的装置100可以配置为通过少量的声源来生成大量的行驶声源。

参考图5，当将被分类为自然声音的一个声源用作WaveGAN的输入数据时，可以生成许多行驶声源。此后，至少一个处理器130可以配置为基于生成的多个行驶声源和与预设范围内的发动机RPM相对应的多个发动机声音级数来改变多个行驶声源的音高并生成多个行驶声音(1400)。

例如，至少一个处理器130可以配置为由将通过WaveGAN生成的多个行驶声源与大约1000至6000rpm的发动机RPM相关联来调制声源以提升音高。具体地，至少一个处理器130可以配置为通过改变多个行驶声源的音高来生成多个行驶声音，使得多个行驶声源的频率与多个发动机声音级数的频率之间的差小于或等于预设值。

例如，随着发动机声音级数的增加，可以通过改变行驶声源的音高来生成与每个发动机声音级数相对应的多个行驶声音，使得行驶声源具有高频带。之后，用户可以收听生成的多个行驶声音，随后通过输入装置120输入多个行驶声音的每个主题的分数。输入装置120可以配置为从用户接收多个行驶声音的特定主题的分数，并且将多个行驶声音的特定主题的分数发送到至少一个处理器130。

至少一个处理器130可以配置为基于从输入装置120接收到的多个行驶声音的特定主题的分数来对多个行驶声音进行分类，并将分类的行驶声音存储在行驶声音库140中(1500)。具体地，输入装置120可以配置为对多个行驶声音中的每个行驶声音接收旅行主题(在下文中为“第一主题”)的分数和商务主题(在下文中为“第二主题”)的分数，至少一个处理器130可以配置为在多个行驶声音中将具有第一主题分数最高的行驶声音分类为第一主题，具有第二主题分数最高的行驶声音分类为第二主题，并将该行驶声音存储于行驶声音库140。

例如，当对于特定的行驶声音，第一主题的分数是9分，而第二主题的分数是7分时，至少一个处理器130可以配置为将该特定的行驶声音分类为第一主题，并将该声音存储在行驶声音库140中。另外，当对于特定的行驶声音，第一主题的分数是5分，而第二主题的分数是7分时，至少一个处理器130可以配置为将该行驶声音分类为第二主题，并将该声音存储在行驶声音库140中。

结果是，行驶声音库140可以配置为存储被分类为多个主题的多个行驶声音。根据上述的行驶声音库140和用于生成行驶声音库的装置100，即使利用少量的声源，也具有通过生成多个行驶声音来提供各种行驶声音的优点。

在下文中，将参照图6至图7来描述根据示例性实施方案的包括行驶声音库140的车辆10。图6是根据示例性实施方案的车辆的控制框图，图7是根据示例性实施方案的车辆的控制流程图。参考图6，根据示例性实施方案的车辆10可以包括控制器11、行驶声音库140、导航系统12和扬声器13，控制器11配置为通过从行驶声音库140选择行驶声音来操作扬声器13以输出行驶声音。

行驶声音库140可以通过图2的每个步骤来生成。导航系统12可以配置为基于由用户输入的车辆10的目的地来生成行驶路线信息。另外，导航系统12可以基于车辆10的当前位置来提供车辆10正在行驶的道路信息。例如，导航系统12可以配置为将车辆10正在高速公路上行驶的信息发送到控制器11。扬声器13可以配置为在车辆10内部输出各种声音。用于该目的的扬声器13可以设置于车辆10的两个车门，或者可以无限制地设置在车辆10内部的驾驶员可以听到声音输出的任何位置。

参考图7，控制器11可以配置为接收来自导航系统12的输入到导航系统12的车辆10的目的地或关于车辆10正在行驶的道路的信息(2000)。之后，控制器11可以配置为基于输入到导航系统12的车辆10的目的地或关于车辆10正在行驶的道路信息，从存储在行驶声音库140中的多个行驶声音的主题中选择任意一个主题(2100)，并且可以配置为在选择的主题内选择行驶声音(2200)并且操作扬声器13以输出至少一个选择的行驶声音(2300)。

例如，当输入到导航系统12的车辆10的目的地是办公室时，控制器11可以配置为将输入确定为“商务主题”，并从存储在行驶声音库140中的多个行驶声音中选择至少一个行驶声音。另外，当关于车辆10正在行驶的道路信息是高速公路时，控制器11可以配置为从被分类为“旅行主题”并存储在行驶声音库140中的多个行驶声音中选择至少一个行驶声音。

换句话说，控制器11可以配置为选择最适合输入到导航系统12的车辆10的目的地的主题或最适合关于车辆10正在行驶的道路信息的主题。因此，控制器11可以包括存储器，所述存储器中存储有目的地与主题之间的匹配关系和/或道路信息与主题之间的匹配关系。

控制器11可以配置为通过车载通信网络(CAN)接收各种信号。另外，控制器11可以配置为从与基于车辆10的输出扭矩、速度和加速踏板压力中的至少一个而选择的主题相关联存储的多个行驶声音中选择至少一个行驶声音。例如，当与车辆10的输出扭矩、速度和加速踏板压力相对应的发动机RPM被确定为大约2000rpm时，控制器11可以配置为在与选择的主题相关联存储的多个行驶声音中，选择其音高基于与大约2000rpm相对应的发动机声音级数而改变的行驶声源。

另外，控制器11可以配置为基于车辆10的输出扭矩、速度和加速踏板压力来确定选择的行驶声音的音量。例如，随着车辆10的输出扭矩、速度和加速踏板压力的增加，可以确定选择的行驶声音的音量。因此，根据示例性实施方案的车辆10基于目的地信息和道路环境来选择主题，并且输出由选择的主题分类的行驶声音，因此可以满足用户的各种需求。

另外，根据示例性实施方案的车辆10可以配置为选择基于发动机声音级数预先调制并存储在行驶声音库140中的行驶声音，因此，车辆10可以根据车辆10的输出扭矩、速度和加速踏板的踏板压力的变化，来迅速反映出行驶声音的音高变化。

另一方面，公开的示例性实施方案可以采用存储可由计算机执行的指令的记录介质的形式来实现。这些指令可以采用程序代码的形式来存储，并且当通过处理器执行时，这些指令可以配置为生成程序模块以执行公开的实施方案的各个步骤。记录介质可以实现为非易失性计算机可读记录介质。

非易失性计算机可读记录介质包括其中可以由计算机解码的指令的所有类型的记录介质。例如，可以为只读存储器(ROM)、随机存取存储器(RAM)、磁带、磁盘、闪存、光学数据存储装置等。

如上所述，已经参考附图描述了所公开的示例性实施方案。尽管已经显示并描述了本发明的示例性实施方案，但是本领域技术人员能够理解的是，在不偏离本发明的原理和精神的情况下，可以对这些示例性实施方案进行修改，本发明的范围由所附权利要求及其等同形式所限定。

根据本发明，可以通过向用户输出被分类为各种主题的行驶声音来满足用户的请求。此外，根据本发明，通过基于车辆的目的地或当前位置输出各种主题的行驶声音，可以提高用户满意度。