演奏校正方法及演奏校正装置

技术领域

本发明涉及对利用者的演奏进行辅助的技术。

背景技术

以往提出有对电子键盘乐器等电子乐器的演奏进行辅助的各种技术。例如在专利文献1中公开了下述技术，即，将利用者通过电子乐器演奏出的音高校正为与乐曲内的和弦相对应的音高。具体地说，乐曲内的播放位置以小节为单位行进，利用者演奏出的音高被校正为与针对该小节所指定出的和弦相对应的音高(例如和弦的构成音的音高)。

专利文献1：日本特开2004－206073号公报

发明内容

但是，基于专利文献1的技术，在演奏者的演奏位置从乐曲内的播放位置乖离的情况下，有可能无法将利用者演奏出的音高校正为适当的音高。另外，在乐曲中也可能包含除了和弦的构成音以外的音高，因此通过校正为和弦的构成音的专利文献1的技术，也有可能无法将利用者演奏出的音高校正为适当的音高。考虑以上的情况，本发明的目的在于适当地对利用者演奏出的音高进行校正。

为了解决以上的课题，本发明的一个的方式所涉及的演奏校正方法包含下述步骤：通过表示利用者演奏出的演奏音高的演奏数据的解析而推定乐曲内的演奏位置；以及将所述演奏数据所表示的演奏音高校正为在所述乐曲内与所述演奏位置相对应的多个参照音高之中的、与该演奏音高的差分低于规定值的参照音高。

本发明的一个的方式所涉及的演奏校正装置具有：演奏解析部，其通过表示利用者演奏出的演奏音高的演奏数据的解析而推定乐曲内的演奏位置；以及音高校正部，其将所述演奏数据所表示的演奏音高校正为在所述乐曲内与所述演奏位置相对应的多个参照音高之中的、与该演奏音高的差分低于规定值的参照音高。

附图说明

图1是例示第1实施方式所涉及的演奏校正装置的结构的框图。

图2是演奏数据及乐曲数据的说明图。

图3是例示演奏校正装置的功能结构的框图。

图4是音高校正处理的说明图。

图5是例示第1实施方式所涉及的音高校正处理的具体顺序的流程图。

图6是例示演奏校正装置的动作的具体顺序的流程图。

图7是例示第2实施方式所涉及的音高校正处理的具体顺序的流程图。

具体实施方式

＜第1实施方式＞

图1是例示本发明的第1实施方式所涉及的演奏校正装置100的结构的框图。演奏校正装置100是对由利用者进行的乐曲的演奏进行校正的演奏辅助系统。演奏校正装置100是通过具有控制装置11、存储装置12、输入装置13、音源装置14和放音装置15的计算机系统实现的。演奏校正装置100例如是移动电话、智能手机或者个人计算机等信息终端。

在第1实施方式的演奏校正装置100连接演奏装置16。演奏装置16是利用者U在乐曲的演奏时使用的输入设备。演奏装置16例如是由利用者U操作的多个键排列而成的键盘乐器型的电子乐器。演奏装置16例如是MIDI(Musical Instrument Digital Interface)乐器。演奏装置16将表示由利用者进行的乐曲的演奏的演奏数据E1供给至演奏校正装置100。此外，也可以将演奏校正装置100和演奏装置16一体地构成。另外，演奏校正装置100和演奏装置16的连接的方式可以是有线及无线的任意者。

图2是演奏数据E1、演奏数据E2及乐曲数据D的说明图。演奏数据E1是表示利用者U使用演奏装置16演奏出的音高(以下称为“演奏音高”)X的时间序列的数据。演奏数据E1例如是针对每个音符对演奏音高X和演奏强度进行指定的MIDI数据。演奏数据E2是表示对演奏数据E1所表示的演奏音高X进行校正后的音高(以下称为“校正音高”)Z的时间序列的数据。演奏数据E2例如是针对每个音符对校正音高Z和演奏强度进行指定的MIDI数据。乐曲数据D对构成乐曲的各音符的音高(以下称为“参照音高”)Y的时间序列进行指定。乐曲数据D换言之是表示对利用者U的演奏内容进行规定的乐谱的乐谱数据。乐曲数据D例如是针对每个音符对参照音高Y和演奏强度进行指定的MIDI数据。

图1的控制装置11例如由CPU(Central Processing Unit)等单个或多个处理电路构成，对演奏校正装置100的各要素进行控制。第1实施方式的控制装置11通过对从演奏装置16供给的演奏数据E1进行校正，从而生成演奏数据E2。

存储装置12例如是由磁记录介质或者半导体记录介质等公知的记录介质构成的单个或多个存储器。存储装置12对由控制装置11执行的程序和由控制装置11使用的各种数据进行存储。此外，存储装置12也可以通过多种记录介质的组合而构成。另外，存储装置12也可以是相对于演奏校正装置100能够装卸的移动型的记录介质、或者演奏校正装置100经由通信网能够通信的外部记录介质(例如联机储存器)。存储装置12对由利用者U演奏的乐曲的乐曲数据D进行存储。

输入装置13接受来自利用者U的指示。输入装置13例如是由利用者U操作的多个操作件、或者对利用者U的接触进行检测的触摸面板。另外，输入装置13也可以是能够进行声音输入的拾音装置。利用者U通过适当地操作输入装置13，能够对数值(以下称为“调整值”)Q进行指示，该调整值Q表示针对演奏音高X的校正的程度。即，调整值Q是与来自利用者U的指示相对应的可变值。

音源装置14生成与由控制装置11生成的演奏数据E2相对应的音响信号A。音响信号A是表示与由演奏数据E2指定的校正音高Z的时间序列相对应的音响的波形的时间信号。此外，音源装置14也可以通过软件音源而实现，该软件音源是控制装置11执行程序而实现的。放音装置15对由音源装置14生成的音响信号A所表示的音响进行播放。放音装置15例如是扬声器或者耳机。此外，演奏校正装置100可以具有将由音源装置14生成的音响信号A从数字变换为模拟的D/A变换器、及对音响信号A进行放大的放大器。另外，音源装置14及放音装置15可以作为其他装置而设置于演奏校正装置100的外部。例如，音源装置14及放音装置15可以通过有线或者无线与演奏校正装置100连接。

图3是对演奏校正装置100的功能进行说明的框图。演奏校正装置100的功能是控制装置11通过执行在存储装置12中存储的程序而实现的。演奏校正装置100包含演奏解析部21和音高校正部22。此外，控制装置11也可以通过相互地分体构成的多个装置而实现。也可以将演奏校正装置100的功能的一部分或者全部通过专用的电子电路而实现。

＜演奏解析部21＞

演奏解析部21通过对演奏数据E1进行解析而推定乐曲内的演奏位置P。演奏位置P是在乐曲内利用者U当前正在演奏的时刻。演奏位置P的推定与由利用者进行的乐曲的演奏并行地被反复进行。因此，由演奏解析部21推定的演奏位置P随着时间的经过而向乐曲内的后方移动。

演奏解析部21关于乐曲内的时间轴上的多个时刻s分别对似然度L(s)进行计算。任意的1个时刻s的似然度L(s)是利用者U在乐曲内的时刻s正在演奏的准确度的指标。演奏解析部21基于演奏位置P在时间上连续这样的条件将似然度L(s)高的时刻s推定为演奏位置P。在演奏位置P的推定时利用例如在日本特开2015－79183号公报中记载的技术。

似然度L(s)例如通过下面的算式(1)表现。

L(s)＝Σ

算式(1)的记号n及记号n'各自表示由演奏装置16可能演奏的N个音高的任意者。算式(1)的变量y(s,n')在乐曲数据D所表示的乐曲内在时刻s演奏出音高n'的情况下设定为数值1，在没有演奏出音高n'的情况下设定为数值0。即，与不同的音高相对应的N个变量y(s,1)～y(s,N)的系列是表示乐曲数据D在时刻s所指定的演奏的内容的N维向量。

算式(1)的变量x(n)在当前时刻利用者U正在演奏音高n的情况下设定为数值1，在利用者U没有演奏音高n的情况下设定为数值0。即，与不同的音高相对应的N个变量x(1)～x(N)的系列是表示当前时刻的由利用者U进行的演奏的内容(具体地说，按键状态)的N维向量。

算式(1)的变量p(n',n)是在乐曲内原本应该演奏音高n'(第1音高的例示)的部位利用者U错误地演奏音高n(第2音高的例示)的概率。概率p(n',n)是关于从N个音高选择任意的2个音高n'及音高n的多个组合分别对由许多演奏者进行的演奏的结果进行统计处理而设定的。概率p(n',n)存在下述倾向，即，在乐曲内的应该演奏音高n'的部位实际上演奏音高n的频度越高则概率p(n',n)越大。

与乐曲数据D相对应的N个变量y(s,1)～y(s,N)的系列和表示由利用者U进行的实际的演奏的N个变量x(1)～x(N)的系列越类似，则算式(1)的似然度L(s)成为越大的数值。另外，演奏解析部21取代音高n'而是将音高n被演奏的概率p(n',n)加入似然度L(s)的计算。因此，演奏解析部21在利用者U错误地演奏的情况下，也能够高精度地推定演奏位置P。

＜音高校正部22＞

音高校正部22对演奏数据E1所表示的演奏音高X进行校正。图4是音高校正部22对演奏音高X进行校正的动作(以下称为“音高校正处理”)的说明图。候选期间C是包含由演奏解析部21推定出的演奏位置P在内的规定长度的期间。候选期间C例如是以演奏位置P为中心相当于4分音符的时间长度的期间。乐曲数据D所指定的M个参照音高Y(1)～Y(M)存在于候选期间C内(M为自然数)。候选期间C内的参照音高Y(m)(m＝1～M)的个数M与乐曲数据D所表示的乐曲的内容和演奏位置P相应地变动。

图5是例示音高校正处理的具体顺序的流程图。与通过利用者U进行的演奏装置16的演奏并行地执行音高校正处理。音高校正处理针对每个演奏音高X依次被执行。

如果开始音高校正处理，则音高校正部22计算音高差。音高差是参照音高Y(m)和演奏音高X的差分|Y(m)－X|。音高校正部22判定在候选期间C内的M个参照音高Y(1)～Y(M)之中是否存在音高差低于调整值Q的参照音高Y(m)(Sa1)。

在候选期间C内存在音高差低于调整值Q的参照音高Y(m)的情况下(Sa1：YES)，音高校正部22将演奏音高X校正为该参照音高Y(m)(Sa2)。即，演奏音高X如图4例示那样，置换为以该演奏音高X为中心在音高轴的方向存在于宽度2Q的范围Δ内的参照音高Y(2)。音高校正部22将演奏数据E2输出至音源装置14，该演奏数据E2是取代演奏音高X而将参照音高Y(m)作为校正音高Z进行设定而得到的。此外，在关于多个参照音高Y(m)而音高差低于调整值Q的情况下，音高校正部22将音高差成为最小的参照音高Y(m)作为校正音高Z进行设定。

另一方面，在候选期间C内不存在音高差低于调整值Q的参照音高Y(m)的情况下(Sa1：NO)，音高校正部22不校正演奏音高X(Sa3)。即，在候选期间C内的M个参照音高Y(1)～Y(M)的全部位于范围Δ的外侧的情况下，不校正演奏音高X。音高校正部22将演奏数据E2输出至音源装置14，该演奏数据E2是将演奏音高X作为校正音高Z进行设定而得到的。

与来自利用者U的指示相对应的调整值Q越大(即范围Δ越宽)，则演奏音高X越容易被校正为参照音高Y(m)。即，调整值Q相当于用于决定针对演奏音高X的校正程度(例如校正的频度)的系数。根据以上的结构，例如能够与利用者U所涉及的演奏的熟练度相应地对针对演奏音高X的校正程度进行调整。例如，在利用者U不熟悉演奏的阶段，通过将调整值Q设定为大的数值，从而设定为演奏音高X容易被校正的状态。另一方面，在利用者U熟悉演奏的阶段，通过将调整值Q设定为小的数值，从而设定为演奏音高X不易被校正的状态。

图6是例示由演奏校正装置100执行的动作的具体顺序的流程图。演奏解析部21通过对从演奏装置16供给的演奏数据E1进行解析，从而推定乐曲内的演奏位置P(Sb1)。音高校正部22通过图5中例示出的音高校正处理，将利用者U演奏出的演奏音高X校正为与演奏位置P相对应的M个参照音高Y(1)～Y(M)之中的、与演奏音高X的音高差低于调整值Q的参照音高Y(m)(Sb2)。如前所述，在候选期间C内不存在音高差低于调整值Q的参照音高Y(m)的情况下，音高校正部22不校正演奏音高X。音高校正部22将表示音高校正处理后的校正音高Z的演奏数据E2输出至音源装置14(Sb3)。因此，将与候选期间C内的任意的参照音高Y(m)接近的演奏音高X被校正为该参照音高Y(m)、从参照音高Y(m)乖离的演奏音高X被维持为该音高的演奏音，从放音装置15进行播放。此外，图6的处理也可以以规定的周期反复进行。

如以上的说明那样，利用者U演奏出的演奏音高X被校正为与根据该演奏推定出的演奏位置P相对应的M个参照音高Y(1)～Y(M)之中的、与演奏音高X的音高差低于调整值Q的参照音高Y(m)。因此，演奏校正装置100能够将该演奏音高X校正为在乐曲内与利用者U的演奏位置P相对应、且在该乐曲内与演奏音高X接近的适当的参照音高Y(m)。

＜第2实施方式＞

对本发明的第2实施方式进行说明。此外，在下面的各例示中对功能与第1实施方式相同的要素沿用在第1实施方式的说明中使用的标号而适当省略各自的详细说明。在第2实施方式中，由音高校正部22执行的音高校正处理的内容与第1实施方式不同。通过演奏解析部21进行的演奏位置P的推定与第1实施方式相同。

图7是例示第2实施方式中的音高校正处理的具体顺序的流程图。音高校正处理针对每个演奏音高X被依次执行。如果开始音高校正处理，则音高校正部22对通过下面的算式(2)表现的指标W进行计算(Sc1)。

W＝α|d|+|Y(P+d,k)－X|…(2)

算式(2)的记号Y(P+d,k)表示关于从演奏位置P以时间d分离的时刻(P+d)由乐曲数据D所指定的K个参照音高Y(s,1)～Y(s,K)的任意者(k＝1～K)。记号K是表示在乐曲内的时刻(P+d)并列地演奏的参照音高Y的个数(例如构成和音的音符的总数)的可变值。时间d是任意的数值(正数、负数或零)。算式(2)的系数α被设定为规定的正数(例如大于或等于1的正数)。

如根据算式(2)中的右边的第1项所理解那样，从演奏位置P起的时间d越小的参照音高Y(P+d,k)，则指标W成为越小的数值。另外，如根据算式(2)中的右边的第2项所理解那样，与演奏音高X的音高差|Y(P+d,k)－X|越小的参照音高Y(P+d,k)，则指标W成为越小的数值。音高校正部22对使以上说明的指标W最小化的时间d及变量k的组合进行搜索(Sc2)。即，音高校正部22对从演奏位置P起在时间轴上接近(即时间d小)、且与演奏音高X接近的1个参照音高(以下称为“选择参照音高”)Y(P+d,k)进行选择。系数α越大，则时间d对指标W的影响越增大，因此时间d大的参照音高Y(P+d,k)不易被选择。即，系数α是相对于时间d的加权值。此外，将系数α设定为零的结构相当于第1实施方式。

音高校正部22判定演奏音高X和选择参照音高Y(P+d,k)的音高差是否低于调整值Q(Sc3)。音高差能够通过|Y(P+d,k)－X|求出。与第1实施方式同样地，调整值Q是与来自利用者U的指示相对应的可变值。在音高差低于调整值Q的情况下(Sc3：YES)，音高校正部22将演奏音高X校正为选择参照音高Y(P+d,k)(Sc4)。即，音高校正部22将演奏数据E2输出至音源装置14，该演奏数据E2是取代演奏音高X而将选择参照音高Y(P+d,k)作为校正音高Z进行设定而得到的。另一方面，在音高差高于调整值Q的情况下(Sc3：NO)，音高校正部22不校正演奏音高X(Sc5)。即，音高校正部22将演奏数据E2输出至音源装置14，该演奏数据E2是将演奏音高X作为校正音高Z进行设定而得到的。

如根据以上的说明所理解那样，在第2实施方式中，将该演奏音高X校正为在乐曲内在时间轴上与演奏位置P接近、且与该演奏音高X的音高差低于调整值Q的选择参照音高Y(P+d,k)。即，演奏校正装置100能够将利用者U演奏出的演奏音高X校正为在时间轴上与演奏位置P接近、且与该演奏音高X的音高差小的适当的参照音高Y。

＜变形例＞

下面，对在以上例示出的各方式附加的具体的变形方式进行例示。可以将从下面的例示中任意地选择出的2个以上的方式在不相互矛盾的范围适当地合并。

(1)在第1实施方式中，在关于多个参照音高Y(m)而音高差低于调整值Q的情况下，将音高差成为最小的参照音高Y(m)作为校正音高Z进行设定。但是，在多个参照音高Y(m)之中对作为校正音高Z设定的参照音高Y(m)进行选择的方法并不限定于以上的例示。例如，也可以与对在2个音高间发生演奏错误的频度进行合计得到的结果相应地，在多个参照音高Y(m)之中对作为校正音高Z进行设定的参照音高Y(m)进行选择。具体地说，针对音高的每个组合事先对在不同的2个音高间发生演奏错误的频度的指标(以下称为“演奏错误指标”)进行合计。音高校正部22将音高差低于调整值Q的多个参照音高Y(m)之中的、演奏错误指标最大的1个参照音高Y(m)作为校正音高Z进行选择。根据以上的结构，能够对容易发生演奏错误的音高的组合所涉及的演奏音高X优先进行校正。

(2)在前述的各方式中，关于乐曲的整体对演奏音高X进行了校正，但也可以关于乐曲内的特定的期间而限定性地对演奏音高X进行校正。

(3)在前述的各方式中，例示出键盘乐器型的演奏装置16，但演奏装置16的具体形式是任意的。例如也可以利用管乐器型或者弦乐器型的演奏装置16。

(4)可以通过在与移动电话或者智能手机等信息终端之间进行通信的服务器装置而实现演奏校正装置100。例如，演奏校正装置100从连接有演奏装置16的信息终端接收演奏数据E1，根据该演奏数据E1生成演奏数据E2而发送至终端装置。

(5)前述的各方式所涉及的演奏校正装置100如各方式中的例示那样，通过计算机(具体地说是控制装置11)和程序的协同动作而实现。前述的各方式所涉及的程序以储存于计算机可读取的记录介质中的方式被提供而能够安装于计算机。记录介质例如是非易失性(non-transitory)的记录介质，优选例为CD-ROM等光学式记录介质(光盘)，但能够包含半导体记录介质或者磁记录介质等公知的任意形式的记录介质。此外，非易失性的记录介质包含除了暂时性的传输信号(transitory,propagating signal)以外的任意的记录介质，并不是将易失性的记录介质排除在外。另外，也能够通过经由通信网的传送的方式将程序传送至计算机。

(6)根据以上例示出的方式，例如掌握以下的结构。

本发明的一个方式(第1方式)所涉及的演奏校正方法是，通过表示利用者演奏出的演奏音高的演奏数据的解析而推定乐曲内的演奏位置，将所述演奏数据所表示的演奏音高校正为在所述乐曲内与所述演奏位置相对应的多个参照音高之中的、与该演奏音高的差分低于规定值的参照音高。根据以上的方式，将利用者演奏出的演奏音高校正为与根据该演奏推定出的演奏位置相对应的多个参照音高之中的、与该演奏音高的差分低于规定值的参照音高。因此，能够将演奏音高校正为在乐曲内与利用者的演奏位置相对应、且在该乐曲内与演奏音高接近的适当的参照音高。

在第1方式的例子(第2方式)中，在所述演奏音高的校正中，将所述演奏音高校正为在所述乐曲内包含所述演奏位置的候选期间内的多个参照音高之中的、与该演奏音高的差分低于所述规定值的参照音高。根据以上的方式，能够将利用者演奏出的演奏音高校正为在包含演奏位置的候选期间内与演奏音高的音高差小的适当的参照音高。

在第1方式的例子(第3方式)中，在所述演奏音高的校正中，将所述演奏音高校正为在所述乐曲内在时间轴上与所述演奏位置接近、且与该演奏音高的差分低于所述规定值的参照音高。根据以上的方式，能够将利用者演奏出的演奏音高校正为在时间轴上与演奏位置接近、且与演奏音高的音高差小的适当的参照音高。

在第1方式至第3方式的任意例子(第4方式)中，所述规定值是与来自利用者的指示相对应的可变值。根据以上的方式，与参照音高和演奏音高之间的差分进行比较的规定值是与来自利用者的指示相对应的可变值，因此例如能够与利用者的演奏的熟练度相应地对演奏音高的校正程度(例如频度)进行调整。

在第1方式至第4方式的任意例子(第5方式)中，在所述演奏位置的推定中，关于第1音高和第2音高的多个组合的各个组合，利用将所述第1音高错误地演奏为第2音高的概率，对所述演奏位置进行推定。在以上的方式中，将第1音高错误地演奏为第2音高的概率被利用于演奏位置的推定，因此在利用者错误演奏的情况下，也能够高精度地推定乐曲内的演奏位置。

在第1方式至第5方式的任意例子(第6方式)中，在所述演奏数据所表示的演奏音高和在所述乐曲内与所述演奏位置相对应的多个参照音高各自的差分高于所述规定值的情况下，不校正该演奏音高。在以上的方式中，在演奏音高和多个参照音高各自的差分高于规定值的情况下不校正演奏音高，因此能够适当地维持利用者演奏出的演奏音高。

作为执行以上例示出的各方式的音响解析方法的音响解析装置，或者使计算机执行以上例示出的各方式的音响解析方法的程序，也会实现本发明的优选的方式。

标号的说明

100…演奏校正装置，11…控制装置，12…存储装置，13…输入装置，14…音源装置，15…放音装置，16…演奏装置，21…演奏解析部，22…音高校正部。