一种基于光电信息的木钢琴弹奏检测方法

技术领域

本申请涉及钢琴教学技术领域，尤其涉及一种基于光电信息的木钢琴弹奏检测方法。

背景技术

在钢琴教育领域中，演奏者在独自练习或是在课上练习时，常常难以定量地把握弹奏时琴键的正确度、强弱和节奏等要素。为此，市面上出现了一些通过琴键对弹奏是否正确进行检测的检测技术装置。

然而，市面上的同领域产品大部分集中在电钢琴与电子琴的装置上；而木钢琴因其制造工艺的特殊性，导致难以在上面增添相关的检测装置，即使将相关的检测装置勉强增添到木钢琴上，存在以下缺陷：

1、检测装置与木钢琴原有机械结构耦合度过高。在改造木钢琴时，可能存在破坏木钢琴原有机械结构的风险。

2、采集的信息要素较少。当前的木钢琴或电子琴琴键检测技术只能对琴音的正确度与节奏进行反馈，不能检测出强弱与情感色彩等信息要素。

发明内容

本申请提供了一种基于光电信息的木钢琴弹奏检测方法，能够解决现有的应用到木钢琴上弹奏检测装置存在的与木钢琴耦合度过高以及采集的信息要素较少的问题。

本申请的技术方案是一种基于光电信息的木钢琴弹奏检测方法，所述方法包括：

S1：根据木钢琴中的琴键安装传感器；

S2：确定若干个目标曲目，以及基于预设的采样周期，通过传感器对木钢琴正确弹奏目标曲目时的对照弹奏过程进行采样，得到每个目标曲目的对照弹奏过程中基于时序的关于被按压的琴键的光电对照信号集；

S3：分别对光电对照信号集中的每个光电对照信号进行强弱分析和节奏分析，得到光电对照信号分析结果，以及基于光电对照信号分析结果建立基于若干个目标曲目的弹奏检测模型；

S4：基于预设的采样周期，通过传感器对木钢琴实际弹奏目标曲目时的实际弹奏过程进行采样，得到实际弹奏过程中基于时序的关于被按压的琴键的光电实际信号集；

S5：输入光电实际信号集至弹奏检测模型，所述弹奏检测模型以光电对照信号集为检测依据对光电实际信号集中每个光电实际信号进行强弱检测和节奏检测，输出弹奏过程中基于时序的关于琴键的检测结果。

可选地，所述步骤S1包括：

S11：根据木钢琴中的琴键安装传感器，每个琴键对应两个传感器；

以及，所述步骤S2包括：

S21：确定目标曲目，以及基于预设的采样周期，通过传感器对木钢琴正确弹奏目标曲目时的对照弹奏过程进行采样，得到对照弹奏过程中基于时序的关于被按压的琴键的包括若干个初始光电对照信号的初始光电对照信号集；

每个初始光电对照信号包括：在预设的采样周期中，弹奏过程中被按压的琴键对应的两个传感器分别得到的初始光电对照子信号；

S22：依次对初始光电对照信号集中的若干个初始光电对照子信号进行去噪处理、标准化处理和整合处理，得到若干个光电对照信号，以及相应地得到光电对照信号集；

以及，所述步骤S4包括：

S41：基于预设的采样周期，通过传感器对木钢琴实际弹奏目标曲目时的实际弹奏过程进行采样，得到实际弹奏过程中基于时序的关于被按压的琴键的包括若干个初始光电实际信号的初始光电实际信号集；

每个初始光电实际信号包括：在预设的采样周期中，弹奏过程中被按压的琴键对应的两个传感器分别得到的初始光电实际子信号；

S42：依次对初始光电实际信号集中的若干个初始光电实际子信号进行去噪处理、标准化处理和整合处理，得到若干个光电实际信号，以及相应地得到光电实际信号集。

可选地，所述步骤S22包括：

S221：基于小波变换原理的去噪处理公式，分别对若干个初始光电对照子信号进行去噪处理，得到若干个去噪光电对照子信号和相应的去噪光电对照信号集；

基于小波变换原理的去噪处理公式如下所示：

S(t)＝f(t)+ke(t)，t＝0，1，2，...n；

式中，S(t)表示采集到的包含噪声信号的初始光电对照子信号或者表示采集到的包含噪声信号的初始光电实际子信号，f(t)表示去噪光电对照子信号或者表示去噪光电实际子信号，e(t)为噪声信号，k为噪声强度，t为小波分解的层数；

运算过程中，通过小波变换原理消去公式中的e(t)，用于重构f(t)，使得S(t)＝f(t)；

S222：根据光电信号的标准化公式对去噪光电对照子信号进行标准化处理，得到若干个标准光电对照子信号和相应的标准光电对照信号集；

光电信号的标准化公式如下所示：

f(t)'＝(f(t)-max)/(max-min)；

其中，max表示去噪光电对照子信号的在最大值或者表示去噪光电实际子信号的最大值，min表示去噪光电对照子信号的在最小值或者表示去噪光电实际子信号的最小值；f(t)'表示标准光电对照子信号或者表示标准光电实际子信号；

S223：整合相应于每个琴键的两个标准光电对照子信号，得到若干个光电对照信号和相应的光电对照信号集。

可选地，所述步骤S223包括：

S2231：确定相应于每个琴键的两个标准光电对照子信号，以及计算相应于每个琴键的两个标准光电对照子信号之间的相关性，得到相关性矩阵；

计算相关性矩阵的公式如下所示：

式中，d12表示相应于每个琴键的两个标准光电对照子信号之间的相关性矩阵或者相应于每个琴键的两个标准光电实际子信号之间的相关性矩阵；

x

k表示第k个琴键，n表示琴键的总数量；

S2232：根据相关性矩阵，建立对应的协方差矩阵，以及对协方差矩阵进行归一化处理，得到协方差的绝对值；

S2233：确定协方差的绝对值阈值为0.8，以及将协方差的绝对值与0.8进行比较，如果大于0.8，对相应于每个琴键的两个标准光电对照子信号进行合并，得到光电对照信号；

如果小于0.8，计算相应于每个琴键的两个标准光电对照子信号的融合值，以及以融合值作为光电对照信号；

计算融合值的公式如下所示：

U＝min(U

U

式中，U相应于每个琴键的两个标准光电对照子信号的融合值或者表示相应于每个琴键的两个标准光电实际子信号的融合值；

(a

U

可选地，所述步骤S5包括：

S51：输入光电实际信号集至弹奏检测模型，所述弹奏检测模型以预设的采样周期作为光电对照信号集和光电实际信号集之间的映射依据，确定每个光电对照信号和相应的光电实际信号之间的相似度，分别得到若干个相似度值；

S52：确定相似度阈值，以及将相似度值分别与相似度阈值进行比较，如果相似度值大于相似度阈值，确认相应于相似度值的光电实际信号为正确弹奏信号，以及相应地确认弹奏过程中被按压的琴键是正确的；

S53：重复所述步骤S52，直至所有的相似度值均与相似度阈值比较完毕，输出包括弹奏过程中基于时序的被正确按压的琴键和被错误按压的琴键的检测结果。

可选地，所述步骤S51包括：

S551：输入光电实际信号集至弹奏检测模型，所述弹奏检测模型以预设的采样周期作为光电对照信号集和光电实际信号集之间的映射依据，确定每个光电对照信号和相应的光电实际信号之间的强弱特征相似度和节奏特征相似度；

S552：根据每个光电对照信号和相应的光电实际信号之间的强弱特征相似度和节奏特征相似度，确定每个光电对照信号和相应的光电实际信号之间的综合相似指数，分别得到若干个相似度值；

综合相似指数的计算公式如下所示：

Y＝Y

式中，Y

如果Y≥0.75，确认相应于综合相似指数的光电实际信号为正确弹奏信号，以及相应地确认弹奏过程中被按压的琴键是正确的；

如果Y＜0.75，确认相应于综合相似指数的光电实际信号为错误弹奏信号，以及相应地确认弹奏过程中被按压的琴键是错误的。

可选地，所述强弱特征相似度的计算公式如下所示：

式中，x

可选地，所述节奏特征的相似度的计算公式为：

X

式中，ω表示光电对照信号在单位时间内的峰峰值频率；x

可选地，所述弹奏检测模型包括：不同颜色的闪灯，用于以琴键是被正确按压或者是被错误按压为依据进行不同颜色的显示；

所述方法包括：

S6：回放目标曲目并且在回放的过程中通过不同颜色的闪灯基于时序显示检测结果。

有益效果：

本申请通过在木钢琴中的琴键处安装光电传感器，因此无须与木钢琴的机械结构有过高的耦合度，仅需要将光电传感器安装在可准确获取相关琴键信息处即可；

此外，本申请通过设置光电对照信号集和建立弹奏检测模型对实际弹奏过程进行准确地检测，以及在实际检测过程中不仅对是否准确按动琴键进行检测，还能对按动琴键后时相应的光电实际信号的强弱和节奏进行检测，实现了全面检测，保障了检测效果。

综上可知，本申请能够解决现有的应用到木钢琴上弹奏检测装置存在的与木钢琴耦合度过高以及采集的信息要素较少的问题

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一种基于光电信息的木钢琴弹奏检测方法的流程示意图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

本申请提供了一种基于光电信息的木钢琴弹奏检测方法，如图1所示，图1为本申请实施例中一种基于光电信息的木钢琴弹奏检测方法的流程示意图，包括：

S1：根据木钢琴中的琴键安装传感器。

其中，步骤S1包括：

S11：根据木钢琴中的琴键安装传感器，每个琴键对应两个传感器。

具体地，在木钢琴的厚绒支架上安装多个光电传感器，用于采集钢琴弹奏过程中由于按动琴键产生的光电信号。其中，光电传感器与木钢琴中的琴键对应设置，即每个光电传感器采集一个琴键产生的光电信号。在本实施例中，为了提高采集到的信号的准确性，在每个光电传感器中设置两个光电传感器单元，两个光电传感器单元同时采集一个琴键对应的光电信号；即在每个采样周期中，同一个琴键对应地采集到两个光电信号。

S2：确定若干个目标曲目，以及基于预设的采样周期，通过传感器对木钢琴正确弹奏目标曲目时的对照弹奏过程进行采样，得到每个目标曲目的对照弹奏过程中基于时序的关于被按压的琴键的光电对照信号集。

具体地，通过通讯模块将光电对照信号传输至FPGA平台，对光电对照信号进行预处理及整合，得到光电对照信号集。

通讯模块采用BT04-E蓝牙模块，通讯模块被分别安装在光电传感器电路板与FPGA平台上，通过蓝牙串口协议进行数据传输。

FPGA平台采用XILINX ZYNQ-7020芯片，用以搭载光电信息预处理算法。

预设的采样周期被设置为0.25秒，设置的目的是保证光电传感的准确度与响应速度。

其中，步骤S2包括：

S21：确定目标曲目，以及基于预设的采样周期，通过传感器对木钢琴正确弹奏目标曲目时的对照弹奏过程进行采样，得到对照弹奏过程中基于时序的关于被按压的琴键的包括若干个初始光电对照信号的初始光电对照信号集。

每个初始光电对照信号包括：在预设的采样周期中，弹奏过程中被按压的琴键对应的两个传感器分别得到的初始光电对照子信号。

S22：依次对初始光电对照信号集中的若干个初始光电对照子信号进行去噪处理、标准化处理和整合处理，得到若干个光电对照信号，以及相应地得到光电对照信号集。

其中，步骤S22包括：

S221：基于小波变换原理的去噪处理公式，分别对若干个初始光电对照子信号进行去噪处理，得到若干个去噪光电对照子信号和相应的去噪光电对照信号集。

基于小波变换原理的去噪处理公式如下所示：

S(t)＝f(t)+ke(t)，t＝0，1，2，...n。

式中，S(t)表示采集到的包含噪声信号的初始光电对照子信号或者表示采集到的包含噪声信号的初始光电实际子信号，f(t)表示去噪光电对照子信号或者表示去噪光电实际子信号，e(t)为噪声信号，k为噪声强度，t为小波分解的层数。

运算过程中，通过小波变换原理消去公式中的e(t)，用于重构f(t)，使得S(t)＝f(t)。

具体地，去噪处理公式对包含噪声信号的初始光电对照子信号进行去噪处理，得到真实的去噪光电对照子信号。

在本实施例中，利用小波变换的方法把采集到的初始光电对照子信号视为S(t)，其中包含了真实的去噪光电对照子信号f(t)和噪声信号e(t)。

基于小波变换原理的去噪处理公式如下所示：

S(t)＝f(t)+ke(t)，t＝0,1,2,...n。

利用小波变换可以消去公式中的e(t)，以重构真实光电信号f(t)，使得S(t)＝f(t)。

基本原理是小波变换在正常波段与白噪声会有不同的性质，利用不同的分解系数，可以对去噪光电对照子信号与噪声信号进行区别。

具体步骤如下：

A1：选取适当的正交小波与小波层数，对原始信号(真实光电信号)进行正交小波变换，得到每个维度的小波分解系数w；

A2：对测量信号的小波变换系数进行非线性阈值处理；对第1到第N层的每一层高频系数，通过阈值函数进行处理，每层的低频系数不做处理。

A3：对处理后的小波系数进行重构。根据小波分解的第N层的低频系数和经过处理后的第1层到第N层的高频系数进行信号重构，从而得到原始信号(真实光电信号)的估计值。

S222：根据光电信号的标准化公式对去噪光电对照子信号进行标准化处理，得到若干个标准光电对照子信号和相应的标准光电对照信号集。

光电信号的标准化公式如下所示：

f(t)'＝(f(t)-max)/(max-min)。

其中，max表示去噪光电对照子信号的在最大值或者表示去噪光电实际子信号的最大值，min表示去噪光电对照子信号的在最小值或者表示去噪光电实际子信号的最小值。f(t)'表示标准光电对照子信号或者表示标准光电实际子信号。

S223：整合相应于每个琴键的两个标准光电对照子信号，得到若干个光电对照信号和相应的光电对照信号集。

其中，步骤S223包括：

S2231：确定相应于每个琴键的两个标准光电对照子信号，以及计算相应于每个琴键的两个标准光电对照子信号之间的相关性，得到相关性矩阵。

计算相关性矩阵的公式如下所示：

式中，d

x

k表示第k个琴键，n表示琴键的总数量。

S2232：根据相关性矩阵，建立对应的协方差矩阵，以及对协方差矩阵进行归一化处理，得到协方差的绝对值。

S2233：确定协方差的绝对值阈值为0.8，以及将协方差的绝对值与0.8进行比较，如果大于0.8，对相应于每个琴键的两个标准光电对照子信号进行合并，得到光电对照信号。

如果小于0.8，计算相应于每个琴键的两个标准光电对照子信号的融合值，以及以融合值作为光电对照信号。

计算融合值的公式如下所示：

U＝min(U

U

式中，U相应于每个琴键的两个标准光电对照子信号的融合值或者表示相应于每个琴键的两个标准光电实际子信号的融合值。

(a

U

具体地，通过上述整合过程对标准光电对照子信号进行整合，将同一琴键在同一采样周期对应的两个标准光电对照子信号整合为一个光电对照信号，整合后的光电对照信号集中的光电对照信号与琴键为一一对应的相应关系。

S3：分别对光电对照信号集中的每个光电对照信号进行强弱分析和节奏分析，得到光电对照信号分析结果，以及基于光电对照信号分析结果建立基于若干个目标曲目的弹奏检测模型。

其中，弹奏检测模型包括：不同颜色的闪灯，用于以琴键是被正确按压或者是被错误按压为依据进行不同颜色的显示。

以及，弹奏检测模型加载到FPGA平台中再进行应用。

S4：基于预设的采样周期，通过传感器对木钢琴实际弹奏目标曲目时的实际弹奏过程进行采样，得到实际弹奏过程中基于时序的关于被按压的琴键的光电实际信号集。

其中，步骤S4包括：

S41：基于预设的采样周期，通过传感器对木钢琴实际弹奏目标曲目时的实际弹奏过程进行采样，得到实际弹奏过程中基于时序的关于被按压的琴键的包括若干个初始光电实际信号的初始光电实际信号集。

每个初始光电实际信号包括：在预设的采样周期中，弹奏过程中被按压的琴键对应的两个传感器分别得到的初始光电实际子信号。

S42：依次对初始光电实际信号集中的若干个初始光电实际子信号进行去噪处理、标准化处理和整合处理，得到若干个光电实际信号，以及相应地得到光电实际信号集。

具体地，对初始光电实际子信号进行的去噪处理、标准化处理和整合处理均可参照初始光电参照子信号至光电对照信号的处理过程，相应的公式也均可应用，此处不再赘述。

最终处理的结果为得到光电实际信号集。其中，光电实际信号集包括若干个光电实际信号。光电实际信号与钢琴琴键为一一对应关系。

S5：输入光电实际信号集至弹奏检测模型，弹奏检测模型以光电对照信号集为检测依据对光电实际信号集进行检测，输出包括弹奏过程中基于时序的被正确按压的琴键和被错误按压的琴键的检测结果。

具体地，弹奏检测模型以光电对照信号集为检测依据对光电实际信号集进行检测，确定与琴键对应的光电实际信号，然后通过通讯模块传输相应于琴键的光电实际信号至上位机。

其中，步骤S5包括：

S51：输入光电实际信号集至弹奏检测模型，弹奏检测模型以预设的采样周期作为光电对照信号集和光电实际信号集之间的映射依据，确定每个光电对照信号和相应的光电实际信号之间的相似度，分别得到若干个相似度值。

其中，步骤S51包括：

S551：输入光电实际信号集至弹奏检测模型，弹奏检测模型以预设的采样周期作为光电对照信号集和光电实际信号集之间的映射依据，确定每个光电对照信号和相应的光电实际信号之间的强弱特征相似度和节奏特征相似度。

其中，1)强弱特征相似度的计算公式如下所示：

式中，x

2)节奏特征的相似度的计算公式为：

X

式中，ω表示光电对照信号在单位时间内的峰峰值频率。x

S552：根据每个光电对照信号和相应的光电实际信号之间的强弱特征相似度和节奏特征相似度，确定每个光电对照信号和相应的光电实际信号之间的综合相似指数，分别得到若干个相似度值。

综合相似指数的计算公式如下所示：

Y＝Y

式中，Y

如果Y≥0.75，确认相应于综合相似指数的光电实际信号为正确弹奏信号，以及相应地确认弹奏过程中被按压的琴键是正确的。

如果Y＜0.75，确认相应于综合相似指数的光电实际信号为错误弹奏信号，以及相应地确认弹奏过程中被按压的琴键是错误的。

S52：确定相似度阈值，以及将相似度值分别与相似度阈值进行比较，如果相似度值大于相似度阈值，确认相应于相似度值的光电实际信号为正确弹奏信号，以及相应地确认弹奏过程中被按压的琴键是正确的。

S53：重复步骤S52，直至所有的相似度值均与相似度阈值比较完毕，输出包括弹奏过程中基于时序的被正确按压的琴键和被错误按压的琴键的检测结果。

S6：回放目标曲目并且在回放的过程中通过不同颜色的闪灯基于时序显示检测结果。

具体地，在回放的过程中，以不同颜色闪灯显示每个采样周期中弹奏正确或错误的检测结果。具体过程为：在FPGA上搭建SPI与DMA外设，控制高低电平比例各占40％与60％。

上位机回放所弹曲目，FPGA平台通过通讯模块将判断结果组成数据包的格式传输进灯带，通过灯带闪烁颜色的不同来反映琴音信息的对错，同时上位机在终端评分界面展示检测结果。

其中，在灯带的显示过程中，演奏者若演奏不正确，灯带在对应回放时显示红色；若演奏正确，根据上述过程，灯带在对应回放时显示绿色。

以上对本申请的实施例进行了详细说明，但内容仅为本申请的较佳实施例，不能被认为用于限定本申请的实施范围。凡依本申请范围所作的均等变化与改进等，均应仍属于本申请的专利涵盖范围之内。