一种计算机视觉虚拟乐团指挥控制方法及系统

技术领域

本发明涉及音频处理技术领域，更具体的涉及一种计算机视觉虚拟乐团指挥控制方法及系统。

背景技术

乐团指挥训练系统，通常是使用动作捕捉技术来跟踪用户的手臂和身体动作。可以通过摄像头或传感器捕捉用户的姿势和动作，并将其转换为计算机可理解的数据，实时分析指挥者的动作，并提供准确的反馈和评估。通过比较用户的动作与理想的指挥动作，系统可以提供改进建议和技巧，帮助用户不断改善指挥技巧。

现有的指挥训练系统，主要是使用带有无线电发射器指挥棒来控制节奏，用户通过使用红外指挥棒指挥一首古典乐曲。系统能够非常直接和逼真地响应指挥者的动作，通过手势的频率、相位和大小来调整速度和音量，能够检测到曲目开始时的起拍，并能够在演奏中检测到强拍的停顿。但是对于音强、重拍以及音乐本身的语气控制并未考虑。

由于红外线接受的迟滞性与红外线接收板空间有限，极大的限制了指挥对于节奏的精准性及指挥棒的运动空间，因此限制了指挥者的指挥动作，无法适应不同级别和复杂度的乐团指挥训练任务，导致不能对音乐进行精确控制。

发明内容

针对上述领域中存在的问题，本发明一种计算机视觉虚拟乐团指挥控制方法及系统，能够解决无法适应不同级别和复杂度的乐团指挥训练任务，导致不能对音乐进行精确控制的技术问题。

为解决上述技术问题，本发明公开了一种计算机视觉虚拟乐团指挥控制方法，包括以下步骤：

获取指挥棒和左手的图像；

对获取的图像进行分割，将其分成前景和背景区域，并提取前景区域的边界信息，获得一系列有序的边界点；

基于边界点的序列，计算K曲率函数；根据指挥棒和左手的形状特征，定义指挥棒和左手的卷积核；将边界的K曲率函数与指挥棒和左手的卷积核进行卷积运算，在边界曲线上匹配指挥棒和左手形状的位置；根据指挥棒和左手形状的位置，更新指挥棒和左手的轨迹；

根据指挥棒的运动轨迹更新，分析指挥棒轨迹的垂直分量，寻找其垂直分量的局部最小值，确定节拍的位置；根据左手的运动轨迹更新，分析左手的运动轨迹垂直分量的极值，检测音量手势；根据指挥棒与左手的运动轨迹更新的距离，估计范围参数；

通过节拍的位置、音量手势和范围参数，检测音乐的节奏、速度和音量，对音乐进行控制。

优选地，所述提取前景区域的边界信息包括通过边缘检测算法，边界提取后，通过边缘检测算法，边界提取后，得到一系列有序的边界点P(i)＝(z(i),y(i))，其中，z(i)表示第i个点的水平坐标，y(i)表示第i个点的垂直坐标。

优选地，所述计算K曲率函数包括基于边界点的序列P(i)，系统计算出K曲率函数，该函数表示了向量[P(i-k),P(i)]和[P(i),P(i+k)]之间的夹角序列C(i)，其中，k是一个常数。

优选地，所述在边界曲线上匹配指挥棒和左手形状的位置包括以下步骤：

设置一个响应阈值T

当存在多个左手和指挥棒的位置时，采用跟踪方法来选择当前图像中左手和指挥棒的位置；具体的，通过考虑先前图像中检测到的左手和指挥棒的位置，选择距离先前位置最近的位置作为当前图像中的检测结果；或是将存在的多个局部最大值的位置，投影到周围边界点所拟合的直线上，检测左手和指挥棒的位置。

优选地，所述确定节拍的位置包括以下步骤：

使用多项式预测器来检测节拍，检测器对指挥棒轨迹的头部的w个数据点拟合二次多项式y(t)＝at

如果二次项系数a显著，即a>T

如果a不显著，则将一条直线y(t)＝bt+c拟合到段w，并计算在t之后的k个点上的预测误差e(t，i)＝Y(t+i)-b(t+i)-c，其中i＝1,2,...k；如果Y(t)是递减的，即b<0，且在任何时间点t+i上，预测误差e(t，i)大于阈值T

如果轨迹在t之前的行为是线性的而不是二次的，如果在某个时间点t+i有足够的正偏差，则会检测到节拍；

由于节拍信息只能在节拍发生后收集，因此检测会出现晚几个视频帧的情况；为了避免多次检测到相同的节拍，检测器在每次检测到节拍后的w个数据点上禁用。

优选地，所述检测音量手势是通过左手的运动识别来控制音乐的音量；

其中，一个重要的参数是压力参数，该参数在每个节拍时被计算并返回，用于基于每个节拍来控制全局音量；

范围参数只在小节的开始时改变，而压力参数在每个节拍时调整音乐的音量；

压力参数通过指挥棒传感器测量，指挥棒的主体由一个透明的塑料管和一个聚氨酯基座组成，所有的传感器都嵌入在基座中，基座的表面材质柔软，由五个压阻条组成，来感知手指和手掌对指挥棒的压力，内部则是一个坚固的空心壳体；压力与音量成正比，压力参数越大，音乐音量越大。

通过定义一个称为音量的手势，改变乐团的不同部分甚至是个别乐器的音量，音量手势是手在垂直平面上快速上下运动的动作；

当满足以下三个条件时，系统会在时间t

左手轨迹的垂直分量Y(t)在t

在时间范围t

当检测到音量手势时，系统会返回手势的符号，即最小值或最大值、值X(t

优选地，所述范围参数的估计包括以下步骤：

范围参数的估计是过去M个节拍中最大节拍的大小，其中，M是一小节音乐中的节拍数；

根据以下公式计算在时间t

其中t

优选地，一种计算机视觉虚拟乐团指挥控制系统，包括：

图像采集模块，用于获取指挥棒和左手的图像；

图像处理模块，用于对图像采集模块获取的图像进行分割，将其分成前景和背景区域，并提取前景区域的边界信息，获得一系列有序的边界点；

数据处理模块，用于根据图像处理模块获取的边界点的序列，计算K曲率函数；根据指挥棒和左手的形状特征，定义指挥棒和手的卷积核；将边界的K曲率函数与指挥棒和手的卷积核进行卷积运算，在边界曲线上匹配指挥棒和左手形状的位置；根据指挥棒和左手形状的位置，更新指挥棒和左手的轨迹；

信息检测模块，用于对数据处理模块获取的指挥棒和左手形状的位置，根据指挥棒的运动轨迹更新，分析指挥棒轨迹的垂直分量，寻找其垂直分量的局部最小值，确定节拍的位置；根据左手的运动轨迹更新，分析左手的运动轨迹垂直分量的极值，检测音量手势；根据指挥棒与左手的运动轨迹更新的距离，估计范围参数；

远程控制模块，用于根据信息检测模块得到的节拍的位置、音量手势和范围参数，检测音乐的节奏、速度和音量，对音乐进行控制。

与现有技术相比，本发明具有如下有益效果：

本发明通过对获取的指挥棒和左手的图像进行提取和处理，提取边界信息，并结合卷积运算和模糊性解决方法，能够在图像中准确地找到手和指挥棒的位置，通过分析指挥棒的运动轨迹，可以确定是否发生了节拍变化；分析左手的运动轨迹，可以识别是否出现了控制音量的手势；分析指挥棒轨迹的垂直分量来找到节拍的位置，通过范围参数的估计衡量节拍的大小，可以调整一小节音乐中的整体音量；根据节拍的位置、音量手势和范围参数来检测音乐的节奏、速度和音量，进一步对音乐进行精确控制。

附图说明

图1为本发明的整体方法流程图；

图2为本发明的图像采集示意图；

图3为本发明的区域边界示意图；

图4为本发明的节拍手势指挥示意图；

图5为本发明的指挥棒轨迹的垂直分量示意图。

具体实施方式

下面将结合本发明实施例中的附图1-5，对本发明实施例中的技术方案进行清楚、完整地描述。应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。

实施例

如图1所示，本发明实施例提供一种计算机视觉虚拟乐团指挥控制方法，该方法包括以下步骤：

S1：通过使用放置在指挥者上方的摄像头，获取指挥棒和左手的图像，如图2所示；

S2：对获取的图像进行分割，将其分成前景和背景区域，并提取前景区域的边界信息，这些边界信息可以用来识别出指挥棒和左手的位置。

对图像中的前景区域进行边界提取，可以通过各种图像处理算法和技术来实现，例如使用边缘检测算法，边界提取后，得到一系列有序的边界点P(i)＝(z(i),y(i))；其中，z(i)表示第i个点的水平坐标，y(i)表示第i个点的垂直坐标，该二维坐标系可以用来描述边界的形状和位置。

基于边界点的序列P(i)，计算K曲率函数；该函数表示了向量[P(i-k),P(i)]和[P(i),P(i+k)]之间的夹角序列C(i)，其中，k是一个常数。K曲率函数描述了边界的曲率变化情况；

系统定义了两个卷积核，一个代表指挥棒，另一个代表手，这些卷积核通常是低通滤波器的脉冲响应，用于匹配指挥棒和手的形状特征；

将边界的K曲率函数与指挥棒和手的卷积核进行卷积运算，在边界曲线上匹配指挥棒和左手形状的位置；根据指挥棒和左手形状的位置，更新指挥棒和左手的轨迹。

系统通过分析边界信息，利用算法找到指挥棒和左手的位置。通过这些位置信息，系统能够更新指挥棒和左手的轨迹，以实时跟踪它们的运动。

轨迹是由一系列3D点组成的序列，其中X和Z轴定义了水平平面，Y轴则代表垂直轴。系统使用立体图像技术，基于指挥棒和左手在成对的立体图像中的二维位置估计，计算出它们的实际位置，从而得到它们的轨迹，如图3所示，区域边界显示了指挥员的手、头和指挥棒的轮廓，被检测到的接力棒尖端和左手的位置用圆圈标记。

通过设置一个响应阈值，系统可以确定卷积结果中的局部最大值。这些局部最大值表示可能是手和指挥棒的位置。当存在多个可能的位置时，系统采用跟踪方法来解决模糊性。具体而言，系统会考虑先前图像中检测到的手和指挥棒的位置，选择距离先前位置最近的位置作为当前图像中的检测结果。这样可以增加检测的连贯性和稳定性。

为了提高检测到的特征位置的精度，系统将这些位置投影到周围边界点所拟合的直线上。通过这个过程，检测到的手部和指挥棒的位置得到了进一步的改进和优化。

通过对边界进行提取和处理，并结合卷积运算和模糊性解决方法，系统能够在图像中准确地找到手和指挥棒的位置。这为后续的姿态跟踪和手势分析提供了基础，使系统能够将手势和动作转化为音乐控制参数。

在大多数指挥风格中，节拍通常出现在指挥棒轨迹的局部最低点。如图4所示，为一个典型的4节拍的指挥模式。为了实现指挥系统的节奏控制目的，节拍被定义为指挥棒轨迹的垂直分量的局部最小值。

S3：根据指挥棒的运动轨迹更新，进行节拍检测。通过分析指挥棒轨迹的垂直分量来确定节拍的位置。使用多项式拟合和预测的方法来实现低延迟的节拍检测。系统首先拟合一个二次多项式到指挥棒轨迹头部的一段数据点，如果二次项系数a的值超过阈值T

为了避免多次检测到相同的节拍，系统在每次检测到节拍后的一段时间内禁用节拍检测器，防止在一个节拍周期内多次检测到同一个节拍。

节拍检测器评估指挥棒轨迹的头部，寻找其垂直分量Y(t)的局部最小值。

为了实现低延迟的节拍检测，检测器使用多项式预测器来检测节拍。检测器对轨迹头部的w个数据点，即通过在指挥棒轨迹的头部区域选取的数据点的数量w拟合二次多项式y(t)＝a+bt+c，当进行节拍检测时，检测器会使用这段数据点序列W进行拟合，拟合结果如下：

如果拟合结果是二次多项式，且二次项系数a显著(即a>T

如果a不显著，拟合结果是一条直线而不是二次多项式，则将一条直线y(t)＝bt+c拟合到这段数据点序列W中，并计算在t之后的k个点上的预测误差e(t，i)＝Y(t+i)-b(t+i)-c，其中i＝1，2，...k。如果Y(t)是递减的(b<0)，并且在任何时间点t+i上，预测误差e(t，i)大于阈值T

因此，如果轨迹在t之前的行为是线性的而不是二次的，如果在某个时间点t+i有足够的正偏差，就会检测到节拍。

由于节拍信息只能在节拍发生后收集，因此检测可能会晚几个视频帧。为了避免多次检测到相同的节拍，检测器在每次检测到节拍后的w个数据点上禁用。图5显示了指挥棒轨迹的垂直分量的图表，其中显示了检测到的节拍事件。

S4：范围参数的估计表示过去一段时间内最大节拍的大小。通过比较当前节拍的大小与之前节拍的大小，可以估计出范围参数。范围参数的值可以用来调整一小节音乐的整体音量。

范围参数的估计是过去M个节拍中最大节拍的大小，其中M是一小节音乐中的节拍数，而在时间t

其中，t

系统使用特定的方法来检测节拍和估计范围参数。节拍检测器通过分析指挥棒轨迹的垂直分量，来找到节拍的位置，而范围参数则用于衡量节拍的大小，并用于调整一小节音乐的整体音量。

在检测到节拍事件后，系统会分析指挥棒的轨迹，以确定是否发生了节拍。系统通过特定的算法和方法来检测节拍和估计范围参数。这些参数可以用于控制音乐的节奏、速度和音量，从而使指挥者能够通过手势和动作来实现对电子生成音乐的精确控制。同时，系统还会检查左手的轨迹，以识别是否出现了控制音量的手势。

在此指挥训练系统中，左手在指挥音乐中扮演多种角色，例如引导演奏者、控制音乐的律动和语气。然而，在指挥训练系统中，左手的当前使用仅涉及音量控制。

S5：根据左手的运动轨迹更新，进行音强动作检测，识别是否出现音量控制的手势。

通过左手的运动识别来控制音乐的音量。其中，一个重要的参数是压力参数，该参数在每个节拍时被计算并返回，可以用于基于每个节拍来控制全局音量。

压力参数是一个补充参数，与其他参数相辅相成。范围参数只在小节的开始时改变，而压力参数可以在每个节拍时调整音乐的音量。此压力参数由指挥棒传感器测量，指挥棒的主体由一个透明的塑料管和一个聚氨酯基座组成，所有的传感器都嵌入在基座中。基座的表面材质柔软，由五个压阻条组成，可以感知手指和手掌对指挥棒的压力，变化可以很好的感知手的压力；而内部则是一个坚固的空心壳体。压力与音量成正比，压力参数越大音乐音量越大。

此外，系统还定义了一个称为″音量″的手势，用于改变乐团的不同部分甚至是个别乐器的音量。音量手势是手在垂直平面上快速上下运动的动作。当满足以下三个条件时，系统会在时间t

左手轨迹的垂直分量Y(t)在t

垂直速度v(t)在某个时间范围t，t

在时间范围t

当检测到音量手势时，系统会返回手势的符号(最小值或最大值)、值X(t

其中，X值可以用于在显示乐团前方的图像上选择乐团的不同部分甚至具体乐器；值Y(t

通过指挥棒传感器检测压力参数和音量手势，系统可以实现对音乐的整体音量以及不同部分的音量进行精确的控制。

本发明还提出了一种计算机视觉虚拟乐团指挥训练系统，包括：

图像采集模块，用于获取指挥棒和左手的图像；

图像处理模块，用于对图像采集模块获取的图像进行分割，将其分成前景和背景区域，并提取前景区域的边界信息，获得一系列有序的边界点；

数据处理模块，用于根据图像处理模块获取的边界点的序列，计算K曲率函数；根据指挥棒和左手的形状特征，定义指挥棒和手的卷积核；将边界的k曲率函数与指挥棒和手的卷积核进行卷积运算，在边界曲线上匹配指挥棒和左手形状的位置；根据指挥棒和左手形状的位置，更新指挥棒和左手的轨迹；

信息检测模块，用于对数据处理模块获取的指挥棒和左手形状的位置，根据指挥棒的运动轨迹更新，分析指挥棒轨迹的垂直分量，寻找其垂直分量的局部最小值，确定节拍的位置；根据左手的运动轨迹更新，分析左手的运动轨迹垂直分量的极值，检测音量手势；根据指挥棒与左手的运动轨迹更新的距离，估计范围参数；

远程控制模块，用于根据信息检测模块得到的节拍的位置、音量手势和范围参数，检测音乐的节奏、速度和音量，对音乐进行控制。

特别地，该指挥训练系统被用作一种实验性的表演系统。系统通过使用指挥训练系统来控制MIDI音乐序列器，实现了对音乐作品节奏与音强的控制。

指挥训练系统接收来自指挥者的手势和动作，并将其转化为节拍。这些节拍事件被发送给MIDI音乐序列器，用于控制演奏的音乐。MIDI音乐序列器根据接收到的节拍事件调整音乐的节奏、速度和相位，从而实现与指挥者的互动。

通过指挥训练系统，指挥者可以通过手势和动作来实现对音乐的控制。此系统的实时性和精确性使得指挥者能够以一种直观的方式与音乐进行互动。这为音乐指挥表演带来了全新的体验，让观众可以欣赏到更加生动、沉浸式的演出。

无论是普通观众还是专业指挥家，都可以使用此系统来实现他们的音乐指挥才能，通过与MIDI音乐序列器进行互动，创造出独特而富有表现力的音乐。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

另外，除非另有说明，否则本发明使用的所有技术和科学术语具有本发明所属领域的常规技术人员通常理解的相同含义。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法。在与任何并入的文献冲突时，以本说明书的内容为准。