显示方法、电子设备、演奏数据显示系统及存储介质

技术领域

本发明涉及显示方法、电子设备、演奏数据显示系统及存储介质。

背景技术

例如，已知有与MIDI(Musical Instrument Digital Interface，音乐设备数字接口)乐曲那样的音乐的演奏同步地使舞者(dancer)等图像对象运动、能够生成不仅根据音乐的构想还根据乐音的进行而与其一体地变化的运动图像的计算机图形运动图像生成系统(例如，日本特开平11－224084号公报)。

在日本特开平11－224084号公报所公开的计算机图形运动图像生成系统中，由于只是简单地在演奏中动态地显现出表示舞者的角色(character)，所以有缺乏表现力的问题。

发明内容

根据实施方式的显示方法，由信息处理装置的处理器进行如下处理：对应于根据所取得的第1演奏数据而能够判定的信息，显示第1图像数据；判定在上述第1演奏数据的取得后取得的第2演奏数据是否满足设定的条件；在判定为满足上述设定的条件的情况下，即使根据在上述第2演奏数据的取得后取得的第3演奏数据而能够判定的信息与根据上述第1演奏数据而能够判定的信息相同，也显示与上述第1图像数据不同形态的第2图像数据。

附图说明

图1是示意地例示应用例的演奏数据显示系统的一例的图。

图2是表示实施方式的演奏数据显示系统的概要的图。

图3是表示实施方式的电子乐器的控制系统的硬件的图。

图4是表示实施方式的信息处理装置的硬件的图。

图5是表示在ROM的表中存储的表的一例的图。

图6是表示图像(角色)的显示例的图。

图7是表示在显示装置的显示部上显示的实时图像中的图像(角色)的轨道样式的一例的图。

图8是表示图像决定部所生成的作为轨道样式的一例的螺旋线的图。

图9是表示信息处理装置的动作的流程图。

图10表示用户弹奏的谱面。

图11是表示在图9的步骤S1004中用于由控制部进行判定的“设定的条件”的登记方法的一例的流程图。

图12是表示图9的步骤S1004中的“设定的条件”的判定方法的具体例的流程图。

图13表示用户弹奏图10中的第2乐句的情况下的实时图像。

图14表示用户弹奏图10中的第3乐句的情况下的实时图像。

图15表示用户将图10所示的曲子的演奏结束之后的演奏后图像。

具体实施方式

以下，基于附图说明本发明的一技术方案的实施方式。但是，以下说明的实施方式在所有方面都只不过是本发明的例示。当然能够不脱离本发明的范围而进行各种改良及变形。即，在本发明的实施时，也可以适当采用与实施方式对应的具体的结构。另外，通过自然语言说明在实施方式中出现的数据，但更具体地讲，由计算机能够识别的模拟语言、命令、参数、机器语言等指定。

<0>应用例

首先，使用图1，对应用本发明的场景的一例进行说明。图1示意地例示应用例的演奏数据显示系统的一例。演奏数据显示系统设想了以下情况：匹配于用户(演奏者)的演奏(音乐)而实时地描绘图像(图画)，从而激发用户对电子乐器的练习意愿。

<0－1>应用例的概要

在说明演奏数据显示系统的结构之前，对演奏数据显示系统的概要进行说明。例如，演奏数据显示系统解析从能够将用户的演奏作为演奏数据(例如MIDI数据)来输出的电子乐器等接收到的演奏数据，将用户的演奏转换为图像。例如，在演奏数据中不包含音名信息、和弦种类信息，能够根据演奏数据中包含的音符编号信息来判定音名信息、和弦种类信息。

<0－2>应用例的结构

参照图1，对应用例的结构进行说明。图1是表示应用例的演奏数据显示系统的结构的一例的图。

如图1所示，演奏数据显示系统包括电子乐器、信息处理装置和显示装置。

电子乐器将用户的演奏转换为演奏数据(例如MIDI数据)。并且，该电子乐器将演奏数据向信息处理装置输出。

更具体地讲，电子乐器根据用户的第1演奏操作，生成第1演奏数据，并将所生成的第1演奏数据输出。此外，电子乐器根据用户的第2演奏操作，生成第2演奏数据，并将所生成的第2演奏数据输出。例如，第2演奏操作是接着第1演奏操作的操作。电子乐器根据用户的第3演奏操作，生成第3演奏数据，并将所生成的第3演奏数据输出。例如，第3演奏操作是接着第2演奏操作的操作。电子乐器例如是键盘、电子钢琴、电吉他或电子小提琴等。但是，电子乐器并不限于上述，可以根据实施方式而适当选择。

信息处理装置将接收到的演奏数据进行解析，并转换为图像数据。更具体地讲，信息处理装置根据基于所取得的第1演奏数据能够判定的信息(例如，音名、和弦种类等)，输出第1图像(角色)数据。此外，信息处理装置判定在第1演奏数据的取得后取得的第2演奏数据是否满足设定的条件，在判定为满足设定的条件的情况下，即使基于在第2演奏数据的取得后取得的第3演奏数据能够判定的信息(例如，音名、和弦种类等)与基于第1演奏数据能够判定的信息相同，也输出与第1图像数据不同的形态的第2图像(角色)数据。信息处理装置例如是PC(个人计算机)。另外，“设定”或“登记”基本上是与“存储”同样的意思。此外，关于“设定的条件”的具体例在后面叙述。

显示装置显示基于用户的演奏的图像。更具体地讲，显示装置将从信息处理装置接收的图像数据用显示部显示。

<0－3>应用例的动作

接着，对应用例的演奏数据显示系统的动作的一例进行说明。

当用户用电子乐器开始演奏，信息处理装置对演奏进行音乐解析。具体而言，信息处理装置根据演奏数据中包含的音名(或和弦)，决定在第1图像组(例如包括多个虫子角色的角色组)中包含的图像(例如独角仙的角色)，沿着按照设定的第1条件(例如与和弦行进对应的显示)的轨道，实时地进行描绘。由此，在显示装置上，实时地显示包含在第1图像组中的图像(角色)。另外，关于这里的“实时”，演奏的定时与图像(角色)的显示定时并不需要一定是相同定时。此外，也可以将匹配于演奏而显示图像(角色)的图像例如记作实时图像。即，在实时图像中描绘多个图像(角色)。关于实时图像的描绘方法在后面叙述。

在用户在演奏电子乐器的过程中进行了满足设定(存储或登记)于信息处理装置内的条件的演奏的情况下，信息处理装置从第1图像组(例如包括多个虫子角色的角色组)切换为第2图像组(例如包括多个动物角色的角色组)，根据演奏数据中包含的音名(或和弦)，决定在第2图像组(例如包括多个动物角色的角色组)中包含的图像(例如长颈鹿的角色)，沿着按照设定的第1条件(例如与和弦行进对应的显示)的轨道，实时地进行描绘。由此，在显示装置上，实时地显示包含在第2图像组中的图像(角色)。另外，将对图像组进行切换也记作“描绘设定变更”等。

此外，在用户结束电子乐器的演奏之后，信息处理装置按照设定的第2条件(例如螺旋显示)，使显示装置显示图像数据。另外，也可以将这样的图像例如记作演奏后图像。作为该演奏后图像，是按照第2条件(例如螺旋显示)将在从用户的演奏开始到结束的期间所解析出的图像(角色)进行描绘的图像。

<0－4>应用例的效果

如以上这样，根据应用例的演奏数据显示系统，在用户演奏电子乐器的过程中，通过满足预先设定的条件，能够变更进行显示的图像的组。换言之，根据应用例的演奏数据显示系统，在用户的演奏中，不进行与演奏无关的特有的操作，就能够适当地进行关于图像的设定(描绘设定)。因此，演奏数据显示系统能够在用户专注于演奏的状态下生成表现力高的图像。

<1>实施方式

<1－1>结构

<1－1－1>演奏数据显示系统

以下，参照图2对实施方式的演奏数据显示系统进行说明。

图2是表示实施方式的演奏数据显示系统的概要的图。

如图2所示，演奏数据显示系统例如具备信息处理装置(电子设备)1、电子乐器2、扬声器3和显示装置4。

<1－1－2>电子乐器

以下，参照图2及图3，对实施方式的电子乐器进行说明。图3是表示实施方式的电子乐器的控制系统的硬件的图。

如图2及图3所示，本实施方式的信息处理装置1所连接的电子乐器2例如是电子钢琴、电子合成器或电子风琴等电子键盘乐器。

电子乐器2具备多个键11、显示部20、操作部30和发音部40。

此外，电子乐器2如图3所示，具备按键检测部50、存储部60、控制部70和通信部80。

键11是演奏者指定音高的操作件，演奏者将键11按键及放键，从而电子乐器2进行与被指定的音高对应的音的发音及消音。

显示部20例如具有带触控面板的液晶监视器，是进行与演奏者对操作部30的操作相伴随的消息的显示等的部分。

另外，在本实施方式中，由于显示部20具有触控面板功能，所以显示部20能够担负操作部30的一部分。

操作部30具有演奏者进行各种设定等的操作按钮，是用来进行音量调整等各种设定操作等的部分。

发音部40是将音输出的部分，具有SP扩音器41(扬声器扩音器)、扬声器42、HP扩音器43(耳机扩音器)、将扬声器3(或耳机)的插头插入的HP插口44(耳机插口)、和对在HP插口44中插入了扬声器3(或耳机)的插头这一情况进行检测的HP插口插入检测部45。

当扬声器3(或耳机)的插头被插入到HP插口44中，HP插口插入检测部45检测到该插入，在HP插口侧进行音的输出，相反，当HP插口插入检测部45没有检测到插头的插入时，在扬声器42侧进行音的输出。

另外，也可以代替扬声器3而使用发音部40。

按键检测部50是检测键11的按键及放键的部分，例如，在各键11的下侧设置橡胶开关，由该橡胶开关检测按键及放键。

存储部60具备作为读取专用的存储部的ROM61、和作为可读写的存储部的RAM62。

ROM61例如存储有控制部70执行的控制程序(例如，学习模式(lesson mode)程序用的程序等)及各种数据表等。

RAM62是存储与各个键11对应的乐音数据、乐曲数据等数据的存储区域，并且，也作为用来使在演奏中由控制部70生成的数据及控制用程序展开的临时存储区域发挥功能。

控制部70是负责电子乐器2整体的控制的部分。控制部70例如是LSI(Large ScaleIntegration)。

并且，控制部70例如进行对应于键11的按键而使乐音从发音部40发出的控制、对应于键11的放键而将从发音部40发出的乐音消音的控制等。

通信部80具备用来在与外部设备之间进行通信的无线单元或有线单元，在本实施方式中，信息处理装置1被有线连接，如在后面说明的那样，对信息处理装置1进行数据的发送。

但是，通信部80并不需要限定于仅进行发送功能，也可以还具有接收功能。

并且，在上述中说明的各部(显示部20、操作部30、发音部40、按键检测部50、存储部60、控制部70及通信部80)被用总线100可通信地连接，能够在各部间进行需要的数据的交换。

<1－1－3>信息处理装置

接着，参照图2及图4对信息处理装置进行说明。图4是表示实施方式的信息处理装置的硬件的图。

信息处理装置1在本实施方式中如图2所示，是PC，安装有后述那样的用来使显示装置4显示图像的应用。

但是，信息处理装置1并不需要限定于PC，也可以是平板型的便携终端等。

此外，信息处理装置1也可以具备从电子乐器2接收MIDI和弦而使曲数据再现的音序器(sequencer)等。

如图4所示，信息处理装置1主要具备操作部101、显示部102、通信部103、音输出部104、控制部105和存储部106。

操作部101例如包括用来进行信息处理装置1的电源的通断(ON/OFF)的电源开关等开关类。

显示部102具有液晶监视器，能够显示图像。显示部102也可以具有触控面板功能。在此情况下，显示部102能够担负操作部101的一部分。另外，也可以代替显示装置4而使用显示部102。

通信部103具备用来在与其他设备等之间进行通信的无线单元或有线单元。通信部103例如与电子乐器2的通信部有线连接，接收来自电子乐器2的数据。此外，通信部103例如与显示装置4的通信部有线连接，向显示装置4发送数据。

音输出部104是将音输出的部分，具有扬声器、耳机插口等。

存储部106具备作为可读写的存储部的RAM(Random Access Memory)1061、和ROM(Read Only Memory)1062。

RAM1061包括易失性存储器，是存储使控制程序动作而需要的数据的存储区域，并且，也作为用来展开由控制部105生成的数据、从电子乐器2送来的数据(包含音高信息的演奏信息)、以及应用的临时存储区域等发挥功能。

ROM1062是闪存存储器、EPROM(Erasable Programmable Read Only Memory)、EEPROM(注册商标)(Electrically Erasable Programmable ROM)这样的非易失性的半导体存储器，承担作为所谓的二次存储装置或辅助存储装置的作用。

ROM1062存储程序10621及表10622。程序10621为了控制部105进行各种处理而使用。表10622是将演奏信息与图像建立了关联的表。

控制部105是负责信息处理装置1整体的控制的部分。控制部105例如具备CPU(Central Processing Unit)。控制部105通过将保存在存储部106的ROM1062中的程序10621读出、并将存储部106的RAM1061用作工作区，从而综合控制信息处理装置1。

接着，对实施方式的信息处理装置1的控制部105的功能结构进行说明。控制部105通过将保存在ROM1062中的程序10621读出并执行，作为演奏判定部1051、图像决定部1052、图像信息输出部1053、条件判定部1054、演奏结束判定部1055和条件登记部1056发挥功能。另外，演奏判定部1051、图像决定部1052、图像信息输出部1053、条件判定部1054、演奏结束判定部1055和条件登记部1056分别也可以不是由程序而是由电路结构实现。

演奏判定部1051基于经由通信部103从电子乐器2受理的演奏信息(演奏数据)，判定曲子的调性(例如，从C大调到B小调的24种)、音名(例如，do、re、mi…)、和弦种类(例如，Major、Mimor、Sus4、Aug、Dim、7th等)、力度(velocity)值(在MIDI标准中表示音的强弱的数值)、音长、切分音、和弦功能及和弦行进。另外，曲子的调性、音名、和弦种类、力度值、音长、切分音、和弦功能及和弦行进的判定方法是怎样的都可以。

图像决定部1052每当从电子乐器2受理演奏信息，就基于由演奏判定部1051判定的信息，决定在图像组(角色组)中包含的某个图像数据(角色)。

这里，参照图5，对由演奏判定部1051判定的信息与图像数据之间的关系进行说明。图5是表示在ROM1062的表10622中存储的表的一例的图。

如图5所示，在表10622中，存储有例如与音名(这里，do、re、mi、fa、so、la、xi的例子)对应地设定了图像(角色)的第1图像组和第2图像组。关于第1图像组和第2图像组的选择方法在后面叙述。此外，在表10622中，并不限于此，也可以还存储有与其他音名(例如，do#等)、和弦种类相应的图像。例如，在第1图像组和第2图像组中，即使是相同的音名也分配了不同形态的图像。

例如，图像决定部1052当判定为在接收到的演奏信息中包含的音名是“do”，则决定表10622的第1图像组的“蝴蝶”的图像(角色)。

这里，参照图6，对图像(角色)的显示方法进行说明。图6是表示图像(角色)的显示例的图。

如图6所示，存储在表10622中的图像(角色)例如是基本形态。图像决定部1052基于演奏信息中包含的力度值，决定在显示装置4上显示的图像(角色)的尺寸。基本形态的尺寸决定为高度HB、宽度WB。并且，例如，基于力度值，通过变更高度HB及宽度WB的百分比，向高度HC及宽度WC变更。此外，图像决定部1052也可以随机地使图像(角色)的基本形态旋转R度、左右反转、变更颜色。另外，虽然这里没有详细地记载，但图像决定部1052也可以基于这里没有表示的信息而将尺寸、旋转、反转或颜色适当变更。

在使实时图像显示时，图像决定部1052基于演奏信息(例如和弦行进)，决定在显示装置4的显示部中配置图像(角色)的轨道样式(第1条件)。轨道样式(第1条件)例如被存储在ROM1062中。这里，参照图7，对显示图像(角色)时的轨道样式的一例进行说明。图7是表示显示在显示装置4的显示部401上的实时图像中的图像(角色)的轨道样式的一例的图。

如图7所示，作为轨道样式的一例，在实时图像的上半部(参照1st(U))，在沿着箭头A1的假想箭头上依次配置图像(角色)，接着箭头A1，在沿着实时图像的下半部(参照1st(L))的箭头A2的假想箭头上依次配置图像(角色)。另外，以各图像(角色)的至少一部分重叠在轨道样式的假想箭头(A1、A2)上的方式配置各图像(角色)。

图像决定部1052生成用来在用户的演奏后显示在显示装置4上的演奏后图像的轨道样式(第2条件)。图像决定部1052生成配置与各个演奏信息建立了对应的图像(角色)的轨道样式(第2条件)。图像决定部1052基于演奏判定部1051计算出的演奏时间，决定演奏的轨道样式(第2条件)的长度。例如，关于演奏时间是第1演奏时间长度的情况下的轨道样式(第2条件)的长度即第1长度、和演奏时间是第2演奏时间长度的情况下的轨道样式(第2条件)的长度即第2长度，在第1演奏时间长度比第2演奏时间长度短的情况下，第1长度比第2长度短。

参照图8，说明图像决定部1052生成的轨道样式(第2条件)的一例。图8是表示作为图像决定部1052生成的轨道样式(第2条件)的一例的螺旋线的图。

图像决定部1052在生成演奏后图像时，在沿着图8所示那样的箭头的假想的螺旋线上，从“演奏的开始”朝向“演奏的结束”依次配置图像(角色)。

另外，例如，“演奏的开始”的位置和“演奏的结束”的位置被固定，随着演奏的时间变长，螺旋线状的轨道样式(第2条件)的长度伸长。

图像信息输出部1053在图像决定部1052生成的轨道样式(第2条件)上，配置与演奏信息建立了对应的图像(角色)，生成实时图像或演奏后图像，生成用来对图像进行显示的信息即图像信息。

条件判定部1054判定经由通信部103取得的演奏数据是否满足设定的条件。条件判定部1054在判定为经由通信部103取得的演奏数据满足设定的条件的情况下，将该情况向图像决定部1052通知。另外，该条件例如被设定(存储)在RAM1061中。

图像决定部1052当从条件判定部1054接收到满足条件的通知，则将图像组(角色组)从第1图像组切换为第2图像组。具体而言，图像决定部1052基于与被判定为满足条件的演奏信息的后续的演奏信息相关联、并且被演奏判定部1051所判定的信息，决定在不同的图像组(例如第2图像组)中包含的某个图像数据(角色)。

演奏结束判定部1055通过至少在某个时间内没有受理演奏信息的输入以及经由通信部103受理了表示演奏结束的信息中的某个，判定演奏是否结束。

条件登记部1056被条件判定部1054使用，能够任意地变更存储在RAM1061中的条件。

并且，在上述中说明的各部(操作部101、显示部102、通信部103、音输出部104、控制部105及存储部106)由总线107可通信地连接，能够在各部间进行需要的数据的交换。

<1－1－4>扬声器

扬声器3是发音部40将音输出的部分。扬声器3通过与电子乐器2的HP插口44连接，从HP插口44接收音的信号，进行音的输出。

<1－1－5>显示装置

显示装置4作为显示部401而具有液晶监视器，能够显示图像。显示装置4与信息处理装置1的通信部103有线连接，接收来自信息处理装置1的数据。并且，显示装置4在显示部401上显示基于数据的图像。

<1－2>动作

<1－2－1>流程图

接着，参照图9说明信息处理装置1的动作。图9是表示信息处理装置1的动作的流程图。

另外，在以下的说明中，假设信息处理装置1的通信部103与电子乐器2的通信部80之间被连接。此外，如之后说明的那样，假设信息处理装置1的控制部105起动了用来使显示装置4显示图像的应用。

当用户为了演奏而将电子乐器2的键11按键，由按键检测部50检测到键11的按键。

并且，当检测到键11的按键，电子乐器2的控制部70生成与该被按压的键11对应的演奏信息(例如，包含音高信息等(音符编号、力度值等)的音符开启(note on))。并且，电子乐器2的控制部70进行从扬声器3(或发音部40)发出与该演奏信息对应的音的控制。

另一方面，当用户将按压了的键11放键，由按键检测部50检测到键11的放键。

并且，当检测到键11的放键，电子乐器2的控制部70生成与该被放键的键11对应的演奏信息(例如，音符关闭(note off))。并且，电子乐器2的控制部70进行从扬声器3(或发音部40)使与该演奏信息对应的音消音的控制。

并且，该电子乐器2的控制部70生成的演奏信息被从电子乐器2的通信部80向信息处理装置1的通信部103发送。

《S1001》

如图9所示，信息处理装置1的控制部105判定是否由信息处理装置1的通信部103接收到从电子乐器2发送的演奏信息而有演奏信息的输入(步骤S1001)。信息处理装置1的控制部105在没有演奏信息的输入的情况下(步骤S1001：否)，向步骤S1006前进。

《S1002》

并且，当信息处理装置1的通信部103接收到从电子乐器2发送的演奏信息(步骤S1001：是)，信息处理装置1的控制部105执行受理演奏信息的输入的受理处理，执行步骤S1002的演奏判定处理(也可以记作音乐解析或音乐解析处理)。

具体而言，作为步骤S1002的演奏判定处理，信息处理装置1的控制部105(演奏判定部1051)基于所受理的演奏信息，例如进行曲子的调性、音名、和弦种类、力度值、音长、切分音、和弦功能及和弦行进的判定等。

但是，作为步骤S1002的演奏判定处理，信息处理装置1的控制部105(演奏判定部1051)也可以进行曲子的调性、音名、和弦种类、力度值、音长、切分音、和弦功能及和弦行进的判定中的某个。

作为步骤S1002的演奏判定处理，具体而言，关于判定了什么等详细情况，在接着的步骤S1003中进行说明。

《S1003》

当结束了步骤S1002的演奏判定处理，信息处理装置1的控制部105(图像决定部1052)向步骤S1003前进，对应于受理了演奏信息的定时，生成与演奏信息对应的实时图像。并且，信息处理装置1的控制部105(图像信息输出部1053)执行向显示装置4输出并显示的实时图像输出处理。

另外，请注意，上述的“对应于受理了演奏信息的定时”，并不意味着在时间上为同时，而是指每当受理演奏信息。

在本实施方式中，将存储在信息处理装置1的存储部106中的成为基础的图像通过计算机图形(CG)进行加工而制作实时图像并显示于显示装置4，但显示于显示装置4的实时图像并不需要限定于这样的方法，只要是与演奏信息对应的实时图像就可以。

《S1004》

信息处理装置1的控制部105(条件判定部1054)判定演奏数据是否满足设定的条件。另外，该设定的条件例如被存储在RAM1061中。作为判定是否满足该设定的条件的例子，可以是，用户将特定的乐句登记(存储)到RAM1061等中，信息处理装置1的控制部105基于演奏信息，判定是否进行了登记在RAM1061中的登记乐句的演奏。另外，“乐句”是由若干音符构成的单位。此外，“乐句”也可以指多个音符(或音符号码)的集合。所谓音符，是MIDI的用语，表示电子乐器2的键11的号码(或音的高度)。此外，作为判定是否满足该设定的条件的例子，可以判定演奏中的曲子是否转调了。此外，作为判定是否满足该设定的条件的例子，可以判定演奏中的曲子的节奏(rhythm)是否变化了(节拍(tempo)的急剧变更、最近力度值的平均值的急剧变更、拍子的变更、间断的检测)。此外，作为判定是否满足该设定的条件的例子，可以判定用户是否踩踏了附属于电子乐器2的未图示的特定的踏板。此外，作为判定是否满足该设定的条件的例子，可以判定演奏中的乐句与刚刚之前的乐句相比是否升高了半音。

《S1005》

在判定为演奏数据满足设定的条件的情况下(S1004：是)，信息处理装置1的控制部105(图像决定部1052及图像信息输出部1053)将实时图像的描绘设定进行变更。具体而言，信息处理装置1的控制部105(图像决定部1052及图像信息输出部1053)，在对应于根据被判定为满足设定的条件的演奏数据的取得后所取得的演奏数据而能够判定的信息生成实时图像时，将图像组切换，使不同的图像组中包含的某个图像数据进行显示。

《S1006》

信息处理装置1的控制部105(演奏结束判定部1055)，在没有由信息处理装置1的通信部103接收到从电子乐器2发送的演奏信息的情况下(步骤S1001：否)、或者在判定为演奏数据不满足设定的条件的情况下(S1004：否)、或者在步骤S1005之后，进行演奏结束判定处理。具体而言，信息处理装置1的控制部105判定是否在无演奏信息的输入下经过了规定时间。信息处理装置1的控制部105在没有在无演奏信息的输入下经过规定时间的情况下(步骤S1006：否)，再次向步骤S1001前进，判定是否有演奏信息的输入。

《S1007》

信息处理装置1的控制部105(演奏结束判定部1055)在无演奏信息的输入下经过了规定时间的情况下(步骤S1006：是)，即在规定时间中没有检测到演奏信息的受理的情况下，判定为演奏结束了。在判定为演奏结束了的情况下，信息处理装置1的控制部105(图像决定部1052及图像信息输出部1053)向步骤S1007前进，进行将演奏后图像向显示装置4输出并显示的演奏后图像输出处理，结束整体的处理。

此外，可以是，在自动再现伴奏数据、使演奏者指定旋律(melody)的情况下应用了本实施方式的情况下，在伴奏数据的自动再现结束的时间点判定为演奏结束，进行演奏后图像输出处理。即，信息处理装置1的控制部105判定演奏者的演奏结束的理由是怎样的理由都可以，只要在信息处理装置1的控制部105判定了演奏者的演奏结束的时间点执行演奏后图像输出处理就可以。

另一方面，信息处理装置1的控制部105在没有在无演奏信息的输入下经过规定时间的情况下(步骤S1006：否)，再次向步骤S1001前进，判定是否有演奏信息的输入。

<1－2－2>具体例

接着，说明信息处理装置1的动作的具体例。

在具体例中，例如说明在用户弹奏“致爱丽丝(Für Elise)”的情况下在曲子的任意乐句处切换图像组的情况。

<1－2－2－1>乐句

使用图10对用户切换图像组的乐句进行说明。图10表示用户弹奏的谱面。

例如，在用户弹奏“致爱丽丝”的情况下，在图10所示的第3乐句处切换图像组的情况下，将第3乐句的刚刚之前的乐句作为第2乐句而登记到信息处理装置1中。另外，“登记”是与“存储”同样的意思。此外，将比第2乐句靠前的乐句标记为第1乐句。

<1－2－2－2>登记方法

接着，使用图11对乐句的登记方法进行说明。图11是表示在图9的步骤S1004中信息处理装置1的控制部105进行判定用的“设定的条件”的登记方法的一例的流程图。用户为了在图10所示的第3乐句处切换图像组，需要将第2乐句向信息处理装置1登记。

《S2001》

用户例如通过从显示在信息处理装置1的显示部102上的应用的菜单画面中将登记按钮(或登记图标)按下，来选择描绘设定变更乐句登记的功能。描绘设定变更乐句登记的功能例如由条件登记部1056执行。

《S2002》

当选择了描绘设定变更乐句登记的功能，信息处理装置1的控制部105判定从电子乐器2发送的演奏信息是否被信息处理装置1的通信部103接收而有演奏信息的输入(步骤S2002)。在没有演奏信息的输入的情况下(步骤S2002：否)，信息处理装置1的控制部105向步骤S2004前进。

《S2003》

信息处理装置1的控制部105在有演奏信息的输入的情况下(步骤S2002：是)，将演奏信息向信息处理装置1的存储部106(例如RAM1061)存储。作为存储到RAM1061中的演奏信息，例如是“音符(或音符号码)”。

《S2004》

信息处理装置1的控制部105判定是否“无演奏信息而经过规定时间”、或者是否“到达最大音符数”。所谓最大音符数，是能够作为登记乐句而存储的音符数的最大值，能够适当变更。所谓登记乐句，是由用户登记的“乐句”的总称。

信息处理装置1的控制部105在判定为没有“无演奏信息而经过规定时间”、或者没有“到达最大音符数”的情况下(S2004：否)，重复进行步骤S2002。

《S2005》

信息处理装置1的控制部105在判定为“无演奏信息而经过规定时间”、或者“到达最大音符数”的情况下(S2004：是)，将存储在RAM1061中的多个音符作为“乐句”向RAM1061登记(存储)。

并且，例如，用户选择图像组，从而信息处理装置1的控制部105将登记在RAM1061中的“乐句”与图像设定文件建立关联。换言之，信息处理装置1的控制部105指定检测到“乐句”时的图像组。另外，“乐句”与图像组的关联信息例如被存储在RAM1061中。

<1－2－2－3>乐句检测方法

接着，使用图12对乐句的检测方法进行说明。图12是表示图9的步骤S1004中的“设定的条件”的判定方法的具体例的流程图。乐句的检测在图9所示的步骤S1004中进行。

在图9所示的步骤S1004中，信息处理装置1的控制部105判定演奏数据是否满足设定的条件。在本具体例中，在判定是否满足设定的条件时，根据演奏数据判定是否进行了设定的乐句的演奏。以下，对根据演奏数据判定是否进行了设定的乐句的演奏的情况下的具体流程图进行说明。

《S3001》

信息处理装置1的控制部105判定在被输入的演奏信息中包含的音符是否与存储在RAM1061中的登记乐句的第1音的音符一致。

《S3002》

信息处理装置1的控制部105在判定为被输入的演奏信息中包含的音符与存储在RAM1061中的登记乐句的第1音的音符一致的情况下(S3001：是)，判定存储在RAM1061中的登记乐句的音符是否结束了。

《S3003》

信息处理装置1的控制部105在判定为存储在RAM1061中的登记乐句的音符结束了的情况下(S3002：是)，判定为被输入的演奏信息是登记乐句。即，信息处理装置1的控制部105检测出“乐句”。

由此，在图9所示的步骤S1004中，信息处理装置1的控制部105判定为演奏数据满足设定的条件(S1004：是)。

《S3004》

信息处理装置1的控制部105在判定为存储在RAM1061中的登记乐句的音符没有结束的情况下(S3002：否)，计算被输入的演奏信息(音符)与登记乐句的音符的误差(音符号码的差)。另外，信息处理装置1的控制部105每当进行步骤S3004，就将误差累计。将这样的累计例如记作累计误差等。

《S3005》

信息处理装置1的控制部105判定在步骤S3004中计算出的累计误差是否比阈值大(累计误差>阈值)。该阈值例如被存储在RAM1061或ROM1062中，能够适当设定。

例如，有用户弹奏的乐句虽然不是登记乐句但碰巧包含有与登记乐句相同的音的情况，或者用户虽然弹奏登记乐句但失误了的情况。在用户弹奏的乐句不是登记乐句的情况下，对图像组的切换由于不是用户希望的动作所以是不希望的。因此，信息处理装置1的控制部105需要通过步骤S3005适当地判定为用户弹奏的乐句不是登记乐句。此外，尽管用户正在弹奏登记乐句但是仅因为失误而判定为不是登记乐句对于用户而言是苛刻的。演奏数据显示系统原本目的之一就是对用户的乐器练习进行辅助。因此，需要设想用户不能适当地弹奏登记乐句的情况。因此，信息处理装置1的控制部105需要通过步骤S3005适当地判定为用户视图弹奏了登记乐句。

《S3006》

信息处理装置1的控制部105在不判定为累计误差比阈值大的情况下(S3005：否)，选择登记乐句的后续的音符。并且，向步骤S3002转移。

《S3007》

信息处理装置1的控制部105在判定为累计误差比阈值大的情况下(S3005：是)，判定为所输入的演奏信息不是登记乐句。

由此，在图9所示的步骤S1004中，信息处理装置1的控制部105判定为演奏数据不满足设定的条件(S1004：否)。即，信息处理装置1的控制部105没能检测到“乐句”。

<1－2－2－4>实时图像的描绘例

接着，使用图13及图14，说明用户弹奏图10中的第2乐句并在之后弹奏第3乐句从而图像组切换的情况。图13表示用户弹奏图10中的第2乐句的情况下的实时图像。图14表示用户弹奏图10中的第3乐句的情况下的实时图像。这里，假设图10所示的第2乐句通过图11所示的动作被登记在RAM1061中。并且，信息处理装置1的控制部105进行图9及图12所示的动作。此外，这里，作为一例，对通过弹奏登记乐句而从第1图像组切换为第2图像组的例子进行说明。

如图13所示，在用户弹奏图10中的第2乐句的情况下，信息处理装置1的控制部105作为实时图像而使显示装置4显示第1图像组中包含的图像(虫子的角色)(参照图中的B1～B10)。此时，例如沿着箭头A1显示图像(虫子的角色)。另外，信息处理装置1的控制部105一边使实时图像显示，一边进行在图12中说明的动作，对第2乐句是登记乐句这一情况进行判定。

通过由用户弹奏第2乐句，信息处理装置1的控制部105将图像组从第1图像组切换为第2图像组。如图14所示，在用户弹奏图10中的第3乐句的情况下，信息处理装置1的控制部105作为实时图像而使显示装置4显示第2图像组中包含的图像(动物的角色)(参照图中的C1～C11)。此时，例如沿着箭头A2显示图像(动物的角色)。

这样，用户通过事先将对图像组进行切换的乐句登记在信息处理装置1中，从而信息处理装置1识别登记乐句，切换图像组。因此，用户能够在任意的定时显示任意的图像(角色)。

<1－2－2－5>演奏后图像的描绘例

接着，使用图15对用户结束图10所示的曲子的演奏后的演奏后图像进行说明。图15表示用户结束图10所示的曲子的演奏后的演奏后图像。这里，与在图13及图14中说明的例子同样，作为一例，对通过弹奏登记乐句而从第1图像组向第2图像组切换的例子进行说明。

信息处理装置1的控制部105当判定为用户结束了演奏，则使显示装置4显示演奏后图像。如图15所示，信息处理装置1的控制部105将第1组的图像(虫子的角色)配置到与第2乐句对应的部位(参照图中的B1～B10)，将第2组的图像(动物的角色)配置到与第3乐句对应的部位(参照图中的C1～C11)。

由此，能够得到与上述的效果同样的效果。

<1－3>效果

根据上述的实施方式，在对应于用户的演奏(音乐)而描绘图像的演奏数据显示系统中，在判定为演奏数据满足设定的条件的情况下，切换在描绘的图像中使用的图像组。

例如，对应于用户的演奏(音乐)而描绘图像的演奏数据显示系统能够激发用户的电子乐器的练习意愿。因此，还通过采用上述的实施方式，能够不为了描绘而进行与演奏无关的操作地变更描绘设定。因此，能够不为了描绘而进行与演奏无关的特有操作地扩大描绘表现的范围，并且能够可靠地进行表现变更的展现。结果，能够使用户专注于演奏并且提高通过演奏而描绘的图像的表现力。由此，能够进一步激发用户的电子乐器的练习意愿。

<2>其他

另外，在上述的实施方式中，信息处理装置1的控制部105在图9的步骤S1005中的描绘设定变更时，进行图像组的切换。但是，并不限于此，例如也可以是“亮度的变更”、“图像(角色)的尺寸的变更”、“背景色(实时图像或演奏后图像的背景的颜色)、图像(角色)的色表的变更”、“在满足特定的条件时显示的图像(奖励角色)的种类的变更”、或者“将图像(角色)的运动变更”等。另外，背景色(实时图像或演奏后图像的背景的颜色)、图像(角色)的色表例如存储在ROM1062中。此外，在满足特定的条件时显示的图像(奖励角色)例如是在信息处理装置1的控制部105判定为用户的演奏的节奏等稳定的情况下在实时图像上显示的图像。此外，图像(角色)也可以通过动画等运动。此外，在多个图像组中也可以包含相同的图像(角色)。

此外，在上述的实施方式中，记载了信息处理装置1的控制部105也可以在图9的步骤S1004中判定演奏中的曲子是否转调了。在此情况下，由于在演奏刚开始后调判定的精度较低，所以也可以从演奏开始起某个时间的期间中不进行基于检测转调的描绘设定的变更。

说明了本发明的几个实施方式，但这些实施方式是作为例子提示的，不是要限定发明的范围。这些新的实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种各样的省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中，并且包含在权利要求书所记载的发明和其等价的范围中。