现场直播传送装置、现场直播传送方法

技术领域

本发明涉及一种现场直播传送装置、现场直播传送方法。

背景技术

存在对拍摄到歌唱、演奏的情形的影像进行现场直播(Live)传送的系统(例如，专利文献1)。

用户判断是否对现场直播传送进行视听，在判断为进行视听的情况下，进行表示对现场直播传送进行视听的操作输入。由此，用户能够对现场直播传送进行视听。

专利文献1：日本特开2008－131379号公报

发明内容

用户对于在现场直播传送中实际上进行怎样的演奏，有时想象该情形而判断是否对现场直播传送进行视听。例如，有时想象在现场直播传送中演奏的曲子、现场直播会场的热闹的情形等，如果有兴趣则判断为对现场直播传送进行视听。

但是，存在下述课题，即，针对正在考虑是否进入现场直播会场的用户无法传达现场直播会场的情形。

本发明的目的在于，提供解决上述课题的现场直播传送装置、现场直播传送方法。

本发明的一个方式是一种现场直播传送装置，其将由表演者演奏出的曲子经由通信网络向多个用户的终端装置实时地进行传送，该现场直播传送装置具有：取得部，其取得所述演奏出的曲子和从正在对所述传送进行视听的用户获得的针对演奏的反应中的至少任一者；数据加工部，其基于由所述取得部获得的取得数据，生成表示正在对所述演奏进行视听的情形的加工数据；以及传送部，其将所述生成的加工数据传送至未对所述传送进行视听的用户的终端装置。

另外，本发明的一个方式是一种现场直播传送方法，其是由计算机执行的，将由表演者演奏出的曲子经由通信网络向多个用户的终端装置实时地进行传送，在该现场直播传送方法中，取得所述演奏出的曲子和从正在对所述传送进行视听的用户获得的针对演奏的反应中的至少任一者，基于所述取得的取得数据，生成表示正在对所述演奏进行视听的情形的加工数据，将所述生成的加工数据传送至未对所述传送进行视听的用户的终端装置。

发明的效果

根据本发明，能够针对正在考虑是否进入现场直播会场的用户将现场直播会场的情形传达给用户。

附图说明

图1是表示使用了一个实施方式涉及的传送装置的现场直播传送系统1的结构的概略框图。

图2是表示现场直播传送装置10的结构的概略功能框图。

图3是表示在存储部102存储的滤波器种类数据的例子的图。

图4是说明现场直播传送系统1的处理的流程的定序图。

具体实施方式

以下，参照附图对本发明的一个实施方式涉及的现场直播传送装置进行说明。

图1是表示使用了本发明的一个实施方式涉及的现场直播传送装置的现场直播传送系统1的结构的概略框图。

现场直播传送系统1的现场直播传送装置10、管理者终端20、表演者装置组P1、表演者装置组P2、终端装置30和终端装置31经由网络N而可通信地连接。

现场直播传送装置10将与表演者进行的现场直播演奏相对应的内容实时地传送(现场直播传送)至用户的终端。现场直播传送装置10例如可以是计算机。

在现场直播传送中，存在演奏1个乐曲的情况、表演者汇集于1处的现场直播会场进行演奏的情况、和针对1个乐曲由各个表演者在不同的现场直播会场对不同的声部进行演奏的情况。现场直播传送装置10在上述任意情况下都能够进行现场直播传送。现场直播传送装置10在表演者在不同的现场直播会场分别进行演奏的情况下，对从设置于各现场直播会场的各个表演者装置组获得的演奏数据进行合成，作为现场直播传送数据发送至用户的终端装置。

现场直播会场如果是如自己家、工作室、现场直播会场、音乐会会场等这样能够进行演奏的会场，则可以是任意场所。

另外，现场直播会场可以由1个舞台和观众席构成。另外，现场直播会场可以是将舞台和观众席的组合包含多个的结构。例如，可以是如户外音乐节那样在1个现场直播会场修建多个舞台的情况。在现场直播会场存在多个舞台的情况下，由在各舞台演出的表演者分别进行演奏。也可以是通过对多个表演者在不同的演奏场所演奏出的演奏信号进行合成而构成为1个舞台的演奏。

在现场直播会场包含多个舞台的情况下，针对每个舞台分别演奏1个曲子。

表演者装置组P1和表演者装置组P2由在各个现场直播地演出的表演者利用。在这里，以由利用表演者装置组P1的表演者和利用表演者装置组P2的表演者分别在不同的演奏会场中演奏1个曲子的情况为例进行说明。此外，也可以不在多个演奏会场而是在1个演奏会场演奏1个曲子。在该情况下，可以利用1个表演者装置组。在这里，对表演者装置组为2个的情况进行说明，但在演奏会场为3处以上的情况下，可以在各个演奏会场设置表演者装置组。例如，在如主唱、吉他、贝斯、鼓、键盘等那样演奏声部不同的情况下，能够分别使用不同的表演者装置组而从不同的演奏会场进行演奏。

表演者装置组P1包含终端装置P11、拾音装置P12和摄像机P13。终端装置P11与拾音装置P12和摄像机P13可通信地连接，并且与网络N可通信地连接。终端装置P11具有鼠标和键盘、或触摸面板等各种输入装置，并且具有显示装置。终端装置P11例如是计算机。

拾音装置P12对声音进行拾音，将与拾音到的声音相对应的音信号输出至终端装置P11。例如，拾音装置P12生成作为与拾音到的声音相对应的模拟信号的音信号并进行AD(模拟－数字)变换，由此将作为模拟信号的音信号变换为作为数字信号的音信号。拾音装置12将作为数字信号的音信号作为演奏信号而输出至终端装置P11。

拾音装置P12具有对从乐器输出的演奏音进行拾音的音传感器、对从电子乐器输出的音信号进行输入的输入装置、对表演者的歌唱语音进行拾音的传声器中的任1个功能即可。在这里，针对终端装置P11而连接有1个拾音装置P12，但也可以连接多个拾音装置。例如，在表演者一边歌唱一边演奏乐器的情况下，能够使用作为传声器的拾音装置和对乐器的声音进行拾音的拾音装置。

摄像机P13对利用表演者装置组P1的表演者进行拍摄，将拍摄数据输出至终端装置P11。拍摄数据例如是视频数据。

表演者装置组P2包含终端装置P21、拾音装置P22和摄像机P23。终端装置P21具有与终端装置P11同样的功能，拾音装置P22具有与拾音装置P12同样的功能，摄像机P23具有与摄像机P13同样的功能，因此省略其说明。

管理者终端20由负责与现场直播传送相关的内容的演出的管理者进行利用。管理者例如可以是设计者。另外，管理者也可以是表演者。

终端装置30和终端装置31分别由对现场直播传送进行视听的用户进行利用。终端装置30和终端装置31分别由不同的用户进行利用。

终端装置30具有输入装置、扬声器、显示装置、通信模块等，通过通信模块而与网络N可通信地连接。

输入装置是鼠标和键盘、或触摸面板等能够进行操作输入的输入设备。扬声器将作为数字信号的演奏信号通过D/A变换电路变换为模拟信号，通过内置放大器进行放大而放音。显示装置包含液晶驱动电路和液晶显示面板。液晶驱动电路生成与从现场直播传送装置10传送的图像信号相对应地对液晶显示面板进行驱动的驱动信号并输出至液晶显示面板。液晶显示面板通过与从液晶驱动电路输出的驱动信号相对应地对各像素的元件进行驱动而对与图像数据相对应的图像进行显示。

终端装置30例如可以是计算机、智能手机、平板等任意装置。

终端装置30从现场直播传送装置10接收图像信号，将图像信号显示于显示画面。终端装置30基于图像信号，生成示出了虚拟空间的现场直播会场的虚拟空间的三维信息，生成对从所指定的视听位置观察的表示现场直播会场的三维信息进行显示的图像信号。终端装置30将该生成的图像信号显示于显示画面。

终端装置30能够与来自用户的操作输入相对应地对虚拟空间的视听位置、视场的方向进行变更。终端装置30能够对与视听位置、视场的方向相对应的图像信号进行显示。即，终端装置30能够将虚拟空间的与现场直播会场的视点位置、视场的朝向相对应的区域的图像作为图像信号进行显示。

终端装置31具有与终端装置30同样的功能，因此省略其说明。

图2是表示现场直播传送装置10的结构的概略功能框图。

现场直播传送装置10包含通信部101、存储部102、取得部103、数据加工部104、音处理部105、图像生成部106、同步处理部107、传送部108和CPU(Central Processing Unit)109。

通信部101与网络N连接，经由网络N与其他装置进行通信。

存储部102对各种数据进行存储。存储部102包含会场数据存储部1021和虚拟形象存储部1022。

会场数据存储部1021对将现场直播会场在虚拟空间中表示的会场数据进行存储。会场数据可以是将现场直播会场在三维空间中表示的三维数据。

虚拟形象存储部1022对表示配置于虚拟空间中的现场直播会场的虚拟形象的图像数据进行存储。虚拟形象可以为针对各用户而相同的设计，也可以为针对至少一部分的用户而与用户对应地不同的设计。

存储部102是存储介质例如HDD(Hard Disk Drive)、闪存、EEPROM(ElectricallyErasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、或这些存储介质的任意组合。该存储部102例如可以使用非易失性存储器。

取得部103取得所演奏出的声音和从正在对现场直播传送进行视听的用户获得的针对演奏的反应中的至少任一者。取得部103通过从表演者的终端装置接收演奏信号而取得所演奏出的声音。取得部103通过接收从用户的终端装置发送来的各种数据(评论数据、鼓掌数据、用户属性等)而取得从用户获得的针对演奏的反应。

数据加工部104基于由取得部103获得的取得数据，生成表示正在对演奏进行视听的情形的加工数据。加工数据通过传送部108传送至没有对现场直播传送进行视听的用户的终端装置。由此，用户即使处于没有做出对现场直播传送的内容自身进行视听的决策的阶段，也能够基于加工数据而掌握现场直播会场的情形。数据加工部104在对现场直播传送进行视听之前的阶段被发送至用户的终端装置的预览画面中，通过传送部108对加工数据进行传送。

关于由数据加工部104进行的加工的处理，如以下所示那样存在几个，但也可以至少具有1个。

《与频带相对应的加工》

数据加工部104生成使表示演奏出的声音的演奏信号所包含的频带之中的一部分的频带的声音通过后的加工数据。所通过的频带是任意的，但在这里，主要是低频(相当于低音的频带)。

数据加工部104生成使根据曲子或曲子的流派而不同的频带通过后的加工数据。在该情况下，数据加工部104例如可以通过使用滤波功能而从演奏信号获得目标频带的演奏信号。

滤波功能可以是数字滤波器，也可以是模拟滤波器。在使用数字滤波器的情况下，实现数字滤波器的功能的模块通过针对作为数字信号的演奏信号进行数字信号处理而仅提取与目标相对应的频带的信号成分。

图3是表示在存储部102存储的滤波器种类数据的例子的图。

滤波器种类数据是将加工对象和滤波器类型相关联起来的数据。

加工对象是表示要加工的对象的曲子或曲子的流派的识别信息。滤波器类型是对滤波器的种类进行识别的识别信息。在滤波器类型不同的情况下，通过滤波器的频带也不同。例如，在曲子“s1”关联有滤波器类型“Fs1”。由此，表示对曲子“s1”使用“Fs1”的滤波器。另外，例如，在流派“g1”关联有滤波器类型“Fg1”。由此，表示对流派“g1”使用“Fg1”的滤波器。

如上所述，定义了针对每个曲子或曲子的每个流派而使用不同特性的滤波器。滤波器种类数据可以与从管理者终端20基于设计者的操作而输入的设计者的意向相对应地进行创建。另外，可以与从表演者的终端装置基于表演者的操作而输入的表演者的意向相对应地创建。由此，可以使用反映出将演奏内容以何种程度传达给用户的意向的滤波器。

数据加工部104基于在存储部102存储的滤波器种类数据，选择与现场直播传送中的曲子或曲子的流派相对应的滤波器，获得使演奏信号之中的一部分的频带的声音通过后的加工数据。

在使得选择与曲子、曲子的流派相对应的滤波器的情况下，可以与曲子或曲子的流派(流行乐、摇滚乐、原声乐、古典乐等)相对应地，改变对演奏信号进行公开的范围(基于频带、音质等观点的公开范围)。可以想到，根据曲子、流派，与所公开的范围相对应地是否能够使得对现场直播传送具有兴趣是不同的。因此，根据该结构，可以考虑容易使得具有兴趣的公开范围而选择滤波器。另外，根据曲子的流派而音域的宽度不同，因此可以设定考虑了该流派的音域的公开范围。

在使用滤波功能的情况下，数据加工部104可以使用如下特性的滤波器，即，进行演奏的虚拟空间的位置和没有对现场直播传送进行视听的用户的虚拟空间的位置之间的距离越近，则所通过的频带的高频侧的频带越宽。

《与用户的反应相对应的加工》

数据加工部104根据从正在接收现场直播传送的用户的终端装置发送来的视听者数据，生成加工数据，该加工数据包含表示与正在对现场直播传送进行视听的视听者的情形相对应的会场的反应的反应数据。通过使用反应数据，能够表示与正在对现场直播传送进行视听的视听者的情形相对应的会场的反应，因此能够表现会场的喧闹。

在这里，视听者数据是能够掌握正在对现场直播传送进行视听的用户的情形、或针对演奏的来自用户的反应的数据即可，例如可以包含评论数据、鼓掌数据、属性数据中的至少任1个。

数据加工部104使用视听者数据所包含的从正在对现场直播传送进行视听的用户的终端装置发送来的针对演奏的评论数据、表示针对演奏进行鼓掌的行为的鼓掌数据、表示视听者的属性的属性数据之中的至少1个，生成反应数据。

评论数据是表示针对演奏而从正在对现场直播传送进行视听的视听者的终端装置发送来的评论的字符数据。评论数据是表示欢呼声的字符串、表示针对演奏的感想的字符串、表示针对表演者的声援的字符串等。评论数据可以是在对现场直播传送进行视听的视听画面中，针对评论输入栏与来自用户的操作相对应地从输入装置输入的。

数据加工部104如果从用户的终端装置获得评论数据，则与获得了评论数据这一状况相对应地，生成规定的语音作为反应数据。数据加工部104在生成规定的语音作为反应数据的情况下，也可以通过读出预先存储于存储装置的语音数据而生成。该语音数据例如可以是呼喊表演者的名字的声音、与呼答式互动的响应相当的声音、欢呼声等。

另外，数据加工部104在生成规定的语音作为反应数据的情况下，由传声器对用户讲话的内容进行拾音，并从用户的终端装置发送而得到，由此可以对每个用户的语音数据进行存储并利用该语音数据。

另外，数据加工部104可以不是利用用户的实际的声音本身而是使用合成语音。在使用合成语音的情况下，例如可以从对实际的语音进行了录音的录音数据提取声音的素材数据，通过对提取出的素材数据进行结合而合成观众的声音。例如，也可以获得呼喊表演者的名字的声音、与呼答式互动的响应相当的声音、欢呼声等作为合成语音。

数据加工部104在生成语音作为反应数据的情况下，可以与评论数据所包含的评论的内容无关地将规定的讲话内容的语音作为反应数据。另外，可以将与评论数据所包含的评论的内容相对应的讲话内容的语音作为反应数据。例如，可以通过合成语音而生成对评论数据所包含的字符串进行朗读的声音。

如上所述，通过生成与评论数据相对应的反应数据，从而根据接收到评论数据的每个单位时间的次数、接收评论数据的定时(曲子高潮的特定的声部)，将现场直播会场的热闹的情形(正在对现场直播传送进行视听的多个用户的热闹的情形)传达给尚未对现场直播传送进行视听的用户。

鼓掌数据是表示针对演奏进行鼓掌的行为的数据。鼓掌数据是在对现场直播传送进行视听的视听画面中，与来自对现场直播传送进行视听的用户的操作相对应地从输入装置按压了进行鼓掌的按钮相对应地从终端装置发送来的。

数据加工部104如果从用户的终端装置获得鼓掌数据，则与获得了鼓掌数据这一状况相对应地，生成表示鼓掌的声音的音数据作为反应数据。数据加工部104在生成鼓掌的声音作为反应数据的情况下，也可以通过读出预先存储于存储装置的鼓掌的音数据而生成。

如上所述，通过生成与鼓掌数据相对应的反应数据，从而能够根据接收到鼓掌数据的每个单位时间的次数、接收鼓掌数据的定时，将现场直播会场的热闹的情形(正在对现场直播传送进行视听的多个用户的热闹的情形)传达给尚未对现场直播传送进行视听的用户。

属性数据是表示视听者的属性的数据。更具体而言，属性数据是基于选择了对现场直播传送进行视听的用户的属性、或正在对现场直播传送进行视听的用户的属性的数据。作为属性数据，例如是用户的年龄、性别等。

取得属性数据的定时可以是针对在现场直播传送开始之前事先购买了电子票的用户，进行了该事前购买的定时。另外，针对在开始了现场直播传送之后开始视听现场直播的用户，取得属性数据的定时可以是开始视听的定时。

数据加工部104可以通过从对包含属性数据的用户信息进行存储的用户数据库读出选择了对现场直播传送进行视听的用户的属性数据而取得。用户数据库可以由现场直播传送装置10具有，也可以存储于其他服务器装置等。

数据加工部104针对正在对现场直播传送进行视听的用户的属性数据，基于对现场直播传送进行视听中的用户的列表，从用户数据库取得各用户的属性。

在属性数据存储于用户的终端装置的情况下，数据加工部104可以与由用户输入了表示对现场直播传送进行视听的指示相对应地，从终端装置发送至现场直播传送装置10而取得该属性数据。

数据加工部104与所获得的属性数据相对应地，生成表示用户的热闹的情形的音数据作为反应数据。例如，数据加工部104对属性数据进行统计，求出年龄层、性别的倾向，生成与该倾向相对应的音数据。该音数据例如针对年龄层和性别的每个组合而预先存储于存储装置。数据加工部104通过参照存储装置而读出与所求出的年龄层、性别的倾向相对应的音数据，由此生成音数据。

例如，在存在20多岁的男性多的倾向的情况下，使用多位年轻的男性的欢呼声且活跃地欢呼声四起的音数据。另外，在存在20多岁的女性多的倾向的情况下，使用多位年轻的女性的欢呼声且活跃地欢呼声四起的音数据。另外，在存在40多岁的男性多的倾向的情况下，使用多位年龄层比20多岁高的男性的欢呼声的音数据。在这里，在年龄层比20多岁高的情况下，对于欢呼声也使用稍微平静的气氛的欢呼声的音数据。

如上所述，通过生成与属性数据相对应的反应数据，从而能够通过听起来为欢呼声的声音，将正在对现场直播传送进行视听的用户大多是什么年龄层、性别的人传达给尚未对现场直播传送进行视听的用户。

由数据加工部104生成的反应数据不是表示演奏本身的信息，是表示从对演奏进行视听的用户获得的反应的数据。

评论数据和鼓掌数据可以通过由对演奏进行了视听的用户针对演奏作出反应而从用户的终端装置取得。在根据评论数据、鼓掌数据生成反应数据的情况下，能够将正在对现场直播传送进行视听的用户的当前的热闹状况传达给其他用户。因此，即使在正在考虑是否对现场直播传送进行视听的用户正犹豫是否对多个现场直播传送之中的其他表演者的现场直播传送进行视听的状况下，如果当前有热闹的现场直播传送，则也能够进行对该热闹的现场直播传送进行视听这样的判断。

在根据用户属性而生成反应数据的情况下，能够掌握什么属性(年龄、性别等)用户已反应出要对现场直播传送进行视听。因此，正在考虑是否对现场直播传送进行视听的阶段的用户能够掌握什么样的用户进入了现场直播会场的倾向。在实际的现场直播中，有时根据正出席的用户的年龄、性别而会场的热闹方式不同。例如，存在设为与所演奏的节奏相匹配地挥动手臂这样的热闹方式的情况、或设为在聆听演奏期间是与节奏相匹配地晃动身体的程度，如果曲子结束则进行鼓掌这样的热闹方式的情况。根据用户，还存在周围的热闹方式和自己的享受方式相匹配才能享受现场直播的用户。这样的用户能够基于与用户属性相对应的反应数据而预先掌握处于会场的用户层，因此容易进行是否对现场直播传送进行视听的判断。如上所述，能够给其他用户传达什么样的用户正在对现场直播传送进行视听。

《针对演奏信号的其他加工方法》

数据加工部104可以针对演奏信号进行与时间的经过相对应地改变加工方式的处理。例如，也可以从在预览画面中开始传送加工数据起至经过一定时间为止，直接传送演奏信号，在经过了一定时间的情况下，进行针对演奏信号的加工。在该情况下，从用户在预览画面中开始进行基于加工数据的视听起至经过某种程度的时间为止，能够尝试对演奏信号本身进行视听。作为一定时间，例如可以如1个曲子、2个曲子那样设定与曲子的演奏时间的单位相对应的时间。由此，能够如1个曲子、或多个曲子等那样以曲子为单位进行试听。

在经过了一定时间的情况下，可以进行如使用了滤波器的加工等那样任意的加工处理。由此，能够在一定时间期间对实际的演奏信号进行视听，在此基础上，能够根据该视听内容而决定是否实际对现场直播传送进行视听。

《针对演奏信号的其他加工方法》

数据加工部104可以针对演奏信号进行其他处理。例如，数据加工部104可以进行针对演奏信号的噪声的赋予、使演奏信号的音质下降的处理、将作为立体声的演奏信号变换为单声道的演奏信号的处理之中的任1个。

在进行了噪声的赋予的情况下，还能够不是生成演奏信号本身，而是生成与其他声音进行了合成的声音。能够提供即使赋予噪声也能够以某种程度掌握演奏内容的声音。

在进行了使演奏信号的音质下降的处理的情况下，能够不是生成演奏信号本身，而是生成能够以某种程度掌握演奏内容的特征的声音。

在进行了将作为立体声的演奏信号变换为单声道的演奏信号的处理的情况下，能够生成合成于1个声道的声音。虽然是没有立体感的声音，但能够提供可以掌握演奏内容的声音。

如上所述，数据加工部104在进行针对演奏信号的加工处理的情况下，能够进行加工以使得成为能够以某种程度掌握演奏内容的程度的声音。

数据加工部104在1个现场直播会场包含多个舞台的情况下，可以基于每个舞台的视听者数据，针对每个舞台而生成加工数据，与未对传送进行视听的用户的虚拟空间的位置和各舞台的位置相对应地，将针对每个舞台而生成的加工数据进行合成，将合成后的加工数据发送至未对传送进行视听的用户的终端装置。

音处理部105输入由取得部103取得的演奏信号。

音处理部105包含混频器1051和演奏同步部1052。

混频器1051对从各表演者装置组获得的演奏信号之中的混频对象的演奏信号进行合成。例如，输入由表演者装置组P1的表演者演奏的乐器(例如吉他)的演奏信号、表演者装置组P1的表演者的歌唱语音(例如，主唱)、由表演者装置组P2的表演者演奏的乐器(例如贝斯)的演奏信号，生成将由表演者装置组P1的表演者演奏的乐器(例如吉他)的演奏信号和由表演者装置组P2的表演者演奏的乐器(例如贝斯)的演奏信号进行了混频的演奏信号(伴奏声部的演奏信号)。在该情况下，混频器1051输出表演者装置组P1的表演者的歌唱语音(例如，主唱)的演奏信号和伴奏声部的演奏信号这2个系统的演奏信号。

演奏同步部1052使从对1个曲子进行演奏的各声部的表演者装置组获得的演奏信号同步。例如，演奏同步部1052使由表演者装置组P1的表演者演奏的歌唱语音的演奏信号、由表演者装置组P1的表演者演奏的乐器的演奏信号和由表演者装置组P2的表演者演奏的乐器的演奏信号同步。

图像生成部106生成与由表演者演奏的曲子相对应的图像信号。图像生成部106包含舞台合成部1061和观众席合成部1062。

舞台合成部1061将拍摄到对曲子进行演奏的表演者的拍摄数据合成至由会场数据表示的虚拟空间的现场直播会场的舞台上的位置。

图像生成部106生成由舞台合成部1061将表演者的图像合成于虚拟空间的现场直播会场、由观众席合成部1062将视听者的虚拟形象合成于虚拟空间的现场直播会场的观众席得到的图像信号。图像生成部106将所生成的图像信号经由通信部101及网络N发送至视听者的终端装置(例如，终端装置30、终端装置31)。

同步处理部107使由音处理部105生成的演奏信号和由图像生成部106生成的图像信号同步。

传送部108将由同步处理部107同步后的演奏信号和图像信号作为内容，经由通信部101而传送至对现场直播传送进行视听的视听者的终端装置。

另外，传送部108将所生成的加工数据经由通信部101传送至未对现场直播传送进行视听的用户的终端装置。传送部108在发送加工数据的情况下，可以将预览画面和加工数据经由通信部101传送至未对现场直播传送进行视听的用户的终端装置。

传送部108将加工数据发送至用户的终端装置，由此如在实际的现场直播会场之外现场直播会场内的声音泄漏而能被听到那样，传达会场内的情形。

在这里，在终端装置，如果与进行现场直播传送的服务的门户网站连接，则显示列出了处于现场直播传送中的内容的传送列表画面。如果从该传送列表画面由用户经由输入装置而输入选择任意内容的指示，则显示选择是否对所选择的内容的现场直播传送进行视听的预览(试听)画面。在该预览画面，如果由用户经由输入装置输入表示对现场直播传送进行视听的指示，则请求现场直播传送的信号被发送至现场直播传送装置10。现场直播传送装置10接受该请求，对请求源的终端装置进行现场直播传送。由此，用户能够对现场直播传送进行视听。

是否对现场直播传送进行视听的判断根据用户而存在各种意向。例如，有时根据在现场直播传送中正在演奏什么曲子、现场直播会场气氛如何等的观点进行判断。另外，在相同时刻进行多个现场直播传送的情况下，用户存在想要慎重选择对哪个现场直播传送进行视听这样的需求。另外，对于现场直播传送存在免费的情况和收费的情况。在现场直播传送收费的情况下，与免费的情况相比，用户存在想要更慎重地进行是否对现场直播传送进行视听的判断这样的需求。

在本实施方式中，在预览画面输出由数据加工部104生成的加工数据。由此，加工数据从终端装置输出，从而用户能够根据加工数据而判断是否对现场直播传送进行视听。因此，用户不仅能够想象现场直播传送是什么情形，还能够基于加工数据而掌握实际的现场直播会场的演奏状况、会场内的气氛。由此，用户能够基于实际的现场直播会场的演奏状况、会场内的气氛而判断是否对现场直播传送进行视听。

另外，传送部108还能够将演奏信号传送至表演者的终端装置的每一者。由此，表演者能够一边经由终端装置的扬声器(或耳机)听取在其他场所进行演奏的表演者的演奏音一边进行自身的演奏。由此，能够一边听取在其他场所进行演奏的其他成员的声音一边进行演奏。

CPU 109对现场直播传送装置10内的各部分进行控制。

取得部103、数据加工部104、音处理部105、图像生成部106、同步处理部107、传送部108中的至少1者可以通过在例如CPU 109等处理装置中执行计算机程序而实现。另外，关于上述各功能，也可以由专门的电子电路实现。

接下来，说明上述的现场直播传送系统1的动作。

图4是说明现场直播传送系统1的处理的流程的定序图。

如果到达现场直播传送开始时刻，则现场直播传送装置10开始现场直播传送(步骤S101)。

如果现场直播传送开始，则各表演者开始演奏。如果利用表演者装置组P1的表演者开始演奏，则从终端装置P11向现场直播传送装置10发送演奏信号(步骤S102)。另外，如果利用表演者装置组P2的表演者开始演奏，则从终端装置P21向现场直播传送装置10发送演奏信号(步骤S103)。

如果从终端装置P11和终端装置P21分别发送演奏信号，则现场直播传送装置10接收各自的演奏信号。

终端装置30的用户经由终端装置30的输入装置而输入传送列表画面的传送请求。终端装置30与该操作相对应地向现场直播传送装置10发送传送列表画面的传送请求(步骤S104)。

现场直播传送装置10如果从终端装置30接收到传送列表画面的传送请求，则将传送列表画面传送至终端装置30(步骤S105)。在该传送列表画面包含当前正在现场直播传送的内容的一览。

终端装置30的用户从在传送列表画面显示的内容的一览选择任1个内容，通过对输入装置进行操作而点击与所选择的内容对应的按钮。如果点击内容的按钮，则终端装置30将与所点击的按钮对应的内容的预览画面的传送请求发送至现场直播传送装置10(步骤S106)。

现场直播传送装置10如果从终端装置30接收到预览画面的传送请求，则基于演奏信号和视听者数据之中的至少任一者而生成加工数据(步骤S107)。在这里，例如，数据加工部104对与正在演奏的曲子相对应的滤波器输入演奏信号，生成通过了滤波器的演奏信号作为加工数据。在该加工数据包含有演奏信号中的频带为低频的信号成分。数据加工部104能够基于从表演者的终端装置在现场直播传送之前发送来的设定列表数据，对当前正在演奏的曲子进行确定。设定列表数据例如是关联有将要演奏的曲子的顺序和演奏预定时刻(或从现场直播传送开始起的经过时间)的数据。

现场直播传送装置10如果生成加工数据，则将用于输出加工数据的预览画面与加工数据一起传送至终端装置30(步骤S108)。

终端装置30如果接收到预览画面和加工数据，则将预览画面显示于显示装置，并且将作为加工数据而获得的演奏信号从扬声器输出(步骤S109)。在这里，正在演奏的曲子中的频带为低频的信号成分的声音从扬声器输出。由此，用户能够听到演奏信号中的低频的声音。用户能够根据低频的声音掌握节拍感、节奏感，能够掌握正在演奏的曲子的气氛。

另外，加工数据不仅是声音，也可以包含图像信号。在加工数据包含图像信号的情况下，在预览画面的显示区域之中的一部分的区域显示加工数据所包含的图像信号。作为加工数据而显示的影像信号例如可以仅显示由已被现场直播传送的图像信号表示的显示画面之中的一部分的区域。

另外，图像信号也可以对显示画面的整体进行显示。在该情况下，不是直接显示图像信号所包含的表演者的图像，而是可以从表演者的图像提取出表演者的轮廓，对提取出的轮廓进行显示。在该情况下，用户能够掌握表演者的外形，因此能够推测表演者是谁、或根据外形的动作而掌握演奏的情形。

另外，数据加工部104可以显示将已现场直播传送的影像信号的画面整体的分辨率变换为低分辨率后的显示画面。在该情况下，数据加工部104将分辨率降低至能够掌握表演者是谁、所使用的乐器是什么等的程度，但也可以将分辨率降低至难以详细地掌握的程度。即使是低分辨率，用户也能够以某种程序掌握表演者、乐器，并能够据此推测演奏的情形。

用户根据在预览画面中输出的加工数据而判断是否对现场直播传送进行视听。在要视听现场直播传送情况下，用户通过对输入装置进行操作而点击在预览画面显示的视听按钮。如果视听按钮被点击，则终端装置30向现场直播传送装置10发送现场直播传送的请求(步骤S110)。在这里，在现场直播传送的对象的内容收费的情况下，终端装置30根据由用户点击电子票购买的按钮而向现场直播传送装置10发行电子票的购买请求。

如果存在电子票的购买请求，则现场直播传送装置10与该购买请求相对应地进行结算处理，之后对终端装置30发行电子票，针对终端装置30许可现场直播传送的视听。在这里，电子票可以在开始现场直播传送之前预先销售。另外，关于电子票，即使在开始了现场直播传送之后，如果存在来自用户的终端装置的请求，则也可以销售。在这里，电子票的价格可以是预先决定的恒定的金额。另外，关于电子票的价格，如果是开始了现场直播传送之后，则也可以与从现场直播传送开始起的经过时间相对应地降低。

现场直播传送装置10针对被许可了现场直播传送的视听的终端装置30，对将图像信号和演奏信号同步后的内容进行现场直播传送(步骤S111)。例如，现场直播传送装置10接收从表演者装置组P1和表演者装置组P2分别发送来的图像信号和演奏信号。然后，现场直播传送装置10将合成图像信号和演奏信号作为同步后的内容进行传送，该合成图像信号是将图像信号合成于虚拟空间的现场直播会场而得到的。由此，终端装置30的用户能够对现场直播传送进行视听。在该情况下，用户能够基于加工数据而以某种程序掌握现场直播传送的内容。因此，能够在掌握了在现场直播传送中是否有自己想听的曲子的演奏、会场的热闹的情形等的基础上进行视听。另外，即使对现场直播传送进行了视听，也能抑制自己想象的内容和实际的现场直播传送的内容的背离。

用户能够在对现场直播传送进行视听期间，从终端装置30的输入装置输入与感想、声援、针对来自表演者的呼唤的响应(呼答式互动)等相对应的评论。另外，用户还能够经由终端装置30的输入装置而点击在对现场直播传送进行视听的画面显示的鼓掌按钮。例如，终端装置30如果由用户经由输入装置而输入评论，则将所输入的评论作为评论数据发送至现场直播传送装置10(步骤S112)。

现场直播传送装置10接收从终端装置30发送来的评论数据(步骤S113)。

另一方面，终端装置31的用户经由终端装置31的输入装置输入传送列表画面的传送请求。终端装置31与该操作相对应地，将传送列表画面的传送请求向现场直播传送装置10发送(步骤S114)。

现场直播传送装置10如果从终端装置31接收到传送列表画面的传送请求，则将传送列表画面传送至终端装置31(步骤S115)。

终端装置31的用户从在传送列表画面显示的内容的一览选择任1个内容，从输入装置对表示所选择的内容的按钮进行点击。如果内容的按钮被点击，则终端装置31将所点击的内容的预览画面的传送请求向现场直播传送装置10发送(步骤S116)。

现场直播传送装置10如果从终端装置31接收到预览画面的传送请求，则基于演奏信号和视听者数据中的至少任一者而生成加工数据(步骤S117)。在这里，例如，数据加工部104通过向与正在演奏的曲子相对应的滤波器输入演奏信号而获得加工数据。在这里，根据从演奏开始起的经过时间，有时是与在上述步骤S107中生成加工数据的时间点不同的曲子。在曲子不同的情况下，数据加工部104使用与当前正在演奏的曲子相对应的滤波器而生成加工数据。由此，能够与在生成加工数据的时间点正在演奏的曲子相对应地，改变通过的频带。由此，能够进行与正在演奏的曲子相对应的加工。因此，例如，根据曲子，有时所利用的乐器不同。另外，根据曲子的流派，还存在朋克形态、古典乐形态等。在这种情况下，演奏信号所包含的频带的范围也不同。在这里，数据加工部104使用与曲子、曲子的流派相对应的滤波器而生成加工数据，因此能够与当前的演奏相对应地改变通过的频带。

另外，数据加工部104在从已经对现场直播传送进行了视听的其他用户的终端装置获得视听者数据的情况下，还能够生成包含基于该视听者数据的反应数据在内的加工数据。例如，能够生成与在步骤S112中接收到的评论数据相对应的反应数据作为加工数据。此外，数据加工部104也可以不生成基于演奏信号的加工数据，而是仅生成基于视听者数据的反应数据。

现场直播传送装置10如果生成加工数据，则将用于输出加工数据的预览画面与加工数据一起传送至终端装置31(步骤S118)。

终端装置31如果接收到预览画面和加工数据，则将预览画面显示于显示装置，并且将加工数据所包含的演奏信号从扬声器输出(步骤S119)。由此，用户能够通过听取与加工数据相对应的声音而掌握现场直播传送的气氛。在这里，能够听取与加工之后的演奏信号相对应的演奏音、由基于视听者数据而生成的反应数据表示的会场的喧闹的情形的声音。

用户通过根据加工数据而判断是否对现场直播传送进行视听。在这里，输出还考虑了与来自实际正在对现场直播传送进行视听的用户的反应相对应的视听者数据在内的加工数据。由此，用户还能够掌握正在视听的用户的反应，因此能够掌握表演者的演奏和对该演奏进行视听的用户的气氛作为现场直播会场的气氛。能够在掌握了现场直播会场的气氛是否热闹、是否在舒适的气氛下享受等的基础上，判断是否对现场直播传送进行视听。

在对现场直播传送进行视听的情况下，用户通过对输入装置进行操作而点击在预览画面显示的视听按钮。如果视听按钮被点击，则终端装置31针对现场直播传送装置10发送现场直播传送的请求(步骤S120)。在现场直播传送的对象的内容收费的情况下，与来自用户的操作输入相对应地，在终端装置31和现场直播传送装置10之间执行与电子票的购买相关的结算处理。

现场直播传送装置10如果进行结算处理，则针对终端装置31而发行电子票，许可现场直播传送的视听。

现场直播传送装置10针对许可了现场直播传送的视听的终端装置31，对使图像信号和演奏信号同步后的内容进行现场直播传送(步骤S121)。由此，终端装置31的用户能够对现场直播传送进行视听。在该情况下，能够基于加工数据以某种程度掌握现场直播传送的内容，因此能够在掌握了是否正在演奏自己想听的曲子的基础上进行视听。另外，能够在掌握了与会场的喧闹的情形相对应的会场的热闹情形等的基础上进行视听。另外，即使对现场直播传送进行了视听，也能够降低与自己所想象的传送内容之间的背离。

在以上说明的实施方式中，说明了尚未对现场直播传送进行视听的用户判断是否对现场直播传送进行视听的情况。在该情况下，如果输入对现场直播传送进行视听的请求，则能够进入虚拟空间的现场直播会场，能够对在该现场直播会场正进行的演奏进行视听。

特别是，根据该实施方式，用户能够对感兴趣的现场直播传送进行确定，但在实际上犹豫是否对现场直播传送进行试听的情况下，基于加工数据而容易进行能否视听的判断。

另外，根据上述实施方式，在对传送列表画面进行显示之后发送预览画面，但也可以不对传送列表画面进行传送而是对预览画面进行传送。例如，表演者可以在自身公布的SNS(Social networking service)、视频发布网站中公布预览画面。在该情况下，用户通过访问该表演者的SNS、视频发布网站，从而能够不对传送列表画面进行显示而显示预览画面并进行基于加工数据的试听。

另外，根据上述实施方式，能够在表演者进行现场直播传送的中途，针对考虑是否对现场直播传送进行视听的用户，使其引起对现场直播传送的兴趣。

另外，根据上述实施方式，提供现场直播传送的运营商即使在开始了现场直播传送之后，也能够构建使用户进行视听这样的引导。

《与虚拟空间的会场和虚拟形象的位置相对应的加工》

在上述实施方式中，在选择是否进入现场直播会场时，可以与现场直播会场的位置和用户的位置相对应地，改变加工数据的生成方式。

例如，可以与实际的现场直播会场的位置和实际的用户的当前位置相对应地，改变加工数据的生成方式。现场直播会场的位置由纬度经度表示。实际的用户的当前的位置可以使用由用户利用的终端装置的定位功能(例如GPS(Global Positioning System))进行测定。与实际的现场直播会场的位置和实际的用户的当前位置相对应地，生成加工数据，在向用户的终端装置发送了加工数据的情况下，用户能够基于该加工数据而判断是否进入实际的现场直播会场。

另外，例如可以与虚拟空间中的现场直播会场的位置和虚拟空间中的用户的虚拟形象的位置相对应地，改变加工数据的生成方式。在该情况下，图像生成部106对表示虚拟空间的三维空间中的会场的坐标和用户在终端装置中操作的虚拟形象的坐标的位置进行计算。虚拟形象的坐标能够与从用户的终端装置的输入装置使虚拟形象的位置移动的操作输入相对应地进行变更。图像生成部106如果虚拟形象的位置被移动，则逐次求出虚拟形象的坐标。图像生成部106基于虚拟形象的位置和虚拟形象的视线方向而求出虚拟空间的视场范围，生成与该视场范围相对应的影像信号。传送部180将所生成的影像信号现场直播传送至终端装置。

数据加工部104使用与在图像生成部106中生成的、虚拟空间中的会场的坐标和用户的虚拟形象的坐标相对应的特性的滤波器，生成通过该滤波器后的演奏信号。关于这里使用的滤波器，在虚拟空间中的会场的坐标和用户的虚拟形象的坐标的位置远离至一定程度的情况下，使用仅使低音通过这一特性的低通滤波器。用户的虚拟形象的坐标的位置越近，则使用不是仅低音通过而是通过的频带的高频侧的频带越宽这一特性的滤波器。在该情况下，存储部102对会场和虚拟形象之间的距离、滤波器类型进行存储。数据加工部104求出会场的坐标和虚拟形象的坐标之间的距离，从存储部102读出与所求出的距离相对应的滤波器类型。而且，数据加工部104可以通过使演奏信号通过与所读出的滤波器类型对应的滤波器而获得加工数据。

另外，数据加工部104可以使用1个滤波器，与会场的坐标和虚拟形象的坐标之间的距离相对应地，距离越近则使滤波器的高频侧的特性越宽(提高高频侧的上限值)，距离越远则使滤波器的高频侧的特性越窄(降低高频侧的上限值)、或越缩窄。

由此，数据加工部104在虚拟空间中的会场的坐标和用户的虚拟形象的坐标的位置远离至一定程度的情况下，能够将以仅能听到演奏信号中的低音的方式加工出的演奏信号在预览画面输出。在实际的现场直播会场，在用户处于与现场直播会场远离一定程度的位置的情况下，有时演奏音中的低音从现场直播会场泄漏而被听到。另外，与实际的现场直播会场越近，则用户不仅仅听到低音，还听到比低音高的频带的声音。在听到低音的情况下，无法对演奏信号本身进行视听，但在低音大多包含有容易掌握节拍感、节奏感的乐器(例如，低音鼓、锣(tam)等)的演奏音。因此，用户能够掌握节拍感、节奏感，虽然无法掌握至其他乐器的演奏(吉他、主唱等)的详细内容但能够以可掌握气氛的程度进行聆听。虚拟形象越接近会场，则滤波器的频带的上限值越高。因此，越接近会场，则针对其他乐器的演奏(吉他、主唱等)也越容易听取。例如，越接近会场则能清楚地听到的乐器的声音越增多。

在本实施方式中，与虚拟空间中的现场直播会场的坐标和用户的虚拟形象的坐标之间的距离相对应地改变透过的频带，因此，用户能够通过使自身的虚拟形象的位置移动至接近会场而听取更宽的频带的演奏音。另外，能够品味接近实际的现场直播会场这样的感觉，因此能够感受到实际去现场直播的情况那样的高抗感。

《修建了多个舞台的现场直播会场的舞台间的移动》

另外，在上述实施方式中，说明了在现场直播会场中1组的组合演奏的情况，但还能用于在1个现场直播会场修建了多个舞台的情况。作为在1个现场直播会场修建多个舞台的情况，例如有户外音乐节。在户外音乐节，在1个现场直播会场中修建有多个舞台，在每个舞台由不同的表演者分别对不同的曲子进行演奏。各舞台的演奏并行地进行。用户如果购买入场票，则进入现场直播会场的多个舞台之中的演奏想要视听的曲子的舞台的阅览区域，由此能够听取该舞台的曲子。可以将这样修建了多个舞台的现场直播会场构成于虚拟空间上，进行现场直播传送。

在该情况下，用户能够对自身的虚拟形象进行操作，在虚拟空间的舞台间进行移动。用户寻找可能更感兴趣的舞台而对虚拟形象进行操作以接近任意的舞台。

在该情况下，数据加工部104可以与虚拟空间的多个舞台的坐标和用户的虚拟形象的坐标之间的关系相对应地对每个舞台的演奏信号进行合成。更具体而言，数据加工部104在用户的虚拟形象位于虚拟空间的入口至现场直播会场为止的空间(与门厅相当的区域)的情况下，通过将各舞台的演奏信号均匀地混频而生成加工数据。由此，在用户的终端装置以大致相同程度的比例听取各舞台的演奏信号。

在用户的虚拟形象进入了虚拟空间的现场直播会场的情况下，与该虚拟形象的位置和各舞台的位置的距离相对应地，对各舞台的演奏信号进行混频。在这里，可以是越是与虚拟形象的位置之间的距离近的舞台，使用使得演奏信号的频带不仅是低频而是更高频侧的频带的声音也能透过的滤波器而获得演奏信号，对来自各个舞台的演奏信号进行混频。

另外，在这里，可以通过对将各舞台的演奏信号混频后的演奏信号和与虚拟形象之间的距离最近的舞台的演奏信号进行交叉衰减处理，从而获得加工数据。

另外，在该情况下，数据加工部104可以基于与各舞台的位置和虚拟形象的位置相对应的音像定位而对演奏信号进行加工。由此，用户能够掌握是从虚拟形象的左右方向、前后方法的哪个方向能听到的舞台的演奏。另外，用户能够通过朝向能听到感兴趣的曲子的方向移动虚拟形象，从而能够到达感兴趣的舞台。

根据该实施方式，虽然没有决定想要对现场直播传送进行试听的表演者(或舞台)，但在想要与实际正在演奏的曲子、会场的气氛相对应地选择要进行视听的对象的原者(或舞台)的情况下，变得容易选择对哪个表演者(或舞台)的演奏进行视听。

另外，可以将用于实现图1的处理部的功能的程序记录于计算机可读取的记录介质，将在该记录介质记录的程序读入至计算机系统并执行，由此进行施工管理。此外，这里所说的“计算机系统”包含OS、周边设备等硬件。

另外，“计算机系统”在利用WWW系统的情况下还包含网页提供环境(或显示环境)。

另外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD－ROM等可移动介质、内置于计算机系统的硬盘等存储装置。并且，“计算机可读取的记录介质”包含如成为服务器或客户端的计算机系统内部的易失性存储器那样保存一定时间的程序的记录介质。另外，上述程序可以用于实现前述功能的一部分，还可以通过与所有记录于计算机系统的程序的组合而实现前述功能。另外，也可以预先将上述程序存储于规定的服务器，与来自其他装置的请求相对应地经由通信线路对该程序进行传送(下载等)。

以上，参照附图对本发明的实施方式进行了详述，但具体的结构不限定于本实施方式，还包含不脱离本发明的主旨的范围内的设计等。

标号的说明

1…现场直播传送系统，10…现场直播传送装置，12…拾音装置，20…管理者终端，30、31、P11、P21…终端装置，101…通信部，102…存储部，103…取得部，104…数据加工部，105…音处理部，106…图像生成部，107…同步处理部，108…传送部，1021…会场数据存储部，1022…虚拟形象存储部，1051…混频器，1052…演奏同步部，1061…舞台合成部，1062…观众席合成部，P1、P2…表演者装置组，P12、P22…拾音装置，P13、P23…摄像机，N…网络。