显示控制系统、显示控制方法、以及显示控制程序

技术领域

本发明涉及显示控制系统、显示控制方法、以及显示控制程序。

背景技术

在专利文献1等记载了发布内容的服务器。

现有技术文献

专利文献

专利文献1：JP专利第5530557号公报

发明内容

根据本发明的一方面，提供一种显示控制系统，其具备：获取真实空间的三维位置信息的获取部；设定部，其利用所述三维位置信息确定所述真实空间中的接受物品的目标部的位置，并将所述目标部设定在该位置；以及显示控制部，在与所述真实空间相当的真实空间像中的利用所述三维位置信息确定的所述目标部的位置添加与所述目标部对应的目标对象，并且在根据表示朝向所述真实空间像中的、所述目标对象使所述物品移动的用户动作的用户动作信息所确定的物品的物品位置添加与所述物品对应的物品对象。

根据本发明的另一方面，提供一种显示控制方法，该显示控制方法使获取部获取真实空间的三维位置信息，使设定部利用所述三维位置信息确定所述真实空间中的接受物品的目标部的位置并将所述目标部设定在该位置，使显示控制部在与所述真实空间相当的真实空间像中的利用所述三维位置信息确定的所述目标部的位置添加与所述目标部对应的目标对象，并且在所述真实空间像中的、根据表示朝向所述目标对象使所述物品移动的用户动作的用户动作信息所确定的物品位置添加与所述物品对应的物品对象。

根据本发明的另一方面，提供一种显示控制程序，其使计算机执行如下的显示控制方法：所述显示控制方法使设定部利用真实空间的三维位置信息确定所述真实空间中的接受物品的目标部的位置并将所述目标部设定在该位置，使显示控制部在与所述真实空间相当的真实空间像中的利用所述三维位置信息确定的所述目标部的位置添加与所述目标部对应的目标对象，并且在所述真实空间像中的、根据表示朝向所述目标对象使所述物品移动的用户动作的用户动作信息所确定的物品位置添加与所述物品对应的物品对象。

附图说明

图1是示出第1实施方式中的视频直播系统的整体构成的图。

图2是演播室所具有的控制装置以及发布终端和服务器的框图。

图3是示出属性数据库的图。

图4是服务器与用户终端的框图。

图5的(a)是在将杯子设定为目标部时的处理的流程图，(b)是示出将杯子设定为目标部时的发布者终端的显示画面的图。

图6的(a)是利用手势设定目标部时的处理的流程图，(b)是示出利用手势设定目标部时的发布者终端的显示画面的图。

图7是将目标部作为虚拟物的对象时的处理的流程图。

图8的(a)是示出在选择目标对象时的发布者终端的显示画面的图，(b)是示出在选择桶作为目标对象的状态下的发布者终端的显示画面的图，(c)是示出发布者手持作为目标对象的桶的状态下的发布者终端的显示画面的图。

图9的(a)是视频直播处理的流程图，(b)是示出开始特别期间时的用户终端的显示画面的图。

图10的(a)是赠送礼物处理的流程图，(b)是示出显示有一览显示可选择的物品的物品选择对象的用户终端的显示画面的图，(c)是示出显示有所选择的物品的用户终端的显示画面的图。

图11的(a)是示出用户对用户终端的显示面进行滑动操作的状态的图，(b)是示出显示出物品对象飞向目标对象的状态的用户终端以及发布者终端的显示画面的图，(c)是示出显示出物品对象到达目标对象的状态的用户终端以及发布者终端的显示画面的图。

图12的(a)是示出物品对象显示处理的流程图，(b)是示出显示出发布者离开座位的状态的用户终端以及发布者终端的显示画面的图，(c)是示出显示出物品对象以及目标对象出屏幕的状态的用户终端以及发布者终端的显示画面的图。

图13的(a)为图12的(a)的后续，是示出物品从目标部溢出时的处理的流程图，(b)是示出显示出多个物品保持于由手掌构成的容器的状态的用户终端以及发布者终端的显示画面的图，(c)是示出显示出物品从由手掌构成的容器溢出的状态的用户终端以及发布者终端的显示画面的图。

图14的(a)为图13的(c)的后续，是示出显示出物品在桌子上滚动的状态的用户终端以及发布者终端的显示画面的图，(b)是示出显示出物品从桌子掉下去的状态的用户终端以及发布者终端的显示画面的图，(c)是示出显示出物品在地面滚动的状态的用户终端以及发布者终端的显示画面的图，(d)是示出显示出物品在地面上静止的状态的用户终端以及发布者终端的显示画面的图。

图15的(a)是示出物品没有进入到目标部的情况下的处理的流程图，(b)是示出显示出物品与目标部偏离的状态的用户终端以及发布者终端的显示画面的图。

图16是示出第2实施方式中的显示控制系统的图。

图17是第2实施方式中的头戴式显示器的框图。

具体实施方式

以下，使用图1～图17，参照附图说明应用了本发明的视频直播系统。

[第1实施方式]

[视频直播系统的概要]

如图1所示，视频直播系统1具备：发布者X拍摄发布影像的演播室10；以现场直播发布在演播室10获取的发布影像的服务器40；收看在服务器40发布的发布影像的用户A、B、C的用户终端50、70、80。服务器40和用户终端50、70、80经由网络2连接。此外，用户终端的数量不限于在此示出的3台，可以为1台，也可以为数十台、数百台。

在演播室10内的真实空间中，作为一例，正在拍摄作为被摄体的发布者X。该拍摄可以由摄像师等第三者拍摄，也可以是自拍。在演播室10拍摄的发布者X的人数在此为1人，但也可以为多人。另外，发布者X是非有名人士或公职人员的普通人、表演者(偶像、明星、艺人、模特、声优、音乐家、运动选手等)，以表演者为目标的业余爱好者、专业人士或者业余爱好者的乐队等组合、该组合的成员等。作为一例，发布者X为进行表演的现场表演者，为实际在演播室10内的人物。另外，发布者X也可以用真实空间图像中成为自己的替身的角色、即虚拟形象显示。发布者X为接受由用户A、B、C提供的物品的领取人。另外，被摄体也可以取代发布者X，而是公共设施。就公共设施而言，作为一例，为神社寺院等祭祀设施、铜像石像(人物像、动物像、佛像等)等纪念碑等。另外，就被摄体为发布者X的情况下所使用的演播室10而言，作为一例，可以为拍摄演播室或卡拉OK房间，也可以为发布者X的家里的房间等。另外，可以为田径运动、足球、棒球等的竞技场等室外，也可以为体育馆或音乐厅等室内设施。另外，演播室10可以为演唱会会场或活动会场，在该情况下，作为一例，发布者X发布者X为在舞台上现场表演的表演者。另外，发布者X所在的演播室10为与用户A、B、C实际所在的场所分离的场所。另外，作为一例，在取代发布者X的被摄体为祭祀设施或纪念碑等情况下，在这些设施之前设定了功德箱或募捐箱的目标部时，用户A、B、C能够虚拟地向与自己所在的场所远离的祭祀设施或纪念碑等投掷香油钱。

演播室10具备：麦克风11；RGB摄像头12；深度摄像头13；演播室监控器14；扬声器15；触觉设备16；控制装置17；智能设备等发布者终端18。另外，发布者X由桌子6上的照明9来照射。

麦克风11收集发布者X的对话或环境音等。麦克风11收集与发布者X的卡拉OK数据匹配的歌声等。RGB摄像头12为配置在演播室10而对演播室10中的真实空间进行拍摄的第1摄像头。RGB摄像头12作为一例为具有动态图像(视频)拍摄功能的数码相机，另外，作为一例，为摄影机。RGB摄像头12具有CCD或CMOS等摄像元件，检测可见光等光，输出由3种颜色(红、绿、蓝)的彩色信号构成的显示数据。作为一例，RGB摄像头12拍摄演播室10或发布者X。由RGB摄像头12拍摄到的作为真实空间图像的影像通过服务器40，而在发布者终端18、演播室监控器14或用户终端50、70、80等的显示面显示为观赏用数据。另外，作为一例，由RGB摄像头12拍摄到的影像作为发布者X的确认用显示数据而显示于发布者终端18、演播室监控器14。RGB摄像头12在演播室10内可以设有1台，也可以设有多台。在使用多台RGB摄像头12的情况下，以使摄像方向每一台不同的方式设于多处。由此，能够全覆盖地对演播室10进行拍摄，例如拍摄桌子的下部、椅子的下部等也能够拍摄。在该情况下，多个RGB摄像头12以使一个RGB摄像头12的摄像范围的外周部与相对于该摄像范围相邻的摄像范围的外周部重叠的方式，即以在摄像范围间无间隙的方式设置。

作为一例，深度摄像头13为用于在视频直播系统1中获取三维位置信息的第2摄像头。作为一例，深度摄像头13为红外线摄像头。红外线摄像头具备：投射红外线的投光部；以及检测红外线的红外线检测部。深度摄像头13根据到从投光部投射的红外线脉冲反射且返回为止的时间获取真实空间中的深度信息等三维位置信息。深度摄像头13获取作为从自身到被摄体为止的距离的深度信息等，作为一例，为获取作为与发布者X之间的距离的深度信息等获取部。另外，作为一例，发布者X的位置、或用户投放物品时的目标部的位置能够利用以深度摄像头13的检测部为原点的三维坐标系等来确定。此外，RGB摄像头12和深度摄像头13可以为一体的装置，也可以为分体的装置。深度摄像头13在演播室10内可以具有1台，也可以设有多台。在使用多台深度摄像头13的情况下，以使摄像方向成为每一台不同的方向的方式设于多处，由此，能够全覆盖地对演播室10的三维坐标进行检测。作为一例，获取桌子6的下部、椅子的下部等的三维位置信息等也能够获取。在该情况下，多个深度摄像头13以使一个深度摄像头13的检测范围的外周部和与该检测范围相邻的检测范围的外周部重叠的方式，即，以在检测范围间无间隙的方式设置。

演播室监控器14配置在作为真实空间的演播室10，为显示影像的显示装置，作为一例，主要为以可由发布者X视觉确认的方式设于演播室10的墙壁、桌子等的显示装置。演播室监控器14作为一例，相对于智能设备为大型设备。另外，演播室监控器14作为一例，为平板显示器，为CRT、LCD或有机EL显示装置。作为一例，演播室监控器14在发布前的准备时，显示由RGB摄像头12拍摄到的实况影像(不包括后述的物品对象3、目标对象5)。另外，演播室监控器14作为一例，显示通过服务器40发布的视频直播影像(包括后述的物品对象3、目标对象5)。扬声器15播放由麦克风11收集的发布者X的声音数据、由控制装置17再生的乐曲数据等。另外，扬声器15播放包括从用户终端50、70、80发送的用户A、B、C的声音在内的声音数据。由此，发布者X能够听到用户A、B、C的反应。

触觉设备16为穿戴于发布者X并相对于发布者X利用机械的刺激赋予皮肤感觉反馈的机器。作为一例，触觉设备16驱动偏心马达致动器、线性共振致动器、压电式致动器等而生成物理性的振动，通过振动来相对于作为穿戴者的发布者X反馈力量感、触觉以及按压感中的至少一种感觉。作为一例，触觉设备16通过对皮肤的电刺激的模式，相对于发布者X反馈力量感、触觉、以及按压感中的至少一种感觉。

而且，还可以在触觉设备16的基础上设置反馈嗅觉的嗅觉反馈设备。作为一例，反馈嗅觉的设备能够构成为在头戴式显示器、智能眼镜等头戴装置上组装容置有香水、作为香味源的片材等的一个或者多个盒，从喷雾口朝向鼻的下方喷出微量的香味。

控制装置17为与麦克风11、RGB摄像头12、深度摄像头13、演播室监控器14、扬声器15、触觉设备16等各种机器连接并输入输出数据，并且与服务器40进行通信的通信装置。另外，控制装置17为CD、DVD、BD、半导体存储器等记录介质的再生装置，对记录于这些记录介质的乐曲数据、影像数据等进行再生。而且，控制装置17还再生通过网络发布的乐曲数据、影像数据等。作为一例，控制装置17再生卡拉OK数据(伴奏数据)。控制装置17将来自麦克风11的声音数据、来自RGB摄像头12的影像数据等混合并生成实况影像，并且将来自深度摄像头13的三维位置信息发送至服务器40。作为一例，控制装置17以规定的动态图像压缩方式对发布用的实况影像进行编码，并发送至服务器40。另外，控制装置17接收从服务器40发送来的视频直播影像4并进行解码。

发布者终端18作为一例为智能设备，具有可用单手握持的程度的大小，具备具有触控面板的显示部、麦克风、扬声器、摄像部、通信部、非易失性存储器等存储部等。在此，作为一例，显示与演播室监控器14相同的影像。作为一例，发布者终端18显示从服务器40发布的视频直播影像4。

具有这种构成的发布者终端18能够代替发挥从上述控制装置17、麦克风11、RGB摄像头12、演播室监控器14以及扬声器15中选出的至少一个功能。而且，发布者终端18在也具有深度摄像头时还能够代替发挥深度摄像头13的功能。像这样，通过利用发布者终端18代替发挥演播室10所具有的机器的功能，即使发布者X不在专用的演播室10进行拍摄，在卡拉OK演播室、家里、室外等也能够方便地拍摄发布用的实况影像。在使用发布者终端18作为RGB摄像头12的情况下，通过将发布者终端18固定于三脚架等，能够防止手抖并且拍摄实况影像。在这种情况下，发布者终端18能够不经由控制装置17地与服务器40进行数据的交换。

服务器40为管理视频直播系统1的装置，管理视频直播并且管理进行视频直播的发布者X、收看视频直播影像4的用户。另外，管理用户相对于发布者X提供的物品。作为一例，服务器40将视频直播影像4向用户终端50、70、80发布。作为一例，服务器40相对于由RGB摄像头12拍摄到的实况影像，添加用户向发布者X提供的物品对应的物品对象3并生成视频直播影像4，并向用户终端50、70、80发布。另外，作为一例，相对于实况影像设定用户向发布者X提供物品时的目标部。就图1中的目标部而言，由发布者X的一部分的手掌构成的容器成为目标对象5，但发布者X自身也可以为目标对象5。另外，发布者X的头部也可以被设定为目标对象5。另外，目标对象5可以为发布者X手持的桶、杯子、垃圾箱、装饰箱等，也可以为放置在发布者X面前的桌子6上的功德箱等。在目标部为位于演播室10的实物的情况下，就目标部而言，该实物的图像为目标对象5。而且，在目标部为未实际存在于演播室10的虚拟物的情况下，就目标部而言，代表虚拟物的图像设为目标对象5。目标部的目标位置、即显示目标对象5的显示位置由基于通过深度摄像头13检测到的深度信息的三维位置信息来确定。作为一例，目标位置由以深度摄像头13的检测部为原点的三维坐标系等来确定。作为一例，由于目标部为放入物品的容器，目标位置也相应地被定义为具有用于容置物品的体积或者容积的立体的空间部。作为一例，服务器40相对于由RGB摄像头12拍摄到的实况影像，添加目标对象5并生成视频直播影像4，向用户终端50、70、80发布。另外，作为一例，服务器40生成物品对象3被投入至目标对象5这样的视频直播影像4。

作为一例，参加视频直播系统1的用户A、B、C为对发布者X感兴趣的人、发布者X的粉丝等支援者，位于与演播室10分离的场所，能够使用用户终端50、70、80收看视频直播影像4。用户A、B、C相对于发布者X投掷物品的人(物品提供者、赠送礼品者)。作为一例，用户A的用户终端50具有：台式或者笔记本型的个人计算机50a；以及与个人计算机50a连接的可穿戴终端、作为智能设备终端的智能手表60。在个人计算机50a为台式的情况下，用户终端50具备：具有台式的监控器的个人计算机50a；以及与个人计算机50a连接的智能手表60。另外，在个人计算机50a为笔记本型的情况下，用户终端50具备：具有显示部的笔记本型的个人计算机50a；以及与笔记本型的个人计算机50a连接的智能手表60。作为一例，用户终端50的用户A将智能手表60穿戴于惯用手等，智能手表60利用有线或者无线与个人计算机50a连接。智能手表60具备加速度传感器、陀螺仪传感器等检测部，作为一例，在用户A进行了投掷物体的动作时，作为用户动作信息，检测其加速度、角度(姿势)、角速度。

此外，个人计算机50a也可以利用有线或者无线与头戴式显示器(HMD)连接。HMD也可以具有作为个人计算机50a的构成。作为HMD，举出光学透视型头戴式显示器、视频透视型头戴式显示器、非透射型头戴式显示器等。在为光学透视型头戴式显示器的情况下，能够进行基于AR(增强现实)的显示。在为视频透视型头戴式显示器、非透射型头戴式显示器的情况下，能够进行基于VR(虚拟现实)的显示。个人计算机50a也可以为与计算机连接的智能眼镜等这种眼镜型信息处理终端。

另外，用户B的用户终端70作为一例，为智能手机、平板电脑等智能设备终端，为可携带的小型信息处理终端。智能手机作为一例，在显示面具有触控面板。另外，用户终端70具有加速度传感器、陀螺仪传感器等检测部。用户终端70作为一例，在用户B进行了投掷物体的动作时，检测其加速度、角度、角速度来作为用户动作信息，并发送至服务器40。另外，取代用户B投掷物体的动作，在用手指或触控笔在显示有视频直播影像4的显示面进行了向所显示的目标对象5的方向描画的滑动操作时，用户终端70将该坐标数据等操作数据发送至服务器40。用户终端70为可携带的小型信息处理终端，因此，用户终端70的用户B在哪里都能够收看发布者X的视频直播影像4。

用户C的用户终端80具备智能设备终端70a和智能手表60。在该情况下，智能设备终端70a发挥用户A的笔记本型的个人计算机50a这样的功能。由此，即使在用户C用穿戴智能手表60的惯用手进行投掷物体的动作时，也能够视觉确认在用另一只手持有的智能设备终端70a的显示部显示的影像。另外，能够在将智能设备终端70a放置于桌子等或者固定于三脚架的状态下进行投掷物体的动作。由此，能够一边观看显示于智能设备终端70a的显示部的影像一边利用穿戴了智能手表60的惯用手进行投掷动作等。用户终端80还能够不使用智能手表60，而通过在显示面向目标对象5的方向描画的滑动操作将用户动作信息发送至服务器40。

在用户终端50、70、80中，能够一边收看视频直播影像4，一边相对于此时实际放映的发布者X赠送的物品。作为一例，在用户终端50、70、80的显示面，与视频直播影像4一并显示能够相对于发布者X赠送的物品的一览对象，用户A、B、C能够从一览对象中的物品选择一个物品。然后，在用户终端50、70、80的显示面显示所选择的物品对象3。在图1中，物品为宝石，但也可以为花束、发带等装饰品、硬币等，在利用用户终端50、70、80收看时，也可以为呈现发布者X的动作的特效、发布者X所在的场所的背景图像等。

此后，用户终端50的用户A在穿戴了智能手表60的状态下挥动手腕而以目标对象5为目标进行投掷物体的动作。用户终端70的用户B在携带用户终端70的状态下挥动手腕而以目标对象5为目标进行投掷物体的动作。用户终端80的用户C在穿戴了智能手表60的状态下挥动手腕而以目标对象5为目标进行投掷物体的动作。于是，用户终端50、70、80将检测结果即作为用户动作信息的加速度数据、角度(姿势)数据、角速度数据等操作数据发送至服务器40。另外，在用户终端70、80中，用手指或触控笔在显示有视频直播影像4的显示面进行以所显示的目标对象5为目标进行描画的滑动操作，作为用户动作信息，将该坐标数据等操作数据发送至服务器40。

服务器40相对于实况影像添加从用户终端50、70、80发送来的物品的物品对象3，并设为能够在用户终端50、70、80以及演播室监控器14及发布者终端18视觉确认该状态。物品对象3的显示位置(物品位置)基于从用户终端50、70、80发送来的作为用户动作信息的加速度数据、角度数据、角速度数据等操作数据，由服务器40算出。此外，从用户终端50、70、80发送来的作为用户动作信息的加速度数据、角度数据、角速度数据等只要至少具备加速度数据即可。这是因为，能够根据加速度数据算出所投掷的物品的飞行距离等。另外，在显示有视频直播影像4的显示面进行了向目标对象5的方向描画的滑动操作时，物品对象3的显示位置(物品位置)基于其坐标数据等由服务器40算出。

作为一例，在用户A、B、C进行了轻投物品这种动作或操作的情况下，显示有物品对象3的物品位置成为在目标部、发布者X的前方远离的位置。在用户A、B、C进行了更强地投掷物品这样的动作或操作的情况下，显示有物品对象3的物品位置成为在目标部、发布者X的前方比较近的位置。而且，在物品被用户A、B、C过强地投掷的情况下，显示有物品对象3的物品位置成为在物品由位于目标部、发布者X的后方的墙壁反弹后，相对于目标部、发布者X成为前方或后方的位置。而且，在用户A、B、C进行了相对于发布者X、目标部而向右侧或者左侧投掷了物品的动作或操作的情况下，显示有物品对象3的物品位置与用户A、B、C投掷物品的方向对应地，相对于目标部、发布者X而成为右侧或者左侧的位置。此外，在检测用户A、B、C进行的投掷动作的情况下，优选事先设定正面方向，相对于所设定的正面方向检测右侧或者左侧。特别是在用户B使用作为智能手机的用户终端70的情况下，终端没有被固定，因此，优选事先进行确定正面方向的设定处理。通过使这些情况显示于发布者终端18、演播室监控器14，发布者X能够视觉确认从实际没有位于演播室10的用户A、B、C向自己的方向投掷了物品。另外，相对于发布者X、目标部投掷了物品的情况也在用户终端50、70、80在视频直播影像4中显示。由此，用户A、B、C能够确认是否准确向发布者X、目标部的方向投掷了物品。

此外，在正在收看相同视频直播影像4的多个用户A、B、C相对于发布者X投掷了物品时，还显示他人投掷的物品。由此，能够在用户间竞争相对于发布者X投掷的物品的数量。

若物品对象3的位置相对于目标对象5的目标位置重叠，则服务器40将物品对象3进入了目标对象5的状态显示在视频直播影像4中。另外，作为一例，服务器40在目标部为发布者X实际携带的实物的桶、杯子、垃圾箱、装饰箱等的情况下，若发布者X活动手、手腕，则配合其动作而使目标位置变化。在将实物的桶、杯子、垃圾箱、装饰箱等放置于桌子6并活动了手、手腕的情况下，目标部成为桌子6的上的桶、杯子、垃圾箱、装饰箱等。而且，作为一例，在目标部为虚拟物的情况下，服务器40将待显示虚拟的对象的位置设定为目标位置，在视频直播影像4中的该目标位置显示目标对象5。然后，在设定为发布者X手持虚拟物的情况下，配合发布者X的手、手腕的动作使物品对象3移动。服务器40在发布者X持有作为目标部的容器等的情况下，驱动触觉设备16，使穿戴了触觉设备16的发布者X感知物品的重量。即，服务器40以与在容器有一个物品的情况相比，在有两个物品的情况下使发布者X感受到更重的重量的方式驱动触觉设备16。另外，服务器40以在物品在容器中滚动时，使物品滚动时的振动传达给发布者X的方式驱动触觉设备16。

作为一例，演播室10的深度摄像头13始终算出演播室10中的各处的深度信息等三维位置信息。深度摄像头13作为一例，提取发布者X的人物区域，并区分人物区域和非人物区域。深度摄像头13作为一例，获取发布者X的25处的各骨骼位置来作为骨骼数据，还算出各骨骼位置的深度信息。就骨骼位置而言，作为一例，包括左右的手、头部、颈部、左右的肩部、左右的手肘、左右的膝盖、左右的脚部等骨骼位置。此外，所获取的骨骼位置的数量不限于25处。另外，深度摄像头13算出与演播室10中的墙壁、桌子、地面等的距离。而且，深度摄像头13算出与目标部(实物的杯子、桶、由发布者X的手掌构成的容器等)的距离。在此，作为一例，深度信息为从深度摄像头13的前方的物镜或者传感器面到测定对象位置(演播室10的墙壁的各处、地面的各处)的距离。另外，作为一例，深度信息是从深度摄像头13的前方的物镜或者传感器面到成为被摄体的发布者X的骨骼位置为止的距离。

另外，作为一例，深度信息为从深度摄像头13的前方的物镜或者传感器面到成为目标部的杯子等实物为止的距离。而且，作为一例，深度信息为从深度摄像头13的前方的物镜或者传感器面到成为目标部的发布者X的手掌为止的距离。而且，深度信息为到存在于目标部的多个点为止的距离。像这样，深度摄像头13通过细分测定到目标部的各点为止的距离，而能够确定成为目标部的杯子、手掌等实物的形状、朝向、物品的进入开口。并且，目标部的点的数量越多，则越能够准确地确定目标部的形状、朝向、物品的进入开口等。

在显示有物品的物品位置以规定的比率与显示有目标对象5的目标位置重叠时，服务器40判断为物品进入目标部。在此的规定的比率越大，则物品越易于进入目标部，比率越小则物品越难以进入目标部。服务器40与目标部的容器的属性(大小、形状、表面粗糙度等)以及物品的属性(大小、形状、表面粗糙度等)对应地，将物品进入容器时的状态显示在视频直播影像4中。此外，在目标部为存在于真实空间的实物的情况下，目标部的属性遵照存在于真实空间的成为目标部的容器的属性。此时的目标部的属性作为一例，为事先由传感器测定的测定值。在物品偏离目标部的情况下，物品由放置有目标部的桌子6、墙壁弹起，在桌子6、地面上滚动。服务器40与物品所接触的场所(桌子6、墙壁、地面)的属性相匹配地，将物品对象3滚动或弹起的状态显示于视频直播影像4中。而且，在物品从容器溢出或掉出的情况下，与物品所接触的场所(桌子6、墙壁、地面)的属性相匹配地，将物品对象3滚动或弹起的状态显示在视频直播影像4中。作为一例，视频直播影像4以如下方式显示：在球在硬质且平坦的木质地板上滚动时，球会滚到很远，而在球在地毯等表面粗糙的地面上滚动时，球基本不滚动。

在物品没有进入到容器内的情况下或者物品从容器溢出或掉出的情况下，例如在演播室10中，大多情况下物品会从正在拍摄坐在桌子6前面的发布者X的RGB摄像头12的视角(摄像范围)离开。另外，若发布者X去捡这种物品，则在这种情况下，也有发布者X、容器从正在拍摄坐在桌子6前面的发布者X的RGB摄像头12的视角(摄像范围)离开的情况。在使用多台深度摄像头13等而具有演播室10的整体的三维位置信息的情况下，服务器40利用根据由用户终端50、70、80检测到的作为检测结果的加速度数据、角度数据、角速度数据等、基于滑动操作的坐标数据等操作数据而决定的三维位置信息，来保持物品位置。因此，作为一例，在发布者X使RGB摄像头12以拍摄物品的滚动目的地的方式进行移动的情况下，滚动的物品对象3被添加至视频直播影像4中。另外，在没有使RGB摄像头12移动的情况下，在发布者X、容器暂时从RGB摄像头12的视角离开并再次进入视角时，从该时间点起目标对象5、物品对象3显示在视频直播影像4中。另外，在物品从容器溢出或掉出的情况下，作为目标部的容器相应地变轻。服务器40以使容器变轻与容器中的物品的减少对应的量的方式驱动触觉设备16。

此外，也有物品、容器从深度摄像头13的检测范围离开的情况。在该情况下，服务器40保持在刚刚离开检测范围时的目标部的目标位置、物品位置，在返回到深度摄像头13的检测范围时，将目标位置、物品位置更新为返回位置。另外，服务器40与返回到深度摄像头13的检测范围时的容器、物品的状态相匹配地驱动触觉设备16。

[深度摄像头13]

作为一例，深度摄像头13具备投射经脉冲调制后的红外线的投影仪等投光部和红外线摄像头等红外线检测部，根据到投射的红外线脉冲反射且返回为止的时间算出深度信息(Time of Flight(TOF)方式)。作为一例，深度摄像头13始终算出演播室10中的各处的深度信息等三维位置信息。

另外，深度摄像头13提取发布者X的人物区域，区分为人物区域和非人物区域。作为一例，在相同场所(作为一例为演播室10)中，基于拍摄到人物的前后的差值算出人物区域。另外，作为一例，将检测的红外线量超过阈值的区域判断为人物区域。

而且，深度摄像头13检测骨骼位置。深度摄像头13获取人物区域中的各处的深度信息，基于深度和形状的特征量，算出在人物区域拍摄到的人物的真实空间上的部位(左右的手、头部、颈部、左右的肩、左右的手肘、左右的膝盖、左右的脚部等)，将各部位中的中心位置算出为骨骼位置。深度摄像头13使用存储于存储部的特征量辞典，通过使登记在该特征量辞典中的各部位的特征量与从人物区域决定的特征量进行对照，由此，算出人物区域中的各部位。另外，深度摄像头13检测人物的凹凸(手掌的形状、衣服的褶皱等凹凸、发型的凹凸等)。

此外，深度摄像头13将红外线检测部中的检测结果输出至其他装置(控制装置17、服务器40、用户终端50、70、80、设于演播室10的控制装置17等)，也可以设为由其他装置进行算出深度信息、提取人物区域、区分为人物区域和非人物区域、检测人物区域、检测骨骼位置、确定人物区域中的各部位等处理。

另外，以上动作捕捉处理不对发布者X标注标记地进行，也可以对发布者X标注标记来进行。

而且，也可以为在算出深度信息时，读取投射的红外线模式并根据模式的变形获取深度信息的方式(光编码方式)。

而且，另外，深度信息可以从基于双镜头相机、多台摄像头的视差信息算出。深度信息还能够通过对由RGB摄像头12获取的影像进行图像识别，使用照片测量技术等进行图像解析来算出。在该情况下，RGB摄像头12作为检测部发挥功能，因此，不需要深度摄像头13。

深度信息也可以通过上述方式的并用来算出。

[控制装置17]

如图2所示，控制演播室10的各机器的控制装置17具有与演播室10的各部分的接口(以下，简称为“IF”)，具备RGB摄像头IF21；深度摄像头IF22；触觉设备IF23；音频IF24；显示IF25；网络IF26；通信IF27；以及控制部28。

RGB摄像头IF21控制RGB摄像头12，并且输入由RGB摄像头12拍摄到的影像。深度摄像头IF22控制深度摄像头13，输入来自深度摄像头13的三维位置信息。触觉设备IF23控制触觉设备16。即，触觉设备16具有致动器16a，触觉设备IF23驱动致动器16a。音频IF24除了扬声器15以外，还能够与耳机、头戴式耳机等声音输出机器连接。另外，音频IF24与麦克风11等声音输入机器连接。显示IF25作为一例而与演播室监控器14连接。作为一例，网络IF26经由网络2利用有线或者无线与服务器40通信。作为一例，通信IF27利用有线或者无线与发布者终端18通信。

控制部28作为一例为CPU、ROM、RAM，将由RGB摄像头12拍摄到的影像、由麦克风11收集的声音数据混合的实况影像(不包括物品对象3、目标对象5)、三维位置信息等通过网络IF26发送至服务器40。另外，控制部28通过显示IF25将实况影像显示于演播室监控器14，或者通过通信IF27显示于发布者终端18的显示部。而且，控制部28通过网络IF26接受从服务器40发布的视频直播影像4(包含有物品对象3、目标对象5)，并将其通过显示IF25显示于演播室监控器14。另外，控制部28通过通信IF27而在发布者终端18的显示部进行显示。

[发布者终端18]

发布者终端18为由发布者X管理的装置，为智能手机、平板电脑等智能设备终端。发布者终端18具备：显示部31；扬声器32；操作部33；网络IF34；数据存储部35；主存储器36；控制部37。显示部31为液晶显示面板、有机EL面板，操作部33为设于显示部31的触控面板。网络IF34与控制装置17进行数据的交换。数据存储部35为非易失性存储器，存储有用于收看视频直播影像4的程序等。主存储器36作为一例为RAM，临时存储发布中的视频直播影像4、控制程序等。控制部37作为一例为CPU，控制发布者终端18的整体的动作。作为一例，控制部37在准备视频直播时，将在实况影像中指定目标部的数据、目标部的对象的一览中的一个或者多个选择数据发送至服务器40。另外，在再生视频直播影像4时，控制部37将从服务器40发布的视频直播影像4显示于显示部31，从扬声器32放出声音、乐曲。

[服务器40]

服务器40为管理视频直播系统1的装置，具备：直播数据库41；属性数据库42；数据存储部43；网络IF44；主存储器45；控制部46。

作为管理部的直播数据库41针对每次直播、即针对每个发布者，对登记在本系统的用户的用户ID建立关联，并管理各用户的物品。具体来说，在直播数据库41中，针对每次直播，与各用户ID建立关联，管理物品ID和有无受领物品。物品ID为唯一地确定用户买入的物品的ID，在各直播中，为唯一地确定用户相对于发布者赠送的物品的ID。有无受领物品用来管理用户赠送的物品是否进入作为目标部的容器。

除此以外，直播数据库41与用户ID建立关联地管理能够参加视频直播的所有用户。参加各直播的用户可从登记的所有用户选择。另外，直播数据库41作为一例，将各物品的价格与物品ID建立关联地进行管理。

属性数据库42管理在目标部为实物的情况下的目标部属性参数；作为虚拟物的物品属性参数；位于演播室10的真实空间的目标部以外的实物(桌子6、墙壁等)的属性参数；目标部为虚拟物的情况下的目标部的属性参数。将该一例示出图3。在图3中，测定值为利用传感器测定出的值，设定值为由发布者X、用户A、B、C或者服务提供者设定的值，计算值为使用测定值或者设定值而算出的值。具体来说，属性数据库42管理形状、位置、倾斜、速率、加速度、质量、硬度、表面粗糙度、暖度、气味等参数。

例如，在目标部为实物的情况下，在演播室10准备多个成为目标部的桶、杯子、垃圾箱、装饰箱、功德箱等。在该情况下，在属性数据库42保存有演播室10中事先准备的成为目标部的实物的属性参数。另外，在目标部为虚拟物的情况下，在属性数据库42保存有针对发布者X可选择的多个虚拟物的对象的属性参数。例如，准备作为目标部的虚拟物的桶、杯子、垃圾箱、装饰箱、功德箱。在该情况下，在属性数据库42保存有作为虚拟物的桶、杯子、垃圾箱、装饰箱、功德箱的属性参数。虚拟物的目标部不是实物，因此，为了提高娱乐性，还能够设定与实物不同的参数。

在目标部、目标部以外的物体为实物的情况下，由于实际存在该物体，因此，形状、倾斜、位置等参数为事先利用传感器针对该物体测定出的测定值，目标部、物品移动时的速率、加速度被设为实际的测定值。作为一例，以若实物动作，则与测定值相对应地使目标对象5也移动的方式进行显示。另外，若实物发生物理变形，则与测定值相对应地，目标对象5也变形。作为一例，在作为实物而手掌被设定为成为目标部的容器的情况下，由手掌构成的容器为目标对象5。目标对象5根据手掌的移动、手掌的打开程度，使由手掌构成的容器移动及使由手掌构成的容器变形。作为一例，在实物的垃圾箱被设定为目标部的情况下，由垃圾箱的内侧面及底面包围的空间部被设定为收容部，在手持的垃圾箱、所放置的垃圾箱移动时，目标对象5也相应地移动。当然也可以通过基于实际的测定值计算出的计算值使实物移动或者变形。另外，与暖度、表面粗糙度有关的参数也能够设定为与实物不同的值。作为一例，目标部的容器、桌子6的表面温度即使基于热成像的测定为15℃，也能够设为与实际不同的温度(作为一例为36℃(体温程度))。由此，作为一例，在物品为巧克力的情况下，与目标部的容器、桌子6为15℃时相比，30℃时易于融化，表现巧克力易于融化或者已融化的状态，能够提高娱乐性。另外，在将物品的表面粗糙度、地面、桌子6的表面粗糙度设为比实际的表面粗糙度高时，表现为物品与实际相比难以滚动且难以弹起，在设为比实际的表面粗糙度低时，表现为与实际相比易于滚动且弹起很讨。此外，作为一例，表面粗糙度也能够通过由深度摄像头13测定其凹凸来设定。作为实物的杯子、垃圾箱等容器也能够在该容器的外侧面与内侧面使表面粗糙度等参数不同。此外，作为一例，在一个视频直播影像4中不仅能够设定一个目标部，也能够设定多个目标部。

物品为虚拟物，显示为物品对象3。物品未位于演播室10的真实空间，因此，形状、倾斜、位置、速率等参数为根据所设定的初始值的计算值。另外，在具备嗅觉反馈设备的情况下，在属性数据库42中设定与气味有关的属性参数。由此，作为一例，在物品为食物的情况下，能够相对于发布者X反馈与食物对应的气味。

数据存储部43为硬盘、非易失性存储器，存储有用于发布视频直播影像4的程序、构成物品对象3或目标对象5的图像数据等。作为一例，在物品对象3、目标部为虚拟物的情况下的构成目标对象5的图像数据为三维的动态图像数据、图像数据，能够进行与朝向相匹配的显示。

网络IF44与控制装置17、发布者终端18、用户终端50、70、80进行数据的交换。作为一例，主存储器45为RAM，临时存储发布中的视频直播影像4、控制程序等。

控制部46作为一例为CPU，控制服务器40的整体的动作。作为一例，控制部46作为相对于控制装置17、发布者终端18、用户终端50、70、80通过网络IF44发布视频直播影像4的发布部发挥功能。

作为一例，控制部46作为设定目标部的位置的设定部发挥功能，基于来自深度摄像头13的三维位置信息而在由RGB摄像头12拍摄到的影像上进行设定，在该位置添加目标对象5，生成视频直播影像4。另外，控制部46作为按照来自用户终端50、70、80的用户动作信息确定影像上的物品位置，生成在该位置添加了物品对象3的视频直播影像4的显示控制部发挥功能。而且，作为显示控制部的控制部46判断目标对象5的目标位置是否与物品对象3的物品位置重叠，在物品位置与目标位置重叠时，生成物品对象3进入目标对象5的视频直播影像4。物品对象3与目标对象5在接触时，与属性参数相对应地发生变形。控制部46还作为与相对于目标部的物品的状态相对应地控制发布者X所穿戴的触觉设备16的触觉控制部发挥功能。

作为一例，控制部46作为管理使目标部作为物品的容器起作用的第1特别期间的期间管理部发挥功能。作为一例，控制部46以在第1特别期间以外不使目标部作为容器起作用的方式变更参数的设定。在这种情况下，作为一例，在第1特别期间以外，即使物品触碰到目标部，也显示为物品对象3弹跳而不进入目标对象5。

另外，作为一例，控制部46作为管理相对于用户A、B、C赋予优惠的第2特别期间的期间管理部发挥功能。作为一例，在成为第2特别期间时，作为优惠，控制部46以使目标部的形状等变大的方式设定变更参数，使物品易于进入目标部的容器。

另外，作为一例，以目标部的大小变化的方式设定变更参数，若在目标部变小时物品进入，则与第2特别期间以外时的基准得分相比得到高得分(优惠)。此外，也可以设为若在目标部变大时物品进入则与第2特别期间以外时的基准得分相比成为低得分。

作为一例，第1特别期间和第2特别期间可以在时间轴上为同一期间，也可以为在第1特别期间中存在第2特别期间。另外，控制部46也可以仅管理第1特别期间或者第2特别期间的一方的期间，也可以管理除此以外的特别期间。

能够在目标部中容置多个物品。控制部46在第一个物品进入目标部时，对应于目标部的容器的属性而显示在容器中反弹或者滚动地进入。控制部46持续显示与进入容器的物品相当的物品对象3，在进一步有新物品进入时，对应于物品、目标部的容器的属性而显示与原本存在的物品发生碰撞的状态。作为一例，显示为因新物品与原本存在的物品碰撞而两个物品在容器中运动。作为一例，控制部46持续显示物品对象3进入作为容器的目标对象5中的状态。然后，作为一例，控制部46在第1特别期间、第2特别期间结束时，根据来自用户终端50、70、80的操作信号，删除进入目标对象5的物品对象3，将物品的显示复位。

此外，服务器40也可以不经由控制装置17而直接控制设置于演播室10的麦克风11、RGB摄像头12、深度摄像头13、演播室监控器14、扬声器15、触觉设备16等。

另外，服务器40也可以与用户终端50、70、80协作地进行以上处理的一部分。例如。将通过RGB摄像头12获取的实况影像、通过深度摄像头13获取的三维位置信息等向用户终端50、70、80发送。用户终端50、70、80也可以检测用户A、B、C的动作，基于实况影像、三维位置信息、用户A、B、C的动作的检测结果，将目标对象5等显示于用户终端50、70、80以及演播室监控器14以及发布者终端18。

[用户终端50]

如图4所示，作为一例，用户终端50为用户A所管理的装置，具有台式或者笔记本型的个人计算机50a和智能手表60。作为一例，笔记本型的个人计算机50a具备：音频IF51；显示IF52；网络IF53；通信IF54；数据存储部55；操作IF56；主存储器57；控制部58。音频IF51与扬声器、耳机、头戴式耳机等声音输出机器、麦克风等声音输入机器连接。作为一例，显示IF52与由液晶显示装置等显示装置构成的显示部59连接。

作为一例，网络IF53经由网络2与服务器40进行通信。通信IF54作为一例与智能手表60进行通信。通信IF54和智能手表60利用无线LAN、有线的LAN连接，从智能手表60输入作为用户动作信息的加速度数据、角度数据、角速度数据等。数据存储部55为非易失性存储器，作为一例，为硬盘、快闪存储器。数据存储部55保存有视频直播影像4的再生程序、与智能手表60的通信控制程序等。操作IF56与键盘、鼠标等操作装置连接。另外，在连接于显示IF52的显示部59设有触控面板时，与该触控面板连接。作为一例，主存储器57为RAM，临时存储发布中的视频直播影像4、控制程序等。作为一例，控制部58为CPU，控制用户终端50整体的动作。作为一例，控制部58相对于服务器40发送物品的对象的一览中的一个或者多个物品选择数据。而且，作为一例，控制部58相对于服务器40发送由智能手表60检测到的作为用户动作信息的加速度数据、角度数据、角速度数据等操作数据。

作为一例，智能手表60为穿戴于用户A的惯用手的手腕等手表型的信息处理终端。智能手表60具备：传感器61；通信IF62；数据存储部63；主存储器64；振动器65；控制部66。传感器61例如为加速度传感器、陀螺仪传感器。作为一例，通信IF62将由传感器61检测到的加速度数据、智能手表60的角度数据、角速度数据发送至个人计算机50a。作为一例，传感器61在用户A进行了投掷物体的动作时，检测与该手腕的挥动有关的作为用户动作信息的加速度数据、角度数据、角速度数据等操作数据。数据存储部63为非易失性存储器，作为一例，为硬盘、快闪存储器。数据存储部63保存有与驱动传感器61的驱动器或个人计算机50a通信的通信控制程序等。作为一例，控制部66为CPU，控制智能手表60的整体的动作。作为一例，控制部66在物品进入目标部时或落下时驱动振动器65，以感觉的方式来告知用户B。

此外，与用户终端50连接的终端也可以不为智能手表60，而是具有加速度传感器、陀螺仪传感器的智能手机等小型且可携带的信息处理终端。

[用户终端70]

作为一例，用户终端70为用户B管理的装置，为智能手机、平板电脑等智能设备终端。作为一例，用户终端70具备：音频IF71；显示IF72；操作IF73；传感器74；网络IF75；数据存储部76；主存储器77；控制部78；显示部79；振动器79a。音频IF71与内置扬声器、耳机等声音输出机器、内置麦克风等声音输入机器连接。作为一例，音频IF71从扬声器、耳机等声音输出机器放出视频直播影像4的声音数据。显示IF72与内置的液晶面板、有机EL面板等小型的显示部79连接。在显示部79设有触控面板，操作IF73与触控面板连接。传感器74例如为加速度传感器、陀螺仪传感器。作为一例，网络IF75经由网络2与服务器40通信。作为一例，网络IF75在用户进行了投掷物体的动作时，将由传感器74检测到的作为用户动作信息的与手腕的挥动有关的加速度数据、角度数据、角速度数据的操作数据发送至服务器40。另外，用手指或触控笔在显示有视频直播影像4的显示面进行了向所显示的目标对象5的方向描画的滑动操作时，作为用户动作信息，将其坐标数据等操作数据发送至服务器40。数据存储部76为非易失性存储器，作为一例，为快闪存储器。数据存储部76保存有视频直播影像4的再生程序等。作为一例，主存储器77为RAM，临时存储视频直播影像4、控制程序等。

作为一例，控制部78为CPU，控制用户终端70的整体动作。作为一例，控制部78在再生视频直播影像4时，相对于服务器40发送物品的对象的一览中的一个或者多个选择数据。而且，作为一例，控制部78还在用户持有用户终端70并进行了投掷物体的动作或操作时，作为用户动作信息，将该手腕的挥动的加速度数据、角度数据、角速度数据、基于滑动操作的坐标数据等操作数据向服务器40发送。

此外，用户C的智能设备终端70a为与用户终端70同样的终端，因此，省略其详细说明。

[视频直播准备处理]

以下，说明视频直播系统1的作用。

[将目标部设定为实物的容器的情况]

在实况影像发布之前，首先，控制装置17以及发布者终端18登录服务器40，作为视频直播的准备而设为可设定目标部的状态。发布者X使用发布者终端18或者控制装置17来作为操作终端，从发布者终端18或者控制装置17向服务器40发送用于视频直播的摄像开始操作信号。在演播室10中，深度摄像头13获取演播室10中各处的深度信息，并且算出人物区域，接着，在人物区域中算出骨骼位置，能够算出各骨骼位置中的深度信息。此后，由深度摄像头13执行动作捕捉处理。

如图5的(a)以及(b)所示，服务器40当接受摄像开始操作信号时，获取来自RGB摄像头12的实况影像、来自深度摄像头13的三维位置信息，生成实况影像4a。然后，服务器40通过网络2将实况影像4a向控制装置17、发布者终端18发布。在演播室监控器14显示有通过控制装置17的实况影像4a。另外，在发布者终端18显示不经由控制装置17或者通过控制装置17经由网络2接收的实况影像4a。实况影像4a为不向用户终端50、70、80发布的影像，且为发布者X为了设定目标部等而能够收看的影像，为不包括物品对象3、目标对象5的影像。

接着，发布者X进行设定目标部的操作。在图5的(a)以及(b)中，示出了作为目标部而在演播室10中将作为实物的杯子5a放置在桌子6上的例子。杯子5a为在用户A、B、C投掷物品时成为目标的容器，为供所投掷的物品进入的容器。在步骤S1中，服务器40在实况影像中添加目标部指定开始按钮，并显示于发布者终端18以及演播室监控器14的显示面。在此，在发布者X用手指或触控笔触摸在发布者终端18的显示面中显示有目标部指定开始按钮的区域时，发布者终端18相对于服务器40发送目标部指定开始信号。

在步骤S2中，服务器40当接收目标部指定开始信号时，成为目标部指定模式。此外，也可以一边观看与控制装置17连接的演播室监控器14一边利用与控制装置17连接的鼠标等操作部点击目标部指定开始按钮，来从控制装置17向服务器40发送目标部指定开始信号。然后，服务器40报知能够在发布者终端18、演播室监控器14的显示面指定目标部。

在步骤S3中，服务器40在实况影像4a中添加确定目标部的确定按钮，并显示在发布者终端18以及演播室监控器14的显示面。

接着，在发布者终端18中，作为目标位置而指定了目标部的区域(指定区域)。指定区域通过发布者X用手指或触控笔描画显示于发布者终端18的显示面的杯子5a的对象的轮廓来指定。当由发布者X指定了指定区域时，发布者终端18相对于服务器40发送表示指定区域的指定区域数据，在步骤S4中，服务器40接收指定区域数据。此外，也可以一边观看演播室监控器14一边利用与控制装置17连接的鼠标等操作部指定指定区域，来从控制装置17向服务器40发送指定区域数据。

在步骤S5中，服务器40从通过RGB摄像头12拍摄到的实况影像4a中确定指定区域数据所表示的指定区域，检测并识别杯子5a。另外，服务器40获取与指定区域对应的三维位置信息，识别演播室10内的指定区域来作为目标对象5。服务器40将检测到的杯子5a的区域设定为目标位置。作为一例，将杯子5a的内侧的空间部(物品进入的部分)设定为目标位置。作为一例，将由杯子5a的内面以及底面包围的空间部设定为目标位置。而且，服务器40对由演播室10的麦克风收集的声音进行声音识别，将目标对象5定义为“杯子”。作为一例，杯子5a的内侧的空间部(物品进入部分)能够通过以下方式定义：面向深度摄像头13地使杯子5a向左右以及上下旋转360度等，使深度摄像头13检测杯子5a的外侧面、内侧面、以及底面等所有面，并利用三维位置信息来确定杯子5a的所有面。

此外，作为使服务器40识别目标部的方法，也可以设为根据作为目标部的实物的杯子5a没有进入RGB摄像头12的视角(摄像范围)以及深度摄像头13的检测范围内的状态(没有拍摄到的状态)与杯子5a进入上述视角及检测范围的状态(拍摄到的状态)之间的差量来识别目标部。作为一例，能够根据在桌子6上没有放置实物的杯子5a的状态(没有拍摄到的状态)与放置了杯子5a的状态(拍摄到的状态)的差量来识别目标部。而且，作为一例，也可以为发布者X手持杯子5a，并向深度摄像头13的方向推出杯子5a，与发布者X的任一部位相比使杯子5a更靠近深度摄像头13，检测动作矢量等而将杯子5a识别为目标部。而且，也可以为，服务器40对发布者X以声音发出“杯子”的声音进行声音识别，参照存在于网络的图像辞典，从实况影像4a中提取杯子的图像，将其设定为目标部。

在步骤S6中，服务器40判断在发布者终端18中是否有对指定区域的再指定操作。具体来说，服务器40判断是否再次接收到来自发布者终端18的指定区域数据。然后，服务器40在对指定区域的再指定的情况下，重复执行从步骤S4起的处理。

当发布者X在发布者终端18的显示面中用手指或触控笔触摸显示有用于确定目标部的确定按钮的区域时，发布者终端18相对于服务器40发送确定目标部的确定信号。在步骤S7中，服务器40当接收确定信号时，在步骤S8中，确定实况影像4a中的目标部。即，服务器40将杯子5a设定为目标对象5。即，由目标对象5(杯子5a)表现的目标部基于属性数据库42的登记内容(形状、位置、倾斜、速率、加速度、质量、硬度、表面粗糙度、暖度、气味等参数)被定义为容器。

此外，以上例子说明了在实况影像4a中存在一个实物的杯子的情况，但也可以在实况影像4a中存在可成为目标部的多个实物的杯子。在该情况下，针对各杯子在属性数据库42中设定有参数。然后，在目标部指定模式中，只要从存在于实况影像4a中的多个杯子中选择一个杯子即可。杯子的选择能够通过用手指或触控笔描画或者触控所选择的杯子来进行。或者，在利用声音识别的情况下，也可以对“最右侧的杯子”、“中间的杯子”等表达进行解释，确定对应的杯子。

服务器40利用深度摄像头13追踪发布者X的各骨骼位置、该骨骼位置的深度信息和杯子5a的三维位置。另外，服务器40通过RGB摄像头12检测杯子5a。因此，在发布者X手持杯子5a并使该被子5a移动时，与之相对应地，目标位置也移动。作为一例，在发布者X将其放置到桌子6并移动了手的情况下，放置有杯子5a的位置成为目标位置。服务器40在从用户A、B、C投掷的物品的物品位置与显示有目标对象5的目标位置重叠时，能够以使物品对象3进入目标对象5的容器的方式显示于用户终端50、70、80。

[用手势将目标部设定为发布者的一部分的情况]

如图6的(a)以及(b)所示，在步骤S11中，服务器40在实况影像4a中添加目标部指定开始按钮，并显示于发布者终端18以及演播室监控器14的显示面。在步骤S12中，服务器40当接收到目标部指定开始信号时成为目标部指定模式。在步骤S13中，服务器40在实况影像4a中添加确定目标部的确定按钮，并显示于发布者终端18以及演播室监控器14的显示面。

在用手势将目标部设定为发布者的一部分的情况下，服务器40在程序内对手势和目标部对应关联地进行管理。作为一例，服务器40在发布者X用右手或者左手或者双手以石头、剪子、布的顺序进行手势时将目标部定义为双手的手掌，在进行剪子、石头、布的手势时将目标部定义为发布者X的头部。服务器40当利用深度摄像头13追踪发布者X的各骨骼位置(作为一例为手掌的骨骼位置)和该骨骼位置的深度信息(作为一例为手掌的深度信息)。另外，服务器40利用RGB摄像头12检测手掌。在步骤S14中，服务器40基于这些信息检测发布者X进行的手势。

在步骤S15中，服务器40识别与检测到的手势对应关联的位置来作为目标部。作为一例，在检测到“石头、剪子、布”的手势时，作为目标部而识别双手的手掌。另外，服务器40利用由控制装置17的麦克风11、发布者终端18的麦克风收集的声音数据、例如指定目标部的“石头、剪子、布”的声音数据，识别双手的手掌来作为目标部。即，双手的手掌成为目标对象5。服务器40将检测到的双手的手掌设定为目标位置。作为一例，将由双手的手掌包围的空间部(物品进入的部分)设定为目标位置。

此外，作为使服务器40识别用于设定目标部的手势的方法，作为一例，也可以根据进行手势的双手的手掌没有放置在桌子6上的状态(没有拍摄到的状态)与放置有进行手势的手掌的状态(拍摄到的状态)的差量来识别目标部。而且，作为一例，也可以为将发布者X进行手势的双手的手掌向深度摄像头13的方向推出，使双手的手掌靠近深度摄像头13并进行手势，以使服务器40可靠地识别手势。

在步骤S16中，服务器40判断在发布者终端18是否进行了目标部的再指定的操作。具体来说，服务器40判断是否再次进行了手势。然后，服务器40在对目标部再指定的情况下，重复执行从步骤S14起的处理。

当发布者X在发布者终端18的显示面中用手指或触控笔触摸显示有用于确定目标部的确定按钮的区域时，发布者终端18相对于服务器40发送确定目标部的确定信号。在步骤S17中，服务器40当接收确定信号时，在步骤S18中，确定实况影像4a中的目标部。即，服务器40将用手势建立关联的部分设定为目标对象5。作为一例，在进行了“石头、剪子、布”的手势时，将双手的手掌设定为目标部。即，以目标对象5(双手的手掌)表现的目标部基于属性数据库42的登记内容(形状、位置、倾斜、速率、加速度、质量、硬度、表面粗糙度、暖度、气味等参数)而被定义为容器。

由此，服务器40追踪双手的手掌，因此，即使发布者X活动双手的手掌，目标部也与之相对应地移动。服务器40在从用户A、B、C投掷的物品的物品位置与双手的手掌的目标位置重叠时，能够以物品进入了目标对象5(双手的手掌)的方式显示于用户终端50、70、80。作为一例，即使发布者X移动双手的手掌，且与之相对应地目标位置发生变化，在所投掷的物品位置与双手的手掌移动的目的地的目标位置重叠时，也能够以物品进入了目标对象5(双手的手掌)的方式显示于用户终端50、70、80。

[将目标部设为虚拟物的情况]

如图7以及图8的(a)～(c)所示，在步骤S21中，服务器40在实况影像4a中添加目标部指定开始按钮，并显示于发布者终端18以及演播室监控器14的显示面。在步骤S22中，服务器40当接收目标部指定开始信号时，成为目标部指定模式。另外，发布者X通过发布者终端18等，将从虚拟物而非从实物中选择目标物的选择数据发送至服务器40。

如图8的(a)所示，在步骤S23中，服务器40在实况影像4a中添加用于选择成为目标部的虚拟物的目标对象5的一览对象7，并显示于发布者终端18以及演播室监控器14的显示面。在一览对象7中，显示有构成用于将演播室10中不存在的虚拟物作为目标对象5进行显示的选择候补组的多个选择候补对象。在一览对象7中，作为选择候补对象而显示有桶的对象、杯子的对象、垃圾箱的对象、装饰箱的对象、功德箱的对象。此外，除此以外，可以将一览对象7在左右上下滚动，能够显示并选择除此以外的目标对象5。另外，作为目标对象5，也可以为用户自制的对象、且为用户相对于服务器40上传的对象。在此，桶、杯子、垃圾箱、装饰箱、功德箱均为不存在于演播室10的虚拟物，针对各虚拟物在属性数据库42中登记有属性参数。作为一例，虚拟物的目标对象5为三维数据。

当在发布者终端18中，发布者X用手指或触控笔触摸期望的对象时，在步骤S24中，发布者终端18相对于服务器40发送对象的选择数据。服务器40当接收选择数据时，将选择数据表示的作为选择目标部的对象选择为目标对象5。于是，在步骤S25中，服务器40在实况影像4a中添加确定目标部的确定按钮，并显示于发布者终端18以及演播室监控器14的显示面。与之相对应地，如图8的(b)所示，服务器40将所选择的虚拟物的目标对象5突出(例如放大)显示。此外，也可以设为仅显示所选择的虚拟物的目标对象5。

在步骤S25的状态下，仅设定有显示为目标部的目标对象5，而没有设定显示目标对象5的目标位置。于是，服务器40显示向用于设定目标位置的处理过渡的说明。接受之后，发布者X作为一例而进行对显示目标对象5的目标位置进行设定的手势。作为一例，在此的手势为向深度摄像头13的方向推出表示目标对象5的双手的手掌的动作。服务器40通过深度摄像头13追踪发布者X的各骨骼位置(作为一例为手掌的骨骼位置)和该骨骼位置的深度信息(作为一例为手掌的深度信息)。另外，服务器40通过RGB摄像头12检测双手的手掌。在步骤S26中，服务器40基于这些信息检测发布者X进行的手势。然后，在步骤S27中，服务器40相对于从深度摄像头13观察位于最靠前的手掌添加目标对象5(参照图8的(c))。在步骤S28中，服务器40将目标对象5的位置设定为目标位置。作为一例，目标位置也可以为发布者X持有桶5b的手掌的位置，但在此，为发布者X手持的桶5b的位置。作为一例，服务器40为将由添加的桶5b的外形包围的区域设定为目标位置。作为一例，将桶5b的内侧的空间部(物品进入的部分)设定为目标位置。桶5b的内侧的空间部(物品进入的部分)只要在属性数据库42中事先定义即可。由此，在目标位置物品从由发布者X的手掌持有的桶5b的开口部进入到其中时，能够判断为物品进入目标部，另外，若是物品仅触碰桶5b的外侧面则物品并没有进入到桶内，能够更准确地再现实际的物品与桶的关系。

此外，不用进行步骤S26这样的设定处理，也可以事先将目标位置决定为桌子6上的规定位置等。在该情况下，当选择目标对象5时，将所选择的目标对象5添加至事先决定的目标位置。然后，即使手掌与桶5b分离，目标部也会成为桶5b，能够以桶5b为目标来投掷物品。

在步骤S29中，服务器40判断在发布者终端18中是否进行了目标位置的再指定的操作。具体来说，服务器40判断是否再次进行了手势。然后，服务器40在对目标部再指定的情况下，重复执行从步骤S26起的处理。

当发布者X在发布者终端18的显示面中用手指或触控笔触摸显示有用于确定目标部的确定按钮的区域时，发布者终端18相对于服务器40发送确定目标部的确定信号。在步骤S30中，服务器40当接收确定信号时，在步骤S31中，确定实况影像4a中的目标部。即，以目标对象5(桶5b)表现的目标部基于属性数据库42的登记内容(形状、位置、倾斜、速率、加速度、质量、硬度、表面粗糙度、暖度、气味等参数)被定义为容器。

因此，当发布者X活动手而手持移动桶5b时，与之相对应地，桶5b的目标位置也移动。另外，也可以将桶5b放置于桌子6，并将手松开桶5b。在该情况下，桌子6上的桶5b的目标对象5的位置成为目标位置。像这样，即使桶5b的位置变化，在移动目的地的目标位置与物品的物品位置重叠时，物品也进入目标对象5的容器。

[视频直播处理]

如图9的(a)所示，当目标部的设定结束，则在步骤S41中，服务器40成为能够发布目标对象5被添加至实况影像4a的视频直播影像4的状态。另外，作为一例，服务器40当从发布者终端18接收发布开始信号时，成为能够在用户终端50、70、80收看视频直播影像4的状态。此外，在以下的说明中，说明用户B(用户终端70)收看视频直播影像4的情况。

在用户终端70显示视频直播中的发布者X的一览。作为一例，一览显示由发布者的脸部照片、肖像图像等构成的发布者对象。用户终端70当选择期望的发布者的发布者对象时，将发布者选择数据发送至服务器40。在步骤S42中，服务器40当接收来自用户终端70的发布者选择数据时，能够在成为发布者选择数据的发送源的用户终端70收看发布者选择数据表示的发布者的视频直播影像4。能够在用户终端70收看所选择的发布者X的视频直播影像4。

在步骤S43中，服务器40判断是否进入特别期间。作为一例，特别期间为上述第1特别期间或者第2特别期间。第1特别期间为以目标对象5表示的目标部作为容器发挥功能的期间。第1特别期间也可以为从发布者X开始视频直播到结束视频直播为止的期间。另外，第1特别期间也可以从用户B开始收看起经过第1期间(例如1分钟)后开始，持续第2期间(例如10分钟)并在经过了第2期间时结束。另外，第1特别期间也可以设为发布者X进行开始第1特别期间的信号的开始手势(例如抬起手)并由服务器40检测到该开始手势时开始，在进行又一次抬起手的结束手势时结束(参照图9的(b))。此外，在第1特别期间以外，即使物品击中目标部，也能够显示为物品对象3弹跳而不进入目标对象5。作为一例，还能够在第1特别期间开始时开始目标对象5的显示，在结束时结束目标对象的显示。

另外，第2特别期间为相对于用户B赋予优惠的期间。例如，当用户终端70开始收看所选择的发布者X的视频直播影像4时，以标对象5表示的目标部在任何时间均作为容器发挥作用。其中，当进入第2特别期间时，服务器40以使作为目标部的目标对象5的形状(入口的形状等)等变大的方式对参数进行设定变更，作为用户优惠，物品易于进入目标对象5的容器。另外，也可以设为以使目标部的大小(入口的形状等)忽大忽小的方式来改变大小。在该情况下，在目标对象5变大时，将物品进入时的得分设为比基准得分低的低得分，在目标对象5变小时，作为用户优惠，使得物品进入时的得分成为比基准得分高的高得分。作为一例，通常为2分，但若在目标对象5变大时物品进入，则设为低得分(1分)，若在目标对象5变小时物品进入，则设为高得分(3分)。大小变化的目标对象5适合于目标物为虚拟物而非实物的情况。另外，即便是实物，若该实物作为一例为折叠式的杯子、桶，也能够通过发布者X的作业使大小变化。而且，作为一例，即使目标物为实物且不使其形状变化，也可以仅在第2特别期间中使物品的“进入的容易度”变化。在该情况下，也可以在作为实物的目标物等上添加报知“进入的容易度”变化的情况的显示、为第2特别期间的情况的显示。

此外，作为一例，第1特别期间、第2特别期间等特别期间在与卡拉OK等乐曲连动时，也可以为间奏的期间、乐曲与乐曲的间隔等。另外，也可以在第1特别期间中存在第2特别期间。由此，用户能够更加愉快地买入物品并在第1特别期间、第2特别期间投掷物品。另外，第1特别期间和第2特别期间也可以在时间轴上为同一期间。另外，控制部46可以仅管理第1特别期间或者第2特别期间的一方期间，也可以管理除此以外的特别期间。

另外，特别期间也可以以在该特别期间能够赋予的(能够购买的)物品的数量(例如10个)为限，在所有物品卖光时或者在所有物品进入目标部时结束。物品的赋予数量可以由发布者X决定，也可以由服务提供者决定。另外，物品的赋予数量也可以由所选择的目标对象5的种类即容量来决定。即，还能够在目标对象5的容器装满物品时，使特别期间结束。后面对目标对象5的容器是否装满物品的判断基准进行说明。

然后，服务器40在进入特别期间时前进至步骤S44。在步骤S44中，服务器40开始受理来自正在用用户终端70收看发布者X的视频直播影像4的用户B的礼品、即物品的处理。此外，后面对步骤S44的赠送礼品处理进行说明。在步骤S45中，服务器40判断特别期间是否结束，在特别期间结束时，前进至步骤S46。在步骤S46中，服务器40x相对于正在收看视频直播影像4的用户B的用户终端70发送特别期间的结束通知。

用户B在特别期间结束后，能够全部删除显示为进入到目标对象5中的物品对象3。在该情况下，当用户B利用手指或触控笔触摸显示于用户终端70的显示面的物品的全部删除按钮时，用户终端70相对于服务器40发送物品全部删除信号。在步骤S47中，服务器40当接收物品全部删除信号时，在步骤S48中，执行从目标对象5删除物品对象3的处理。在没有进行全部删除物品的操作时，省略步骤S48的处理，到结束视频直播影像4的收看为止，持续显示物品对象3。

用户B在结束视频直播影像4的收看时，只要用手指或触控笔触摸显示于用户终端70的显示面的结束按钮即可，当操作了结束按钮时，用户B切断与服务器40的连接。或者关闭显示窗口。另外，当发布者X结束视频直播时，在发布者终端18进行发布结束操作。于是，发布者终端18相对于服务器40发送发布结束信号。在步骤S49中，服务器40当接收发布结束信号时，进行对应的视频直播的结束处理。

[赠送礼品处理]

在赠送礼品处理中，用户B首先选择对发布者X赠送的物品。此后，进行以显示于用户终端70的目标对象5为目标投掷在用户终端70选择的物品的动作或操作，相对于发布者X赠送物品。

如图10的(a)所示，在步骤S51中，服务器40在用户终端70的显示面显示在视频直播影像4中一览显示可选择的物品的对象的物品选择对象8(参照图10的(b))。作为一例，在图10的(b)中，作为物品的选择候补组，在物品选择对象8从左侧起按顺序将花束的物品对象、添加呈现发布者X的动作的特效的物品对象、猫耳发带的物品对象、视频直播影像4的背景图像的物品对象、宝石的物品对象以一列列出。此外，除此以外，还可以将物品选择对象8向左右上下滚动，能够显示并选择除此以外的物品对象(巧克力等)。另外，作为物品，可以为用户自制的物品，且由用户相对于服务器40上传的物品。

在物品选择对象8中列出的物品为由运营者方准备的多个物品。所准备的物品可以根据每个直播而不同，也可以在所有直播中共用。另外，也可以在多个直播中使一部分的物品重复。在服务器40的数据库中，对各物品的价格与物品ID建立关联地进行管理。作为一例，服务器40作为与物品ID建立关联的、用于显示该物品的物品数据，保存动态图像数据、图像数据、声音数据、乐曲数据等。物品数据作为一例为三维数据。

各物品为有偿，并与物品对应地决定金额，价格与物品ID建立了关联。作为一例，物品ID“A”的花束的物品为200日元。添加物品ID“B”的特效的物品为300日元。物品ID“C”的猫耳发带的物品为500日元。物品ID“D”的背景图像的物品“D”为1000日元。物品ID“E”的宝石的物品“E”为2000日元。作为一例，在图2的直播数据库41中示出的用户A用200日元买入物品ID“A”的花束，用户B用500日元买入物品ID“C”的发带，用户C用300日元买入物品ID“B”的特效。像这样，用户A、B、C经由用户终端50、70、80买入这些物品，由此，能够相对于发布者X赠送物品。由此，发布者X以及运营者能够得到与从用户A、B、C赠送的物品对应的营业额。无论发布者X是否接受物品(物品进入目标部的容器)，用户A、B、C提供的作为礼品的所有物品成为发布者X以及其运营者的营业额。也可以在物品中存在免费的物品。另外，在一个直播中，一个用户可以买入一个物品，也可以买入多个物品。在直播数据库41中，针对每个发布者管理各用户所买入的物品和买入金额的总额。

当用户在用户B终端70从物品选择对象8的一览中选择一个物品时，用户终端70作为用户所选择的选择物品，将包括用户ID和所选择的物品的物品ID在内的物品选择数据发送至服务器40。在步骤S52中，服务器40基于物品选择数据进行物品的选择处理，将所选择的物品对象3显示于用户终端70。在图10的(c)中，作为一例，示出了服务器40选择表示宝石的物品的对象，并显示在用户终端70的显示面的状态。此外，在图10的(c)中，目标对象5为按照上述[用手势将目标部设定为发布者的一部分的情况(参照图6的(a)以及(b))]的顺序设定的由发布者X的双手的手掌构成的容器。

此后，用户终端70的用户成为能够一边操作用户终端70一边对位于演播室10的发布者X赠送物品的状态。具体来说，用户终端70的用户B能够通过手持用户终端70进行投掷物体的动作，来进行相对于发布者X投掷所选择的物品的模拟体验。另外，利用手指或触控笔在显示有视频直播影像4的显示面进行向所显示的目标对象5的方向描画的滑动操作，从而能够相对于发布者X赠送物品(参照图11的(a))。用户A、B、C能够自由调整物品的飞行方式，能够调整物品飞翔的方向、飞翔距离，能够使物品易于进入目标部，能够提高娱乐性。另一方面，发布者X能够听到从扬声器15放出的用户A、B、C的声音等而得知用户A、B、C的反应。由此，发布者X能够使双手的手掌移动。发布者X也能够通过使双手的手掌移动，使用户A、B、C投掷的物品不易进入双手的手掌，能够促使用户A、B、C买入更多的物品。此外，在图11的(a)～(c)中，目标对象5为按照上述[用手势将目标部设定为发布者的一部分的情况(参照图6的(a)以及(b))]的顺序设定的由发布者X的双手的手掌构成的容器。

在步骤S53中，服务器40判断用户B是否进行了投掷动作。在利用滑动操作进行了投掷物品的操作的情况下，服务器40当接收到坐标数据等操作数据时，在其移动量超出阈值等的情况下，判断为进行了投掷动作。作为一例，在进行了触控面板的滑动操作时的起点和终点的距离等超过阈值时，判断为进行了投掷动作。

另外，在用手进行了投掷物体的动作的情况下，服务器40接收每单位时间从用户终端50、80发送来的作为用户动作信息的加速度数据、角度数据、角速度数据等操作数据。服务器40存储用于判断用户B进行了投掷动作的阈值，在超过阈值时，判断在用户终端70进行了投掷动作。作为一例，服务器40为了确定投掷动作而存储有加速度数据、角度数据、角速度数据等阈值。服务器40在加速度数据、角度数据、角速度数据等超过了阈值时，判断为进行了投掷动作。

在步骤S54中，服务器40对用户动作(投掷动作)进行解析来算出物品位置。在进行了触控面板的滑动操作的情况下，服务器40根据在进行了滑动操作时的起点坐标和终点坐标、速率算出投掷的物品的方向、轨迹、作为落下位置的物品位置。另外，在用手进行了投掷物体的动作的情况下，服务器40基于与用户终端7发送来的手腕的挥动相关的加速度数据、角度数据、角速度数据等操作数据，对用户的手腕的挥动的朝向、速率等进行解析。由此，服务器40算出在演播室10的真实空间以及视频直播影像4中的所投掷的物品被投掷时的轨迹、作为落下位置的物品位置。然后，服务器40在根据算出的三维位置信息确定的视频直播影像4中的位置添加物品对象3。

在步骤S55中，服务器40基于解析结果将宝石的物品对象3显示于用户终端70的显示面。由此，如图11的(b)以及(c)所示，在用户终端70的显示面实时显示物品对象3去向发布者X。另外，将同样的物品对象3实时显示于演播室10的演播室监控器14、发布者终端18。物品对象3显示于用户终端70的显示面、演播室监控器14、发布者终端18的显示面，同时，显示于在演播室10的真实空间内本来应位于的物品位置。即，通过三维位置信息确定演播室10的真实空间中的物品位置，由此，假设改变了RGB摄像头12的朝向，物品对象3也会在以该RGB摄像头12的朝向获取的影像中显示于应位于的位置。另外，在物品位置从RGB摄像头12的摄像范围离开的情况下，将不显示落下的物品对象3。另外，在物品对象3附近，以使发布者X能够视觉确认是谁提供的物品的方式，显示投掷了该物品的用户ID。

在正在收看相同视频直播影像4的多个用户相对于发布者X投掷物品时，还显示他人投掷的物品。由此，能够在用户间竞争相对于发布者X投掷的物品的数量。

另外，发布者X也能够有意使目标对象5移动，使物品的物品对象3难以进入目标部的目标对象5，促使用户买入并使用更多的物品。

物品对象3只要至少最终显示于目标位置、落下位置即可，也可以不显示到飞翔至目标位置、落下位置为止的过程中的状态、轨迹等。

[物品对象显示处理]

如图12的(a)所示，在步骤S61中，服务器40判断由用户B投掷的物品的物品位置是否与目标位置重叠。即，服务器40判断物品对象3是否与目标对象5重叠(物品是否进入目标部的容器)，在重叠的情况下，前进至步骤S62，在不重叠的情况下，前进至C的步骤S91(参照图15的(a))。

在此，作为一例，物品对象3的范围以及目标对象5的范围根据三维位置信息、用户动作信息和物品的种类来决定。作为一例，遵照在属性数据库42中设定的参数。作为一例，物品对象的范围为物品的外形形状的范围。作为一例，物品对象3的范围为代表性的1个点或者多个点。另外，目标对象5的范围为具有用于容置物品的体积或者容积的立体的空间部。作为一例，在为杯子、桶等容器的情况下，目标对象5的范围为由内侧面及底面包围的空间部。另外，目标对象5的范围为目标对象5中的代表性的1个点或者多个点。就对物品对象3与目标对象5是否重叠的判断而言，与物品对象3以及/或者目标对象5的1个点是否重叠相比，更易于进行多个点中的1个点或区域是否重叠的判断。作为一例，只要物品从目标部的入口进入且在目标位置与物品位置重叠时，则判断为物品进入目标部。作为一例，即使在物品没有进入目标部但目标位置与物品位置重叠时，也判断为物品进入目标部。

在步骤S62中，服务器40与物品的属性参数和目标部的属性参数相匹配地，在视频直播影像4中添加物品刚进入由目标部的手掌构成的容器之后的状态。作为一例，在物品的宝石进入由目标部的手掌构成的容器时，多少会对手掌造成冲击。服务器40在视频直播影像4中添加宝石最初触碰手掌的状态。在用户终端70中，宝石的物品对象3到达由手掌构成的容器的目标对象5为止的状态在视频直播影像4中显示，由此，用户B能够视觉确认自己投掷的礼品到达发布者X。

另外，就发布者X而言，并非实物的宝石到达由手掌构成的容器。而仅是发布者X能够通过收看显示于发布者终端18、演播室监控器14的视频直播影像4，得知来自用户B的物品进入由手掌构成的容器。于是，在步骤S63中，服务器40为了以感觉的方式对发布者X赋予宝石触碰手掌的冲击，驱动发布者X所穿戴的触觉设备16，使得发布者X能够以感觉识别宝石触碰由手掌构成的容器的情况。此时，通过触觉设备16对发布者X赋予的振动根据物品的属性参数(重量、形状等)、手掌的参数(大小、表面粗糙度、柔软度等)被赋予。作为一例，物品越重，通过触觉设备16向发布者X在感知上反馈越强的振动。

通常，在最初触碰由手掌构成的容器之后，宝石在由手掌构成的容器中多少滚动并静止。在步骤S64中，服务器40按照物品的属性参数、手掌的参数而将在由手掌构成的容器中滚动并静止的状态添加至视频直播影像4中。在用户终端70，宝石的物品对象3到达由手掌构成的容器的目标对象5为止的状态显示在视频直播影像4中，由此，用户B能够视觉确认自己投掷的礼品被发布者X接收。作为一例，服务器40对物品对象3相对于目标对象5的接触时间进行计时，在成为阈值以上时在目标对象5内持续显示物品对象3。在接触时间少于阈值时，作为一例，为曾一度进入到计时器内却被弹起而飞出容器的情况等。

与之对应地，在步骤S65中，服务器40为了以感觉赋予与在由手掌构成的容器中滚动并静止的状态对应的冲击，遵照物品的属性参数、手掌的参数驱动发布者X所穿戴的触觉设备16，发布者X能够以感觉识别在由手掌构成的容器中滚动并静止。

此外，在对发布者X赠送了过多物品的情况下，无法全部进入作为容器的目标部。物品进入目标部的量基于属性数据库42中对目标部的设定。服务器40也可以在物品充满目标部的情况下(溢出的情况下)将接受的物品复位，即设为目标部成为空的状态。作为一例，对物品是否充满目标部的判断是在物品与目标对象5的容器的空间部(容器的内侧面以及底面)接触规定时间以上、且进入容器的物品的体积的总和在容器的容积以下的阈值以上时进行。另外，作为一例，在物品与目标对象5的容器的空间部(容器的内侧面以及底面)接触规定时间以上、且容器的内侧面以及底面与物品的接触面积的总和成为容器的内表面积以下的阈值以上时进行。这些状态能够视为物品几乎充满容器的状态。

物品全部为虚拟物，目标部存在实物和虚拟物。在物品碰到目标部时，因冲击而造成形状变化，或者以规定的力互相排斥，而彼此相互影响。于是，在目标部为实物时，作为虚拟物的物品遵照实物的属性参数产生变形或者排斥。另外，在目标部和物品均为虚拟物的情况下，按照彼此的属性参数产生变形或者排斥。即，物品、目标部的变形量、物品排斥而弹起的量等按照彼此的属性参数来算出。然后，根据该结果，来显示物品对象3、目标对象5，并进一步驱动触觉设备16。

而且，物品还会碰到桌子、地面等目标部以外的物体，从而因冲击而导致形状变化或者以规定的力相互排斥。于是，在桌子、地面等目标部以外的物体为实物时，作为虚拟物的物品按照实物的属性参数产生变形或者排斥。另外，在桌子、地面等目标部以外的物体为虚拟物时，作为虚拟物的物品按照彼此的属性参数产生变形或者排斥。即，物品的变形量、物品排斥并弹起的量等按照彼此的属性参数而算出。然后，根据该结果，来显示物品对象3、桌子、地面等虚拟物，并进一步驱动触觉设备16。

此外，发布者X有时离开演播室10内或座位(参照图12的(b))。于是，保持于由持有物品的发布者X的手掌构成的容器的物品、目标部有时会从RGB摄像头12的视角(摄像范围)离开而出画。于是，在步骤S66中，服务器40判断物品位置以及目标位置是否在画面内。然后，在出画时，在步骤S67中使物品对象3以及目标对象5不显示于用户终端70(图12的(c))。另外，在未出画时前进至步骤S68，在画面内，在用户终端70将物品对象3以及目标对象5持续显示在移动目的地的位置。

在物品对象3以及目标对象5出画的情况下，有时发布者X以出画的物品以及目标部入画的方式，使RGB摄像头12移动或者变更摄像方向。在这种情况下，在步骤S69中，服务器40再次判断物品位置以及目标位置是否在画面内。然后，在入画时，在步骤S70中，重新将物品对象3以及目标对象5显示于用户终端70。另外，服务器40在物品位置以及目标位置没有进入画面内时，在步骤S71中，物品对象3以及目标对象5持续处于非显示的状态。

另外，在由发布者X的手掌构成的容器(目标部)已经保持有一个以上宝石(物品)的状态下投入新的宝石(物品)的情况下，服务器40存在新的物品对象3碰到由手掌构成的容器的目标对象5内存在的物品对象3，而从由手掌构成的容器快要掉出或者掉出的情况。于是，如图13的(a)所示，在步骤S81中，若在由发布者X的手掌构成的容器(目标部)已经保持有一个以上宝石(物品)的状态下投入有新的宝石(物品)，则服务器40将新的物品对象3碰到由手掌构成的容器的目标对象5内存在的物品对象3、或者两者被弹起而从由手掌构成的容器快要掉出的状态添加至视频直播影像4中，显示于用户终端70、发布者终端18(参照图13的(b)以及(c))。此外，在图13的(b)以及(c)中、用3a表示快要掉出的物品对象。另外，在步骤S82中，服务器40为了赋予物品彼此碰撞的冲击、在由手掌构成的容器内转动的感觉，按照物品的属性参数、手掌的参数驱动发布者X所穿戴的触觉设备16，发布者X能够以感觉识别在由手掌构成的容器中滚动并静止。

在步骤S83中，服务器40根据投入物品的用户终端70中的操作数据、物品的属性参数以及手掌的参数，判断宝石的物品对象3是否从由目标对象5的手掌构成的容器掉出。然后，服务器40在掉出的情况下，前进至步骤S84，在没有掉出的情况下，重复执行从步骤S81起的处理。

在物品从由手掌构成的容器掉出的情况下，根据物品的属性参数、地面、桌子6的属性参数等，物品在桌子6上滚动(参照图14的(a))并从桌子6掉下而在地面上滚动。服务器40将从物品在桌子6上滚动的状态到从桌子6掉下而在地面上滚动的一连串的状态添加至视频直播影像4中，并显示于用户终端70、发布者终端18。此外，在图14的(a)中，以3a表示滚动物品对象。

在步骤S84中，服务器40判断物品滚动的结果、物品位置是否位于画面内。然后，在出画时，在步骤S85中，在用户终端70不显示物品对象3。另外，在未出画时，前进至步骤S86，在画面内，根据物品的属性参数、地面、桌子6的属性参数等，在用户终端70将物品对象3持续显示在移动目的地的位置。

在物品对象3出画的情况下，有时发布者X以使出画的物品入画的方式，使RGB摄像头12移动或者改变摄像方向。在物品入画时，在步骤S87中，重新将物品对象3a显示于用户终端70(参照图14的(b)～(d))。此外，服务器40在物品位置没有进入画面内时，物品对象3a持续处于非显示的状态。

此外，作为视频直播准备，事先获取演播室10中的全部三维位置信息，由此，即使物品对象3从桌子6掉下而在桌子下等通常看不到的位置滚动，也能够确定其位置。

此外，也有用户B投掷的物品偏离目标部的情况。即，也有宝石的物品对象3未进入由手掌构成的容器的目标对象5的情况(图12的(a)的C、步骤S61为否的情况，参照图15的(b))。在这种情况下，如图15的(a)所示，在步骤S91中，服务器40判断物品位置是否位于画面内，在出画时，在步骤S92中，在用户终端70不显示物品对象3b。另外，在未出画时，前进至步骤S86，在画面内，根据物品的属性参数、地面、桌子6的属性参数等，在用户终端70将物品对象3持续显示在移动目的地的位置。

在物品对象3出画的情况下，有时发布者X以使出画的物品入画的方式使RGB摄像头12移动或者改变摄像方向。在物品入画时，在步骤S94中，重新将物品对象3显示于用户终端70。此外，服务器40在物品位置没有进入画面内时，物品对象3持续处于非显示的状态。

此外，作为一例，在深度摄像头13的检测范围比RGB摄像头12的摄像范围大时，有时物品位置、目标位置离开RGB摄像头12的摄像范围，而且还会离开深度摄像头13的检测范围。在该情况下，服务器40保持即将离开检测范围之前的目标部的目标位置、物品位置，在返回至深度摄像头13的检测范围时，将目标位置、物品位置更新为返回位置。另外，服务器40与在返回至深度摄像头13的检测范围时的容器、物品的状态对应地驱动触觉设备16。

根据上述视频直播系统1，能够得到以下列出的效果。

(1)在视频直播系统1中，作为用户心愿，例如用户A、B、C希望发布者X收到物品的心情，买入尽可能多的物品并进行投掷以使其进入目标部的容器。并且，物品进入发布者X的容器的情况也传达给发布者X，用户A、B、C能够看到该发布者X的反应。因此，用户A、B、C想要买入尽可能多的物品并相对于发布者X进行投掷。另一方面，发布者X也能够确实地感受到被赠送的物品，并促使用户A、B、C买入更多的物品。由此，能够增加相对于视频直播系统1的发布者、用户A、B、C的参加人数，能够使视频直播系统1活跃。

(2)用户A、B、C能够使用用户终端50、70、80，向针对位于演播室10的发布者X设定的目标部投掷物品。并且，在物品的物品位置与目标部的目标位置重叠时，物品进入目标部的容器。由此，用户A、B、C能够相对于位于远离场所的发布者X虚拟地投掷物品而放入目标部的容器，从而赠送物品。由此，视频直播系统1能够提高娱乐性。

(3)在用户A、B、C相对于发布者X进行向演播室10投掷物品这样的动作而赠送礼品时，从用户终端50、70、80发送与手腕的挥动相关的加速度数据、角度数据、角速度数据等操作数据。另外，发送在进行了滑动操作时的坐标数据等。因此，用户A、B、C能够自由调整物品的飞行方式，能够调整物品飞翔的方向、飞翔距离，能够使物品易于进入目标部，能够提高娱乐性。

(4)发布者X能够通过自己移动而使成为目标部的容器移动。发布者X也能够通过使成为目标部的容器移动，而使用户A、B、C投掷的物品难以进入目标部的容器，能够促使用户A、B、C买入更多的物品。

(5)在物品对象3与目标对象5重叠时，能够将此视为物品进入目标部。由此，能够在视觉上向用户A、B、C、发布者X通知物品进入目标部。

(6)通过将向发布者赠送的物品的期间限定于第1特别期间，能够在第1特别期间中集中买入物品并向发布者X赠送。

(7)发布者X也能够用自己的手掌构成成为投掷物品的目标部的容器。另外，也能够设为发布者X为手持的杯子、桶等实物。由此，发布者X使目标部的选择的自由度提高，另外，由于成为目标部的容器为实物的容器，所以用户A、B、C易于通过视频直播影像4来掌握。

(8)放置目标部的容器的位置、即，目标位置除了发布者X的一部分(手掌、手持的实物的杯子等)以外，还能够设定为发布者X的座席的与桌子上等分开若干距离的位置等。即，能够提高设定目标位置的位置的自由度。

(9)目标部不限定于实物，也能够设为非实际存在于演播室10的虚拟物，由此，能够提高目标部的选择的自由度，能够提高娱乐性。

(10)目标部能够从候补组中进行选择。由于限定所设定的目标部的种类，因此，能够细化地设定目标部的属性参数。另外，发布者X也能够从候补中自由选择目标部。

(11)与演播室10中的发布者关联地设定的目标部的目标位置能够根据由深度摄像头13检测到的三维位置信息来确定。

(12)目标部的属性参数设为接近实物的值，由此，能够提高现实感，通过设为与实物不同的属性参数，使目标部成为虚拟的，从而能够提高娱乐性。

(13)物品的属性参数设为接近实物的值，由此能够提高现实感，而通过设为与实物不同的属性参数，使物品成为虚拟的，能够提高娱乐性。

(14)通过使发布者穿戴触觉设备16，能够相对于发布者赋予感觉反馈。例如，能够通过触觉16感知物品进入目标部、在容器中滚动、物品从容器掉出而变轻。

[第2实施方式]

图16示出本发明的第2实施方式。在第2实施方式的显示控制系统中，被摄体成为室外的神社寺院等祭祀设施中的犬像。并且，犬像前的功德箱为目标部。目标部的功德箱是去参拜的用户D、E能够利用头戴式显示器(HMD)、智能设备等用户终端识别的虚拟物，而非位于作为实物的犬像前的实物。在此，用户D穿戴HMD110，用户E持有智能设备的用户终端140。用户D、E实际来到犬像的附近。作为一例，用户D、E所在的场所为犬像的附近，为能够投掷香油钱的程度的、靠近被摄体的场所。在此，若许多人去参拜祭祀设施等，以功德箱为目标投掷香油钱自身变难。用户D、E当启动HMD110、用户终端140的应用程序时，能够通过HMD110、用户终端140视觉确认位于犬像前的功德箱的目标对象5，能够相对于目标对象5投掷作为虚拟的物品的香油钱。另外，设定有目标对象5的位置也能够像特莱威喷泉那样，成为用户频繁投掷硬币的位置。另外，设定有目标对象5的位置也可以为在文化财产、遗迹等公益设施前等募集用于维持管理或者用于修缮修复的捐款的募捐箱。另外，目标对象5也可以设为作为被摄体的犬像自身。此外，除此以外，作为用户终端，也可以为智能眼镜等之类的眼镜型信息处理终端。

如图17所示，作为用户D的用户终端的HMD110具备：设于穿戴于头部的穿戴部且位于用户D的眼前的显示部112；内置于穿戴部且控制HMD110整体的控制单元115；扬声器116；操作部117。控制单元115具备：网络IF118；数据存储部119；主存储器120；控制部121。数据存储部119保存有用于相对于作为虚拟的功德箱的目标对象5投掷虚拟的香油钱等物品而添加物品对象3的应用程序，控制部121按照该程序控制整体的动作。

显示部112在作为一例为使用透射型显示面板等光学透视型的情况下，在透射型显示面板上添加目标对象5。作为另外一例，也可以不使用透射型显示面板，而使用直接在视网膜上对目标对象5进行成像的视网膜投射型显示装置。另外，在为视频透视型、非透射型的情况下，相对于在显示元件映出的真实空间的影像添加目标对象5。具体来说，HMD110在显示部112显示作为香油钱的物品对象3。HMD110具有RGB摄像头113和深度摄像头114。HMD110根据RGB摄像头113的真实空间影像检测犬像，并且通过深度摄像头114获取犬像的位置的三维位置信息，在显示部112中，在犬像前添加目标对象5。深度摄像头114在检测范围内始终获取用户D的各处的三维位置信息。HMD110在投掷香油钱时，在显示部112中，在进行投掷香油钱的动作的手掌添加香油钱的物品对象3。然后，在用户D进行了投掷香油钱的动作时，利用深度摄像头114追踪进行了投掷香油钱的动作的手腕的手掌等，由此来检测位置的变化，根据所检测的用户动作信息，在显示部112中，添加正在飞翔的香油钱的物品对象3。

HMD110在物品对象3的物品位置与目标对象5的目标位置重叠时，判断为香油钱进入了功德箱。在物品位置未与目标位置重叠时，HMD110判断为香油钱没有进入功德箱。物品的收费也可以设为在物品位置与目标位置重叠、即香油钱进入功德箱时进行。另外，也可以设为到香油钱进入功德箱为止，不进行追加的收费而能够重复投掷香油钱。显示有目标对象5的目标位置可以与功德箱的大小完全一致，也可以不完全一致。作为一例，放置功德箱的目标位置被设定为比功德箱的目标对象的大小稍大。由此，即使在香油钱的物品对象3与目标对象5多少不重叠的情况下，也能够设为香油钱进入功德箱。第1实施方式的物品收费以营利为目的，但第2实施方式中的物品收费非营利，而是基于用户的善意、宗教心。因此，物品对象3优选被设定为易于进入目标对象5。在犬像自身被设定为目标对象5的情况下，也可以在香油钱的物品对象3碰到目标对象5时判断为捐款成功。

另外，用户E的用户终端140为具有与上述的用户终端70同样的构成的智能设备，但还具有RGB摄像头113和深度摄像头114。用户E一边用用户终端140的RGB摄像头113拍摄犬像一边将真实空间影像显示于显示部。然后，用户终端140根据RGB摄像头113的真实空间影像检测犬像，并且通过深度摄像头114获取犬像的位置的三维位置信息，在犬像前添加目标对象5。在投掷香油钱时，用户E进行向目标对象5的方向描画的滑动操作。由此，用户终端140根据基于滑动操作的用户动作信息，添加物品对象3。即，用户终端140在显示部显示香油钱的物品对象3向功德箱的目标对象5的方向飞翔的状态。并且，用户终端140在物品对象3的物品位置与目标对象5的目标位置重叠时，判断为香油钱进入功德箱。另外，在物品位置不与目标位置重叠时，判断为香油钱没有进入功德箱。就香油钱是否进入功德箱的判断而言，与HMD110的情况相同。

在显示控制系统中，还具有管理香油钱的服务器130。HMD110在买入香油钱时、或者香油钱进入了功德箱时，将收费信号发送至服务器130。服务器130与用户ID建立关联地管理收费金额，根据收费信号算出针对每个用户ID的收费金额。香油钱最终被汇入运营祭祀设施的宗教法人等团体。

根据上述显示控制系统，能够得到以下列出的效果。

(1)用户D、E即使未实际来到犬像前，也能够虚拟地从分离一定距离的位置向功德箱投掷香油钱。因此，能够实现参拜时间的缩短。

(2)仅利用用户所管理的用户终端就能够设定目标对象5，以目标对象5为目标投掷物品。即，能够省略第1实施方式中的演播室10中的设备(麦克风11、RGB摄像头12、深度摄像头13、演播室监控器14、扬声器15、控制装置17、发布者终端18等)。

(3)在显示控制系统中，仅虚拟地设置不需要管理人的功德箱并投掷虚拟的硬币。即，并非实际向功德箱投掷香油钱。因此，能够防止行为不轨的人拿走功德箱内的香油钱。另外，能够防止使用伪造的硬币。由此，能够降低在犬像前进行的非营利的集资活动的运营成本，能够实现持续的活动。

(4)由于并非实际向功德箱投掷香油钱，所以不需要像实际的功德箱那样进行香油钱的回收作业。

此外，上述视频直播系统也能够以如下的方式适当进行变更并实施。

·在第1实施方式中，也可以省略发布者X穿戴的触觉设备16。这是因为，物品是否进入发布者X的目标部能够在演播室监控器14、发布者终端18视觉确认。

·第1实施方式中的属性数据库42在第2实施方式中也能够应用。另外，在第1实施方式以及第2实施方式中，也可以省略属性数据库42。另外，在属性数据库42中管理的属性参数也可以仅管理目标部属性参数以及物品属性参数的至少某一方的属性参数。

·在第1实施方式中，对发布者X的动作的追踪、设定有目标对象5的目标部(实物的杯子、桶、发布者X的手掌等)的追踪，是通过深度摄像头13获得三维位置信息来进行追踪的，但也可以省略深度摄像头13而仅利用RGB摄像头12进行。作为一例，目标部的检测能够通过使用了深度学习的AI来提高从实况影像检测目标部的检测精度。

·而且，就动作捕捉处理中的动作(骨骼以及各骨骼的动作＝动作)的检测识别处理而言，也可以设为对来自RGB摄像头12的影像施加根据基于深度学习等的学习结果进行的识别处理来实施。

·用户进行的确定的动作(例如投掷物品的动作、或者向哪个方向以何种程度的强度进行了投掷)不限于基于智能手表60的检测部、智能设备终端70a的检测部的检测结果进行判断(检测)。例如也可以基于由摄像头获取的影像，算出帧间差量、动作矢量来进行判断。

·在第1实施方式中，也可以不设置第1特别期间、第2特别期间等特别期间。在该情况下，能够于在用户终端收看视频直播影像的时间的期间将物品放入目标部。另外，在第2实施方式中，也可以设置特别期间。

·作为目标部，也可以为事先设定的仅一种实物(例如仅设为实物的杯子或者仅设为实物的桶)。另外，作为目标部，也可以为事先设定的仅一种虚拟物(例如仅设为虚拟物的杯子或者仅设为虚拟物的桶)。而且，作为物品，也可以为事先设定的仅一种物品(例如仅设为硬币或者仅设为宝石)。另外，在第2实施方式中，事先决定了相对于目标部的功德箱投掷香油钱的状况。因此，目标部可以事先被设定为功德箱，物品也可以事先被设定为硬币(用户D、E无法选择物品的种类)。

·另外，特别期间不限于视频直播中。作为一例，在年后首次参拜的期间，神社等祭祀设施的人很多。于是，在人多时，也可以将成为目标部的功德箱设置得比较大。

·在第1实施方式中，用户终端可收看的影像不限于视频直播。作为一例，服务器40当成为发布发布者X拍摄完毕的影像(添加了目标对象5的影像)的发布时刻时，设为在用户终端可收看的状态，当在发布时刻之后用户在用户终端进行访问时，能够在用户终端收看发布影像。并且，用户能够在用户终端将物品向目标部投掷。在该情况下，到成为发布结束时刻则发布停止。

·在第1实施方式中，服务器40所进行的处理也可以分布给边缘服务器来进行。

·显示控制程序通过网络或通过者光盘、半导体存储器等便携式记录介质而安装于计算机。

附图标记说明

1…视频直播系统、2…网络、3…物品对象、4…视频直播影像、4a…实况影像、5…目标对象、5a…杯子、5b…桶、6…桌子、7…一览对象、8…物品选择对象、9…照明、10…演播室、11…麦克风、12…RGB摄像头、13…深度摄像头、14…演播室监控器、15…扬声器、16…触觉设备、16a…致动器、17…控制装置、18…发布者终端。