信息处理装置、信息处理程序及记录介质
文献发布时间：2024-04-18 20:01:23
本申请是申请日为2021年08月02日、申请号为2021800479476，并且发明名称为“信息处理装置、信息处理程序及记录介质”的中国专利申请案的分案申请。
技术领域
本发明涉及一种进行与影像内容的制作或发布有关的信息处理的信息处理装置，该影像内容以包括网络摄像机的多个影像源的影像为素材。
背景技术
通常，电视节目等的影像内容的制作是通过在显示器屏幕上显示多个成像设备从不同方向(视场角)相对于拍摄对象拍摄的影像信号，由切换器(影像切换单元)通过切换按钮等的操作进行供观众观看的影像内容所使用的影像和不使用的影像之间的切换(Switching)。
但是，与以往相比，通过如因特网或局域网(LAN)等计算机网络发送影像信号的网络摄像机正在普及。此外，近年来，在用于业务、广播和一般摄影用的摄影机和数码摄像机中，还出现了能够通过计算机网络发送所拍摄的影像的摄影机和数码摄像机。
因此，存在如下课题和需求：想要使用这样的网络摄像机(能够通过计算机网络发送影像的摄像机)，通过切换影像源来进行影像内容的制作，以减少设置线路的时间、精力以及器材成本，使影像内容制作简便化、迅速化并实现成本降低。
此外，近年来，因特网的影像发布中，基于HTTP(HyperText Transfer Protocol，超文本传输协议)发送影像的HTTP流式传输(HTTP Streaming)发布成为主流。HTTP流式传输将影像数据分段(细分)成微小时间(例如10秒)的TS(Transport Stream)文件，与进行播放指示的播放列表(M3U文件、MPD文件等格式)一起传送HTTP数据，在观众终端中根据播放列表连续播放接收到的TS文件。
HTTP流式传输包括HLS(HTTP Live Streaming，HTTP实时流式传输)和MPEG-DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流式传输)等格式。
在计算机网络中的数据发送中，有如下方式：使用TCP(Transmission ControlProtocol，传输控制协议)的方式，该方式在确认到接收节点的接收通知之前持续再次发送相同的数据(数据包)；使用UDP(User Datagram Protocol，用户数据报协议)的方式，该方式中发送节点不确认接收节点的接收即传送数据。
由于HTTP流式传输的数据传送使用TCP(Transmission Control Protocol，传输控制协议)，因此抑制了数据传送引起的信号质量的劣化。此外，由于TCP是与WEB服务器中的一般的文件传送相同的传送方式，因此能够实现发布成本的降低等。
在专利文献1中，公开了一种摄像机系统的技术，该摄像机系统具有：多个摄像机装置，将通过摄像获取的影像信号分组化并输出；以及转播装置，与多个摄像机装置连接并对从多个摄像机装置传送的所述影像信号进行转播。转播装置具备：接收部，接收基于同步信号在多个摄像机装置间同步的各个影像信号；以及切换部，基于用于选择影像的控制信号来选择并输出从多个摄像机装置输出的影像信号，由此，从来自多个摄像机装置的影像中选择所希望的影像，并且简化系统结构。
此外，在专利文献2中，公开了一种可适用于基于IP的广播系统的影像传送装置及监视系统的技术，包括：影像传送装置，接收非压缩影像信号，在生成非压缩影像数据的IP分组流的同时，压缩非压缩信号，生成压缩影像数据的IP分组流；影像发布系统，从由多个所述影像传输装置接收到的IP分组流中，将非压缩影像数据的IP分组流作为高品质影像发布的同时，将压缩影像数据的IP分组流发布给用于监视影像的监视器系统；以及监视器系统，从所述压缩影像数据的IP分组流中选择显示在监视器上的IP分组流并显示在监视器上。
此外，在专利文献3中公开了一种信息处理装置的技术，通过对输入的文本的部分分配包括摄像装置的影像源或摄影操作，就能够通过观看构成脚本或采访记录等内容构成的文本(文字、文章)来确定形成怎样的构图、如何切换包括多个摄像机的影像源。
此外，在专利文献4中公开了一种影像流传输发布装置的技术，通过生成确定从流数据提取的播放用影像剪辑的剪辑信息文件、和用于指示构成剪辑的多个分段文件的播放的播放指示文件，编辑包括所述播放指示文件的所述剪辑信息文件并将所述剪辑信息文件传送到公开用站点，例如在体育实况转播中，能够一边实时发布该影像，一边在Web上公开包括定义与高光场景对应的剪辑的播放列表的剪辑信息文件。
此外，专利文献5公开了一种内容发布技术，包括：播放单元，用于播放包括多个TS分组的视频文件；UDP分组接收单元，分解包括多个TS分组的视频文件并接收IP多播发送的UDP分组；以及视频文件重构单元，将从上述UDP分组接收单元接收到UDP分组重构为上述视频文件并基于HTTP提供给上述播放单元。上述视频文件重构单元通过在不接收与上述视频文件对应的多个UDP分组中的至少一个UDP分组的情况下，以仅包括完整的TS分组的方式重构上述视频文件，从而，在基于HTTP发布视频的情况下，使用IP多播通信，进而尽可能地减少播放损失。
现有技术文献
专利文献
专利文献1：日本特开2015-62311号公报
专利文献2：日本特开2016-9881号公报
专利文献3：日本特开2012-14420号公报
专利文献4：日本特许5909546号公报
专利文献5：日本特许6490284号公报
发明内容
发明要解决的问题
为了从网络摄像机实时传送影像信号，使用以发送节点不确认接收节点的接收即传送数据的UDP(User Datagram Protocol，用户数据报协议)为基础的RTP(Real-timeTransport Protocol，实时传输协议)。然而，由于在RTP通信中，即使对方未接收到发送数据也不会重新发送，因此在网络上发生传送数据的一部分丢失的丢包(Packet Lost)的情况下，影像或声音会劣化。所以，不能将这样的数据作为供观众观看的影像内容的素材直接使用。
另一方面，由于在计算机网络中标准地使用的TCP/IP(Transmission ControlProtocol/Internet Protocol，传输控制协议/网际协议)优先数据品质，实时性较差(时间偏差)，因此存在由TCP/IP传送的影像数据不适合作为用于切换或摄影操作控制的实时取景影像的问题。
此外，根据上述的HTTP流式传输，能够发布没有噪声的高品质的影像/声音。但是，由于在由各个网络摄像机或影像源生成、输出的数据中不反映切换，因此用于进行反映了切换的HTTP流式传输发布的数据处理是必要的。
但是，在包括上述文献中公开的技术的现有技术中，没有解决这些问题。
本发明是为了解决上述问题而完成的，其目的在于提供一种适于切换包括网络摄像机的多个影像源的影像并输出(制作或发布)影像内容的信息处理装置。
解决问题的方案
本发明的信息处理装置，进行以包括网络摄像机的多个影像源的影像作为素材输出(制作或发布)影像内容的信息处理，所述信息处理装置包括：切换单元，根据传送的影像信号进行切换，所述影像信号以发送节点不确认接收节点的接收即从所述影像源传送数据的传送方式进行传送；以及信息处理单元，根据哪一影像源在哪一时刻被所述切换单元切换的相关信息以及从所述影像源输出的影像数据，输出(制作或发布)影像内容。
发明效果
根据本发明，能够实现一种适于切换包括网络摄像机的影像源并输出(制作或发布)影像内容的信息处理装置。
附图说明
图1是示出了本实施方式的信息处理装置的主要部分结构的框图。
图2是示出了本实施方式的信息处理装置的使用状态的一个示例的图。
图3是示出了本实施方式的信息处理装置的功能模块构成的框图。
图4是示出了切换器终端的功能模块构成的框图。
图5是示出了本实施方式的信息处理装置在切换器终端的触摸面板显示器上显示的WEB应用程序画面的示例的图。
图6是示出了本实施方式的信息处理装置在切换器终端的触摸面板显示器上显示的摄像机操作面板的示例的图。
图7是示出了本实施方式的信息处理装置生成并输出序列数据的处理流程的流程图。
图8是示出了本实施方式的信息处理装置基于哪一影像源在哪一时刻被切换的相关信息来生成并发布播放列表的信息处理的示例的流程图。
图9是示出了随着按下编程摄影操作按钮523而显示的编程摄影操作面板的一个示例的图。
图10是示出了编程摄影操作功能的处理流程的流程图。
图11是说明镜头的“尺寸”的图。
图12是示出了本实施方式的信息处理装置输出的序列数据的一个示例的图。
图13是示出了播放列表的一个示例的图。
图14是示出了EDL数据的一个示例的图。
图15是示出了能够连接到本实施方式的信息处理装置的网络摄像机的主要部分结构的框图。
图16是示出了能够连接到本实施方式的信息处理装置的观众终端的内容接收播放的功能模块的结构的框图。
具体实施方式
在本说明书中，所谓“切换”是指切换(来自)影像源(的影像信号)，包括作为瞬时的切换的“剪切(Cut)切换”和作为花费了一定程度的时间的切换的“过渡(Transition)”。
此外，将使摄像机的视场角在水平方向上移动的“横移(Pan)”、使摄像机的视场角在垂直方向上移动的“纵移(Tit)”、使视场角放大/缩小的“变焦(Zoom)”统称为“PTZ”。
此外，将切换(剪切切换和过渡)以及PTZ控制(横移、纵移、变焦的控制)一起称为“摄影操作(Camerawork)”。
此外，从最初到最后，用一个摄像机，将中间没有开始/停止而连续拍摄的影像的单位称为“镜头(Shot)”。
此外，对于一个场景，将通过镜头或与之相应的单位影像的切换、组合而构成的一系列影像称为“场景(Scene)”。
此外，对于相同构成的场景进行的1次收录称为“镜次(Take)”。
此外，将供观众观看的影像制作物称为“节目”、“节目内容”、“影像内容”等。
此外，将表示上述“影像内容”中场景登场的顺序的编号称为“场景编号”。
此外，将正在被切换的影像源的影像称为“PGM”。
此外，将被切换的切换的(切换前的)影像源的影像称为“PST”。
下面，参照附图对本发明的优选实施方式进行说明。
图1是示出了本发明的实施方式的信息处理装置100的主要部分结构的框图。
在信息处理装置100中，CPU 110、RAM 120、ROM 130、显示器160、操作部170和网络I/F 190经由内部总线180相互连接。
110为CPU，除了控制信息处理装置100自身的动作(用于发挥功能的各部分的动作)之外，还进行控制影像源的动作等的信号的生成、各种数据的处理。
RAM 120为可写入的高速存储装置，加载有OS、各种程序及各种数据。此外，也作为OS或各种程序的作业区域使用。
ROM130为具有非易失性的只读存储装置，作为BIOS、各种基本程序以及各种基本数据的永久存储区域使用。
显示器160为LCD(液晶显示面板)等的显示装置。
操作部170为键盘、鼠标、操纵杆、遥控器、或者触摸面板(包括触摸显示器)等。
用户可以在触摸显示器上通过用手指或触笔等对图标等GUI(Graphical UserInterface，图形用户界面)部件进行点击(按下然后松开，touch down then up)或轻拂(在触摸的状态下快速移动并松开)等触摸手势，操作机器来执行各种功能。
网络I/F 190是用于与网络连接的I/F(接口)，用于使网络摄像机1500等的影像源、观众终端1600、或者切换器终端400能够经由网络连接。
网络包括例如因特网、有线LAN、无线LAN、移动电话网等。
图2是示出了包括本发明的实施方式的信息处理装置的、内容输出系统的整体结构的图。在图2中，100是进行内容输出(制作或发布)的信息处理装置，经由网络向观众终端1600发布影像内容，此外，向切换器终端400提供基于切换的内容制作功能。
观众终端1600、切换器终端400是例如个人计算机(Personal Computer，以下称为“PC”)、平板电脑、智能手机等信息终端。
在图示的例子中，典礼、体育、游戏、音乐演奏、科学实验、报道、社会信息、会议、电视剧(戏剧)等“活动”(210)由多个摄像机1500-1、1500-2、...从不同的方向(视场角)进行拍摄。
切换器终端400包括例如显示器和触摸面板一体化的触摸面板显示器，接收用户(内容制作者)的GUI操作。该触摸面板显示器上显示的操作画面(GUI)通过信息处理装置100的WEB服务器功能，在由切换器终端400启动的WEB浏览器上作为WEB应用程序显示。
在切换器终端400上经由网络连接了网络摄像机1500等影像源，通过设备的IP地址、用户名、或者密码进行认证，能够进行数据访问、或者横移纵移等设备控制。
内容制作者一边通过发出提示(适时地发出信号)等使活动进行，一边根据从影像源UDP传送到切换器终端400的影像信号(实时的实时取景)来切换影像源并进行影像内容的制作。此时，生成记录了哪一影像源在哪一时刻被切换的序列数据，传送、保存在信息处理装置100的RAM 120等中。
另一方面，摄像机1500-1、1500-2、...等影像源的影像数据(影像剪辑)首先存储(包括高速缓存或缓冲)到该影像源所具有的存储单元(RAM、SD卡等存储介质)中。
在该影像源被切换时，进行将该存储的影像数据(影像剪辑)进行分段数据(TS文件)化的细分处理，传送、保存到特定的存储区域(例如在线存储器上的文件夹)。需要说明的是，根据需要，在该存储单元(或负责该存储单元的控制单元)中导入用于数据细分、或者传送、保存等的功能模块。
或者，在影像源本身具有HTTP流式传输的功能等的情况下，在各影像源内生成、保持分段数据(TS文件)。然后，将作为元数据附加在分段数据(TS文件)中的时间码等时间信息与该影像源被切换的时刻进行参照、比较，将与被切换的时刻有关的分段数据(TS文件)传送并保存到特定的存储区域(例如在线存储器上的文件夹)。
接下来，本发明的实施方式的信息处理装置100生成上述的、记录了影像源被切换的时刻的分段数据的文件路径和时间长度的播放列表(M3U文件、MPD文件等索引文件)，并发布给观众终端1600(将播放列表登记在发布用目录中)。
观众终端1600通过参照播放列表(M3U文件、MPD文件等)请求分段数据，执行切换了多影像源的影像内容的流传输发布。
需要说明的是，也可以将从各个影像源的影像生成的分段数据记录并保存在该影像源主体或不经由计算机网络与该影像源主体连接的记录装置(记录介质)中，并从那里向观众终端1600发布数据(获取数据)。这样做的时候，改善了至观众终端1600等能够获取到分段数据的延迟(Latency)(延迟降低)。
如上所述，由于在UDP传送中实时性优先，数据品质下降(产生噪声)，因此不适合将UDP传送的影像信号直接发布给观众观看，或者作为影像内容制作的素材使用。因此，在切换器终端400中，通过从各影像源进行UDP传送的影像信号(实时取景)，在实时性良好地确认活动的进行的同时进行切换，将哪一影像数据(影像源)在哪一时刻被切换的信息作为“序列数据”生成并输出。该序列数据包括从影像源送出的影像数据(影像剪辑)的ID(识别符)，且与影像数据相关联。此外，通过入点(切换插入开始时刻)、出点(插入结束时刻)的时间码，具有哪一影像数据(影像源)在哪一时刻被切换的信息。也就是说，可以参照在影像内容的场景中作为镜头而被采用的影像数据部分。
用户(内容制作者)能够在与记录介质230连接的影像编辑用终端240上，通过根据上述的序列数据编辑质量不下降的影像数据，适当地添加音乐效果、字幕、影像效果等，完成供观众观看的影像内容。
此外，本实施方式的信息处理装置100生成记载了影像源被切换的时刻的影像的分段数据的文件路径的播放列表。由于在分段数据的传送、发布中使用了TCP，因此确保了数据品质，在观众终端1600上进行没有噪声的高品质的影像、声音发布。也就是说，本实施方式的信息处理装置100基于从包括网络摄像机的多个影像源UDP传送的实时取景影像，进行影像源的切换(Switching)，根据哪一影像源在哪一时刻被切换的信息，生成内容发布的播放列表，根据生成的播放列表，通过TCP传送使观众终端1600获取被切换的影像源的影像数据。
通过采用上述结构，根据本实施方式的信息处理装置100，能够一边随着婚丧嫁娶等典礼或电视剧(戏剧)等“活动”的进行，大致实时地切换影像源，一边输出(制作或发布)由网络传输的以品质降低少的影像数据为素材的影像内容供观众观看。
需要说明的是，近年来，作为用于在WEB浏览器中使用UDP进行实时影像通信的技术，出现了WebRTC(Web Real-Time Communication，网络实时通信)，作为从影像源传送用于切换的实时取景影像的方法，也可以使用该WebRTC。
此外，在WEB浏览器不能通过UDP显示影像流时，也可以向网络摄像机发送上述的ONVIF规定的快照(Snapshot)获取命令，连续地获取静止图像(JPEG图像)，并基于此进行切换。
由于静止图像(JPEG图像)即使连续，帧速率(每单位时间的显示帧数)也不够高，因此，不能直接供观众观看，但是，基于此，根据被切换时、哪一影像源在哪一时刻被切换的相关信息和从所述影像源输出的影像数据，就能够输出(制作或发布)没有噪声和帧速率降低的影像内容供观众观看。
即，实现一种信息处理方法，即使在WEB浏览器不支持(Support)基于UDP的影像流传输时，也能够在WEB浏览器上显示切换单元以使用户切换影像源，输出(制作或发布)影像内容。
图3是示出了本实施方式的信息处理装置100的功能模块构成的框图。信息处理装置100包括存储单元301、通信单元302、分段数据生成单元303、播放列表生成单元304、播放列表发布单元305、分段数据发布单元306、切换器单元307和系统时钟308。
图3所示的各功能中，利用各处的硬件资源来实现由存储在装置内的软件进行的信息处理。例如切换器单元307中，CPU 110通过存储在信息处理装置100的ROM 130中的软件进行信息处理，实现在切换器终端400的触摸面板显示器上显示WEB应用程序的触摸GUI。
存储单元301将影像内容以从影像源输出的影像剪辑文件和记录了该切换时刻的序列数据的组合的形式、或者将影像剪辑文件细分后的分段数据等的形式进行保持。
此外，将切换器终端的利用者(WEB应用程序的使用者)、内容观众、广告主的ID(识别符)或密码等分别作为制作者数据库、观众数据库、广告主数据库等进行保持。
通信单元302进行与切换器终端400或观众终端1600等之间的各种数据或命令的收发。例如，与切换器终端400的WEB浏览器通信来显示WEB应用程序。此外，根据来自观众终端1600的WEB浏览器的请求，对内容进行流传输发布。
分段数据生成单元303例如基于“MPEG-2TS”等标准格式，生成将从影像源输出的影像数据以微小时间(例如10秒)细分后的分段数据(TS文件)。另外，此时，将影像源的ID、拍摄影像数据的时刻的时间数据、生成的分段的文件路径等，作为分段数据信息储存在存储单元301中。
播放列表生成单元304在由分段数据生成单元303生成的分段数据中，生成记录了被切换的影像源的被切换的时刻的分段数据的文件路径和时间长度的播放列表。
播放列表发布单元305根据观众终端1600的请求，将播放列表发布到观众终端1600。具体而言，在发布用目录(文件夹)中注册并保存播放列表。
分段数据发布单元306将分段数据(TS文件)发布给观众终端1600。具体而言，将分段数据(TS文件)注册并保存在特定的目录(文件夹)中，将该文件路径记载在播放列表中。
切换器单元307根据活动的进展，通过内容制作者用户的指示，将与切换器终端400连接的影像源中的任意一个作为在该活动的影像内容的该时刻的构成素材进行选择切换。
系统时钟308与时间服务器同步地进行计时。
图15是示出了能够连接到本实施方式的信息处理装置100的网络摄像机1500的主要部分结构的框图。
网络摄像机1500的CPU 1510、RAM 1520、ROM 1530、摄像部1540、存储器I/F 1550、网络I/F 1560、PTZ控制部1570、外部I/F 1580经由内部总线1590相互连接。
1510是CPU，控制网络摄像机1500的动作。
RAM 1520是可写入的高速存储装置，加载有OS、各种程序以及各种数据。此外，也作为OS或各种程序的作业区域使用。
ROM 1530是具有非易失性的只读存储装置，作为BIOS、各种基本程序及各种基本数据的永久存储区域使用。
用于识别网络摄像机1500的识别ID(IP地址等)保持在RAM 1520或ROM 1530中。
摄像部1540利用CCD或CMOS等摄像传感器，对光学图像进行光电转换并传送给CPU。
存储器I/F 1550与SD卡或HDD等记录介质连接，进行影像信号或各种数据的写入或读出。
网络I/F 1560经由网络基于因特网协议或ONVIF等协议，承担用于与信息处理装置100或各种客户端进行通信的I/F。其中，ONVIF是由标准化团体Open Network VideoInterface Forum制定的、安装指示设备控制、图像、或者元数据的发布的开始等的命令等的协议。
PTZ控制部1570在具有横移、纵移、变焦机构的PTZ摄像机中，得到横移、纵移、变焦状态，或根据操作指示进行PTZ控制。
外部I/F 1580连接有麦克风、取景器等附属设备。也可以不必直接附属于摄像机主体，经由电缆通过端子连接，也可以无线连接。在通过麦克风拾取声音时，记录为与影像信号一体的音轨。
图16是示出了能够连接到本实施方式的信息处理装置100的观众终端1600的内容接收播放的功能模块的结构的框图。
观众终端1600包括通信单元1601、播放列表获取单元1602、分段数据获取单元1603、缓冲单元1604、以及播放单元1605。
通信单元1601通过HTTP等协议与信息处理装置100进行通信。
播放列表获取单元1602对信息处理装置100进行播放列表获取请求，从信息处理装置100获取播放列表。然后，在所获取的播放列表中记载的全部的分段数据的播放完成之前，再次发送播放列表获取请求，重新获取(重新加载)播放列表。在获取的播放列表中记载了表示是最后的播放列表的情况下，结束播放列表的获取。
分段数据获取单元1603按照在所获取的播放列表中记载的顺序获取分段数据。即，向表示播放列表中记载的TS文件的文件路径的URL(Uniform Resource Locator，统一资源定位符)发送获取请求。
缓冲单元1604对所获取的分段数据进行一定时间长度的缓冲(临时保持)。
播放单元1605按照播放列表中记载的顺序读出并播放在缓冲单元1604中缓冲的分段数据。
图4是示出了切换器终端400的功能模块构成的框图。
在图4中，401是影像源缩略图显示单元，根据与信息处理装置100连接的影像源的影像信号(实时取景)生成缩略图图像，并显示在切换器终端400的触摸面板显示器上。
402是主菜单显示单元，在切换器终端400上显示主菜单。
403是音量级别显示单元，在切换器终端400的触摸面板显示器上显示与信息处理装置100连接的影像源中用户选择(切换)的影像源(以下称为“PGM”)的声音信号的音量级别。
404是“ON AIR”指示器显示单元，在切换器终端400的触摸面板显示器上显示由用户指示开始的、输出由正在被切换的影像源或被切换的时刻等信息构成的序列数据等。
405是输出开始结束控制单元，控制序列数据等的输出开始、结束。
406是影像监视单元，在切换器终端400触摸面板显示器上的监视部506上显示被用户选择(切换)的影像源的影像信号(PGM)。
407是影像源检索、添加、删除单元，进行能够与信息处理装置100连接的影像源的检索、添加、删除。
408是切换单元，通过用户指示选择(切换)与信息处理装置100连接的影像源中的任一个作为PGM，将该影像信号显示在切换器终端400触摸面板显示器上的监视部506上。
409是摄像机控制单元，根据用户操作生成摄像机控制命令并将摄像机控制命令发送给目标摄像机。
410是过渡单元，控制从作为PGM被选择的影像源向其它影像源经过一定时间的切换。
411是属性单元，进行对影像源的序列(时间线)的属性的写入、读出。
412是设备设定单元，进行在切换器终端400触摸面板显示器上的显示文本尺寸、画面的亮度、音量、或者WiFi连接等的设定、调整。
413是系统时钟，与时间服务器同步进行计时。
414是数据输出单元，将生成的序列数据以SMIL(Synchronized MultimediaIntegration Language，同步多媒体集成语言)、CSV(Comma Separated Value，逗号分隔值)、EDL(Edit Decision List，编辑决策列表)、AAF(Advanced Authoring Format，高级创作格式)等数据格式输出。
415是编程摄影操作单元，对每个场景的一系列摄影操作(切换和PTZ控制)进行编程。
416是摄影操作执行单元，根据用户指示，依次执行由编程摄影操作单元415编程的摄影操作。
网络摄像机中包括能够进行横移、纵移、或变焦中的任意一种的摄像机。本实施方式的信息处理装置100包括控制这样的网络摄像机的横移、纵移、变焦的PTZ控制单元。
通过采用这样结构，能够一边随着婚丧嫁娶或电视剧(戏剧)等“活动”的进行，大致实时地控制网络摄像机的横移、纵移、变焦，一边制作以网络传输的品质降低少的影像数据为素材的影像内容供观众观看。
此外，在本实施方式中，一体地提供切换单元和PTZ控制单元。
通过采用这样的结构，随着婚丧嫁娶等典礼和电视剧(戏剧)等的“活动”的进行，能够进行联合了切换和PTZ控制的影像内容制作上的“演出”。例如，为如下“演出”：在拍摄婚礼而制作的影像内容中，当新娘宣读“给父母的感谢信”时，逐渐放大新娘的特写，在信的阅读结束的瞬间切换到拍摄父母的摄像机。
图5是示出了本发明的本实施方式的信息处理装置100在切换器终端400的触摸面板显示器上显示的WEB应用程序画面的示例的图。
501是切换器应用的GUI。
502是调用主菜单的菜单按钮。
503是表示音量级别的音频计(Audio meter)。
504是显示是否处于收录(序列数据记录)或广播(流式传输)状态的“ON AIR”指示器。
505是指示“ON AIR”开始(收录或广播开始)的开始按钮。需要说明的是，当按下开始按钮505并开始收录或广播时，开始按钮505被切换为停止按钮505-2。
506是监视部，是显示正在被选择(切换)的影像源的影像(PGM)的区域。
507是影像源部，是显示可切换的影像源的缩略图的区域。在影像源部507上显示影像源缩略图5071、5072、...。影像源缩略图是表示与信息处理装置100网络连接的多个影像源的缩略图图标，对各影像源输出的影像进行缩略图显示。在图2的例子中，摄像机1500-1、1500-2、...是影像源，这些影像源拍摄的影像作为影像源缩略图被实时地显示。在没有进行拍摄的情况下，将之前的最终帧以静止状态显示，或者显示所谓的“黑屏(全黑的画面)”。
在图5所示的例子中，显示有3个PTZ(横移、纵移、变焦)摄像机拍摄的影像和1个视频影像。这里所说的视频影像是指例如预先拍摄的、保存在信息处理装置100的RAM 120或在线存储器等记录介质中的影像数据。这样的视频影像也可以作为影像内容的素材使用。
508是加号按钮，是用于检索并添加在影像源部507上显示的影像源的按钮。
509是用于控制各影像源的摄像机控制按钮。当用户按下摄像机控制按钮509时，显示摄像机操作面板600。摄像机操作面板600显示在每个摄像机上。另外，作为所谓的浮动窗口，可以移动位置来显示。
510是变更切换种类的切换种类按钮，由选择作为瞬时的切换的“剪切”的剪切选择按钮510-1以及选择伴随效果的逐渐的切换的“过渡”的过渡选择按钮510-2构成。剪切选择按钮510-1和过渡选择按钮510-2是相互排他(择一)地选择，也就是所谓的双态按钮(Toggle button)。
511是用户(内容制作者)用于对收录的镜次进行评级(评价)的评级按钮。
512是显示所谓的“胶片条(构成场景的镜头的缩略图序列)”的时间线区域。
513是时间线区域的注释区域，514是时间码刻度，515是在时间线区域中显示在该时间码的时刻切换了的影像源(的缩略图)的影像源缩略图显示区域。沿着各个影像源缩略图的时间码刻度514的长度对应于该“镜头”的时间长度。在注释区域513中显示由用户输入的注释文本。
516是播放按钮，当按下播放按钮516时，从时间码刻度514上的序列标记517所示的时刻开始，播放所收录的影像序列(连接来自各影像源的实时取景并记录在RAM 120中的序列)，并显示在监视部506上。需要说明的是，当按下播放按钮516时，切换到播放停止按钮516-2。此外，在不存在可播放的影像序列的情况下(未收录影像序列的情况)，播放按钮516被无效化(变灰，Gray out)。
518是属性按钮，能够显示属性面板，在时间线区域512中对显示时间线的影像序列赋予或变更场景标题或镜次编号等。此外，也可以从属性面板调用、播放至此制作的场景或镜次等。
519是调整显示时间线的倍率的倍率滑块。
520是渐变器，用于进行过渡时的切换操作的切换滑块。
521是显示场景标题的场景标题组合框。
522是显示镜次编号的镜次编号文本框。
523是显示用于进行编程摄影操作功能的编程摄影操作面板的编程摄影操作按钮。编程摄影操作功能将在后面叙述。
由于切换器终端400的显示器作为与触摸面板一体的触摸面板显示器构成，因此，用户可以通过用手指或触笔等对图标等GUI部件进行点击(按下然后松开，touch downthen up)或轻拂(在触摸的状态下快速移动并松开)等触摸手势来执行各种功能。
例如，可以通过点击影像源部507的缩略图5071、5072、...，选择(切换)与该缩略图对应的影像源作为PGM。此时，对该缩略图附加红色框，表示选择了对应的影像源。此外，在监视部506上显示该影像源的影像。此外，作为序列数据，记录该影像源(或由该影像源生成的影像剪辑)的ID和被点击的时刻(时间码)。
当用户点击开始按钮505时，开始序列数据的记录和影像序列(将切换后的影像源的实时取景连接成一个连续的序列)的记录。
当用户在触摸着影像源部分507中的一个缩略图的状态下触摸另一个缩略图时，与随后触摸到的缩略图相对应的影像源被设置为下一个被切换的影像也就是所谓的预设影像(以下称为“PST”)。然后，在最后触摸的缩略图被触摸的状态下松开之前触摸的缩略图，则通过过渡单元410从显示在监视器部506上的PGM影像(之前触摸的缩略图的影像源的影像)，伴随着效果(过渡效果)而逐渐变更成设定为PST的影像源的影像(之后触摸的缩略图的影像源的影像)。
也就是说，在本实施方式中，能够通过对触摸显示单元的触摸手势来指示过渡。通过采用这样的结构，用户能够根据“单点触摸”和“两点触摸”的不同，来区分操作“剪切(瞬间的切换)”和“过渡”，操作方法容易理解且方便。
用户还可以通过操作渐变器520来执行过渡。即，当用户操作渐变器520时，根据渐变器520的滑动量，通过过渡单元410将显示在监视器部506上的PGM影像逐渐切换为设定为PST的影像源的影像。这种基于渐变器操作的过渡控制符合以往的切换装置的操作性，能够在用户希望的时刻进行过渡，很方便。
当执行影像源的切换(剪切和过渡)时，将影像源(或影像剪辑)的ID以及切换开始和结束的时刻(时间码)作为序列数据被记录。
524是用于选择过渡效果的过渡效果下拉列表。过渡效果中有“渐隐(Dissolve)”、“擦除(Wipe)”、“滑动(Slide)”、“挤压(Squeeze)”、“划像(Iris)”、“缩放(Zoom)”等。过渡效果下拉列表521是通过选择过渡选择按钮510-2来有效化的(当未选择过渡选择按钮510-2时，该下拉列表变灰)。
525是设定作为过渡的切换时间的持续时间(Duration Time)的上下持续时间(Duration time up down)。通过选择过渡选择按钮510-2来有效化上下持续时间522(当过渡选择按钮510-2没有被选择时变灰)。
图6是示出了本实施方式的信息处理装置在切换器终端400的触摸面板显示器上显示的摄像机操作面板的示例的图。
摄像机操作面板600包括影像显示部601、“被摄体跟踪”复选框602、“PGM时也跟踪”单选按钮603a、“PGM时不跟踪”单选按钮603b、“尺寸设定跟踪”复选框604、“尺寸设定”下拉列表605、“连接调整”复选框606、关闭按钮607、被摄体指定框608、横移纵移控制器609、变焦控制器610、聚焦控制器611和设定菜单按钮612。
影像显示部601是显示对应的摄像机正在拍摄的影像的区域。
横移纵移控制器609是用于对对应的摄像机进行横移纵移控制的、模仿操纵杆的GUI。
变焦控制器610是用于对对应的摄像机进行变焦控制的滑块。
用户也能够通过对影像显示部601进行捏缩(Pinch in)或捏放(Pinch out)的操作，对对应的摄像机进行PTZ控制。也就是说，通过同时对影像显示部601上的两点进行手指按下(Touch down)并使彼此的触摸位置接近的触摸操作(捏缩)，在手指按下时与在影像显示部601整个区域显示的范围对应的视场角(角度)可以对对应的摄像机进行PTZ控制，以向两个触摸位置的中间点的位置进行变焦和横移纵移(参照图6中的(b))。此外，通过同时对影像显示部601上的两点进行手指按下而使彼此的触摸位置远离的触摸操作(捏放)，可以进行变焦和横移纵移的PTZ控制，以使两个手指按下位置的中间点的位置附近的范围扩大到在影像显示部601整个区域上显示的范围(参照图6中的(c))。
通过采用这样的操作方法，用户能够通过触摸手势一体地进行横移纵移操作和变焦操作，十分方便。
在进行这样的操作方法时，例如，向网络摄像机发送如下的ONVIF命令。
Area Zoom＝x1-x0，y1-y0，w1-w0，h1-h0
其中，x1、y1是捏拉(Pinch)操作后的两点触摸的中间点的坐标，x0、y0是捏拉操作前的两点触摸的中间点的坐标，w1、h1是捏拉操作后的触摸点间的宽度、高度，w0、h0是捏拉操作前的触摸点间的宽度、高度。其中，将影像显示部601整体的宽度、高度分别设为200、200。
需要说明的是，PTZ一般为“开始缓慢动作并逐渐加速，从中间进一步减速而停止”，这样所谓的EASE IN/EASE OUT动作流畅且适宜。因此，在进行基于上述捏拉操作的PTZ控制时，也可以在PTZ动作的持续时间内自动发送成为EASE IN/EASE OUT的PTZ动作的速度控制命令。
此外，在一体地进行横移纵移和变焦时，通过横移纵移暂时进入视场角的被摄体通过放大(Zoomin)再次从视场角被切掉(不进入视场角)，或者通过缩小(Zoom out)而暂时进入视场角的被摄体通过横移纵移再次从视场角被切掉，这被形容为“时隐时现”等，一般被认为是不适合的。因此，也可以以不存在这样的被摄体的出入的方式计算并控制横移纵移的光轴角度变更以及变焦引起的焦距变更。
但是，在用户进行PTZ控制时，如果能够知道相对于此时拍摄的视场角有多少可进行PTZ的余地的话会很方便。因此，在进一步操作时，接近变焦或横移纵移停止的极限时，能够通过使影像显示部601的显示框的各个边的显示与未接近那样的极限的情况不同，在视觉上通知用户可进行PTZ的余地小。
例如，将包围影像显示部601的框以使内侧的图像边缘变模糊的方式不清楚地显示边界，当接近无法再缩小的广角端或无法再放大的望远端时，降低模糊程度以清楚地显示表示框的边界线。同样地，在接近能够进行横移或纵移的极限时，明确地显示表示该横移方向或纵移方向的边的边界线。通过这样显示，用户能够一边考虑可以进行PTZ的余地一边适当地进行PTZ控制。需要说明的是，基于上述显示部的框的表现的通知方法是向用户直观地通知PTZ极限的一种方法，也可以是例如显示“接近能够缩小的极限”等的文本等的其它通知方法。
聚焦控制器604是用于对对应的摄像机进行聚焦控制的滑块。需要说明的是，根据对应的摄像机的性能，也可以设为自动聚焦模式。
设定菜单按钮612是用于显示设定对应的摄像机的白平衡、光圈、帧速率等的菜单的按钮。需要说明的是，根据对应的摄像机的性能，也可以设为自动白平衡或自动光圈等。
“被摄体跟踪”复选框602是用于将特定的被摄体设定为自动进行PTZ跟踪的复选框。
控制横移/纵移以在画面中央附近持续捕捉在画面中检测出的运动体的自动跟踪功能的技术已经在监视摄像机等领域开始实用化。用户通过选择(勾选)“被摄体跟踪”复选框602，能够设定对应的摄像机自动跟踪特定的被摄体。当选择(勾选)“被摄体跟踪”复选框602时，在影像显示部601中，被摄体指定框608被重叠显示，用户通过触摸操作等移动框，能够将框的位置的被摄体设定为跟踪对象的被摄体。
“PGM时也跟踪”单选按钮603a、“PGM时不跟踪”单选按钮603b是用于设定在对应摄像机被切换时是否进行上述自动跟踪(自动PTZ)的单选按钮，通过选择(勾选)“被摄体跟踪”复选框602而被有效化(在未选择(勾选)“被摄体跟踪”复选框602时变灰)。上述的被摄体跟踪的主要目的是在画面内持续捕捉被摄体，作为摄影操作有可能变得生硬而不自然。因此，通过在作为观众观看的影像的PGM时不进行追踪，能够消除不自然的摄影操作的可能性。
“尺寸设定跟踪”复选框604是用于设定为保持“尺寸”来跟踪特定被摄体的复选框，通过选择(勾选)“被摄体跟踪”复选框602而被有效化(在未选择(勾选)“被摄体跟踪”复选框602时变灰)。
其中，“尺寸”是指以人物被摄体为基准表示被摄体在画面内是多大的，包括全景镜头(Full Shot，FS)、全身镜头(Full Figure，FF)、膝上镜头(Knee Shot,KS)、腰上镜头(Waist Shot，WS)、胸上镜头(Bust Shot，BS)、仰视镜头(Up Shot，US)、特写镜头(Close-up，CU)(参照图11)。
“尺寸设定”下拉列表605是用于选择、设定上述“尺寸”的下拉列表，“尺寸设定跟踪”复选框604是通过选择(勾选)而被有效化的(“尺寸设定跟踪”复选框604未被选择(勾选)时变灰)。
“连接调整”复选框606是用于在对应的摄像机的影像被切换时(设为PGM时)，设定是否进行调整后的自动PTZ，以使与之前为PGM的影像源的影像的切换(回切)合适的复选框，“尺寸设定跟踪”复选框604是通过选择(勾选)而被有效化的(“尺寸设定跟踪”复选框604未被选择(勾选)时变灰)。当从PGM切换图像时，在切换前后的镜头的“尺寸”相同的情况下(例如在切换前后都是“腰上镜头”的情况等)，如果从人物被摄体头顶到画面上端的长度不同，则会给人连接(切换)不自然的印象。此外，在切换后的镜头的“尺寸”比切换前的镜头的“尺寸”更紧(tight)的情况下(例如从“腰上镜头”切换为“胸上镜头”的情况等)，如果从人物被摄体头顶到画面上端的长度在切换前后不变短，则同样地连接(切换)变得不自然。此外，在切换后的镜头的“尺寸”比切换前的镜头的“尺寸”松散(loose)的情况下(例如从“胸上镜头”切换为“腰上镜头”的情况等)，如果从人物被摄体头顶到画面上端的长度在切换前后不变长，则不自然。
因此，在选择了“连接调整”复选框606时，分析成为PGM影像源的图像，认定或推定“尺寸”以及从人物被摄体头顶到画面上端的长度，当PGM的“尺寸”和“尺寸设定”下拉列表605的设定尺寸相同时，对对应的摄像机进行纵移控制，以使从人物被摄体头顶到画面上端的长度也相同。此外，当“尺寸设定”下拉列表605的设定尺寸比PGM的“尺寸”更紧时，对对应的摄像机进行纵移控制，以使从人物被摄体头顶到画面上端的长度比PGM的长度短。此外，在“尺寸设定”下拉列表605的设定尺寸比PGM的“尺寸”松散(loose)时，对对应的摄像机进行纵移控制，以使从人物被摄体头顶到画面上端的长度比PGM的长度长。
通过这种方式，能够消除从PGM切换图像时切换前后的镜头的连接变得不自然的可能性。
关闭按钮607是用于关闭(隐藏)摄像机操作面板600的按钮。
被摄体指定框608是用于使用户将框的位置的被摄体指示、设定为跟踪对象的被摄体的标识(GUI)。
摄像机操作面板600可以显示在每个摄像机上。此外，作为所谓的浮动窗口，可以移动位置来显示。
如上所述，在本实施方式的信息处理装置100中，可以通过对触摸显示单元的触摸手势，向能够进行PTZ的网络摄像机指示PTZ。通过采用这样的结构，用户能够一体地进行横移纵移操作和变焦操作，此外，通过PTZ控制如何改变视场角直观易懂，非常方便。
此外，本实施方式的信息处理装置100基于以发送节点不确认接收节点的接收即从能够进行PTZ的网络摄像机传送数据的传送方式传送的影像信号检测图像中的运动体，对所述网络摄像机进行PTZ控制，以能够在画面中央附近持续捕捉所述检测出的运动体。
由于这样的PTZ控制需要基于大致实时的实时取景影像来进行，但如已经说明的那样，UDP传送的实时取景影像不适合用于供观众观看的影像内容，因此，通过对与实时取景影像不同的影像数据进行TCP/IP传送或HTTP流传输等信息处理，能够输出(制作或发布)高品质的影像内容。
图11是说明“尺寸”的图。
全景镜头(FS)是该摄像机的最广角的视场角尺寸。
全身镜头(FF)是从脚尖到头顶的尺寸。
膝上镜头(KS)是从膝盖到头顶的尺寸。
腰上镜头(WS)是从腰部到头顶的尺寸。
胸上镜头(BS)是从胸部到头顶的尺寸。
仰视镜头(US)是脸部全部进入画面的尺寸。
特写镜头(CU)是眼睛、嘴、手、脚等身体部分全部进入画面的尺寸。
图7是示出了本实施方式的信息处理装置100显示与影像源相对应的影像源缩略图，接收用户的切换操作(包括渐变器操作)来变更在监视器部506上显示的影像，同时，在处于REC状态时生成并记录序列数据的处理流程的流程图。该流程图的处理通过信息处理装置100的CPU 110根据输入信号或程序控制各部分来实现。
CPU 110在切换器终端400的触摸面板显示器上显示图5所示的GUI 501(步骤S701)。其中，信息处理装置100处于接受用户的GUI操作的状态。
在用户的操作为按下了加号按钮508的情况下(S702中为“是”)，CPU 110检索能够网络连接的影像源并列表显示(S703)。当用户选择了一个以上的影像源并关闭列表时(S704中为“是”)，将所选择的影像源的影像源缩略图追加显示在影像源部507中(S705)。
在用户的操作为按下PTZ摄像机的摄像机控制按钮的情况下(S706中为“是”)，CPU110显示摄像机操作面板600(S707)。如上所述，摄像机操作面板600包括影像显示部601、横移纵移控制器602、变焦控制器603、聚焦控制器604、设定菜单按钮605和关闭按钮606。需要说明的是，变焦广角端、望远端的镜头焦距、横移纵移可动范围等参数在PTZ摄像机作为影像源被追加时，使用上述的ONVIF协议等来获取。此外，根据用户在摄像机操作面板600上的操作，生成ONVIF命令等，进行PTZ摄像机控制(S708)。
当用户按下关闭按钮606时(S709中为“是”)，摄像机操作面板600关闭(S710)。
在用户操作为按下开始按钮505的情况下(S711中为“是”)，CPU 110将指示开始向在线存储器或记录介质等录像的命令发送到与信息处理装置100网络连接的影像源(在影像源部507中显示缩略图的影像源)(S712)。此外，在场景标题组合框515为空栏时(S713中为“是”)，显示场景标题输入面板，提示用户输入场景标题(S714)。其中，场景标题是组合了作为“完成品”的影像内容的标题(程序标题)和场景编号(number)的标题，例如为“渡边家婚礼场景1”。
此外，将镜次编号文本框516的镜次编号设为在该场景标题的最新镜次编号加1后的数字(S715)。此外，将开始按钮505更换为停止按钮505-2(S716)。此外，此时开始由正在被切换的影像源(或影像剪辑)的ID和被切换的时刻(时间码)构成的序列数据的生成、记录(S717)。需要说明的是，影像源和影像剪辑的ID可以使用URL(Uniform Resource Locator，统一资源定位符)。此外，在时间线区域512中，显示被切换了的影像源的名称或缩略图沿时间码排列而成的所谓的胶片条(S718)。
在用户点击了其中一个影像源缩略图的情况下(S719中为“是”)，CPU 110在监视器部506上显示与该影像源缩略图对应的影像源的影像(S720)。此外，在该缩略图上附加红色框(S721)以表示选择了对应的影像源(所谓的“Tally显示”)。此外，从系统时钟413获取时刻(时间码)(S722)。
当用户保持触摸影像源部507的缩略图之一的状态下按下其它缩略图的情况下(S723中为“是”)，切换为与之前触摸的缩略图对应的影像源(S724)，将与之后触摸的缩略图对应的影像源设定为PST(预设影像)(S725)。对于被设定了PST的缩略图，例如也可以附加闪烁的红色框来显示。
当被触摸的两个缩略图大致同时被松开且用户操作了渐变器520时(S726中为“是”)，根据渐变器520的滑动量，将显示在监视器部506上的PGM影像逐渐切换为PST的影像(S727)。切换时的效果(过渡效果)使用由用户按下效果变更按钮510而选择的效果。需要说明的是，过渡效果的初始值也可以设定为“渐隐”。因为这是一般常用的过渡效果。
当用户未操作渐变器520(S726中为“否”)，且在触摸着之后触摸的缩略图的状态下从之前触摸的缩略图松开时(S728中为“是”)，以用户指定的Duration Time(切换所需的时间)将PGM影像逐渐切换为PST的影像(S729)。
然后，将影像源的切换记录为序列数据(S730)。需要注意的是，Duration Time的指定是在按下效果变更按钮510后显示的切换效果选择面板的“自动过渡的DurationTime”组合框中选择数值来进行的。
当用户按下停止按钮505-2时(S731中为“是”)，向与信息处理装置100网络连接的影像源(在影像源部507上缩略图显示的影像源)发送指示停止向记录介质录像的命令(S732)。此外，将停止按钮505-2更换为开始按钮505(S733)。此外，停止序列数据的记录(S734)。
当用户按下菜单按钮502时(S735中为“是”)，显示主菜单(S736)。
当用户选择主菜单的“数据保存”命令时(S737中为“是”)，将序列数据保存或输出到用户指定的位置(S738)。
此外，当用户选择了“结束”命令时(S739中为“是”)，结束本流程的处理。
图12是示出了本实施方式的信息处理装置100记录或输出的序列数据的一个示例的图。在图12中，数据具有以SMIL(Synchronized Multimedia Integration Language，同步多媒体集成语言)格式描述的结构。其中，SMIL是由W3C(World Wide Web Consortium，万维网联盟)建议标准化的、使视频、声音、文字等各种数据格式的播放同步的语言。
在图12的示例性序列数据中，首先在
元素中描述与时间行为无关的信息。元素的meta属性用于定义数据的属性(程序标题、场景编号、镜次编号、评级、备注、注释等)，并为这些属性赋值。元素的layout属性用于确定对象的显示位置。需要说明的是，通过描述为与时间行为相关的信息描述在
元素中。此外，在该子层级的- 低畸变广角镜头及成像方法
- 广角低畸变光学镜头
- 一种广角低畸变大靶面定焦镜头光学系统