支持录播的大屏拼接装置、拼接器、播放控制方法及系统

技术领域

本发明属于大屏拼接显示技术领域，更具体地，涉及一种支持录播的大屏拼接装置、拼接器、播放控制方法及系统。

背景技术

大屏拼接显示技术在演播大厅、园区安防和集控指挥等场合得到了广泛应用。传统的大屏拼接主要采用视频拼接矩阵实现对多路视频信号的融合、拼接处理。在大屏拼接应用中，各拼接控制器的输出要求帧画面同步输出，而且输出的帧相位也要求同步，这些要求对于分布式架构来说，在技术实现上有相当的复杂度。分布式系统的时钟同步是其它同步的核心，时钟的同步精度决定了帧同步和相位同步的精度，对于一路1080P@60fps的高清图像，帧周期为16.7ms，分布式视频输出的帧同步的相位差应小于1ms，才能保障不会有图像的“撕裂效应”，因此画面同步输出技术是分布式拼接控制器的核心。

不仅如此，随着近年来军民领域对复盘重演和过程分析的需求越来越多，拼接屏多画面的同步录播技术也越来越重要。现有技术中，对拼接屏的环出视频信号录像，受限于视频采集分辨率的技术瓶颈，通常做法是将拼接屏的整个画面按照1080P或者4K分辨率的画面进行压缩存储及回放。由于录像的分辨率被降低，导致拼接屏上的回放画面达不到原来实时画面的清晰度。

在系统时钟同步设计上，当前采用比较多的如PTP、NTP或1588协议来实现拼接器的同步，同步通道与视频流传输是同一条物理通道。通常来说，在一组GOP视频画面中，I帧是完整信息帧，相对而言数据量也是最大的，因此在视频压缩算法中，不同的视频画面所占用的网络带宽是不一样的，也会造成实时通道传输延时的差异性，这对精准控制多个拼接器的录像文件同步播放来说也是一种挑战。除此之外，对于录像文件的进度控制，如拖拽进度条、快进、快退和倍速等方式时，都可能会打乱当前的各个拼接器之间的同步效果，因此播放录像文件时的帧间隔需要精细化控制。

目前也有一些方案采用对各个拼接器分别记录回放的实现方式，如淳中科技在专利“一种视频录像方法、视频回放方法及装置”(CN114189730A)和威创公司的“显示墙高清全屏超高分辨率画面录制与回放方法”(CN114302086A)，均通过对单屏或单区域画面进行编码压缩，保存在流媒体服务器上的方式供后期回放，这种方式可以保证分辨率大小和画面清晰度。但由于在每个拼接器回放的时候，需要从服务器单独拉流，服务器读取录像文件推流进程的差异性、各拼接器的解码性能差异性、网络延时差异性都可能会导致同步精度问题。在“基于大屏窗口原始信号源同步录制、回放的方法及系统”(CN112929583A)中，也是通过录播服务器和存储服务器来分别实现对各个拼接器的输出画面进行录制，该方法增加了多个服务器实现并行处理，一方面硬件成本较高，另一方面因为系统更复杂，增加了同步控制算法的难度。

在“一种多路音视频数据快速的同步定位回放方法”(CN114153999A)中提出通过多线程技术对视频流解码并提取标准视频帧和时戳信息，建立索引序列便于定位，从而实现对多个录像文件回放进度的同步控制。该方法主要应用于同一设备上采用多线程对多个视频文件的同步回放处理，无法满足多个大屏拼接器之间的同步记录和回放需求。不仅如此，由于不同视频流的I帧、P帧和B帧出现的时刻可能不完全一致，而且在不同类型视频帧的解码时间、相同类型帧不同画面的解码时间都存在着较大差异性，因此该方法在播放画面相差较大的不同视频时，同步精度有限。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种支持录播的大屏拼接装置、拼接器、播放控制方法及系统，旨在解决现有拼接屏画面回放以整块大屏录制导致回放画面分辨率有所损失，以及若以单屏编码压缩回放，虽可保证回放画面分辨率，但是需要从服务器单独拉流，需要配置流媒体服务器，且不同服务器读取录像文件推流进程的差异性、各拼接器的解码性能差异性、网络延时差异性使得同步精度无法保证的问题。

为实现上述目的，第一方面，本发明提供了一种支持录播的大屏拼接装置，包括：N块显示屏、N个分布式录播拼接器以及录播管理单元；其中，一个显示屏连接一个分布式录播拼接器，N为大于1的整数；包括：

所述录播管理单元，用于接收用户输入的控制信息，并将控制信息转化为对应的控制指令通过网络发送给N个分布式录播拼接器；所述控制信息包括用户对N个分布式录播拼接器输出画面布局的可视化配置信息和对N个分布式录播拼接器的录播功能控制信息；

每个分布式录播拼接器，用于根据所述可视化配置信息实时接收至少一路视频流，并对接收的视频流进行解码，同时完成对解码画面的开窗、缩放、平移或局部放大处理，得到各路视频流在当前分布式录播拼接器所要显示的画面，并将画面通过视频接口输出给与其连接的显示屏；

每块显示屏，用于显示各自接收的画面；N块显示屏拼接为一整个大屏，每路视频流可跨显示屏播放，一块显示屏上可播放多路视频且多路视频可以PIP或PBP方式分别呈现；

每个分布式录播拼接器，用于根据所述录播功能控制信息控制与其连接的显示屏对所显示的整个画面进行录像，得到所述显示屏画面的录像文件，并对录像文件和关键时间索引文件进行本地保存；所述录像文件包括至少一个画面组GOP，所述关键时间索引文件包括：每个GOP内I帧的时间戳、每个GOP在显示屏播放时刻的网络相对延时信息及录像文件的存储位置信息；

每个分布式录播拼接器，用于根据所述录播功能控制信息确定录像文件的回放时间点，根据回放时间点和保存的I帧时间戳信息找到对应的GOP，并根据对应的网络相对延时来确定GOP的帧播放间隔；

N个分布式录播拼接器，用于在二级同步机制的控制下按照对应的帧播放间隔同步从本地录像文件对应的GOP开始回放，完成对大屏视频的同步回放。

在一个可选的示例中，所述N个分布式录播拼接器在二级同步机制的控制下按照对应的帧播放间隔同步从本地录像文件对应的GOP开始回放，具体为：

第一级同步机制为N个分布式录播拼接器通过同步总线来实现自身的系统时钟同步；第二级同步机制为各个分布式录播拼接器通过网络接口，并利用关键时间索引文件中的实时网络相对延时来同步播放视频；其中，各个分布式录播拼接器在记录各个显示屏显示的画面为录像文件时，对视频各组GOP内I帧的时戳信息、所属录像文件位置信息和实时网络相对延时进行关联并记录为关键时间索引文件；

所述N个分布式录播拼接器中的一个分布式录播拼接器的时钟作为时钟基准，其他分布式录播拼接器通过同步总线动态监测自身相较于提供时钟基准的分布式录播拼接器的网络延时，以确定各个分布式录播拼接器录像文件的实时网络延时。

在一个可选的示例中，各个分布式录播拼接器在对本地保存的录像文件同步回放时，读取对应的关键时间索引文件，通过目标I帧的时戳信息来快速定位录像文件中的位置信息；通过与I帧关联的实时网络相对延时来动态调整视频流播放的帧间隔，实现所有分布式录播拼接器回放画面的精准同步。

第二方面，本发明提供了一种分布式录播拼接器，包括：

接收单元，用于接收用户发送的控制信息；所述控制信息包括用户对分布式录播拼接器输出画面布局的可视化配置信息和对分布式录播拼接器的录播功能控制信息；

接收单元，用于根据所述可视化配置信息实时接收至少一路视频流；

处理单元，用于根据所述可视化配置信息对接收的视频流进行解码，同时完成对解码画面的开窗、缩放、平移或局部放大处理，得到各路视频流在所述分布式拼接录播器所要显示的画面；

发送单元，用于将处理单元解码后的画面通过视频接口输出给分布式录播拼接器连接的显示屏，以使显示屏显示接收的画面；所述显示屏为N块，一个显示屏连接一个分布式录播拼接器，N块显示屏拼接为一整个大屏，每路视频流可跨显示屏播放，一块显示屏上可播放多路视频且多路视频可以PIP或PBP方式分别呈现；

处理单元，用于根据所述录播功能控制信息控制与其连接的显示屏对所显示的整个画面进行录像，得到所述显示屏画面的录像文件，并对录像文件和关键时间索引文件进行本地保存；所述录像文件包括至少一个画面组GOP，所述关键时间索引文件包括：每个GOP内I帧的时间戳、每个GOP在显示屏播放时刻的网络相对延时信息及录像文件的存储位置信息；

处理单元，用于根据所述录播功能控制信息确定录像文件的回放时间点，根据回放时间点和保存的I帧时间戳信息找到对应的GOP，并根据对应的网络相对延时来确定GOP的帧播放间隔，以在二级同步机制的控制下按照对应的帧播放间隔从本地录像文件解码得到对应的回放画面；

发送单元，用于将处理单元解码后的回放画面发送给分布式录播拼接器连接的显示屏，以便显示屏显示接收的回放画面，使得N块显示屏对大屏视频同步回放。

在一个可选的示例中，该分布式录播拼接器还包括：

同步单元，用于提供同步总线接口，使得所述分布式录播拼接器与其他N-1个分布式录播拼接器通过同步总线连接；所述分布式录播拼接器与其他N-1个分布式录播拼接器共组成N个分布式录播拼接器，以分别连接所述N块显示屏；

所述处理单元，在二级同步机制的控制下按照对应的帧播放间隔从本地录像文件解码得到对应的回放画面，具体为：所述处理单元通过同步单元的同步总线接口实现所述N个分布式录播拼接器的系统时钟同步，且所述处理单元通过网络接口，并利用关键时间索引文件中的实时网络相对延时解码得到对应的回放画面；其中，所述处理单元在记录各个显示屏显示的画面为录像文件时，对视频各组GOP内I帧的时戳信息、所属录像文件位置信息和实时网络相对延时进行关联并记录为关键时间索引文件；

所述N个分布式录播拼接器中的一个分布式录播拼接器的时钟作为时钟基准，其他分布式录播拼接器的处理单元通过同步单元同步总线接口动态监测自身相较于提供时钟基准的分布式录播拼接器的网络延时，以确定各个分布式录播拼接器录像文件的实时网络延时。

在一个可选的示例中，处理单元，用于读取本地保存的录像文件同步回放时，读取对应的关键时间索引文件，通过目标I帧的时戳信息来快速定位录像文件中的位置信息；通过与I帧关联的实时网络相对延时来动态调整视频流播放的帧间隔，实现所有分布式录播拼接器回放画面的精准同步。

第三方面，本发明提供了一种视频播放控制方法，所述视频播放控制方法应用于分布式录播拼接器，包括如下步骤：

接收用户发送的控制信息；所述控制信息包括用户对分布式录播拼接器输出画面布局的可视化配置信息和对分布式录播拼接器的录播功能控制信息；

根据所述可视化配置信息实时接收至少一路视频流，对接收的视频流进行解码，同时完成对解码画面的开窗、缩放、平移或局部放大处理，得到各路视频流在该方法所应用的分布式拼接录播器所要显示的画面；

将解码后的画面发送给对应的显示屏，以使显示屏显示接收的画面；所述显示屏为N块，一个显示屏连接一个分布式录播拼接器，N块显示屏拼接为一整个大屏，每路视频流可跨显示屏播放，一块显示屏上可播放多路视频且多路视频可以PIP或PBP方式分别呈现；

根据所述录播功能控制信息控制对应的显示屏对所显示的整个画面进行录像，得到所述显示屏的录像文件，并对录像文件和关键时间索引文件进行本地保存；所述录像文件包括至少一个画面组GOP，所述关键时间索引文件包括：每个GOP内I帧的时间戳、每个GOP在显示屏播放时刻的网络相对延时信息及录像文件的存储位置信息；

根据所述录播功能控制信息确定录像文件的回放时间点，根据回放时间点和保存的I帧时间戳信息找到对应的GOP，并根据对应的网络相对延时来确定GOP的帧播放间隔，以在二级同步机制的控制下按照对应的帧播放间隔从本地录像文件解码得到对应的回放画面；

将解码后的回放画面发送给对应的显示屏，以便显示屏显示接收的回放画面，使得N块显示屏对大屏视频同步回放。

在一个可选的示例中，所述二级同步机制具体如下：

第一级同步机制为N个分布式录播拼接器通过同步总线来实现自身的系统时钟同步；所述N个分布式录播拼接器分别连接所述N块显示屏；

第二级同步机制为各个分布式录播拼接器通过网络接口，并利用关键时间索引文件中的实时网络相对延时解码得到对应的回放画面；其中，各个分布式录播拼接器在记录各个显示屏显示的画面为录像文件时，对视频各组GOP内I帧的时戳信息、所属录像文件位置信息和实时网络相对延时进行关联并记录为关键时间索引文件；

所述N个分布式录播拼接器中的一个分布式录播拼接器的时钟作为时钟基准，其他分布式录播拼接器通过同步总线动态监测自身相较于提供时钟基准的分布式录播拼接器的网络延时，以确定各个分布式录播拼接器录像文件的实时网络延时。

第四方面，本发明提供了一种视频播放控制系统，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如上述第三方面提供的视频播放控制方法。

第五方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述第三方面提供的视频播放控制方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明提供一种支持录播的大屏拼接装置、拼接器、播放控制方法及系统，通过二级同步机制来保证拼接器的系统时钟同步以及实时拼接画面、回放画面的同步控制。分布式录播拼接器在同步回放时，不需要对录像文件解码和缓冲，通过同步记录时建立的关键时间索引文件，来实现快速检索、定位，从而达到对拼接屏各画面回放的精准同步。本发明不需要配置流媒体服务器，可保证拼接画面的超大分辨率按源画质和清晰度保存下来，还可克服拼接器工作时序的差异性、不同帧类型的解码时间、相同帧类型不同画面的解码时间差异性以及网络动态延时差异性因素，进一步提高拼接屏画面录播的同步精度。

附图说明

图1是本发明实施例提供的大屏拼接装置架构图；

图2是本发明实施例提供的N块显示屏组合成大屏的显示播放示意图；

图3是本发明实施例提供的分布式录播拼接器同步方法实现步骤流程图；

图4是本发明实施例提供的关键时间索引文件结构示意图；

图5是本发明实施例提供的录像文件同步回放工作流程图；

图6是本发明实施例提供的分布式录播拼接器架构示意图；

图7是本发明实施例提供的视频播放控制方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的在于解决现有技术的不足，提供一种支持录播的大屏拼接装置、拼接器、播放控制方法及系统，不需要配备专用视频服务器，实现多路流媒体视频的拼接输出、同步记录和回放，可广泛应用于军事指挥、集控系统、公共交通及演播大厅在大屏拼接显示、场景记录、事件重演及训练复盘等领域，具有良好的通用性。采用该方法可对拼接画面的超大分辨率按源画质和清晰度保存下来，还可以实现各屏画面的同步记录、同步回放，在快进、倍速和拖动等操作时，不需要对录像文件解码，通过关键时间索引文件来快速检索、定位，达到提高实时性和同步精度的目的。

本发明采用若干分布式录播拼接器和录播管理单元来实现大屏拼接和同步录播功能；分布式录播拼接器用于实时网络视频流的拼接显示、同步记录和录像文件的同步回放功能；录播管理单元用于分布式录播拼接器的画面布局设置和录播控制的操作界面。

在分布式录播拼接器中设置作为时钟基准的分布式录播拼接器，其他分布式录播拼接器动态监测自身相较于提供时钟基准的分布式录播拼接器的实时网络相对延时；并采用二级同步机制来提高实时网络视频流的拼接显示功能和录像文件的回放功能的同步精度；第一级同步机制为分布式录播拼接器通过同步总线来实现自身的系统时钟同步；第二级同步机制为利用关键时间索引文件来同步播放视频；分布式录播拼接器在记录视频为录像文件时，对视频I帧的时戳信息、所属录像文件位置信息和实时网络相对延时进行关联并记录为关键时间索引文件。

分布式录播拼接器在实时视频流的拼接显示时，通过收到的I帧时戳信息以及关联的实时网络相对延时来动态调整视频流播放的帧间隔，实现所有分布式录播拼接器播放画面的精准同步。

分布式录播拼接器在录像文件的同步回放时，读取关键时间索引文件，通过目标I帧的时戳信息来快速定位录像文件中的位置信息；通过与I帧关联的实时网络相对延时来动态调整视频流播放的帧间隔，实现所有分布式录播拼接器回放画面的精准同步。

图1是本发明实施例提供的大屏拼接装置架构图，如图1所示，包括：N块显示屏、N个分布式录播拼接器以及录播管理单元；其中，一个显示屏连接一个分布式录播拼接器，N为大于1的整数；包括：

录播管理单元，用于接收用户输入的控制信息，并将控制信息转化为对应的控制指令通过网络发送给N个分布式录播拼接器；所述控制信息包括用户对N个分布式录播拼接器输出画面布局的可视化配置信息和对N个分布式录播拼接器的录播功能控制信息；

每个分布式录播拼接器，用于根据所述可视化配置信息实时接收至少一路视频流，并对接收的视频流进行解码，同时完成对解码画面的开窗、缩放、平移或局部放大处理，得到各路视频流在当前分布式录播拼接器所要显示的画面，并将画面通过视频接口输出给与其连接的显示屏；

每块显示屏，用于显示各自接收的画面；N块显示屏拼接为一整个大屏，每路视频流可跨显示屏播放，一块显示屏上可播放多路视频且多路视频可以PIP或PBP方式分别呈现；

每个分布式录播拼接器，用于根据所述录播功能控制信息控制与其连接的显示屏对所显示的整个画面进行录像，得到所述显示屏画面的录像文件，并对录像文件和关键时间索引文件进行本地保存；所述录像文件包括至少一个画面组GOP，所述关键时间索引文件包括：每个GOP内I帧的时间戳、每个GOP在显示屏播放时刻的网络相对延时信息及录像文件的存储位置信息；

每个分布式录播拼接器，用于根据所述录播功能控制信息确定录像文件的回放时间点，根据回放时间点和保存的I帧时间戳信息找到对应的GOP，并根据对应的网络相对延时来确定GOP的帧播放间隔；

N个分布式录播拼接器，用于在二级同步机制的控制下按照对应的帧播放间隔同步从本地录像文件对应的GOP开始回放，完成对大屏视频的同步回放。

可选地，N个分布式录播拼接器在二级同步机制的控制下按照对应的帧播放间隔同步从本地录像文件对应的GOP开始回放，具体为：

第一级同步机制为N个分布式录播拼接器通过同步总线来实现自身的系统时钟同步；第二级同步机制为各个分布式录播拼接器通过网络接口，并利用关键时间索引文件中的实时网络相对延时来同步播放视频；其中，各个分布式录播拼接器在记录各个显示屏显示的画面为录像文件时，对视频各组GOP内I帧的时戳信息、所属录像文件位置信息和实时网络相对延时进行关联并记录为关键时间索引文件；

可选地，N个分布式录播拼接器中的一个分布式录播拼接器的时钟作为时钟基准，其他分布式录播拼接器通过同步总线动态监测自身相较于提供时钟基准的分布式录播拼接器的网络延时，以确定各个分布式录播拼接器录像文件的实时网络延时。

可选地，各个分布式录播拼接器在对本地保存的录像文件同步回放时，读取对应的关键时间索引文件，通过目标I帧的时戳信息来快速定位录像文件中的位置信息；通过与I帧关联的实时网络相对延时来动态调整视频流播放的帧间隔，实现所有分布式录播拼接器回放画面的精准同步。

本发明提供一种支持同步录播的大屏拼接装置，通过二级同步机制来保证拼接器的系统时钟同步以及实时拼接画面、回放画面的同步控制。分布式录播拼接器在同步回放时，不需要对录像文件解码和缓冲，通过同步记录时建立的关键时间索引文件，来实现快速检索、定位，从而达到对拼接屏各画面回放的精准同步。

本实施例中，所有分布式录播拼接器采用海思Hi3536海思嵌入式图像处理器作为主芯片。Hi3536芯片的以太网接口可实现对外接入流媒体通信交换网络，同时支持nandflash和mSata接口，可支持最大2TB本地录像存储。内置的VDEC解码单元可实现H264/H265解码和显示功能。

各分布式录播拼接器集成的RS485通信接口芯片，可实现作为Hi3536系统时钟的同步总线。作为时钟基准的分布式录播拼接器在同步总线上为主节点，处于发送状态；其他分布式录播拼接器为从节点处于接收状态；所有的分布式录播拼接器对外提供1路HDMI视频接口，接入拼接大屏。

分布式录播拼接器的同步方法采用二级同步机制，主要包含分布式录播拼接器的系统时钟同步和视频记录回放同步两部分内容。

图2是本发明实施例提供的N块显示屏组合成大屏的显示播放示意图；如图2所示，16块显示屏拼接为一个大屏，三路视频源在大屏上播放显示，且每路视频源可跨多个显示屏播放，多个显示屏分别播放该路视频源不同区域的画面，以组合为该路视频源的完整画面。

其中，图2所示的16块显示屏中，部分显示屏未播放视频源，部分显示屏仅播放一路视频源，且仅显示对应视频源的部分画面，部分显示屏播放至少2路视频源，不同路视频源可以PIP或PBP方式分别呈现。

本发明实施例所设计的录播阶段，需要控制上述16块显示屏中的各块显示屏对其整个显示画面进行录像，以便后期按照回放要求，控制16块显示屏播放各自的录像文件，实现对整个大屏视频的同步回放。

图3是本发明实施例提供的分布式录播拼接器同步方法实现步骤流程图；如图3所示，采用如下实施步骤来实现该拼接器的同步视频录播功能：

步骤一：通过同步总线对同步录播器的系统时钟进行对时；

步骤二：定时与提供时钟基准的分布式录播拼接器进行网络通信探测，并记录下实时网络相对延时；

步骤三：在接收网络视频流的时候，当每组GOP内出现I帧时，记录下当前的实时网络相对延时和当前OPT时戳信息，并保存为关键时间索引文件；

步骤四：当收到录播管理单元的同步回放指令时，所有的分布式录播拼接器通过查询条件，找到本地保存的目标录像文件以及关联的关键时间索引文件；

步骤五：对目标录像文件从第一个I帧进行解码播放，同时根据关键时间索引文件记录的实时网络相对延时和时戳信息来控制帧播放间隔；

步骤六：接收到录播管理单元的改变播放进度指令时，如快进、倍速和拖动进度条，通过关键时间索引文件所包含的I帧时戳和所属录像文件的位置信息来快速定位，找到对应的I帧位置；

步骤七：对步骤六找到的目标帧进行解码和播放显示；

步骤八：根据关键时间索引文件记录的实时网络相对延时和时戳信息来控制帧播放间隔。

具体地，Hi3536系统时钟的主要同步实现方式：作为时钟基准的分布式录播拼接器间隔1S定时对外发送同步脉冲，同时通过流媒体通信交换网络发送当前的RTC时码数据。其他分布式录播拼接器接收到脉冲后，则根据当前收到的最新时码进行本地RTC对时操作。

视频记录回放同步主要利用关键时间索引文件来进行同步。首先每个分布式录播拼接器在通过流媒体通信交换网络接收到视频流时，收到的都是一组已压缩后的GOP视频流，里面包含了帧类型信息和OPT时戳。

在本实施例中，按照H264的视频数据Nalu头格式，每帧的起始一般为首帧(00 0000 01)或其他帧(00 00 01)，然后接下来的就是表示帧类型。根据编码规则，帧类型nalType为5位标识符，当nalType为5、7、8、2的时候，则可认为是I帧，此时将该帧的OPT信息存入关键时间索引文件。

由于每个分布式录播拼接器所接收处理的画面可能会不同，而I帧画面本身是GOP视频画面里面像素信息最多、数据量最大的帧，因此出现I帧的时候，网络相对延时对于画面的记录和回放同步也是很重要的意义。分布式录播拼接器相对于作为时钟基准的分布式录播拼接器定时进行网络通信探测，并记录下实时网络相对延时。

针对实时视频流的拼接显示应用，通过I帧的时戳信息和实时网络相对延时来对画面的解码、播放间隔进行同步控制。

在对视频画面进行记录时，在对所有流进行文件存储时，还同时记录下当前I帧在关键时间索引文件的位置信息，便于后期对文件的fseek调用实现快速定位。该位置信息以文件起始位置为初始，每增加一条记录根据记录数据的大小，增加位置信息指针的偏移量，作为下一条记录的位置信息。该信息与出现I帧的时戳信息和实时网络相对延时信息一起存入关键时间索引文件，图4是关键时间索引文件的结构示意图。

录像文件的同步回放流程图如图5所示。当接收到录播管理单元的同步回放命令时，首先所有的分布式录播拼接器提取检索条件时间字段，然后在文件清单列表找到对应时间段的文件，并打开关联的关键时间索引文件。

找到文件的第一个I帧(对应位置信息为文件头)并开始解码播放，然后提取关联的实时网络相对延时和时戳信息作为播放控制间隔。由于接收视频流的时候可能会存在网络延时，而本地视频文件回放是没有网络延时的，因此需要基于接收的流时戳和网络延时来调整播放间隔。对于非时钟基准的录播拼接器则需要在当前OPT时戳上减去实时网络相对延时，这样才能保证回放时所有的录播拼接器与作为时钟基准的录播拼接器的播放画面的精准同步。

图6是本发明实施例提供的分布式录播拼接器架构示意图；如图6所示，包括：

接收单元610，用于接收用户发送的控制信息；所述控制信息包括用户对分布式录播拼接器输出画面布局的可视化配置信息和对分布式录播拼接器的录播功能控制信息；

接收单元610，用于根据所述可视化配置信息实时接收至少一路视频流；

处理单元620，用于根据所述可视化配置信息对接收的视频流进行解码，同时完成对解码画面的开窗、缩放、平移或局部放大处理，得到各路视频流在所述分布式拼接录播器所要显示的画面；

发送单元630，用于将处理单元解码后的画面通过视频接口输出给分布式录播拼接器连接的显示屏，以使显示屏显示接收的画面；所述显示屏为N块，一个显示屏连接一个分布式录播拼接器，N块显示屏拼接为一整个大屏，每路视频流可跨显示屏播放，一块显示屏上可播放多路视频且多路视频可以PIP或PBP方式分别呈现；

处理单元620，用于根据所述录播功能控制信息控制与其连接的显示屏对所显示的整个画面进行录像，得到所述显示屏画面的录像文件，并对录像文件和关键时间索引文件进行本地保存；所述录像文件包括至少一个画面组GOP，所述关键时间索引文件包括：每个GOP内I帧的时间戳、每个GOP在显示屏播放时刻的网络相对延时信息及录像文件的存储位置信息；

处理单元620，用于根据所述录播功能控制信息确定录像文件的回放时间点，根据回放时间点和保存的I帧时间戳信息找到对应的GOP，并根据对应的网络相对延时来确定GOP的帧播放间隔，以在二级同步机制的控制下按照对应的帧播放间隔从本地录像文件解码得到对应的回放画面；

发送单元630，用于将处理单元解码后的回放画面发送给分布式录播拼接器连接的显示屏，以便显示屏显示接收的回放画面，使得N块显示屏对大屏视频同步回放。

同步单元640，用于提供同步总线接口，使得所述分布式录播拼接器与其他N-1个分布式录播拼接器通过同步总线连接；所述分布式录播拼接器与其他N-1个分布式录播拼接器共组成N个分布式录播拼接器，以分别连接所述N块显示屏；

处理单元620，在二级同步机制的控制下按照对应的帧播放间隔从本地录像文件解码得到对应的回放画面，具体为：所述处理单元通过同步单元的同步总线接口实现所述N个分布式录播拼接器的系统时钟同步，且所述处理单元通过网络接口，并利用关键时间索引文件中的实时网络相对延时解码得到对应的回放画面；其中，所述处理单元在记录各个显示屏显示的画面为录像文件时，对视频各组GOP内I帧的时戳信息、所属录像文件位置信息和实时网络相对延时进行关联并记录为关键时间索引文件。

处理单元620，用于读取本地保存的录像文件同步回放时，读取对应的关键时间索引文件，通过目标I帧的时戳信息来快速定位录像文件中的位置信息；通过与I帧关联的实时网络相对延时来动态调整视频流播放的帧间隔，实现所有分布式录播拼接器回放画面的精准同步。

图7是本发明实施例提供的视频播放控制方法流程图，该视频播放控制方法应用于分布式录播拼接器或者实现上述分布式录播拼接器的其他任何部件、装置、系统或设备，如图7所示，包括如下步骤：

S701，接收用户发送的控制信息；所述控制信息包括用户对分布式录播拼接器输出画面布局的可视化配置信息和对分布式录播拼接器的录播功能控制信息；

S702，根据所述可视化配置信息实时接收至少一路视频流，对接收的视频流进行解码，同时完成对解码画面的开窗、缩放、平移或局部放大处理，得到各路视频流在该方法所应用的分布式拼接录播器所要显示的画面；

S703，将解码后的画面发送给对应的显示屏，以使显示屏显示接收的画面；所述显示屏为N块，一个显示屏连接一个分布式录播拼接器，N块显示屏拼接为一整个大屏，每路视频流可跨显示屏播放，一块显示屏上可播放多路视频且多路视频可以PIP或PBP方式分别呈现；

S704，根据所述录播功能控制信息控制对应的显示屏对所显示的整个画面进行录像，得到所述显示屏的录像文件，并对录像文件和关键时间索引文件进行本地保存；所述录像文件包括至少一个画面组GOP，所述关键时间索引文件包括：每个GOP内I帧的时间戳、每个GOP在显示屏播放时刻的网络相对延时信息及录像文件的存储位置信息；

S705，根据所述录播功能控制信息确定录像文件的回放时间点，根据回放时间点和保存的I帧时间戳信息找到对应的GOP，并根据对应的网络相对延时来确定GOP的帧播放间隔，以在二级同步机制的控制下按照对应的帧播放间隔从本地录像文件解码得到对应的回放画面；

S706，将解码后的回放画面发送给对应的显示屏，以便显示屏显示接收的回放画面，使得N块显示屏对大屏视频同步回放。

可以理解的是，上述图6中各个单元和图7各个步骤的详细功能实现可参见前述装置和方法实施例中的介绍，在此不做赘述。

另外，本发明实施例提供了另一种视频播放控制系统，其包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现上述实施例中的视频播放控制方法。

其中，该视频播放控制系统可以是分布式录播拼接器，也可以是能够实现上述分布式录播拼接器的其他任何部件、装置、系统或设备。

此外，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述实施例中的视频播放控制方法。

基于上述实施例中的方法，本发明实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的视频播放控制方法。

基于上述实施例中的方法，本发明实施例还提供了一种芯片，包括一个或多个处理器以及接口电路。可选的，芯片还可以包含总线。其中：

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字通信器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤。通用处理器可以是微处理器或者该理器也可以是任何常规的处理器等。

接口电路可以用于数据、指令或者信息的发送或者接收，处理器可以利用接口电路接收的数据、指令或者其它信息，进行加工，可以将加工完成信息通过接口电路发送出去。

可选的，芯片还包括存储器，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(NVRAM)。

可选的，存储器存储了可执行软件模块或者数据结构，处理器可以通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。

可选的，接口电路可用于输出处理器的执行结果。

需要说明的，处理器、接口电路各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。

应理解，上述方法实施例的各步骤可以通过处理器中的硬件形式的逻辑电路或者软件形式的指令完成。

可以理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。此外，在一些可能的实现方式中，上述实施例中的各步骤可以根据实际情况选择性执行，可以部分执行，也可以全部执行，此处不做限定。

可以理解的是，本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable rom，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。