掌桥专利:专业的专利平台
掌桥专利
首页

分布式拼接显示系统、方法、装置及电子设备

文献发布时间:2023-06-19 09:35:27


分布式拼接显示系统、方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域,特别是涉及分布式拼接显示系统、方法、装置及电子设备。

背景技术

随着监控设备的普及以及人们安全意识的提高,安防监控行业迅猛发展。传统的单监控设备对应单独显示器的模式已经不能够满足人们的需要,因此大屏拼接显示的应用得到迅速推广。拼接显示的应用范围也逐步由传统的交通、金融、安防等,扩展到现在的物流管理、车辆调度、公共信息显示等。

相关技术中的拼接显示系统中,通过一台解码服务器对接收到的网络视频流进行解码,然后将解码后的视频流逐帧分割为多个小画面视频流,各小画面视频流中的视频帧为原始视频流视频帧中的一个区域,然后将各小画面视频流分别发送给不同的输出节点,各输出节点分别将自身获取的小画面视频流输出到拼接屏的指定区域。

但是采用上述方法,鉴于解码服务器中单颗图像处理芯片解码能力的瓶颈,限制了网络视频流的分辨率,无法实现超高清网络视频流,例如4K分辨率或8K分辨率的网络视频流的解码及播放。

发明内容

本申请实施例的目的在于提供一种分布式拼接显示系统、方法、装置及电子设备,以实现超高清网络视频流的播放。具体技术方案如下:

第一方面,本申请实施例提供了一种分布式拼接显示系统,所述系统包括:

控制网络、多个输出节点及拼接屏;所述控制网络与各所述输出节点连接,所述输出节点与所述拼接屏连接,其中,各所述输出节点分别对应所述拼接屏的不同显示区域;

所述控制网络,用于各待显示网络视频流的传输;

所述输出节点,用于当接收到所述待显示网络视频流后,按照所述输出节点自身对应的所述拼接屏的显示区域及所述待显示网络视频流在所述拼接屏上的显示区域,对所述输出节点自身接收到的待显示网络视频流中对应的区域进行解码,并将解码得到的区域图像数据输出到所述拼接屏上;

所述拼接屏,用于显示各所述输出节点的图像数据,其中,所述图像数据包括所述区域图像数据。

可选的,所述控制网络还用于:接收网络源设备的网络视频流,并将所述网络视频流发送到所述输出节点;

所述输出节点还用于:对接收到的所述网络视频流打时间戳,得到待显示网络视频流;按照所述待显示网络视频流的在所述拼接屏上的目标显示区域,通过所述控制网络,将所述待显示网络视频流发送给所述目标显示区域对应的输出节点。

可选的,所述按照所述输出节点自身对应的所述拼接屏的显示区域及所述待显示网络视频流在所述拼接屏上的显示区域,对所述输出节点自身接收到的待显示网络视频流中对应的区域进行解码,并将解码得到的区域图像数据输出到所述拼接屏上,包括:

确定所述待显示网络视频流的待解码区域,其中,所述待解码区域为所述输出节点自身对应的所述拼接屏的显示区域与所述待显示网络视频流在所述拼接屏上的显示区域的重叠区域;对所述待显示网络视频流中的待解码区域进行解码,得到区域图像数据;按照所述待显示网络视频流的时间戳,向所述拼接屏上所述输出节点自身对应的显示区域输出所述区域图像数据。

可选的,在所述输出节点接收到至少两路待显示网络视频流时;所述对所述待显示网络视频流中的待解码区域进行解码,得到区域图像数据,包括:

分别对各所述待显示网络视频流中的待解码区域进行解码,并将解码得到的各图像进行拼接,得到区域图像数据。

可选的,所述系统还包括:数据网络,所述数据网络与各所述输出节点连接;

所述数据网络用于接收本地源设备的本地视频流,并将本地视频流发送到相应的输出节点;

所述输出节点用于当接收到所述本地视频流后,将所述输出节点自身接收到的本地视频流进行解码,得到本地图像数据;将所述本地图像数据输出给所述拼接屏。

可选的,所述输出节点还用于通过所述数据网络完成各所述输出节点的系统时钟同步。

可选的,在所述输出节点既接收到所述待显示网络视频流,又接收到所述本地视频流时,所述输出节点还用于:将所述本地图像数据与所述区域图像数据进行拼接,得到拼接图像数据;

所述将所述本地图像数据输出给所述拼接屏上所述输出节点自身对应的显示区域,及所述将解码得到的区域图像数据输出到所述拼接屏上,包括:

将所述拼接图像数据输出给所述拼接屏。

可选的,所述输出节点包括CPU及现场可编程门阵列FPGA;

所述CPU,用于在所述输出节点接收到所述待显示网络视频流后,按照所述输出节点自身对应的所述拼接屏的显示区域及所述待显示网络视频流在所述拼接屏上的显示区域,对所述输出节点自身接收到的待显示网络视频流中对应的区域进行解码,得到区域图像数据;

所述FPGA用于将所述输出节点自身接收到的本地视频流进行解码,得到本地图像数据;将所述区域图像数据及所述本地图像数据进行拼接,得到拼接图像数据;将所述拼接图像数据输出给所述拼接屏上对应的显示区域。

可选的,所述CPU还用于:对所述输出节点自身接收到的网络视频流打时间戳,得到待显示网络视频流;按照所述待显示网络视频流的在所述拼接屏上的目标显示区域,通过所述控制网络,将所述待显示网络视频流发送给所述目标显示区域对应的输出节点。

可选的,所述系统还包括:服务器,用于分别确定所述本地视频流及所述网络视频对应的输出节点,分别确定所述本地视频流及所述网络视频在所述拼接屏上的显示区域。

可选的,所述服务器还用于:通过所述数据网络完成各所述输出节点的系统时钟同步。

第二方面,本申请实施例还提供了一种视频拼接显示方法,应用于分布式拼接显示系统中的输出节点,所述分布式拼接显示系统包括控制网络、拼接屏及多个输出节点,各所述输出节点分别对应所述拼接屏的不同显示区域,所述方法包括:

在当前输出节点接收到待显示网络视频流后,确定所述待显示网络视频流的待解码区域,其中,所述待显示网络视频流包括时间戳;

对所述待显示网络视频流中的待解码区域进行解码,得到区域图像数据;

按照所述待显示网络视频流的时间戳,将所述区域图像数据输出到所述拼接屏上,以使在所述拼接屏的目标显示区域中显示所述区域图像数据,其中,所述目标显示区域为所述当前输出节点对应的显示区域。

可选的,所述方法还包括;

在当前输出节点接收到不包括时间戳的网络视频流时,对所述网络视频流打时间戳,得到待显示网络视频流;

按照所述待显示网络视频流的在所述拼接屏上的目标显示区域,通过所述控制网络,将所述待显示网络视频流发送给所述目标显示区域对应的输出节点。

可选的,所述待显示网络视频流的待解码区域为:所述当前输出节点对应的所述拼接屏的显示区域与所述待显示网络视频流在所述拼接屏上的显示区域的重叠区域。

可选的,在所述当前输出节点接收到至少两路待显示网络视频流时,所述对所述待显示网络视频流中的待解码区域进行解码,得到区域图像数据,包括:

分别对各所述待显示网络视频流中的待解码区域进行解码,得到各已解码图像数据;

按照各所述已解码图像数据在所述拼接屏上的显示区域,将各所述已解码图像数据进行拼接,得到区域图像数据。

可选的,所述分布式拼接显示系统还包括数据网络,所述方法还包括:

在所述当前输出节点接收到所述数据网络传输的本地视频流后,将所述本地视频流进行解码,得到本地图像数据;

将所述本地图像数据发送给所述拼接屏。

可选的,所述方法还包括:

通过所述数据网络完成各所述输出节点的系统时钟同步。

可选的,在所述当前输出节点既接收到所述待显示网络视频流,又接收到所述本地视频流时,所述方法还包括:

将所述本地图像数据与所述区域图像数据进行拼接,得到拼接图像数据;

所述将所述区域图像数据输出到所述拼接屏上,及所述将所述本地图像数据发送给所述拼接屏,包括:

将所述拼接图像数据发送给所述拼接屏。

第三方面,本申请实施例还提供了一种视频拼接显示装置,应用于分布式拼接显示系统中的输出节点,所述分布式拼接显示系统包括控制网络、拼接屏及多个输出节点,各所述输出节点分别对应所述拼接屏的不同显示区域,所述装置包括:

待解码区域确定模块,用于在当前输出节点接收到待显示网络视频流后,确定所述待显示网络视频流的待解码区域,其中,所述待显示网络视频流包括时间戳;

图像数据解码模块,用于对所述待显示网络视频流中的待解码区域进行解码,得到区域图像数据;

图像数据发送模块,用于按照所述待显示网络视频流的时间戳,将所述区域图像数据输出到所述拼接屏上,以使在所述拼接屏的目标显示区域中显示所述区域图像数据,其中,所述目标显示区域为所述当前输出节点对应的显示区域。

可选的,所述装置还包括;

时间戳打戳模块,用于在当前输出节点接收到不包括时间戳的网络视频流时,对所述网络视频流打时间戳,得到待显示网络视频流;

输出节点确定模块,用于按照所述待显示网络视频流的在所述拼接屏上的目标显示区域,通过所述控制网络,将所述待显示网络视频流发送给所述目标显示区域对应的输出节点。

可选的,所述待显示网络视频流的待解码区域为:所述当前输出节点对应的所述拼接屏的显示区域与所述待显示网络视频流在所述拼接屏上的显示区域的重叠区域。

可选的,在所述当前输出节点接收到至少两路待显示网络视频流时,所述图像数据解码模块,具体用于:

分别对各所述待显示网络视频流中的待解码区域进行解码,得到各已解码图像数据;

按照各所述已解码图像数据在所述拼接屏上的显示区域,将各所述已解码图像数据进行拼接,得到区域图像数据。

可选的,所述分布式拼接显示系统还包括数据网络,所述装置还包括:

本地流获取模块,用于在所述当前输出节点接收到所述数据网络传输的本地视频流后,将所述本地视频流进行解码,得到本地图像数据;

所述图像数据发送模块,还用于将所述本地图像数据发送给所述拼接屏。

可选的,所述装置还包括:

时钟同步模块,用于通过所述数据网络完成各所述输出节点的系统时钟同步。

可选的,在所述当前输出节点既接收到所述待显示网络视频流,又接收到所述本地视频流时,所述装置还包括:

图像拼接模块,用于将所述本地图像数据与所述区域图像数据进行拼接,得到拼接图像数据;

所述图像数据发送模块,具体用于:将所述拼接图像数据发送给所述拼接屏。

第四方面,本申请实施例提供了一种电子设备,包括:处理器及存储器;

所述存储器,用于存放计算机程序

所述处理器用于执行所述存储器存放的计算机程序时,实现上述第二方面任一所述的视频拼接显示方法。

第五方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第二方面任一所述的视频拼接显示方法。

本申请实施例提供的分布式拼接显示系统、方法、装置及电子设备,输出节点,用于当接收到待显示网络视频流后,按照输出节点自身对应的拼接屏的显示区域及待显示网络视频流在拼接屏上的显示区域,对输出节点自身接收到的待显示网络视频流中对应的区域进行解码,并将解码得到的区域图像数据输出到拼接屏上。各输出节点仅需要解码自身对应的显示区域的视频数据,每个输出节点可以仅解码视频流图像的一部分,不用解码整个视频流图像,减少单颗图像处理芯片解码能力对整个网络视频流分辨率的限制,能够实现超高清网络视频流,例如4K分辨率或8K分辨率等网络视频流的播放。当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例的分布式拼接显示系统的第一种示意图;

图2为本申请实施例的分布式拼接显示系统的第二种示意图;

图3为本申请实施例的分布式拼接显示系统的第三种示意图;

图4a为本申请实施例的分布式拼接显示系统的视频流的处理种示意图;

图4b为本申请实施例的分布式拼接显示系统的网络视频流的处理示意图;

图5为本申请实施例的分布式拼接显示系统的视频流拼接的第一种示意图;

图6为本申请实施例的分布式拼接显示系统的第四种示意图;

图7为本申请实施例的拼接显示方法的一种示意图;

图8为本申请实施例的拼接显示装置的一种示意图;

图9为本申请实施例的电子设备的一种示意图;

图10为本申请实施例的拼接屏显示区域对应关系的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

首先,对本申请实施例中的专业术语进行解释:

分布式系统:是一种建立在网络之上的系统。分布式是一种模型结构,区别于集中式,可以从字面理解为“分布在各处”。

拼接:是指将一个完整的图像信号划分成N块后分配给N个视频显示单元。

同步:同步主要是指同一个信号源跨多个拼接屏时,多个拼接屏之间的同步。不同信号源之间不需要考虑同步。

网络视频流:指通过网络取流后得到的视频信号,比如取自前端IPC信号。

本地视频流:指通过本地DVI(Digital Visual Interface,数字视频接口)/DP(Display Port,显示接口)/HDMI(High Definition Multimedia Interface,高清多媒体接口)/VGA(Video Graphics Array,视频图形阵列)/SDI(serial digital interface,数字分量串行接口)等接入的视频信号。

为了实现超高清网络视频流的播放,本申请实施例提供了一种分布式拼接显示系统,参见图1,该系统包括:

控制网络102、多个输出节点103及拼接屏104;控制网络102与各输出节点103连接,输出节点103与拼接屏104连接,其中,各输出节点103分别对应拼接屏104的不同显示区域;

控制网络102,用于待显示网络视频流的传输;

输出节点103,用于当接收到待显示网络视频流后,按照该输出节点自身对应的拼接屏104的显示区域及待显示网络视频流在拼接屏上的显示区域,对该输出节点自身接收到的待显示网络视频流中对应的区域进行解码,并将解码得到的区域图像数据输出到拼接屏上;

拼接屏104,用于显示各输出节点的图像数据,其中,图像数据包括区域图像数据。

不同输出节点103对应拼接屏的不同显示区域,例如可以如图4b所示,四个输输出节点分别对应拼接屏104的四个显示区域。每个输出节点103负责向自身对应的显示区域输出图像数据。多个输出节点103分别解码自身需要解码的区域,并各自将解码得到的区域图像数据输出给拼接屏104。控制网络102是指依托于交换机及数据线等实体设备建立的通信网络,控制网络102还可以连接多个网络源设备,以实现网络视频流的获取。

待显示网络视频流包括时间戳,控制网络102可以直接获取硬盘录像机等网络源设备发送的包括时间戳的待显示网络视频流,也可以获取网络摄像机等网络源设备发送的不包括时间戳的网络视频流,然后由输出节点103对不包括时间戳的网络视频流打时间戳。

在一种可能的实施方式中,控制网络102还用于:接收网络源设备的网络视频流,并将网络视频流发送到输出节点103;输出节点103还用于:对接收到的网络视频流打时间戳,得到待显示网络视频流;按照待显示网络视频流的在拼接屏上的目标显示区域,通过控制网络102,将待显示网络视频流发送给目标显示区域对应的输出节点103。

控制网络102按照预设的负载均衡规则,将未打时间戳的网络视频流发送给输出节点打时间戳,得到待显示网络视频流。参见图4b,网络视频流经过控制网络102的传输被某个输出节点取流,取流后对网络视频流进行转封装并打时间戳,然后将打时间戳后的网络视频流,通过控制网络进行网络组播发送。

输出节点103按照待显示网络视频流的在拼接屏104上的目标显示区域,通过控制网络102,将待显示网络视频流发送给目标显示区域对应的输出节点103。例如图10所示,目标输出节点打时间戳后得到第一待显示网络视频流,第一待显示网络视频流在拼接屏104上的目标显示区域为区域1至区域4,区域1对应第一输出节点,区域2对应第二输出节点,区域3对应第三输出节点,区域4对应第四输出节点,则目标输出节点通过控制网络102分别向第一输出节点、第二输出节点、第三输出节点及第四输出节点发送第一待显示网络视频流。在目标输出节点为目标显示区域对应的输出节点时,目标输出节点可以不向自身发送待显示网络视频流。

输出节点103在接收到待显示网络视频流后,可以根据该待显示网络视频流在拼接屏104上显示的位置及该输出节点103对应的拼接屏104的显示区域,确定该输出节点103需要解码的待显示网络视频流的区域。在一种可能的实施方式中,上述按照输出节点自身对应的拼接屏的显示区域及待显示网络视频流在拼接屏上的显示区域,对输出节点自身接收到的待显示网络视频流中对应的区域进行解码,并将解码得到的区域图像数据输出到拼接屏上,包括:确定待显示网络视频流的待解码区域,其中,待解码区域为输出节点自身对应的拼接屏的显示区域与待显示网络视频流在拼接屏上的显示区域的重叠区域;对待显示网络视频流中的待解码区域进行解码,得到区域图像数据;按照待显示网络视频流的时间戳,向拼接屏上输出节点自身对应的显示区域输出区域图像数据。

可以将该输出节点自身对应的拼接屏104的显示区域,与待显示网络视频流在拼接屏104上的显示区域取交集,得到待解码区域;对待显示网络视频流中的待解码区域进行解码,得到区域图像数据;按照待显示网络视频流的时间戳,向拼接屏104上该输出节点自身对应的显示区域输出区域图像数据。例如图10所示,第一输出节点对应的拼接屏上的显示区域为区域1,第一输出节点接收到的第一待显示网络视频流在拼接屏104上的显示区域为区域1至区域4,取交集将区域1对应的区域作为待解码区域,将待显示网络视频流中区域1对应的区域进行解码,得到待显示网络视频流。

在一种可能的实施方式中,在输出节点接收到至少两路待显示网络视频流时;对待显示网络视频流中的待解码区域进行解码,得到区域图像数据,包括:分别对各待显示网络视频流中的待解码区域进行解码,并将解码得到的各图像进行拼接,得到区域图像数据。

在同一输出节点接收到2路及以上的待显示网络视频流时,该输出节点分别确定各待显示网络视频流的待解码区域,并分别对各待显示网络视频流中的待解码区域进行解码,将解码得到的多个图像按照显示位置进行拼接,得到区域图像数据。例如图10所示,拼接屏中的区域15对应的第十五输出节点,第十五输出节点接收到第二待显示网络视频流及第三待显示视频流,对第二待显示网络视频流中与区域15重叠的部分进行解码,对第三待显示网络视频流中与区域15重叠的部分进行解码,然后将解码得到的两个图像数据进行拼接,得到区域图像数据。

在本申请实施例中,各输出节点仅需要解码自身对应的显示区域的视频数据,每个输出节点可以仅解码视频流图像的一部分,不用解码整个视频流图像,减少单颗图像处理芯片解码能力对整个网络视频流分辨率的限制,能够实现超高清网络视频流,例如4K分辨率或8K分辨率等网络视频流的播放。

在一种可能的实施方式中,参见图2,本申请实施例的分布式拼接显示系统还包括:数据网络101,数据网络与各输出节点103连接;

数据网络101用于接收本地源设备的本地视频流,并将本地视频流发送到相应的输出节点103;

输出节点103用于当接收到本地视频流后,将输出节点自身接收到的本地视频流进行解码,得到本地图像数据;将本地图像数据输出给拼接屏。

数据网络101为依托于交换机及数据线等实体设备建立的通信网络。数据网络101及控制网络102为两个相互隔离的网络。数据网络101及控制网络102可以基于硬件进行隔离,例如,可以通过交换机A及数据线构建数据网络101,通过交换机B及数据线构建控制网络102。当然数据网络101及控制网络102也可以基于软件进行隔离,例如通过虚拟局域网技术,实现数据网络101及控制网络102的网络隔离。数据网络还可以连接多个本地源设备,以实现本地视频流的获取,例如参见图3,通过数据网络实现本地视频流走数据网络,通过控制网络实现网络视频流走控制网络,将需要拼接上墙的两种视频数据源分开按照不同路径进行不同处理,各输出节点上分别实现只处理该输出节点对应的显示区域的网络视频流和本地视频流解码,并受控于系统统一的同步基准实现最终的拼接同步显示。从而结合不同信号源的特点,提升图像质量、切换性能,以及消除各环节的芯片处理性能或者网络传输带宽瓶颈,提升系统的可扩展性。

数据网络101接收本地源设备的本地视频流,并向相应的输出节点103发送本地视频流。输出节点103将解码得到的本地图像数据发送给拼接屏中该输出节点103自身对应的显示区域,以使在该输出节点103对应的显示区域显示本地图像数据。本地视频流与输出节点的对应关系按照实际的显示需求进行设定,例如本地视频流A在拼接屏104中的显示区域为区域11,区域11对应第十一输出节点,则本地视频流A对应的输出节点为第十一输出节点。

控制网络102可以采用TCP(Transmission Control Protocol,传输控制协议)/IP(Internet Protocol,网络协议)协议进行通信,数据网络101可以采用UDP(User DatagramProtocol,用户数据报协议)/IP协议进行通信。控制网络102主要用于传输信令、网络解码音视频压缩编码码流(基于H.264/H.265压缩)等。数据网络101主要用于传输需要上墙的浅编码压缩码流、音频码流、系统时钟同步信息等。为了实现各输出节点的输出同步,需要对各输出节点的系统时钟进行同步校准。可选的,输出节点103还用于通过数据网络101完成各输出节点103的系统时钟同步。

本申请实施例中,针对不同来源的视频流按不同路径进行处理,针对本地视频流,使用数据网络进行数据交换,同时由于输入节点所接收本地帧率稳定,处理路径上使用典型视觉无损编解码算法,能够将处理延时控制在2帧左右,从显示效果和处理延时角度,来实现“看的更清,看的更快”;针对网络视频流,使用控制网络进行编解码处理,从提升解码路数角度,来实现“看的更多”。

在本申请实施例中,通过分布式部署方式,采用多个输出节点分别负责拼接屏的各显示区域,能够增加视频流的接入路数。并且采用数据网络发送本地视频流,采用控制网络发送网络视频流,实现了本地视频流与网络视频流的分别管理。

一些情况下,一个输出节点103可能只接收到本地视频流或只接收到待显示网络视频流,在一种可能的实施方式中,在输出节点103既接收到待显示网络视频流,又接收到本地视频流时,输出节点103还用于:将本地图像数据与区域图像数据进行拼接,得到拼接图像数据;

上述将本地图像数据输出给拼接屏,及将解码得到的区域图像数据输出到拼接屏上,包括:

将拼接图像数据输出给拼接屏。

输出节点将拼接图像数据输出到拼接屏中该输出节点自身对应的显示区域,以使在该输出节点对应的显示区域显示拼接图像数据。

对于不同信号来源的视频流,使用不同的处理路径,结合不同处理特点,将待显示网络视频流和本地视频流分别使用分布式解码进行拼接同步,如图5所示。其中为了规避芯片处理性能瓶颈,将待显示网络视频流按照分布式解码进行处理,即不同输出节点上各自选取待显示网络视频流图像中的一部分完成解码,以及不同网络源解码后的拼接,然后与本地源完成拼接显示。

为了有效区分处理职能,进一步提高图像处理速度,在一种可能的实施方式中,输出节点103包括CPU及FPGA(Field-Programmable Gate Array,现场可编程门阵列);

CPU,用于在输出节点接收到待显示网络视频流后,按照输出节点自身对应的拼接屏的显示区域及待显示网络视频流在拼接屏上的显示区域,对输出节点自身接收到的待显示网络视频流中对应的区域进行解码,得到区域图像数据。

可选的,在一个输出节点接收到多个待显示网络视频流时,CPU还用于按照时间戳将各待显示网络视频流中相应区域解码得到的图像进行拼接,从而得到区域图像数据。

FPGA用于将输出节点自身接收到的本地视频流进行解码,得到本地图像数据;将区域图像数据及本地图像数据进行拼接,得到拼接图像数据;将拼接图像数据输出给拼接屏上对应的显示区域。

在本申请实施例中,可以充分利用CPU除解码外的处理性能,比如将多路解码后图像按照统一刷新同步基准进行拼接处理,从而进一步缓解后级显示FPGA芯片的处理瓶颈,使得可以释放原本需要处理多路网络视频流的带宽,进而提升本地源的处理图层数。另外网络源接入由于受到公网网络状况波动的影响,网络的取流和显示一致性一直得不到很好的解决,采用分布式解码方案后,CPU会将所有网络视频流解码后拼接发送给显示FPGA,这样CPU作为解码处理模块本身,可以在每一个刷新同步周期内判定当前需要上墙的网络视频流是否到达,为优化个别网络视频流没到达时候的显示效果提供可能,从而从整个处理架构上使得整体的切换显示效果得到提升。

在一种可能的实施方式中,参见图4a,FPGA可以包括第一FPGA及第二FPGA。CPU按照时间戳将各解码后的图像进行拼接,并将拼接后的区域图像数据发送给第二FPGA。第一FPGA用于对本地视频流进行解码,并将解码得到的本地图像数据发送给第二FPGA。第二FPGA即各节点显示FPGA,第二FPGA用于按照时间戳将区域图像数据与本地图像数据进行拼接,将拼接后的区域图像数据与本地图像数据输出给拼接屏上相应的显示区域。

可选的,CPU还用于:对输出节点自身接收到的网络视频流打时间戳,得到待显示网络视频流;按照待显示网络视频流的在拼接屏上的目标显示区域,通过控制网络,将待显示网络视频流发送给目标显示区域对应的输出节点。

参见图4b,网络视频流经过控制网络102的传输被某个输出节点上的CPU取流,取流后对网络视频流进行转封装并打时间戳,然后将打时间戳后的网络视频流,通过控制网络进行网络组播发送。可以理解的是,虽然图4a及图4b均是以一个2*2显示区域的拼接屏进行说明的,但本申请不局限于此,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

在本申请实施例中,对网络视频流打时间戳,后续可按照时间戳进行拼接,能够增加拼接屏上网络视频流的同步性,显示效果佳。

在一种可能的实施方式中,可以通过输出节点确定各本地视频流及各网络视频分别对应的输出节点。但是,为了方便对拼接屏整体的控制,可选的,本申请实施例的分布式拼接显示系统还包括:服务器,用于分别确定本地视频流及网络视频对应的输出节点,分别确定本地视频流及网络视频在拼接屏上的显示区域。

参见图6,服务器用于各输出节点的负载均衡,同时用于设置个各本地视频流及各网络视频各自对应的显示区域,又因为各显示区域由不同的输出节点负责,即相当于确定各本地视频流及各网络视频分别对应的输出节点。

可选的,服务器还用于:通过数据网络完成各输出节点的系统时钟同步。

服务器利用相关的时钟同步方法,通过数据网络完成各输出节点的系统时钟同步。例如,服务器通过数据网络向各输出节点发送数据报文,各输出节点在接收到数据报文后向服务器返回响应报文,针对任一输出节点,服务器向该输出节点返回接收到该输出节点的响应报文的时间戳。各输出节点分别根据服务器发送数据报文的时间戳、该输出节点接收到数据报文时的时间戳、该输出节点发送响应报文的时间戳及服务器接收到的响应报文的时间戳,完成输出节点的系统时钟同步。当然,也可以在各输出节点中选取一个输出节点发送数据报文,由其他输出节点返回响应报文,从而完成各输出节点的系统时钟同步。

鉴于服务器一般都设置在本地,因此通过数据网络接入服务器更加方便。并且通过数据网络实现各输出节点的系统时钟同步,可以减轻网络交换机的负载,使得网络交换机有更多的资源用于支持超高清视频的各路视频流。

本申请实施例还提供了一种视频拼接显示方法,应用于分布式拼接显示系统中的输出节点,分布式拼接显示系统包括控制网络、拼接屏及多个输出节点,各输出节点分别对应拼接屏的不同显示区域,参见图7,该方法包括:

S701,在当前输出节点接收到待显示网络视频流后,确定待显示网络视频流的待解码区域,其中,待显示网络视频流包括时间戳;

S702,对待显示网络视频流中的待解码区域进行解码,得到区域图像数据;

S703,按照待显示网络视频流的时间戳,将区域图像数据输出到拼接屏上,以使在拼接屏的目标显示区域中显示区域图像数据,其中,目标显示区域为当前输出节点对应的显示区域。

可选的,本申请实施例的视频拼接显示方法还包括;

在当前输出节点接收到不包括时间戳的网络视频流时,对网络视频流打时间戳,得到待显示网络视频流;

按照待显示网络视频流的在拼接屏上的目标显示区域,通过控制网络,将待显示网络视频流发送给目标显示区域对应的输出节点。

可选的,上述待显示网络视频流的待解码区域为:当前输出节点对应的拼接屏的显示区域与待显示网络视频流在拼接屏上的显示区域的重叠区域。

可选的,在当前输出节点接收到至少两路待显示网络视频流时,上述对待显示网络视频流中的待解码区域进行解码,得到区域图像数据,包括:

分别对各待显示网络视频流中的待解码区域进行解码,得到各已解码图像数据;

按照各已解码图像数据在拼接屏上的显示区域,将各已解码图像数据进行拼接,得到区域图像数据。

可选的,分布式拼接显示系统还包括数据网络,本申请实施例的视频拼接显示方法还包括:

在当前输出节点接收到数据网络传输的本地视频流后,将本地视频流进行解码,得到本地图像数据;

将本地图像数据发送给拼接屏。

可选的,本申请实施例的视频拼接显示方法还包括:

通过数据网络完成各输出节点的系统时钟同步。

可选的,在当前输出节点既接收到待显示网络视频流,又接收到本地视频流时,本申请实施例的视频拼接显示方法还包括:

将本地图像数据与区域图像数据进行拼接,得到拼接图像数据;

将区域图像数据输出到拼接屏上的目标显示区域,及将本地图像数据发送给拼接屏上的目标显示区域,包括:

将拼接图像数据发送给拼接屏。

本申请实施例还提供了一种视频拼接显示装置,应用于分布式拼接显示系统中的输出节点,分布式拼接显示系统包括控制网络、拼接屏及多个输出节点,各输出节点分别对应拼接屏的不同显示区域,参见图8,该装置包括:

待解码区域确定模块801,用于在当前输出节点接收到待显示网络视频流后,确定待显示网络视频流的待解码区域,其中,待显示网络视频流包括时间戳;

图像数据解码模块802,用于对待显示网络视频流中的待解码区域进行解码,得到区域图像数据;

图像数据发送模块803,用于按照待显示网络视频流的时间戳,将区域图像数据输出到拼接屏上,以使在拼接屏的目标显示区域中显示区域图像数据,其中,目标显示区域为当前输出节点对应的显示区域。

可选的,本申请实施例的视频拼接显示装置还包括;

时间戳打戳模块,用于在当前输出节点接收到不包括时间戳的网络视频流时,对网络视频流打时间戳,得到待显示网络视频流;

输出节点确定模块,用于按照待显示网络视频流的在拼接屏上的目标显示区域,通过控制网络,将待显示网络视频流发送给目标显示区域对应的输出节点。

可选的,上述待显示网络视频流的待解码区域为:当前输出节点对应的拼接屏的显示区域与待显示网络视频流在拼接屏上的显示区域的重叠区域。

可选的,在当前输出节点接收到至少两路待显示网络视频流时,图像数据解码模块,具体用于:

分别对各待显示网络视频流中的待解码区域进行解码,得到各已解码图像数据;

按照各已解码图像数据在拼接屏上的显示区域,将各已解码图像数据进行拼接,得到区域图像数据。

可选的,分布式拼接显示系统还包括数据网络,本申请实施例的视频拼接显示装置还包括:

本地流获取模块,用于在当前输出节点接收到数据网络传输的本地视频流后,将本地视频流进行解码,得到本地图像数据;

图像数据发送模块,还用于将本地图像数据发送给拼接屏。

可选的,本申请实施例的视频拼接显示装置还包括:

时钟同步模块,用于通过数据网络完成各输出节点的系统时钟同步。

可选的,在当前输出节点既接收到待显示网络视频流,又接收到本地视频流时,本申请实施例的视频拼接显示装置还包括:

图像拼接模块,用于将本地图像数据与区域图像数据进行拼接,得到拼接图像数据;

上述图像数据发送模块,具体用于:将拼接图像数据发送给拼接屏。

本申请实施例还提供了一种电子设备,包括:处理器及存储器;

上述存储器,用于存放计算机程序;

上述处理器用于执行上述存储器存放的计算机程序时,实现如下步骤:

在当前输出节点接收到待显示网络视频流后,确定待显示网络视频流的待解码区域,其中,待显示网络视频流包括时间戳;

对待显示网络视频流中的待解码区域进行解码,得到区域图像数据;

按照待显示网络视频流的时间戳,将区域图像数据输出到拼接屏上,以使在拼接屏的目标显示区域中显示区域图像数据,其中,目标显示区域为当前输出节点对应的显示区域。

具体的,本申请实施例的电子设备可以为上述分布式拼接显示系统中的任一输出节点。

可选的,参见图9,本申请实施例的电子设备还包括通信接口902和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信。

可选的,上述处理器用于执行上述存储器存放的计算机程序时,还能够实现上述任一视频拼接显示方法。

可选的,上述存储器901包括CPU、第一PFGA及第二PFGA。

上述CPU用于对各网络视频流进行解码,按照各网络视频流的时间戳将各解码后的网络视频流进行拼接,并将拼接后的网络视频流发送给第二FPGA。上述第一FPGA用于对本地视频流进行解码,并将解码后的本地视频流发送给第二FPGA。上述第二FPGA用于将拼接后的网络视频流及解码后的本地视频流输出到相应的拼接屏上。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种计算机可读存储介质,上述计算机可读存储介质内存储有计算机程序,上述计算机程序被处理器执行时实现如下步骤:

在当前输出节点接收到待显示网络视频流后,确定待显示网络视频流的待解码区域,其中,待显示网络视频流包括时间戳;

对待显示网络视频流中的待解码区域进行解码,得到区域图像数据;

按照待显示网络视频流的时间戳,将区域图像数据输出到拼接屏上,以使在拼接屏的目标显示区域中显示区域图像数据,其中,目标显示区域为当前输出节点对应的显示区域。

可选的,上述计算机程序被处理器执行时还能够实现上述任一视频拼接显示方法。

需要说明的是,在本文中,各个可选方案中的技术特征只要不矛盾均可组合来形成方案,这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

相关技术
  • 分布式拼接显示系统、方法、装置及电子设备
  • 一种用于分布式拼接屏的多级同步显示系统及显示方法
技术分类

06120112228884