一种视频拼控方法和装置

技术领域

本申请实施例涉及视频拼控技术，尤指一种视频拼控方法和装置。

背景技术

PCIE(高速串行计算机扩展总线标准)接口是计算机体系中最关键的接口之一，它拥有高性能、高可靠行、架构灵活规范严格，可互通使用等优点。通过PCIE接口，可以使得主流的X86处理器、ARM处理器、FPGA(现场可编程门阵列)、DSP(数字信号处理)等器件互联互通数据。PCIE是一种点对点的传输接口，基本传输单元是TLP(处理层数据包)。TLP的包头包含着目的地址等相关信息。

当前PCIE接口的应用越来越广泛，但是在视频拼控系统中，使用PCIE存在着一些限制。

在视频拼控系统中主要有两种PCIE设备，输入节点和输出节点。输入节点负责接收图像，并将图像发送给不同的输出节点，而输出节点则负责对接收的图像做一些拼接，叠层的处理，最后送到显示接口输出。控制节点则是整个系统的大脑，用来配置图像源以及目的地等参数。所有的节点通过PCIE交换器(SWITCH)连接。

由于PCIE是点对点交互系统，所以输入节点一般只能先给一个输出节点发送一帧图像，然后给另外一个节点发送下一帧图像。输出节点则需要能够同时接收所有输入节点发送的数据。

一个拼控系统需要保证在一帧的时间内(60帧的拼控系统，一帧时间是16.67ms)，把所有的输入节点的图像传递到期望的输出节点。可能出现一个输入节点的图像需要传输到多个输出节点，以及多个输入节点的图像传递到一个输出节点的情况。每个输入节点需要在一帧时间内，发送多帧相同或不同的图像，到相同或不同的输出节点，这里我们把每一个图像的点对点传输叫时隙任务，每个时隙任务通过一组参数来控制。输入节点和输出节点支持多个时隙任务，比如16、32等等。

影响输入节点送出图像个数的另一因素是PCIE带宽。带宽太小，则无法保证在一帧的时间内把32时隙任务的图像送出，视频就会非常卡顿。输入节点和输出节点的接口带宽是相同的。由于带宽限制，其送出的图像数量有限。而一旦有两个输入节点向一个输出节点发送数据，两个输入节点的带宽利用率最高只有50％，输入节点送出的图像数量会进一步降低。

发明内容

本申请实施例提供了一种视频拼控方法和装置，能够在不改变系统框架的基础上增加输入节点输出的图像数量，提高带宽的利用率，提升拼控器规格。

本申请提供了一种视频拼控方法，可以应用于控制节点侧，所述方法可以包括：

控制输入节点向目标输出节点发送处理层数据包TLP数据包，并向所述目标输出节点发送转发控制参数；所述转发控制参数是根据业务类型生成的；

控制所述目标输出节点根据所述转发控制参数确定是否需要对所述TLP数据包进行转发，当确定需要对所述TLP数据包进行转发时，控制所述目标输出节点根据所述转发控制参数计算所述TLP数据包的转发目标输出节点TLP地址，并根据所述转发目标输出节点TLP地址对所述TLP数据包进行转发。

在本申请的示例性实施例中，所述TLP数据包可以包含目标输出节点的TLP地址；

所述转发控制参数可以包括：转发目标输出节点的BAR偏移地址、转发起始地址以及转发地址大小。

在本申请的示例性实施例中，所述控制所述目标输出节点根据所述转发控制参数确定是否需要对所述TLP数据包进行转发，可以包括：

控制所述目标输出节点根据所述目标输出节点的TLP地址计算所述TLP数据包对应的BAR偏移地址；其中所述目标输出节点的TLP地址为发送给目标输出节点的TLP数据包中的TLP地址；

当所述TLP数据包对应的所述BAR偏移地址在预设的转发范围内时，确定需要对所述TLP数据包进行转发；当所述BAR偏移地址未在所述转发范围内时，确定不需要对所述TLP数据包进行转发。

在本申请的示例性实施例中，所述转发范围可以包括：预设的转发起始地址到转发结束地址之间的范围；

其中，所述转发结束地址等于所述转发起始地址与所述转发地址大小之和。

在本申请的示例性实施例中，所述控制所述目标输出节点根据所述目标输出节点的TLP地址计算所述TLP数据包对应的BAR偏移地址，可以包括：根据下述的BAR偏移地址计算式计算所述BAR偏移地址：

所述BAR偏移地址＝所述目标输出节点的TLP地址–所述目标输出节点的BAR基地址。

在本申请的示例性实施例中，所述控制所述目标输出节点根据所述转发控制参数计算所述TLP数据包的转发目标输出节点TLP地址，可以包括：根据下述的转发目标输出节点TLP地址计算式计算所述转发目标输出节点TLP地址：

所述转发目标输出节点TLP地址＝所述BAR偏移地址-所述转发起始地址+所述转发目标输出节点的BAR偏移地址；

其中，所述转发目标输出节点TLP地址为对所述TLP数据包进行转发时，转发给目标输出节点的TLP数据包中的TLP地址。

在本申请的示例性实施例中，所述方法还可以包括：当所述目标输出节点接收到的所述转发控制参数均为0或者仅所述转发控制参数中的转发地址大小为0时，所述目标输出节点确定不需要对所述TLP数据包进行转发。

在本申请的示例性实施例中，所述业务类型可以包括：需要对所述TLP数据包进行转发和不需要对所述数据包进行转发；

根据所述业务类型生成所述转发控制参数可以包括：

当所述业务类型为需要对所述TLP数据包进行转发时，根据转发目标输出节点的BAR偏移地址、转发起始地址以及转发地址大小生成所述转发控制参数；

当所述业务类型为不需要对所述TLP数据包进行转发时，将所述转发目标输出节点的BAR偏移地址、所述转发起始地址以及所述转发地址大小均设置为0后，生成所述转发控制参数。

在本申请的示例性实施例中，所述方法还可以包括：

预先根据对所述输入节点处视频的拖拽动作，确定所述业务类型；

其中，当所述输入节点处的同一视频被拖拽到多个输出节点处时，确定所述业务类型为需要对所述TLP数据包进行转发，并将被拖拽到的多个输出节点确定为目标输出节点，并确定所述目标输出节点中的部分目标输出节点为转发目标输出节点；

当所述输入节点处的同一视频被拖拽到一个输出节点处时，确定所述业务类型为不需要对所述TLP数据包进行转发。

本申请实施例还提供了一种视频拼控装置，可以包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现所述的视频拼控方法。

与相关技术相比，本申请实施例可以包括：控制输入节点向目标输出节点发送处理层数据包TLP数据包，并向所述目标输出节点发送转发控制参数；所述转发控制参数是根据业务类型生成的；控制所述目标输出节点根据所述转发控制参数确定是否需要对所述TLP数据包进行转发，当确定需要对所述TLP数据包进行转发时，控制所述目标输出节点根据所述转发控制参数计算所述TLP数据包的转发目标输出节点TLP地址，并根据所述转发目标输出节点TLP地址对所述TLP数据包进行转发。该实施例方案，在不改变系统框架的基础上，通过转发的方式增加输入节点输出的图像数量，并提高了带宽的利用率，进一步提升了拼控器规格。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例的视频拼控方法流程图；

图2为本申请实施例的优化后的PCIE拼控系统示意图；

图3为本申请实施例的PCIE拼控系统的逻辑框架示意图；

图4为本申请实施例的控制目标输出节点根据转发控制参数确定是否需要对TLP数据包进行转发的方法流程图；

图5为本申请实施例的视频拼控方法示意图；

图6为本申请实施例的视频拼控装置组成框图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

本申请提供了一种视频拼控方法，可以应用于控制节点侧，如图1所示，所述方法可以包括步骤S101-S102：

S101、控制输入节点向目标输出节点发送处理层数据包TLP数据包，并向所述目标输出节点发送转发控制参数；所述转发控制参数是根据业务类型生成的；

S102、控制所述目标输出节点根据所述转发控制参数确定是否需要对所述TLP数据包进行转发，当确定需要对所述TLP数据包进行转发时，控制所述目标输出节点根据所述转发控制参数计算所述TLP数据包的转发目标输出节点TLP地址，并根据所述转发目标输出节点TLP地址对所述TLP数据包进行转发。

在相关技术中，为了解决输入节点输出图像数量受限，输入节点的带宽利用率不高等问题，使用更高带宽规格的PCIE SWITCH，或者使用带有广播功能的PCIE SWITCH作为交换矩阵，或者使用基于开关型的交换矩阵(crosspoint switch)。使用更高带宽规格的PCIE SWITCH或广播功能的PCIE SWITCH会增加产品的成本，增加产品的设计难度。crosspoint switch开关型的交换矩阵本身支持一对多的发送方式，但一般ARM处理器和X86处理器均不支持此接口，只能通过FPGA(现场可编程门阵列)扩展成PCIE接口再对接X86处理器等平台。

在本申请的示例性实施例中，提出了一种优化基于PCIE的拼控系统的方案，在输出节点加入转发功能，改变控制节点参数计算方法，并且不需要改变当前的PCIE SWITCH。该实施例方案通过TLP数据包转发的方式增加了输入节点输出的图像数量，并提高了带宽的利用率，使拼控器规格进一步提升。

在本申请的示例性实施例中，下面先对PCIE中的一些基本概念进行介绍：

BAR(基地址寄存器)基地址和BAR空间大小：通过SWITCH(交换器)和PCIE设备内部配置寄存器定义好的参数，BAR(基地址寄存器)基地址用来定义每个PCIE设备接收TLP数据包的起始地址，BAR空间大小用来定义每个PCIE设备接收TLP数据包的可接受的数据大小。两组参数同样定义了PCIE设备的BAR地址范围，即BAR基地址～BAR基地址+BAR空间大小的地址范围；

TLP：PCIE系统收发数据的处理层数据包，TLP中包含数据要到达的实际地址信息，下文简称TLP地址；

一个PCIE设备的数据接收和数据发送的宽带是相同的，但是在拼控系统中，每个节点功能明确，输入节点主要功能是将图像输出，接收数据量极少，而输出节点则是接收图像数据，处理并送到视频显示接口显示，发送的数据量极少。

在本申请的示例性实施例中，如图2所示，优化后的拼控系统，在输出节点中增加了转发控制功能，如图2中虚线框所包围的转发控制和PCIE发送功能，使得输出节点可以将收到的数据包直接转发出去。

在本申请的示例性实施例中，下面对本申请实施例方案进行详细介绍。

在本申请的示例性实施例中，如图3所示，为拼控系统的逻辑框架图，首先控制节点初始化整个PCIE拼控系统(例如，该PCIE拼控系统可以是一个包含四个输入节点和四个输出节点的拼控系统)，分配给每个节点(包括输入节点和输出节点)独立的BAR基地址，假设每个节点的BAR空间大小是64MB，则四个输入节点的BAR基地址分别是0MB、64MB、128MB和192MB；四个输出节点的BAR基地址则是256MB、320MB、384MB、448MB。

在本申请的示例性实施例中，控制节点可以根据业务类型生成图像源和图像目标的对应关系，下面以输入节点1需要将一帧图像发送给输出节点1和输出节点2为例进行说明：

传统的拼控系统可以将图像源和图像目标的对应关系拆解成1对1的传输关系，即输入节点1到输出节点1，以及输入节点1到输出节点2，并相应地分配给输入节点1两个时隙任务，因为PCIE传输只能点对点传输。

本申请实施例的拼控系统中，控制节点保留一对多的传输关系，并对一对多的传输关系依次配置转发控制参数，根据该转发控制参数，输入节点1将TLP数据包发送给输出节点1以后，输出节点1可以根据该转发控制参数将该TLP数据包再转发给输出节点2。

在本申请的示例性实施例中，所述TLP数据包可以包含目标输出节点的TLP地址；

所述转发控制参数可以包括：转发目标输出节点的BAR偏移地址、转发起始地址以及转发地址大小。

在本申请的示例性实施例中，所述业务类型可以包括：需要对所述TLP数据包进行转发和不需要对所述数据包进行转发；

根据所述业务类型生成所述转发控制参数可以包括：

当所述业务类型为需要对所述TLP数据包进行转发时，根据转发目标输出节点的BAR偏移地址、转发起始地址以及转发地址大小生成所述转发控制参数；

当所述业务类型为不需要对所述TLP数据包进行转发时，将所述转发目标输出节点的BAR偏移地址、所述转发起始地址以及所述转发地址大小均设置为0或者仅将所述转发控制参数中的转发地址大小为0后，生成所述转发控制参数。在本申请的示例性实施例中，所述方法还可以包括：

预先根据对所述输入节点处视频的拖拽动作，确定所述业务类型；

其中，当所述输入节点处的同一视频被拖拽到多个输出节点处时，确定所述业务类型为需要对所述TLP数据包进行转发，并将被拖拽到的多个输出节点确定为目标输出节点，并确定所述目标输出节点中的部分目标输出节点为转发目标输出节点；

当所述输入节点处的同一视频被拖拽到一个输出节点处时，确定所述业务类型为不需要对所述TLP数据包进行转发。

在本申请的示例性实施例中，在进行视频拼控过程中，用户可以根据需求将视频从输入节点拖拽到一个或多个输出节点上，控制节点可以对该拖拽操作进行识别，当识别到将输入节点上的同一视频仅拖拽到一个输出节点上时，可以确定该视频对应的TLP数据包不需要转发，当识别到将输入节点上的同一视频拖拽到多个输出节点上时，可以确定该视频对应的TLP数据包需要转发。

在本申请的示例性实施例中，控制节点可以根据检测到的业务类型生成相应的转发控制参数，在输入节点将TLP数据包发送包到目标输出节点时，控制节点将生成的转发控制参数发送给该目标输出节点。

在本申请的示例性实施例中，对于输入节点侧每个被拖拽的视频均可以对应一组转发控制参数，当一个输入节点上有多个视频被拖拽时，可以相应产生多组转发控制参数。

在本申请的示例性实施例中，一个输入节点处可以设置一组转发控制参数，在每个时隙任务中可以对该组转发控制参数进行重新配置，一个输入节点也可以设置多组转发控制参数，即，在每个时隙任务中分别设置一组转发控制参数。

在本申请的示例性实施例中，下面给出配置输出节点1的转发控制参数的一个实施例：

转发目标输出节点的BAR偏移地址可以设置成输出节点2的BAR空间范围内的某个地址，例如们可以设置成340M；

转发起始地址和转发地址大小都设置成4M，表示发送给输出节点1的位于转发起始地址(4M)～转发结束地址(转发起始地址+转发地址大小，这里是4M+4M＝8M)的TLP地址，转发给PCIE拼控系统的BAR地址为340M～340M+4M的范围空间内，这个BAR地址位于输出节点2。

在本申请的示例性实施例中，所述方法还可以包括：当所述目标输出节点接收到的所述转发控制参数均为0或者仅所述转发控制参数中的转发地址大小为0时，所述目标输出节点确定不需要对所述TLP数据包进行转发。

在本申请的示例性实施例中，如果转发地址大小设为0可以表示不转发。

在本申请的示例性实施例中，当需要转发多个输出节点时，可以依次配置好所有输出节点的转发控制参数。

在本申请的示例性实施例中，如图4所示，所述控制所述目标输出节点根据所述转发控制参数确定是否需要对所述TLP数据包进行转发，可以包括步骤S201-S202：

S201、控制所述目标输出节点根据所述目标输出节点的TLP地址计算所述TLP数据包对应的BAR偏移地址；其中所述目标输出节点的TLP地址为发送给目标输出节点的TLP数据包中的TLP地址；

在本申请的示例性实施例中，所述控制所述目标输出节点根据所述目标输出节点的TLP地址计算所述TLP数据包对应的BAR偏移地址，可以包括：根据下述的BAR偏移地址计算式计算所述BAR偏移地址：

所述BAR偏移地址＝所述目标输出节点的TLP地址–所述目标输出节点的BAR基地址。

S202、当所述TLP数据包对应的所述BAR偏移地址在预设的转发范围内时，确定需要对所述TLP数据包进行转发；当所述BAR偏移地址未在所述转发范围内时，确定不需要对所述TLP数据包进行转发。

在本申请的示例性实施例中，所述转发范围可以包括：预设的转发起始地址到转发结束地址之间的范围；

其中，所述转发结束地址等于所述转发起始地址与所述转发地址大小之和。

在本申请的示例性实施例中，如图5所示，当输入节点1的某个时隙任务需要将一帧图像数据发送到输出节点1时，例如，输入节点1封装的某个TLP数据包中的TLP地址可以为262M，根据PCIE地址路由要求，可以根据该262M的TLP地址将TLP数据包发送给输出节点1。

在本申请的示例性实施例中，输出节点1接收到上述TLP后，可以根据BAR偏移地址计算式拆解出该TLP数据包的BAR偏移地址，然后判断该BAR偏移地址是否在输出节点1的转发范围(4M～8M)内，如果该BAR偏移地址在输出节点1的转发范围(4M～8M)内，就将当前的TLP数据包发送给用于进行数据转发的图像处理模块和转发控制模块，通过图像处理模块对TLP数据包中的图像进行处理后可以发送到显示单元进行显示，通过转发控制模块可以将该TLP数据包转发到下一个输出节点。如果该BAR偏移地址未在输出节点1的转发范围(4M～8M)内，则只将TLP数据包发送给图像处理模块。此处TLP地址为262M，位于输出节点1的BAR地址范围内，由BAR偏移地址计算式可以计算出BAR偏移地址为6M(262M-256M)，处于输出节点1的转发范围内，因此可以对TLP数据包进行转发。

在本申请的示例性实施例中，在确定可以对TLP数据包进行转发后，输出节点1可以根据转发目标输出节点TLP地址计算式重新计算新的TLP地址(即转发目标输出节点TLP地址)，并将TLP数据包和该新的TLP地址都发送给PCIE打包和发送模块，由PCIE打包和发送模块将TLP数据包发送到PCIE SWITCM中，由PCIE SWITCM发送到转发目标输出节点。

在本申请的示例性实施例中，所述控制所述目标输出节点根据所述转发控制参数计算所述TLP数据包的转发目标输出节点TLP地址，可以包括：根据下述的转发目标输出节点TLP地址计算式计算所述转发目标输出节点TLP地址：

所述转发目标输出节点TLP地址＝所述BAR偏移地址-所述转发起始地址+所述转发目标输出节点的BAR偏移地址

其中，所述转发目标输出节点TLP地址为对所述TLP数据包进行转发时，转发给目标输出节点的TLP数据包中的TLP地址。

在本申请的示例性实施例中，已知前述实施例中计算出了BAR偏移地址为6M(262M-256M)，转发起始地址为4M，转发目标输出节点的BAR偏移地址为340M，则计算出的转发目标输出节点TLP地址为6M-4M+340M＝342M，有前面预先定义的每个输出节点的BAR基地址和每个输出节点的空间大小可知，该转发目标输出节点TLP地址位于输出节点2的BAR空间范围内。

在本申请的示例性实施例中，输出节点2收到转发的TLP数据包后，可以将TLP数据包的相应数据发送到图像处理模块处理。输出节点2的转发控制参数可全设为0，表示TLP数据包不需要再转发，也可以根据相应的转发控制参数的数值再次转发到其他输出节点，例如，输出节点3、输出节点4等。

在本申请的示例性实施例中，根据前述方法将输入节点1的TLP数据包发送给输出节点1、输出节点2、输出节点3之前，可以根据预设的顺序进行数据包转发，例如，按照上述实施例中的顺序输出节点1、输出节点2、输出节点3进行数据包转发，也可以按照输出节点2、输出节点3、输出节点1的顺序进行数据包转发，即具体转发顺序可以根据需求自行定义，对于详细书序不做限制；或者，也可以根据随机顺序进行数据包转发，即不对输出节点1、输出节点2、输出节点3的具体转发顺序进行预先设置，在进行数据包转发时随机选取未转发数据包的输出节点。

在本申请的示例性实施例中，至少包括以下优势：

1、在不改变PCIE系统框架的基础上，对输出节点进行一些功能上的优化，通过转发的方式，充分利用输出节点的数据发送带宽，增加输入节点输出的图像数量。

2、通过优化输出节点的功能，充分利用未使用的PCIE接口，增加PCIE系统带宽利用率。

3、可以消除PCIE点对点传输的影响，使任何输入节点发送的数据到达任意输出节点，不受限制。

本申请实施例还提供了一种视频拼控装置1，如图6所示，可以包括处理器11和计算机可读存储介质12，所述计算机可读存储介质12中存储有指令，当所述指令被所述处理器11执行时，实现所述的视频拼控方法。

在本申请的示例性实施例中，前述的视频拼控方法实施例中的任意实施例均适用于该视频拼控装置中，在此不再一一赘述。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。