一种用于处理视频数据流的方法、装置、设备及存储介质

技术领域

本发明涉及视频数据处理技术领域，更为具体来说，本发明能够提供一种用于处理视频数据流的方法、装置、设备及存储介质。

背景技术

随着数据传输速度的不断提升，视频数据流的编码和解码的应用越来越广泛。但是，由于现有编解码方案存在的技术局限，编解码过程仍存在速度太慢而不能满足实时性的问题。虽然能够通过升级硬件设备或预缓存数据等间接方式提升用户获取有效视频数据的速度，但是这些方式会增加成本，而且事实上并没有解决现有编解码技术方案客观存在的问题。

发明内容

为解决现有技术存在的编解码速度过慢的问题，本发明能够提供一种用于处理视频数据流的方法、装置、设备及存储介质，能够达到极大提升编解码处理速度等技术目的，以解决现有技术存在的至少一个技术问题。

为实现上述的技术目的，本发明能够提供一种用于处理视频数据流的方法，该方法可包括但不限于如下的一个或多个步骤。

读取视频基础码流，所述视频基础码流包括多个网络抽象层单元。

将所述网络抽象层单元分割为第一数据包，各所述第一数据包均包括多个信号源符号。

以第一预设数量的第一数据包为一个包组，从所述包组中的每个第一数据包中分别获取第二预设数量的信号源符号。

对所述第二预设数量的信号源符号进行并行编码处理，以得到第二数据包。

进一步地，所述对所述第二预设数量的信号源符号进行并行编码处理，以得到第二数据包包括：在第一本地存储器中对所述信号源符号进行并行编码处理，得到通过编码形成的第二数据包。

所述第一本地存储器用于批量载入所述第一数据包。

该方法还包括：通过批量处理方式将所述第二数据包从所述第一本地存储器写入第一系统内存。

进一步地，所述在第一本地存储器中对所述信号源符号进行并行编码处理包括：

根据预先设置于所述第一本地存储器中的第一预设查找表对所述信号源符号进行编码处理；其中，所述第一预设查找表存储于第一本地存储器的静态数据区中。

进一步地，该方法还包括：

接收基于被传输后的所述第二数据包形成的抗丢包组，所述抗丢包组包括第三预设数量的所述第二数据包。

对所述抗丢包组进行并行解码处理，以得到所述第一数据包。

进一步地，所述对所述抗丢包组进行并行解码处理，以得到所述第一数据包包括：

在第二本地存储器中对所述抗丢包组进行并行解码处理，以得到通过解码形成的第一数据包；所述第二本地存储器用于批量载入所述抗丢包组。

通过批量处理方式将所述第一数据包从所述第二本地存储器写入第二系统内存。

进一步地，所述在第二本地存储器中对所述抗丢包组进行并行解码处理包括：

根据预先设置于所述第二本地存储器中的第二预设查找表对所述抗丢包组进行解码处理；其中，所述第二预设查找表存储于第二本地存储器的静态数据区中。

进一步地，所述对所述抗丢包组进行并行解码处理包括：

通过存储空间复用的方式在所述第二本地存储器中为并行解码过程中产生的中间数据分配存储空间。

为实现上述的技术目的，本发明还能够提供一种用于处理视频数据流的装置，该装置可包括但不限于码流读取模块、数据分割模块、数据获取模块以及数据编码模块等。

码流读取模块，用于读取视频基础码流，所述视频基础码流包括多个网络抽象层单元。

数据分割模块，用于将所述网络抽象层单元分割为第一数据包，各所述第一数据包均包括多个信号源符号。

数据获取模块，用于以第一预设数量的第一数据包为一个包组，从所述包组中的每个第一数据包中分别获取第二预设数量的信号源符号。

数据编码模块，用于对所述第二预设数量的信号源符号进行并行编码处理，以得到第二数据包。

为实现上述的技术目的，本发明能够具体提供一种计算机设备，计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如本发明任一实施例中的用于处理视频数据流的方法的步骤。

为实现上述的技术目的，本发明还能够具体提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如本发明任一实施例中所述用于处理视频数据流的方法的步骤。

本发明的有益效果为：本发明能够通过并行计算方式完成编码处理过程和解码处理过程，可极大地提高计算效率。例如编码RS（N，k）具体为RS（110，55）时，常规方式一次编码需要约56440个时钟周期；通过本发明进行并行优化处理后平均每次编码提升至约1940个时钟周期，具体一个单指令多数据单元（即64组计算）需要124156个时钟周期。可见本发明通过并行计算方式能够极大地减少编码所需时钟周期，并能够对应地减少解码所需时钟周期。

本发明能够合理规划DRAM空间，将要读取的数据批量写入DRAM中，并在DRAM的静态数据区中放置编解码所需的查找表数据，以明显减少DRAM与系统内存之间的数据交互次数，进而能避免DRAM与系统内存的多次数据读写延时导致的时间消耗。以DSP处理器平台为例，本发明能够最大程度地减少DSP DRAM与系统内存之间的数据交互，从而能够实现进一步减少编码所需时钟周期。

综上所述，本发明创新地通过并行计算和优化数据访问方式两个方面综合优化编、解码过程，以达到提升编解码处理速度等技术目的。与现有升级硬件设备的方式相比，本发明从根本上解决了编解码速度慢的问题。

附图说明

图1示出了本发明一个或多个实施例中用于处理视频数据流的方法的流程示意图。

图2示出了本发明一个或多个实施例中编码、传输以及解码的整体实现流程示意图。

图3示出了本发明一个或多个实施例中基于里德所罗门的方式进行编码的流程示意图。

图4示出了本发明一个或多个实施例中进行的并行编码处理的流程示意图。

图5示出了本发明一个或多个实施例中基于里德所罗门的方式进行解码的流程示意图。

图6示出了本发明一个或多个实施例中用于处理视频数据流的装置的结构示意图。

具体实施方式

下面结合说明书附图对本发明所提供的一种用于处理视频数据流的方法、装置、设备及存储介质进行详细的解释和说明。

如图1所示，并可结合图2至5，本发明能够提供一种用于处理视频数据流的方法，该方法可在异构芯片平台上实施，以提高编码和解码速度。本发明涉及的异构芯片例如是DSP（Digital Signal Process，数字信号处理器），本发明处理方法整体上包括但不限于数据编码过程、数据传输过程以及数据解码过程。

一、数据编码过程（Encoder）：

如图1至4所示，本发明能够采用RS（Reed-Solomon，里德所罗门）编码方式对视频基础码流（ES，Elementary Stream）进行编码。

如图2所示，读取视频基础码流，视频基础码流包括多个网络抽象层单元（NALU，Network Abstract Layer Unit）。本发明可根据网络最大传输单元（MTU，MaximumTransmission Unit）将网络抽象层单元分割为第一数据包（package），即一个package大小必须小于或等于一个MTU大小；本发明中一个数据包不会跨越两个NALU，所以可将一个NALU分割为一个或多个第一数据包。其中，本实施例中的MTU大小为1500 Bytes，则package≤1500 Bytes，图3示出的各第一数据包均包括多个信号源符号（Source Symbol，1 Symbol =m Bytes）。

以第一预设数量的第一数据包为一个包组，从包组中的每个第一数据包中分别获取第二预设数量的信号源符号，本发明中的第一预设数量具体为k，第二预设数量例如可以是64或128或32等等。本实施例中以k个第一数据包为一组（包组）、产生N-k校验包具体可包括：第二预设数量以64为例，如图3、4所示，本实施例从k个第一数据包的相同位置分别各抽取64个信号源符号。

与效率比较低的依次循环计算的方式相比，本发明对第二预设数量的信号源符号进行并行编码处理，以得到编码后的N个第二数据包，可见本发明通过并行编码计算方式极大提高了效率，本实施例中N≤255。其中，N个第二数据包既包括k个原始的第一数据包，还包括N-k个编码生成的校验包（package）。具体地，如图3所示，本实施例能够通过RS（N，k）信道编码产生N-k个校验符号（Redundancy Symbol），并将产生的N-k个校验符号分别填入N-k个校验包对应的位置，如此循环地并行编码，直至完成所有的第一数据包中所有信号源符号的编码。本发明一些实施例中，具体利用DSP并行计算的特性，可采用并行计算指令加速编码计算过程。如图3、4中所示，每次能够从k个数据包中取出64个信号源符号，组成一个SIMD Unit（Single Instruction Multiple Data Unit，单指令多数据单元），相同编号的64个信号源符号在一次编码计算中操作相同，本实施例具体可采用DSP并行向量指令进行优化处理。

本发明实施例中N、k参数是可设置的，k≤N≤2m-1，此处的m表示编码是一个符号（symbol）的比特数，4≤m≤8。

本发明最大限度地提前批量地将要读取的数据载入到DRAM中，则本发明对第二预设数量的信号源符号进行并行编码处理，以得到第二数据包能够包括：本发明具体在第一本地存储器（DRAM）中对信号源符号进行并行编码处理，得到通过编码形成的第二数据包；可见本发明第一本地存储器用于批量载入第一数据包，本实施例中第一数据包的总数据大小≤MTU*N=1500*255=382500 Bytes，且382500 Bytes小于DSP DRAM=521K Bytes，所以可将所有的第一数据包一次性载入DRAM，生成的数据（第二数据包）也先保存在DRAM中，之后再通过批量处理方式将第二数据包从第一本地存储器写入第一系统内存。

更为具体地，本发明将每次编码计算所用到的固定不变的数据放置在DRAM静态数据区，整个编码过程不再变动。其中，固定不变的数据包括指数表、对数表、生成多项式表等查找表。在第一本地存储器中对信号源符号进行并行编码处理包括：根据预先设置于第一本地存储器中的多个第一预设查找表对信号源符号进行编码处理。

其中，本发明一些实施例的第一预设查找表存储于第一本地存储器的静态数据区中，第一预设查找表具体可包括但不限于用于编码的指数表、对数表以及生成多项式表。

本发明一个或多个实施例的编码过程中SIMD并行计算宽度为64，所以SIMD Unit所占用空间最大为64*1500=96000 Bytes。虽然移位操作控制结构体也需要占用一定空间，但累计的空间小于DSP DRAM空间，因此本发明一个包组的整个RS编码过程都可以直接在DSP DRAM空间进行，中间过程无需与系统空间进行数据交互，从而可大大减少内存数据交互所消耗的时间。

应当理解的是，本发明一个或多个实施例中的DRAM即Data RAM，全称为DataRandom Access Memory，即本发明中的本地存储器。

二、数据传输过程（Transmit）：

如图1所示，对视频基础码流进行编码后将通过编码方式得到的第二数据包进行传输，具体将编码得到的N个数据包（包括k个原始的第一数据包和N-k个编码生成的校验包）发送出去。在一次编解码流程中，由编码端设备对数据进行编码后，将编码完成的数据传输至解码端设备，由解码端设备对收到的数据进行解码。应当理解的是，在一台编解码设备上可同时集成编码功能和解码功能。

三、数据解码过程（Decoder）：

如图1、5所示，接收基于被传输后的第二数据包形成的抗丢包组，抗丢包组包括第三预设数量的第二数据包。本发明中抗丢包组中包括X个有效数据包，即本实施例中第三预设数量为X，待恢复的丢失数据包数量为N-X。与编码方式相对应，本发明能够采用RS（Reed-Solomon，里德所罗门）解码方式对收到的抗丢包组进行解码。

对抗丢包组进行并行解码处理，以得到第一数据包，从而实现恢复所丢失的数据包，得到需要的有效数据包，实现恢复其余的N-X个丢失的数据包，并在解码后输出所有的有效数据包。

本发明一些实施例将X个有效数据包从外部系统载入到DSP DRAM中，对抗丢包组进行并行解码处理，以得到第一数据包包括：在第二本地存储器中对抗丢包组进行并行解码处理，以得到通过解码形成的第一数据包。具体地，本发明能够分别对X个有效数据包进行移位操作，从每个数据包中获取64个m比特的符号（symbol），填入SIMD Unit中；然后对SIMD Unit中的数据采用并行里德所罗门解码计算，将恢复的丢失数据填入SIMD Unit相应位置，最后进行移位操作，将SIMD Unit中恢复的数据填入到丢失数据包的相应位置，直至将数据包中的所有符号（symbol）都处理完成，即完成了一个抗丢包组的解码。

本发明第二本地存储器能够用于批量载入抗丢包组，并能够通过批量处理方式将第一数据包从第二本地存储器写入第二系统内存。

更为具体地，本发明可将指数表、对数表及生成多项式表等事先置于DRAM静态数据区，整个抗丢包数据流解码过程中不再变动。然后再划分解码端DRAM剩余的空间，原始的抗丢包组数据和待恢复的包数据最大占用空间可如上述的382500 Bytes，SIMD Unit最大占用空间可如上述的96000 Bytes，即同编码过程，解码过程中SIMD并行计算宽度也为64。本发明解码过程中使用的移位操作控制结构体以及丢失数据位置记录占用一小部分空间。

本实施例将指数在第二本地存储器中对抗丢包组进行并行解码处理包括：根据预先设置于第二本地存储器中的第二预设查找表对抗丢包组进行解码处理；其中，第二预设查找表存储于第二本地存储器的静态数据区中，第二预设查找表包括但不限于用于解码的指数表、对数表以及生成多项式表。

为解决解码过程中产生较多的中间数据可能会超出DRAM所剩空间的问题，本发明一些实施例对抗丢包组进行并行解码处理还可包括：通过存储空间复用的方式，在第二本地存储器中为在并行解码过程中产生的中间数据分配存储空间，以提高DRAM的存储空间利用率，进而减少甚至避免解码过程中DRAM与系统内存之间的数据交互过程。例如数据r生成数据s后，数据r不再使用，则其他数据t等能够复用为数据r分配的DRAM空间。当然，在本发明方案基础上也可根据（N，k）参数灵活调整DRAM空间使用，这是因为有些中间数据大小是根据RS参数动态变化的；在极端的情况下，本发明可根据实际情况将占用较大空间的中间数据灵活地设置于DRAM空间或系统内存中，以提高本发明的可靠性；在常规情况下进行的一般的参数设置时，将所有中间数据设置于DRAM空间内即可，实现通过减少数据读写延时的方式提高解码速度。

应当理解的是，当有效数据包的数量X≥k时可正常实现数据解码、恢复丢失数据包；当X＜k时包组修复异常。

综上，本发明能够通过并行计算和内存优化进行编码和解码加速。本发明在进行RS编解码计算过程中能够利用DSP的加速计算特性，采用DSP内置指令实现并行计算，提高编解码计算的效率。本发明在进行RS编解码计算过程中，能够合理规划所选DSP的Data RAM（DRAM）空间，减少DRAM与系统内存之间的数据交互次数，避免多次的数据读写延时带来的时间消耗，以极大提升编解码处理速度。可见本发明能够有效克服常规RS编解码抗丢包处理方法在多核异构平台的运行速度过慢的问题。

如图6所示，本发明还有一个或多个实施例可提供一种用于处理视频数据流的装置，该装置具体为一种用于对视频数据流进行编码的视频数据流编码装置。

该装置包括但不限于码流读取模块、数据分割模块、数据获取模块以及数据编码模块。

码流读取模块用于读取视频基础码流，视频基础码流可包括多个网络抽象层单元。

数据分割模块用于将网络抽象层单元分割为第一数据包，各第一数据包均包括多个信号源符号。

数据获取模块用于以第一预设数量的第一数据包为一个包组，从包组中的每个第一数据包中分别获取第二预设数量的信号源符号。

数据编码模块用于对第二预设数量的信号源符号进行并行编码处理，以得到第二数据包。

数据编码模块具体用于在第一本地存储器中对信号源符号进行并行编码处理，得到通过编码形成的第二数据包；第一本地存储器用于批量载入第一数据包。数据编码模块可用于通过批量处理方式将第二数据包从第一本地存储器写入第一系统内存。更为具体地，数据编码模块用于根据预先设置于第一本地存储器中的第一预设查找表对信号源符号进行编码处理；其中，第一预设查找表存储于第一本地存储器的静态数据区中。

本发明还可提供一种用于对视频数据流进行编码的视频数据流解码装置，该解码装置可包括但不限于数据接收模块和数据解码模块。

数据接收模块用于接收基于被传输后的第二数据包形成的抗丢包组，抗丢包组包括第三预设数量的第二数据包。

数据解码模块可用于对抗丢包组进行并行解码处理，以得到第一数据包。数据解码模块具体用于在第二本地存储器中对抗丢包组进行并行解码处理，以得到通过解码形成的第一数据包；第二本地存储器用于批量载入抗丢包组。本发明通过批量处理方式将第一数据包从第二本地存储器写入第二系统内存。更为具体地，数据解码模块可用于根据预先设置于第二本地存储器中的第二预设查找表对抗丢包组进行解码处理；其中，第二预设查找表存储于第二本地存储器的静态数据区中。数据解码模块还可用于通过存储空间复用的方式在第二本地存储器中为并行解码过程中产生的中间数据分配存储空间。

可见本发明还能够提供一种RS抗丢包系统，该系统包括用于对视频数据流进行编码的视频数据流编码装置和用于对视频数据流进行编码的视频数据流解码装置。

本发明还有一些实施例能够提供一种计算机设备，该计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本发明任一实施例中用于处理视频数据流的方法的步骤。本发明中用于处理视频数据流的方法整体上可包括数据编码过程、数据传输过程以及数据解码过程。一、数据编码过程：读取视频基础码流，视频基础码流包括多个网络抽象层单元；将网络抽象层单元分割为第一数据包，各第一数据包均包括多个信号源符号；以第一预设数量的第一数据包为一个包组，从包组中的每个第一数据包中分别获取第二预设数量的信号源符号；对第二预设数量的信号源符号进行并行编码处理，以得到第二数据包。其中，对第二预设数量的信号源符号进行并行编码处理，以得到第二数据包包括：在第一本地存储器中对信号源符号进行并行编码处理，得到通过编码形成的第二数据包；第一本地存储器用于批量载入第一数据包；通过批量处理方式将第二数据包从第一本地存储器写入第一系统内存。更为具体地，在第一本地存储器中对信号源符号进行并行编码处理包括：根据预先设置于第一本地存储器中的第一预设查找表对信号源符号进行编码处理；其中，第一预设查找表存储于第一本地存储器的静态数据区中。二、数据传输过程：对视频基础码流进行编码后，将通过编码方式得到的第二数据包进行传输。三、数据解码过程：接收基于被传输后的第二数据包形成的抗丢包组，抗丢包组包括第三预设数量的第二数据包；对抗丢包组进行并行解码处理，以得到第一数据包。本发明对抗丢包组进行并行解码处理，以得到第一数据包包括：在第二本地存储器中对抗丢包组进行并行解码处理，以得到通过解码形成的第一数据包；第二本地存储器用于批量载入抗丢包组；通过批量处理方式将第一数据包从第二本地存储器写入第二系统内存。更为具体地，在第二本地存储器中对抗丢包组进行并行解码处理包括：根据预先设置于第二本地存储器中的第二预设查找表对抗丢包组进行解码处理；其中，第二预设查找表存储于第二本地存储器的静态数据区中。本发明一些实施例对抗丢包组进行并行解码处理包括：通过存储空间复用的方式在第二本地存储器中为并行解码过程中产生的中间数据分配存储空间。

本发明另一些实施例还能够提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明任一实施例中用于处理视频数据流的方法的步骤。本发明中用于处理视频数据流的方法整体上可包括数据编码过程、数据传输过程以及数据解码过程。一、数据编码过程：读取视频基础码流，视频基础码流包括多个网络抽象层单元；将网络抽象层单元分割为第一数据包，各第一数据包均包括多个信号源符号；以第一预设数量的第一数据包为一个包组，从包组中的每个第一数据包中分别获取第二预设数量的信号源符号；对第二预设数量的信号源符号进行并行编码处理，以得到第二数据包。其中，对第二预设数量的信号源符号进行并行编码处理，以得到第二数据包包括：在第一本地存储器中对信号源符号进行并行编码处理，得到通过编码形成的第二数据包；第一本地存储器用于批量载入第一数据包；通过批量处理方式将第二数据包从第一本地存储器写入第一系统内存。更为具体地，在第一本地存储器中对信号源符号进行并行编码处理包括：根据预先设置于第一本地存储器中的第一预设查找表对信号源符号进行编码处理；其中，第一预设查找表存储于第一本地存储器的静态数据区中。二、数据传输过程：对视频基础码流进行编码后，将通过编码方式得到的第二数据包进行传输。三、数据解码过程：接收基于被传输后的第二数据包形成的抗丢包组，抗丢包组包括第三预设数量的第二数据包；对抗丢包组进行并行解码处理，以得到第一数据包。本发明对抗丢包组进行并行解码处理，以得到第一数据包包括：在第二本地存储器中对抗丢包组进行并行解码处理，以得到通过解码形成的第一数据包；第二本地存储器用于批量载入抗丢包组；通过批量处理方式将第一数据包从第二本地存储器写入第二系统内存。更为具体地，在第二本地存储器中对抗丢包组进行并行解码处理包括：根据预先设置于第二本地存储器中的第二预设查找表对抗丢包组进行解码处理；其中，第二预设查找表存储于第二本地存储器的静态数据区中。本发明一些实施例对抗丢包组进行并行解码处理包括：通过存储空间复用的方式在第二本地存储器中为并行解码过程中产生的中间数据分配存储空间。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM，Random Access Memory），只读存储器（ROM，Read-Only Memory），可擦除可编辑只读存储器（EPROM，Erasable Programmable Read-Only Memory，或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM，Compact Disc Read-Only Memory）。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA，Programmable Gate Array），现场可编程门阵列（FPGA，Field Programmable Gate Array）等。

在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。