一种基于可重构的多视频编码加速设计的方法及系统

技术领域

本发明涉及视频编码技术领域，具体而言，涉及一种基于可重构的多视频编码加速设计的方法及系统。

背景技术

随原始的视频由于包含非常庞大的数据量，在高帧率、高清晰度数字视频普及的今天，日趋流行的超高清视频将使得视频数据量以及存储代价变得更加惊人。巨大的视频数据量在网络中也难以实现实时地传输。为了更加高效地传输和存储视频信息，减轻视频文件的通信与处理压力，业界一直在不断探索新的压缩编码思路。

视频压缩通过一组对应的编码器来实现。其中编码器的作用是通过一定的技术降低或消除视频图像的空间冗余、时间冗余和结构冗余以及统计冗余，从而将视频转换成压缩后的数据形式，以便于传输和存储。压缩的视频数据在调取时，需要相应的解码器将其还原为原始视频图像，例如各种视频播放器的核心就是一组支持不同编码格式的解码器。视频编码技术是目前降低视频存储与网络传输成本的关键。

在今天不断追求提高网络速度，降低带宽成本的需求下，ITU-T和ISO/IEC的工作组合作研究，于2010年初成立了联合视频工作组开始寻求现有编码标准的替代方案，最终推出了高效视频编码标准HEVC即H.265，这一标准无论在功能还是性能上己经全面突破了的诸多瓶颈，相比H.264以及更早期的经典编码方案均展现出明显的对比优势。虽然标准已经正式公布，但是业界对新标准的理论研宄和应用改进一直没有间断。在理论研究方面，新标准引进或扩展了很多编码技术，如扩展的编码块尺寸、基于块的灵活的桢间帧内预测方式、高精度运动补偿插值、大尺寸块的变换、更加复杂的滤波器。实际应用中，被越来越多的企业和行业所接受。

但H.265带来了远高于压缩效率的同时也造成了编码难度的成倍增加，巨大的计算复杂度一直是困扰在实际应用中推广的难题，据测试，相比H.264，虽然H.265的压缩效率比提高了1倍，但其计算负荷却增加了2到4倍甚至更多。同时，近年来业界针对不同特征的视频场景，研究设计了可动态调整的编码算法，例如根据图像的纹理分布或视频序列间图像的波动变化特征，通过调整帧内编码与帧间编码的方案细节，可以获得更优的编码效率。而繁多的帧内与帧间预测模式、复杂的预测模式选择以及对所有尺寸的遍历判断使得编码的计算复杂度大幅增加，也不可能通过人工的方式对现实场景中的所有视频流逐一分析。因此，如何通过设计一套自适应的灵活系统，在保证不影响解码的同时改进现有的编码方案，提高编码速度，降低计算复杂度，借助于FPGA硬件平台对编码的计算处理工作进行加速，并针对不同场景、不同的视频流特征，实时地调整加速方案，获得最高的编码效率，同时保持原有的优越的压缩率和视频编码质量，是目前业界研究的热点之一，也是本发明所重点关注的内容。

在复杂多变的环境中应用时，现有的基于通用CPU的软件编码的方案灵活多变但效率低下，基于ASIC固定硬件编码方案中系统虽然高效，具备很好的加速性能，但无法灵活、自适应地根据场景特征变换实时选择最优的硬件加速方案细节。

发明内容

鉴于此，为解决上述技术问题，本发明提供了一种基于可重构的多视频编码加速设计的方法及系统，面向H.265标准的视频流数据的编码场景及各种帧内编码和帧间编码策略，通过FPGA平台实现，FPGA内部包括静态逻辑区与动态逻辑区，可以根据需要动态加载相应的比特流可重构配置文件，解决了现有各种方案均无法兼顾系统灵活性与高效率的问题。

本发明提供一种基于可重构的多视频编码加速设计的方法，其特征在于，包括以下步骤：

S1、接收所需处理的视频流原始数据，编码处理并发送，和/或接受已编码的视频流；

通过数据通信通路，检测待编码的原始视频信息流的图像空间相关性、图像亮度分布规律、率失真代价多项特征，提取编码单元划分、帧内以及帧间预测编码参考信息，提交至可重构控制中心；

S2、对所述视频流原始数据进行解析检测，并检测编码处理后的视频流的编码信息，和/或对于所述已编码的视频流进行检测，提取必要信息；

通过数据通信通路，对于待编码的视频流原始数据，通过检测其图像空间相关性、图像亮度分布规律、率失真代价特征，提取编码单元划分、帧内以及帧间预测编码参考信息，提交至可重构控制中心；

对于已编码的视频流的编码信息，直接提取视频流的编码信息，提交至可重构控制中心；

S3、基于提取的必要信息，通过可重构控制中心编码生成可重构比特流文件；

不同的帧内编码和帧间编码策略将对应不同的比特流文件；而在FPGA的动态区资源充足，且需要高性能编码处理的场景时，则可加载基于特征点分析和代价统计的帧内编码快速算法所对应的比特流文件，将图像的特征点和局部代价相结合，首先利用分类器，以统计的角点信息为参数，确定图像的编码尺寸范围，进而在帧内编码过程中，利用与基于直方图分析和RD代价统计的帧内编码快速算法相同的代价比较的方式，提前确定的尺寸，从而取得更高的编码性能；

S4、通过动态区接入将可重构比特流文件写入动态逻辑区，并实时反馈动态逻辑区的运行状态信息；

选择从存储模块中加载相应硬件加速的比特流文件，并通过动态区接入模块，写入到动态逻辑区，同时实时监控动态逻辑区中各个逻辑模块的运行状态；

S5、存储动态区接入后的各个可重构比特流文件；

S6、根据场景需求，实时动态地加载配置相应的可重构比特流文件；

针对不同帧内编码与帧间编码策略的组合方案，设计相对应的硬件加速实现方案，并固化为比特流文件，以供系统根据原始视频的特征选择灵活加载配置。

优选地，当系统工作在编码状态下时，通过对所输入的原始视频进行分析，获取视频流数据的各项参数，发掘原始视频流数据所包含的时间相关性、空间相关性、统计相关性重要信息，通过对视频流特征的评估分析选择最合适的帧内编码与帧间编码方案细节，

优选地，自适应地选择最佳的编码单元大小、调整预测方案，同时加载与最佳编码方案相对应的可重构比特流文件对动态逻辑区进行配置重构，进行视频编码的硬件加速。

进一步地，所述S2步骤中的对所述视频流原始数据进行解析检测，提取必要信息的过程包括：对于视频流原始数据通过检测其图像空间相关性、图像亮度分布规律、率失真代价特征，提取编码单元划分、帧内以及帧间预测编码的参考信息。

进一步地，所述S4步骤中，所述将可重构比特流文件写入动态逻辑区的步骤包括：通过可重构控制中心综合编码单元划分、帧内以及帧间预测编码的参考信息，选择加载相应可重构比特流文件，通过动态区接入，写入到动态逻辑区，同时实时监控动态逻辑区中反馈的运行状态信息。

本发明还提供一种基于可重构的多视频编码加速设计的方法的系统，其特征在于，包括：

数据包通信通路：用于通过数据包通信，接收所需处理的视频流原始数据及发送处理后数据；

视频信息提取及分析模块：用于对输入进系统的视频流原始数据进行解析检测，和/或检测已编码的视频流的编码信息，提取视频流数据的必要信息；

可重构控制中心模块：基于视频信息提取及分析模块所提取的必要信息，选择最佳的编码方案；

动态区接入模块：用于作为可重构比特流文件的写入通路，并实时反馈动态逻辑区域的运行状态信息；

存储模块：用于存储各个可重构比特流文件；

动态加载模块：实时动态地加载配置相应的可重构比特流文件。

进一步地，所述数据包通信通路包括数据输入及输出通路，所述数据输入及输出通路包括：用于数据发送方和数据接收方进行交流和沟通的数据通信硬件部件以及所遵循的传输协议。

进一步地，所述数据通信硬件部件包括：高速差分收发IO、光纤转换接口以及集成8B/10B单元。

进一步地，所述传输协议为Aurora点对点协议栈、以太网+TCP/IP网络协议栈中的其中一种。

与现有技术相比，本发明的有益效果是：

本发明通过简单的逻辑判断完成了比较高效地编码，实现简单，计算量小，节省资源与运行功耗无需复杂的数据结构和过多额外的空间开销；同时，动态逻辑区在重构之后的运行阶段，也将反馈运行性能相关参数，以便及时调整编码策略；

本发明的视频流信息编码方案通过创造性的发掘视频相关性特征信息，结合可重构技术手段，兼顾了灵活性与高效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

在附图中：

图1为本发明基于可重构的多视频编码加速设计的系统的流程图；

图2为本发明实施例的总体流程图；

图3为本发明的可重构整体框架图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明提供了一种基于可重构的多视频编码加速设计的系统及方法，面向H.265标准的视频流数据的编码场景及各种帧内编码和帧间编码策略，通过FPGA平台实现，FPGA内部包括静态逻辑区与动态逻辑区，可以根据需要动态加载相应的比特流可重构配置文件，解决了现有各种方案均无法兼顾系统灵活性与高效率的问题。

本发明实施例一种基于可重构的多视频编码加速设计的方法，参阅图1所示，包括以下步骤：

S1、接收所需处理的视频流原始数据，编码处理并发送，和/或接受已编码的视频流；

通过数据通信通路，检测待编码的原始视频信息流的图像空间相关性、图像亮度分布规律、率失真代价多项特征，提取编码单元划分、帧内以及帧间预测编码参考信息，提交至可重构控制中心；

S2、对所述视频流原始数据进行解析检测，并检测编码处理后的视频流的编码信息，和/或对于所述已编码的视频流进行检测，提取必要信息；

通过数据通信通路，对于待编码的视频流原始数据，通过检测其图像空间相关性、图像亮度分布规律、率失真代价特征，提取编码单元划分、帧内以及帧间预测编码参考信息，提交至可重构控制中心；

对于已编码的视频流的编码信息，直接提取视频流的编码信息，提交至可重构控制中心；

S3、基于提取的必要信息，通过可重构控制中心编码生成可重构比特流文件，参阅图2所示；

不同的帧内编码和帧间编码策略将对应不同的比特流文件；而在FPGA的动态区资源充足，且需要高性能编码处理的场景时，则可加载基于特征点分析和代价统计的帧内编码快速算法所对应的比特流文件，将图像的特征点和局部代价相结合，首先利用分类器，以统计的角点信息为参数，确定图像的编码尺寸范围，进而在帧内编码过程中，利用与基于直方图分析和RD代价统计的帧内编码快速算法相同的代价比较的方式，提前确定的尺寸，从而取得更高的编码性能；

S4、通过动态区接入将可重构比特流文件写入动态逻辑区，并实时反馈动态逻辑区的运行状态信息；

选择从存储模块中加载相应硬件加速的比特流文件，并通过动态区接入模块，写入到动态逻辑区，同时实时监控动态逻辑区中各个逻辑模块的运行状态；

S5、存储动态区接入后的各个可重构比特流文件；

S6、根据场景需求，实时动态地加载配置相应的可重构比特流文件，参阅图3所示；

针对不同帧内编码与帧间编码策略的组合方案，设计相对应的硬件加速实现方案，并固化为比特流文件，以供系统根据原始视频的特征选择灵活加载配置。

优选地，当系统工作在编码状态下时，通过对所输入的原始视频进行分析，获取视频流数据的各项参数，发掘原始视频流数据所包含的时间相关性、空间相关性、统计相关性重要信息，通过对视频流特征的评估分析选择最合适的帧内编码与帧间编码方案细节，

优选地，自适应地选择最佳的编码单元大小、调整预测方案，同时加载与最佳编码方案相对应的可重构比特流文件对动态逻辑区进行配置重构，进行视频编码的硬件加速。

所述S2步骤中的对所述视频流原始数据进行解析检测，提取必要信息的过程包括：对于视频流原始数据通过检测其图像空间相关性、图像亮度分布规律、率失真代价特征，提取编码单元划分、帧内以及帧间预测编码的参考信息。

所述S4步骤中，所述将可重构比特流文件写入动态逻辑区的步骤包括：通过可重构控制中心综合编码单元划分、帧内以及帧间预测编码的参考信息，选择加载相应可重构比特流文件，通过动态区接入，写入到动态逻辑区，同时实时监控动态逻辑区中反馈的运行状态信息。

本发明还提供一种基于可重构的多视频编码加速设计的方法的系统，其特征在于，包括：

数据包通信通路：用于通过数据包通信，接收所需处理的视频流原始数据及发送处理后数据；

视频信息提取及分析模块：用于对输入进系统的视频流原始数据进行解析检测，和/或检测已编码的视频流的编码信息，提取视频流数据的必要信息；

可重构控制中心模块：基于视频信息提取及分析模块所提取的必要信息，选择最佳的编码方案；

动态区接入模块：用于作为可重构比特流文件的写入通路，并实时反馈动态逻辑区域的运行状态信息；

存储模块：用于存储各个可重构比特流文件；

动态加载模块：实时动态地加载配置相应的可重构比特流文件。

所述数据包通信通路包括数据输入及输出通路，所述数据输入及输出通路包括：用于数据发送方和数据接收方进行交流和沟通的数据通信硬件部件以及所遵循的传输协议。

所述数据通信硬件部件包括：高速差分收发IO、光纤转换接口以及集成8B/10B单元。

所述传输协议为Aurora点对点协议栈、以太网+TCP/IP网络协议栈中的其中一种。

与现有技术相比，本发明的有益效果是：

本发明通过简单的逻辑判断完成了比较高效地编码，实现简单，计算量小，节省资源与运行功耗无需复杂的数据结构和过多额外的空间开销；同时，动态逻辑区在重构之后的运行阶段，也将反馈运行性能相关参数，以便及时调整编码策略；

本发明的视频流信息编码方案通过创造性的发掘视频相关性特征信息，结合可重构技术手段，兼顾了灵活性与高效率。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、同替换、改进，均应包含在本发明的保护范围之内。