用于选择用于填补的帧内预测模式的装置

技术领域

本申请涉及视频编码/解码。

背景技术

自从H.261以来，所有视频编码标准，包括目前先进技术ITU T H.265|MPEG HHEVC视频编码标准(参考1：ITU-T及ISO/IEC。高效视频编码。ITU-T推荐H.265|ISO/IEC23008 10(HEVC)，第1版，2013年；第2版，2014年)，皆依赖于基于块的混合视频编码的基本概念。此处，将针对每一颜色分量的输入信号分段成不相交块，使用混合视频编码方案基于预测、变换、量化及熵编码来编码所述块。因此，编码及解码算法中的第一步骤中的一个是产生用于当前块的预测信号，这是通过空间或时间预测方案来执行的。在时间预测的情况下，从已经处理的帧得出预测信号，将所述帧表示为参考帧。为此目的，位移向量指定参考帧中的预测信号相对于当前编码块的位置的偏移。此时间预测方案也称为平移运动补偿的预测。在此意义上，将位移向量表示为运动向量。

为了允许具有子像素精确度的运动向量，使用内插滤波器计算预测信号。此外，预测信号可通过多个预测信号的叠加来组合，每一预测信号由不同运动向量和/或不同参考帧指定。独立于预测信号的最终计算及组成，基本原理保持相同。参考帧内的参考块的区域由当前编码块的按照额外运动向量位移后的位置及尺寸确定。在使用内插滤波器的情形中，此区域必须依据使用的滤波器抽头的数目而扩展至每一侧。随后，参考块的区域内的像素被用于产生所述当前编码块的时间预测信号。通常，参考块的区域位于重构的参考帧内。然而，参考块的区域可不与重构的帧的区域完全重叠，这意味着被参考像素区域的部分可位于参考帧区域之外。

在当前视频编码标准中，用于处理被参考部分，即位于参考图像外部的被参考像素区域，即参考帧区域的基本方法是限制运动向量或扩展参考帧区域。举例而言，在H.261中，运动向量在图像界线处受限制，使得被参考的所有像素在参考帧区域内，即，位于参考帧的边界内的参考图像的样本部分的所有样本。替代地，在H.264/H.265中，使用叫作界线填补(boundary padding)的过程来扩展已重构的参考帧，如在图16中所示出。即，将界线像素(边界样本110)复制至填补区域(在参考图像101外的区域)内，这可被视为垂直于帧边界106的边界像素的帧内预测。此处，在参考帧的边缘处，额外地将边缘像素复制至在参考帧101区域外的其余区域，所述区域紧靠着如图16中所示出的边缘像素。

另外，当处理使用全向投影将相机周围映像至矩形视频图像平面上的被称为全向或360°视频的特定视频内容时，界线填补的已知方法是有利的。用于此类内容的广泛使用的格式中的一种格式是基于等矩形投影(ERP，equirectangular projection)。全向内容允许在图像界线外的具有正确内容的填充区域，因为正确内容是按定义描绘于同一图像中其他处。水平地描绘360°的ERP视频内容的任一垂直图像界线可通过复制来自于相对的垂直图像界线的样本来填补。然而，水平图像界线，尤其在垂直视角提供不全面的覆盖的情形中，展现不同特性。

在图17中，示出具有360°水平覆盖角度且小于180°垂直覆盖角度的示例性ERP视频帧，即，从0°处的赤道向下仅30°视角。虽然针对垂直图像界线中的任一个的最佳填补是使用来自相对的垂直图像侧的样本构成的，但用虚线标记的顶部及底部水平图像界线却展现与具有有限视场的典型矩形视频的图像界线类似的特性，且因此受益于本文中描述的多模式界线填补。因此，本发明的一个方面是针对每一图像界线来改变填补模式，例如，取决于内容特性的知识或如在位流中以信号方式传递的。

在许多情况下，帧边界像素的简单垂直延伸导致连续部，其并不是很好地近似当前预测块。通过使用不同帧内预测模式(例如，角度、DC或平面预测等)扩展参考帧边界，实现较好的连续部。可用于边界延伸的示例性帧内预测模式是来自如在参考文献1中所描述的H.265或来自如在参考文献2(J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce，联合探索测试模型7(JEM 7)的算法描述，JVET，doc.JVET-G1001，2017年7月)中所描述的联合探索测试模型(JEM)的帧内预测模式。此外，在此方法的未来实施例中，也可使用未来帧内预测模式来延伸参考边界。帧边界的空间延伸的模式取决于当前预测块的特性。因此，必须从多角度帧内预测模式的集合中挑选/选择某一角度帧内预测模式以产生预测信号，这提供了当前预测块的最佳近似。

发明内容

因此，本发明的目的是提供一种视频编解码器，被配置为执行界线填补以改进时间帧间预测的质量。

此目的是通过本申请的权利要求的主题实现的。

本申请下的基本构思为，通过选择用于填补的最适当帧内预测模式来实现时间帧间预测的质量改进。这可以是基于当前预测块的特性，从多个此类帧内预测模式之中选择角度帧内预测模式。

根据实施例，基于在被参考部分与边界交叉的参考图像的边界的一部分处的参考图像的区域的评估来选择待用于填补的角度帧内预测模式。所述评估是通过针对多个角度帧内预测模式的至少一个子集中的每一个进行以下操作来执行的：基于在边界的部分处的参考图像的边界样本，沿着与关联于相应角度帧内预测模式的填充方向相反的方向，对与边界样本相比位置更远离边界的探测区域进行填充，以获得探测填充；以及，将所述探测填充与所述探测区域的经重构填充进行比较，以测量它们之间的相似性。因此，所述选择是基于当前预测块的特性执行的，且因此，有可能提供当前预测块的最佳近似且改进预测质量。

根据本申请的实施例，基于被参考部分的在参考图像外的区域的预测结果选择待用于填补的角度帧内预测模式。所述被参考部分被当前图像的帧间预测块参考。因此，取决于所述区域的特性选择所述角度帧内预测模式，且因此，有可能选择用于填补的最适当角度帧内预测模式。此外，还可以作为由用于帧内预测块的编解码器支持的支持角度帧内预测模式的子集，以信号方式传递用于预测区域的多个使用的角度帧内预测模式。

附图说明

通过权利要求的编解码器来实现进一步的优势。下文中关于诸图来描述本申请的优选实施方式，在诸图中：

图1示出作为用于视频解码器的示例的用于预测性地对视频进行编码的装置的框图，其中可实施用于根据本申请的实施例的填补概念的角度帧内预测模式的选择；

图2示出作为用于视频解码器的示例的用于预测性地对视频进行解码的装置的框图，所述装置配合图1的装置，其中可实施用于根据本申请的实施例的填补概念的角度帧内预测模式的选择；

图3示出图示预测残余信号、预测信号和重构信号之间的关系的示例的示意图，以便图示设定分别用于定义预测信号、处理预测残余信号及类似操作的细分的可能性；

图4示出图示用于本申请的实施例的角度帧内预测模式的示例的示意图；

图5示出图示根据本申请的实施例的计算优选界线填补侧的示例的示意图；

图6示出图示根据本申请的实施例的计算优选界线填补侧的另外的示例的示意图；

图7示出图示根据本申请的实施例的探测区域的示例的示意图；

图8示出图示根据本申请的实施例的用于描述定义探测区域的过程的示例的示意图；

图9示出根据本申请的实施例探测区域坐标的得出的样本表；

图10示出图示根据本申请的实施例的用于边界延伸参考块的运动向量剪切的示例的示意图；

图11示出图示根据本申请的实施例的在运动向量剪切的上下文中的模板区域导出的示例的示意图；

图12示出图示根据本申请的实施例的适应性块尺寸的运动向量剪切的示例的示意图；

图13及图14示出图示根据本申请的基于在参考图像外部的被参考部分的区域的预测结果选择的待用于填补的角度帧内预测模式的示意图；

图15示出图示根据本申请的实施例的两个独立空间分段之间的水平边界的示例的示意图；

图16示出图示垂直预测以解释目前先进技术的示意图；

图17示出具有360°水平覆盖角度及小于180°垂直覆盖角度的视频帧的样本图像。

具体实施方式

以下对附图的描述开始于提供对于用于视频图像的代码化的基于块的预测性编解码器的视频编码器和视频解码器的描述，以形成可在其中内置组合预测(composedprediction)编解码器的实施例的代码化框架的示例。关于图1至图3来描述该视频编码器和视频解码器。其后，提供对于本申请的组合预测概念的实施例的描述，连同关于如何可将此类概念分别内置于图1和图2的视频编码器及解码器内的描述，不过利用后续的图4和后续附图描述的实施例也可用于形成不根据图1及图2的视频编码器和视频解码器下层的编码框架进行操作的视频编码器和视频解码器。

图1示出用于预测性地将由图像12的序列组成的视频11编码到数据流14中的装置。为此目的，使用逐块预测性编码。另外，示例性地使用了基于变换的残余编码。使用附图标记10来指示所述装置或编码器。图2示出对应的解码器20，即，被配置为预测性地从数据流14中解码出以图像块的形式由图像12'组成的视频11'的装置20，此处也是示例性地使用了基于变换的残余解码，其中已使用撇号来表示：从由预测残余信号的量化引入的编码损失来讲，由解码器20重构的图像12'及视频11'分别偏离原先由装置10编码的图像12。图1及图2示例性地使用基于变换的预测残余编码，但本申请的实施例不限于这种预测残余编码。对于关于图1及图2描述的其他细节也是如此，如将在下文概述的。

编码器10被配置为使预测残余信号经受空间至频谱变换，且将因此获得的预测残余信号编码到数据流14中。类似地，解码器20被配置为从数据流14中解码出所述预测残余信号，且使因此获得的预测残余信号经受频谱至空间变换。

在内部，编码器10可包括预测残余信号形成器22，所述预测残余信号形成器22产生预测残余24，以便测量预测信号26相对于原始信号(即，视频11或当前图像12)的偏差。预测残余信号形成器22可例如是从原始信号(即，当前图像12)中减去预测信号的减法器。编码器10接着进一步包括变换器28，所述变换器28使预测残余信号24经受空间至频谱变换，以获得谱域预测残余信号24'，所述谱域预测残余信号24'接着经受也由编码器10包括的量化器32进行的量化。将由此量化后的预测残余信号24”编码到位流14中。为此目的，编码器10可选地包括熵编码器34，所述熵编码器34将变换和量化后的预测残余信号熵编码到数据流14中。预测残余26是由编码器10的预测级36基于已被解码成数据流14且可从数据流中解码出的预测残余信号24”产生。为此目的，如图1中所示，预测级36可在内部包括：反量化器38，其对预测残余信号24”进行反量化以便获得谱域预测残余信号24”'，所述谱域预测残余信号24”'除量化损失以外对应于信号24'；接着是逆变换器40，其使后一预测残余信号24”'经受逆变换，即，频谱至空间变换，以获得除量化损失以外对应于原始预测残余信号24的预测残余信号24””。预测级36的组合器42接着诸如通过相加，将预测信号26和预测残余信号24””再组合，以便获得重构信号46，即，原始信号12的重构。重构信号46可对应于信号12'。

预测级36的预测模块44接着通过使用例如空间预测(即，帧内预测)和/或时间预测(即，帧间预测)基于信号46产生预测信号26。与此有关的细节描述于下文中。

类似地，解码器20可在内部包括与预测级36对应、且以与预测级36对应的方式互连的组件。特别是，解码器20的熵解码器50可从数据流中熵解码出经量化的谱域预测残余信号24”，接着以上文关于预测级36的模块描述的方式互连及合作的反量化器52、逆变换器54、组合器56及预测模块58基于预测残余信号24”恢复重构信号，以使得如图2中所示，组合器56的输出得到重构信号，即，视频11'或其当前图像12'。

虽然以上未具体描述，但易于明白的是，编码器10可根据某一优化方案，诸如以优化某一速率及失真相关准则(即，编码成本)和/或使用某一速率控制的方式，设定一些编码参数，包括例如预测模式、运动参数及类似者。如下文更详细地描述，编码器10及解码器20及对应模块44、58分别支持不同预测模式，诸如帧内编码模式及帧间编码模式，所述预测模式形成原始预测模式的一种集合或池，图像块的预测是基于所述原始预测模式以在下文中更详细描述的方式组合的。编码器及解码器在这些预测组成之间切换的粒度可对应于图像12及12'分别划分成块的细分。应注意，这些块中的一些可以是仅仅帧内编码的块，且一些块可以是仅仅帧间编码的块，并且可选地，甚至其他块可以是使用帧内编码及帧间编码两者获得的块，但细节将在下文阐述。根据帧内编码模式，用于块的预测信号是基于相应块的空间的、已编码/解码的相邻块获得的。可存在若干帧内编码子模式，在所述帧内编码子模式之中的选择类似于表示一种帧内预测参数。可存在方向性或角度帧内编码子模式，根据所述帧内编码子模式，针对相应块的预测信号是通过将相邻块的样本值沿着专用于相应方向性帧内编码子模式的某一方向外插到相应块中来填充的。所述帧内编码子模式可例如还包括诸如DC编码模式的一个或多个另外的子模式，根据所述另外的子模式，针对相应块的预测信号将DC值分配给相应块内的所有样本；和/或还包括平面帧内编码模式，根据所述平面帧内编码模式，相应块的预测信号被近似或确定为通过二维线性函数描述的样本值在相应块的样本位置上的空间分布，并具有基于相邻样本通过所述二维线性函数定义的平面的导出倾斜及偏移。与其相比较，根据帧间预测模式，可例如通过在时间上对块内部进行预测，来获得针对所述块的预测信号。对于帧间预测模式的参数化，可在数据流内以信号方式传递运动向量，所述运动向量指示视频11的先前经编码图像的部分的空间位移，在所述部分处对先前编码/解码的图像进行采样以便获得相应块的预测信号。这意味着，除由数据流14包括的残余信号编码以外，诸如表示经量化的谱域预测残余信号24”的经熵编码的变换系数级别，数据流14还可具有被编码到该数据流中的用于分配给块预测模式的预测相关参数、用于所分配的预测模式的预测参数，诸如用于帧间预测模式的运动参数，以及可选地，还具有另外的参数，所述另外的参数使用所分配的预测模式和预测参数控制针对所述块的最终预测信号的组成，如下文将更详细概述的。额外地，数据流还可包括对图像12及12'分别划分成块的细分进行控制和信号传递的参数。解码器20使用这些参数，以与编码器曾经相同的方式来细分图像，以将相同的预测模式和参数分配给所述块，且执行相同的预测以产生相同的预测信号。

图3图示了在一方面的重构信号(即，重构的图像12')和另一方面的如在数据流中以信号方式传递的预测残余信号24””与预测信号26的组合之间的关系。如上文已指示，所述组合可以是相加。预测信号26在图3中被图示为将图像区域划分为具有变化尺寸的块80的细分，但这仅是示例。所述细分可以是任何细分，诸如，将图像区域划分为块的列及行的常规细分，或将图像12划分成具有变化尺寸的叶块的多分树细分，诸如，四分树细分或类似者，其中在图3中图示了这些细分的混合，其中将图像区域首先细分为树根块的列及行，接着进一步根据递归多分树细分来细分所述树根块以产生块80。

图3中的预测残余信号24””也被图示为图像区域划分成块84的细分。这些块可被称作变换块，以便将其与编码块80区分。实际上，图3示出编码器10及解码器20可使用将图像12及图像12'分别划分成块的两种不同细分，即，划分成编码块80的一种细分及划分成块84的另一种细分。两种细分可能相同，即，每个块80可同时地形成变换块84，且反之亦然，但图3示出如下情况，其中，例如划分成变换块84的细分形成划分成块80的细分的扩展，使得两个块80之间的任何边界与两个块84之间的边界重叠，或替代来讲，每个块80与变换块84中的一个相一致，或者与变换块84的簇相一致。然而，该细分也可彼此独立地确定或选择，使得变换块84可替代地与块80之间的块边界交叉。就划分成变换块84的细分而言，与关于划分成块80的细分所提出的那些陈述相似也同样适用于此，即，块84可以是图像区域划分成按列及行布置的块的常规细分的结果，图像区域的递归多分树细分的结果，或其组合，或任何其他种类的分割。顺便指出，应注意的是，块80及84不限于正方形、矩形或任何其他形状。另外，将当前图像12细划分成形成预测信号的块80、以及将当前图像12细划分成对预测残余进行编码的块84，可能并非用于编码/解码的仅有细分。这些细分形成执行预测信号确定及残余编码的粒度，但首先，残余编码可替代地在无细分的情况下进行，且其次，以不同于这些细分的粒度，编码器及解码器可设定某些编码参数，其可包括前述参数中的一些，诸如预测参数、预测信号组成控制信号及类似者。

图3图示预测信号26与预测残余信号24””的组合直接产生重构信号12'。然而，应注意，根据替代性实施例，多于一个预测信号26可与预测残余信号24””组合以产生图像12'，诸如从其他视图或从其他编码层获得的、例如在具有分离开的DPB的分离开的预测回路中编码/解码的预测信号。

在图3中，变换块84应具有以下重要性。变换器28及逆变换器54以这些变换块84为单位执行其变换。举例而言，许多编解码器将某种DST或DCT用于所有变换块84。一些编解码器允许跳过变换，使得对于变换块84中的一些，直接在空间域中对预测残余信号进行代码化。然而，根据下文描述的实施例，编码器10及解码器20以其支持若干变换的方式进行配置。举例而言，由编码器10及解码器20支持的变换可包括：

o DCT-II(或DCT-III)，其中DCT代表离散余弦变换

o DST-IV，其中DST代表离散正弦变换

o DCT-IV

o DST-VII

o标识变换(IT)

自然地，虽然变换器28将支持这些变换的所有正向变换版本，但解码器20或逆变换器54将支持其对应的反向或逆向版本：

o逆DCT-II(或逆DCT-III)

o逆向DST-IV

o逆DCT-IV

o逆DST-VII

o标识变换(IT)

在任何情况下，应注意，所支持的变换的集合可包括仅仅一个变换，诸如一个频谱至空间或空间至频谱变换。

如上文已概述，已提出图1至图3作为示例，在所述示例中可实施下文进一步描述的组合预测概念以便形成根据本申请的视频编码器及解码器的具体示例。就此而言，图1及图2所述的视频编码器及解码器分别表示下文所描述的视频编码器及解码器的可能实施方式。如将在下文更详细概述的，当具有内置于图1及图2的视频编码器及解码器内的根据本申请的用于组合预测的随后解释的实施例时，至少作为一个选项，图1的视频编码器及图2的视频解码器支持以在下文更详细地概述的方式处理块80，或甚至包括当前图像12的所有块。因此，下文描述的实施例尤其涉及与图1的编码器10等同的视频编码器，其以在下文更详细地概述的方式处理块80，并且这也适用于图2的解码器，所述图2的解码器因此表示根据其中以在下文更详细地概述的方式处理块80的实施例的视频解码器的示例。然而，图1及图2仅仅为具体示例。然而，根据本申请的实施例的视频编码器可使用在下文更详细地概述且与图1的编码器不同的概念执行基于块的编码，所述概念与图1的编码器不同之处诸如在于划分成块80的细分是以不同于在图3中举例说明的方式执行的，或者在于此编码器不使用变换预测残余编码，而代之以例如直接在空间域中对预测残余进行编码。类似地，根据本申请的实施例的视频解码器可使用下文进一步概述的组合预测编码概念执行从数据流14中的解码，但可不同于例如图2的解码器20，不同之处在于以与关于图3所描述不同的方式将图像12'划分成块，或者在于此解码器不在变换域中从数据流14中得出预测残余，而是例如在空间域中从数据流14中得出预测残余。

特别是，关于划分成块80的块细分，应注意，该块细分可以按照关于图3概述的方式来进行，或按照不同方式来进行。若存在的话，划分成变换块的细分也可如关于图3所描述的方式进行，或以不同方式进行。特别是，一方面的划分成块的细分与另一方面的划分成诸如变换块的其他块的细分可分别通过将图像12单独地细分成这些块而彼此独立地进行，或以相依方式进行。举例而言，诸如划分成变换块的细分的一种细分可如上文所描述的形成另一细分的扩展，或两种细分都可形成共同原始细分的单独扩展，所述共同原始细分诸如是如关于图3所描述的将图像划分成树根块的阵列的细分。且此类可能性也适用于将在下文提到的其他子图像粒度，诸如相对于某些预测参数、预测模式、贡献权重或类似者的定义而提到的。可针对这些实体中的不同实体使用不同细分，且可彼此独立地、部分独立地或作为彼此的扩展来定义不同细分。

尽管已对此作出叙述，以下描述集中于运动向量指向参考图像的平面中的部分的情况，所述部分与这些参考图像的边界交叉，在这些参考图像的边界之外无图像内容可用。为了填补延伸超出边界或完全位于参考图像外的子部分，根据本发明的实施例选择多种帧内预测模式中的一种模式。该目的是通过基于预测块的特性选择用于填补的最适当的角度帧内预测模式来改进时间帧间预测。

在以下描述中，术语“被参考像素区域”对应于“被参考部分”，“参考帧”对应于“参考图像”，“帧边界”对应于“参考图像的边界”，“边界像素”对应于“边界样本”，以及“模板区域”对应于“探测区域”。每个对应的术语均可能在描述中使用。额外地，在本申请文件中，“填补”与“界线填补”意义相同。此外，在以下实施例中，多个角度帧内预测模式中的一个被选择作为用于填补的帧内预测模式的示例。然而，本发明的帧内预测模式不限于角度帧内预测模式，而多个帧内预测模式可包括例如DC和/或平面模式，和/或用于填补其他帧内预测模式的模式。在DC及平面模式的情况下，为了边界样本，可使用垂直方向(垂直于帧边界)。

图4示出用于本申请的实施例的33个不同角度帧内预测模式。此处，在参考图像(参考帧)101的被参考部分(被参考像素区域)100中的预测角度位于关于如图4中所示出的帧边界(参考图像的边界)106为45°与135°的范围内。

所实施的角度边界填补遵循如在参考文献2中描述的联合探索测试模型(JEM)的角度帧内预测。请注意，JEM中的角度帧内预测算法假设：区域的左上部边界像素始终可用于预测。然而，该基础预测算法假设所有边界像素在一条直线中，且因此在JEM中执行左部或顶部边界像素的平移。在本申请的优选实施方式中省略此平移步骤。此外，JEM使用由33个垂直模式及33个水平模式组成的65个角度帧内预测模式。在本申请的优选实施方式中，仅使用33个垂直模式，如在图4中示出。进一步请注意，必须将用于JEM中的垂直角度预测的方法顺时针旋转0°、90°、180°或270°以分别执行底部、左部、顶部或右部参考帧边界106的界线填补。

在被参考像素区域100在水平方向上及在垂直方向上部分或全部位于参考帧101外的情形中，例如，在参考帧边缘(即，帧拐角)处，计算优选界线填补侧。在下文中，N

若边缘＝＝顶部-左部-边缘则

若N

否则若边缘＝＝顶部-右部-边缘则

若N

否则若边缘＝＝底部-右部-边缘则

若N

否则若边缘＝＝底部-左部-边缘则

若N

对于该计算得到的优选界线填补侧，应用根据权利要求的所选择的角度帧内预测模式。对于其余侧，应用原始垂直界线填补处理，如在图5中所示。

在图5中，在帧边界106处，重叠的被参考像素区域100被划分成其中使用多模式界线填补(MMBP)的区域、以及其中使用默认填补的其余区域。在此情形中，垂直填补被用作默认填补。

替代地，位于参考帧101外部的被参考像素区域100全部通过MMBP来填补，如图6中所示。在此情形中，并非所有角度帧内预测模式都可以使用，因为取决于预测角度，MMBP填补可能需要不可用的边界像素102，例如，如在图6中通过虚线箭头示出的。进一步注意，角度帧内预测模式的限制可通过编码器(10)及解码器(20)隐式地确定，而不需要以信号方式传递受限制的子集。为此目的，将被参考像素区域的被预测部分的拐角像素的预测方向倒转180°，以测试是否所有所需要的边界像素都是可用的。

在此实施例中，每当被参考像素区域部分或全部位于参考帧区域外部时，在视频编码器10及视频解码器20中得出用于界线填补的最适当角度帧间预测模式。作为前提，将被参考像素区域100划分成位于参考帧101外部的区域100'、以及位于参考帧101内部的区域100”，如图7中所示出。参考帧101内部的所有像素被直接用作用于当前预测块的运动补偿预测的输入像素。借助于来自参考帧101的邻近边界像素102的帧内预测，来预测在区域100'中的参考帧101外部的所有像素，如下所述。请注意，具有90°的垂直角度的角度帧内预测对应于在H.265及JEM中使用的目前技术现状的参考帧边界填补。

为了选择编码器10及解码器20中的多个角度帧内预测模式中的一个，可将每个帧内预测的方向旋转180°以指向参考帧101的内部。接着基于经旋转的帧内预测定义模板区域，即，探测区域104，其位于参考帧101内部，如图7中所示出。模板区域104的尺寸及形状不受限制。举例而言，一个可能形状可以是矩形块。针对每个模式及相关联的模板区域104，执行来自于邻近边界像素102的经旋转帧内预测，以预测模板区域104内的所有像素值。通过评估以上提到的预测的结果，来选择最适当角度帧内预测模式。

为了评估，将预测像素与模板区域104内的参考帧101的重构像素比较，以得出最终角度帧内预测模式。以权利要求中的措辞来讲，对探测区域(模板区域)104进行填充，且将该填充探测与探测区域104的重构填充比较，以测量它们之间的相似性。对于此比较，可使用块之间的相似性的任何测量，例如，绝对差和(SAD)、绝对变换差和(SATD)、平方误差和(SSE)、哈达玛(Hadamard)变换及其他。为了改进预测，可使用内容相关变换来将信息变换成例如对位置不太敏感的另一域。也可训练此类内容相关变换。具有在预测像素与模板区域104内的重构像素之间的最高相似性测量的角度帧内预测模式，可被最终选择用于参考图像101的被参考部分100的延伸超出参考图像101的边界106的区域100'的填补。

作为以上实施例的修改方案，可针对每个角度帧内预测模式使用多个(例如，数目N个)不同模板区域(探测区域)，在下文中假定N＝2，以进一步改进选择准确性。举例而言，如图8中所示，取决于被参考像素区域100的相对于帧边界106的最外像素线112，定义第一模板区域。如图8中所示，取决于被参考像素区域100的位于参考帧101的区域100'中的第一像素线110，定义第二模板区域。

对于被参考像素区域100中的这两个像素线110、112两者，都将角度帧内预测模式倒转以确定必须用于角度帧内预测的最左部及最右部的帧边界像素。不限于任一种类，在下文中假设：被参考像素区域100在帧边界106的顶部处与参考帧101重叠(或者，优选填补侧为顶部侧)。在此情况下，最左部及最右部的帧边界像素具有坐标{x

如上所提到，考虑图9的表来定义基于第一像素线110的第一模板区域及基于最外像素线120的第二模板区域。接着，通过将原始角度帧内预测旋转180°来预测在这两个模板区域两者内部的像素值，即，沿着与如图7中所示出的与相应角度帧内预测模式相关联的填充方向相反的方向，基于在边界106的部分处的参考图像101的边界样本(边界像素)102来填充两个模板区域(探测区域)。因此，角度预测方案遵循如在参考文献2中所描述的联合探索测试模型(JEM)的角度帧内预测。接着，通过使用绝对差和(SAD)相似性测量，将在两个模板区域内部的预测像素值与重构参考像素比较。可将最终的角度帧内预测模式选择为具有两个模板区域的SAD值的最小和的模式(在N＝2的情形中)，即，可选择具有填充探测与重构的填充之间的最高相似性的角度帧内预测模式。请注意，也可使用被参考像素区域的其他像素线来定义模板区域。此外，举例而言，也可使用最外像素线与第一轮廓线之间的中间像素线来定义模板区域。额外地，相似性测量也可包括针对诸如亮度强度或边缘检测的特性对每个探测区域内的样本的加权，以区分样本的重要性，由此，针对模板区域中的每个样本将不等权重赋予对于相似性测量的相似性贡献是基于所执行的心理-视觉加权。

而外地，通过得出用于填补的角度帧内预测模式来控制界线填补的行为的高级参数可包括模板区域的尺寸及形状。这意味着，垂直于帧边界的多条额外像素线以及模板区域的可选延伸可向左侧及右侧平行于帧边界。额外地，可引入高级参数来指定被参考像素区域中的用于定义模板区域的线，例如，最外线、参考帧中的第一线、或最外线与第一线之间的中间线。此外，可以信号方式传递所使用的角度帧内预测模式的数目的减少。可引入额外高级参数来指定最小和/或最大阈值，所述最小和/或最大阈值定义多少被参考像素区域必须位于参考帧外部以选择用于填补的角度帧内预测模式。即，所述阈值可定义在参考图像外部的被参考部分的经延伸区域的量。可以在图像参数集合(PPS)、序列参数集合(SPS)、切片头部或任何其他高级语法结构中，以信号方式传递高级参数。

此外，关于用于选择探测区域选择的处理，可使用特征为垂直边界延伸的已知编解码器。在实施垂直边界延伸时，通常使用被称为运动向量(MV)剪切的技术来降低与存储边界延伸样本的样本值相关联的存储成本。关于在垂直边界延伸中的样本值的重复本质，可取的是对产生仅包含边界延伸样本的参考块的运动向量进行剪切。从经剪切的MV产生的参考块的内容类似于原始参考块。然而，通过使用此类样本、并通过产生有限尺寸的边界延伸，解码器实施方式可节省资源。通常，诸如最大解码单元的尺寸加上内插滤波器核的尺寸的固定尺寸限制用于能够使每一潜在参考块尺寸拟合所产生的边界延伸样本的有限量，如图10中所示。

如图11中所示，在多模式界线填补(MMBP)中被参考像素区域与帧边界之间的距离影响在解码器20侧的探测区域的选择处理。因此，需要以协调方式对编码器10及解码器20侧执行MV剪切，以避免由于使用不同探测区域而产生的失配。因此，本发明的一个方面是如上所提到的在位流结构中的高级语法元素，诸如是参数集合、切片头部或者允许编码器10指示所使用的MV剪切过程或允许对应的位流约束向解码器20指示所使用的MV剪切过程的其他语法元素。此类语法元素包括例如最大MV长度或参考块至帧边界距离(自所述最大MV长度或参考块至帧边界距离对MV进行剪切)，以及MV被剪切达到的尺寸或帧边界与由剪切的运动向量产生的参考像素区域之间的距离。所包括的信息不限于以上所提到的信息，也可包括进一步信息或其他信息。

此外，自适应性MV剪切可用于通过调整剪切达到被参考像素区域的尺寸(即，被参考块尺寸)的量，以有益方式控制探测区域选择。如图12中所说明，将同一MV用于不同尺寸B>A的两个块，且自适应性MV剪切产生例如以红色着色的两个不同MV，其导致被参考区域尽可能靠近帧边界，这也将最小化与所选择的探测区域之间的距离。即，针对较小尺寸的被参考部分110'(即块尺寸A(较小块))的运动向量的量大于针对较大尺寸的被参考部分110'(即尺寸B(较大块))的运动向量的量。因此，按照如下量来剪切当前图像的帧间预测块的运动向量的坐标：所述量取决于被参考部分的尺寸的量，使得对于较小尺寸，所述量较大。因此，本发明的另一方面是在位流结构中的高级语法元素，诸如参数集合、切片头部、或者允许编码器10指示以适应于参考块尺寸的方式执行MV剪切或允许对应的位流约束向解码器20指示以适应于参考块尺寸的方式执行MV剪切的其他语法元素。

在编码器侧进行评估的编码量选项是对于编解码器的复杂性的重要因素。因此，本发明的一个方面是控制本文中描述的界线填补的复杂性影响的措施。此措施包括通过用第二阶段扩展已知运动估计，在编码器上执行运动估计，即，用于帧间预测的经不同运动补偿后的预测器样本的搜索和编码成本评估。第一运动补偿阶段涵盖已知运动补偿的所有步骤(例如，产生已知界线填补样本，以及评估用于给定预测器的残余数据的编码成本)，同时，第二阶段被修改至已知运动补偿，其中通过诸如本文中描述的方案的更复杂的界线样本填补方案进一步增强最佳预测器。

在被参考部分部分或全部位于参考图像外的情形中，也可应用下述的其他实施例。如以上已提到，作为前提，将被参考像素区域划分成在参考帧区域外部的区域及在参考帧区域内部的区域。在参考帧区域内部的所有像素直接用作用于当前预测块的经运动补偿的预测的输入像素。借助于来自参考帧的邻近边界像素的角度帧内预测，预测在参考帧区域外部的所有像素，如在图13及图14中所描述。即，基于边界样本110，对被参考部分100的区域100'，即在被参考部分100内的参考图像101的边界106外部的区域100'进行填充。填充方向是从33个不同角度帧内模式中选择的。在此情形中，不要求从33个角度帧内模式进行选择，也可以从如预先作为参数定义的有限数目个角度帧内预测模式中选择。图13示出一个角度帧内预测模式120，且图14示出另一角度帧内预测模式122。在图13及图14中，所使用的边界像素110'直接分别取决于所选择的角度帧内预测模式120及122。进一步注意，具有90°的垂直角度的角度帧内预测模式对应于在H.265及JEM中使用的目前技术状况的参考帧边界填补。在编码位流内，将所选定的(即，所选择的)角度帧内预测模式以信号方式传递至解码器。

此外，可使用基于上下文的自适应算术编码(CABAC)，对所选择的角度帧内预测模式进行编码。额外地，使用使能标志来指示是否应用默认垂直界线填补或者基于所选择的角度帧内预测模式的界线填补。由于默认垂直模式是33个角度帧内预测模式中的一个的事实，可通过五个额外CABAC二进制位(bin)对其余32个角度帧内预测模式进行编码。该使能标志以及其余角度模式被编码为具有自适应二进制概率模型的一系列二进制决策(这些二进制位的子集，例如，算术角度帧内预测模式也可通过非自适应性概率模型来编码)。为了对所述使能标志建模，可使用不同上下文模型，所述不同上下文模型可基于被参考像素区域位于参考帧外的量来选择。举例而言，可将不同上下文模型用于当少于1/4、少于1/2、少于3/4或多于3/4的被参考像素区域位于参考帧外时的情况。

替代地，将最可能模式(MPM)的列表被用于以信号方式传递频繁出现的用于界线填补的角度帧内预测模式。在针对先前已编码的邻近块的用于界线填补的角度帧内预测模式可用的情形中，可能MPM候选可以是这些块的用于界线填补的角度帧内预测模式。在可用的情况下，其他MPM候选可以是邻近的先前已编码块的角度帧内预测模式。此外，在与被参考图像并置的参考帧中的编码块的角度帧内预测模式可用作MPM候选。额外地，在与被参考图像区域并置的相关联的随机存取点图像中的编码块的角度帧内预测模式可用作MPM候选。在33个角度帧内预测模式的情况下，MPM候选列表包含一个MPM候选模式。CABAC二进制标志被用于以信号方式传递是否应使用该MPM候选。可通过5个CABAC二进制位以信号方式传递其余32个角度模式。利用通过如上所解释的自适应性二进制概率模型，将MPM标志以及其余角度帧内预测模式编码为一系列二进制决策。

用于界线模式的角度帧内预测模式是编码块的运动信息的部分。因此，在运动信息被不同编码块使用/复制的情形中，例如，在使用合并模式或运动向量预测的情形中，用于与所复制的运动向量相关联的界线填补的角度帧内预测模式也可以被复制，并且被应用于被参考像素区域位于参考帧区域外的情形中。在来自已为其激活MMBP的块的运动向量预测的情形中，若将MMBP用于编码块，则所选择的用于填补的角度帧内预测模式可变为用于当前编码块的填充方向的编码的MPM。替代地，可能运动预测候选可提供可能MPM的清单。

通过以信号方式传递所选择的用于填补的角度帧内预测模式控制部分界线填补的行为的高级参数可包括用于对应当用于界线填补的角度帧内预测模式的子集合进行定义的参数。在此情况下，所支持的用于填补的角度帧内预测模式的数目可被限制为较小数目，必须将较少的CABAC二进制位用于以信号方式传递所选择的用于界线填补的角度帧内预测模式。举例而言，通过仅仅使用由18个角度模式构成的子集合、并结合由2个模式构成的MPM候选清单，仅剩余16个角度模式，可通过4个CABAC二进制位对其进行编码(因此，产生用于以信号方式传递MPM模式的2个二进制位和用于以信号方式传递其余非MPM模式的5个二进制位)。可引入额外高级参数以指定最小和/或最大阈值，其定义有多少被参考像素区域必须位于参考帧区域外以选择用于如上所述的填补的最适当角度帧内预测模式。可在图像参数集合(PPS)、序列参数集合(SPS)、切片头部或任何其他高级语法结构中，以信号方式传递所述高级参数。

可组合以上提到的实施例，例如，可将如上所述使用模板的实施例与以信号方式传递所选择的角度帧内预测模式的其他实施例组合为以下解释的进一步的实施例。

角度帧内预测模式的选择遵循如通过图7解释的实施例。在此实施例中，基于如上所述的相似性测量产生用于填补的角度帧内预测模式的有序列表。通过最大的以信号方式传递的用于填补的角度帧内预测模式的预定义值，对所产生的用于填补的角度帧内预测模式的此有序列表进行截取。最后，通过使用如上所述的基于上下文的自适应算术编码(CABAC)，以信号方式传递在此截取的有序清单内的所选择的用于填补的角度帧内预测模式。

如以上已提到，可使用使能标志来指示是否应当使用默认的垂直界线填补或所选择的填补模式的经截取的有序清单。额外地，能够利用N个CABAC二进制位以信号方式传递的经信号传递的填补模式的数目被设定为2

在本申请的优选实施方式中，高级语法包括用于控制多模式界线填补的语法元素。在一个或多个高级语法结构中传输高级语法元素，诸如序列参数集合(SPS：对于编码视频序列内部的所有图像有效)、图像参数集合(PPS：对于一个或多个图像有效)、切片头部(对于切片有效)等。

控制应用选择角度帧内预测模式的高级语法元素可包括但不限于以下参数中的一个或多个：

·标志或IDC，其以信号方式传递应当应用哪一用于填补的角度帧间预测模式(MMBP、垂直或全向填补)

·用于以信号方式传递逐个帧界线的填补模式组合的参数或指示逐个帧界线的填补模式组合的约束；例如，可针对沿着参考图像的帧界线或外图像边界的一部分在数据流中以信号方式传递关于是否使用MMBP或者使用全向填补；作为一个选项，可以信号方式传递两个选项都是可用的；针对不同部分，可以信号方式传递不同的可用模式，使得编码器及解码器将检查被参考区域与参考图像的帧界线的哪一部分重叠、或者被参考区域与哪一部分交叉，以便判定关于使用哪一帧内预测模式；

·以信号方式传递使用上文所述实施例的哪一选择处理的参数

·以信号方式传递哪些角度帧内预测模式可用于MMBP的参数

·指定哪些确切的角度帧内预测模式用于特定参考帧界线区域的参数

·最小和/或最大阈值，其定义多少被参考像素区域必须位于参考帧区域外以应用于选择角度帧内预测模式

·以信号方式传递模板区域的尺寸及形状的参数

·以信号方式传递被参考像素区域中用于确定模板区域的线的集合的参数

关于第二替代方式，额外注意以下内容：虽然以上概述的实施例将角度帧内预测模式用作示例，并最终从所述角度帧内预测模式中选择用于填补的帧内预测模式，但显然，通过将边界样本垂直外插到超出帧界线的区域中执行填补所根据的垂直填补模式也是一种帧内预测模式，正如全向填补模式也是一种帧内预测模式，可根据该帧内预测模式使用同一帧(即，参考帧)内部的样本来填充/填补位于帧界线外部的区域。因此，高级语法揭示关于应使用哪一帧内预测模式，或哪一(些)帧内预测模式可用于帧界线的哪一部分，其中可以信号方式传递不同语法以用于或可用于帧界线的不同部分，诸如，用于一个部分(诸如，右侧及左侧界线)的全向模式及用于帧界线的其他部分(诸如，上部及下部界线)的垂直模式。编码器及解码器将仅仅必须认识到，帧间预测块80的某一被参考区域所超出的帧界线的部分，并看到为了填补的原因，根据数据流中的高级语法，其与哪一帧内预测模式相关联。以上列举的参数可被包括在多于一个高级语法结构中。举例而言，在SPS中指定的全局参数可被在PPS中指定的参数超覆(override)。

对于本申请的实施例，只要被参考像素区域部分或全部位于参考帧区域外时，其都是需要的。作为前提，如上所解释的，将被参考像素区域划分成在参考帧区域外部的区域及在参考帧区域内部的区域。在参考帧区域内部的所有像素直接用作用于当前预测块的经运动补偿的预测的输入像素。借助于如上所解释的自参考帧的邻近边界像素的帧内预测，预测在参考帧区域外部的所有像素。

通过使用其他词语，以下步骤再次示例性地描述关于如何能够在编码器及解码器中在多个可用帧内预测角度之中选择用于经过的优选帧内预测角度或优选帧内预测模式。对于亮度(Y)颜色平面，可针对待预测的每个块及每个相关联的运动向量仅将该选择处理执行一次。对于色度颜色平面(Cb及Cr)，可接着选择与对于亮度颜色平面相同的帧内预测角度：

·确定被参考区域100的位置：通过将与当前块相关联的运动向量添加至当前块的区域(例如，按相关联的运动向量移动当前块位置)来计算被参考区域100。请注意，所述运动向量可具有分数部分。因此，将运动向量向下取整至最接近的整数部分。将运动向量添加至当前块位置。在每个方向上将被参考区域100增大一个样本。即，区域100可以在所有方向(左侧、右侧、顶部、底部)上比进行MMBP所针对的经帧间预测的区域大一个样本。

·确定优选IntraBP侧：若被参考区域100在仅一侧与参考帧101重叠，则使用此侧，否则，被参考区域100在两侧处与参考帧101重叠(见图5)。接着，将默认的垂直填补用于与参考帧重叠较少样本线的侧。将IntraBP填补用于其余侧。

·确定底部及顶部线：底部线是被参考区域100的在参考帧101外部平行于优选IntraBP侧的第一样本线(图8中的110)。顶部线为被参考区域的在参考帧外部平行于优选IntraBP侧的最后一个样本线(图8中的112)。即，选择最远离参考帧的边界106的样本线。

·约束多个可用帧内预测模式：针对顶部线以及每个帧内预测模式，通过倒转预测方向来计算必须用于帧内预测的相关/受影响的边界像素。若来自垂直帧内预测模式的边界像素的最大位移高于1.25*预测块的宽度，则跳过/不使用此帧内预测角度。此步骤是可选的。即，可选地，从可选择模式列表中排除掉那些角度模式，所述角度模式当将最外样本线112反向投影回到边界样本110上时导致边界样本110相对于最外样本线的垂直反向投影的占据面积偏移大于预定阈值。

·计算用于底部线及顶部线的探测区域：针对底部(顶部)线以及来自帧内预测模式的受约束集合中的每个帧内预测模式，倒转预测方向以确定必须用于帧内预测的相关/受影响的边界像素110'。将探测区域104设置于参考帧内部的受影响的边界像素下方(图7中的104)。将探测区域高度设定到与优选IntraBP侧垂直的两个样本线。

·计算相似性测量：通过来自相关/受影响的边界像素的倒转的帧内预测，预测探测区域的样本值。计算探测区域的所预测的样本值与在探测区域的该位置处的参考帧的重构样本值之间的SAD测量。对来自底部和顶部探测区域的SAD测量进行组合/相加。

·选择优选帧内预测角度：在受约束的帧内预测角度的集合之中，选择具有最小相似性测量的角度为优选帧内预测角度。若帧内预测角度具有相同相似性测量，则优选更接近垂直预测角度的角度。

若所选择的优选帧内预测角度不等于垂直帧内预测角度，则在编码器及解码器中利用以上选择的帧内预测角度及以上优选IntraBP侧，针对每个颜色平面执行IntraBP：

·确定被参考区域的位置：与上文描述类似地计算被参考区域，但不仅在每个方向上将被参考区域增大一个样本，而且在每个方向上将被参考区域增大内插滤波器抽头的尺寸的一半。

·填充被参考区域的位于参考帧内部的部分：填充被参考区域的位于参考帧内部的具有参考帧的样本值的部分。

·可选地，填充非优选IntraBP侧：若被参考区域在两侧处与参考帧重叠，则针对被参考区域的与参考帧重叠较少样本线的部分执行默认的垂直填补。

·针对优选IntraBP侧执行IntraBP：使用优选帧内预测角度对优选IntraBP侧的边界样本执行帧内预测，以填充位于参考帧外部的被参考区域100'。

将如上文描述的针对每个颜色平面计算的被参考区域样本值用作用于当前块的经运动补偿的预测的输入值。

额外地，基于MPEG OMAF标准的现有应用，诸如，360°视频流式服务，很大程度上依赖于空间视频划分或分割技术。在此应用中，将空间视频分段传输至客户端，且以适应于当前客户端观看方向的方式联合地解码。依赖于视频平面的空间分割的另一相关应用是编码与解码操作的并行化，例如，以促进现代计算平台的多核及并行化能力。

一种这样的空间分割技术是在HEVC中实施的，且称为图块(tile)，其将图像平面划分成分段以形成矩形栅格。相对于熵编码及帧内预测对所得到空间分段独立地进行编码。此外，存在手段用于指示也相对于帧间预测空间分段独立地进行编码，其也可与在图像上静态的空间分割相组合。这些约束合起来一起允许对具有两个此类相邻且独立编码的空间分段的示例性图像平面进行空间分割的真正独立的编码。

更详细地，当使用图15中示出的空间分割对当前图像进行编码以促进通过同样使用上面说明的空间分割的参考图像进行帧间预测时，按以下方式约束运动向量：避免通过参考位于空间分段B内的参考图像的样本来预测交叉空间分段A，且反之亦然。

虽然空间分段的独立编码是如上所述的现有应用的使能方式，但相关联的编码约束可能伴随有显著的编码成本。这种比特率开销(overhead)例如源自于以信号方式传递相对比较大的运动向量差(MVD)，该运动向量差对可用运动向量候选进行校正，该可用运动向量候选原本在没有MVD的情况下会导致使用给定空间分段外部的样本位置。另外，增大的量的残余数据需要以信号方式传递，以补偿降级的帧间预测预测器。因此，非常期望增强在此类空间分段的界线处的编解码器操作。

减轻用于此类独立空间分段的先前技术解决方案的编码惩罚的一个方式是采用用于对图像内界线(即，位于图像的内部中的分段边界)进行填补的方案，所述填补诸如是除了外帧界线之外额外地进行的，或者以类似于或根据以上在具有本文中描述的轻微修改及扩展的情况下基于图像界线或者使用基于高级语法的填补模式选择来描述的MMBP概念的方式进行的，所述基于高级语法的填补模式选择以信号方式传递两个或更多个帧内预测模式中的哪一个将被用于空间分段边界或空间分段边界的某一部分(诸如，垂直边界)。即，并不是编码器将以信号方式传递的运动向量限制为不参考延伸超出空间分段边界或位于空间分段边界外的被参考部分，而代之以将在编码器及解码器处对此类部分进行填补，并且如果此类被参考部分与空间分段边界的预定部分交叉或位于空间分段边界的预定部分外，则使用以信号方式传递的帧内预测模式来进行填补。一般来讲，编码惩罚的减轻也可通过使用任一帧内编码模式来实现，即，不使用多模式选择，诸如，垂直、全向或角度帧内预测模式中的一个，由此得到用于基于块的视频编码的编码器及解码器，其被配置为针对帧间预测块将对参考图像101的被参考部分100进行参考的运动向量编码到数据流中以及从所述数据流中解码出所述运动向量，所述被参考部分延伸超出在参考图像中帧间预测块位于其内的预定空间分段的图像内分段边界或位于所述图像内分段边界外，且被配置为对被参考部分100的延伸超出所述图像内分段边界或位于所述图像内分段边界外(即，位于预定空间分段外部)的区域100'进行填补。该编码器不需要将运动向量的运动向量预测器重定向为促使以信号方式传递的运动向量保持在参考图像(按照包括当前图像的视频的图像始终被划分而成方式)所划分成的的空间分段的预定空间分段内。编码器不需要以信号方式传递针对此向量的重定向的运动向量差。以信号方式传递的运动向量差可导致在预定空间分段外部的运动向量参考部分，诸如，运动向量差为零。特别地，编码器可依赖于解码器的填补机制，所述解码器强制执行当前图像和参考图像中的空间偏移的空间分段的空间分段编码独立性，且所述编码器进行同样的操作，即，为了重构帧间预测块而执行填补，以填充经解码的图像缓存。

作为第一方面，在如参数集合、切片头部或其他的位流结构中的高级语法元素一般控制在空间分段界线上的多模式界线填补的应用。此语法的一个值对解码器指示：

·空间分段的样本的帧间预测独立于属于其他空间分段的样本，及

·空间分段界线外部的样本位置被用于空间分段内的样本的帧间预测，及

·通过对来自属于空间分段的样本的空间分段界线使用MMBP过程，产生在空间分段界线外部的样本位置上的样本的值。

尽管已在装置的上下文中描述一些方面，但显然，这些方面也表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中所描述的方面也表示对应块或项目或对应装置的特征的描述。可通过(或使用)硬件装置(例如，微处理器、可编程计算机或电子电路)执行方法步骤中的一些或全部。在一些实施例中，可通过此类装置执行最重要的方法步骤中的一个或多个。

本发明的数据流可存储于数字存储介质上或可在诸如无线传输介质的传输介质或诸如因特网的有线传输介质上传输。

取决于某些实施要求，本发明的实施例可在硬件中或在软件中实施。该实施可使用数字存储介质来进行，所述介质例如软性磁盘、DVD、Blu-ray、CD、ROM、PROM、EPROM、EEPROM或闪存，所述介质具有存储于其上的电子可读控制信号，所述电子可读控制信号与可编程计算机系统合作(或能够合作)以使得执行相应方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，所述控制信号能够与可编程计算机系统合作，使得执行本文中所描述的方法中的一个。

通常，本发明的实施例可实施为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，程序代码操作性地用于执行所述方法中的一个。程序代码可例如存储于机器可读载体上。

其他实施例包括存储于机器可读载体上的用于执行本文中所描述的方法中的一个的计算机程序。

换句话说，因此，本发明的方法的实施例是具有用于当计算机程序在计算机上运行时执行本文中所描述的方法中的一个的程序代码的计算机程序。

因此，本发明的方法的进一步的实施例为数据载体(或数字存储介质，或计算机可读介质)，所述数据载体包括记录于其上的用于执行本文中所描述的方法中的一个的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。

因此，本发明的方法的另一实施例为表示用于执行本文中所描述的方法中的一个的计算机程序的数据流或信号序列。数据流或信号序列可(例如)被配置为经由数据通信连接(例如，经由因特网)而传送。

进一步的实施例包括经配置或经适配以执行本文中所描述的方法中的一个的处理手段，例如，计算机或可编程逻辑器件。

进一步的实施例包括其上安装有用于执行本文中所描述的方法中的一个的计算机程序的计算机。

根据本发明的进一步的实施例包括被配置为(例如，电子地或光学地)将用于执行本文中所描述的方法中的一个的计算机程序传送至接收器的装置或系统。举例而言，接收器可以是计算机、移动设备、存储设备或类似者。所述装置或系统可(例如)包括用于传送计算机程序至接收器的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可用于执行本文中所描述的方法的功能性中的一些或所有。在一些实施例中，现场可编程门阵列可与微处理器合作，以便执行本文中所描述的方法中的一个。通常，所述方法优选地由任一硬件装置执行。

本文中所描述的装置可使用硬件装置或使用计算机或使用硬件装置与计算机的组合来实施。

本文中所描述的装置或本文中所描述的装置的任何组件可至少部分地以硬件和/或以软件来实施。

本文中所描述的方法可使用硬件装置或使用计算机或使用硬件装置与计算机的组合来执行。

本文中所描述的方法或本文中所描述的装置的任何组件可至少部分地由硬件和/或由软件执行。

上述实施例仅说明本发明的原理。应理解，对本文中所描述的配置和细节的修改和变化将对本领域其他技术人员清楚明白。因此，意图是仅受到所附专利权利要求的范围限制，而不受到以描述和解释本文中的实施例的方式呈现的具体细节的限制。