用于编辑多个视频镜头的方法和装置

技术领域

本发明实施方案总体涉及一种用于编辑共享相同对象的多个镜头的方法和装置。

背景技术

视频的后期制作是极其劳动密集型的过程，通常美工要花费大约一小时来编辑一秒钟的视频，只是为了数字化妆。主要困难是要保证跨图片编辑的时空一致性。预期质量是极其高的，因为用户的大脑非常擅长检测面部的任何差异或怪异之处。

如今，所有的一线演员都要进行某种形式的处理：去除眼袋和斑点、修复下颌线条。即使一开始就进行了化妆，也经常需要使用数字化妆进行后期编辑。

因此，情况是需要编辑的镜头越来越多，并且每次编辑都是乏味且耗时的。因此，有必要改进美工生产力，因为美工生产力影响了行业利润。

此外，视频在许多社交平台上变得越来越重要，视频存储在应用服务器或云上，并在人们之间共享。如果对于专业美工而言编辑视频镜头是极其耗时的，那么对于非专业用户来说，这几乎是不可能的任务。

因此，需要改进现有技术。

发明内容

根据一个实施方案，提供了一种用于编辑至少两个图片序列的方法，其中编辑包括修改该至少两个序列中的一个序列的至少一个图片，利用该修改更新该至少两个序列中的至少一个其它序列的至少一个图片，其中该更新使用表示该至少两个图片序列的普通嵌入空间。

根据一个实施方案，该至少两个图片序列包括出现在该至少两个序列的图片中的至少一个对象，并且修改该至少两个序列中的一个序列的至少一个图片包括修改该至少一个对象。

根据另一实施方案，提供了一种用于编辑至少一个图片序列的方法，其中编辑包括修改该至少一个图片序列的图片中的对象的纹理，以及利用该修改更新该至少一个图片序列或另一图片序列的至少一个其它图片，其中该至少一个其它图片包括该对象。

根据另一实施方案，对象的图片或纹理的该修改是基于所使用的输入。

根据另一实施方案，提供了一种用于编辑至少两个图片序列的装置，其中该装置包括一个或多个处理器，该一个或多个处理器被配置为编辑该至少两个图片序列，并且其中编辑包括修改该至少两个序列中的一个序列的至少一个图片，利用该修改更新该至少两个序列中的至少一个其它序列的至少一个图片，其中该更新使用表示该至少两个图片序列的普通嵌入空间。

根据另一实施方案，提供了一种用于编辑至少一个图片序列的装置，其中该装置包括一个或多个处理器，该一个或多个处理器被配置为编辑至少一个图片序列，其中编辑包括修改该至少一个图片序列的图片中的对象的纹理，利用该修改更新该至少一个图片序列或另一图片序列的至少一个其它图片，其中该至少一个其它图片包括该对象。

一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述实施方案中的任一实施方案所述的用于编辑的方法。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据上述方法对视频镜头进行编辑的指令。

附图说明

图1示出了其中可实现本发明实施方案的各方面的系统的框图。

图2示出了其中出现了相同对象的两个镜头的图示。

图3A示出了根据一个实施方案的用于视频编辑的示例性方法。

图3B示出了根据另一实施方案的用于视频编辑的示例性方法。

图4示出了根据一个实施方案的用于确定表示多个镜头的通用镶嵌的示例性方法。

图5示出了根据一个实施方案的用于确定表示镜头的镶嵌的示例性方法。

图6示出了分别为共享相同对象的两个镜头获得的镶嵌的图示。

图7示出了为共享相同对象的两个视频镜头提取3D面部模型的图示。

图8示出了为镜头获得的镶嵌(左部)以及其到对应通用镶嵌(右部)的可视性映射的图示。

图9示出了根据一个实施方案的用于编辑共享相同对象的多个视频镜头的操作的示例。

图10示出了表示两个视频镜头的镶嵌(左部和右部)和包括两个镶嵌的表示多个镜头的通用镶嵌(中心部)的图示。

图11示出了使用表示两个视频镜头的通用镶嵌(中心部)对表示两个视频镜头的镶嵌(左部和右部)进行编辑的图示。

具体实施方式

根据实施方案，公开了一种用于编辑多个镜头的方法。例如，这种方法可以在后期制作中使用，例如用于编辑出现相同演员的多个不同镜头。本文在演员面部出现在多个镜头中的情况下描述了本原理，然而，本原理可以应用于在不同照明条件或场景环境下相同对象出现在多个镜头中的任何视频镜头。多个镜头可源自相同视频或不同视频。

在下文中，镜头或视频镜头是捕获场景的图片序列。在视频制作中，视频镜头目前被认为是在一段不间断的时间内运行的图片序列。镜头是视频中的两个剪辑之间的连续序列。

图2示出了其中出现相同对象(这里是演员)的两个镜头的几个帧的图示。相同演员出现在两个不同的镜头中，其中存在不同的外观、照明、色彩、摄像机运动以及面部表情和姿势。

当美工想要例如通过添加疤痕编辑对象(这里是演员的面部)时，出现的问题是编辑应是一致的。即，编辑应遵循面部运动。而且，其中出现相同对象的多个镜头应进行一致的编辑，即对于两个镜头，对该对象的编辑应在相对于对象的相同位置处看起来类似，并且具有相同的外观。确保每个镜头的编辑都是一致的，并且镜头之间也是一致的，这是具有挑战性的。

图3A示出了根据一个实施方案的用于视频编辑的示例性方法，其中编辑了至少两个镜头，即两个视频序列。两个图片序列包括出现在至少两个序列的图片中的至少一个对象。

在30处，根据用户输入编辑至少两个序列中的一个序列的至少一个图片。例如，用户修改出现在图片中的对象。

在31处，通过利用应用于出现至少一个其它图片的对象的类似修改来对至少另一个图片进行修改，将编辑传播到至少两个序列中的至少一个其它序列的至少另一个图片。

图3B示出了根据另一实施方案的用于视频编辑的示例性方法，其中编辑了至少一个视频序列。根据图3B中描述的实施方案，在32处，根据用户输入，修改至少一个图片序列中的图片中的对象的纹理。在33处，利用至少一个其它图片中的对象的纹理的相应修改来对至少一个其它图片进行更新。该至少一个其它图片可属于相同的至少一个序列或属于另一图片序列。

根据本原理，本文描述的用于视频编辑的方法是基于镶嵌技术来处理跨镜头编辑的情况。首先对多个视频镜头执行预处理步骤，以便能够以一致的方式利用编辑来更新视频镜头。

这种预处理步骤可包括：

-利用空间不变嵌入的知识，独立地计算每个视频镜头的镶嵌。换句话说，计算每个镶嵌以及到普通嵌入空间的变换，该普通嵌入空间在下文中也被称为“通用镶嵌”坐标系。然后此类变换被用于在用户对另一视频镜头进行编辑之后更新视频镜头。

-除了空间不变性信息之外，计算了可视性映射，其对镶嵌的哪个部分在通用镶嵌系统中可见进行编码。

-每个镶嵌都由参数模型根据色彩进行了描述。换句话讲，计算镶嵌的色彩特性以能够快速计算两个镶嵌之间的色彩校正。

-利用这种空间和色彩不变性的信息，可以开发将映射不同镶嵌的模块。因此，对镶嵌的任何编辑(添加小胡子、移除斑点、修改纹理)可以投影到任何其它镶嵌。例如，模块可用于任何后期制作编辑工具。

根据一个实施方案，现在描述与图4有关的用于确定表示多个镜头的通用镶嵌的示例性方法。

在40处，对于多个镜头中的每个视频镜头，确定表示该视频镜头的镶嵌。根据一个实施方案，根据与图5相关的描述的方法来确定镶嵌。与图5有关的描述的方法是基于由Rav-Acha,A.、Kohli,P.、Rother,C.和Fitzgibbon,A.所公开的视频的展开，(2008)解包镶嵌：用于视频编辑的新表示，《2008年计算机图形学顶级国际学术会议论文集》，第1至11页(Unwrap mosaics:A new representation for video editing.In ACM SIGGRAPH2008papers(pp.1-11))。

参考图5，在50处，从视频的图片确定视频中的轨迹。轨迹是随时间移动的物理点(因为其所在的对象移动，或因为摄像机移动，或因为两者)。

在51处，确定从轨迹空间到2D空间的嵌入。作为从高维空间到低维空间的投影的嵌入可以被看作是从轨迹空间到镶嵌空间的投影。图6提供了为图2的两个视频序列获得的镶嵌。

在52处，给定所确定的嵌入，使用拼接技术从与跨所有帧的轨迹相关联的所有纹理中重建镶嵌的纹理。因此，获得了表示视频镜头的镶嵌。

此外，在53处，还计算模型的额外参数，诸如：每个帧与所确定的镶嵌之间的空间关系，称为翘曲。此类翘曲允许在对相同视频镜头的另一图片进行编辑时更新该视频镜头的图片。

在54处，为视频镜头的每一帧确定仿射色彩校正模型。色彩校正模型允许考虑视频镜头中的照明变化，诸如跨对象移动的阴影。

在55处，确定可视性信息。此类可视性信息是与镶嵌相关的空间图，其在每个时刻指示镶嵌的哪个部分在该特定时刻是可见的。它允许为视频镜头的每个帧指示镶嵌的哪个部分在该帧中可见。

根据实施方案，为了确定视频镜头中的轨迹，对象的3D模型被投影到每个帧上。当对象是诸如图2中的演员时，3D模型是面部的3D模型。可以使用3D模型直接提取轨迹。

考虑到视频序列包含面部，首先使用将面部的3D模型投影到图像上的方法来处理该序列。例如，Tewari，A.、Zollhofer，M.、Kim，H.、Garrido，P.、Bernard，F.、Perez，P.和Theobalt，C.描述了一种技术：(2017)用于无监督单目重建的基于模型的深度卷积人脸自动编码器，《IEEE计算机视觉国际会议研讨会论文集》，第1274至1283页(Mofa:Model-baseddeep convolutional face autoencoder for unsupervised monocularreconstruction.In Proceedings of the IEEE International Conference onComputer Vision Workshops(pp.1274-1283))。

图7示出了为图2所示的两个视频镜头进行3D提取的图示。投影在2D图片上的3D模型被叠加在原始帧上。可以看出，可以在整个序列中跟踪3D物理点。

根据本原理，可以使用将3D面部模型投影到包含面部的视频上的任何方法。

3D模型的投影直接提供了一些轨迹，因为随时间投影的3D点将提供轨迹的连续坐标。然后可以将所获得的轨迹投影到2D静止表示上，该2D静止表示定义了如上所述与图5相关的镶嵌。

回到图4，在41处，对于多个镜头中的每个视频镜头，确定在40处为视频镜头确定的镶嵌与普通嵌入空间之间的变换。普通嵌入空间是“通用”镶嵌，其表示包含要对其进行编辑的对象的所有视频镜头。

确定表示视频镜头的镶嵌与通用镶嵌之间的变换可包括色彩变换和翘曲。然后此类色彩变换和翘曲可以用于在用户对另一视频镜头中的对象进行编辑之后更新视频镜头。

通用镶嵌是先前为每个视频镜头确定的镶嵌的空间归一化嵌入。利用{S

一个实施方案提供了一种从这些K个镶嵌中获得结构保留嵌入，以通过实施空间不变性约束来确定通用镶嵌(表示)U的方法，使得可以通过通用镶嵌找到从一个镶嵌到另一个镶嵌的对应关系，这允许将编辑从一个镶嵌投影到另一个镶嵌。

空间归一化嵌入必须保留每个单独镶嵌内的几何结构以及镶嵌之间的几何结构。这可以通过将嵌入的目标函数形式化为两项来实现，其中第一项捕获镶嵌内结构，并且第二项捕获镶嵌间结构，如下：

其中

k,l随镶嵌而变化，

i，j随每个镶嵌中的数据点的数量而变化，

是来自第k个镶嵌(表示为m

是在第k个镶嵌中第i个数据点和第j个数据点之间的距离，这种距离可以由欧几里得距离确定为：/>

可以被解释为相似性度量或邻接矩阵，其可以由下式

其中γ是由终端用户调整的缩放系数。

是来自第k个镶嵌的第i个点和第j个点。

获得对应关系：

如果在来自第k个镶嵌的第i个数据点与来自第l个镶嵌的第j个数据点之间有对应关系，即两个点都是指物理对象中的相同位置：例如面部中的特定点，那么

当镶嵌之间的精确对应关系已知时，空间不变嵌入的确定是直接的，否则需要对应矩阵(置换矩阵)

根据一个实施方案，使用面部捕捉轨迹方法来提取轨迹(通过将3D模型投影到帧上来提取)，轨迹中的每个轨迹对应于3D模型中的唯一顶点，因此可知一个镶嵌中的哪些点对应于其它镶嵌(例如，鼻子上的点相对于不同镶嵌上的3D模型具有相同的顶点)。

不同的各种嵌入是可能的。根据变型，获得了直接嵌入，其中由于存在3D模型而不涉及嵌入的计算。使用3D模型在2D平面上的投影直接确定

嵌入。由于巴塞尔拓扑在2D平面上的投影(称为标准紫外图)是已知的，所以嵌入u

根据另一变型，嵌入U是通过对齐已知的对应关系

根据另一变型，嵌入U是基于局部线性嵌入(LLE)来确定的。LLE的示例在RoweisS.T.和Saul L.K.的以下著作中给出，(2000)“局部线性嵌入的非线性降维”，《科学》，290(5500)，第2323至2326页。(“Nonlinear dimensionality reduction by locally linearembedding”,science,290(5500),2323-2326)。

根据该变型，LLE包括：

-确定权重以从其相邻样本中重建样本，以及

-基于先前确定的权重来确定嵌入。

根据该变型，构建权重矩阵，根据该权重矩阵，每个点可以从其相邻点以及相对于来自其他镶嵌的相邻点进行重构。由于来自不同镶嵌的点之间的对应关系是已知的，因此可以通过连接每个单独镶嵌的权重来构造权重矩阵。然后基于构建的权重矩阵来确定空间不变嵌入。

当确定空间归一化嵌入时，还为视频镜头的单独镶嵌与通用镶嵌之间的每个视频镜头确定翘曲，以定义通用镶嵌的哪个部分对应于每个单独镶嵌，并允许在单独镶嵌与通用镶嵌之间进行双向投影。

在42处，一旦已经确定空间归一化嵌入，则为来自多个镜头的每个视频镜头确定可视性映射。可视性映射允许为所确定的镶嵌指示所确定的镶嵌的哪个部分在通用镶嵌中是可见的。

图8在左侧示出了为一个镜头获得的镶嵌，并且在右侧示出了从多个镜头获得的通用镶嵌，其中出现了相同演员的面部。还示出了通用镶嵌中镶嵌可见的区域。

通过利用翘曲信息和可视性映射，对于表示视频镜头的镶嵌中的每个点，其在通用镶嵌中的对应关系在几何上是已知的。相反地，对于在可视区域中的通用镶嵌中的每个点，其对应关系在视频镶嵌中是已知的。

色彩和亮度一致性

根据一个实施方案，在交互式重新投影部分期间，利用将使用的几个参数对信息进行编码，以说明在多个镜头之间的亮度和色彩变化。

下面描述的几个变型是可能的，但是方法步骤是类似的：

1.当确定每个镜头的镶嵌时，计算亮度/色彩配置文件的紧凑描述。根据所使用的模型，信息可以从三个浮点值到几千个浮点值不等。

2.色彩配置文件与镶嵌一起存储。

3.在编辑时，当考虑新镜头时，将新镜头的色彩配置文件与已经对其进行编辑的当前镜头的色彩配置文件进行比较以创建色彩变换。

有各种可能性可以提供给美工，从最简单的模型到更复杂的模型。

根据一种变型，第一个也是最简单的模型是说明光源变化。它可以由LMS色彩空间中的对角矩阵建模。可以通过简单的CAT(色度自适应变换)矩阵获得LMS(长中短)色彩空间。为了获得对角变换的三个系数，可以计算平均灰点。对于该解决方案，可以为镜头i计算镶嵌上的每个镜头的平均色彩点，表示为M

其中M

对于该变换，仅需要三个参数来编码变换。

根据另一变型，可以对直方图规定化的亮度通道进行更复杂的变换。对于每个镜头，使用固定数量的直条n(通常，从16至128)来计算和编码亮度直方图。然后，可以使用正则化直方图规定化方法来检索变换，该变换将考虑全局照明变化。

根据另一变型，直方图规定化方法不仅可应用于亮度，还可应用于所有R、G和B色彩通道。因此，使用直条来计算三个直方图。可以使用相同的正则化直方图匹配。

根据另一实施方案，在需要更丰富和更灵活的色彩变换的情况下，可以定义局部色彩配置文件，而不是全局空间不变色彩配置文件。为此，根据一个实施方案，由于3D模型轨迹是已知的，因此面部的空间掩模的先验已知区域可以是从下巴到前额。确定一些色彩配置文件。可以使用与上述完全相同的方法。对于每个区域，这可以是例如给定点附近的色彩直方图。因此，对于该区域，可以计算色彩/亮度变换。为了计算全局变换，可以根据局部色彩校正集来计算空间平滑版本(即，使用B样条)。

在与图9有关的下文中进一步描述了在后期制作工具中的使用的示例，图9示出了根据实施方案的用于编辑共享相同对象的多个视频镜头的操作的示例。

其中实现本原理的专用软件在镜头上被调用(称为镜头#1)，或者根据需要，或者在后期制作的预处理步骤(90)(通常称为“摄取”)被自动调用。

在90处，软件识别镜头#1中存在的不同面部。对于每个面部，

a)为整个镜头确定面部的镶嵌，并且确定镶嵌和镜头的图片之间的翘曲，以及每个帧和镶嵌之间的可视性映射和色彩信息模型。镶嵌被存储为标准图像，并且翘曲、可视性映射和色彩信息被存储为专有格式的元数据(例如，被编码为一系列图像)。此类确定可以离线完成，例如使用上述与图5有关的方法。在一些情况下，目前典型的镜头上可能需要半小时。

对出现面部的所有镜头执行该步骤a)，为每个镜头提供镶嵌、翘曲、可视性映射和色彩信息。

b)确定通用表示(也称为元镶嵌)，使得可使用通用表示将编辑传播到其它镜头。例如，可以使用与图4有关的所描述的方法来确定通用表示。镶嵌的通用表示被存储为标准图像。通用镶嵌和每个镜头的镶嵌之间的双向翘曲、以及镶嵌与其通用表示之间的可视性映射和色彩变换也被存储为专有格式(例如，被编码为图像)的元数据。

作为预处理步骤的示例，图10示出了表示两个视频镜头的镶嵌(左部和右部)和包括两个镶嵌的表示多个镜头的通用镶嵌(中心部)的图示。

然后，可以交互地或在线地完成多镜头编辑。

美工可以对镜头(例如镜头#1)的镶嵌进行编辑。编辑可以在特定帧上完成(在91处)，并在92处被投影到镶嵌。或者，可以直接在镶嵌上进行编辑。在这种情况下，跳过步骤91。

美工可以使用合成软件(例如，像The Foundry Nuke中的插件)中的专用节点实时地看到对镜头的编辑结果，如图11左部所示，该左部示出了对第一镜头的镶嵌的编辑(在面部上添加疤痕)。

在93处，编辑也被类似地实时投影到镶嵌的通用表示。图11中示出了这种投影的一个示例，其中示出了在面部上添加的疤痕。

在94处，使用第一镜头的镶嵌将编辑传播到第一镜头的所有帧。

如果已经确定了另一镜头(例如镜头#2)中相同演员的镶嵌，则在95处，编辑被传播到为该镜头所确定的镶嵌。此类传播的示例在图11的右部示出，其示出了添加在镜头#2的镶嵌上的疤痕。

美工可以看到编辑被实时地传播到第二镜头：来自镜头#1的镶嵌的通用表示的编辑被传播到镜头#2的镶嵌，如果需要的话，可以对编辑进行色彩调整。然后，在96处，使用为镜头#2确定的翘曲、可视性映射和色彩变换，将编辑传播到镜头#2的所有帧。

从美工的角度来看，该过程可以被看作是镜头的一个帧的编辑被实时地即时传播到2个(或更多)镜头的所有帧。美工甚至不需要知道在该过程中存在镶嵌。

根据一个实施方案，上述方法被实现为使得一个或多个处理器执行方法步骤的指令。

根据一个实施方案，图1示出了可以在其中实现上述各种方面和实施方案的系统的示例的框图。系统100可体现为一种设备，该设备包括下文所述的各种部件，并且被配置为执行本申请所述各方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统100的元件可单独地或组合地体现在单个集成电路、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统100的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统100经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其他系统或其他电子设备。在各种实施方案中，系统100被配置为实现本申请所述的方面的一个或多个方面。

系统100包括至少一个处理器110，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本申请所述的各个方面。处理器110可包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统100包括至少一个存储器120(例如，易失性存储器设备和/或非易失性存储器设备)。系统100包括存储设备140，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备140可包括内部存储设备、附接存储设备和/或网络可访问的存储设备。

根据一个实施方案，系统100包括编码器/解码器模块130，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块130可包括其自身的处理器和存储器。编码器/解码器模块130表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块130可被实现为系统100的独立元件，或可被结合在处理器110内作为本领域技术人员已知的硬件和软件的组合。

待加载到处理器110上以执行本申请中描述的各个方面的程序代码可被存储在存储设备140中，并且随后被加载到存储器120上以供处理器110执行。根据各种实施方案，处理器110、存储器120、存储设备140和编码器/解码器模块130中的一者或多者可在本申请中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、镶嵌图像、翘曲、3D模型、色彩变换信息、可视性映射、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果的一者或多者。

在若干实施方案中，处理器110和/或编码器/解码器模块130内部的存储器用于存储指令并提供用于在诸如本文所述的方法的那些预处理步骤和/或视频编辑期间所需的处理的工作存储器。然而，在其他实施方案中，在处理设备外部的存储器(例如，处理设备可以是处理器110或编码器/解码器模块130)用于这些功能中的一个或多个功能。外部存储器可以是存储器120和/或存储设备140，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储电视机的操作系统。在至少一个实施方案中，诸如RAM的快速外部动态易失性存储器被用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2、HEVC或VVC。

如框105中所指示，可通过各种输入设备提供对系统100的元件的输入。此类输入设备包括但不限于：(i)接收例如由广播器通过无线电发射的RF信号的RF部分；(ii)复合输入端子；(iii)USB输入端子和/或(iv)HDMI输入端子。

在各种实施方案中，块105的输入设备具有如在本领域中是已知的相关联的相应的输入处理元件。例如，RF部分可与适于以下项的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次将频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调经下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包含执行这些功能中的各种功能的调谐器，这些功能包含例如下变频接收的信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至期望的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模拟-数字转换器。在各种实施方案中，RF部分包括天线。

另外，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统100连接到其它电子设备的相应接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各个方面可根据需要在单独的输入处理IC内或在处理器110等内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理器110内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器110和编码器/解码器130，该编码器/解码器与存储器和存储元件结合操作以根据需要处理数据流以供在输出设备上呈现。

系统100的各种元件可设置在集成外壳内。在集成外壳内，各种元件可使用合适的连接布置115(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)进行互连并在其间发射数据。

系统100包括通信接口150，该通信接口允许经由通信信道190与其它设备的通信。通信接口150可包括但不限于被配置为通过通信信道190传输和接收数据的收发器。通信接口150可包括但不限于调制解调器或网卡，并且通信信道190可在有线和/或无线介质等内实现。

在各种实施方案中，使用Wi-Fi网络诸如IEEE 802.11将数据流式传输到系统100。这些实施方案的Wi-Fi信号是通过适于Wi-Fi通信的通信信道190和通信接口150接收的。这些实施方案中的通信信道190通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式应用和其它OTT通信。其它实施方案使用机顶盒向系统100提供流式传输的数据，该机顶盒通过输入块105的HDMI连接来递送数据。还有其它实施方案使用输入块105的RF连接向系统100提供流式传输的数据。

系统100可向各种输出设备(包括显示器165、扬声器175和其它外围设备185)提供输出信号。在实施方案的各种示例中，其它外围设备185包括以下中的一者或多者：独立DVR、磁盘播放器、立体音响系统、照明系统和基于系统100的输出提供功能的其它设备。在各种实施方案中，控制信号使用信令(诸如AV.Link、CEC或能够在有或没有用户干预的情况下实现设备到设备控制的其它通信协议)在系统100与显示器165、扬声器175或其它外围设备185之间传达。这些输出设备可通过相应的接口160、接口170和接口180经由专用连接通信地耦接到系统100。或者，输出设备可使用通信信道190经由通信接口150连接到系统100。显示器165和扬声器175可与电子设备(例如，电视机)中的系统100的其他部件集成在单个单元中。在各种实施方案中，显示器接口160包括显示器驱动器，例如，定时控制器(T Con)芯片。

或者，例如，如果输入105的RF部分是单独机顶盒的一部分，则显示器165和扬声器175可与其它部件中的一个或多个部件分开。在显示器165和扬声器175为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。另外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、部件、步骤、操作等，例如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。

除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的装置(例如，处理器)中实施，该处理器包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、(例如，从存储器)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在操作期间“接收”通常以一种方式或另一种方式涉及，例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，该编码器发信号通知用于解量化的量化矩阵。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的多种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带该实施方案的比特流。此类信号可格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码并且使用经编码的数据流调制载体。信号携带的信息可为例如模拟或数字信息。如已知的，信号可通过多种不同的有线或无线链路传输。信号可存储在处理器可读介质上。