自适应色度下采样和色彩空间转换技术

文献发布时间：2023-06-19 11:17:41

本申请是申请日为2016年3月10日申请号为201680006462.1发明名称为“自适应色度下采样和色彩空间转换技术”的发明专利申请的分案申请。

技术领域

本专利申请涉及数字图像处理技术。

背景技术

本发明涉及视频编码技术。视频分发系统包括视频源和至少一个接收设备。视频内容可通过网络或通过固定媒体分发。为了降低复杂性和成本，视频内容通常被限制于动态范围内，例如8-10位信号表示和4:2:0色彩格式。然而，显示技术的最新进展已为更复杂内容(也称为更高质量的内容)的使用提供了机会，包括以高动态范围(HDR)和/或广色域(WCG)为特点的内容以及具有增大的空间分辨率和/或时间分辨率的内容。通常使用传递函数(TF)，之后量化至特定的固定的位深精度(例如8位或10位)来将该更高质量的内容转换至较低的范围。该转换还可包括在可更易于编码的空间内的色彩空间转换过程，以及色彩格式转换，例如在使用视频压缩系统进行编码以用于分发之前，将数据从4:4:4或4:2:2转换至具有较少色度样本(例如4:2:2和4:2:0)的表示。这些步骤可引入条带效应和其他人工痕迹，其可在视频内容被解码和显示时影响并显著降低视频内容的质量。

附图说明

在下文中将参考附图更充分地描述本公开的实施方案，其中：

图1是视频通信系统的示例的框图。

图2是示例性视频编码引擎的框图。

图3是用于编码的示例性色彩格式转换的框图。

图4是用于选择下采样滤波器的示例性过程的流程图。

图5是用于对下采样滤波器的逐像素选择的示例性过程的流程图。

图6是用于选择下采样滤波器的示例性过程的流程图。

图7是用于将R'G'B'转换为Y'CrCb的示例性数据流图表。

图8是用于将R'G'B'转换为YCrCb的示例性数据流图表。

具体实施方式

描述了用于使用自适应色度下采样来转换数字图像的方法、系统和计算机可读介质。该方法包括：将图像内容从源色彩格式转换为第二色彩格式；对于多个候选下采样滤波器，根据相应的下采样滤波器来对转换的图像内容进行滤波，根据上采样滤波器来对经下采样滤波的内容进行滤波，以及估计来自经上采样滤波的内容的与相应的滤波器对应的失真；以及根据所估计的失真选择的下采样滤波器来生成输出图像内容。

描述了用于从源色彩格式转换为第二色彩格式的附加的方法系统和计算机可读介质，包括：将图像内容从RGB格式的R、G和B信号转换为亮度信号；量化该亮度信号；通过对量化的亮度信号进行逆量化来重建亮度信号；将重建的亮度信号和R信号转换为Cr信号；以及将重建的亮度信号和B信号转换为Cb信号。

视频和图像压缩系统通常在不同于捕获色彩空间/表示和/或显示色彩空间/表示的色彩空间/表示中操作。例如，视频可被捕获在RGB色彩空间中，但将被转化至YCbCr色彩空间。这么做是为了通过本质上利用冗余并移动到具有更好的压缩、均质性和误差屏蔽属性的色彩空间中来最大化视频信号的压缩属性。

通常，解码器和接收器传统上具有有限数量或已知数量的滤波器，包括被实现用于对解码数据进行上采样以适配特定的显示器的那些滤波器。然而，可包括色彩格式转换器、预处理器和编码器的发射器传统上优化滤波器选择，包括下采样滤波器，而不考虑一个或多个目标设备。因此，本文提供了用于发射器和接收器滤波器选择和色彩空间转换的改进的技术，以在图像/视频处理链中执行。

因此，发明人感知到了本领域中对改进的编码过程的需求，并且在一些情况下对与之相匹配的改进的解码过程的需求。这些改进的过程可能够处理更高质量的内容以及将所捕获的内容和预期的解码操作考虑在内，这与使用传统编码器相比改善了解码器的输出处的体验(诸如更少的视觉失真)。

图1是视频通信系统的示例的框图。源视频102由接收器120通过通信信道110传输至接收器122以输出为恢复视频118。发射器120可包括将预处理的视频数据输出至编码引擎108的预处理器104。控制器106可在适用的情况下管理预处理操作和编码操作。在通过通信信道110进行传输之后，接收器122可在解码器112处恢复并解码所接收到的编码视频。后处理可在后处理器116处应用至解码视频。控制器114可在适用的情况下管理解码操作和后处理操作。在后处理不固定的实施方案中，由预处理器104选择的预处理参数可作为边信息被包括在通过信道110传输的编码比特流中。随后，在接收器处，边信息可从编码比特流中被提取并被用于控制后处理器116。

在视频编码系统中，传统的编码器可将源视频序列编码为具有比源视频小的比特率的编码表示，从而实现数据压缩。传统的解码器可随后使由编码器执行的编码过程反转以检索源视频。编码引擎108可为传统的编码器，并且解码器112可为传统的解码器。

视频系统可包括经由网络通信的终端。终端中的每个终端可在本地接收源视频数据并对视频数据进行编码，以用于作为编码视频经由网络中的信道传输至另一个终端。在双工(双向)通信系统中，每端处的终端将在本端处对视频源进行编码。每个终端可随后从网络接收另一个终端的编码视频数据，对编码数据进行解码并显示或存储恢复的视频数据。视频终端可包括个人计算机(台式计算机和膝上型计算机两者)、平板计算机、手持式计算设备、计算机服务器、电视设备、媒体播放器和/或专用的视频会议设备。

编码器系统可将编码视频数据输出至信道，该信道可为存储设备，诸如光学存储设备、磁性存储设备或电气存储设备，或例如由计算机网络或通信网络诸如有线网络或无线网络形成的通信信道。

解码器系统可从信道检索编码视频数据、使由编码器系统执行的编码操作反转以及将解码视频数据输出至相关联的显示设备。

图1是视频通信系统的示例的框图。再次参考图1，单工(单向)终端可为发射器120。发射器120可从视频源102接收图像数据，该视频源将视频数据提供为视频图像序列。视频源可为相机，该相机可包括用于捕获光学图像的图像传感器。应用于源视频的预处理器104功能可包括转换格式转换以及图像质量增强。例如，捕获的图像数据可被捕获在RGB色彩域中。捕获的图像数据还可位于线性域中或位于可必须转换至另一域(例如回域至线性域)的特定于传感器/相机的传递函数中。鉴于图像传感器的特点，捕获的数据还可需要应用去马赛克算法，以便将其转换为全分辨率彩色图像。视频还可以由捕获过程后的其他步骤处理，并且可包括自动或手动(导向)色彩分级过程，以及其他步骤，诸如裁剪、重调尺寸和转换的帧速率和位深。视频源可另选地为存储设备，该存储设备存储从其他源(例如计算机图形等)编著的视频数据。尽管可由编码引擎108使用其他色彩空间，但是在使用视频编解码进行压缩操作之前，视频数据将按照惯例被转换为Y'CbCr。

预处理器104接收源视频数据序列并执行使源视频适于后续编码的预处理操作。可通过对视频图片执行视频处理操作诸如空间去噪滤波或时间去噪滤波、双边滤波、重调尺寸或可提高由编码器执行的编码操作的效率的其他类型的处理操作来对源视频数据执行视频预处理，以更有效地呈现视频编码。

编码引擎108对转换的输入信号执行编码操作。编码器可利用视频数据中的时间冗余和空间冗余。编码器可执行运动补偿预测编码。编码引擎可根据预先确定的协议诸如H.263、H.264/AVC、H.265/HEVC、VP8、VP9或MPEG-2等等来操作。从编码引擎输出的编码视频数据可因此符合由所用协议指定的句法。图2是示例性视频压缩系统的框图，并且是编码引擎108的一个示例。编码引擎108可包括编码流水线，该编码流水线还包括变换206单元、量化器208单元、熵编码器210，可包括帧间预测和运动补偿预测的运动预测214单元以及减法器204。变换206单元可例如通过离散余弦变换(DCT)过程或小波过程将经处理的数据变换为变换系数阵列。变换系数可随后被发送至量化器208单元，其中变换系数除以量化参数。来自运动预测214单元的信息以及量化的数据可随后被发送至熵编码器210，其中可通过运行值、运行长度或用于压缩的其他熵编码来对所述信息和数据极性编码。

解码单元220通过执行如在编码引擎处执行的反转操作来对来自编码器的编码视频数据进行解码。其还可包括环路后处理216单元，该环路后处理单元可包括试图补偿可已由预测过程、变换编码过程和量化过程的特定引入的人工痕迹的过程。环路后处理可包括诸如环路解块、样本自适应偏移(SAO)处理、自适应环路滤波(ALF)过程等技术或其他技术诸如去条带效应、锐化、抖动和去鸣振等等。在环路后处理之后，图片通常被发送至参考图片高速缓存216和/或显示器。参考图片高速缓存216存储先前解码的图片和可由运动预测单元216用作供将来进行编码操作的参考图片的其他图片。

信道编码器(未示出)可对编码视频数据进行格式设置以用于在信道中传输，并且可增加误差检测或误差纠正以识别或补偿在通过信道传输期间诱发的误差。信道自身可根据预先确定的通信协议来操作。发射器可根据适用于信道的协议来对编码视频数据进行格式设置，并可将编码视频数据输出至信道。

传统上，被捕获在RGB空间中的视频将经由传递函数转换为Y'CbCr空间，或有时称为YCbCr、YUV或Y'UV。这可通常使用被表示为M[x,y]的3x3矩阵来实现。该M[x,y]矩阵涉及特定的R、G和B色彩空间所期望包含的基色和色彩容量。另选地，与M[x,y]中的一个行例如第一行对应的仅1x3矩阵可转换第一分量(通常为Y)，之后进行用于在给定先前转换的情况下生成全部其他分量的后续步骤。例如，在如标准规范诸如ITU-R BT.709和ITU-R BT.2020等中指定的Y'CbCr的非恒定亮度表示中，Y’可被计算为M[l,l]*R'+M[l,2]*G'+M[l,3]*B’，其中R'、G’和B’是所捕获的RGB图像数据的非恒定亮度变换，并且M[l,l],M[l,2],M[l,3]是使R、G和B数据的转换与XYZ色彩空间中的亮度(Y)信号相关的适当的变换系数(也称为国际照明委员会或CIE 1976色彩空间)。应当指出的是，在非恒定亮度方法中的R、G和B数据可在该转换之前就已使用适当的传递函数方法例如幂次定律伽玛、ST.2084/PQ或某个其他传递函数而被转换为非线性数据。

随后，可使用Y’信号和一些其他变换的分量，通常是用于Cb的B’和用于Cr的R’或使用仅R'、G’和B’值和适当定义的矩阵M系数值来计算图像数据的Cb和Cr分量。在恒定亮度域中，Y’被计算为Y'＝(M[l,l]*R+M[l,2]*G+M[l,3]*B)’。这里的单引号是指示应用传递函数的运算符。在该场景下，传递函数仅在从R、G和B到Y的变换过程的结束处应用，其中现在这些色彩分量位于线性域中。在一些实施方案中，可将非恒定亮度情况中的Y’称为Y ncl'，并且将恒定亮度的Y’称为Y_cl’，以区分这两者。在其他情况下，两者可仍使用Y’并在需要时区分他们。通常，对于恒定亮度转换，仅1x3矩阵用于创建Y’分量。在将相同的传递函数应用至Cb和Cr之后，随后基于该值和B和R的数量来计算Cb和Cr分量，从而得到B'和R’值。

根据实施方案，在非恒定亮度域中，Cb可被计算为Cb＝(B'-Y')*Sb，并且Cr被计算为Cr＝(R'-Y')*Sr。Sb和Sr涉及特定的R、G和B色彩空间所期望包含的基色。在恒定亮度域中，通常如果B'-Y’小于或等于零，则Cb被计算为Cb＝(B'-Y')*Nb，否则Cb被计算为Cb＝(B'-Y')*Sb。类似地，如果R'-Y'小于或等于零，则Cr被计算为Cr＝(R'-Y')*Nr，否则Cr被计算为Cr＝(R'-Y')*Sr。在这些公式中，可能设置Nb＝Sb并且Nr＝Sr，但是考虑到色彩空间的特点和转换中涉及的传递函数，通常选择这些值。具体地，在两种情况下，即恒定亮度和非恒定亮度，意图使Cb和Cr值总是在[-0.5,0.5]内。考虑到那个情况，可容易地计算可分别针对Cb和Cr的最小值和最大值并且可确定那些数量。例如，针对非恒定亮度情况，将针对Cb具有如下计算：

B'-Y'＝-M[l,l]*R'-M[l,2]*G'+(1-M[1,3])*B'

该推导的最大值是(1-M[1,3])，并且最小值是-(M[l,l]+M[l,2])。因此，在归一化之前范围是[-(1-M[1,3]):(1-M[1,3])]。考虑到这个情况，可计算Sb＝l/(l-M[l,3])/2。可针对Cr分量和Sr应用类似的推导。

类似地，针对恒定亮度将具有：

B'-Y'＝B'-(M[l,l]*R+M[l,2]*G+M[l,3]*B)'

在这种情况下，最大值将为1-(M[1,3])’并且最小值将为-(1-M[1,3])’。范围为不对称的并且取决于传递函数。考虑到这些值，可推导Nb和Sb数量，并且类似地还可计算针对Cr的Nr和Sr数量。

在实施方案中并且针对恒定亮度情况，Cb/Cr分量可另选地根据以下来计算：

Cb_temp＝(B-Y)*Sb

Cr_temp＝(R-Y)*Sr

其中这里的Y位于线性空间中，并且还对应于信号的实际亮度信息。考虑到后续的量化过程，Sb和Sr是试图尽可能多地保留色彩信息的数量。那么：

Cb＝sign(Cb_temp)*TFcb(abs(Cb_temp))

Cr＝sign(Cr_temp)*TFcr(abs(Cr_temp))

其中TFcb/ITFcb和TFcr/ITFcr对应于特定的传递函数和应用至每个色彩分量的它的倒数。需注意，该传递函数不需要与用于生成Y’分量的传递函数相同。可针对色彩信息更主观地调整TF，或者可应用被应用在Y上的相同的TF。

需如前所述应用用于推导Sb和Sr的类似的考虑因素，即需要确保在转换之后Cb和Cr数量保持在[-0.5,0.5]范围内。

在实施方案中并且针对非恒定亮度情况，Cb/Cr分量可根据以下来计算：

首先将Y分量计算为Y'＝M[l,l]*R'+M[l,2]*G'+M[l,3]*B’。Y’随后被转换为反向变换形式Y_ncl，Y_ncl＝ITF(Y')。应当指出的是，通常，即除非TF是线性TF，否则Y_ncl！＝Y。那么：

Cb_temp＝(B-ITF(Y'))*Sb

Cr_temp＝(R-ITF(Y'))*Sr

并且如上，

Cb＝sign(Cb_temp)*TFcb(abs(Cb_temp))

Cr＝sign(Cr_temp)*TFcr(abs(Cr_temp))

其中TFcb和TFcr为适当的传递函数。

需如前所述应用用于推导Sb和Sr的类似的考虑因素，即Cb和Cr数量需要保持在[-0.5,0.5]范围内。

根据实施方案，Sb和Sr可被计算为：

图3是用于编码的示例性色彩格式转换的框图。一旦完成色彩空间转换，在将图像数据递送至编码器或预处理系统之前，通常在Y'CbCr色彩空间中对图像数据执行量化操作和上采样操作。在图3中，色彩空间转换可如上所述在转换器302中被执行，之后由量化器204和下采样器306执行。根据实施方案，Y'(Yq)的量化值可被计算为Qy(Y')，其中Qy表示量化函数。如果使用下采样过程，例如从4:4:4到4:2:2或4:2:0，或从4:2:2到4:2:0，则Cb和Cr的下采样版本需要使用特定的下采样过程来生成。该过程可分别表示为Down(QCb(Cb))和Down(QCb(Cb))，其中Down()是下采样函数。这些步骤通常在显示或可为期望的一些其他处理之前被反转。在完成这些过程之后，并且如果这些数据随后被传递到编码器中，则直接在此类数据上执行编码过程。例如，下采样器306的输出可被输入至预处理器104或直接输入到编码引擎108中，其中，可执行例如预测、DCT或波形变换、量化和其他编码过程。

类似的函数可相反地被执行，作为解码操作的一部分，以生成重建的Br'、Rr’和Gr’。例如，Yr’可被计算为IQY(YqN)，其中IQ()是量化反函数。IqN实际上是Iq+N，其中N是在数据的编码或传输期间增加的噪声(例如量化噪声)。Cbr和Crr可被分别计算为IQCb(UP(CbqN))和IQCr(UP(CrqN))，其中UP()是上采样函数，并且CbqN和CrqN是重建的色度数据，其中类似地，一些编码噪声也由于编码过程而被引入其中。

随后，对于传统的方法，Br’可被计算为Cbr/Sb+Yr'，并且Rr’可被计算为Crr/Sr+Yr'。随后，为了计算Y’求得G’的值而求解上述公式，Gr’可被计算为(Yr'-M[l,l]*Rr'-M[l,3]*Br')/M[l,2]。

在上述方法中，所呈现的转换和解码操作在解码器处被反转。例如，在恒定亮度情况中，现在如下执行用于生成B、R和G分量的反转过程：

Cbr_temp＝sign(Cbr)*ITFcb(abs(Cbr))

Crr_temp＝sign(Crr)*ITFcr(abs(Crr))

Br＝Cbr_temp/Sb+Y

Rr＝Crr_temp/Sr+Y

Gr＝(Yr-M[l,l]*Rr-M[l,3]*Br)/M[l,2]

类似地，对于非恒定亮度方法：

Cbr_temp＝sign(Cbr)*ITFcb(abs(Cbr))

Crr_temp＝sign(Crr)*ITFcr(abs(Crr))

Br＝Cbr_temp/Sb+ITF(Y')

Rr＝Crr_temp/Sr+ITF(Y')

Gr＝(Yr-M[l,l]*Rr-M[l,3]*Br)/M[l,2]

需如前所述应用用于推导Sb和Sr的类似的考虑因素，即需要确保Cb和Cr数量保持在[-0.5,0.5]范围内。

如上所述，用于为压缩准备内容的重要步骤为使用色度下采样方法将可处于4:4:4或4:2:2布置中的原始视频数据转换为减小的色度分辨率空间。考虑到色度信号的特点，此类步骤可改善压缩，同时还可降低复杂性，因为在编码期间较少的样本需要被处理。描述了自适应色度下采样方法，例如从4:4:4到4:2:2或4:2:0，该方法涉及对N个可能的下采样滤波器的考虑，以及为每个样本位置自适应地选择“最佳”滤波器，从而得到改善的性能。

4:2:2格式是亮度-色度格式，其中色度信道在一个维度上被下采样，包含针对每个像素的单个亮度值，但是两个色度信道中的每个色度信道沿图像的一个维度针对每隔一个像素仅包含一个值。这导致处于4:2:2格式的两个色度信道中的每个色度信道沿图像的一个(通常为水平的)维度针对每两个亮度样本仅包含一个值。4:2:0格式是亮度-色度格式，其中色度信道在两个维度上被下采样，两个色度信道中的每个色度信道沿图像的两个维度针对每两个亮度样本仅包含一个值。这导致处于4:2:2格式的每个色度信道包含与亮度信道一样多值的四分之一。4:4:4格式不被下采样并且针对每个像素包括三个色彩分量值。

图3是用于编码的示例性色彩格式转换的框图。图3的色彩格式转换器可被结合作为图1的预处理器104的一部分，并且可以适用于编码引擎108的格式来输出数据。在该示例中，源视频102在色彩空间中例如从RGB被转换为本文所述的4:4:4亮度-色度格式中的任一种格式。下采样滤波器选择器204从一组下采样滤波器选项中选择色度下采样滤波器，如下文结合图4所述。所选择的下采样滤波器305用于从所选择的下采样滤波器305生成预处理的数据202。

图4是用于选择下采样滤波器的示例性过程的流程图。根据实施方案，考虑到在解码之后可能会使用的已知的上采样滤波器，基于检查每个滤波器的性能来决定针对每个样本位置所使用的滤波器(例如在显示之前，通过界面系统下发等)。评估每个滤波器，并且与原始信号相比产生最小失真，例如误差项平方和(SSE)、绝对差值和(SAD)、结构类似度指标度量(SSIM)或客观失真的某个其他测量的滤波器可被选择作为最佳滤波器。如图4所示，图像的两个色度信道中的一个色度信道在402处被输入。控制器410选择N个可能的下采样滤波器中的一个下采样滤波器，以在404处应用至输入色度信道。在404处滤波的结果随后在406处立即使用已知的或假设的上采样滤波器来进行上采样，在408处对上采样的结果与原始的输入色度信道进行比较以在408处产生失真估计。失真估计被发送至所选择的滤波器的控制器。该过程针对N个可能的下采样滤波器中的每个下采样滤波器重复以识别最小失真。对应于最小失真的滤波器随后被输出为滤波器选择412。

根据实施方案，编码器可以多个不同的下发系统例如不同的显示器为目标。这些显示器可具有不同的滤波器。来自这些显示器的已知的滤波器可再次被考虑并评估，以选择跨所有可用的上采样器产生最佳平均性能的下采样器。各种已知的显示器上采样器可以同样的权重被考虑，或者可基于每个预期的上采样器的流行率和重要性来进行加权。

可为帧/图片选择最佳滤波器。可通过整个图片来评估可用的滤波器，并且最佳滤波器被选择作为在该整个图片上产生最佳性能的滤波器。此外，可考虑比图片更小的单元。具体地，图片可被分为片段，例如一条或多条线/一个或多个行或列、块或窗口等。针对这些片段中的每个片段，可生成所有可能的下采样版本，采用可用的上采样器进行升频以及独立地选择针对每个片段的滤波器。最终的经下采样的图像将是所有各个最优化区域的组合。在具体的实施方案中，可考虑重叠区域以用于优化。对于重叠区域，样品的加权平均数可用于最终的重建。可基于距每个区域的边界的距离或基于可包括对图像的分析和滤波器的特点的某个其他标准来进行加权。例如，如果样本对应于边缘并且在一个区域中选择了更尖锐的滤波器，而同时更多的边缘样本也位于那个区域中，则那个滤波器可被给与比另一区域中的具有较少边缘样本的滤波器更高的权重。如果样本被视为对应于纹理或平坦区域，则类似的考虑因素可适用。

图5是用于对下采样滤波器的逐像素选择的示例性过程的流程图。根据实施方案，可针对每个单独的样本执行优化。这可提供比基于固定区域的方案更好的性能。如图5所示：

a)对于特定的区域，例如整个或部分图像线，默认选择一个下采样滤波器。在步骤510处，在所有样本上应用默认滤波器以生成初始的经滤波的区域R

b)对于区域中的每个样本，考虑所有另选的下采样滤波器。

i)对于步骤520中的示例，针对当前位置，在给定所有另选的下采样滤波器(例如N个滤波器)的情况下来对该位置样本进行滤波，从而生成N个可能的另选的值。

ii)随后，在给定将会考虑到的已知的上采样滤波器的情况下，对图像R

iii)在步骤530处，针对每个应用的滤波器计算受影响区域的失真，并且找出最小失真。具有最小失真的版本被宣称为用于该样本的当前最佳滤波器。在步骤540中，在该经滤波版本中给定对应的经滤波样本的情况下，图像R

iv)在步骤550中，增加位置并重复滤波操作，直到已到达区域的尽头。

v)如果已到达区域的尽头，则可(基于失真阈值或迭代次数)终止或重复针对样本的整个过程以进一步优化滤波器选择。在了解了图像的各方面的情况下，这将提供对所选择的下采样器的细化。

根据实施方案，可不仅考虑单个初始的经滤波的区域而且考虑给定的不同滤波器。随后，针对这些另选的区域中的每个区域，可在给定滤波器的仅子集的情况下决定执行上述优化。具有一些重叠的相同区域或不同分区的区域可被视为用于该过程的另选的区域。在针对所有这些另选的替代方案完成该过程之后，可随后将结果合并到一起。这可通过以各种方式合并来自另选的(或中间的)优化区域的每个共站样本的结果。在一个实施方案中，中间结果可一起取平均值。在另选的实施方案中，这些另选的替代方案现在被视为另选的滤波器候选者，其可被考虑用于后续的优化步骤。在这种情况下，现在使用决策过程中的这些另选的替代方案来重复上述过程。在该场景下，可考虑新的区域分区，该新的区域分区可与所用的初始分区中的一个或多个分区相同或与所考虑的初始分区完全不同。实质上，现在这是分级优化过程，该过程可提供某种形式的平行化，然而，在现在所需要考虑的每个另选的子集区域中的滤波器的数量减少的情况下，复杂性最终会降低。

根据实施方案，通过信号预分析诸如边缘和纹理/差异检测来增加针对滤波器的决策。具体地，可首先分析图像的边缘或纹理，并据此对每个样本进行分类。被分类为边缘或靠近边缘的每个样本可仅考虑某些滤波器以用于下采样，而平坦区域或纹理区域可考虑其他滤波器。样本或像素的亮度或色彩特点也可被考虑。随后，在给定样本的模式的情况下，上述优化步骤将仅考虑适当的滤波器。

还可考虑与当前分量样本相比较的其他色彩分量及其特点。如果特定的滤波器例如被选择用于Cb分量，则那个滤波器可能成为同样用于Cr分量滤波器决策的最佳滤波器。当评估针对相同位置的其他分量的样本时，可忽略针对一个分量的样本表现不佳的滤波器。此外，如果不同的色彩分量样本的特点(例如边缘或纹理分类)相匹配，则很可能会针对两个分量使用相同的滤波器。这可大量地减少复杂性并加速下采样过程。

上述过程可直接在传递函数域数据(幂次定律伽玛或使用感知的基于量化器的伽玛，例如ST.2084/PQ)上执行，或直接在线性数据上执行。

该过程可涉及4:4:4到4:2:2下采样、4:2:2到4:2:0或4:4:4到4:2:0。针对后一种情况，可首先在一个方向上例如水平地执行自适应下采样，之后在另一方向上例如垂直地进行自适应下采样。还可能的是该过程可直接涉及2D下采样，并且可针对两个维度在单个步骤中进行转换。

编码器可知道将用于对重建的图像数据进行上采样的滤波器和传递函数。随后，利用已知的上采样滤波器，下采样滤波器可被设计为优化将由上采样诱发的失真。如前所述，在实施方案中，编码器可以多个不同的递送系统例如可具有多个滤波器的不同显示器为目标。用于这些显示器的已知的滤波器可被考虑并评估，以选择在可用的所有上采样器中产生最佳平均性能的下采样器。各种已知的显示器上采样器可以同样的权重被考虑，或可基于每个预期的上采样器的流行率和重要性来进行加权。

可通过基于原始源数据的Cb/Cr分量或原始源数据的一些其他色彩表示(例如R、G和B表示或X、Y、Z表示)选择最佳滤波器来实现类优化。图6是用于选择下采样滤波器的示例性过程的流程图。在图6的示例中，通过在Cb/Cr分量上执行量化和下采样并随后使用每个不同的可用滤波器执行用于重建Cbr/Crr分量的反函数620，原始Cb/Cr可与重建的Cbr/Crr数据进行比较以计算在处理期间增加的失真。数据可任选地被转换回R、G和B或X、Y、Z，并且可替代地在那些空间中计算失真。使失真最小化最佳的滤波器可随后被选择用于编码过程。

如图6所示，初始地对于图像数据的一部分，所述部分的Cb和Cr分量可使用可用的上采样滤波器中的一个上采样滤波器来进行编码(框610)。随后，所述部分的重建的Crr和Cbr分量使用对应的下采样滤波器来创建(框620)。随后，在编码和重建过程引入的失真可通过将原始Cr/Cb分量与重建的Crr/Cbr分量进行比较来计算(框630)。一旦已考虑了所有可用的滤波器，则将选择产生最小失真的滤波器(框640)。用于编码决策过程的失真度量可例如为绝对差值平均或绝对差值和(MAD或SAD)、绝对变换差值和(SATD)、均方差值/误差或误差项平方和(MSE或SSE)、峰值信噪比(PSNR)、结构类似度指标(SSIM)或其他合适的运算。

滤波器优化还可在不同域中接连发生。例如，在计算了Cbr和Crr之后，RGB和XYZ色彩空间中的数据可基于原始YCbCr和重建YrCbrCrr中的一者来计算。随后，可计算最小化失真XYZ和XYZr的滤波器。该方法需要首先针对一个色彩分量例如Cr作出初步决策，并且使用那个决策试图优化另一个色彩分量，即Cb。在对该色彩分量的优化完成之后，可回到Cr，并在进一步给定了针对Cb的初始联合决策的情况下将其细化。该过程可迭代多次。迭代可重复，直到不再观察到性能的进一步变化或直到可由用户或应用程序决定的N个步骤之后。应用程序例如可自适应地基于例如总体复杂性预算来决定涉及下采样/上采样过程的步骤的数量。将还需在该过程中考虑Y分量，而如本专利申请的其他章节中所述，Y分量的特点和量化也可被考虑。该延伸的色彩空间中的失真可再次基于MAD、SAD、SATD、SSE或PSNR。失真可在线性空间中或使用适当定义的传递函数来计算。来自该延伸空间中的每个色彩分量的失真可基于每个色彩分量的重要性使用平均数或加权平均数来组合，以生成单个失真测量。加权还可包括内容特点，诸如局部亮度或全局亮度、样本是否与边缘、纹理或平坦区域等对应或靠近。

可基于原始的与重建的序列、场景、图像、片、块、像素或图像数据的其他部分之间的比较来选择滤波器。

类似地，利用已知的滤波器，色彩变换矩阵(M)可以与如上所述类似的方式来优化以最小化失真。

利用已知的上采样滤波器和下采样滤波器并且当使用针对量化的固定位深时，在量化变换Q()中使用的量化参数可以与所述的类似方式来优化，以最小化失真。此类优化还可将量化边界和量化死区考虑在内。

关于所选优化的信息可从编码器发送至接收器或解码器，作为与编码数据一起传输的编码提示数据的一部分。编码提示可作为边信息被传输并被包括在比特流诸如H.264中，作为补充增强信息(SEI)消息。SEI消息可包括后滤波提示SEI消息或色度重采样滤波提示SEI消息。此类编码提示数据可包括用于色彩变换的变换矩阵、用于量化变换的参数以及用于优化过程的滤波器的信息等。更复杂的过程还可包括实际视频编码和解码的方面，即使用编解码器诸如H.264或H.265通过初始编码通道。此类信息可被反馈至滤波器优化阶段以进一步细化下采样过程。例如，如果已知编码会以特定的比特率进行并且位于某个水平以下的色度精度将由于量化而丢失，则这在滤波过程期间可被考虑到，以降低复杂性或提高质量。信号的噪声特点以及滤波器和/或编码过程的去噪影响也可在优化和滤波过程中被考虑。

应当指出的是，以上所有操作可不仅应用于非恒定亮度Y'CbCr数据而且可应用于恒定亮度Y'CbCr数据、或其他色彩空间诸如Y'u'v'(CIE1976)、Y'u"v"、IPT色彩空间或可适用于视频编码的其他色彩空间。

传统的色度转换技术使用非线性传递函数(传递函数或传递域)。这么做是为了使用某个主观定义的过程(传递函数)执行将信号初始基本压缩至固定位深。然而，考虑到传递函数的非线性，在传递域中在色彩分量上执行的操作可导致精度丢失和误差。这些可通过在线性域中执行操作来补救。该过程之后还可进行附加的色彩格式转换步骤，其旨在使色彩信号去相关以及通常使强度/亮度信息与色彩分离。

图7是用于将R'G'B’转换为Y'CrCb的示例性数据流图表。为了执行此类操作，非恒定亮度情况中的Y’可如上所述在框702处计算，即Y'＝(M[l,l]*R'+M[l,2]*G'+M[l,3]*B')。随后，(线性域中的)Y_ncl、B、R和G分量可使用表示为ITF()的传递反函数而在框704a-704d中计算。例如，Y_ncl可任选地被计算为Y_ncl＝ITF(Y')，并且其他分量可被计算为Y_ncl＝ITF(Y')、R＝ITF(R')和G＝ITF(G')。随后，每个分量的下采样版本可通过将下采样滤波器Down()应用于线性分量而在框706a-706d处计算。随后，每个下采样分量的非线性版本可使用传递函数TF()在框707a-707d处计算。使用色彩分量(Β'、R’和G’)的下采样非线性版本，传递域中的Y、Cb和Cr分量可(如上)分别在框710、712和714处计算。另选地，可使用下采样Y_ncl数据而非下采样G’数据来生成(如上的)Cb和Cr分量。应当指出的是，那个推导将不与使用下采样G’数据相同，因为下采样Y_ncl直接从Y’导出，该导出涉及传递函数的非线性。在该场景中，同样考虑了下采样Y_ncl的适当的解码器在推导最终信号的过程中是必要的。

根据实施方案，G分量的计算可为不必要的。在Y转换框处从R'、G’和B’分量初始计算的Y’值可被输出为Y’分量。

根据实施方案，Y’分量在阶段704b之后可为不可用的。例如，Y2’可不直接从下采样的RGB值生成。随后Cr和Cb可从R2、B2和G2生成。

在实施方案中，可确定最好使用用于生成一个分量的下采样版本的线性方法以及用于另一分量的非线性方法。还可能选择例如：非线性方法将用于两者，或者可考虑两者的组合。该决策可自适应地作出或基于一些预定义的条件作出。例如，这可通过在两种情况下评估在每个场景中如在自适应滤波过程中引入的与原始Cb和Cr分量(未进行下采样)相比而言的失真来确定。考虑到如前所述的适当的失真测量，还可针对该评估而考虑另选的色彩空间(例如RGB或XYZ)。可考虑所有可能的组合或组合的子集，例如考虑非线性下采样Cb和线性下采样Cr的组合和/或反之亦然、线性的两者、非线性的两者等。决策过程可用于整个图像、图像的区域或甚至单个样本。可通过对样本一起取平均值来从转换过程中的每个转换过程生成附加组合。取平均值可以是基于信号的特点或基于失真性能的简单平均数或加权平均数。

考虑到每个特定转换的特点，在线性域中的下采样的过程或自适应技术可在恒定亮度域和非恒定亮度域中实现，并且还可应用于另选的色彩空间，诸如Y'u'v'、Y'u"v"、IPT或其他色彩空间。在那些情况下，例如，可需要转换至中间色彩空间而非RGB。具体地，可首先需要转换至XYZ或其他色彩空间，诸如例如针对IPT情况的LMS。在那些空间中执行下采样以生成下采样版本，并且与色彩分量对应的适当的下采样信号从这些图像导出。

传统上，图像数据的每个色彩分量彼此独立地被量化并转换。例如，在恒定亮度域或非恒定亮度域中，Y'、Cb和Cr分量可被计算，并且随后每个分量将通过应用量化函数Q()而被量化。然而，一旦Yq分量被计算，则该值可用于生成Cb/Cr分量。可针对其他色彩空间作出相同的考虑，其中在色彩分量之间可能具有依赖关系。

图8是用于将R'G'B’转换为YCbCr的示例性数据流图表。在该示例中，在非恒定亮度域，当接收到RGB输入时，Y’可在框802处(在传递域中)被如上(Y'＝M[l,l]*R'+M[l,2]*G'+M[l,3]*B')计算。随后，Y’的量化值可在804处被计算，并且通过使用量化值，Yr’可在框806处通过逆量化来重建。随后，通过使用Yr’的重建值，Cb’和Cr’可如上所述被计算为(在框810处为(Cb'＝(Β'-Yr')*Sb以及在框808处为Cr'＝(R'-Yr')*Sr)。Cr和Cb的量化值可随后使用量化函数分别在框812和814处来计算。下采样过程，诸如在将数据转换至4:2:2或4:2:0(未在图8中示出)的情况中，以及该过程引入的失真也可在该步骤中被考虑，如先前章节所述。

类似地，在恒定亮度域，线性域中的Y被首先计算为Y＝M[l,l]*R+M[l,2]*G+M[l,3]*B，随后传递域中的Y’被计算为Y'＝TF(Y)。随后，Y'、Cr’和Cb’的量化值可如上所述针对非恒定亮度情况来计算。

解码器或接收器可在必要时反转这些过程以生成恢复的色彩分量。

如图8所示，Y分量可另外在框820处被编码以及解码，以解释当计算Cb/Cr分量时由于有损压缩器诸如图1的编码引擎108导致的压缩损耗。

根据实施方案，在先前量化和处理的色彩分量中引入的任何误差可被馈送至后续量化和处理的色彩分量中。通过改变分量计算的次序以首先计算不同的分量，随后使用那个信息来计算其他分量：1)量化误差、2)压缩误差和/或3)任何一个分量的色度上采样误差可在创建剩余分量期间被考虑。

例如，Cb可被计算为Sb*M[l,l]*R-Sb*M[l,2]*G+(Sb-Sb*M[l,3])*B。随后，Y被计算为Y＝B-Cb/Sb，并且Cr被计算为Cr＝(Sr-Sr*M[l,l])*R-Sr*M[l,2]*G-Sr*M[l,3]*B。类似地，Cr可首先被计算，其次是Y再次是Cb，或者Cr可被其次计算，随后是Cb，然后是Y等。

上述步骤可应用于其他色彩空间而非仅仅Y'CbCr数据。其他空间可包括例如Y'u’v’、Y'u'v’和IPT色彩空间等。针对该转换可需要中间转换到其他色彩空间，诸如XYZ或LMS。这些步骤可使用本公开的所有其他章节中所述的所有其他方法来组合。

上述过程中的每个过程可应用于另选的色彩空间，包括YUV、Y'u'v'、XYZ、Y'dzdx、Y'u"v"、IPT、LAB等。

根据实施方案，编码器可在由管理协议建立的针对带外(边信息)数据的逻辑信道中传输具有编码视频数据的信息。此类信息可包括滤波器选择、量化参数和其他提示信息。作为一个示例，由H.264协议所用，编码器200可在由H.264所指定的补充增强信息(SEI)信道中传输累积统计数据。在此类实施方案中，过程将信息引入到与SEI信道对应的逻辑信道中。当本发明将与不指定此类带外信道的协议一起使用时，用于噪声参数的独立的逻辑信道可在输出信道内建立。

尽管上述描述包括多个示例性实施方案，应当理解，已使用的字词是描述和说明的字词而非限制的字词。如当前所陈述的和所修改的，可在所附权利要求的范围内作出改变而不脱离本公开在其各方面的范围和实质。尽管已结合特定的手段、材料和实施方案描述了本公开，但是本公开不旨在被限制于所公开的细节；相反，本公开延伸至诸如在所附权利要求的范围内的所有功能等同的结构、方法和用途。例如，本发明的实施方案可提供编码方案、存储程序指令的非暂态计算机可读介质、视频编码器等，该程序指令在由处理设备执行时使得设备执行本文所述的方法中的一个或多个方法。

如本文所用，术语“计算机可读介质”可包括单个介质或多个介质诸如集中式数据库或分布式数据库、和/或存储一个或多个指令集的相关联的高速缓存和服务器。该术语还应当包括能够存储、编码或承载指令集的任何介质，该指令集由处理器执行且使得计算机系统执行本文所公开的实施方案中的任一个或多个实施方案。

计算机可读介质可包括一个或多个非暂态计算机可读介质和/或包括一个或多个暂态计算机可读介质。在特定的非限制性示例性实施方案中，计算机可读介质可包括固态存储器，诸如存储卡或容纳一个或多个非易失性只读存储器的另一程序包。另外，计算机可读介质可为随机存取存储器或其他易失性可重写入存储器。此外，计算机可读介质可包括磁光介质或光学介质，诸如用于捕获载波信号诸如通过传输介质传送的信号的盘或带或另一存储设备。因此，本公开被视为包括任何计算机可读介质或其他等同物以及后继介质，数据或指令可存储在所述介质中。

本说明书描述了可在特定的实施方案中实现的部件和功能，其可根据一个或多个特定的标准和协议来操作。然而，本公开不限于此类标准和协议。此类标准周期性地可被具有基本上相同功能的更快或更高效的等同物所取代。因此，具有相同或相似功能的替换标准和协议被视为其等同物。

本文所述的实施方案的说明旨在提供对各种实施方案的大体了解。该说明并非旨在用作对使用本文所述的结构和方法的装置和系统的所有元件和特征部的完整描述。在回顾本公开时，许多其他实施方案对于本领域的技术人员而言可为显而易见的。其他实施方案可被使用并从本公开得出，使得可在不脱离本公开的范围的情况下作出结构和逻辑替代以及变化。此外，该说明仅仅是代表性的并且可不按比例绘制。说明内的某些部分可为夸大的，而其他部分可为被最小化的。因此，本公开和附图将被视为例示性的而不是限制性的。

例如，所公开的实施方案的操作已在服务器和终端的上下文中被描述，该服务器和终端实现视频编码应用程序中的编码优化。这些系统可体现在电子设备或集成电路，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中。另选地，它们可体现于在个人计算机、笔记本电脑、平板计算机、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序典型地存储在物理存储介质诸如电子、磁性和/或基于光学的存储设备中，其中它们可在操作系统控制下被读取到处理器并且被执行。并且，当然，这些部件可提供作为混合系统，根据需要混合系统在专用硬件部件和编程通用处理器上分发功能性。

此外，在上述描述中，各种特征可被一起组合或描述以用于简化本公开的目的。本公开不被解读为反映以下意图：需要所有此类特征以提供可操作的实施方案，并且所要求保护的实施方案需要比每条权利要求中明确表述的特征更多的特征。相反，如以下权利要求书所反映，主题可涉及的特征少于所公开实施方案中的任一实施方案的所有特征。因此，以下权利要求书结合到说明书中，其中每条权利要求自身限定独立地要求保护的主题。

同样，在某些权利要求表述方法的情况下，在权利要求中对特定方法的表述的顺序不要求该顺序对可操作的权利要求而言是必不可少的。相反，特定的方法元素或步骤在不脱离本发明的范围和实质的情况下可以不同次序被执行。