具有连续性约束和可逆性约束的HDR成像整形函数

相关申请的交叉引用

本申请要求均于2020年4月21日提交的美国临时申请第63/013,063号和欧洲专利申请第20170567.0号的优先权，这两个申请中的每一个都通过引用以其全文并入本文。

技术领域

本发明总体上涉及图像。更具体地，本发明的实施例涉及生成用于HDR成像的满足连续性约束和可逆性约束两者的一系列整形函数。

背景技术

如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力，该强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为术语可以在任一意义上例如可互换地使用。

如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的14到15个数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。

实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用线性或伽马光亮度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可被视为增强或高动态范围的图像。还可以使用高精度(例如，16位)浮点格式来存储和分布HDR图像，如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文档格式。

大多数消费者桌面显示器目前支持200到300cd/m

在传统图像流水线中，使用非线性光电函数(OETF)来量化所捕获的图像，该非线性光电函数将线性场景光转换为非线性视频信号(例如，伽马编码的RGB或YCbCr)。然后，信号在被显示在显示器上之前在接收器上通过电光传递函数(EOTF)来处理，该电光传递函数将视频信号值转化成输出屏幕颜色值。这样的非线性函数包括在ITU-R Rec.BT.709和BT.2020中记录的传统“伽马”曲线、在SMPTE ST 2084中描述的“PQ”(感知量化)曲线以及在Rec.ITU-R BT.2100中描述的“混合对数型伽马(HybridLog-gamma)”或“HLG”曲线。

如本文所使用的，术语“整形(reshaping)”或“重新映射”表示数字图像从其原始位深度和原始码字分布或表示(例如，伽马、PQ或HLG等)到相同或不同位深度和不同码字分布或表示的图像的样本到样本映射或码字到码字映射的过程。整形允许以固定的比特率改善可压缩性或改善图像质量。例如，非限制性地，可以将前向整形应用于10位或12位PQ编码的HDR视频，以提高10位视频编码架构中的编码效率。在接收器中，在对接收到的信号进行解压缩(可能会或可能不会进行整形)之后，接收器可以应用逆向(或后向)整形函数，以将信号恢复为其原始码字分布和/或实现更高的动态范围。

整形可以是静态的或动态的。在静态整形中，生成单个整形函数并将其用于单个流或跨多个流使用。在动态整形中，可以基于输入视频流特性来定制整形函数，这些特性可以在流级、场景级甚至帧级改变。动态整形是优选的；然而，某些设备可能没有足够的计算能力来支持它。如本发明人在此所理解的，期望用于在显示视频内容(尤其是HDR内容)时进行高效的图像整形的改进技术。

在本节中描述的方法是可以追寻的方法，但不一定是先前已经设想到或追寻的方法。因此，除非另有指明，否则不应该认为本节中所描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有表示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。

附图说明

在附图中以举例而非限制的方式来图示本发明的实施例，并且其中类似的附图标记指代类似的元件，并且在附图中：

图1A描绘了根据现有技术的使用整形函数的用于HDR数据的示例单层编码器；

图1B描绘了根据现有技术的与图1A的编码器相对应的示例HDR解码器；

图2描绘了根据本发明的实施例的用于设计整形函数的示例过程；

图3描绘了根据本发明实施例的用于减小后向整形函数的多段表示中的两个二阶多项式段之间的差距的示例过程；以及

图4描绘了根据实施例的使用整形函数的示例编码器。

具体实施方式

本文描述了用于图像的高效编码的图像整形技术。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。

概述

本文描述的示例实施例涉及图像整形。在实施例中，在包括一个或多个处理器的装置中，处理器接收HDR和SDR中的参考图像的输入对。给定使用参考HDR和SDR图像来生成的前向整形函数的初始集合，通过以下方式构造输出前向整形函数和输出后向整形函数的集合：a)使用前向整形函数的初始集合来生成对应的后向整形函数的第一集合，b)生成后向整形函数的第二集合，其中每个后向整形函数是使用具有枢轴点的公共集合的多段多项式表示来表示的，c)通过优化后向整形函数的第二集合的多项式表示以最小化连续段之间的差距输出值，来生成后向整形函数的输出集合，以及d)使用后向整形函数的输出集合，通过最小化参考HDR值与重构的HDR值之间的距离来生成前向整形函数的输出集合。

在生成其中段之间的差距值被最小化的输出后向整形函数的实施例中，处理器接收第一动态范围(例如，SDR)中的输入图像的第一集合和第二动态范围(例如，HDR)中的输入图像的第二集合，其中，输入图像的第一集合与输入图像的第二集合之间的对应对表示相同的场景。处理器：

访问基于输入图像的第一集合和输入图像的第二集合生成的后向整形函数的第一集合，其中，后向整形函数将像素码字从第一动态范围中的第一码字表示映射到第二动态范围中的第二码字表示，并且每个后向整形函数由具有一组公共枢轴的后向整形函数的基于段的表示的整形索引参数和段参数来表征；

调整后向整形函数的第一集合中的段参数，以生成具有与后向整形函数的第一集合的一组公共枢轴但具有经调整的基于段的多项式表示的后向整形函数的输出集合，其中，调整后向整形函数中的段参数以生成更新的多项式系数包括：

针对第一枢轴与第二枢轴之间的后向整形函数的段，其中段在原始多项式表示中由三个原始多项式系数表示：

访问段的三个原始多项式系数；以及

针对段的第一个更新的多项式系数的一个或多个新值：

基于第一枢轴和第二枢轴、第一个更新的多项式系数的新值、以及根据段的原始多项式表示的第一枢轴和第二枢轴的对应输出，求解段的第二个更新的多项式系数和第三个更新的多项式系数；以及

在满足失真标准时，用更新的多项式系数来更新段的多项式系数的最优集合。

根据一些实施例，提供了一种用于使用处理器生成整形函数的方法，方法包括：

访问第一动态范围中的输入图像的第一集合和第二动态范围中的输入图像的第二集合，其中，输入图像的第一集合与输入图像的第二集合之间的对应对表示相同的场景；

访问基于输入图像的第一集合和输入图像的第二集合生成的后向整形函数的第一集合，其中，后向整形函数将像素码字从第一动态范围中的第一码字表示映射到第二动态范围中的第二码字表示，并且每个后向整形函数由具有一组公共枢轴(例如，该组公共枢轴在后向整形函数的第一集合中的后向整形函数之间可以是公共的)的后向整形函数的基于段的表示的整形索引参数和段参数来表征；以及

调整后向整形函数的第一集合中的段参数，以生成具有与后向整形函数的第一集合的一组公共枢轴但具有经调整的基于段的多项式表示的后向整形函数的输出集合，其中，调整后向整形函数中的段参数以生成更新的多项式系数包括：

针对第一枢轴与第二枢轴之间的后向整形函数的段，其中段在原始多项式表示中由三个原始多项式系数表示：

访问段的三个原始多项式系数；

将失真参数初始化为第一失真值；以及

针对段的第一个更新的多项式系数的一个或多个新值：

基于第一枢轴和第二枢轴、第一个更新的多项式系数的新值、以及根据段的原始多项式表示的第一枢轴和第二枢轴的对应输出，求解段的第二个更新的多项式系数和第三个更新的多项式系数；以及

在满足失真标准时，用更新的多项式系数来更新段的多项式系数的最优集合。

后向整形函数的第一集合可以从使用输入图像的第一集合和输入图像的第二集合生成的前向整形函数的初始集合来生成。

在由整形索引参数和段参数定义的意义上，(例如，后向整形函数的第一集合中的)每个后向整形函数可以由整形索引参数和段参数来表征。

每个后向整形函数可以由不同的整形索引参数来表征。

可以针对在输入图像的第二集合中的输入图像之间不同的特性来计算每个后向整形函数和/或前向整形函数。特性可以包括第二动态范围中的输入图像的平均光亮度的测量或度量。例如，可以针对第二动态范围中的输入图像的不同平均光亮度来计算每个后向整形函数(和前向整形函数)。

根据一些实施例，方法可以进一步包括：基于输出后向整形函数的集合来生成输出前向整形函数的集合，其中，前向整形函数将像素码字从第二动态范围中的第二码字表示映射到第一动态范围中的第一码字表示。该输出前向整形函数的集合中的每个输出前向整形函数可以由具有一组公共枢轴的输出前向整形函数的基于段的表示的整形索引参数(例如，不同的整形索引参数)和段参数来表征。生成与输出后向整形函数相对应的输出前向整形函数可以包括：针对第二动态范围中的每个输入码字，识别输出后向整形函数的使由后向整形函数生成的码字与输入码字之间的差最小化的码字索引。

根据一些实施例，方法可以进一步包括：通过在输出前向整形函数的集合的两个前向整形函数之间进行插值来生成新的前向整形函数。因此，可以基于由不同整形索引参数表征的两个前向整形函数生成新的前向整形函数。

根据一些实施例，方法可以进一步(或可替代地)包括：通过在后向整形函数的输出集合的两个后向整形函数之间进行插值来生成新的后向整形函数。因此，可以基于由不同整形索引参数表征的两个后向整形函数生成新的后向整形函数。

在两个后向整形函数或两个前向整形函数之间进行插值可以包括：基于这两个后向或前向整形函数的相应一组多项式系数，为新的后向或前向整形函数的每个段生成插值的多项式系数的集合。该插值的多项式系数的集合可以使用线性插值来生成，例如在这两个后向或前向整形函数的多项式系数的集合的对应多项式系数之间。

方法可以进一步包括：基于要编码的(例如，第二动态范围中的)输入HDR图像的平均光亮度的测量，选择这两个后向整形函数或前向整形函数。可以针对第二动态范围中的输入图像的不同平均光亮度来计算每个输出后向整形函数和/或每个输出前向整形函数。可以选择这两个后向整形函数或前向整形函数，以使得要编码的输入HDR图像的平均光亮度位于计算所选两个后向或前向整形函数所针对的平均光亮度的相应测量之间。方法可以进一步包括使用新的前向整形函数对输入的HDR图像进行编码。

示例HDR编解码系统

如参考文献[1]和参考文献[2]中所描述的，图1A和图1B图示了使用图像整形的示例单层后向兼容编解码器框架。更具体地，图1A图示了示例编码器侧编解码器架构，该架构可以用上游视频编码器中的一个或多个计算处理器来实施。图1B图示了示例解码器侧编解码器架构，该架构也可以用一个或多个下游视频解码器中的一个或多个计算处理器来实施。

在该框架下，给定参考HDR内容(120)，对应的SDR内容(134)(也称为经整形的内容)由实施编码器侧编解码器架构的上游编码设备在编码视频信号(144)的单个层中编码并传输。SDR内容由实施解码器侧编解码器架构的下游解码设备在视频信号的单个层中接收并解码。后向整形元数据(152)也和SDR内容一起在视频信号中被编码并传输，使得HDR显示设备可以基于SDR内容和后向整形元数据来重构HDR内容。

如图1A所示，使用前向整形映射(132)生成后向兼容的SDR图像，比如SDR图像(134)。在此，“后向兼容的SDR图像”可以指针对SDR显示器专门优化或颜色分级的SDR图像。压缩块142(例如，根据如AVC、HEVC、AV1等任何已知视频编码算法实施的编码器)将SDR图像(134)压缩/编码到视频信号的单个层144中。

基于参考HDR图像(120)使用前向整形函数生成器130来生成132中的前向整形函数。给定前向整形函数，将前向整形映射(132)应用于HDR图像(120)以生成经整形的SDR基本层134。另外，后向整形函数生成器150可以生成后向整形函数，该后向整形函数可以作为元数据152传输到解码器。

表示/指定最佳后向整形函数的后向整形元数据的示例可以包括但不一定仅限于以下各项中任何一项：逆色调映射函数、逆亮度映射函数、逆色度映射函数、查找表(LUT)、多项式、逆显示管理系数或参数等。在各种实施例中，亮度后向整形函数和色度后向整形函数可以共同地或分别地得到/优化，可以使用如参考文献[2]中描述的各种技术来得到。

由后向整形函数生成器(150)基于SDR图像(134)和目标HDR图像(120)生成的后向整形元数据(152)可以作为视频信号144的一部分被复用，例如，作为补充增强信息(SEI)消息传递。

在一些实施例中，后向整形元数据(152)作为整体图像元数据的一部分被承载在视频信号中，整体图像元数据与视频信号中的其中SDR图像被编码的单个层分开地被承载在视频信号中。例如，后向整形元数据(152)可以被编码在编码比特流中的分量流中，分量流可以与或可以不与其中SDR图像(134)被编码的(经编码比特流的)单个层分开。

因此，可以在编码器侧生成或预生成后向整形元数据(152)，以利用在编码器侧可获得的强大的计算资源和离线编码流程(包括但不限于内容自适应多轮次、超前操作、逆亮度映射、逆色度映射、基于CDF的直方图近似和/或传递等)。

图1A的编码器侧架构可以用于避免将目标HDR图像(120)直接编码为视频信号中的经编码/压缩HDR图像；相反，视频信号中的后向整形元数据(152)可以用于使下游解码设备能够将(在视频信号中进行编码的)SDR图像(134)后向整形为与参考HDR图像(120)相同或接近/最佳近似的重构图像。

在一些实施例中，如图1B所图示的，在编解码器框架的解码器侧接收单个层(144)中用SDR图像编码的视频信号和作为整体图像元数据的一部分的后向整形元数据(152)作为输入。解压缩块154将视频信号的单个层(144)中的经压缩视频数据解压缩/解码成解码的SDR图像(156)。解压缩154通常对应于压缩142的逆过程。解码的SDR图像(156)可以与SDR图像(134)相同，但是在压缩块(142)和解压缩块(154)中经受了量化误差，这些误差已经针对SDR显示设备进行了优化。解码的SDR图像(156)可以在输出的SDR视频信号中输出(例如，通过HDMI接口、通过视频链路等)以呈现在SDR显示设备上。

另外，后向整形块158从输入视频信号中提取后向整形元数据(152)，基于后向整形元数据(152)来构造最佳后向整形函数，并且基于最佳后向整形函数对经解码SDR图像(156)执行后向整形操作以生成经后向整形的图像(160)(或重构的HDR图像)。在一些实施例中，经后向整形的图像表示与参考HDR图像(120)相同或接近/最佳近似的生产质量或接近生产质量的HDR图像。经后向整形的图像(160)可以以输出HDR视频信号的形式输出(例如，通过HDMI接口、通过视频链路等)以呈现在HDR显示设备上。

在一些实施例中，作为在HDR显示设备上呈现经后向整形的图像(160)的HDR图像呈现操作的一部分，可以对经后向整形的图像(160)执行特定于HDR显示设备的显示管理操作。

用于自适应整形的示例系统

引言

整形可以是静态的或动态的。在静态整形中，生成单个整形函数并将其用于单个流或跨多个流使用。在动态整形中，可以基于输入视频流特性来定制整形函数，这些特性可以在流级、场景级甚至帧级改变。例如，在实施例中，非限制性地，可以根据帧或场景中的平均光亮度值的度量(称为L1-mid)来生成整形函数。例如，非限制性地，在具有PQ编码的RGB数据的实施例中，L1-mid可以表示帧中感兴趣区域中所有RGB像素之间的max(R，G，B)值的平均值。在另一个实施例中，对于YCbCr或ICtCp编码的数据，L1-mid可以表示帧中感兴趣区域中的所有Y或I值的平均值(例如，计算平均值可能会排除帧中的黑边区域(letterbox)或侧边栏区域)。

因此，对于12位系统，可以预先构造所有4,096个可能的函数；然而，由于实际系统中的大量存储器要求，这种方法既耗时又不切实际。在实施例中，可以选择构建较小的L(L<2

在实施例中，为了节省带宽，后向整形函数可以使用分段线性或非线性多项式来近似，其中在这种表示中，多项式段由枢轴点分开。为了促进多项式系数的插值(并避免额外的计算)，在实施例中，所有预先计算的整形函数中的枢轴点应该是对齐的(例如，公共的)。这允许在多项式之间进行更简单的插值，而无需担心它们的枢轴点。

命名法

考虑包含对于不同的L1-mid值生成的图像或视频剪辑的参考(或“主”)HDR集合和多个SDR集合的数据库，即，对于每个HDR图像，都有使用Yc0c1颜色数据(例如，YCbCr数据，其中y＝Y，c0＝Cb，并且c1＝Cr)的对应的SDR图像的集合。SDR图像可以从HDR图像手动地、在颜色分级器的帮助下、自动地、使用自动颜色映射算法、或者通过使用计算机工具和人机交互的组合来生成。

令

如本文所使用的，术语“非归一化像素值”表示[0，2

在一些实施例中，不是在像素水平操作，而是可以以平均像素值来操作。例如，可以将输入信号码字划分成具有相等间隔w

将HDR数据库中的第j帧或图片内的最小亮度值和最大亮度值表示为

在构建比如具有公共枢轴点的一系列基整形函数之前，需要构建单独的整形函数。在实施例中且非限制性地，这样的函数是使用参考文献[1-3]中使用的直方图或累积密度函数(CDF)匹配方法来构建的。为了完整起见，本文还描述了该算法。关键步骤包括：a)收集数据库中图像的统计数据(直方图)，b)为每个集合生成累积密度函数(CDF)，c)应用CDF匹配(参考文献[3])以生成整形函数，以及d)裁剪并平滑整形函数。在表1和表2中的伪代码中描绘了这些步骤。

表1：收集统计数据的示例步骤

表2：使用CDF匹配构造前向整形函数的示例

在表2中，函数y＝clip3(x,Min,Max)定义为：

在表2中，CDF匹配步骤(步骤4)可以简单地解释如下。考虑到SDR码字x

通过对感兴趣的每个L1-mid值重复表1和表2中的步骤，可以生成前向整形函数

构造单独的后向整形函数

给定原始的一组单独的前向整形函数

表3:生成后向整形函数的示例过程

构造具有公共枢轴点的一系列后向整形函数

在这个阶段，存在后向整形函数

对于每个SDR码字b，计算其归一化值

将枢轴点表示为{λ

当λ

为了减小两个相邻多项式之间的差距，可以应用重叠约束来平滑枢轴点周围的过渡。重叠的窗口大小表示为W

其中，

在方程(3)中，枢轴点可以由特定的通信约束(例如，SMPTE 274M码字值的有效范围)来界定，通信约束可以表示为下限

使用重叠窗口，将扩展点表示为

于是，在矩阵表示中，

并且方程(3)可以表示为

在最小二乘优化下，解由下式给出

于是，待求解的总体问题通过以下方式给出：在优化标准的组合下

·针对所有m和所有l，求解

·针对所有m，使用{W

该重叠窗口大小{W

表4：识别后向整形函数的集合中的公共枢轴和多项式段的示例过程

在步骤2中，关于检查实施方式约束，一些实施例可以限制多项式系数的准确性(例如，限制为有符号的7位或8位整数值等)。

如所讨论的，上述联合优化可能不会输出在枢轴点附近没有跳跃的平滑后向整形函数。在实施例中，可能需要如下执行另一轮优化以最小化差距。

考虑枢轴点λ

对于第m个段中的其余码字，预测的HDR值计算为：

当λ

为了减小枢轴之间的差距，在实施例中，目标是调整第m个段的多项式系数，使得经修订的第m个多项式满足原始多项式的在

二阶多项式完全由三个系数定义，因此，仅给定这两个方程(7)和(9)的情况下，求解三个未知数是一个欠定问题。假设经修订多项式系数

由于

无需将点λ

对于最后一个段，第(m+1)个段在最后一个枢轴点之外。在实施例中，最后一个点之后的曲线可以是从前一个多项式的最后一个输出值延伸的常数。因此，对于m＝K，可以设置

对于第一个段(例如，m＝0)，如果视频信号范围在全范围内(即在[0，1]内)，则枢轴点λ

假设

表5(m＝0)和表6(m>0)中描绘了差距减小算法的示例实施方式。当m＝K时，方程(12)的约束也适用。

表5：减小枢轴点之间差距的示例过程，m＝0(第一段)

表6：减小枢轴点之间差距的示例过程，m＞0

调整前向整形函数以实现可逆性

在减小所有连续段之间的差距后，确定最终的后向整形函数的集合。由于差距减小算法改变了后向整形函数，因此需要重新构建前向整形函数，以保证适当的可逆性。这可以通过反向跟踪后向整形函数来完成。

对于第l个多项式，可以使用计算出的多项式系数

当λm≤b＜λm

可以通过搜索使由后向整形函数生成的码字与原始HDR码字之间的差最小化的码字索引来构建对应更新的前向整形函数

表7:基于优化的后向整形函数重构前向整形函数的示例过程

图2描绘了示例过程流水线，其概括了前面描述的根据枢轴之间的连续性约束和可逆性约束生成前向和后向整形函数的过程。给定参考HDR和SDR图像，在步骤205中，构造前向整形函数的第一集合，其中，针对输入HDR图像的特定特性(例如，每帧的平均光亮度的度量)对每个函数进行优化。例如，在实施例中，非限制性地，可以使用如表1和表2中描述的CDF匹配标准来生成这样的整形函数。

在步骤210中，使用前向整形函数的第一集合来构造后向整形函数的第一集合，例如，使用表3中描绘的过程。接下来，在步骤215中，通过以下方式构建后向整形成形函数的第二集合：a)在该前向整形函数的第一集合中的所有函数共享一组公共枢轴的约束下，将分段近似应用于后向整形成形函数的第一集合。表4中提供了示例过程。

为了提高图像质量并减少视觉伪影，在步骤220中，进一步优化前向整形函数的第二集合的多项式表示以减小相邻枢轴点中的值之间的距离，从而生成后向整形函数的输出集合。表5和表6中提供了示例过程。

给定输出前向整形函数的集合(具有优化的差距)，步骤225在参考HDR输入的码字与(使用输出后向整形函数)重构的HDR输入的码字之间的距离被最小化的约束下生成前向整形函数的输出集合。表7中描述了示例过程。

返回到处理框220，图3描绘了根据实施例的用于减小后向整形函数的多段表示中的两个二阶多项式段之间的差距的示例过程。如表6所述，对于段m>0，减小两段之间的差距包括以下步骤：

步骤305：初始化。该步骤将失真(D)初始化为很大的数，并在给定第l个整形函数的第m个和第m+1个段的原始多项式系数的情况下，其设置如何针对第m个段内的码字和λ

当λ

步骤310开始迭代过程，该过程针对

·在步骤315中，其计算其他两个系数

·在步骤320中，其计算总失真(见表6)

·在步骤325中，如果D’

迭代过程重复，直到处理了

·在步骤340中，在迭代过程结束时，输出最优多项式系数(

针对该后向整形函数的集合中的所有段和所有L个函数，重复图3中的过程。

对于第一段(例如，m＝0)，仍然可以应用相同的迭代过程，但有一些细微变化。在初始化之后(见方程(15)，但其中m＝0)，因为

对于最后一个段(m＝K)，

整形函数插值

给定L个预先计算的前向整形函数的一个集合，每个函数都是针对不同的自适应控制信号{r

在给定两个预先计算的值之间的新控制信号值(r)的情况下，即，r

接下来检查亮度和色度整形函数的插值。

亮度插值函数的插值

根据方程(15)和(16)

可替代地，函数形式可以表示为

假定所有枢轴点都是对齐的，在实施例中，可以通过直接为每个段生成多项式系数的插值集合来生成插值函数。例如并且非限制性地，考虑具有二阶多项式的多段多项式格式。假设考虑的HDR范围在第m个分段/段内，那么使用第l个和第l+1个前向整形函数的对应SDR整形值可以表示为：

在多项式插值之后，新的多项式系数表示为

那么，经插值整形的SDR值可以表示为

可以用相同的方式构建后向整形函数

在实施例中，并且不失一般性，代替将整形函数表示为多段多项式(例如，如之前针对亮度分量所讨论的)，可以使用诸如在参考文献[4]和参考文献[6]中讨论的多颜色通道、多元回归预测等替代方案来表示整形，其中色度值是基于亮度值和色度值的组合来预测的。

在参考文献[6]中，已经表明，在给定r

其中，

其中，C可以是颜色分量c0或c1(例如，Cb或Cr)。

图4描绘了在根据实施例的编码器中基于基前向和后向整形函数的插值进行整形的示例。如图4所描绘的，前向整形阶段可以包括：基前向整形函数(405)的集合；函数插值单元(410)，该函数插值单元可以通过从两个基前向整形函数进行插值来生成新的前向整形函数(412)；以及前向整形单元(415)，该前向整形单元将应用所生成的前向函数(412)来生成经整形的信号(417)，例如SDR信号。

给定前向整形函数(412)，编码器可以生成反向或后向整形函数(例如，150)的参数(例如，参见参考文献[5])，这些参数可以被传输到解码器，如图1所示。可替代地，如图4所示，编码器可以包括单独的后向整形阶段，该阶段可以包括：基后向整形函数(420)的集合；以及第二函数插值单元(425)，该第二函数插值单元可以通过从两个基后向整形函数进行插值来生成新的后向整形函数(427)。后向整形函数的参数可以作为元数据来传送。如之前所讨论的，可以基于输入HDR信号的平均光亮度的度量来选择整形函数。

对于解码，解码器可以使用图1B的系统功能。在另一个实施例中，为了减少所传送的元数据的量，给定编码器所使用的L1-mid值，函数插值也可以在解码器站点处执行(例如，参见参考文献[6])。

参考文献

这些参考文献中的每一篇都通过引用以其全文并入本文。

1.G-M,Su等人，“Encoding and decoding reversible,production-qualitysingle-layer video signals，”PCT申请序列号PCT/US 2017/023543，于2017年3月22日提交，WIPO公开号WO 2017/165494。

2.Q.Song等人，“High-fidelity full-reference and high-efficiencyreduced reference encoding in end-to-end single-layer backward compatibleencoding pipeline”，PCT申请序列号PCT/US 2019/031620，于2019年5月9日提交，WIPO公开号WO 2019/217751。

3.B.Wen等人，“Inverse luma/chroma mappings with histogram transfer andapproximation”，美国专利10,264,287，于2019年4月16日发布。

4.G-M.Su等人，“Multiple color channel multiple regression predictor”，美国专利8,811,490。

5.A.Kheradmand等人，“Block-based content-adaptive reshaping for high-dynamic range”，美国专利10,032,262。

6.H.Kadu等人，“Interpolation of reshaping functions”，PCT申请序列号PCT/US2019/063796，于2019年11月27日提交。

示例计算机系统实施方式

本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这样的系统、设备或部件中的一个或多个的装置来实施。计算机和/或IC可以执行、控制或实行与整形函数的生成相关的指令，比如本文所描述的那些指令。计算机和/或IC可以计算与本文所描述的整形函数的生成相关的各种参数或值中的任何参数或值。图像和视频动态范围扩展实施例可以以硬件、软件、固件及其各种组合来实施。

本发明的某些实施方式包括执行软件指令的计算机处理器，该软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施如上所述的生成整形函数的方法。还可以以程序产品的形式提供本发明。程序产品可以包括承载计算机可读信号的集合的任何非暂态且有形介质，计算机可读信号的集合包括指令，该指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种非暂态且有形形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对该部件的引用(包括对“装置”的引用)都应该被解释为包括执行所描述部件的功能的任何部件为该部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。

等同物、扩展、替代方案和杂项

因此，描述了涉及用于HDR图像的整形函数的生成的示例实施例。在前述说明书中，已经参考可以根据实施方式而变化的许多具体细节描述了本发明的实施例。因此，指明本发明以及申请人的发明意图的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续修正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应该支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应该以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。