编码装置、解码装置、编码方法、解码方法、编码程序及解码程序

发明申请是国际申请日为2019年1月16日、国际申请号为PCT/JP2019/001150、进入中国国家阶段的国家申请号为201980019570.6、发明名称为“编码装置、解码装置、编码方法、解码方法、编码程序及解码程序”的发明申请的分案申请。

技术领域

本发明涉及编码装置、解码装置、编码方法、解码方法、编码程序及解码程序。

背景技术

公开了对RAW图像数据实施灰度校正的技术。然而，在来自摄像元件的输出的光学黑体不为零时，若为了抑制暗部编码失真而实施上述的基于√γ等的灰度校正来编码，则与光学黑体为零的情况相比，会减少基于灰度校正的暗部编码失真抑制的程度。

现有技术文献

专利文献

专利文献1：JP特开2006-270478号公报

发明内容

本申请中公开的发明的一侧面的编码装置具备：校正部，其基于伽玛系数和光学黑体的值，对来自具有所述光学黑体的摄像元件的RAW图像数据进行灰度校正；以及编码部，其对由所述校正部进行灰度校正而得到的灰度校正RAW图像数据进行编码。

本申请中公开的发明的一侧面的解码装置具备：获取部，其获取对基于伽玛系数和光学黑体的值被进行了灰度校正的灰度校正RAW图像数据进行编码而得到的编码RAW图像数据；解码部，其将由所述获取部获取的编码RAW图像数据解码为所述灰度校正RAW图像数据；以及反向校正部，其基于所述伽玛系数和所述光学黑体的值对由所述解码部解码得到的所述灰度校正RAW图像数据进行反向灰度校正，输出灰度校正前的RAW图像数据。

本申请中公开的发明的一侧面的编码方法执行如下的处理：校正处理，基于伽玛系数和光学黑体的值，对来自具有所述光学黑体的摄像元件的RAW图像数据进行灰度校正；以及编码处理，其对在所述校正处理中进行灰度校正而得到的灰度校正RAW图像数据进行编码。

本申请中公开的发明的一侧面的解码方法执行如下的处理：获取处理，获取对基于伽玛系数和光学黑体的值被进行了灰度校正的灰度校正RAW图像数据进行编码而得到的编码RAW图像数据；解码处理，将在所述获取处理中获取的编码RAW图像数据解码为所述灰度校正RAW图像数据；以及反向校正处理，基于所述伽玛系数和所述光学黑体的值对在所述解码处理中解码得到的所述灰度校正RAW图像数据进行反向灰度校正，输出灰度校正前的RAW图像数据。

附图说明

图1是示出信息处理装置的硬件构成例的框图。

图2是示出实施例1的编码装置的功能的构成例的框图。

图3是示出编码灰度校正RAW图像数据的数据结构例的说明图。

图4是示出编码部的构成例的框图。

图5是示出基于编码装置的编码处理顺序例的流程图。

图6是示出解码装置的功能的构成例的框图。

图7是示出解码部的构成例的框图。

图8是示出基于解码装置的解码处理顺序例的流程图。

图9是示出在没有使用光学黑值的情况下的灰度校正的输入输出特性的图表。

图10是示出在没有使用光学黑值的情况下的灰度校正的增益特性的图表。

图11是示出在没有使用光学黑值的情况下的反向灰度校正的输入输出特性的图表。

图12是示出在使用了光学黑值的情况下的灰度校正的输入输出特性1的图表。

图13是示出在使用了光学黑值的情况下的灰度校正的输入输出特性1中的增益特性的图表。

图14是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性1的图表。

图15是示出在使用了光学黑值的情况下的灰度校正的输入输出特性2的图表。

图16是示出在使用了光学黑值的情况下的灰度校正的输入输出特性2中的增益特性的图表。

图17是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性2的图表。

图18是示出在使用了光学黑值的情况下的灰度校正的输入输出特性3的图表。

图19是示出在使用了光学黑值的情况下的灰度校正的输入输出特性3中的增益特性的图表。

图20是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性3的图表。

图21是示出在使用了光学黑值的情况下的灰度校正的输入输出特性4的图表。

图22是示出在使用了光学黑值的情况下的灰度校正的输入输出特性4中的增益特性的图表。

图23是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性4的图表。

图24是示出在使用了光学黑值的情况下的灰度校正的输入输出特性5的图表。

图25是示出在使用了光学黑值的情况下的灰度校正的输入输出特性5中的增益特性的图表。

图26是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性5的图表。

图27是示出在使用了光学黑值的情况下的灰度校正的输入输出特性6的图表。

图28是示出在使用了光学黑值的情况下的灰度校正的输入输出特性6中的增益特性的图表。

图29是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性6的图表。

图30是示出在使用了光学黑值的情况下的灰度校正的输入输出特性7的图表。

图31是示出在使用了光学黑值的情况下的灰度校正的输入输出特性7中的增益特性的图表。

图32是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性7的图表。

图33是示出在使用了光学黑值的情况下的灰度校正的输入输出特性8的图表。

图34是示出在使用了光学黑值的情况下的灰度校正的输入输出特性8中的增益特性的图表。

图35是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性8的图表。

图36是示出在使用了光学黑值的情况下的灰度校正的输入输出特性9的图表。

图37是示出在使用了光学黑值的情况下的灰度校正的输入输出特性9中的增益特性的图表。

图38是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性9的图表。

其中，附图标记说明如下：

100信息处理装置、153摄像元件、161有效像素区域、162光学黑体像素区域、200编码装置、201灰度校正部、202编码部、203记录部、204设定部、312控制信息、326灰度校正标识符、600解码装置、601获取部、602解码部、603反向灰度校正部。

具体实施方式

【实施例1】

＜信息处理装置的硬件构成例＞

图1是示出信息处理装置的硬件构成例的框图。信息处理装置100为包括编码装置以及解码装置的某一方或者双方的装置。信息处理装置100可以为例如数码相机、数码摄像机等摄像装置，也可以为个人计算机或平板电脑、智能电话、游戏机。

信息处理装置100具有处理器101、存储设备102、操作设备103、LSI(Large ScaleIntegration：大规模集成电路)104、摄像单元105、通信IF(Interface：接口)106。它们通过总线108连接。处理器101控制信息处理装置100。存储设备102成为处理器101的工作区域。

存储设备102为存储各种程序或数据的非临时或者临时记录介质。作为存储设备102，具有例如ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存储器)、HDD(Hard Disk Drive：硬盘驱动)、快闪存储器。操作设备103操作数据。作为操作设备103例如具有按钮、开关、触摸面板。

LSI104为执行颜色插补、白平衡调整、轮廓强调、伽玛校正、灰度变换等的图像处理或编码处理、解码处理、压缩解压处理等、特定处理的集成电路。

摄像单元105拍摄被摄体并生成RAW图像数据。摄像单元105包括摄像光学系统151、具有彩色滤光片152的摄像元件153、和信号处理电路154。

摄像光学系统151由例如包括变焦透镜或聚焦透镜在内的多个透镜构成。此外，为了简化，在图1中图示一个透镜作为摄像光学系统151。

摄像元件153是对基于从摄像光学系统151通过的光束的被摄体的成像进行拍摄(摄影)的设备。摄像元件153可以为依次扫描方式的固体摄像元件(例如CCD(ChargeCoupled Device:电荷耦合器件)图像传感器)，也可以为XY地址方式的固体摄像元件(例如CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器)。

在摄像元件153的受光面呈矩阵状排列有具有光电转换部的像素组160。而且，在摄像元件153的各像素按照规定的颜色排列配置有分别使不同的颜色分量的光透射的多种彩色滤光片152。因此，摄像元件153的各像素通过利用彩色滤光片152的分色输出与各颜色分量对应的电信号。

在实施例1中，例如红色(R)、绿色(G)、蓝色(B)的彩色滤光片152按照2行2列的拜耳排列而周期性地配置于受光面。作为一例，在摄像元件153的颜色排列的奇数行交替排列有G、B的像素，在颜色排列的偶数行交替排列有R、G的像素。而且，在颜色排列的整体，以使绿色像素成为方格图案的方式进行配置。由此，摄像元件153在摄影时能够获取彩色的RAW图像数据。

此外，在摄像元件153中呈二维阵列状排列的像素组160由有效像素区域161、和光学黑体像素区域162构成。有效像素区域161为实际上接收光并对通过光电转换而生成的信号电荷进行增幅且将其输出至信号处理电路154的像素区域。

光学黑体像素区域162为用于输出成为黑电平的基准的光学黑体的像素区域。光学黑体像素区域162例如设于有效像素区域161的外周。光学黑体像素区域162例如为了对由摄像元件153产生的热噪声等进行减法校正而设置。

信号处理电路154相对于从摄像元件153输入来的图像信号，依次执行模拟信号处理(相关双采样、黑电平校正等)、A/D变换处理、和数字信号处理(缺陷像素校正等)。从信号处理电路154输出的RAW图像数据被输入至LSI104或者存储设备102。通信IF106经由网络与外部装置连接，进行数据的收发。

＜编码装置的功能的构成例＞

图2是示出实施例1的编码装置的功能的构成例的框图。编码装置200具有灰度校正部201、编码部202、记录部203、和设定部204。具体来说，灰度校正部201、编码部202、记录部203、以及设定部204为通过使处理器101执行例如存储在存储设备102内的程序而实现的功能或者为由LSI104实现的功能。

灰度校正部201对RAW图像数据进行灰度校正。RAW图像数据为与来自摄像元件153的光的强度呈线性的像素值的图像数据，其中，摄像元件153对经由彩色滤光片152得到的来自被摄体的光进行光电转换。换言之，RAW图像数据为没有被实施伽玛校正、去马赛克处理、白平衡调整、以及颜色变换处理这些图像处理的图像数据。RAW图像数据的数据量与被执行了上述图像处理或编码处理(也称为压缩处理)的数据相比更大。此外，RAW图像数据可以为静止图像，也可以为动态图像的1帧。

灰度校正部201基于伽玛系数的值(伽玛值)和光学黑体的值，对来自具有光学黑体像素区域162的摄像元件153的RAW图像数据进行灰度校正。例如灰度校正部201针对该RAW图像数据，以光学黑值为基准执行基于√γ等的灰度校正。灰度校正部201也可以在进行灰度校正时执行降噪处理(NR处理)。此外，后面详细说明基于灰度校正部201的灰度校正。

编码部202对通过灰度校正部201进行灰度校正而得到的RAW图像数据(以下，灰度校正RAW图像数据)进行编码，并输出编码后得到的灰度校正RAW图像数据(以下，编码灰度校正RAW图像数据)。编码部202在灰度校正RAW图像数据为静止图像的情况下，通过帧内编码将灰度校正RAW图像数据编码为I图片。

另外，编码部202在灰度校正RAW图像数据为动态图像的1帧的情况下，通过帧内预测编码将灰度校正RAW图像数据编码为I图片，或者参照其他灰度校正RAW图像数据通过帧间预测编码将灰度校正RAW图像数据编码为P图片或者B图片。

在作为来自摄像元件153的输出的光学黑体的值不为零的情况下，若为了进行暗部编码失真抑制而仅是实施基于√γ等的灰度校正，则与光学黑值为零的情况相比，基于灰度校正的暗部编码失真的抑制程度变小。编码部202以光学黑值为基准执行基于√γ等的灰度校正，对编码灰度校正RAW图像数据的头部信息加上解码再生时所使用的γ值来赋予光学黑值。由此，消除基于灰度校正的暗部编码失真的抑制程度的减少。

记录部203将编码灰度校正RAW图像数据记录至存储设备102。设定部204设定伽玛系数的值或估算临时增益、曝光值，并输出至灰度校正部201。设定部204的详细内容在实施例3、实施例4中说明。

＜编码灰度校正RAW图像数据的数据结构例＞

图3是示出编码灰度校正RAW图像数据的数据结构例的说明图。编码灰度校正RAW图像数据300具有头部信息301和编码数据列302。头部信息301为由编码部202赋予的信息。头部信息301包括图像形式信息311和控制信息312。编码数据列302为对灰度校正RAW图像数据进行了编码的数据列。

具体说明头部信息301的各要素。图像形式信息311包括编码前的灰度校正RAW图像数据的大小、编码灰度校正RAW图像数据的大小、确定颜色排列的图案的识别信息、编码前的灰度校正RAW图像数据的像素数。

控制信息312除了包括编码灰度校正RAW图像数据的种类(I图片、P图片、B图片的某一个)、参照帧的识别信息以外，还包括在实施了灰度校正时的伽玛值321、成为黑电平的基准的光学黑值322、估算临时增益323、第1沿宽(porch width)324、第2沿宽325、灰度校正标识符326。

针对估算临时增益323，在实施例3以及实施例4中进行说明。针对第1沿宽324以及第2沿宽325，在实施例4中进行说明。灰度校正标识符326为确定执行灰度校正的算法的标识符。解码装置利用灰度校正标识符326能够确定编码灰度校正RAW图像数据300是通过哪个算法进行了灰度校正。

＜编码部202的构成例＞

图4是示出编码部202的构成例的框图。编码部202具有第1累积部401、减法部402、正交变换部403、量化部404、可变长度编码部405、反量化部406、反向正交变换部407、加法部408、第2累积部409、动态检测部410、和动态补偿部411。

第1累积部401对从灰度校正部201输出的灰度校正RAW图像数据进行累积。累积在第1累积部401内的灰度校正RAW图像数据作为编码对象的图像数据按照输入顺序向减法部402输出。此外，从第1累积部401依次删除编码结束后的灰度校正RAW图像数据。

减法部402在生成P图片或者B图片时，将输入来的原图像(灰度校正RAW图像数据)的分量帧与通过动态补偿部411生成的后述的预测值的差分信号(预测误差值)输出。另外，减法部402在生成I图片时，直接将输入来的原图像的分量帧输出。

正交变换部403在生成I图片时，对直接从减法部402通过而输入来的原图像进行正交变换。另外，正交变换部403在生成P图片或者B图片时，相对于上述差分信号进行正交变换。

量化部404将从正交变换部403输入来的块单位的频率系数(正交变换系数)变换为量化系数。量化部404的输出分别输入至可变长度编码部405以及反量化部406。

可变长度编码部405对量化系数、或来自动态检测部410的动态矢量进行可变长度编码，并输出编码灰度校正RAW图像数据(I图片、P图片、B图片)。

反量化部406以作为编码的单位的块单位对量化系数进行反量化，来对频率系数解码。反向正交变换部407对由反量化部406解码后的频率系数进行反向正交变换，来将预测误差值(或者原图像)解码。

加法部408将解码后的预测误差值、和由动态补偿部411生成的后述的预测值相加。然后，从加法部408输出的图片的解码值(参照帧)被累积至第2累积部409。此外，从第2累积部409依次删除在此后的动态补偿预测中未被参照的参照帧。

动态检测部410利用第2累积部409的参照帧，检测用于预测编码对象的灰度校正RAW图像数据的动态矢量。动态矢量被输出至动态补偿部411以及可变长度编码部405。

动态补偿部411基于动态矢量以及参照帧，输出以块单位预测了编码对象的灰度校正RAW图像数据的预测值。该预测值被输出至减法部402以及加法部408。

此外，在针对某一块进行动态补偿预测的情况下，若编码对象的灰度校正RAW图像数据与预测值完全一致，则仅对动态矢量编码。另外，在编码对象的灰度校正RAW图像数据与预测值部分一致的情况下，对动态矢量和差分图像编码。另外，在编码对象的灰度校正RAW图像数据与预测值全部不同的情况下，将与块整体对应的图像全部编码。

＜编码处理顺序例＞

图5是示出基于编码装置200的编码处理顺序例的流程图。编码装置200接受从具有光学黑体像素区域162的摄像元件153输出的RAW图像数据的输入(步骤S501)，通过灰度校正部201，利用灰度校正算法对该RAW图像数据进行灰度校正(步骤S502)。

接下来，编码装置200通过编码部202对灰度校正RAW图像数据进行编码(步骤S503)。然后，编码装置200通过记录部203将编码灰度校正RAW图像数据300保存至存储设备102(步骤S504)。

＜解码装置的功能的构成例＞

图6是示出解码装置的功能的构成例的框图。解码装置600具有获取部601、解码部602、和反向灰度校正部603。具体来说，获取部601、解码部602、以及反向灰度校正部603为通过使处理器101执行例如存储在存储设备102内的程序而实现的功能或者为由LSI104实现的功能。

获取部601获取通过编码装置200编码后得到的编码灰度校正RAW图像数据300。在解码装置600能够与编码装置200通信的情况下，获取部601接收从编码装置200发送来的编码灰度校正RAW图像数据300。在解码装置600与编码装置200安装在同一装置内的情况下，获取部601读取保存在存储设备102内的编码灰度校正RAW图像数据300。

解码部602使用控制信息312将编码灰度校正RAW图像数据300解码为灰度校正RAW图像数据。具体来说，例如解码部根据编码灰度校正RAW图像数据300的种类(I图片、P图片、B图片)确定参照帧，并将编码灰度校正RAW图像数据300解码为灰度校正RAW图像数据。

反向灰度校正部603对由解码部602解码后的灰度校正RAW图像数据进行反向灰度校正，复原至灰度校正前的RAW图像数据。具体来说，例如反向灰度校正部603参照控制信息312的灰度校正标识符326，确定对RAW图像数据实施了的灰度校正算法，执行与所确定的灰度校正算法对应的反向灰度校正算法。反向灰度校正部603也可以在进行反向灰度校正时执行降噪处理(NR处理)。

＜解码部602的构成例＞

图7是示出解码部602的构成例的框图。解码部602具有可变长度代码解码部701、反量化部702、反向正交变换部703、加法部704、第3累积部705、动态补偿部706。

可变长度符号解码部701将输入来的编码灰度校正RAW图像数据300解码，并输出量化系数和动态矢量。此外，解码后的量化系数被输入至反量化部702，解码后的动态矢量被输入至动态补偿部706。

反量化部702以块单位对量化系数进行反量化来对频率系数进行解码。反向正交变换部703对由反量化部702解码后的频率系数进行反向正交变换，来解码预测误差值(或者原图像的信号)。

加法部704通过将解码后的预测误差值和由动态补偿部706生成的预测值相加，以块单位输出解码后的图像数据。然后，从加法部704输出的图像数据被作为灰度校正RAW图像数据进行输出，并且输入至第3累积部705。

第3累积部705将图像的解码值作为参照帧进行累积。此外，从第3累积部705依次删除在此后的动态补偿预测中没被参照的图像数据。动态补偿部706基于动态矢量以及参照帧，将以块单位预测解码对象的图像的预测值输出至加法部704。

＜解码处理顺序例＞

图8是示出基于解码装置600的解码处理顺序例的流程图。解码装置600通过获取部601获取编码灰度校正RAW图像数据300，(步骤S801)，通过解码部602将编码灰度校正RAW图像数据300解码为灰度校正RAW图像数据(步骤S2102)。然后，解码装置600通过反向灰度校正部603对解码后的灰度校正RAW图像数据进行反向灰度校正，来复原RAW图像数据(步骤S803)。

＜灰度校正以及反向灰度校正的具体例＞

接下来，使用图9～图17对实施例1的基于灰度校正部201的灰度校正以及基于反向灰度校正部603的反向灰度校正的具体例进行说明。为了与本实施例1进行比较，在图9～图11的图表中示出没有使用光学黑值的灰度校正以及反向灰度校正，在图12～图14中示出实施例1的灰度校正1以及反向灰度校正1，在图15～图17中示出实施例1的灰度校正2以及反向灰度校正2。

(在没有使用光学黑值的情况下的灰度校正的特性)

图9是示出在没有使用光学黑值的情况下的灰度校正的输入输出特性的图表。横轴为来自摄像元件153的RAW图像数据的信号电平(输入信号电平E)，纵轴为灰度校正RAW图像数据的信号电平(输出信号电平E′)。此后，在图12、图15、图18、图21、图24中也同样。在此，图9的输入信号电平E为来自不具有光学黑体像素区域162的摄像元件153的RAW图像数据的信号电平。

另外，信号电平是指例如示出有效像素区域161内的像素的亮度的电压值，在0.0～1.0的范围内被标准化。信号电平小的像素表示暗的像素，信号电平大的像素表示亮的像素。另外，OB(光学黑)为光学黑值。

图9的示出输入输出特性图表900的灰度校正算法由下述式子(1)表达。

E′＝OETF[E]＝E

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，γ为伽玛值。

在输入输出特性图表900中，针对输入信号电平从0.0到光学黑值OB为止的区间SC9执行灰度校正。在对RAW图像数据进行编码的情况下，对暗部以及明部均等地进行编码，因此，若在显影阶段实施伽玛校正，则暗部被强调，基于编码的压缩率越高，编码失真越明显。

图10是示出在没有使用光学黑值的情况下的灰度校正的增益特性的图表。增益是指输入信号电平E的强调度。在没有使用光学黑值的情况下的灰度校正的增益特性图表1000通过式子(1)的微分而由下述式子(2)表达。

G＝{OETF[E]}’＝(1/γ)×E

G为输入信号电平E的增益。在增益特性图表1000中，输入信号电平E从0.0到光学黑值OB为止的区间SC9的增益G的值比光学黑值OB的增益G的值大。即，显影处理后成为无效的输入信号电平E从0.0到光学黑值OB为止的区间SC9的像素的增益很大。因此，在显影处理后作为图像成为有效的光学黑值OB以上的区间中的增益变小，编码失真抑制效果减弱。

图11是示出在没有使用光学黑值的情况下的反向灰度校正的输入输出特性的图表。横轴为灰度校正RAW图像数据的信号电平(输入信号电平E′)，纵轴为从灰度校正RAW图像数据进行反向灰度校正而得到的RAW图像数据的信号电平(输出信号电平E)。

此后，在图14、图17、图20、图23、图26中也同样。在此，图11的输出信号电平E为通过反向灰度校正复原后的、来自不具有光学黑体像素区域162的摄像元件153的RAW图像数据的信号电平。另外，信号电平与图9同样地，是指例如表示有效像素区域161内的像素的亮度的电压值，在0.0～1.0的范围内被标准化。信号电平小的像素表示暗的像素，信号电平大的像素表示亮的像素。

图10的示出输入输出特性图表1100的反向灰度校正算法由下述式子(3)表达。

E＝EOTF[E′]＝E

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)，E为复原后的RAW图像数据的信号电平(输出信号电平)，EOTF[]为反向灰度校正函数，γ为伽玛值。

(在使用了光学黑值的情况下的灰度校正的特性例1)

接下来，使用图12～图14说明在使用了光学黑值的情况下的灰度校正的特性例1。

图12是示出在使用了光学黑值的情况下的灰度校正的输入输出特性1的图表。在输入输出特性图表1200中，灰度校正部201针对比光学黑值OB低的输入信号电平E不执行灰度校正。换言之，在图12的输入输出特性图表1200中，在输入信号电平E从0.0到光学黑值OB为止的区间SC9内输出信号电平E′为0.0，输入信号电平E从光学黑值OB起上升，在输入信号电平E为1.0处输出信号电平E′成为最大值。

图12的示出输入输出特性图表1200的灰度校正算法由下述式子(4)表达。

【数学式1】

E′＝OETF[E]＝O E＜OB

(E-OB)

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，OB为光学黑值，γ为伽玛值。灰度校正部201将表示式子(4)的灰度校正算法的灰度校正标识符326输出至编码部202，编码部202赋予来自灰度校正部201的灰度校正标识符326，来作为头部信息301内的控制信息312。

图13是示出在使用了光学黑值的情况下的灰度校正的输入输出特性1中的增益特性的图表。在使用了光学黑值OB的情况下的灰度校正中的输入信号电平E的增益特性图表1300通过式子(4)的微分而由下述式子(5)表达。

【数学式2】

G＝{OETF[E]}’＝O E＜OB

(1/γ)×(E-OB)

G为输入信号电平E的增益。在增益特性图表1300中，输入信号电平E从0.0到光学黑值OB为止的区间的增益G的值为0.0，因此，从作为暗部的0.0到光学黑值OB为止的区间SC9的输入信号电平E没有被强调。另外，在光学黑值OB处增益G的值成为最大值，因此，通过增大在显影处理后作为图像成为有效的光学黑值OB以上的区间中的增益，能够增大编码失真抑制效果。

在进行显影处理或图像调整时，有时出于为了看清暗部的图案等的理由而提亮暗部来显现。此时，在编码部202与解码部602之间产生的暗部的失真容易变明显。通过利用灰度校正将暗部的增益G增大，来抑制编码部202与解码部602之间产生的暗部的失真。由此，在显影处理或图像调整时，即使出于为了看清暗部的图案等的理由而提亮暗部来显现，暗部的失真也不容易变明显。

图14是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性1的图表。图14的示出输入输出特性图表1400的反向灰度校正算法由下述式子(6)表达。

E＝EOTF[E′]＝(E′)γ+OB·····(6)

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)，E为复原后的RAW图像数据的信号电平(输出信号电平)，EOTF[]为反向灰度校正函数。反向灰度校正部603在控制信息312中检测到表示式子(4)的灰度校正标识符326的情况下，执行式子(6)的反向灰度校正。

在输入输出特性图表1400中，在复原后的RAW图像数据中，输出信号电平E的最小值为光学黑值OB，因此，通过增大在显影处理后作为图像成为有效的光学黑值OB以上的区间中的增益，能够增大编码失真抑制效果。

(在使用了光学黑值的情况下的灰度校正的特性例2)

接下来，使用图15～图17说明在使用了光学黑值的情况下的灰度校正的特性例2。在使用了光学黑值OB的情况下的灰度校正的特性例1中，在图12的输入输出特性图表1200中，成为在作为输出信号电平E′的明部的区间SC12没有被复原的状态。在使用了光学黑值OB的情况下的灰度校正的特性例2中，像在使用了光学黑值OB的情况下的灰度校正的特性例1那样，本来的黑体的再现性变高，抑制泛灰(不够黑)，实现明部的再现性的提高。

图15是示出在使用了光学黑值的情况下的灰度校正的输入输出特性2的图表。在使用了光学黑值OB的情况下的灰度校正的输入输出特性例2中，与在使用了光学黑值OB的情况下的灰度校正的输入输出特性例1同样地，灰度校正部201针对比光学黑值OB低的输入信号电平E不执行灰度校正。

换言之，在图15的输入输出特性图表1500中，在输入信号电平E从0.0到光学黑值为止的区间SC9内输出信号电平E′为0.0，输入信号电平E从光学黑值OB起上升，在输入信号电平E为1.0处输出信号电平E′取上限1.0。

图15的示出输入输出特性图表1500的灰度校正算法由下述式子(7)表达。

【数学式3】

E′＝OETF[E]＝O E＜OB

{(E-OB)/(1-OB)}

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，OB为光学黑值，γ为伽玛值。灰度校正部201将表示式子(7)的灰度校正算法的灰度校正标识符326输出至编码部202，编码部202赋予来自灰度校正部201的灰度校正标识符326，来作为头部信息301内的控制信息312。

像这样，通过将输出信号电平E′的最大值设为1.0，与输入输出特性图表1200相比，能够提高明部处的颜色再现性。

图16是示出在使用了光学黑值的情况下的灰度校正的输入输出特性2中的增益特性的图表。在使用了光学黑值OB的情况下的灰度校正中的输入信号电平E的增益特性图表1600通过式子(7)的微分而由下述式子(8)表达。

【数学式4】

G＝{OETF[E]}′＝OE＜OB

(1/γ)×{(E-OB)/(1-OB)}

G为输入信号电平E的增益。输入信号电平E从0.0到光学黑值OB为止的区间SC9的增益G的值为0.0，因此，从作为暗部的0.0到光学黑值OB为止的区间SC9的输入信号电平E不被强调。另外，在光学黑值OB处增益G的值成为最大值(无限大)，因此，通过增大在显影处理后作为图像成为有效的光学黑值OB以上的区间中的增益，能够增大编码失真抑制效果。

另外，与在使用了光学黑值的情况下的灰度校正的输入输出特性例1同样地，通过利用灰度校正增大暗部的增益G，来抑制在编码部202与解码部602之间产生的暗部的失真。由此，在进行显影处理或图像调整时，即使出于为了看清暗部的图案等的理由而提亮暗部来显现，暗部的失真也不容易变明显。

图17是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性2的图表。图17的示出输入输出特性图表1700的反向灰度校正算法由下述式子(9)表达。

E＝EOTF[E′]＝(1-OB)×(E′)γ+OB·····(9)

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)、E为复原后的RAW图像数据的信号电平(输出信号电平)、EOTF[]为反向灰度校正函数。反向灰度校正部603在控制信息312中检测到了表示式子(7)的灰度校正标识符326的情况下，执行式子(9)的反向灰度校正。

与在使用了光学黑值OB的情况下的灰度校正的输入输出特性例1同样地，在复原后的RAW图像数据中，输出信号电平E的最小值为光学黑值OB，因此，输出信号电平E为0.0，从而不会再现到光学黑值OB为止的区间SC11的像素的颜色，通过增大在显影处理后作为图像成为有效的光学黑值OB以上的区间中的增益，能够增大编码失真抑制效果。

另外，图14的输入输出特性图表1400这样的不存在输入信号电平E′的区间SC14在图17的输入输出特性图表1700中不存在。即，在使用了光学黑值OB的情况下的灰度校正的输入输出特性例2中，能够提高明部的像素的颜色再现性。

【实施例2】

实施例2为再现光学黑值OB以下的输入信号电平E，同时像实施例1的在使用了光学黑值的情况下的灰度校正的输入输出特性例2那样将光学黑值OB的增益G最大化的例子。在实施例2中，以与实施例1的不同点为中心进行说明，在实施例2中也应用与实施例1相同构成以及相同处理内容，省略其说明。

图18是示出在使用了光学黑值的情况下的灰度校正的输入输出特性3的图表。在使用了光学黑值的情况下的灰度校正的输入输出特性例3中，与在使用了光学黑值的情况下的灰度校正的输入输出特性例1、2不同，灰度校正部201针对比光学黑值OB低的输入信号电平E执行负的灰度校正即执行负的1/γ校正，针对光学黑值OB以上的输入信号电平E执行正的灰度校正即执行正的1/γ校正。

具体来说，例如输入输出特性图表1800中的、区间SC9的波形1801为通过负的1/γ校正得到的波形，光学黑值OB以上的区间的波形1802为通过正的1/γ校正得到的波形。

图18的示出输入输出特性图表1800的灰度校正算法由下述式子(10)表达。

【数学式5】

E′＝OETF[E]＝-α×{(OB-E)/(1-OB)}

α×{(E-OB)/(1-OB)}

此外，

α＝1/{1+{OB/(1-OB)}

β＝α×{OB/(1-OB)}

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，OB为光学黑值，γ为伽玛值。

式子(10)中的、条件为E＜OB的情况下的式子为负的1/γ校正的式子，条件为OB≤E的情况下的式子为正的1/γ校正的式子。灰度校正部201将表示式子(10)的灰度校正算法的灰度校正标识符326输出至编码部202，编码部202赋予来自灰度校正部201的灰度校正标识符326，来作为头部信息301内的控制信息312。

通过在区间SC9中执行负的1/γ校正，能够实现利用灰度校正后的RAW图像数据对光学黑值OB附近的颜色再现性的提高。即，在输入输出特性图表1800的光学黑值OB附近，与光学黑值OB相比输入信号电平E更小的侧(负方向)的噪声和与光学黑值OB相比输入信号电平E更大的侧(正方向)的噪声通过降噪处理互相抵消，因此，能够与实施例1相比更有效地除去噪声。因此，抑制灰度校正后的RAW图像数据的光学黑值OB附近的泛灰，能够提高颜色再现性。

图19是示出在使用了光学黑值的情况下的灰度校正的输入输出特性3中的增益特性的图表。在使用了光学黑值OB的情况下的灰度校正中的输入信号电平E的增益特性图表1900通过式子(10)的微分由下述式子(11)表达。

【数学式6】

G＝{OETF[E]}′＝(α/γ)×[(OB-E)/(1-OB)}

(α/γ)×{(E-OB)/(1-OB)}

G为输入信号电平E的增益。具体来说，例如在增益特性图表1900中，增益G在区间SC9中，在输入信号电平E为0.0处成为最小值，从0.0增加而在光学黑值OB处成为最大值(无限大)。

将区间SC19设为从光学黑值OB到成为光学黑值OB的2倍的输入信号电平E的值2OB为止的区间。增益G在区间SC 19中，在输入信号电平E为光学黑值OB处成为最大值(无限大)，从光学黑值OB减少而在2OB处成为最小值。即，表示区间SC9的增益特性的波形1901和表示区间SC19的增益特性的波形1902相对于光学黑值OB为线对称。

由此，在成为暗部的区间SC9以及区间SC19中，光学黑值OB成为增益G的最大值。另外，在区间SC9以及区间SC19中，输入信号电平E越远离光学黑值OB，增益G越衰减。因此，通过增加显影处理后作为图像成为有效的光学黑值OB以上的区间中的增益，能够增大编码失真抑制效果，并且能够减少在该暗部产生的噪声。

另外，波形1901、1902相对于光学黑值OB呈线对称，从而在光学黑值OB附近，与光学黑值OB相比输入信号电平E更小的侧(负方向)的噪声和与光学黑值OB相比输入信号电平E更大的侧(正方向)的噪声通过降噪处理互相抵消而减小噪声，因此，能够抑制泛灰。

另外，与实施例1同样地，通过利用灰度校正增大暗部的增益G，抑制编码部202与解码部602之间产生的暗部的失真。由此，在进行显影处理或图像调整时，即使出于为了看清暗部的图案等的理由而提亮暗部来显现，暗部的失真也不容易变明显。

图20是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性3的图表。反向灰度校正部603针对灰度校正RAW图像数据的特定的输入信号电平E′的值β以上执行正的反向灰度校正即执行正的γ校正，针对比β低的输入信号电平执行负的反向灰度校正即执行负的γ校正。

将区间SC201设为输入信号电平E′从0.0到式子(10)示出的β为止的区间，将区间SC202设为输入信号电平E′从β到1.0为止的区间。具体来说，例如输入输出特性图表2000中的、区间SC201的波形2001为由负的γ校正而得到的波形，区间SC202的波形2002为由正的γ校正而得到的波形。

图20的示出输入输出特性图表2000的反向灰度校正算法由下述式子(12)表达。

【数学式7】

E＝EOTF[E′]＝OB-(1-OB)×{(E′-β)/α}

OB+(1-OB)×{(E′-β)/α}

此外，

α＝1/{1+{OB/(1-OB)}

β＝α×{OB/(1-OB)}

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)、E为复原后的RAW图像数据的信号电平(输出信号电平)、EOTF[]为反向灰度校正函数。式子(12)中的、条件为E′＜β的情况的式子为负的γ校正的式子，条件为β≤E′的情况的式子为正的γ校正的式子。反向灰度校正部603在控制信息312中检测到表示式子(10)的灰度校正标识符326的情况下，执行式子(12)的反向灰度校正。

通过在区间SC201中执行负的γ校正，能够增大利用反向灰度校正后的复原RAW图像数据的在光学黑值OB附近的编码失真抑制效果，并且能够减小在该暗部产生的噪声，因此，能够提高颜色再现性。

【实施例3】

实施例3为实施例2中使明部的增益增大的例子。在实施例3中，以与实施例2的不同点为中心进行说明，在实施例3中也应用与实施例2相同构成以及相同处理内容，省略其说明。

图21是示出在使用了光学黑值的情况下的灰度校正的输入输出特性4的图表。在使用了光学黑值的情况下的灰度校正的输入输出特性例4中，灰度校正部201针对比光学黑值OB低的输入信号电平E执行负的灰度校正即执行负的偏移量1/γ校正，针对光学黑值OB以上的输入信号电平E执行正的灰度校正即执行正的偏移量1/γ校正。

具体来说，例如输入输出特性图表2100中的、区间SC9的波形2101为通过负的偏移量1/γ校正而得到的波形，光学黑值OB以上的区间的波形2102为通过正的偏移量1/γ校正而得到的波形。

图21的示出输入输出特性图表2100的灰度校正算法由下述式子(13)表达。

【数学式8】

E′＝OETF[E]＝OUT[1]-C×{(OB-E+K)

OUT[1]+C×{(E-OB+K)

此外，

K＝(g×γ)

C＝1/{(OB+K)

OUT[1]＝C×{(OB+K)

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，OB为光学黑值，γ为伽玛值、g为估算临时增益。式子(13)中的、条件为E＜OB的情况下的式子为负的偏移量1/γ校正的式子，条件为OB≤E的情况下的式子为正的偏移量1/γ校正的式子。灰度校正部201将表示式子(13)的灰度校正算法的灰度校正标识符326输出至编码部202，编码部202赋予来自灰度校正部201的灰度校正标识符326，来作为头部信息301内的控制信息312。

图22是示出在使用了光学黑值的情况下的灰度校正的输入输出特性4中的增益特性的图表。在使用了光学黑值OB的情况下的灰度校正中的输入信号电平E的增益特性图表2200通过式子(13)的微分由下述式子(14)表达。

【数学式9】

G＝{OETF[E]}′＝(C/γ)×(OB-E+K)

(C/γ)×(E-OB+K)

G为输入信号电平E的增益。具体来说，例如在增益特性图表2200中，增益G在区间SC9中在输入信号电平E为0.0处成为最小值，从0.0增加而在光学黑值OB处成为最大值的估算临时增益g。估算临时增益为由设定部204设定的值。

增益G在区间SC19中在输入信号电平E为光学黑值OB处成为最大值的估算临时增益g，从光学黑值OB减少而在2OB处成为最小值。即，表示区间SC9的增益特性的波形2201和表示区间SC19的增益特性的波形2202相对于光学黑值OB呈线对称。

另外，通过将光学黑值OB处的增益G的值从实施例2的无限大向估算临时增益g偏移，使增益特性图表2200与增益特性图表1900相比，明部的输入信号电平变高。因此，通过灰度校正能够强调在光学黑值OB附近的像素且强调明部侧的像素。

图23是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性4的图表。反向灰度校正部603针对灰度校正RAW图像数据的特定的输入信号电平E′的值OUT[1]以上执行正的反向灰度校正即执行正的偏移量γ校正，针对比OUT[1]低的输入信号电平执行负的反向灰度校正即执行负的偏移量γ校正。

将区间SC231设为输入信号电平E′从0.0到式子(13)示出的OUT[1]为止的区间，将区间SC232设为输入信号电平E′从OUT[1]到1.0为止的区间。具体来说，例如输入输出特性图表2300中的、区间SC231的波形2301为由负的偏移量γ校正而得到的波形，区间SC232的波形2302为由正的偏移量γ校正而得到的波形。

图23的示出输入输出特性图表2300的反向灰度校正算法由下述式子(15)表达。

【数学式10】

E＝EOTF[E′]＝OB+K-{(OUT[1]-E′)/C+K

OB-K+[(E′-OUT[1])/C+K

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)、E为复原后的RAW图像数据的信号电平(输出信号电平)、EOTF[]为反向灰度校正函数。式子(15)中的、条件为E′＜OUT[1]的情况下的式子为负的偏移量γ校正的式子，条件为OUT[1]≤E′的情况下的式子为正的偏移量γ校正的式子。反向灰度校正部603在控制信息312中检测到了表示式子(13)的灰度校正标识符326的情况下，执行式子(15)的反向灰度校正。

通过在区间SC231中执行负的偏移量γ校正，能够提高在反向灰度校正后的RAW图像数据的光学黑值OB附近的颜色再现性。另外，由于明部的增益也变高，所以能够通过灰度校正强调明部侧的像素。

另外，设定部204也可以取代估算临时增益g而将算定增益GOB设定至反向灰度校正部603(下述式子(16))。通过将算定增益GOB设定至反向灰度校正部603，能够利用反向灰度校正提高作为原本的RAW图像数据中的暗部的光学黑体或明部的再现性。

GOB＝＝C×g·····(16)

【实施例4】

实施例4是对实施例3的估算临时增益g设置包括光学黑值在内的一定宽度的输入信号电平E的例子。在实施例4中，以与实施例3的不同点为中心进行说明，在实施例4中也应用与实施例3相同构成以及相同处理内容，且省略其说明。

图24是示出在使用了光学黑值的情况下的灰度校正的输入输出特性5的图表。在使用了光学黑值的情况下的灰度校正的输入输出特性例5中，通过设定部204设定包括光学黑值OB在内的一定的沿宽D。在沿宽D的输入信号电平E处成为同一增益G。

将沿宽D中的输入信号电平E的值从P1(0.0＜P1＜OB)到光学黑值OB为止的范围设为第1沿宽D1，将沿宽D中的输入信号电平E的值从光学黑值OB到P2(OB≤P2)为止的范围设为第2沿宽D2。沿宽D为输入信号电平E的增益G成为一定的范围。

灰度校正部201针对输入信号电平E的值从0.0到P1为止的区间SC24执行负的灰度校正即执行负的偏移量1/γ校正，针对输入信号电平E的值为沿宽D的区间执行增益G成为一定的灰度校正，针对输入信号电平E的值为P2以上的区间执行正的灰度校正即执行正的偏移量1/γ校正。

具体来说，例如输入输出特性图表2400中的、区间SC24的波形2401为由负的偏移量1/γ校正而得到的波形，沿宽D的区间的波形2402为通过增益G成为一定的灰度校正而得到的波形，输入信号电平E的值为P2以上的区间的波形2403为由正的偏移量1/γ校正而得到的波形。

图24的示出输入输出特性图表2400的灰度校正算法由下述式子(17)表达。

【数学式11】

E′＝OETF[E]＝OUT[1]-C×{(IN[1]-E+K)1/γ-K

OUT[1]+C×g×(E-IN[1])In[1]≤E＜In[2]

OUT[2]+C×{(E-IN[2]+K)1/γ-K

此外，

K＝(g×γ)

C＝1/{(IN[1]+K)

IN[1]＝OB-P1

IN[2]＝OB+P2

OUT[1]＝C×{(IN[1]+K)

OUT[2]＝OUT[1]+C×g×(P1+P2)

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，OB为光学黑值，γ为伽玛值、g为估算临时增益。另外，IN[1]为第1沿宽D1，IN[2]为第2沿宽D2。

式子(17)中的、条件为E＜OB的情况下的式子为负的偏移量1/γ校正的式子，条件为IN[1]≤E＜IN[2]即为沿宽D的情况下的式子为增益G成为一定的灰度校正，条件为IN[2]≤E的情况下的式子为正的偏移量1/γ校正的式子。灰度校正部201将表示式子(17)的灰度校正算法的灰度校正标识符326输出至编码部202，编码部202赋予来自灰度校正部201的灰度校正标识符326，来作为头部信息301内的控制信息312。

图25是示出在使用了光学黑值的情况下的灰度校正的输入输出特性5中的增益特性的图表。在使用了光学黑值OB的情况下的灰度校正中的输入信号电平E的增益特性图表2500利用式子(17)的微分由下述式子(18)表达。

【数学式12】(18)

G＝{OETF[E]}’＝(C/γ)×(IN[1]-E+K)

C×gIn[1]≤E＜In[2]

(C/γ)×(E-IN[2]+K)

G为输入信号电平E的增益。具体来说，例如在增益特性图表2500中，增益G在区间SC24中在输入信号电平E为0.0处成为最小值，从0.0增加而在沿宽D的右端P1处成为最大值的估算临时增益g。估算临时增益G为通过设定部204设定的值。

增益G在沿宽D中以估算临时增益g成为一定。而且，增益G在沿宽D的左端P2以上时，从光学黑值OB减少。通过设定第1沿宽D1，能够保存在光学黑值OB附近的噪声。另外，通过设定了第2沿宽D2，压缩率越高则越能够提高黑的显现力。

另外，第2沿宽D2因由设定部204设定的曝光量而成为可变。具体来说，光学黑值OB为固定，P2的位置被改变。例如通过在设定部204将曝光量设定为曝光不足，P2向输入信号电平E变大的方向变更，第2沿宽P2变大。

另一方面，通过在设定部204将曝光量设定为曝光过度，P2向输入信号电平E变小的方向变更，第2沿宽P2变窄。像这样，能够根据曝光量使第2沿宽D2伸缩，能够根据曝光量强调在光学黑值附近的像素。

图26是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性5的图表。反向灰度校正部603针对灰度校正RAW图像数据的特定的输入信号电平E′的值OUT[2]以上执行正的反向灰度校正即执行正的偏移量γ校正，针对OUT[1]以上且少于OUT[2]执行增益G成为一定的反向灰度校正，针对比OUT[1]低的输入信号电平执行负的反向灰度校正即执行负的偏移量γ校正。

将区间SC261设为输入信号电平E′从0.0到式子(16)示出的OUT[1]为止的区间，将区间SC262设为输入信号电平E′从OUT[1]到OUT[2]为止的区间，将区间SC263设为输入信号电平E′从OUT[2]到1.0为止的区间。

具体来说，例如输入输出特性图表2600中的、区间SC261的波形2301为由负的偏移量γ校正而得到的波形，区间SC262的波形2602为通过增益G成为一定的反向灰度校正而得到的波形，区间SC263的波形2603为由正的偏移量γ校正而得到的波形。

图26的示出输入输出特性图表2600的反向灰度校正算法由下述式子(19)表达。

【数学式13】

E＝EOTF[E′]＝IN[1]+K-{(OUT[1]-E)/C+K

IN[1]+(E′-OUT[1])/(C×g) OUT[1]≤E＜OUT[2]

IN[2]-K+{(E′-OUT[2])/C+K

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)、E为复原后的RAW图像数据的信号电平(输出信号电平)、EOTF[]为反向灰度校正函数。式子(19)中的、条件为E′＜OUT[1]的情况下的式子为负的偏移量γ校正的式子，条件为In[1]≤E＜In[2]的情况下的式子为增益G成为一定的反向灰度校正的式子，条件为OUT[2]≤E′的情况下的式子为正的偏移量γ校正的式子。反向灰度校正部603在控制信息312中检测到了表示式子(17)的灰度校正标识符326的情况下，执行式子(19)的反向灰度校正。

通过在区间SC261中执行负的偏移量γ校正，能够提高反向灰度校正后的RAW图像数据中的光学黑值OB附近的颜色再现性。另外，由于明部的增益也变高，所以能够通过灰度校正强调明部侧的像素。

【实施例5】

实施例5示出在输入输出特性图表中将输入信号电平E从0到OB为止的区间的正的斜率设为一定的情况下的例子。在实施例5中，以与实施例3的不同点为中心进行说明，在实例例5中也应用与实施例3相同构成以及相同处理内容，省略其说明。

图27是示出在使用了光学黑值的情况下的灰度校正的输入输出特性6的图表。在使用了光学黑值的情况下的灰度校正的输入输出特性例6中，灰度校正部201针对比光学黑值OB低的输入信号电平E执行正的斜率成为一定的灰度校正，针对光学黑值OB以上的输入信号电平E执行正的灰度校正即执行正的偏移量1/γ校正。

具体来说，例如输入输出特性图表2700中的、区间SC9的波形2701为伴随输入信号电平E的增加而输出信号电平E′增加的线性的波形。即，在区间SC9中，在输入信号电平E以及输出信号电平E′之间具有正比例的关系。光学黑值OB以上的区间SC27(OB≤E)的波形2702为由正的偏移量1/γ校正而得到的波形。灰度校正部201在输入信号电平E为1.0时以输出信号电平E′成为1.0的方式利用灰度校正进行拟合。

图27的示出输入输出特性图表2700的灰度校正算法由下述式子(20)表达。

【数学式14】

E′＝OETF[E]＝E×SE＜OB

β+α×(E-OB)

此外，

α＝(1-OB×S)/(1-OB)

β＝OB×S

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，OB为光学黑值，γ为伽玛值。S为表示区间SC9的波形2701的斜率的固定值。斜率S在图27中，例如S＝4。斜率S只要为正的值即可。A为能够用设定部204进行调整的拟合系数。具体来说，例如设定部204根据在信息处理装置100的ISO感光度的增减，能够调整拟合系数α。

式子(20)中的、条件为E＜OB的情况下的式子为针对输入信号电平E正的斜率成为一定的灰度校正的式子，条件为OB≤E的情况下的式子为正的偏移量1/γ校正的式子。灰度校正部201将表示式子(20)的灰度校正算法的灰度校正标识符326输出至编码部202，编码部202赋予来自灰度校正部201的灰度校正标识符326，来作为头部信息301内的控制信息312。

图28是示出在使用了光学黑值的情况下的灰度校正的输入输出特性6中的增益特性的图表。在使用了光学黑值OB的情况下的灰度校正中的输入信号电平E的增益特性图表2800利用式子(20)的微分由下述式子(21)表达。

【数学式15】

G＝{OETF[E]}′＝SE＜OB

(α/γ)×(E-OB)

G为输入信号电平E的增益。具体来说，例如在增益特性图表2800中，增益G在区间SC9中成为一定的值。

另外，与实施例1同样地，通过利用灰度校正增大暗部的增益G，抑制编码部202与解码部602之间产生的暗部的失真。由此，在进行显影处理或图像调整时，即使出于为了看清暗部的图案等的理由而提亮暗部来显现，暗部的失真也不容易变明显。

图29是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性6的图表。反向灰度校正部603针对比光学黑值OB低的输入信号电平E′执行正的斜率成为一定的反向灰度校正，针对比β低的输入信号电平E′执行负的反向灰度校正即执行负的γ校正。

将区间SC291设为输入信号电平E′从0.0到式子(10)示出的β为止的区间，将区间SC292设为输入信号电平E′从β到1.0为止的区间。具体来说，例如输入输出特性图表2900中的、区间SC291的波形2901为通过使正的斜率成为一定的反向灰度校正而得到的波形，区间SC292的波形2902为由正的γ校正而得到的波形。

图29的示出输入输出特性图表2900的反向灰度校正算法由下述式子(22)表达。

【数学式16】

E＝EOTF[E′]＝E′/SE′＜β

OB+(1/α×(E′-β))

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)、E为复原后的RAW图像数据的信号电平(输出信号电平)、EOTF[]为反向灰度校正函数。式子(22)中的、条件为E′＜β的情况下的式子为针对比光学黑值OB低的输入信号电平E使正的斜率成为一定的反向灰度校正的式子，条件为β≤E′的情况下的式子为正的γ校正的式子。反向灰度校正部603在控制信息312中检测到表示式子(20)的灰度校正标识符326的情况下，执行式子(22)的反向灰度校正。

通过在区间SC201中执行使正的斜率成为一定的反向灰度校正，增大反向灰度校正后的复原RAW图像数据中的光学黑值OB附近的编码失真抑制效果，并且能够减少在该暗部产生的噪声，因此，能够提高颜色再现性。

【实施例6】

实施例6示出在实施例5中使用两个拟合系数的例子。具体来说，例如在实施例5中，在输入输出特性图表2700中，在输入信号电平E成为OB以上(OB≤E)的区间内，能够调整拟合系数α。在实施例6中，在输入信号电平E低于OB(E＜OB)的区间SC9内以及在OB以上(OB≤E)的区间内，分别使用不同的拟合系数。在实施例6中，以与实施例5的不同点为中心进行说明，在实施例6中也应用与实施例5相同构成以及相同处理内容，省略其说明。

图30是示出在使用了光学黑值的情况下的灰度校正的输入输出特性7的图表。在使用了光学黑值的情况下的灰度校正的输入输出特性例7中，与输入输出特性例6同样地，灰度校正部201针对比光学黑值OB低的输入信号电平E执行使正的斜率成为一定的灰度校正，针对光学黑值OB以上的输入信号电平E执行正的灰度校正即执行正的偏移量1/γ校正。

具体来说，例如输入输出特性图表3000中的、区间SC9的波形3001为伴随输入信号电平E的增加而使输出信号电平E′增加的线性的波形，光学黑值OB以上的区间的波形3002为由正的偏移量1/γ校正而得到的波形。灰度校正部201在输入信号电平E为1.0时以使输出信号电平E′成为1.0的方式利用灰度校正进行拟合。

图30的示出输入输出特性图表3000的灰度校正算法由下述式子(23)表达。

【数学式17】

E′＝OETF[E]＝E×α1E＜OB

α2×(E-OB)

此外，

α2＝(1-β)/(1-OB)

β＝α1×OB

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，OB为光学黑值，γ为伽玛值。α1为能够调整的拟合系数，表示区间SC9的波形3001的正的斜率。α1在图30中，例如α1＝2。α1只要为正的值即可。α2为与α1不同的拟合系数，取决于α1。

设定部204根据在信息处理装置100的ISO感光度的增减，能够调整拟合系数α。由此，在区间SC9中，能够利用拟合系数α1进行输入输出特性图表3000的调整，且在OB≤E的区间SC27中能够利用与拟合系数α1不同的值的拟合系数α2进行输入输出特性图表3000的调整。

式子(23)中的、条件为E＜OB的情况下的式子为针对输入信号电平E使正的斜率成为一定的灰度校正的式子，在条件为OB≤E的情况下的式子为正的偏移量1/γ校正的式子。灰度校正部201将表示式子(23)的灰度校正算法的灰度校正标识符326输出至编码部202，编码部202赋予来自灰度校正部201的灰度校正标识符326，来作为头部信息301内的控制信息312。

图31是示出在使用了光学黑值的情况下的灰度校正的输入输出特性7中的增益特性的图表。在使用了光学黑值OB的情况下的灰度校正中的输入信号电平E的增益特性图表3100利用式子(23)的微分由下述式子(24)表达。

【数学式18】

G＝{OETF[E]}’＝α1E＜OB

(α2/γ)×(E-OB)

G为输入信号电平E的增益。具体来说，例如在增益特性图表3100中，增益G在区间SC9中成为一定的值。

另外，与实施例1同样地，通过利用灰度校正增大暗部的增益G，抑制编码部202与解码部602之间产生的暗部的失真。由此，在进行显影处理或图像调整时，即使出于为了看清暗部的图案等的理由而提亮暗部来显现，暗部的失真也不容易变明显。

图32是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性7的图表。反向灰度校正部603针对比光学黑值OB低的输入信号电平E执行使正的斜率成为一定的反向灰度校正，针对比β低的输入信号电平执行负的反向灰度校正即执行负的γ校正。

将区间SC321设为输入信号电平E′从0.0到式子(10)示出的β为止的区间，将区间SC292设为输入信号电平E′从β到1.0为止的区间。具体来说，例如输入输出特性图表3200中的、区间SC321的波形3201为由负的γ校正而得到的波形，区间SC322的波形3202为由正的γ校正而得到的波形。

图32的示出输入输出特性图表3200的反向灰度校正算法由下述式子(25)表达。

【数学式19】

E＝EOTF[E′]＝E′/α1E′＜β

OB+(1/α2×(E′-β))γβ≦E′(25)

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)、E为复原后的RAW图像数据的信号电平(输出信号电平)、EOTF[]为反向灰度校正函数。式子(25)中的、条件为E′＜β的情况下的式子为针对比光学黑值OB低的输入信号电平E使正的斜率成为一定的反向灰度校正的式子，条件为β≤E′的情况下的式子为正的γ校正的式子。反向灰度校正部603在控制信息312中检测到表示式子(23)的灰度校正标识符326的情况下，执行式子(25)的反向灰度校正。

在区间SC321中，通过执行使正的斜率成为一定的反向灰度校正，能够增大反向灰度校正后的复原RAW图像数据中的光学黑值OB附近的编码失真抑制效果，并且能够减少在该暗部产生的噪声，因此，能够提高颜色再现性。

【实施例7】

实施例7为实施例2的其他例子，为将光学黑值OB以下的输入信号电平E再现、同时像实施例1的在使用了光学黑值的情况下的灰度校正的输入输出特性例2那样将光学黑值OB的增益G最大化的例子。在实施例7中，以与实施例2的不同点为中心进行说明，在实施例7中也应用与实施例2相同构成以及相同处理内容，且省略其说明。

图33是示出在使用了光学黑值的情况下的灰度校正的输入输出特性8的图表。在使用了光学黑值的情况下的灰度校正的输入输出特性例8中，与在使用了光学黑值的情况下的灰度校正的输入输出特性例1、2不同，灰度校正部201针对比光学黑值OB低的输入信号电平E执行负的灰度校正即执行负的1/γ校正，针对光学黑值OB以上的输入信号电平E执行正的灰度校正即执行正的1/γ校正。

具体来说，例如输入输出特性图表3300中的、区间SC9的波形3301为由负的1/γ校正而得到的波形，光学黑值OB以上的区间的波形3302为由正的1/γ校正而得到的波形。

图33的示出输入输出特性图表3300的灰度校正算法由下述式子(26)表达。

【数学式20】

E′＝OETF[E]＝-(OB-E)

α×(E--OB)

此外，

α＝(1-OB

β＝OB

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，OB为光学黑值，γ为伽玛值、α为能够由设定部204进行调整的拟合系数。具体来说，例如设定部204根据在信息处理装置100的ISO感光度的增减，能够调整拟合系数α。

式子(26)中的、条件为E＜OB的情况下的式子为负的1/γ校正的式子，条件为OB≤E的情况下的式子为正的1/γ校正的式子。灰度校正部201将表示式子(26)的灰度校正算法的灰度校正标识符326输出至编码部202，编码部202赋予来自灰度校正部201的灰度校正标识符326，来作为头部信息301内的控制信息312。

在区间SC9中通过执行负的1/γ校正，能够提高灰度校正后的RAW图像数据中的光学黑值OB附近的颜色再现性。即，在输入输出特性图表3300的光学黑值OB附近，与光学黑值OB相比输入信号电平E更小的侧(负方向)的噪声和与光学黑值OB相比输入信号电平E更大的侧(正方向)的噪声通过降噪处理彼此抵消，能够与实施例1相比更有效地除去噪声。因此，抑制灰度校正后的RAW图像数据的光学黑值OB附近的泛灰，能够提高颜色再现性。

图34是示出在使用了光学黑值的情况下的灰度校正的输入输出特性8中的增益特性的图表。在使用了光学黑值OB的情况下的灰度校正中的输入信号电平E的增益特性图表3400利用式子(26)的微分由下述式子(27)表达。

【数学式21】

G＝{OETF[E]}’＝(1/γ)×(OB-E)

(α/γ)×(E-OB)

此外，

α＝(1-OB

G为输入信号电平E的增益。具体来说，例如在增益特性图表3400中，增益G在区间SC9中在输入信号电平E为0.0处成为最小值，从0.0增加而在光学黑值OB处成为最大值(无限大)。

另外，通过利用灰度校正增大暗部的增益G，抑制编码部202与解码部602之间产生的暗部的失真。由此，在进行显影处理或图像调整时，即使出于为了看清暗部的图案等的理由而提亮暗部来显现，暗部的失真也不容易变明显。

图35是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性8的图表。反向灰度校正部603针对灰度校正RAW图像数据的特定的输入信号电平E′的值β以上，执行正的反向灰度校正即执行正的γ校正，针对比β低的输入信号电平，执行负的反向灰度校正即执行负的γ校正。

将区间SC351设为输入信号电平E′从0.0到式子(10)示出的β为止的区间，将区间SC352设为输入信号电平E′从β到1.0为止的区间。具体来说，例如输入输出特性图表3500中的、区间SC351的波形3501为由负的γ校正而得到的波形，区间SC352的波形3502为由正的γ校正而得到的波形。

图35的示出输入输出特性图表3500的反向灰度校正算法由下述式子(28)表达。

【数学式22】

E＝EOTF[E′]＝OB-(β-E′)

OB+{1/α×(E′-β)}

此外，

α＝(1-OB

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)、E为复原后的RAW图像数据的信号电平(输出信号电平)、EOTF[]为反向灰度校正函数。式子(28)中的、条件为E′＜β的情况下的式子为负的γ校正的式子，条件为β≤E′的情况下的式子为正的γ校正的式子。反向灰度校正部603在控制信息312中检测到表示式子(26)的灰度校正标识符326的情况下，执行式子(28)的反向灰度校正。

在区间SC351中通过执行负的γ校正，能够增大反向灰度校正后的复原RAW图像数据中的光学黑值OB附近的编码失真抑制效果，并且能够减少在该暗部产生的噪声，因此，能够提高颜色再现性。

【实施例8】

实施例8示出在实施例7中使用两个拟合系数的例子。具体来说，例如在实施例7中，在输入输出特性图表3300中输入信号电平E为OB以上(OB≤E)的区间SC27内，能够调整拟合系数α。在实施例8中，在输入信号电平E低于OB(E＜OB)的区间SC9内以及成为OB以上(OB≤E)的区间SC27内分别使用不同拟合系数。在实施例8中，以与实施例7的不同点为中心进行说明，在实施例8中也应用与实施例7相同构成以及相同处理内容，且省略其说明。

图36是示出在使用了光学黑值的情况下的灰度校正的输入输出特性9的图表。在使用了光学黑值的情况下的灰度校正的输入输出特性例9中，与输入输出特性例8同样地，与在使用了光学黑值的情况下的灰度校正的输入输出特性例1、2不同，灰度校正部201针对比光学黑值OB低的输入信号电平E执行负的灰度校正即执行负的1/γ校正，针对光学黑值OB以上的输入信号电平E执行正的灰度校正即执行正的1/γ校正。

具体来说，例如输入输出特性图表3600中的、区间SC9的波形3601为由负的1/γ校正而得到的波形，光学黑值OB以上的区间SC27的波形3602为由正的1/γ校正而得到的波形。

图36的示出输入输出特性图表3600的灰度校正算法由下述式子(29)表达。

【数学式23】

E′＝OETF[E]＝-α1×(OB-E)

α2×(E-OB)

此外，

α2＝(1-β)/(1-OB)

β＝α1×OB

在此，E为RAW图像数据的信号电平(输入信号电平)，E′为灰度校正RAW图像数据的信号电平(输出信号电平)，OETF[]为灰度校正函数，OB为光学黑值，γ为伽玛值、α1以及α2为能够调整的拟合系数。α2为与α1不同的拟合系数，取决于α1。

设定部204根据信息处理装置100中的ISO感光度的增减能够调整拟合系数α。由此，在区间SC9中能够以拟合系数α1进行输入输出特性图表3600的调整，且在OB≤E的区间SC27中能够以与拟合系数α1不同的值的拟合系数α2进行输入输出特性图表3600的调整。

式子(29)中的、条件为E＜OB的情况下的式子为负的1/γ校正的式子，条件为OB≤E的情况下的式子为正的1/γ校正的式子。灰度校正部201将表示式子(29)的灰度校正算法的灰度校正标识符326输出至编码部202，编码部202赋予来自灰度校正部201的灰度校正标识符326，来作为头部信息301内的控制信息312。

在区间SC9中通过执行负的1/γ校正，能够提高灰度校正后的RAW图像数据中的光学黑值OB附近的颜色再现性。即，在输入输出特性图表3600的光学黑值OB附近，与光学黑值OB相比输入信号电平E更小的侧(负方向)的噪声和与光学黑值OB相比输入信号电平E更大的侧(正方向)的噪声通过降噪处理相互抵消，因此，能够与实施例1相比更有效地除去噪声。因此，抑制灰度校正后的RAW图像数据的光学黑值OB附近的泛灰，能够实现颜色再现性的提高。

图37是示出在使用了光学黑值的情况下的灰度校正的输入输出特性9中的增益特性的图表。在使用了光学黑值OB的情况下的灰度校正中的输入信号电平E的增益特性图表3700利用式子(29)的微分由下述式子(30)表达。

【数学式24】

G＝{OETF[E]}’＝(α1/γ)×(OB-E)

(α2/γ)×(E-OB)

此外，

α2＝(1-β)/(1-OB)

β＝α1×OB

G为输入信号电平E的增益。具体来说，例如在增益特性图表3700中，增益G在区间SC9中在输入信号电平E为0.0处成为最小值，从0.0增加而在光学黑值OB处成为最大值(无限大)。

另外，通过利用灰度校正增大暗部的增益G，抑制编码部202与解码部602之间产生的暗部的失真。由此，在进行显影处理或图像调整时，即使出于为了看清暗部的图案等的理由而提亮暗部来显现，暗部的失真也不容易变明显。

图38是示出在使用光学黑值的情况下的反向灰度校正的输入输出特性9的图表。反向灰度校正部603针对灰度校正RAW图像数据的特定的输入信号电平E′的值β以上执行正的反向灰度校正即执行正的γ校正，针对比β低的输入信号电平执行负的反向灰度校正即执行负的γ校正。

将区间SC381设为输入信号电平E′从0.0到式子(10)示出的β为止的区间，将区间SC382设为输入信号电平E′从β到1.0为止的区间。具体来说，例如输入输出特性图表3800中的、区间SC381的波形3801为由负的γ校正而得到的波形，区间SC382的波形3802为由正的γ校正而得到的波形。

图38的示出输入输出特性图表3800的反向灰度校正算法由下述式子(31)表达。

【数学式25】

E＝EOTF[E′]＝{1/α1×(β-E′)}

OB+{1/α2×(E′-β)}r β≤E′ (31)

此外，

α2＝(1-β)/(1-OB)

β＝α1×OB

在此，E′为灰度校正RAW图像数据的信号电平(输入信号电平)、E为复原后的RAW图像数据的信号电平(输出信号电平)、EOTF[]为反向灰度校正函数。式子(31)中的、条件为E′＜β的情况下的式子为负的γ校正的式子，条件为β≤E′的情况下的式子为正的γ校正的式子。反向灰度校正部603在控制信息312中检测到表示式子(29)的灰度校正标识符326的情况下，执行式子(31)的反向灰度校正。

通过在区间SC381中执行负的γ校正，能够增大反向灰度校正后的复原RAW图像数据中的光学黑值OB附近的编码失真抑制效果，并且能够减少在该暗部产生的噪声，因此，能够实现颜色再现性的提高。

如以上说明那样，根据本实施例，能够抑制基于灰度校正的暗部编码失真。另外，例如在进行显影处理或图像调整时，在出于为了看清暗部的图案等的理由而提亮暗部来显现的情况下，利用灰度校正增大暗部的增益G，由此，能够抑制编码部202与解码部602之间产生的暗部的失真。由此，在进行显影处理或图像调整时，即使出于为了看清暗部的图案等的理由而提亮暗部来显现，暗部的失真也不容易变明显。另外，能够利用反向灰度校正复原成原本的RAW图像数据。