图像处理设备、成像设备和图像处理方法

技术领域

本技术涉及图像处理设备、成像设备和图像处理方法，并且特别涉及原始图像的显影处理的技术。

背景技术

在图像记录中，不仅记录通过对图像传感器的输出执行显影处理而生成的图像数据，例如，联合图像专家组(JPEG)图像数据，而且还记录原始数据。

原始数据以可以几乎按照原样再现从图像传感器获得的信号的形式被记录，因此，作为对记录的原始数据的后处理，可以执行指定期望的显影参数以调节灰度和色调等的显影处理。与在成像设备内执行颜色再现处理等然后进行记录的方法相比，这使得用户能够获得与他或她的偏好更紧密地对准的显影图像。

原始数据可以指的是图像传感器输出格式的图像数据，并且，与原始数据的记录相关，存在按照原样记录图像传感器输出格式的图像数据(例如，来自原色过滤器阵列的红色(R)、绿色(G)和蓝色(B)的信号)的方法。为了描述，此类原始数据的示例被称为RGB-raw数据(RGB-原始数据)。

此外，为了抑制存储期间的数据量，存在在成像设备内执行包括白平衡处理的一定程度的信号处理、将信号分离为亮度信号和色度信号并且将信号记录为YCbCr格式的原始数据的方法。已经经历了直到如上所述的YC转换处理的原始数据被称为YC-raw数据(YC-原始数据)。

下面的专利文献1公开了与YC-raw数据对应的图像的处理。

此外，下面的专利文献2公开了与原始数据的白平衡的可靠性有关的处理。

注意，“白平衡”在下文中也被称为“WB”。

引文列表

专利文献

专利文献1：日本专利申请特许公开No.2016-5245

专利文献2：日本专利申请特许公开No.2005-176272

发明内容

发明要解决的问题

同时，为了将YCbCr格式的图像记录为YC-raw数据，需要首先对图像传感器输出(诸如拜耳阵列的RGB格式的信号)执行WB处理，在WB处理之后执行去马赛克，并且估计图像的各像素的缺失颜色值，由此创建彩色图像。这些缺失颜色值是使用来自周围像素的颜色信息估计的，因此，在不能正确地设定WB处理的值(WB增益)的情况下，也不能正确地估计图像的各像素的缺失颜色值。如从上述专利文献2也可以理解的那样，WB处理受到诸如被摄体的颜色、光源和检测方法之类的各种因素的影响，使得难以在短时间内执行正确的计算。例如，难以在成像期间高速设定适当的WB值。

此外，颜色偏移可能由于去马赛克而恶化。

作为结果，当稍后YC-raw数据被显影时，生成残留颜色偏移的影响的显影图像，诸如JPEG图像数据。

因此，本公开提出了校正颜色偏移的影响的图像处理，该图像处理可以在YC-raw数据的显影期间或在其他时间被应用。

问题的解决方案

根据本技术的图像处理设备包括对作为通过对图像传感器输出格式的图像数据执行预白平衡处理(pre-white balance processing)、去马赛克(demosaicing)和YC转换处理而获得的图像数据的YC-raw数据执行到图像传感器输出格式的转换处理并且进一步执行相对于预白平衡处理的逆(reverse)预白平衡处理和恢复去马赛克之前的状态的重排马赛克(remosaicing)的图像处理单元。

例如，在YC-raw数据的成像期间执行的简单预白平衡处理或去马赛克可能在YC-raw数据的显影中导致与原来的图像相比的颜色偏移。利用以上配置，针对YC-raw数据校正颜色偏移。

此外，根据本技术的图像处理设备包括将图像传感器输出格式的图像数据或YC-raw数据记录到记录介质上的记录控制单元，该图像数据是在对作为通过对图像传感器输出格式的图像数据执行预白平衡处理、去马赛克和YC转换处理而获得的图像数据的YC-raw数据执行到图像传感器输出格式的转换处理并且进一步施加相对于预白平衡处理的逆预白平衡处理和恢复去马赛克之前的状态的重排马赛克之后获得的，YC-raw数据是基于在重排马赛克之后获得的图像传感器输出格式的图像数据而获得的。

换句话说，作为在施加包括逆预白平衡处理和重排马赛克的颜色偏移校正处理之后的图像数据的原始数据被覆写并记录到原来的YC-raw数据上。可替代地，与原来的YC-raw数据一起进行记录。

根据本技术的成像设备包括：使用图像传感器获得捕获的图像数据的成像单元；对由成像单元获得的图像传感器输出格式的图像数据执行预白平衡处理、去马赛克和YC转换处理以生成YC-raw数据的图像处理单元；和执行将指示图像传感器的像素阵列的传感器阵列信息作为在恢复去马赛克之前的状态的重排马赛克中使用的元数据并且将包括预白平衡处理的参数的预白平衡信息作为在相对于预白平衡处理的逆预白平衡处理中使用的元数据来与YC-raw数据相关联的处理的控制单元。

例如，传感器阵列信息和预白平衡信息被添加到与YC-raw数据相关联的元数据，以便可用于显影处理期间的参照。

附图说明

图1是根据本技术的实施例的成像设备的框图。

图2是根据实施例的信息处理设备的框图。

图3是根据实施例的原始数据成像处理的说明图。

图4是图像传感器的像素阵列的示例的说明图。

图5是重排马赛克之前的RGB平面信号的说明图。

图6是根据实施例的与YC-raw数据的元数据关联的流程图。

图7是根据实施例的与YC-raw数据的元数据关联的流程图。

图8是没有颜色偏移校正的原始数据显影处理的说明图。

图9是原始数据显影期间的颜色偏移的说明图。

图10是根据第一实施例的原始数据显影处理的说明图。

图11是重排马赛克后的信号的说明图。

图12是第二实施例的原始数据显影处理的说明图。

图13是在第二实施例中生成的图像的示例的说明图。

图14是根据第三实施例的原始数据显影处理的说明图。

图15是根据第四实施例的确定处理的流程图。

图16是根据实施例的用户设定画面的说明图。

图17是根据实施例的警告显示示例的说明图。

图18是根据实施例的颜色偏移部分的显示示例的说明图。

图19是根据实施例的颜色偏移校正之前和之后的呈现示例的说明图。

图20是根据实施例的图像分割处理的说明图。

图21是根据第四实施例的另一确定处理的流程图。

图22是第四实施例的又一确定处理的流程图。

具体实施方式

在下文中，按照以下顺序描述实施例。

<1.成像设备的配置>

<2.信息处理设备的配置>

<3.YC-raw数据成像处理>

<4.YC-raw数据显影的比较例>

<5.第一实施例：YC-raw数据显影>

<6.第二实施例：YC-raw数据显影>

<7.第三实施例：YC-raw的覆写记录>

<8.第四实施例：具有颜色偏移校正执行确定的处理>

<9.总结和变形例>

<1.成像设备的配置>

根据本技术的实施例的图像处理设备被假定为被安装为执行原始数据显影等的成像设备(相机)或信息处理设备中的图像处理单元。此外，配备有这些图像处理单元的成像设备和信息处理设备中的每一个也可以被认为是本技术的实施例的图像处理设备。

首先，将参照图1描述成像设备1的配置示例。

成像设备1包括根据成像执行YC-raw数据的生成处理并且对YC-raw数据执行显影的图像处理单元20，并且，图像处理单元20或包括图像处理单元20的成像设备1可以被认为是本技术的图像处理设备的示例。

由成像设备1生成的YC-raw数据是通过对通过成像操作获得的图像传感器输出格式(诸如RGB格式)的图像数据执行预白平衡处理、去马赛克和YC转换处理而获得的图像数据。可以执行用于改变像素大小(像素数量)的大小调整(resizing)。

然而，该YC-raw数据没有经受与图像增强相关的处理(诸如颜色再现处理、伽马处理或锐化处理)，并且可以说是原始数据的一种类型。

成像设备1包括例如透镜系统11、成像单元12、记录控制单元14、显示单元15、通信单元16、操作单元17、相机控制单元18、存储器单元19、图像处理单元20、缓冲存储器21、驱动器单元22和传感器单元23。

透镜系统11包括诸如变焦透镜和单焦点透镜之类的透镜和光圈机构等。透镜系统11引导来自被摄体的光(入射光)并且将光会聚在成像单元12上。

成像单元12包括例如互补金属氧化物半导体(CMOS)类型或电荷耦合器件(CCD)类型等的图像传感器12a。

成像单元12对通过光电转换由图像传感器12a接收的光而获得的电信号执行例如相关双采样(CDS)处理、自动增益控制(AGC)处理等，并且进一步执行模数(A/D)转换处理。然后，作为数字数据的成像信号被输出到后续阶段中的图像处理单元20和相机控制单元18。

图像处理单元20被配置为使用例如数字信号处理器(DSP)等的图像处理处理器。

图像处理单元20对来自成像单元12的数字信号(捕获的图像信号)执行各种类型的信号处理。各种类型的处理包括例如预处理、白平衡(WB)处理、去马赛克、颜色/灰度处理、YC转换处理、分辨率转换处理和各种类型的检测处理。

作为预处理，图像处理单元20例如对来自图像传感器12a的信号执行缺陷校正和黑电平调整。

如后面描述的那样，作为WB处理，图像处理单元20执行用于生成YC-raw数据的简单WB处理和通过根据例如全像素检测等获得高精度的WB值或使用由用户指定的WB值而执行的原本的WB处理。

注意，在本公开中，为了在描述中进行区分，用于生成YC-raw数据的成像期间的简单WB处理被称为“预WB处理”(“预白平衡处理”)。此外，通过根据全像素检测等获得高精度的WB值而执行的WB处理以及使用由用户指定的WB值而执行的WB处理，即，反映在最终显影图像上的WB处理，被称为“主WB处理”(“主白平衡处理”)。

另外，图像处理单元20可以通过使用与预WB处理相反的WB值，执行用于取消预WB的处理的逆预WB处理。

作为去马赛克，图像处理单元20执行去马赛克，使得针对各像素的图像数据具有R、G和B的所有颜色分量。另外，图像处理单元20可以执行重排马赛克，以将去马赛克的图像数据恢复到去马赛克之前的状态。

在YC转换处理中，图像处理单元20执行从RGB格式的图像数据生成(分离)亮度信号和色度信号以获得YCbCr格式的图像信号的处理。

在颜色和灰度处理中，作为所谓的图像增强，执行用于调整灰度、饱和度、色调、对比度等的处理。

图像处理单元20根据需要执行例如如上所述的各处理，并且针对来自图像传感器12a的图像数据生成YC-raw数据或显影图像数据。

在这种情况下，可以执行分辨率转换或文件形成处理。在文件形成处理中，图像数据经受例如用于记录或通信的压缩编码、格式化、元数据的生成或添加或其他处理，以生成用于记录或通信的文件。

例如，作为静止图像文件生成诸如JPEG、标记图像文件格式(TIFF)、图形交换格式(GIF)、高效图像文件格式(HEIF)、YUV 422和YUV 420之类的格式的图像文件。此外，还可以设想生成作为用于记录符合MPEG-4的运动图像和音频的MP4格式等的图像文件。

缓冲存储器21是例如使用动态随机存取存储器(D-RAM)形成的。缓冲存储器21在图像处理单元20中被用于在上述各种类型的处理过程中临时存储图像数据。

记录控制单元14例如使用非易失性存储器执行到记录介质上的记录和从记录介质的再现。例如，记录控制单元14执行将诸如运动图像数据或静止图像数据之类的图像文件记录到记录介质上的处理。

可以以各种方式设想记录控制单元14的实际形式。例如，记录控制单元14可以被配置为内置在成像设备1中的闪存及其写入/读取电路。此外，记录控制单元14可以是对可从成像设备1拆卸的记录介质(例如，存储器卡(便携式闪存等))执行记录/再现访问的卡记录/再现单元的形式。另外，作为内置于成像设备1中的形式，记录控制单元14可以被实现为硬盘驱动器(HDD)等。

显示单元15是为用户执行各种显示的显示单元，并且是例如使用设置在成像设备1的外壳中的诸如液晶显示器(LCD)或有机电致发光(EL)显示器之类的显示设备的显示面板或取景器。

显示单元15基于来自相机控制单元18的指令在显示画面上执行各种显示。例如，显示单元15在记录控制单元14中显示从记录介质读取的图像数据的再现图像。

此外，存在其分辨率被图像处理单元20转换以用于显示的捕获图像的图像数据被供给到显示单元15并且显示单元15响应于来自相机控制单元18的指令基于该捕获图像的图像数据执行显示的情况。作为结果，显示作为在构图确认或运动图像记录等期间的捕获图像的、所谓的直通图像(被摄体的实时取景图像)。

此外，显示单元15基于相机控制单元18的指令，使得在画面上执行各种操作菜单、图标、消息等的显示，即，作为图形用户界面(GUI)的显示。

通信单元16以有线或无线方式与外部设备执行数据通信和网络通信。例如，包括捕获的图像数据或元数据的静止图像文件或运动图像文件被发送和输出到外部信息处理设备、显示设备、记录设备、再现设备等。

此外，通信单元16可以作为网络通信单元经由诸如因特网、家庭网络和局域网(LAN)之类的各种网络执行通信，并且可以向网络上的服务器、终端等发送各种数据以及从网络上的服务器、终端等接收各种数据。网络上的服务器包括所谓的云服务器，并且成像设备1可以经由通信单元16向云服务器发送各种信息以及从云服务器接收各种信息。

此外，成像设备1能够使用通信单元16通过诸如蓝牙(注册商标)、Wi-Fi(注册商标)通信或近场通信(NFC)之类的短距离无线通信、红外通信等与个人计算机(PC)、智能电话、平板终端等执行信息通信。另外，成像设备1和另一设备能够通过有线连接通信彼此通信。

因此，成像设备1可以使用通信单元16将图像数据和元数据发送到稍后描述的信息处理设备70。

操作单元17总体指示供用户执行各种操作输入的输入设备。具体地，操作单元17指示设置在成像设备1的外壳中的各种操作元件(键、拨盘、触摸面板、触摸板等)。

用户操作由操作单元17检测，并且与输入操作的对应信号被发送到相机控制单元18。

相机控制单元18包括包含中央处理单元(CPU)的微计算机(运算处理设备)。

存储器单元19存储用于相机控制单元18的处理的信息等。作为图示的存储器单元19，例如，包括地示出了只读存储器(ROM)、随机存取存储器(RAM)、闪存等。

存储器单元19可以是内置在作为相机控制单元18的微计算机芯片中的存储器区域，或者可以包括单独的存储器芯片。

相机控制单元18执行存储在存储器单元19的ROM或闪存等中的程序以控制整个成像设备1。

例如，相机控制单元18控制与成像单元12的快门速度的控制、图像处理单元20中的各种类型的信号处理的指令、响应于用户操作的成像操作和记录操作、记录的图像文件的再现操作、透镜镜筒中诸如变焦、聚焦和光圈调节之类的透镜系统11的操作、用户界面操作等相关的各必要单元的操作。

作为相机控制单元18的CPU的各种类型的数据处理的工作区域，存储器单元19中的RAM被用于临时存储数据和程序等。

存储器单元19中的ROM和闪存(非易失性存储器)被用于存储供CPU控制各单元的操作系统(OS)、诸如图像文件之类的内容文件、用于各种操作的应用程序、固件、各种设置信息等。

驱动器单元22设置有例如用于变焦透镜驱动电机的电机驱动器、用于聚焦透镜驱动电机的电机驱动器、用于光圈机构电机的电机驱动器等。

在这些电机驱动器中，响应于来自相机控制单元18的指令，驱动电流被施加到对应的驱动器，以使得执行聚焦透镜和变焦透镜的移动、光圈机构的光圈叶片的打开和关闭等。

传感器单元23包括地指示安装在成像设备上的各种传感器。

例如，在安装惯性测量单元(IMU)作为传感器单元23的情况下，例如，可以通过用于俯仰、偏航和滚转三个轴的角速度(陀螺仪)传感器来检测角速度，并且可以通过加速度传感器来检测加速度。

作为传感器单元23，例如，可以安装位置信息传感器、照度传感器、距离测量传感器等。

由传感器单元23检测的各种信息，诸如位置信息、距离信息、照度信息和IMU数据，作为元数据与由相机控制单元18管理的日期和时间信息一起被添加到捕获图像。

通过设置能够检测色温的照度传感器作为传感器单元23，相机控制单元18可以估计成像期间的光源，并且例如可以将光源信息添加到元数据。使用与成像设备1分离的照度传感器的情况自然是可以设想的。

<2.信息处理设备的配置>

接下来，将参照图2描述信息处理设备70的配置示例。

信息处理设备70是能够执行信息处理、特别是图像处理的设备，诸如计算机设备。具体地，个人计算机(PC)、诸如智能电话或平板计算机之类的移动终端设备、移动电话、视频编辑设备、视频再现设备等被假定为信息处理设备70。此外，信息处理设备70可以是被配置为云计算中的服务器设备或运算设备的计算机设备。

然后，信息处理设备70包括对YC-raw图像数据执行显影处理的图像处理单元20，并且图像处理单元20或包括图像处理单元20的信息处理设备70可以被认为是本公开的图像处理设备的示例。

信息处理设备70的CPU 71根据存储在诸如ROM 72或电可擦除可编程只读存储器(EEP-ROM)之类的非易失性存储器单元74中的程序或者通过记录控制单元79从记录介质加载到RAM 73中的程序，执行各种类型的处理。另外，RAM 73还适当地存储CPU 71执行各种类型的处理所需的数据等。

图像处理单元20对图像数据执行例如白平衡处理、去马赛克、颜色/灰度处理、YC转换处理、分辨率转换处理、各种检测处理等。特别地，通过上述处理执行YC-raw数据的显影处理，以生成显影图像，例如JPEG图像数据。在信息处理设备70中的图像处理单元20的情况下，要显影的YC-raw数据是例如由成像设备1捕获并且经由通信或记录介质在例如记录控制单元79中的记录介质中捕获的图像数据。在这种情况下，由成像设备1生成的元数据也与YC-raw数据相关联。

注意，作为图像处理单元20对YC-raw数据执行显影处理的功能可以被设置为CPU71内的功能。

此外，图像处理单元20可以由与CPU 71分离的CPU、图形处理单元(GPU)、通用计算图形处理单元(GPGPU)、人工智能(AI)处理器等实现。

CPU 71、ROM 72、RAM 73、非易失性存储器单元74和图像处理单元20经由总线83彼此连接。输入/输出接口75也连接到总线83。

包括操作元件和操作设备的输入单元76连接到输入/输出接口75。例如，作为输入单元76，假设诸如键盘、鼠标、键、拨盘、触摸面板、触摸板、遥控器等的各种类型的操作元件和操作设备。

用户操作由输入单元76检测，并且与输入操作对应的信号由CPU71解释。

麦克风也被假定为输入单元76。由用户发出的语音也可以作为操作信息被输入。

另外，包括LCD或有机EL面板等的显示单元77和包括扬声器等的音频输出单元78一体地或分开地连接到输入/输出接口75。

显示单元77包括例如设置在信息处理设备70的外壳中的显示设备或连接到信息处理设备70的单独的显示设备等。

显示单元77基于来自CPU 71的指令在显示画面上执行用于各种类型的图像处理的图像和要处理的运动图像等的显示。另外，显示单元77基于来自CPU 71的指令，显示各种类型的操作菜单、图标、消息等，即作为图形用户界面(GUI)显示。

记录控制单元79和通信单元80可以连接到输入/输出接口75。

记录控制单元79可以将要处理的数据和各种程序记录在诸如硬盘驱动器(HDD)中的盘或固态存储器之类的记录介质中。

在信息处理设备70用作本公开的图像处理设备的情况下，假设记录控制单元79将要处理的YC-raw数据和元数据记录到记录介质上，并且将通过显影处理生成的图像数据(诸如JPEG图像数据)记录到记录介质上。

此外，记录控制单元79可以将用于显影处理的程序记录到记录介质上或者从记录介质读取用于显影处理的程序。

通信单元80执行经由诸如因特网之类的传输路径的通信处理、与各种类型的设备的有线/无线通信、总线通信等。

与成像设备1的通信，特别是图像数据等的接收，由通信单元80执行。

驱动器81也根据需要连接到输入/输出接口75，并且适当地安装诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除记录介质82。

驱动器81可以从可移除记录介质82读取诸如图像文件之类的数据文件和各种类型的计算机程序等。读取的数据文件被存储在记录控制单元79中，并且包含在数据文件中的图像和音频由显示单元77和音频输出单元78输出。此外，根据需要，从可移除记录介质82读取的计算机程序等被记录到记录控制单元79中的记录介质上。

在信息处理设备70中，例如，可以经由通过通信单元80的网络通信或可移除记录介质82安装用于本实施例的处理的软件。可替代地，软件可以被预先存储在ROM 72或记录控制单元79中的记录介质等中。

<3.YC-raw数据成像处理>

将描述上述成像设备1对YC-raw数据的成像处理。即，这是执行成像、生成YC-raw数据作为显影前的原始数据、并将该数据记录到记录介质上或将该数据发送到外部设备的处理。

图3示出了执行原始数据成像处理的情况下的图像处理单元20中的处理的流程。注意，图中示出了相机控制单元18和总线101，并且这表示图像处理单元20中的各处理是根据通过相机控制单元18的控制信号和参数设定执行的。此外，在图像处理单元20内执行的各处理由步骤号(S100至S104)表示，并且这被示为与YC-raw数据的生成相关的处理过程，并且是在图像处理单元20中执行的处理的一部分。

如上所述，来自图像传感器12a的图像数据ISDT被供给到图像处理单元20。图像数据ISDT是图像传感器输出格式的图像数据，并且是例如具有保持在图像传感器12a的像素阵列中的R、G和B值的RGB格式的原始图像数据(RGB-raw数据)。

作为记录YC-raw数据的情况下的成像处理，图像处理单元20按照步骤S100中的预WB处理、步骤S101中的去马赛克和步骤S102中的大小调整处理的顺序，对由成像单元12数字化的图像数据ISDT执行信号处理。

然后，在步骤S103中，执行用于转换为亮度和色度信号(YCbCr信号)的YC转换处理以获得YC-raw数据，并且通过步骤S104中的接口处理输出YC-raw数据。

例如，输出的YC-raw数据可以由记录控制单元14记录到记录介质上，或者可以由通信单元16发送和输出。

将描述各处理。

在步骤S100中的预WB处理中，通过对由成像单元12生成的图像数据ISDT的简单检测来估计WB值(WB增益)，并且例如，通过将WB增益应用于RGB格式的信号来调整RGB信号电平。

用于内部处理的WB值被用于这里的WB，并且期望是使无彩色被摄体尽可能无彩色的值。然而，在实际中，在原始数据记录的情况下的高速处理中，为了减少用于获得预WB的计算时间，执行使用实时视图的先前帧值的WB处理或者通过简单检测或低精度高速计算等的WB处理。

当使用先前帧的WB值时，可能出现与当前帧的适当值的差分。另外，根据简单检测或者根据低精度高速计算等，难以获得针对当前帧的适当WB值，并且出现与完全无彩色的WB值的差分。

在步骤S101中的去马赛克中，使用在预WB处理中处理的图像数据来执行去马赛克，并且通过估计图像的各像素的缺失颜色值来创建彩色图像。

缺失颜色值是使用来自周围像素的颜色信息估计的。存在多种常见的去马赛克方法，诸如基于插值的方法、基于特征的方法和贝叶斯方法，但是通常，插值后的信号的颜色倾向于更浅以抑制假色的出现。因此，在受由于预WB引起的差分影响的RGB信号被去马赛克之后，颜色偏移进一步恶化。

注意，在这里描述的去马赛克中，存在从一个像素指示一个颜色分量的图像信号生成一个像素指示各颜色分量的图像信号(诸如三原色的图像信号)的许多示例，但是去马赛克不限于三原色，并且可以生成四色图像等。

此外，图像传感器12a的像素排列通常是拜耳(Bayer)图案，但是本公开的技术可以被应用于其他图像排列。即，对于图像传感器12a假设各种规范。

例如，作为图像传感器12a的像素阵列的示例，图4示出了使用原色过滤器的情况、使用补色过滤器的情况以及使用W-RGB过滤器的情况。

图示的原色过滤器的示例是以2:1:1的比例包括G、B和R的拜耳阵列的情况的示例，并且是基于“R”、“G”、“G”和“B”的各像素的块的阵列。第一像素是R像素。

在补色过滤器的示例中，阵列基于“Cy(青色)”、“Ye(黄色)”、“G”和“Mg(品红色)”的四个补色像素的块。第一像素是Cy像素。

在W-RGB过滤器的示例中，阵列基于“B”、“W(白色)”、“R”和“G”的四个像素的块。第一像素是B像素。

当然，这些是图像传感器12a的像素阵列的示例，并且可以假设各种其他像素阵列。

在图像传感器12a具有例如使用原色过滤器的像素阵列的情况下，通过去马赛克获得如图5中所示的被称为RGB平面的图像数据。

在图3中的步骤S102的大小调整处理中，通过转换图像大小来减少数据量，以实现原始数据的高速存储和存储器节省。这里，希望通过插值处理而不是简单的下采样来避免由于大小调整而导致的图像质量下降。

注意，可以不执行大小调整处理。

步骤S103中的YC转换处理是将去马赛克之后的图像数据转换为亮度数据和色度数据的处理。这生成了作为YC-raw数据的原始图像数据。

YC-raw数据被记录在成像设备1内，或者被发送并记录到诸如信息处理设备70之类的外部设备中。

上面已经描述了YC-raw数据的成像和记录处理，并且在处理期间，由相机控制单元18指示处理，并且关联元数据。图6示出了用于此目的的相机控制单元18的处理示例。

在图6的处理示例中，在步骤S1中，相机控制单元18指示图像处理单元20生成YC-raw数据。即，进行从由成像单元12捕获的图像数据ISDT生成并记录YC-raw数据的指示。作为结果，图像处理单元20执行上述的图3的各处理。

在步骤S2中，相机控制单元18向相机控制单元18指示预WB处理的参数，即WB值。例如，相机控制单元18基于通过图像处理单元20的简单检测处理来计算WB值，并且向图像处理单元20指示计算结果的WB值。可替代地，相机控制单元18向图像处理单元20指示先前帧的WB值。作为上述的步骤S100，图像处理单元20使用指示的WB值执行预WB处理。

注意，可以在图像处理单元20内计算WB值。在这种情况下，在步骤S2中，相机控制单元18从相机控制单元18获取在预WB处理中使用的WB值。

在步骤S3中，相机控制单元18生成形成传感器阵列信息和用于预WB处理的WB值(预WB信息)的集合的元数据。在这种情况下形成集合意味着添加指示传感器阵列信息和预WB信息中的每一个是要用于后续的YC-raw数据的显影处理的数据的信息。

传感器阵列信息是用于通过将在后面描述的重排马赛克将通过去马赛克而进入图5中的RGB平面的状态的图像数据恢复到原来的传感器阵列的状态的信息。因此，可以设想，传感器阵列信息包括如图4中所示用于确定像素阵列的过滤器类型和第一像素的信息。例如，在图4中的拜耳阵列的原色过滤器被用于图像传感器12a的情况下，相机控制单元18包括过滤器类型是三原色RGB的“RGGB”类型并且第一像素是“R”的信息作为传感器阵列信息。然而，传感器阵列信息可以是任何信息，只要可以识别图像传感器输出的像素值和通过去马赛克的插值像素值即可。

此外，预WB信息被用于稍后将描述的逆预WB处理。即，在逆预WB处理中，预WB处理中的WB值被包括在元数据中，以能够通过使用与在预WB期间使用的WB值相反的值来恢复未施加预WB处理的状态。

在图6的步骤S4中，相机控制单元18将生成的元数据(即传感器阵列信息和WB值的集合)与由图像处理单元20生成的YC-raw数据相关联。例如，在通过作为静止图像的单次拍摄或连续拍摄成像来获得使用YC-raw数据的静止图像的情况下，预WB处理的WB值和传感器阵列信息与作为静止图像的YC-raw数据相关联并且被记录到记录介质上。可替代地，元数据与作为静止图像的YC-raw数据一起被发送到外部设备。

在YC-raw数据的各帧被记录为运动图像的情况下，对于每一帧关联并记录预WB处理的WB值和传感器阵列信息。注意，传感器阵列信息对于每一帧不改变，并因此可以与YC-raw数据的整个运动图像文件相关联。

注意，传感器阵列信息被用于稍后将描述的重排马赛克，但可能不需要作为元数据与YC-raw数据相关联。

例如，还假设在稍后的时间点由成像设备1内的图像处理单元20执行重排马赛克。在这种情况下，传感器阵列信息只需要被预先存储在成像设备1内的存储器单元19等中。此外，即使在由信息处理设备70中的图像处理单元20执行重排马赛克的情况下，当在信息处理设备70中存在成像设备1的型号的信息和传感器阵列信息之间的对应数据时，也可以获得要在重排马赛克期间参照的传感器阵列信息。

图7示出了通过相机控制单元18的元数据生成的另一处理示例。

步骤S1和S2与图6中的那些步骤类似。在步骤S10中，相机控制单元18获取光源信息。例如，从传感器单元23中的照度传感器的信息获取成像环境中的光源类型的估计信息、色温本身或其他信息作为光源信息。

在步骤S11中，除了参照图6描述的预WB处理的WB值和传感器阵列信息之外，相机控制单元18还将光源信息包括到集合中，并且添加指示光源信息是要用于后续YC-raw数据的显影处理的数据的信息，由此生成元数据。

然后，在步骤S4中，以与图6的示例类似的方式，执行与YC-raw数据相关联地记录或发送传感器阵列信息、WB值和光源信息的集合的控制。

在成像设备1中，在如在上述图6或图7的处理中那样通过成像生成YC-raw数据的情况下，用于后续的逆预WB处理、重排马赛克或YC-raw数据的显影处理的信息可以作为元数据与YC-raw数据相关联。

<4.YC-raw数据显影的比较例>

下面将描述YC-raw数据的显影处理。首先，将参照图8描述作为后述实施例中不包括颜色偏移校正的比较例的显影处理示例。

注意，可以假设下面要描述的YC-raw数据的显影处理(比较例和实施例的示例)由成像设备1中的图像处理单元20执行，并且也可以假设由信息处理设备70中的图像处理单元20执行。

因此，名称“控制单元100”被用于与图8以及后述的图10、图12和图14以及其他图相关的描述。“控制单元100”是指示图1中的相机控制单元18和图2中的CPU 71中的每一个的术语。即，用于控制成像设备1或信息处理设备70中的图像处理单元20的组件被称为“控制单元100”。

通过图8中的作为比较例的图像处理单元20的显影处理被如下执行。

例如，记录到记录介质上的YC-raw数据被读取并输入到图像处理单元20。

图像处理单元20取得在步骤S200中的接口处理中被设定为显影处理目标的YC-raw数据。

该YC-raw数据是通过在参照图3描述的YC-raw数据成像处理期间执行高速计算预WB处理而生成的，因此有必要消除预WB中的误差。因此，图像处理单元20在步骤S201中执行用于将YC-raw数据转换成原来的图像传感器输出格式(即，在本示例中是RGB格式)的RGB转换处理，并且在步骤S202中进一步执行逆预WB处理。此后，执行正常的显影信号处理，即步骤S203中的主WB处理、步骤S204中的矩阵转换、步骤S205中的伽马处理以及步骤S206中的颜色再现处理。然后，在步骤S207中的接口处理中，输出作为通过上述显影处理获得的图像数据的显影图像dPD。显影图像dPD是例如JPEG图像数据。显影图像dPD被记录到记录介质上、被显示或者被发送到外部设备。

在步骤S201中的RGB转换处理中，使用与在YC-raw数据成像处理期间使用的格式转换相反的计算公式，执行从YCbCr格式到RGB格式的转换。

然后，步骤S202中的逆预WB处理单元使用在YC-raw数据成像处理期间的预WB处理中使用的WB值的倒数，来将RGB信号电平恢复到预WB处理之前的电平，由此抵消由于预WB而引起的差分。

然而，YC-raw数据成像处理期间的来自图像传感器12a的信号是去马赛克之前的间歇数据的信号，而另一方面，与逆预WB处理相关的图像数据是通过去马赛克插值之后的RGB格式的全平面图像数据。

因此，对于从YC-raw数据转换的RGB平面图像数据，即使当可以通过逆预WB处理来抵消由于预WB处理而引起的差分时，由于去马赛克而引起的褪色的影响也不能被消除。

在步骤S203中的主WB处理中，再次检测整个帧，计算用于显影的WB，然后执行高精度的WB处理。另外，WB值可以由用户根据他或她的偏好、显影的目的、用途等来指定。在这种情况下，优先考虑由用户设定的WB值。在用户没有指定WB值的情况下，使用通过上述用于显影的高精度检测获得的WB值。

注意，此时，可以执行自动曝光(AE)处理，即亮度调整。

这里，在使用由用户指定的WB值的情况下，可以根据意图将WB值设定为与理想WB显著不同的WB值，并因此可以设想由上述去马赛克引起的颜色偏移进一步恶化的情况。

例如，图9B和图9C示出了图9A中所示的图像中虚线H的部分中的各像素的B值和R值的电平，从而指示颜色偏移的状态。图9B示出了原来的图像的信号电平，而图9C示出了已发生了颜色偏移的图像的信号电平。注意，在本示例中，由于电平低并且差分小，因此省略G值。

在图9B和图9C中，由单点线包围的部分表示由于由预WB处理和去马赛克引起的差分的影响而导致的R值和B值的降低，从而导致从红色到橙色的颜色偏移。

在图8的处理中，在主WB处理之后，在从步骤S204到步骤S206的处理中执行矩阵转换、伽马处理和颜色再现处理。在颜色再现处理中，还使用三维查找表(3DLUT)或颜色决策列表(CDL)执行颜色分级。此外，还包括颜色空间转换。此外，可以执行到亮度和色度信号(YCbCr信号)的转换和分辨率转换。

在上述的图8的显影处理中，逆预WB处理不能完全消除由YC-raw数据的生成期间的预WB处理和去马赛克而引起的颜色偏移的影响。因此，执行下面描述的实施例的显影处理。

<5.第一实施例：YC-raw数据显影>

实施例的YC-raw数据的显影处理是包括预WB处理和用于校正由去马赛克引起的颜色偏移的颜色偏移校正处理的显影处理。

注意，包括颜色偏移校正处理的显影处理指的是至少添加将在下面描述的重排马赛克的显影处理。

图10以与图8的格式类似的格式示出了图像处理单元20的显影处理示例。

图像处理单元20在步骤S200中的接口处理中取得被设定为显影处理目标的YC-raw数据。例如，记录到记录介质上的YC-raw数据被读取并输入到图像处理单元20。

注意，此时，图像处理单元20还获取与YC-raw数据相关联的元数据MT。元数据MT包括作为预WB处理期间的WB值的预WB信息MD1和传感器阵列信息MD2(参见图6)。此外，可以包括光源信息MD3(参见图7)。

在步骤S201中，图像处理单元20执行RGB转换处理，以将YC-raw数据转换为图像传感器输出格式的图像数据，即，在本示例中是RGB格式的图像数据。

在步骤S220中，图像处理单元20执行逆预WB处理。此时，图像处理单元20参照预WB信息MD1执行逆预WB处理。即，在逆预WB处理中，使用在YC-raw数据成像处理期间使用的预WB的WB值的倒数，来使RGB信号电平恢复到预WB处理之前的电平，由此抵消由于预WB而引起的差分。然而，如上所述，由于YC-raw数据成像处理期间的去马赛克而导致的褪色的影响不能被消除。

因此，在步骤S221中，图像处理单元20执行重排马赛克。这是参照传感器阵列信息MD2使去马赛克之后的图像数据恢复到从图像传感器12a获得的原始数据的状态的处理。

步骤S221中的重排马赛克之前的图像数据是图5中所示的RGB平面数据。可以获取第一像素和像素阵列图案作为传感器阵列信息MD2，使得可以指定如图11A、图11B和图11C中所示的各颜色的像素排列。因此，可以从RGB平面像素数据恢复如图11D中所示的根据原来的图像传感器输出格式的像素阵列的RGB-raw数据。这是重排马赛克。即，这是参照传感器阵列信息MD2、舍弃插值的像素、并且只留下作为图像传感器12a的像素信号获得的像素值的处理。

执行重排马赛克可以消除插值像素的信息并且消除由去马赛克引起的颜色偏移。

图像处理单元20在步骤S222中对经受重排马赛克的图像数据执行主WB处理。

为了进行主WB处理，图像处理单元20在步骤S224中执行用于主WB的检测处理。例如，使用重排马赛克之后的RGB格式的图像数据来执行整个表面检测。基于检测结果，例如，在控制单元100中(或在图像处理单元20中)设定用于主WB处理的WB值。此外，在用户执行指定WB参数作为主WB的WB值的操作的情况下，优先设定基于用户指定的WB值。

这里，在元数据MT中包括光源信息MD3的情况下，可以通过在步骤S224中的检测处理期间参照光源信息MD3来设定精度更高的WB值。

以这种方式，使用基于整个表面检测的高精度的WB值或基于用户设定的WB值，来执行步骤S222中的主WB处理。注意，此时，可以执行AE处理。

在步骤S223中，图像处理单元20再次执行去马赛克。在这种情况下的去马赛克中，以适当的方式(即以高精度或根据用户设定)执行WB处理，从而防止非预期的WB的偏移进一步放大。

在随后的步骤S204至S207中，以与图8的示例类似的方式执行矩阵转换处理、伽玛处理、颜色再现处理和接口处理，并且输出显影图像dPD。

如上所述，在第一实施例的显影处理中，参照元数据MT中的预WB信息MD1和传感器阵列信息MD2，从YC-raw数据转换的去马赛克之后的RGB图像数据通过逆预WB处理(S220)和重排马赛克(S221)恢复到紧接着从成像单元12输入之后的原始数据的状态。这消除了由YC-raw数据成像期间的去马赛克引起的颜色偏移的影响。因此，此后执行主WB处理(S222)，然后进行去马赛克(S223)和矩阵转换处理(S204)之后的各处理，由此可以获得不出现由YC-raw数据成像期间的去马赛克引起的颜色偏移的影响的显影图像dPD。

<6.第二实施例：YC-raw数据显影>

将参照图12描述根据第二实施例的YC-raw数据的显影处理。

近年来，后处理已变得更加活跃，因此，在越来越多的情况下由用户指定WB。从信号处理的视点来看，当还结合WB调整后续阶段中的矩阵转换和颜色再现时，认为对总图像质量更好。

此外，在预先掌握用户偏好的情况下，从可用性的视点来看，期望根据用户偏好推荐显影处理。

因此，可以设想执行多个系统中的显影处理。

在图12中，步骤S200、S201、S220和S221中的处理，即直到并包括重排马赛克的处理，与图10中的处理类似，因此避免重复描述。

图12示出了作为多个系统中的处理执行主WB处理之后的处理的示例。

例如，作为步骤S222、S223、S204、S205、S206和S207的显影处理是参照图10描述的处理。例如，在步骤S222中的主WB处理中，使用高精度的WB值或基于用户设定的WB值执行WB处理。然后，在完成各处理之后，最终输出显影图像dPD(在该情况下，是显影图像dPD1)。

显影图像dPD1被记录到记录介质上、被显示或被发送到外部设备。

另一方面，步骤S232至S238表示第二系统中的显影处理。

在步骤S232中，作为第二WB处理，图像处理单元20使用与步骤S222中的主WB处理的WB值不同的WB值来执行WB处理。例如，该WB值是由用户指定的另一WB值或由控制单元100自动设定的WB值。然后，图像处理单元20在步骤S233中执行去马赛克，并且执行矩阵转换(S234)、伽马处理(S235)和颜色再现处理(S236)。作为各处理的参数，使用由用户指定的参数或根据第二WB处理的WB值设定的参数。

作为结果，作为显影图像dPD中的一个，生成具有与显影图像dPD1的色调和图像气氛不同的色调和图像气氛的显影图像dPD2。

注意，步骤S236之后的显影图像dPD2可以被按照原样输出并记录到记录介质上或者被发送到外部设备，但是在本示例中，在步骤S237中执行差分处理。

作为差分处理，图像处理单元20执行显影图像dPD1和显影图像dPD2之间的差分计算，以生成差分信息DD2。在步骤S238中的接口处理中输出差分信息DD2。差分信息DD2与上述显影图像dPD1相关联地被记录到记录介质上或者被发送到外部设备。

在多个显影图像dPD作为集合被记录或发送的情况下，可以不需要各显影图像dPD的直接记录等，并且与用作基准的一个显影图像一起、对于其他显影图像使用与该一个显影图像相比的差分信息就足够了。

例如，与显影图像dPD1相关联地记录或发送差分信息DD2而不是显影图像dPD2。这使得能够再现显影图像dPD2并且减少作为多个显影图像的集合的数据容量，这对于记录和通信是有利的。

步骤S242至S248表示第三系统中的显影处理。

在步骤S242中，作为第三WB处理，图像处理单元20使用与主WB处理和第二WB处理的WB值不同的WB值来执行WB处理。例如，该WB值是由用户指定的又一WB值或由控制单元100自动设定的WB值。然后，图像处理单元20在步骤S243中执行去马赛克，并且执行矩阵转换(S244)、伽马处理(S245)和颜色再现处理(S246)。作为各处理的参数，使用由用户指定的参数或根据第三WB处理的WB值设定的参数。

作为结果，作为显影图像dPD中的一个，进一步生成具有与显影图像dPD1、dPD2的色调和图像气氛更加不同的色调和图像气氛的显影图像dPD3。

注意，在这种情况下，显影图像dPD3也可以被按照原样输出并且被记录到记录介质上或者被发送到外部设备，但是通过在步骤S247中执行差分处理，可以以与上面类似的方式减小作为显影图像集合的容量。

作为差分处理，图像处理单元20执行显影图像dPD1和显影图像dPD3之间的差分计算，以生成差分信息DD3。在步骤S248中的接口处理中输出差分信息DD3。差分信息DD3被记录到记录介质上或者被发送到外部设备。

注意，差分信息DD3可以是与显影图像dPD2的差分，而不是与显影图像dPD1的差分。

另外，在生成了多种类型的显影图像dPD1、dPD2、dPD3的情况下，正常显影的显影图像dPD1不一定被用作基准。可以以各种方式考虑使用哪个显影图像作为基准以及使用哪个显影图像作为差分信息。

在上述的图12中，已经描述了执行三个系统中的显影处理的示例，但是可以执行四个或更多个系统中的处理，或者可以执行两个系统中的处理。可以通过执行作为两个或更多个系统的多个系统中的显影处理来获得多种类型的显影图像dPD。

例如，除了通过正常显影处理获得的显影图像dPD1以外，图13还示出了通过其他系统中的显影处理获得的各种显影图像dPD2、dPD3、dPD4、dPD5的示例。通过准备并选择性地使用WB值、矩阵转换、伽马处理和颜色再现处理的参数集合，可以获得具有各种图像质量的显影图像。

可以生成所有多种类型的显影图像，然后进行记录或发送(以下也称为“记录等”)，或者可以生成用户希望的显影图像，然后进行记录等。在用户可以选择要经受记录等的显影图像的情况下，也可以设想向用户推荐要经受记录等的显影图像。

例如，可以设想根据显影期间的条件/意图(例如，硬色调/软色调)、多种类型的WB(自动WB、多云天气、晴朗天气)、用户偏好(个人、区域等的时尚风格、红色强调、高饱和度)等来设定参数，并且将参数呈现给用户。

在这种情况下，为了使用户容易理解，将图像类型的标题添加到用于获得如图13中所示的各个显影图像的各种参数集合是优选的。

例如，用于获得诸如显影图像dPD1、dPD2、dPD3、dPD4、dPD5之类的各图像的参数集合带有诸如“正常显影”、“多云天气”、“晴朗天气”、“单色”、“硬色调”和“软色调”之类的标题地被呈现给用户。

还可以显示与各标题对应的图像质量的模型，使得用户可以选择期望的图像质量的参数集合。

例如，在用户在显影处理中选择“正常显影”和“多云天气”的情况下，图像处理单元20执行两个系统中的显影处理以获得显影图像dPD1、dPD2。

可替代地，控制单元100可以根据用户偏好、过去的显影处理的历史等自动选择“正常显影”、“晴朗天气”和“单色”的参数集合，在显影处理期间推荐该参数集合，并且使图像处理单元20执行根据针对推荐的用户操作选择的类型的显影处理。可替代地，控制单元100还可以控制图像处理单元20根据用户偏好等自动执行多个选择的系统中的显影处理。

例如，当在成像设备1中执行YC-raw数据成像处理时，可以将图像处理参数的多个集合与YC-raw数据相关联地存储在元数据MT中。还可以在显影处理期间参照元数据MT获取一个或多个参数集合，并且在显影处理中反映获取的参数集合。

<7.第三实施例：YC-raw的覆写记录>

作为第三实施例，将描述经受图像处理单元20的颜色偏移校正的YC-raw数据被覆写并记录到原来的YC-raw数据上的处理示例。

图14以与图10中的格式类似的格式示出了图像处理单元20的处理。步骤S200、S201、S220、S221、S222、S223、S224、S204、S205、S206和S207中的针对YC-raw数据的显影处理与图10中的处理类似。

这里，经受了步骤S221中的重排马赛克的图像数据是由YC-raw数据成像处理中的预WB处理和去马赛克引起的颜色偏移已经被校正的、原来的图像传感器输出格式的原始格式数据。

在步骤S208中，图像处理单元20对这种经受了颜色偏移校正的图像传感器输出格式的数据执行YC转换处理，并且将数据转换为YCbCr格式的数据，即YC-raw数据。这被称为“YC-raw′数据”，以与要显影的YC-raw数据区别。

生成的YC-raw′数据在步骤S209中的接口处理中被输出。例如，控制单元100将YC-raw′数据记录在记录介质上。

在成像设备1的情况下，YC-raw′数据被记录到记录控制单元14中的记录介质上。在信息处理设备70的情况下，YC-raw′数据被记录到记录控制单元79中的记录介质上。

此时，记录控制单元14(或74)使YC-raw′数据被覆写并记录到已从中读取要显影的YC-raw数据的记录介质上。

即，用已经消除了颜色偏移的影响的YC-raw′数据来覆写应保留颜色偏移的影响的要显影的原来的YC-raw数据。这使得存储在记录介质中的YC-raw数据(＝YC-raw′数据)不必在随后的显影处理中校正其颜色偏移。因此，当考虑将来对YC-raw数据的再利用时，这是有用的处理。

注意，代替将YC-raw′数据覆写到原来的YC-raw数据上，YC-raw′数据可以被记录到记录介质上，以作为与原来的YC-raw数据不同的颜色偏移校正后的数据与原来的YC-raw数据共存。

此外，尽管在图14的示例中记录YC-raw′数据，但经受了步骤S221中的重排马赛克的图像数据，即原来的图像传感器输出格式的原始格式数据，可以被记录到记录介质上，以覆写原来的YC-raw数据。可替代地，原来的图像传感器输出格式的原始格式数据可以被记录到记录介质上，以与原来的YC-raw数据共存。

此外，尽管图14示出了图像处理单元20也通过执行步骤S222、S223和S204至S207中的显影处理来输出显影图像dPD的示例，但图像处理单元20可以不生成或输出显影图像dPD，而是可以仅执行用于生成和记录YC-raw′数据或图像传感器输出格式的原始格式数据的输出。

<8.第四实施例：具有颜色偏移校正执行确定的处理>

到目前为止，已经描述了在YC-raw数据的显影处理期间执行逆预WB处理和重排马赛克作为颜色偏移校正处理、然后执行主WB处理和去马赛克。

然而，每次对YC-raw数据进行显影处理时添加颜色偏移校正处理增加了图像处理单元20的计算量，并且处理负担可能增加。另外，颜色偏移校正处理可能并不总是必需的。因此，作为第四实施例，将描述根据情况执行包括颜色偏移校正处理的显影处理的示例。此外，在描述中，还说明了控制单元100自动确定颜色偏移校正处理的必要性，以及用户可以经由用户界面(UI)指定是否执行颜色偏移校正处理。

注意，用户有两种可能的方式来指定是否执行包括颜色偏移校正处理的显影处理：例如，一种通过成像期间的UI，而另一种通过显影期间的UI。

在成像期间，例如，由用户通过菜单操作执行指定，并且使得指定信息被包括在与YC-raw数据相关联的元数据MT中，使得控制单元100可以在显影期间确认指定内容。

此外，在显影期间，控制单元100可以使得通过菜单操作选择指定信息。此外，可以设想设定这样的UI：利用该UI，当控制单元100确定单独的图像中的颜色偏移校正处理的必要性并且确定处理是必要的时，控制单元100通过该UI使得用户选择是否执行处理。

图15示出了显影处理期间的控制单元100的处理示例。图15示出了YC-raw数据的一帧的处理示例。

当YC-raw数据的一帧要经受图像处理单元20中的显影处理时，控制单元100在步骤S300中确定YC-raw数据是否已被设定了颜色偏移校正。例如，对于成像期间的设定，确认元数据MT。另外，可以确认通过显影期间的用户操作的设定。

例如，如图16中所示，用户可以通过使用菜单画面40的UI来设定是否执行颜色偏移校正处理。图16示出了显示在成像设备1中的显示单元15上的菜单画面的示例。自然地，可以在信息处理设备70中的显示单元77上显示可以以适合于画面的形式进行类似设定的菜单画面。

然后，例如，在菜单画面40上准备“高级颜色再现处理”的设定区域41，并且用户可以指定各种设定。

高级颜色再现处理是包括上述颜色偏移校正处理并且增加成像期间的颜色再现的精度的处理。当高级颜色再现处理被设定为“ON”时，进行执行参照图10等描述的包括颜色偏移校正处理的显影处理的设定。当高级颜色再现处理被设定为“OFF”时，进行参照图8描述的不执行颜色偏移校正处理的显影处理(不执行重排马赛克的显影处理)的设定。

另外，关于是否执行高级颜色再现处理的确定处理，可以选择和设定“高速类型”、“高精度类型”和“平衡类型”中的任何一个。例如，图16示意性地示出了已设定了“高速类型”的状态。

高速类型是使用使得能够相对高速执行的算法来执行确定处理的模式，并且高精度类型是使用相对高精度的算法来执行确定处理的模式。将在后面描述各个类型的具体示例。平衡类型是根据图像特性等自动使用高速和高精度的模式。

在图15的步骤S300中，控制单元100确认通过用户在成像或显影期间操作此类菜单画面40设定的内容。

在针对当前帧从元数据MT检测到高级颜色再现处理为“ON”的情况下或者在检测到用户在当前显影处理期间已将高级颜色再现处理设定为“ON”的情况下，控制单元100从步骤S300进行到步骤S310，并且指示图像处理单元20执行包括颜色偏移校正处理的显影处理。作为结果，通过上面参照图10、图12、图14等描述的处理，获得经受了颜色偏移校正的显影图像dPD。

例如，通过将高级颜色再现处理设定为“ON”，用户可以避免由于预WB处理和去马赛克而导致的颜色偏移的影响始终被留下，并且可以期望显影图像dPD的高图像质量效果。然而，由于处理步骤的数量相应地增加，因此处理时间可能增加。

在希望减少显影处理的处理时间的情况下，高级颜色再现处理被设定为“OFF”。在这种情况下，通过确定处理确定颜色偏移校正处理的必要性，并且根据需要执行包括颜色偏移校正处理的显影处理。

在高级颜色再现处理在基于成像或显影期间的用户操作的设定中为“OFF”的情况下，控制单元100从步骤S300进行到步骤S301，并且开始确定颜色偏移校正处理的必要性的确定处理。

在步骤S301中，控制单元100选择确定算法。例如，选择高速类型或高精度类型。在这种情况下，可以设想根据使用图16中的菜单画面40的用户设定来执行选择。

在已经设定高速类型的情况下，选择高速算法。在已经设定高精度类型的情况下，选择高精度算法。在已经设定平衡类型的情况下，根据情况选择高速类型或高精度算法中的任一。例如，在作为静止图像的YC-raw数据的一帧被设定为显影处理目标的情况下，可以使用高精度类型，并且在作为运动图像的YC-raw数据的多个帧被设定为显影处理目标的情况下，可以使用高速类型。

在步骤S302中，控制单元100取决于选择的算法是高速类型还是高精度类型而对处理进行分支。在选择高速类型的情况下，控制单元100进行到步骤S303。

将描述高速算法的示例。

首先，基于在显影处理期间输入的原始数据计算主WB处理的WB值。注意，此时，当元数据MT包括光源信息MD3时，可以使用光源信息MD3计算主WB处理的WB值。此外，在显影目标是来自连续拍摄或运动图像的多个帧的YC-raw数据的情况下，通过将过去几帧的WB平均值应用于当前帧，可以期望节省WB检测值计算时间并且进一步提高WB稳定性。

一旦获得主WB处理的WB值，就获得预WB和主WB之间的WB的差分ΔWB。确定该差分是否大于阈值TH1。

具体地，差分是通过以下方式获得的：

ΔWB＝(预WB处理的WB值)-(主WB处理的WB值)。然后，在ΔWB>TH1的情况下，确定颜色偏移的可能性高。另一方面，在ΔWB≤TH1的情况下，确定颜色偏移的可能性低。

注意，可以设想基本上使用作为来自预WB的R增益和B增益的电平的百分之几或更小的值作为指导来设定阈值TH1，但是希望根据实际图像特性调整阈值TH1。

以上处理是使用步骤S303和S304中的高速算法执行的确定处理。

当在步骤S304中确定不满足ΔWB>TH1时，控制单元100确定不需要颜色偏移校正，进行到步骤S309，并且指示图像处理单元20执行如图8中所示的不包括颜色偏移校正处理的显影处理。

当在步骤S304中确定满足ΔWB＞TH1时，控制单元100进行到步骤S307并且执行警告显示控制。例如，在成像设备1的情况下，在显示单元15上执行如图17中所示的警告显示45。例如，UI被配置为向用户通知如果按照原样执行显影处理则生成具有颜色偏移的图像的可能性高，并且使用户选择是否应用校正处理。

在信息处理设备70的情况下，在显示单元77上执行具有类似内容的警告显示。

响应于此，控制单元100等待用户操作，并且在用户指示应用颜色偏移校正处理的情况下，控制单元100从步骤S308进行到步骤S310，并且指示图像处理单元20执行包括颜色偏移校正处理的显影处理。在用户指示不应用颜色偏移校正处理的情况下，控制单元100从步骤S308进行到步骤S309，并且指示图像处理单元20执行不包括颜色偏移校正处理的显影处理。

在通过步骤S301中的确定算法的选择而选择高精度算法的情况下，控制单元100从步骤S302进行到步骤S305，并且使用高精度算法执行确定处理。

在高精度算法中，例如，观测逆预WB之后的信号电平，并且在信号电平由于差分ΔWB(预WB和主WB之间的WB值的差分)而显著改变的情况下，确定已经出现对应像素的颜色偏移。具体地，定义以下的颜色偏移参数CSL(颜色偏移电平的缩写)，并且基于颜色偏移参数CSL的值进行确定。

ΔCSL＝ΔWB×MAX(RGB_i)

“RGB_i”是某个块中的逆预WB后的RGB信号值，并且MAX(RGB_i)是RGB信号值中的最大值。

然后，使用阈值TH2，在ΔCSL>TH2的情况下确定颜色偏移可能性高，并且在ΔCSL≤TH2的情况下确定颜色偏移可能性低。

注意，基本上使用作为当前块中的信号电平的百分之几的值作为指导来设定阈值TH2，但是希望根据实际图像特性调整阈值TH2。

以上处理是步骤S305和S306中的高精度算法中的确定处理。

当在步骤S306中确定不满足ΔCSL>TH2时，控制单元100确定不需要颜色偏移校正，进行到步骤S309，并且指示图像处理单元20执行如图8中所示的不包括颜色偏移校正处理的显影处理。

当在步骤S306中确定满足ΔCSL＞TH2时，控制单元100进行到步骤S307并且执行警告显示控制。

例如，在成像设备1的情况下，在显示单元15上执行如图18中所示的警告显示45。例如，UI被配置为向用户通知如果按照原样执行显影处理则生成具有颜色偏移的图像的可能性高，并且使用户选择是否应用校正处理。此外，在应用高精度算法的情况下，由于对帧内的每个块执行颜色偏移确定，因此可以执行颜色偏移区域显示46。例如，与已经发生颜色偏移的块对应的部分作为斑马线显示等被呈现给用户。当然，斑马线显示是示例，并且只需要将发生颜色偏移的区域清楚地指示为高亮显示、变色显示、框显示等。

此外，在该阶段，控制单元100可以使得图像处理单元20执行添加颜色偏移校正处理的处理，并且如图19中所示，使用颜色偏移校正的显影图像47和正常显影图像48，控制在同一画面上并排地向用户呈现颜色偏移解决之前和之后的图像。

例如，图18和图19的画面能够通过用户操作进行切换，或者控制单元100可以自动切换显示。

这便于用户选择显影处理方法。

在执行警告显示45之后，控制单元100等待用户操作，并且在用户指示应用颜色偏移校正处理的情况下，控制单元100从步骤S308进行到步骤S310，并且指示图像处理单元20执行包括颜色偏移校正处理的显影处理。在用户指示不应用颜色偏移校正处理的情况下，控制单元100从步骤S308进行到步骤S309，并且指示图像处理单元20执行不包括颜色偏移校正处理的显影处理。

如上所述，在在图15中执行用于确定颜色偏移校正处理的必要性的确定处理的情况下，选择确定处理的算法，并且根据需要执行警告显示45等。换句话说，即使当高级颜色再现处理没有被设定为ON并且颜色偏移校正处理并不总是被应用于菜单画面40上时，用户也可以在颜色偏移校正处理被确定为有必要的情况下任选地执行应用了颜色偏移校正处理的显影处理。

注意，已经描述了执行警告显示45的示例，但是也可以设想其他示例。例如，在在确定处理中确定需要颜色偏移校正的情况下，颜色偏移的详细信息(诸如针对已发生了不自然的颜色偏移的区域的坐标信息和ΔCSL值)可以被记录为与显影图像dPD相关联的元数据，并且可以选择是否之后执行颜色偏移校正处理。

这里，将描述步骤S301中的确定算法的选择。在上文中，除了用户通过菜单操作进行的指定(高速重视、高精度重视或平衡类型)之外，还可以考虑高速或高精度算法的指定。

例如，假设控制单元100根据相机设定自动选择确定算法的机制。注意，以下自动选择方法也可以被应用于已在菜单画面40上指定平衡类型的情况下的选择。

确定算法选择的可设想的示例包括以下：

·基于快速连续拍摄速度的选择

·基于是否已执行面部检测的选择

·基于成像设备1中的省电模式的选择

以及其他选择。

例如，快速连续拍摄速度越快，预WB处理的精度就越低。这是由于计算WB值的时间更短使得更难以保持精度。因此，快速连续拍摄速度越快，颜色偏移就倾向于越大。

因此，可以设想这样的示例：其中使用某个阈值速度划分快速连续拍摄速度，在速度比阈值速度快的情况下应用高速算法，并且在速度等于或低于阈值速度的情况下应用高精度算法。这是由于在以难以保持精度的快速连续拍摄速度捕获的图像中，容易检测到明显的差异作为差分ΔWB，因此，即使使用高速算法也可以期望准确的确定。

出于类似的原因，还可以设想在通过连续拍摄成像或捕获运动图像获得的YC-raw数据的显影期间应用高速算法，并且在通过单次拍摄成像获得的YC-raw数据的显影期间应用高精度算法。

出于以下原因，执行基于是否已执行面部检测的选择。

比较在图像中检测到面部的情况和在图像中不包括面部的情况，当面部存在时，更容易识别颜色偏移的影响。因此，可以设想，将高精度算法应用于检测到面部的帧，而将高速算法应用于没有检测到面部的帧。

出于以下原因，执行基于成像设备1中的省电模式的选择。

在剩余电池电量低的情况下或者在在成像设备1中已经开启省电模式的情况下，计算量小是优选的。因此，可以设想在剩余电池电量低的情况下或者在省电模式已经开启的情况下应用计算量小的高速算法，并且在没有出现这些状况的情况下应用高精度算法。

同时，在执行包括在第一实施例等中描述的颜色偏移校正处理的显影处理的情况下，可以期望高图像质量效果，但是显影处理时间可能增加。特别是，在处理在图15的处理中总是从步骤S300进行到步骤S310的情况下，处理时间倾向于较长。

因此，还可以设想减少处理时间。例如，如图20中所示，可以通过将图像划分为块并执行流水线处理来减少处理时间。

此外，以下方法也是可能的：在显影期间，通过执行图8中所示的不包括颜色偏移校正处理的处理生成显影图像dPD。当显示生成的显影图像dPD时，通过执行如图10中所示的包括颜色偏移校正处理的处理作为后台处理来生成显影图像dPD。显影图像dPD然后被依次替换。在这种情况下，可以使处理延迟对用户来说不明显。

作为执行确定处理的情况下的控制单元100的处理示例，还可以设想如图21中所示的处理示例。

图21中的步骤S300、S309和S310与图15中的那些步骤类似。

例如，在高级颜色再现处理已通过菜单设定被设定为“ON”的情况下，在步骤S310中执行参照图10等描述的包括颜色偏移校正处理的显影处理。在高级颜色再现处理为“OFF”的情况下，在步骤S320中执行颜色偏移确定处理。在这种情况下，使用固定的确定算法执行确定处理。例如，在步骤S320中，总是使用高速算法执行确定处理。可以总是使用高精度算法执行确定处理。

然后，在确定颜色偏移的可能性高的情况下，控制单元100从步骤S321进行到步骤S310，并且指示图像处理单元20执行包括颜色偏移校正处理的显影处理。在确定颜色偏移的可能性低的情况下，控制单元100从步骤S321进行到步骤S309，并且指示图像处理单元20执行不包括颜色偏移校正处理的显影处理。

如上所述，图21的示例是使用固定确定算法的示例。此外，这是在不根据确定处理等待用户选择的情况下选择显影处理方法的示例。

此外，作为确定处理，与上述确定算法类似，可以执行使用元数据MT的确定以及基于在图像处理单元20和控制单元100内部获得的信号的确定。

例如，当在成像设备1中执行YC-raw数据成像处理时，从与预WB处理相关的预WB信息MD1确定由预WB处理估计的光源。可替代地，光源确定信息被包括在预WB信息MD1中。另一方面，存在从传感器单元23中的照度传感器的检测值估计的光源信息MD3。

在这种情况下，可以根据基于预WB信息MD1的光源确定信息和光源信息MD3是否匹配，来确定颜色偏移的可能性。

图22的处理示例是使用此类确定处理的示例。

在步骤S330中，控制单元100确定基于预WB信息MD1的光源确定信息是否与光源信息MD3匹配。

然后，在不匹配的情况下，控制单元100确定由于存在颜色偏移的高可能性而需要颜色偏移校正，从步骤S331进行到步骤S310，并且指示图像处理单元20执行包括颜色偏移校正处理的显影处理。在步骤S330的结果为匹配的情况下，颜色偏移的可能性低，并且不需要颜色偏移校正处理，并且控制单元100从步骤S321进行到步骤S309，并且指示图像处理单元20执行不包括颜色偏移校正处理的显影处理。

这可以便于显影处理方法(即，是否添加颜色偏移校正处理)的切换。

<9.总结和变形例>

在以上的实施例中，可以获得以下效果。

根据各实施例的图像处理设备，即，图像处理单元20(或包括图像处理单元20的成像设备1或信息处理设备70)对YC-raw数据执行显影处理，该YC-raw数据是通过对诸如RGB格式的图像数据之类的图像传感器输出执行预WB处理、去马赛克和YC转换处理而获得的图像数据。在这种情况下，执行将YC-raw数据转换为图像传感器输出格式(例如，RGB格式)的转换处理，并且进一步执行相对于预WB处理的逆预WB处理和用于恢复去马赛克之前的状态的重排马赛克。

通过对YC-raw数据执行包括逆预WB处理和重排马赛克的颜色偏移校正处理，可以消除在YC-raw数据的生成期间由预WB处理和去马赛克引起的颜色偏移。然后，通过对该YC-raw数据执行显影处理，可以在显影期间避免颜色偏移的发生。这可以实现从YC-raw数据显影的显影图像dPD的图像质量的提高。这还通过利用YC-raw数据的优点，诸如其数据大小比RGB-raw数据的数据大小更小、即使在大小调整之后图像质量恶化也较低以及适合于高速记录，来促进YC-raw数据的有效使用。

注意，尽管RGB格式的图像数据已被用作图像传感器输出格式的图像数据的示例，但是图像传感器输出格式的图像数据可以是基于参照图4描述的补色过滤器的使用Cy、Ye、G和Mg的格式的图像数据，或者基于W-RGB过滤器的WRGB格式的图像数据。

在第一、第二和第三实施例中，已经描述了图像处理单元20对重排马赛克之后的图像数据执行主WB处理和去马赛克的示例(参见图10、图12和图14)。

通过逆预WB处理和重排马赛克消除包括在原来的YC-raw数据中的颜色偏移，然后执行主WB处理以及去马赛克，由此可以从成像期间的状态获得没有颜色偏移的RGB平面图像数据。从该状态，应用矩阵转换处理、伽马处理、颜色再现处理等来执行显影，从而使得能够获得未发生颜色偏移的高质量显影图像dPD。

在第二实施例中，已经描述了图像处理单元20以不同的参数设定对重排马赛克之后的图像数据执行多次显影处理以生成多个显影图像dPD的示例。

例如，对于主WB处理、矩阵转换处理、伽马处理和颜色再现处理，使用不同的参数生成多个显影图像dPD1、dPD2、dPD3、…。这使得能够向用户提供已经应用了各种类型的图像增强的显影图像。用户可以根据他或她的偏好以及简单地忠实于成像期间的颜色状态的图像来选择图像。

在第二实施例中，已经描述了图像处理单元20对于多个显影图像dPD中的一些生成与用作基准的显影图像相比的差分信息DD的示例。

例如，在生成多个显影图像dPD1、dPD2、dPD3的情况下，生成显影图像dPD2和基准显影图像dPD1之间的差分信息DD2以及显影图像dPD3和基准显影图像dPD1之间的差分信息DD3。通过将差分信息DD2、DD3记录到记录介质上，与显影图像dPD2、dPD3被按照原样记录的情况相比，可以显著降低必要的记录容量。

在第四实施例中，已经描述了控制单元100执行对于YC-raw数据确定颜色偏移校正的必要性的确定处理并且根据确定结果使图像处理单元20执行重排马赛克的示例。

例如，在要显影的YC-raw数据中并不总是发生大的颜色偏移。当控制单元100执行确定处理并且确定颜色偏移在某种程度上大时，图像处理单元20执行具有颜色偏移校正的显影处理，由此获得高质量的显影图像dPD。相反，在不存在许多颜色偏移的情况下，可以消除对诸如重排马赛克之类的处理的需要，这适合于减少处理负担并且加快显影处理。

在第四实施例中，已经描述了这样的示例：其中作为确定处理，控制单元100使用针对YC-raw数据获得的WB值与在该YC-raw数据的预WB处理中使用的WB值之间的差分值(ΔWB)来确定颜色偏移校正的必要性。换句话说，这是使用高速算法的确定处理。

这使得能够容易地检测图像数据的颜色偏移。特别地，该处理是内部信号处理，使得可以通过比较紧接在处理之前和紧接在处理之后的信号差分没有延迟地执行实时检测。

在第四实施例中，已经描述了这样的示例：其中作为确定处理，控制单元100对于YC-raw数据基于逆预WB处理之后的信号电平的变化量ΔCSL来确定颜色偏移校正的必要性。换句话说，这是使用高精度算法的确定处理。

这也是内部信号处理，使得可以相对快速地执行确定。此外，通过在逐个像素/逐个块的基础上执行确定，可以准确地指定已经发生颜色偏移的区域。

在第四实施例中的图22的处理示例中，已经描述了这样的示例：其中作为确定处理，控制单元100使用基于在针对YC-raw数据的预WB处理中使用的WB值的信息和在成像期间检测的光源信息来确定颜色偏移校正的必要性。

在包括从中获得光源信息MD3的传感器的成像设备1的情况下，或者在已经获取光源信息MD3被添加到元数据MT的YC-raw数据的信息处理设备70的情况下，可以使用光源信息MD3。在这种情况下，可以通过将光源信息MD3与通过预WB处理估计的光源进行比较来估计颜色偏移的有无。在这种情况下，可以极其简单且高速地执行确定处理。

在第四实施例中的图15的处理示例中，已经描述了这样的示例：其中控制单元100可以选择多种处理方法作为确定处理并且通过选择的处理方法执行确定处理。

例如，作为确定处理的处理方法，可以选择性地执行可以相对高速执行的高速算法、精度相对高的高精度算法等。这使得能够执行适合于情况的确定处理。

在第四实施例中的图15的处理示例中，已经描述了控制单元100基于用户设定来选择确定处理的处理方法的示例。

例如，控制单元100根据用户在菜单设定等中进行的高速类型、高精度类型等的设定来选择确定方法(算法)。这使得能够根据用户的目的、用例等进行确定处理。

在第四实施例中的图15的处理示例中，已经描述了控制单元100自动选择确定处理的处理方法的示例。

例如，控制单元100根据某种触发、设定、成像情况等自动选择诸如高速类型或高精度类型之类的确定方法(算法)。例如，根据快速连续拍摄速度、面部图像的有无、电池状况等进行选择。这使得能够进行适合于成像操作、图像内容、设备状况等的确定处理。

在第四实施例中的图15的处理示例中，已经描述了控制单元100在通过确定处理检测到颜色偏移的情况下控制警告的执行的示例。

例如，在作为确定处理的结果检测到已经发生了颜色偏移的情况下，控制单元100使得执行警告显示45或颜色偏移区域显示46(参见图17、图18和图19)。这使得用户能够识别发生了颜色偏移。

在第四实施例中的图15的处理示例中，已经描述了控制单元100控制图像处理单元20响应于根据警告进行的用户操作来执行重排马赛克的示例(参见图15中的步骤S308和S310)。

已经由于警告而识别出发生了颜色偏移的用户可以根据他或她的目的、偏好、便利性等来选择是否在显影处理中执行颜色偏移校正。

在第一实施例中，已经描述了图像处理单元20使用与YC-raw数据相关联的元数据MT中的预WB信息MD1来执行逆预WB处理的示例。

添加预WB信息MD1作为元数据MT使得能够准确地执行将该预WB处理恢复到处理前的逆预WB处理。

在第一实施例中，已经描述了图像处理单元20使用与YC-raw数据相关联的元数据MT中的传感器阵列信息MD2来执行重排马赛克的示例。

添加传感器阵列信息MD2作为元数据MT使得能够准确地执行重排马赛克。

在第一实施例中，已经描述了这样的示例：在显影处理中，图像处理单元20使用与要显影的YC-raw数据相关联的元数据MT中的光源信息MD3来计算主WB的WB值，并且执行主WB处理。

添加光源信息作为元数据MT使得能够利用与成像期间的光源对应的值来执行主WB处理。

在第三实施例中描述的图像处理设备包括将图像传感器输出格式的图像数据或YC-raw′数据记录到记录介质上的记录控制单元(14、79)，该图像数据是在对YC-raw数据执行到图像传感器输出格式的转换处理并且进一步施加相对于预WB处理的逆预WB处理和恢复去马赛克之前的状态的重排马赛克之后获得的，该YC-raw数据是基于在重排马赛克之后获得的图像传感器输出格式的图像数据而获得的。

在通过逆预WB处理和重排马赛克对YC-raw数据施加颜色偏移校正处理之后，通过YC转换获得的YC-raw′数据像原来的YC-raw数据那样没有由预WB处理和去马赛克而引起的颜色偏移。因此，通过将获得的YC-raw′数据覆写并记录到原来的YC-raw数据上，该YC-raw′数据然后可以被用作可以显影高质量图像的原始图像数据。YC-raw′数据可以被记录，使得与原来的YC-raw数据共存。

另外，已经通过逆预WB处理和重排马赛克对YC-raw数据执行颜色偏移校正处理的状态下的数据，即，原来的图像传感器输出格式的原始格式数据，可以与原来的YC-raw数据一起或者通过覆写原来的YC-raw数据而被记录到记录介质上。原来的图像传感器输出格式的数据也可以被用作能够显影高质量图像的原始图像数据。

此外，YC-raw′数据和图像传感器输出格式的数据两者可以被记录到记录介质上。

图1中所示的实施例的成像设备1包括使用图像传感器12a来获得捕获图像数据的成像单元12、以及通过对由成像单元12获得的RGB格式的图像数据执行预WB处理、去马赛克和YC转换处理来生成YC-raw数据的图像处理单元20。另外，成像设备1包括相机控制单元18，该相机控制单元18执行将指示图像传感器12a的像素阵列的传感器阵列信息MD2作为在恢复去马赛克之前的状态的重排马赛克中使用的元数据MT并且将包括预WB处理的参数的预WB信息MD1作为在相对于预WB处理的逆预WB处理中使用的元数据MT来与YC-raw数据相关联的处理(参见图6和图7)。

预WB信息MD1和传感器阵列信息MD2作为元数据MT与YC-raw数据的关联使得能够例如在显影处理期间等参照这些信息准确地执行逆预WB处理和重排马赛克。

另外，成像设备1可以包括照度传感器作为能够检测光源信息的传感器。已经描述了这样的示例：相机控制单元18执行其中传感器阵列信息MD2、预WB信息MD1和基于传感器的检测值生成的光源信息MD3被用作在YC-raw数据的显影处理中使用的元数据MT的处理(参见图7)。

还包括光源信息MD3作为元数据MT使得能够在显影处理期间的主白平衡处理中参照该信息来执行更准确的主WB处理。

与根据实施例的显影处理相关的程序是用于使CPU、DSP、GPU、GPGPU、AI处理器等或包括CPU、DSP、GPU、GPGPU、AI处理器等的设备执行上述的如图10和图12中所示的显影处理的程序。

即，作为实施例的程序，可以假定这样的程序：该程序使得用作图像处理设备的运算处理设备对作为通过对RGB格式的图像数据执行预WB处理、去马赛克和YC转换处理而获得的图像数据的YC-raw数据执行到RGB格式的转换处理并且进一步执行相对于预WB处理的逆预WB处理和恢复去马赛克之前的状态的重排马赛克。

另外，根据实施例的程序是使运算处理设备执行生成如图14中所示的YC-raw′数据的处理的程序。

即，作为实施例的程序，可以假定这样的程序：该程序使得运算处理设备执行将图像传感器输出格式的图像数据记录到记录介质上的处理，该图像数据是在对作为通过对图像传感器输出格式的图像数据执行预WB处理、去马赛克和YC转换处理而获得的图像数据的YC-raw数据执行到图像传感器输出格式的转换处理并且进一步施加相对于预WB处理的逆预WB处理和恢复去马赛克之前的状态的重排马赛克之后获得的。

可替代地，还可以假设这样的程序：该程序使运算处理设备执行将基于在上述重排马赛克之后获得的图像传感器输出格式的图像数据而获得的YC-raw数据记录到记录介质上的处理。

通过此类程序，可以通过各种计算机设备来实现在本公开中提及的图像处理设备。

这些程序可以被预先记录在作为内置在诸如计算机设备之类的设备中的记录介质的HDD或具有CPU的微计算机中的ROM等中。

可替代地，这些程序可以被临时或永久地容纳(记录)在诸如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光光盘(注册商标)、磁盘、半导体存储器、存储器卡等的可移除记录介质中。此类可移除记录介质可以作为所谓的套装软件被提供。

此外，此类程序可以从可移除记录介质安装到个人计算机等中，或者可以经由诸如局域网(LAN)或因特网之类的网络从下载站点下载。

此外，此类程序适合于在宽范围内提供本公开的图像处理设备。例如，通过将程序下载到诸如智能电话或平板计算机之类的移动终端设备、移动电话、个人计算机、游戏设备、视频设备、个人数字助理(PDA)等，可以使这些设备用作本公开的图像处理设备。

使用此类程序用作本公开的图像处理设备的计算机设备也可以被实现为云服务器。例如，可以通过与成像设备1协作的云计算执行在实施例中描述的各处理。

注意，本文中描述的效果仅仅是示例并且不受限制，并且可以提供其他效果。

注意，本技术还可以具有以下配置。

(1)

一种图像处理设备，包括：

图像处理单元，所述图像处理单元对作为通过对图像传感器输出格式的图像数据执行预白平衡处理、去马赛克和YC转换处理而获得的图像数据的YC-raw数据执行到图像传感器输出格式的转换处理，并且进一步执行相对于预白平衡处理的逆预白平衡处理和恢复去马赛克之前的状态的重排马赛克。

(2)

根据以上的(1)所述的图像处理设备，

其中，图像处理单元对重排马赛克之后的图像数据执行白平衡处理和去马赛克。

(3)

根据以上的(1)或(2)所述的图像处理设备，

其中，图像处理单元用不同的参数设定对重排马赛克之后的图像数据执行多次显影处理以生成多个显影图像。

(4)

根据以上的(3)所述的图像处理设备，

其中，图像处理单元对于多个显影图像中的一些生成与用作基准的显影图像相比的差分信息。

(5)

根据以上的(1)至(4)中的任一项所述的图像处理设备，还包括：

控制单元，所述控制单元对于YC-raw数据执行确定颜色偏移校正的必要性的确定处理并且根据确定结果使图像处理单元执行重排马赛克。

(6)

根据以上的(5)所述的图像处理设备，

其中，作为确定处理，控制单元使用针对YC-raw数据获得的白平衡值与在针对该YC-raw数据的预白平衡处理中使用的白平衡值之间的差分值来确定颜色偏移校正的必要性。

(7)

根据以上的(5)或(6)所述的图像处理设备，

其中，作为确定处理，控制单元基于逆预白平衡处理之后的信号电平的变化量来对于YC-raw数据确定颜色偏移校正的必要性。

(8)

根据以上的(5)至(7)中的任一项所述的图像处理设备，

其中，作为确定处理，控制单元使用基于在针对YC-raw数据的预白平衡处理中使用的白平衡值的信息和在成像期间检测的光源信息来确定颜色偏移校正的必要性。

(9)

根据以上的(5)至(8)所述的图像处理设备，

其中，控制单元能够选择多种处理方法作为确定处理，并且通过选择的处理方法执行确定处理。

(10)

根据以上的(9)所述的图像处理设备，

其中，控制单元基于用户设定来选择确定处理的处理方法。

(11)

根据以上的(9)所述的图像处理设备，

其中，控制单元自动选择确定处理的处理方法。

(12)

根据以上的(5)至(11)中的任一项所述的图像处理设备，

其中，在控制单元通过确定处理确定颜色偏移校正有必要的情况下，控制单元控制警告的执行。

(13)

根据以上的(12)所述的图像处理设备，

其中，控制单元响应于根据警告进行的用户操作，使图像处理单元执行重排马赛克。

(14)

根据以上的(1)至(13)中的任一项所述的图像处理设备，

其中，图像处理单元使用与YC-raw数据相关联的元数据中的预白平衡信息执行逆预白平衡处理。

(15)

根据以上的(1)至(14)中的任一项所述的图像处理设备，

其中，图像处理单元使用与YC-raw数据相关联的元数据中的传感器阵列信息执行重排马赛克。

(16)

根据以上的(2)所述的图像处理设备，

其中，在显影处理中，图像处理单元使用与YC-raw数据相关联的元数据中的光源信息执行重排马赛克之后的白平衡处理。

(17)

一种图像处理设备，包括：

记录控制单元，所述记录控制单元将图像传感器输出格式的图像数据或YC-raw数据记录到记录介质上，

该图像数据是在对作为通过对图像传感器输出格式的图像数据执行预白平衡处理、去马赛克和YC转换处理而获得的图像数据的YC-raw数据执行到图像传感器输出格式的转换处理并且进一步施加相对于预白平衡处理的逆预白平衡处理和恢复去马赛克之前的状态的重排马赛克之后获得的，

要记录的YC-raw数据是基于在重排马赛克之后获得的图像传感器输出格式的图像数据而获得的。

(18)

一种成像设备，包括：

成像单元，所述成像单元使用图像传感器获得捕获的图像数据；

图像处理单元，所述图像处理单元对由成像单元获得的图像传感器输出格式的图像数据执行预白平衡处理、去马赛克和YC转换处理以生成YC-raw数据；以及

控制单元，所述控制单元执行以下处理：将指示图像传感器的像素阵列的传感器阵列信息作为在恢复去马赛克之前的状态的重排马赛克中使用的元数据并且将包括预白平衡处理的参数的预白平衡信息作为在相对于预白平衡处理的逆预白平衡处理中使用的元数据来与YC-raw数据相关联。

(19)

根据以上的(18)所述的图像处理设备，还包括：

能够检测光源信息的传感器，

其中，控制单元执行将基于所述传感器的检测值生成的光源信息用作在YC-raw数据的显影处理中使用的元数据的处理。

(20)

一种图像处理方法，包括：

对作为通过对图像传感器输出格式的图像数据执行预白平衡处理、去马赛克和YC转换处理而获得的图像数据的YC-raw数据执行到图像传感器输出格式的转换处理，并且进一步执行相对于预白平衡处理的逆预白平衡处理和恢复去马赛克之前的状态的重排马赛克。

附图标记

1成像设备

12成像单元

12a图像传感器

14记录控制单元

15显示单元

18相机控制单元

20图像处理单元

23传感器单元

40菜单画面

41设定区域

45警告显示

46颜色偏移区域显示

70信息处理设备

71CPU

77显示单元

78音频输出单元

79记录控制单元

100控制单元