图像处理装置、摄像装置、图像处理方法及图像处理程序

技术领域

本发明涉及一种图像处理装置、摄像装置、图像处理方法及图像处理程序，尤其涉及一种生成适合于支援手动聚焦的动态图像数据的技术。

背景技术

近年来，无反相机或单反相机等的动画功能逐渐丰富，并且在动画内容制作中被广泛使用。这些相机为小型、重量轻，拍摄时机动性高，而用于确认即时预览图像或记录图像的显示器也小，因此难以视觉辨认对主要被摄体的聚焦是否按照用户的意图那样对焦。

为了解决该问题，开发出了聚焦辅助功能，有了搭载有“聚焦部分的放大显示功能”或“对对焦的被摄体的轮廓部加颜色来显示的尖锐化(peaking)功能”等的相机(专利文献1、2)。

以往技术文献

专利文献

专利文献1：日本特开2019-105768号公报

专利文献2：日本特开2017-169188号公报

发明内容

本公开的技术所涉及的一个实施方式提供一种能够在动态图像摄像中识别用户想要对焦的主要被摄体的聚焦状态且能够显示适合于主要被摄体的确认及取景的确认的即时预览图像的图像处理装置、摄像装置、图像处理方法及图像处理程序。

用于解决技术课题的手段

第1方式所涉及的发明为一种图像处理装置，其具备处理器和存储器，其中，处理器进行如下处理：根据所输入的摄像数据生成第1动态图像数据的处理；设定摄像数据或第1动态图像数据所表示的摄像区域内的、包含特定被摄体的特定被摄体区域的处理；根据摄像数据或第1动态图像数据评价聚焦状态的处理；根据特定被摄体区域的数据、聚焦状态的评价结果及第1动态图像数据生成能够视觉辨认特定被摄体区域的聚焦状态的第2动态图像数据的处理；及将第2动态图像数据输出到显示目的地的处理。

在本发明的第2方式所涉及的图像处理装置中，第2动态图像数据优选为能够视觉辨认仅特定被摄体区域的聚焦状态的动态图像数据。

在本发明的第3方式所涉及的图像处理装置中，生成第2动态图像数据的处理优选通过进行对第1动态图像数据所表示的摄像区域内的、特定被摄体区域的数据所表示的特定被摄体区域附加基于聚焦状态的评价结果的数据的处理而生成第2动态图像数据。

在本发明的第4方式所涉及的图像处理装置中，处理器优选根据摄像数据或第1动态图像数据生成包含特定被摄体的聚焦状态的评价结果的第3动态图像数据，并根据特定被摄体区域、第1动态图像数据及第3动态图像数据生成第2动态图像数据。

在本发明的第5方式所涉及的图像处理装置中，处理器优选将除特定被摄体区域以外的第1动态图像数据和特定被摄体区域的第3动态图像数据进行合成而生成第2动态图像数据。

在本发明的第6方式所涉及的图像处理装置中，评价聚焦状态的处理优选为如下处理：根据摄像数据或第1动态图像数据提取被摄体的轮廓成分，并对第1动态图像数据实施与所提取的轮廓成分的振幅相对应的轮廓强调处理。

在本发明的第7方式所涉及的图像处理装置中，轮廓强调处理优选为如下处理：对所提取的轮廓成分的振幅超出第1阈值的部分附加特定颜色、和/或根据轮廓成分的振幅改变特定颜色的浓度。

在本发明的第9方式所涉及的图像处理装置中，处理器优选根据由用户进行的特定被摄体的指示输入设定特定被摄体区域。

在本发明的第8方式所涉及的图像处理装置中，处理器优选检测特定被摄体的动作，并根据特定被摄体的动作变更特定被摄体区域。

在本发明的第10方式所涉及的图像处理装置中，优选具备显示部或能够与外部显示设备连接的第1连接部，第2动态图像数据的显示目的地为显示部或连接于第1连接部的外部显示设备。

在本发明的第11方式所涉及的图像处理装置中，优选具备记录部或能够与外部记录设备连接的第2连接部，处理器将第1动态图像数据输出到记录部或第2连接部。

在本发明的第12方式所涉及的图像处理装置中，处理器优选每隔第1时间将第1动态图像数据和第2动态图像数据交替地输出到显示目的地。

在本发明的第13方式所涉及的图像处理装置中，处理器优选获取表示特定被摄体的聚焦状态的评价结果的聚焦评价值，当所获取的聚焦评价值超出第2阈值时，将第1动态图像数据输出到显示目的地。

在本发明的第14方式所涉及的图像处理装置中，处理器优选获取表示特定被摄体的聚焦状态的评价结果的聚焦评价值，当所获取的聚焦评价值无减少倾向且无减少倾向的状态持续第2时间时，将第1动态图像数据输出到显示目的地。

在本发明的第15方式所涉及的图像处理装置中，处理器优选获取表示特定被摄体的聚焦状态的评价结果的聚焦评价值，并获取针对最近的多个帧的聚焦评价值中成为最大值的最大评价值，当在手动聚焦期间最新帧的聚焦评价值超出根据最大评价值设定的容许值时，将表示最新帧内的特定被摄体的聚焦状态良好的通知信息输出到显示目的地。

本发明的第16方式所涉及的摄像装置具备：摄像部，输出摄像数据；及上述图像处理装置。

第17方式所涉及的发明为一种图像处理方法，其利用具备处理器和存储器的图像处理装置生成支援手动聚焦的动态图像数据，其中，处理器的各处理包括如下步骤：根据所输入的摄像数据生成第1动态图像数据的步骤；设定摄像数据或第1动态图像数据所表示的摄像区域内的、包含特定被摄体的特定被摄体区域的步骤；根据摄像数据或第1动态图像数据评价聚焦状态的步骤；根据特定被摄体区域的数据、聚焦状态的评价结果及第1动态图像数据生成能够视觉辨认特定被摄体区域的聚焦状态的第2动态图像数据的步骤；及将第2动态图像数据输出到显示目的地的步骤。

在本发明的第18方式所涉及的图像处理方法中，优选还包括根据摄像数据或第1动态图像数据生成包含特定被摄体的聚焦状态的评价结果的第3动态图像数据的步骤，在生成第2动态图像数据的步骤中，根据特定被摄体区域、第1动态图像数据及第3动态图像数据生成第2动态图像数据。

在本发明的第19方式所涉及的图像处理方法中，在生成第2动态图像数据的步骤中，优选将除特定被摄体区域以外的第1动态图像数据和特定被摄体区域的第3动态图像数据进行合成而生成第2动态图像数据。

本发明的第20方式所涉及的图像处理程序使计算机实现如下功能：根据所输入的摄像数据生成第1动态图像数据的功能；设定摄像数据或第1动态图像数据所表示的摄像区域内的、包含特定被摄体的特定被摄体区域的功能；根据摄像数据或第1动态图像数据评价聚焦状态的功能；根据特定被摄体区域的数据、聚焦状态的评价结果及第1动态图像数据生成能够视觉辨认特定被摄体区域的聚焦状态的第2动态图像数据的功能；及将第2动态图像数据输出到显示目的地的功能。

附图说明

图1是表示本发明所涉及的摄像装置的内部结构的实施方式的图。

图2是表示本发明所涉及的图像处理装置的实施方式的框图。

图3是表示从亮度数据中提取的轮廓成分等的波形图。

图4是表示未实施尖锐化处理的第1动态图像数据的一例的波形图。

图5是表示已实施尖锐化处理的第1动态图像数据(第3动态图像数据)的一例的波形图。

图6是表示特定被摄体及尖锐化范围的一例的图。

图7是表示第1动态图像数据的记录目的地及第2动态图像数据的显示目的地的图。

图8是表示本发明所涉及的图像处理方法的第1实施方式的流程图。

图9是表示本发明所涉及的图像处理方法的第2实施方式的流程图。

图10是表示本发明所涉及的图像处理方法的第3实施方式的流程图。

图11是表示轮廓成分的振幅[Amp]的变化的一例的图。

图12是表示本发明所涉及的图像处理方法的第4实施方式的流程图。

具体实施方式

以下，按照附图对本发明所涉及的图像处理装置、摄像装置、图像处理方法及图像处理程序的优选实施方式进行说明。

[摄像装置的结构]

图1是表示本发明所涉及的摄像装置的内部结构的实施方式的图。

摄像装置10为能够拍摄动态图像的相机，具备摄像透镜12、摄像部14、处理器16、存储器18、显示部20、输入输出接口22及操作部24等。

摄像透镜12具备包括使被摄体像成像的聚焦透镜的多个透镜组、调节光量的光圈、手动调整聚焦透镜的位置的聚焦环等。并且，摄像透镜12可以为能够装卸于相机机身的可更换镜头，也可以与相机机身成为一体化。

摄像部14具备将光学像转换为电信号的摄像元件、模拟信号处理部及A/D(Analogto Digital：模数)转换器等。

摄像元件例如由CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)型的彩色图像传感器构成。另外，摄像元件并不限于CMOS型，也可以为CCD(Charge Coupled Device：电荷耦合器件)型的摄像元件。

在摄像元件中，在由沿x方向(水平方向)及y方向(垂直方向)二维地排列的光电转换元件(光电二极管)构成的多个像素上，红色(R)、绿色(G)及蓝色(B)的3原色的滤色器中的任一颜色的滤色器按照规定的滤色器排列而配置，构成RGB的各颜色的像素。滤色器排列能够设为通常的拜耳排列，但并不限定于此，例如也可以为X-Trans(注册商标)排列等其他的滤色器排列。

由摄像透镜12成像于摄像部14的摄像元件的受光面上的被摄体的光学像在摄像元件的各像素中作为与入射光量相对应的电荷而积蓄。从摄像元件读出与积蓄在各像素中的电荷量相对应的电信号作为图像信号，并将其输出到模拟信号处理部。

模拟信号处理部包含采样保持电路、颜色分离电路、AGC(Automatic GainControl：自动增益控制)电路等而构成。AGC电路作为调整拍摄时的灵敏度(ISO灵敏度(ISO：International Organization for Standardization：国际标准化组织))的灵敏度调整部发挥作用，其调整放大所输入的图像信号的放大器的增益，使图像信号的信号电平进入适当的范围内。A/D转换器将从模拟信号处理部输出的模拟的图像信号转换为数字的图像信号。另外，当摄像元件为CMOS型图像传感器时，模拟信号处理部及A/D转换器大多内置于CMOS型图像传感器内。

当进行动态图像的拍摄时，从摄像部14以所设定的帧速率(30fps、60fps等)输出摄像数据(RAW数据)。

处理器16包括CPU(Central Processing Unit：中央处理器)、对摄像数据进行特定的信号处理的专用电路等，作为根据从摄像部14输入的摄像数据生成各种动态图像数据的图像处理装置发挥作用。另外，关于基于处理器16的各种动态图像数据的生成处理的详细内容，待留后述。

存储器18包括闪存、ROM(Read-only Memory：只读存储器)及RAM(Random AccessMemory：随机存取存储器)等。闪存及ROM为存储相机控制程序及本发明所涉及的图像处理程序、相机控制等中所需要的各种数据等的非易失性存储器。RAM临时存储摄像数据，作为由处理器16进行的处理的工作区域发挥作用。并且，临时存储存放于闪存等中的相机控制程序、图像处理程序等。另外，也可以在处理器16中内置存储器18的一部分(RAM)。

处理器16按照相机控制程序或图像处理程序，一边将RAM作为工作区域，一边进行对相机机身的各部的控制及图像处理。

显示部20为LCD(Liquid Crystal Display：液晶显示器)、OLED(Organic LightEmitting Diode：有机发光二极管)等显示器，显示器上可以具备触摸面板。

显示部20设置于相机机身的背面，拍摄时显示即时预览图像。用户能够利用显示于显示部20的即时预览图像确认被摄体的聚焦状态，或者进行取景的确认。

并且，显示部20作为对用户通知(显示)各种通知信息的通知部发挥作用。此外，显示部20在进行各种设定时显示菜单画面，用作接收用户的指示时的用户界面。另外，显示部20中也包括EVF(Electronic View Finder：电子取景器)方式的显示部。

输入输出接口22包括能够与外部显示设备连接的第1连接部、能够与外部记录设备连接的第2连接部、装卸存储卡的卡连接部及能够与网络连接的通信部等。例如，作为输入输出接口22，能够适用USB(Universal Serial Bus：通用串行总线)、HDMI(High-Definition Multimedia Interface：高清晰度多媒体接口)(HDMI为注册商标)等。另外，USB及HDMI分别能够作为第1连接部及第2连接部共用。

并且，卡连接部及连接于卡连接部的存储卡相对于外部记录设备而言，相当于相机内部的记录部。

操作部24具备用于操作摄像装置10的各种操作部件。操作部件中除了电源按钮、录像按钮以外，包括各种操作按钮类、触摸面板等。

处理器16通过执行规定的程序(相机控制程序、图像处理程序等)而作为摄像装置10的控制部及图像处理装置发挥作用。

处理器16所进行的控制中除了AE(Automatic Exposure：自动曝光)、AF(AutoFocus：自动对焦)等摄像控制以外，包括图像处理、显示于显示部20的控制、记录在记录部中的控制等。

并且，处理器16所进行的图像处理中包括根据从摄像部14输入的摄像数据(RAW数据)生成记录用的动态图像数据(第1动态图像数据)的处理及生成显示用(即时预览用)的动态图像数据(第2动态图像数据)的处理及对记录用的第1动态图像数据的压缩处理等。

[图像处理装置]

图2是表示本发明所涉及的图像处理装置的实施方式的框图。本发明所涉及的图像处理装置具备处理器16和存储器18。

图2所示的处理器16具备白平衡校正处理部16A、去马赛克处理部16B、亮度/色差转换处理部16C、轮廓成分提取部16D、轮廓强调处理部16E、特定被摄体区域设定部16F及合成处理部16G。

白平衡校正处理部16A、去马赛克处理部16B及亮度/色差转换处理部16C等为由所输入的未处理的摄像数据(RAW数据)生成记录用的第1动态图像数据的显影处理部。

白平衡校正处理部16A通过计算所输入的摄像数据(R数据、G数据及B数据)的每个颜色数据的白平衡增益(WB(White Balance)增益)Gr、Gg、Gb，并且R数据、G数据及B数据分别乘以所计算出的WB增益Gr、Gg、Gb而对摄像数据进行白平衡校正。在此，作为WB增益Gr、Gg、Gb的计算方法，有如下等方法：根据基于被摄体的亮度(EV值)的场景识别(室外、室内的判定等)及周围光的色温等来确定照亮被摄体的光源种类，并从对每个光源种类存储有适当的WB增益的存储器18中读出与所确定的光源种对应的WB增益。

去马赛克处理部16B为由以RGB构成的点顺序的马赛克图像数据通过插值处理对每个像素计算所有RGB的颜色信息的处理部，其由马赛克图像数据生成已进行去马赛克处理(也称为解马赛克处理、同步处理)的RGB3面的图像数据。

亮度/色差转换处理部16C进行将已进行去马赛克处理的RGB数据转换为亮度数据(Y)和色差数据(Cb、Cr)的处理。

如上所述，根据未处理的摄像数据生成已进行图像处理的记录用的第1动态图像数据。另外，在针对未处理的摄像数据的显影处理中，还进行伽玛校正处理、对亮度数据(Y)的轮廓强调处理及对色差数据(Cb、Cr)的色差矩阵处理等，但这些为公知的处理，因此省略其详细说明。

轮廓成分提取部16D输入第1动态图像数据中的亮度数据(Y)，并提取摄像图像内的被摄体的轮廓成分。轮廓成分能够通过对亮度数据(Y)施加轮廓提取滤波(例如，索贝尔滤波)来提取。

图3是表示从亮度数据中提取的轮廓成分等的波形图。

图3(A)是轮廓部的亮度数据(Y)的波形图。如该图所示，在轮廓部，亮度数据(A)大幅变化。

图3(B)是表示从图3(A)的亮度数据(Y)中提取的轮廓成分的波形图。如图3(B)所示，轮廓成分提取部16D提取亮度数据(Y)变化的部分(轮廓部)，并输出具有与该变化的大小相对应的振幅[Amp]的轮廓成分。该振幅[Amp]与表示被摄体的聚焦状态的评价结果的聚焦评价值对应，振幅[Amp](聚焦评价值)越大，表示聚焦状态越良好。

轮廓强调处理部16E为输入第1动态图像数据中的色差数据(Cb、Cr)和由轮廓成分提取部16D提取的被摄体的轮廓成分并对第1动态图像数据(在本例子中为色差数据(Cb、Cr))施加与轮廓成分的振幅[Amp]相对应的轮廓强调处理的部分。

本例子的轮廓强调处理部16E为对第1动态图像数据进行将特定颜色(例如，红色)附加于被摄体的轮廓部的处理(尖锐化处理)的部分，其对由轮廓成分提取部16D提取的轮廓成分的振幅[Amp]超出第1阈值的部分附加特定颜色。

在此，第1阈值优选设定为被摄体的聚焦状态适当时所得到的该被摄体的轮廓成分的振幅中最小的振幅。因此，聚焦状态适当的被摄体，其轮廓成分的振幅会超出第1阈值。

另外，由于所提取的轮廓成分的振幅[Amp]根据轮廓提取滤波的种类而不同，因此优选考虑轮廓提取滤波的种类而设定第1阈值。并且，由于被摄体的轮廓成分的振幅根据环境光的强度而变动，因此优选根据被摄体的亮度适当设定第1阈值。

并且，轮廓强调处理部16E可以进行根据由轮廓成分提取部16D提取的轮廓成分的振幅[Amp]改变特定颜色的浓度的尖锐化处理，也可以对轮廓成分的振幅[Amp]超出第1阈值的部分进一步进行根据轮廓成分的振幅改变特定颜色的浓度的尖锐化处理。

由于已实施尖锐化处理的第1动态图像数据(第3动态图像数据)在被摄体的轮廓部(即，对比度高的部分)附加有特定颜色，因此为包含摄像区域的聚焦状态的评价结果的数据，尖锐化处理为评价聚焦状态的处理。

图4是表示未实施尖锐化处理的第1动态图像数据的一例的波形图，图5是表示已实施尖锐化处理的第1动态图像数据(第3动态图像数据)的一例的波形图。

当未实施尖锐化处理的第1动态图像数据具有图4所示的亮度数据(Y)及色差数据(Cb、Cr)时，在图5所示的已实施尖锐化处理的第1动态图像数据(第3动态图像数据)中，色差数据(Cb、Cr)的值被置换为使亮度数据(Y)已被切换的像素(轮廓部)成为红色。

特定被摄体区域设定部16F进行设定摄像数据或第1动态图像数据所表示的摄像区域内的、包含特定被摄体的特定被摄体区域的处理。

在此，本例子的特定被摄体是指摄像区域内的主要被摄体的一部分被摄体。

图6是表示特定被摄体及尖锐化范围的一例的图。

如图6(A)所示，在摄像区域中，在人物的面部照得较大的动态图像的情况下，人物的面部为主要被摄体，人物的面部部分(在本例子中为“嘴”)为特定被摄体。图6(A)所示的特定被摄体区域R为包含“嘴”的矩形区域。

并且，特定被摄体区域R为实施尖锐化处理的尖锐化范围，是包含特定被摄体的区域。在图6(B)所示的动态图像中，仅对“嘴”实施尖锐化处理。

另外，当人物的面部为主要被摄体时，特定被摄体并不限于“嘴”，也可以为“眼睛”(仅包括一只眼)、“鼻子”或“头发”等。并且，在花的特写场景的情况下，能够将“雌蕊”或“雄蕊”作为特定被摄体。

并且，当摄像区域内的人物小时，能够将人物的整个面部作为特定被摄体，当在摄像区域内存在多个花时，能够将多个花中的一个作为特定被摄体。

特定被摄体为主要被摄体的一部分，优选具有如下关系：当焦点对焦在特定被摄体时，焦点也对准在主要被摄体。当主要被摄体的区域相对于摄像区域充分小时，可以将主要被摄体作为特定被摄体。

特定被摄体区域设定部16F能够根据由用户进行的特定被摄体的指示输入来设定特定被摄体区域。在该情况下，用户能够一边观察显示于显示部20的即时预览图像，一边使用触摸面板等指定特定被摄体。

并且，特定被摄体区域设定部16F能够将开始拍摄动态图像时的摄像区域的中央区域自动设定为特定被摄体区域。在该情况下，用户优选以开始拍摄动态图像时使特定被摄体进入摄像区域的中央区域的方式进行取景。

此外，特定被摄体区域设定部16F优选检测特定被摄体的动作，并根据特定被摄体的动作变更特定被摄体区域(位置、尺寸)。特定被摄体的动作能够通过在构成第1动态图像数据的各帧中跟踪特定被摄体的特征点来检测出。

合成处理部16G输入第1动态图像数据、第3动态图像数据及由特定被摄体区域设定部16F设定的特定被摄体区域的数据，并根据这些数据生成能够视觉辨认特定被摄体区域的聚焦状态的动态图像数据(第2动态图像数据)。

合成处理部16G将除特定被摄体区域以外的第1动态图像数据和特定被摄体区域的第3动态图像数据进行合成而生成第2动态图像数据。合成处理部16G能够消除第1动态图像数据的与特定被摄体区域对应的部分，并在该部分插入合成特定被摄体区域的第3动态图像数据而生成第2动态图像数据。

另外，第2动态图像数据的生成并不限于将除特定被摄体区域以外的第1动态图像数据和特定被摄体区域的第3动态图像数据进行合成而生成第2动态图像数据的情况，也可以通过根据特定被摄体区域的数据、聚焦状态的评价结果及第1动态图像数据仅对第1动态图像数据的特定被摄体区域实施尖锐化处理而生成第2动态图像数据。在该情况下，无需生成已对整个画面实施尖锐化处理的第3动态图像数据。

并且，并不限于通过进行根据特定被摄体区域的聚焦状态的评价结果对特定被摄体的轮廓部附加特定颜色的尖锐化处理而生成第2动态图像数据的情况，也可以通过进行强调特定被摄体的轮廓部的边缘强调处理而生成第2动态图像数据，总而言之，只要是通过进行基于聚焦状态的评价结果的附加数据的处理而生成第2动态图像数据的处理即可。

图6(B)表示与仅对特定被摄体区域R已实施尖锐化处理的第2动态图像数据对应的即时预览图像的一例。

第2动态图像数据为在第1动态图像数据中仅对特定被摄体区域R已实施尖锐化处理的动态图像数据，如图6(B)所示，仅对包含作为特定被摄体的“嘴”的特定被摄体区域R实施尖锐化处理。

当用户操作聚焦环而使摄像透镜12的焦点对焦在主要被摄体(特定被摄体)时，一边观察显示于显示部20的即时预览图像(一边确认特定被摄体的聚焦状态)，一边操作聚焦环。

即，用户通过一边观察仅对特定被摄体区域R已实施尖锐化处理的即时预览图像，一边以使强调特定被摄体区域R内的特定被摄体的轮廓部的特定颜色出现的方式或使特定颜色的浓度成为最大的方式操作聚焦环，即使显示部20的画面尺寸小，也能够良好地进行手动聚焦。

并且，由于对用户想要对准焦点的一部分(特定被摄体区域R)实施尖锐化处理，而不是整个摄像区域，因此在动态图像拍摄中也能够一边观察即时预览图像，一边确认特定被摄体区域R的聚焦状态。并且，由于未对整个摄像区域实施尖锐化处理，因此例如还能够适当进行人物的表情等主要被摄体的确认及取景的确认。

图7是表示第1动态图像数据的记录目的地及第2动态图像数据的显示目的地的图。

处理器16能够将未实施尖锐化处理的第1动态图像数据输出到作为记录目的地的记录部22A或连接于第2连接部22B的外部记录设备。

记录部22A例如包括安装于输入输出接口22的卡连接部的存储卡，将从处理器16输入的第1动态图像数据记录在存储卡中。

第2连接部22B例如为输入输出接口22的USB、HDMI等，当第2连接部22B连接有外部记录设备时，外部记录设备能够记录从处理器16输入的第1动态图像数据。

处理器16优选具备压缩处理部16H，并且优选将由压缩处理部16H压缩的第1动态图像数据输出到记录部22A或第2连接部22B。

压缩处理部16H中的压缩处理为生成规定压缩格式的动态图像文件的处理。压缩时的编解码器能够采用公知的编解码器。例如，能够采用以MPEG(Moving Picture ExpertsGroup：运动图像专家组)标准化的编解码器(MPEG-1、MPEG-2、MPEG-4等)、H.264等。

并且，当连接于第2连接部22B的外部记录设备具有大容量的存储容量时，处理器16能够将未压缩的第1动态图像数据输出到第2连接部22B。

处理器16将已实施尖锐化处理的第1动态图像数据(第2动态图像数据)输出到作为显示目的地的显示部20或连接于第1连接部22C的外部显示设备。

显示部20能够根据在待机中及动态图像拍摄中从处理器16输入的第2动态图像数据显示即时预览图像。

第1连接部22C例如为输入输出接口22的USB、HDMI等，当第1连接部22C连接有外部显示设备时，外部显示设备能够根据从处理器16输入的第2动态图像数据显示即时预览图像。

另外，本例子的第1动态图像数据及第2动态图像数据为亮度数据(Y)及色差数据(Cb、Cr)，但也可以为将亮度数据(Y)及色差数据(Cb、Cr)转换为RGB数据的动态图像数据。

[图像处理方法]

本发明所涉及的图像处理方法为生成支援手动聚焦的动态图像数据的方法，图2所示的处理器16成为各处理的主体而生成动态图像数据。

＜第1实施方式＞

图8是表示本发明所涉及的图像处理方法的第1实施方式的流程图。

在图8中，当开始拍摄动态图像时，用户选择任意的特定被摄体(步骤S10)。这是为了确认对包含特定被摄体的主要被摄体的聚焦状态。并且，任意的特定被摄体的选择能够使用显示即时预览图像的显示部20及触摸面板等用户界面来进行。

若处理器16的特定被摄体区域设定部16F接收到由用户进行的特定被摄体的指示输入，则设定摄像区域内的特定被摄体区域R(步骤S12)。该特定被摄体区域R为实施尖锐化处理的尖锐化范围。

处理器16从摄像部14获取摄像数据(步骤S14)。

特定被摄体区域设定部16F根据摄像数据追踪用户所选择的特定被摄体，并更新特定被摄体区域R(步骤S16)。这是为了确认用户想要确认的主要被摄体的聚焦状态，即使特定被摄体移动。另外，特定被摄体的追踪也可以根据由摄像数据生成的第1动态图像数据进行。

处理器16对步骤S14中所获取的摄像数据(RAW数据)进行显影处理，生成记录用的第1动态图像数据(关闭尖锐化的第1动态图像数据)(步骤S18)。

接下来，处理器16(轮廓成分提取部16D、轮廓强调处理部16E)根据摄像数据或第1动态图像数据生成已进行尖锐化处理的第3动态图像数据(开启尖锐化的第1动态图像数据)(步骤S20)。第3动态图像数据为将摄像区域的整个范围作为尖锐化范围对第1动态图像数据进行尖锐化处理所得的动态图像数据。

合成处理部16G根据第1动态图像数据、第3动态图像数据及由特定被摄体区域设定部16F设定的特定被摄体区域的数据生成能够视觉辨认特定被摄体区域的聚焦状态的显示用的第2动态图像数据(步骤S22)。即，合成处理部16G根据第1动态图像数据和特定被摄体区域的数据生成除特定被摄体区域以外的第1动态图像数据，另一方面，根据第3动态图像数据和特定被摄体区域的数据生成特定被摄体区域的第3动态图像数据，并将除特定被摄体区域以外的第1动态图像数据和特定被摄体区域的第3动态图像数据进行合成而生成第2动态图像数据。

处理器16将显示用的第2动态图像数据输出到显示目的地的相机的显示部20，并显示能够视觉辨认特定被摄体区域的聚焦状态的图像(即时预览图像)(步骤S24)。

并且，处理器16判别是否正在记录动画(步骤S26)，当正在记录动画时(“是”的情况)，将步骤S18中所生成的记录用的第1动态图像数据记录在记录部22A中(步骤S28)。

当未在记录动画时(“否”的情况)，不经由步骤S28而过渡到步骤S30。例如，开始拍摄动画之前的正在显示即时预览图像相当于未正在记录动画的情况。

接下来，处理器16判别是否结束尖锐化显示(步骤S30)，若判别为不结束尖锐化显示(“否”的情况)，则过渡到步骤S14，对下一个帧的摄像数据重复步骤S14至步骤S30的处理。是否结束尖锐化显示的判别例如能够根据用户有无输入将尖锐化设定变更为关闭指示来进行。

若判别为结束尖锐化显示(“是”的情况)，则处理器16结束本处理。

根据图像处理方法的第1实施方式，由于仅对用户想要对准焦点的主要被摄体的一部分(特定被摄体区域R)实施尖锐化处理，而不是整个摄像区域，因此还能够适当进行人物的表情等主要被摄体的确认及取景的确认。

并且，作为第1实施方式的变形例，处理器16可以在特定被摄体区域R的特定被摄体的聚焦评价值(振幅[Amp])超出被视为对焦的阈值(第2阈值)时代替第2动态图像数据而将第1动态图像数据输出到显示目的地(显示部20或第1连接部22C)。

据此，用户在聚焦透镜对焦在主要被摄体时能够观察未尖锐化的即时预览图像，能够更进一步容易确认主要被摄体。

＜第2实施方式＞

图9是表示本发明所涉及的图像处理方法的第2实施方式的流程图。

与图8所示的第1实施方式相比，图像处理方法的第2实施方式的尖锐化显示的显示方法不同，因此省略第1动态图像数据及第2动态图像数据的生成方法的说明。

在图像处理方法的第2实施方式中，每隔第1时间将第1动态图像数据(未尖锐化)和第2动态图像数据(已尖锐化)交替地输出到显示目的地。

在图9中，将帧计数器变量“count”重置为“0”，将图像选择器变量“sel”重置为“1”(步骤S100)。

接下来，处理器16判别图像选择器变量“sel”是否大于“0”(sel＞0)(步骤S102)。当sel＞0时(“是”的情况)，进入步骤S104，在此，利用第2动态图像数据将“已尖锐化”的即时预览图像显示于显示部20。

另一方面，当不是sel＞0时(“否”的情况)，进入步骤S106，在此，利用第1动态图像数据将“未尖锐化”的即时预览图像显示于显示部20。另外，在开始拍摄时，图像选择器变量“sel”被设定为“1”，因此“已尖锐化”的即时预览图像显示于显示部20。

接着，处理器16将帧计数器变量“count”加1(步骤S108)，并判别帧计数器变量“count”是否小于N(count＜N)(步骤S110)。

现在，当帧速率为30fps且将“已尖锐化”的即时预览图像和“未尖锐化”的即时预览图像每隔1～2秒交替地显示时，N优选设定为30～60范围内的值。

在步骤S110中，若判别为count＜N(“是”的情况)，则过渡到步骤S114，若判别为不是count＜N(“否”的情况)，则过渡到步骤S112。另外，从开始拍摄至N帧的拍摄为止满足count＜N，因此过渡到步骤S114。

接着，处理器16判别是否结束尖锐化显示(步骤S114)，若判别为不结束尖锐化显示(“否”的情况)，则过渡到步骤S102，对下一个帧的摄像数据重复步骤S102至步骤S114的处理。

另一方面，若“已尖锐化”的即时预览图像的显示持续第1时间(N帧)，则在步骤S110中判别为不是count＜N(“否”的情况)，并过渡到步骤S112。在步骤S112中，将帧计数器变量“count”重置为“0”且设为sel＝sel×(-1)，而使图像选择器变量“sel”的符号反转。另外，在开始拍摄时，图像选择器变量“sel”被设定为“1”，因此从开始拍摄起第1时间之后(N帧之后)的图像选择器变量“sel”的符号被反转为“-1”。

当图像选择器变量“sel”为“-1”时，在步骤S102中，判别为不是sel＞0而进入步骤S106，在此，利用第1动态图像数据将“未尖锐化”的即时预览图像显示于显示部20。

如上所述，处理器16将基于第2动态图像数据的“已尖锐化”的即时预览图像和基于第1动态图像数据的“未尖锐化”的即时预览图像每隔第1时间(N帧)切换显示于显示部20。

根据图像处理方法的第2实施方式，由于尖锐化显示每隔第1时间消失，因此更进一步容易确认主要被摄体。

＜第3实施方式＞

图10是表示本发明所涉及的图像处理方法的第3实施方式的流程图。

与图8所示的第1实施方式相比，图像处理方法的第3实施方式的尖锐化显示的显示方法不同，因此省略第1动态图像数据及第2动态图像数据的生成方法的说明。

在图像处理方法的第3实施方式中，当无需手动聚焦时显示“未尖锐化”的即时预览图像，当需要手动聚焦时显示“已尖锐化”的即时预览图像。

在图10中，将帧计数器变量“count”重置为“0”(步骤S200)。

接下来，处理器16的轮廓成分提取部16D从特定被摄体区域R的亮度数据(Y)中提取特定被摄体的轮廓成分，并提取轮廓成分的振幅[Amp_n](步骤S202)。

振幅[Amp_n]表示当前帧n的振幅[Amp](图3(B))。并且，振幅[Amp_n]期望选取特定被摄体的轮廓成分的振幅为阈值th以上的像素的振幅的平均值。

处理器16从过去的(k+1)帧量的振幅[Amp_n]～[Amp_n-k]中获取振幅[Amp]的增减倾向(步骤S204)。关于振幅的增减倾向，例如，对每个帧计算与紧跟前的振幅的差分ΔAmp_n，当k+1帧量的ΔAmp_n～ΔAmp_n-k的平均值小于0时能够设为减少倾向，当为0以上时能够设为增加倾向。

接下来，处理器16判别振幅[Amp]的增减倾向是否处于减少倾向(步骤S206)。

图11是表示轮廓成分的振幅[Amp]的变化的一例的图。图11所示的例子示出振幅[Amp]的增减倾向处于减少倾向的情况。

在步骤S206中，若判定为振幅[Amp]的增减倾向处于减少倾向(“是”的情况)，则处理器16将第2动态图像数据输出到显示部20，并将“已尖锐化”的即时预览图像显示于显示部20(步骤S208)。

接下来，将帧计数器变量“count”重置为“0”(步骤S210)，并过渡到步骤S222。

在步骤S222中，判别是否结束尖锐化显示。若判别为不结束尖锐化显示(“否”的情况)，则过渡到步骤S202，并对下一个帧的摄像数据重复步骤S202至步骤S222的处理。

另一方面，在步骤S206中，若判定为振幅[Amp]的增减倾向不处于减少倾向(“否”的情况)，则过渡到步骤S212，在此，判别帧计数器变量“count”是否小于M(count＜M)。

在此，判别与聚焦评价值对应的振幅[Amp]不处于减少倾向的状态是否持续M帧量(持续第2时间)。第2时间优选3～5秒左右，当帧速率为30fps时，M优选设定为90～150的范围内的值。

在步骤S212中，若判别为count＜M(“是”的情况)，则过渡到步骤S214。在步骤S214中，根据第2动态图像数据将“已尖锐化”的即时预览图像显示于显示部20(步骤S208)。

接下来，将帧计数器变量“count”加1(步骤S216)，并过渡到步骤S222。

另一方面，在步骤S212中，若判别为不是count＜M(“否”的情况)，即，若振幅[Amp]不处于减少倾向且不处于减少倾向的状态持续M帧以上，则处理器16将第1动态图像数据输出到显示部20，将“未尖锐化”的即时预览图像显示于显示部20(步骤S218)，并将帧计数器变量“count”加1(步骤S220)。

如上所述，若振幅[Amp]不处于减少倾向且不处于减少倾向的状态持续M帧以上(第2时间以上)，则处理器16判定为聚焦状态稳定而不需要手动聚焦，并关掉尖锐化显示，使得用户更进一步容易确认主要被摄体。

另一方面，若振幅[Amp]的增减倾向变为减少倾向(若聚焦状态变差)，则处理器16由步骤S206过渡到步骤S208，重新开启尖锐化显示，因此用户能够容易掌握聚焦状态已变差。

另外，在图10中虽未图示，但当用户操作聚焦环而聚焦透镜的聚焦位置发生了移动时，期望重新开启尖锐化显示。

根据图像处理方法的第3实施方式，当聚焦状态稳定而无需手动聚焦时关闭尖锐化显示，因此用户更进一步容易确认主要被摄体。

＜第4实施方式＞

图12是表示本发明所涉及的图像处理方法的第4实施方式的流程图。

与第1实施方式至第3实施方式相比，图像处理方法的第4实施方式的不同点在于，除了尖锐化显示以外，还向用户通知聚焦评价值是否良好，因此省略尖锐化显示方法的说明。

当用户一边观察“已尖锐化”的即时预览图像，一边操作聚焦环而移动聚焦透镜的聚焦位置时，过度移动聚焦透镜，或者重复往复移动聚焦透镜的情况较多。

在图像处理方法的第4实施方式中，向用户通知在手动聚焦中聚焦评价值变高而无需移动聚焦透镜，防止聚焦透镜的过度移动。

在图12中，处理器16的轮廓成分提取部16D从最新帧的特定被摄体区域R的亮度数据(Y)中提取特定被摄体的轮廓成分，并获取轮廓成分的振幅[Amp_n](步骤S300)。

处理器16获取针对最近的多个帧的聚焦评价值中成为最大值的最大评价值。即，处理器16获取最近的h帧量的轮廓成分的振幅[Amp_n-1]～[Amp_n-h]中最高的振幅[Amp_max](步骤S302)。h帧优选为与在手动聚焦时使聚焦环沿一个方向旋转的时间对应的帧数。

接下来，处理器16判别用户是否操作聚焦环而改变了聚焦透镜的聚焦位置(步骤S304)。若判别为聚焦位置发生了变化(“是”的情况)，则处理器16判别步骤S300中所获取的最新帧的聚焦评价值(振幅[Amp_n])是否超出根据步骤在S302中所获取的最大评价值(振幅[Amp_max])设定的容许值。在此，容许值为最大的振幅[Amp_max]乘以一定的比例(ratio)所得的值(Amp_max*ratio)。

当最新帧的振幅[Amp_n]超出容许值(Amp_max*ratio)时(“是”的情况)，处理器16将表示聚焦评价值高的通知信息(例如，图标)显示于显示部20，通知用户最新帧已对焦(步骤S308)。

另一方面，当最新帧的振幅[Amp_n]未超出容许值(Amp_max*ratio)时(“否”的情况)，处理器16不进行步骤S308的处理而过渡到步骤S310。

在步骤S310中，判别是否结束尖锐化显示。若判别为不结束尖锐化显示(“否”的情况)，则过渡到步骤S300，并对下一个帧重复步骤S300至步骤S310的处理。

根据图像处理方法的第4实施方式，当在手动聚焦期间最新帧的聚焦评价值超出容许值时，用户能够得知聚焦评价值高，由此，能够防止由手动聚焦引起的聚焦透镜的过度移动。

[其他]

本实施方式的显示用的第2动态图像数据为对特定被摄体区域实施尖锐化处理而能够视觉辨认特定被摄体的聚焦状态的动态图像数据，但并不限于此，也可以为通过除尖锐化处理以外的方法使得能够视觉辨认特定被摄体的聚焦状态的动态图像数据。作为除尖锐化处理以外的方法，例如可以考虑根据聚焦状态的评价结果有意使特定被摄体区域变得模糊，或者改变包围特定被摄体的框的显示方式的方法等，总而言之，只要生成能够容易确认特定被摄体的聚焦状态的动态图像数据即可。

并且，作为表示特定被摄体的聚焦状态的评价结果的聚焦评价值，并不限于特定被摄体的轮廓成分的振幅，例如能够将特定被摄体区域的动态图像数据的高频成分的绝对值的累计值，或，在具有相位差像素的摄像元件的情况下，将由特定被摄体区域的相位差像素得到的相位差数据作为聚焦评价值。

在本实施方式中，例如执行处理器16的各种处理的处理部(processing unit：处理器)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥作用的通用的处理器即CPU(Central Processing Unit：中央处理单元)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器(例如，多个FPGA或CPU与FPGA的组合)构成。并且，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第1，有如下方式：如以用户端或服务器等计算机为代表那样，以一个以上的CPU与软件的组合构成一个处理器，该处理器作为多个处理部发挥作用。第2，有如下方式：如以片上系统(System On Chip：SoC)等为代表那样，使用由一个IC(Integrated Circuit：集成电路)芯片实现包含多个处理部的整个系统的功能的处理器。如此，各种处理部使用一个以上的上述各种处理器作为硬件结构而构成。

此外，更具体而言，这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的电路(circuitry)。

并且，本发明包括通过安装于计算机中而使计算机作为本发明所涉及的图像处理装置发挥作用的图像处理程序及记录有该图像处理程序的非易失性存储介质。

此外，本发明并不限定于上述的实施方式，当然可以在不脱离本发明的精神的范围内进行各种变形。

符号说明

10-摄像装置，12-摄像透镜，14-摄像部，16-处理器，16A-白平衡校正处理部，16B-去马赛克处理部，16C-亮度/色差转换处理部，16D-轮廓成分提取部，16E-轮廓强调处理部，16F-特定被摄体区域设定部，16G-合成处理部，16H-压缩处理部，18-存储器，20-显示部，22-输入输出接口，22A-存储器，22B-第2连接部，22C-第1连接部，24-操作部，R-特定被摄体区域，S10～S30、S100～S114、S200～S222、S300～S310-步骤。