图像处理设备、图像处理方法、摄像设备及机器可读介质

技术领域

本发明涉及图像处理设备、图像处理方法、摄像设备及机器可读介质，并且特别地涉及用于从图像中检测特征区域的技术。

背景技术

在各种领域中使用了用于从图像中检测包括预定特征的部分区域(特征区域)的技术。例如，在诸如数字照相机等的摄像设备中，进行焦点调节以聚焦于特征区域，并且控制曝光以使特征区域的亮度适当。在日本特开2008-129664中，描述了用于检测眼区域作为特征区域的图像处理设备。

在日本特开2008-129664中，首先从图像中检测面部区域，然后从检测到的面部区域中检测眼区域。通过以这种方式首先检测预期包含最终要检测的特征区域的部分区域、并限制用于检测特征区域的区域，例如，可以提高处理速度和检测精度。然而，除非可以正确地检测到该部分区域，否则特征区域的检测也导致失败。

发明内容

鉴于相关技术中的这种问题，本发明的实施例提供了能够使用较少处理以高精度检测特征区域的图像处理设备、图像处理方法和摄像设备。

根据本发明的一方面，提供了一种图像处理设备，包括：第一检测部件，用于分别使用第一方法和第二方法来从图像数据中检测预定的部分区域；第二检测部件，用于从所检测到的部分区域的数据中检测预定的特征区域；以及选择部件，用于选择针对使用所述第一方法检测到的部分区域的所述特征区域的检测结果以及针对使用所述第二方法检测到的部分区域的所述特征区域的检测结果其中之一作为所述特征区域的最终检测结果，其中，所述部分区域与同一被摄体相关。

根据本发明的另一方面，提供了一种摄像设备，包括：摄像部件，用于生成图像数据；根据本发明的图像处理设备，其使用由所述摄像部件生成的所述图像数据；控制部件，用于对由所述图像处理设备的所述选择部件选择的所述特征区域的检测结果进行焦点检测和/或曝光控制。

根据本发明的又一方面，提供了一种图像处理设备所执行的图像处理方法，包括：分别使用第一方法和第二方法来从图像数据中检测预定的部分区域；从所检测到的部分区域的数据中检测预定的特征区域；以及选择针对使用所述第一方法检测到的部分区域的所述特征区域的检测结果以及针对使用所述第二方法检测到的部分区域的所述特征区域的检测结果其中之一作为所述特征区域的最终检测结果，其中，所述部分区域与同一被摄体相关。

根据本发明的另一方面，提供了一种机器可读介质，其存储用于使计算机进行根据本发明的所述图像处理方法的程序。

根据以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是根据实施例的作为图像处理设备的示例的照相机的功能框图。

图2是第一实施例的特征区域检测单元的功能框图。

图3是与第一实施例的特征区域检测单元的操作相关的流程图。

图4是与第一实施例的特征区域检测单元的操作相关的流程图。

图5是与第一实施例的照相机控制单元的操作相关的流程图。

图6是第二实施例的特征区域检测单元的功能框图。

图7是与第二实施例的特征区域检测单元的操作相关的流程图。

具体实施方式

以下将参考附图来详细说明实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是没有限制本发明需要所有这样的特征，并且可以适当地组合多个这样的特征。此外，在附图中，为相同或相似的结构赋予相同的附图标记，并且省略其重复说明。

注意，在下述的实施例中，本发明被体现为可更换镜头的数字照相机系统。然而，本发明可以应用于能够处理图像数据的任何电子装置。这种电子装置的示例包括摄像机、计算机装置(个人计算机、平板计算机、媒体播放器和PDA等)、移动电话、智能电话、游戏机、机器人、无人机和行车记录仪。这些是示例，并且本发明可以应用于其它电子装置。

第一实施例

图1是示出作为根据本发明的第一实施例的图像处理设备的示例的可更换镜头的数字照相机系统(以下简称为照相机)的功能结构的框图。照相机包括主体120和可更换镜头100。注意，镜头可以是不可更换的。

形成被摄体的光学图像的可更换镜头100包括镜头单元101。镜头单元101包括主摄像光学系统102、光圈103和调焦透镜104。注意，主摄像光学系统102和调焦透镜104实际上由多个透镜构成。镜头单元101还包括马达和致动器等，以驱动诸如光圈103和调焦透镜104等的可移动构件。镜头单元101还可以包括图像稳定透镜、变焦透镜和其它可移动构件。

镜头控制单元111包括微处理器、ROM和RAM，并通过ROM上所存储的程序被读出到RAM并由微处理器执行来实现各种功能。图1中的镜头控制单元111内所示的功能块112和113示意性地示出通过程序被镜头控制单元111的微处理器执行而实现的代表性功能。

镜头控制单元111与照相机控制单元131进行通信，并基于来自照相机控制单元131的指示来控制调焦透镜104和光圈103的驱动。另外，镜头控制单元111向照相机控制单元131提供与镜头单元101相关的信息，诸如调焦透镜104的位置和f值等。

在主体120中，诸如互补金属氧化物半导体(CMOS)图像传感器等的图像传感器122包括被排列成二维阵列的多个像素。图像传感器122经由多个像素来对可更换镜头100所形成的被摄体的光学图像进行光电转换，并输出一组电信号(模拟图像信号)。在可更换镜头100和图像传感器122之间设置了快门121。注意，在光圈103也用作快门的情况下，快门121是不必要的。

图像传感器122所输出的模拟图像信号被输入到模拟前端(AFE)123中。在对模拟图像信号应用降噪处理和/或AD转换处理后，AFE 123将模拟图像信号输出为数字图像信号(图像数据)。

信号处理电路124对AFE 123所输出的图像数据应用预设的图像处理，并生成信号或图像数据，获得和/或生成各种信息等。信号处理电路124可以例如是被设计为实现特定功能的诸如专用集成电路(ASIC)等的专用硬件，或者可被配置为经由诸如数字信号处理器(DSP)等的可编程处理器执行软件来实现特定功能。

信号处理电路124能够对图像数据应用的图像处理包括颜色插值处理、校正处理、检测处理、数据修改处理和评价值计算处理等。

颜色插值处理是用于对在形成图像数据的像素数据中所发现的不足的颜色分量的值进行插值的处理，并且也称为去马赛克处理。

校正处理包括白平衡调整、用于校正镜头单元101的光学像差的影响的处理、以及用于校正色调的处理等。

检测处理包括用于检测特征区域的处理、用于跟踪特征区域的处理、以及用于识别人物的处理等。

数据修改处理包括缩放处理、显示用图像数据生成处理、编码和解码处理和头信息生成处理等。

评价值计算处理是用于生成自动焦点检测(AF)中所使用的信号或评价值的处理、以及用于生成自动曝光控制(AE)中所使用的评价值的处理等。

注意，这些仅仅是可由信号处理电路124应用于图像数据的图像处理的示例，并且这些示例不旨在限制由信号处理电路124应用于图像数据的图像处理。另外，作为上述示例给出的图像处理中的一个或更多个可以由照相机控制单元131执行。

在信号处理电路124进行图像处理后的图像数据根据应用而被输出到照相机控制单元131、显示单元171和存储卡125中的一个或更多个。

特征区域检测单元141在图1中被示意性地示为具有信号处理电路124的功能中的执行用于检测特征区域的处理的功能的功能块。本实施例中的特征区域检测单元141被配置为最终检测眼区域或瞳区域作为特征区域。然而，特征区域检测单元141可以检测面部的其它部位(诸如鼻或嘴等)。特征区域检测单元141首先在图像数据中检测预期包含特征区域的部分区域(在本示例中为面部或头部区域)。然后，特征区域检测单元141从各部分区域中检测特征区域。特征区域检测单元141向照相机控制单元131输出与部分区域和特征区域相关的检测结果(例如，指示所检测到的区域的位置和大小的信息)。

照相机控制单元131例如是微处理器，并且通过ROM 133中所存储的程序被读出到RAM 132并由微处理器执行来实现各种功能。图1中的照相机控制单元131内所示的功能块150至154是通过由照相机控制单元131的微处理器执行程序而实现的示意性地示出的代表性功能。

ROM 133例如是可重写的非易失性存储器，并且存储可由照相机控制单元131的微处理器执行的程序、设置值和GUI数据等。RAM 132用于暂时保持照相机控制单元131的微处理器所执行的程序所需的值以及在程序的执行期间所需的值。

主体120和可更换镜头100这两者设置有与彼此接合的安装件。主体120的安装件和可更换镜头100的安装件被设置有安装件触点单元114、161，该安装件触点单元114、161被配置成在安装件接合时彼此接触。通过使安装件触点部114、161彼此接触，可以从主体120向可更换镜头100供给电力，并且能够实现照相机控制单元131和镜头控制单元111之间的通信。

镜头控制单元111和照相机控制单元131经由安装件触点部114、161在预定定时通过串行通信来进行通信。这种通信允许从照相机控制单元131向镜头控制单元111发送调焦透镜驱动信息和光圈驱动信息等，并且允许从镜头控制单元111向照相机控制单元131发送调焦透镜位置、f值和焦距等。

照相机控制单元131的被摄体判断单元150根据部分区域的检测结果来对同一被摄体进行判断。另外，位置确定单元151基于特征区域的检测结果和被摄体判断单元150的判断结果来确定特征区域。显示框设置单元152设置下述的显示单元171上所显示的检测框。此外，被摄体设置单元153向焦点检测单元154通知用于识别镜头单元101要聚焦于的被摄体(对象被摄体)的图像区域的信息。这些功能块150至153基于特征区域检测单元141的检测结果来进行操作。

焦点检测单元154基于被摄体设置单元153所提供的信息来调整镜头单元101的调焦透镜104的位置以聚焦于图像区域。焦点检测单元154可以经由已知方法来调整调焦透镜104的位置。例如，焦点检测单元154能够通过对比度来进行焦点检测。焦点检测单元154使调焦透镜104的位置阶段性地移动，并拍摄图像，并从信号处理电路124获取与从拍摄图像获得的图像数据中的要聚焦于的图像区域相关的对比度评价值。另外，焦点检测单元154获得具有最大对比度评价值的调焦透镜104的位置，并指示镜头控制单元111将调焦透镜104驱动至该位置。

注意，在主体120生成相位检测AF用的图像信号的情况下，焦点检测单元154能够通过相位检测来进行焦点检测。例如，在其它示例中，主体120包括相位检测AF用的传感器，或者图像传感器122具有适于像面相位检测AF的结构。

注意，在从焦点检测单元154向镜头控制单元111发送用以驱动调焦透镜104的指示的情况下，指示可以是调焦透镜104的目标位置的指示，或者可以是当前位置和目标位置之间的差(诸如散焦量等)的指示。镜头控制单元111(调焦透镜控制单元113)基于经由来自照相机控制单元131的指示而接收到的信息来控制调焦透镜104的驱动。以这种方式，照相机控制单元131经由调焦透镜控制单元113来控制调焦透镜104的驱动。

显示单元171是包括视频存储器、显示控制器、显示装置和触摸面板172的触摸显示器。在本实施例中，显示单元171通过在设备处于摄像待机状态时继续拍摄视频并在显示单元171上实时显示所拍摄视频来用作电子取景器(EVF)。另外，在显示单元171上显示诸如菜单画面等的GUI以及诸如设置值等的信息。此外，还在显示单元171上显示从存储卡125读出并由信号处理电路124解码的图像数据。

作为触摸显示器的本实施例的显示单元171能够接收在触摸面板172上进行的触摸操作。照相机控制单元131检测在触摸面板172上进行的操作，基于触摸位置的时间变化等来识别触摸操作，并执行与所识别的触摸操作相对应的处理。

释放开关(SW)181是与静止图像拍摄相关的指示被输入至的输入装置。例如，释放SW 181包括在半按下状态中接通的开关(SW1)、以及在全按下状态中接通的开关(SW2)。照相机控制单元131将SW1接通识别为静止图像拍摄的准备指示，并执行AF和AE处理。此外，照相机控制单元131将SW2接通识别为静止图像拍摄的开始指示，并控制静止图像拍摄处理和记录用的图像数据的生成处理、以及图像数据的记录处理等。记录用的图像数据被记录在存储卡125上。

接着，将说明本实施例的特征区域检测单元141的结构和操作。图2是示出被进一步细分并且作为功能块的特征区域检测单元141的功能的图。如上所述，特征区域检测单元141是信号处理电路124的功能。因此，特征区域检测单元141的功能块也是信号处理电路124的功能。

特征区域检测单元141包括用作用于检测部分区域的第一检测部件的面部检测单元201和头部检测单元202、以及用作用于从部分区域中检测特征区域的第二检测部件的第一瞳检测单元203和第二瞳检测单元204。

面部检测单元201对图像数据应用已知的面部检测处理(第一方法)，并检测包含面部特征的部分区域(面部区域)。用于检测面部的方法的具体细节没有特别限制。例如，可以使用基于检测面部区域中的类特征边缘或图案的方法，或者可以使用利用经由机器学习对面部区域进行训练的神经网络的方法。具体地，面部区域的检测精度取决于面部的特征部位或器官(诸如眼、鼻和嘴等)的检测精度。因此，在不能检测到这些部位或器官的部分的情况下，面部区域检测趋于失败，并且误检的可能性趋于增加。

头部检测单元202对图像数据应用已知的头部检测处理(第二方法)，并检测包含头部特征(头部区域)的部分区域。用于检测头部区域的方法没有特别限制。例如，可以使用用于检测诸如omega(Ω)形状等的预定形状的区域的方法，或者可以使用利用经由机器学习对头部区域进行训练的神经网络的方法。另外，可以与检测人体的其它部位(诸如四肢或躯干等)相结合地检测头部区域。由于头部区域主要是基于轮廓形状而检测到的，因此不依赖于对面部的特征状部位或器官的检测。因此，即使在面部检测单元201未能检测到面部区域的情况下，头部检测单元202也可以成功地正确检测到头部。

第一瞳检测单元203从面部检测单元201所检测到的面部区域中检测眼区域或瞳区域。第二瞳检测单元204从头部检测单元202所检测到的头部区域中检测眼区域或瞳区域。第一瞳检测单元203和第二瞳检测单元204可以使用不同的检测方法，或者可以使用相同的检测方法。在使用相同检测方法的情况下，可以针对面部区域和头部区域使用一个瞳检测单元来检测眼区域或瞳区域。检测方法没有特别限制。例如，可以使用利用图案匹配的方法，或者可以使用利用经由机器学习对眼区域或瞳区域进行训练的神经网络的方法。

将使用图3的流程图来说明面部检测单元201和第一瞳检测单元203的操作，并且将使用图4的流程图来说明头部检测单元202和第二瞳检测单元204的操作。注意，特征区域检测单元141可以按图3和图4所示的顺序来执行操作，或者可以并行地执行这些操作中的至少一部分。另外，在该示例中，特征区域检测单元141拍摄显示单元171的显示装置的图像以用作EVF，并从构成从AFE 123供给的视频的一个帧的图像数据中检测特征区域。然而，例如，特征区域检测单元141能够从任意的图像数据(诸如从例如存储卡125读出的视频或静止图像数据等)中检测特征区域。另外，信号处理电路124可以在特征区域检测单元141的处理之前对图像数据应用用以减少处理负荷或提高检测精度的预处理。预处理可以包括但不限于分辨率改变(缩放)和颜色转换等。

如图3所示，在步骤S301中，面部检测单元201对所供给的图像数据应用面部检测处理。注意，对于面部检测单元201，作为正应用的面部检测处理的结果的具有特定检测可靠度或更大检测可靠度的区域作为检测结果而被包括。面部检测单元201将检测结果输出到第一瞳检测单元203，并保持检测结果。

在步骤S302中，第一瞳检测单元203判断面部检测单元201是否已检测到一个或更多个面部区域。如果第一瞳检测单元203已检测到一个或更多个面部区域，则执行步骤S303。如果第一瞳检测单元203尚未检测到面部区域，则执行步骤S306。

在步骤S303中，第一瞳检测单元203将尚未进行瞳检测的面部区域之一设置为瞳检测区域，然后执行步骤S304。

在步骤S304中，第一瞳检测单元203对步骤S303中所设置的瞳检测区域应用瞳检测处理。注意，作为瞳检测处理的替代，可以应用眼检测处理。注意，对于第一瞳检测单元203，作为正应用的瞳检测处理的结果的具有特定检测可靠度或更大检测可靠度的区域作为检测结果而被包括。第一瞳检测单元203保持检测结果，然后执行步骤S305。

在步骤S305中，第一瞳检测单元203判断是否已对步骤S301中所检测到的所有面部区域应用了瞳检测处理。在判断为存在尚未应用瞳检测处理的面部区域的情况下，第一瞳检测单元203重复执行从步骤S303起的处理。在第一瞳检测单元203判断为已对所有面部区域应用了瞳检测处理的情况下，特征区域检测单元141执行步骤S306。

在步骤S306中，特征区域检测单元141向照相机控制单元131输出面部检测单元201所保持的面部检测结果和第一瞳检测单元203所保持的瞳检测结果。在各检测结果中，包括至少指示所检测到的区域的中心坐标(图像坐标)、大小和检测可靠度的信息。注意，在步骤S302中没有检测到面部区域的情况下，特征区域检测单元141输出空结果。

如图4所示，在步骤S401中，头部检测单元202对所供给的图像数据应用头部检测处理。注意，对于头部检测单元202，作为正应用的头部检测处理的结果的具有特定检测可靠度或更大检测可靠度的区域作为检测结果而被包括。头部检测单元202将检测结果输出到第二瞳检测单元204，并保持检测结果。

在步骤S402中，第二瞳检测单元204判断头部检测单元202是否已检测到一个或更多个头部区域。如果第二瞳检测单元204已检测到一个或更多个头部区域，则执行步骤S403。如果第二瞳检测单元204尚未检测到头部区域，则执行步骤S406。

在步骤S403中，第二瞳检测单元204将尚未进行瞳检测的头部区域之一设置为瞳检测区域，然后执行步骤S404。

在步骤S404中，第二瞳检测单元204对步骤S403中所设置的瞳检测区域应用瞳检测处理。注意，作为瞳检测处理的替代，可以应用眼检测处理。注意，对于第二瞳检测单元204，作为正应用的瞳检测处理的结果的具有特定检测可靠度或更大检测可靠度的区域作为检测结果而被包括。第二瞳检测单元204保持检测结果，然后执行步骤S405。

在步骤S405中，第二瞳检测单元204判断是否已对步骤S401中所检测到的所有头部区域应用了瞳检测处理。在判断为存在尚未应用瞳检测处理的头部区域的情况下，第二瞳检测单元204重复执行从步骤S403起的处理。在第二瞳检测单元204判断为已对所有头部区域应用了瞳检测处理的情况下，特征区域检测单元141执行步骤S406。

在步骤S406中，特征区域检测单元141向照相机控制单元131输出头部检测单元202所保持的头部检测结果和第二瞳检测单元204所保持的瞳检测结果。在各检测结果中，包括至少指示所检测到的区域的中心坐标(图像坐标)、大小和检测可靠度的信息。注意，在步骤S402中没有检测到头部区域的情况下，特征区域检测单元141输出空结果。

注意，特征区域检测单元141可以共同输出从步骤S306和步骤S406获得的检测结果，或者可以单独输出这些检测结果。

接着，将使用图5的流程图来说明使用来自特征区域检测单元141的检测结果的照相机控制单元131的操作。

在步骤S501中，被摄体判断单元150判断是否存在尚未设置(以下称为未检查)瞳位置的面部区域。在被摄体判断单元150判断为存在未检查的面部区域的情况下，执行步骤S502。在被摄体判断单元150判断为不存在未检查的面部区域的情况下，执行步骤S511。在没有检测到面部区域的情况下，被摄体判断单元150判断为不存在未检查的面部区域。

在步骤S502中，被摄体判断单元150选择未检查的面部区域以及该面部区域的瞳检测结果。未检查的面部区域可以按任意顺序选择。

在步骤S503中，被摄体判断单元150判断是否存在未检查的头部区域。在被摄体判断单元150判断为存在未检查的头部区域的情况下，执行步骤S504。在被摄体判断单元150判断为不存在未检查的头部区域的情况下，执行步骤S509。在没有检测到头部区域的情况下，被摄体判断单元150判断为不存在未检查的头部区域。

在步骤S504中，被摄体判断单元150执行被摄体判断处理，该被摄体判断处理从未检查的面部区域中检测被认为与步骤S502中所选择的一个面部区域中的被摄体相同的被摄体的头部区域。被摄体判断处理可以通过任意方法来实现，并且，例如，可以通过使用旨在用于判断处理的两个区域之间的距离和/或重叠率的方法来实现。距离可以是区域的代表坐标(诸如中心或质心坐标等)之间的距离。另外，对于重叠率，例如可以使用交并比(IoU，也称为Jaccard系数)。IoU是两个区域的并集中的共通(重叠)部分的百分比。

IoU等于两个区域的共通部分的大小除以两个区域的并集的大小。

在本实施例中，在重叠率等于或大于阈值并且两个区域中的各区域的中心或质心坐标在另一个区域内的情况下，被摄体判断单元150判断为这两个区域是同一被摄体的区域。注意，在一个面部区域中多个头部区域被判断为是与同一被摄体相关的区域的情况下，被摄体判断单元150将与面部区域的重叠率最高的头部区域作为最终判断结果。此外，在多个头部区域具有最高重叠率的情况下，将与面部区域的中心坐标之间的距离最小的头部区域作为最终判断结果。在多个头部区域的中心坐标与面部区域的中心坐标的距离最小的情况下，通过任意方法将一个头部区域选为最终判断结果。被摄体判断单元150向位置确定单元151输出与作为最终判断结果获得的面部区域和头部区域的组合相关的信息。在不存在被判断为与同面部区域中的被摄体相同的被摄体相关的头部区域的情况下，被摄体判断单元150输出空信息或不输出任何信息。

在步骤S505中，位置确定单元151判断是否从被摄体判断单元150输出了被判断为与同一被摄体相关的面部区域和头部区域的组合。在位置确定单元151判断为已输出与同一被摄体相关的面部区域和头部区域的组合的情况下，执行步骤S506。在位置确定单元151判断为尚未输出与同一被摄体相关的面部区域和头部区域的组合的情况下，执行步骤S509。

在步骤S506中，位置确定单元151从由被摄体判断单元150判断为与同一被摄体相关的面部区域和头部区域中选择一个区域。位置确定单元151可以例如选择具有最高检测可靠度的区域，或者可以选择被判断为具有更优的瞳检测结果的区域。在该示例中，“更优的瞳检测结果”以已检测到具有特定检测可靠度或更大检测可靠度的一个或两个瞳区域作为第一条件。另外，在已检测到三个或更多个瞳区域的情况下，除了第一条件之外，第二条件是第三个值的检测可靠度相对于上两个检测可靠度值的差在特定值以上。注意，这里描述的选择方法是示例，并且可以使用基于其它基准的选择方法。

在步骤S507中，位置确定单元151将步骤S506中所选择的面部区域或头部区域的瞳检测结果添加至针对图像数据的特征区域的检测结果。

在步骤S508中，位置确定单元151使步骤S506中所使用的、由被摄体判断单元150判断为与同一被摄体相关的面部区域和头部区域处于瞳位置设置完成(检查完成)状态。然后，重复从步骤S501起的处理。

在步骤S503中不存在未检查的头部区域的情况下，或者在步骤S504中不存在被判断为与同面部区域中的被摄体相同的被摄体相关的头部区域的情况下，位置确定单元151执行步骤S509。

在步骤S509中，位置确定单元151将步骤S502中所选择的面部区域的瞳检测结果添加至针对图像数据的特征区域的检测结果。

在步骤S510中，位置确定单元151使步骤S502中所选择的面部区域处于检查完成状态。然后，重复执行从步骤S501起的处理。

在重复上述处理并且不存在更多的未检查的面部区域的情况下，或者在面部检测单元201尚未检测到任何面部区域的情况下，处理从步骤S501过渡到步骤S511。

在步骤S511中，位置确定单元151将针对未检查的头部区域(换句话说，不存在被判断为与同一被摄体相关的面部区域的头部区域)的瞳检测结果添加至针对图像数据的特征区域的检测结果。在头部检测单元202尚未检测到头部区域的情况下，由于不存在针对头部区域的瞳检测结果，因此不向针对图像数据的特征区域的检测结果添加任何内容。

在步骤S512中，位置确定单元151向照相机控制单元131输出通过上述处理添加的针对图像数据的特征区域的检测结果。

在步骤S513中，照相机控制单元131使用在步骤S512中由位置确定单元151输出的特征区域的检测结果来执行处理。例如，在EVF上叠加用于指示所检测到的特征区域的指示器，并进行焦点检测，从而使特征区域成为焦点检测区域(AF框)。

具体地，显示框设置单元152生成与特征区域的检测结果中所包括的瞳区域的中心坐标和瞳区域的大小相对应的框状指示器的图像，将该图像写入显示单元171的视频存储器，并在正显示的视频上叠加该图像。

另外，被摄体设置单元153向焦点检测单元154通知通过触摸面板172上的触摸操作而选择的瞳区域的信息，例如，作为焦点检测区域的设置信息。焦点检测单元154执行使从被摄体设置单元153经由通知接收到的瞳区域成为焦点检测区域的焦点检测操作。以这种方式，调焦透镜104的位置被设置为使得镜头单元101聚焦于该瞳区域。注意，所选择的瞳区域的信息可用于诸如自动曝光控制等的其它处理。

根据本实施例，当从图像数据中检测到预定的特征区域时，基于不同方法来检测包含该特征区域的部分区域，并且针对各部分区域检测该特征区域。因此，如果条件阻碍一种方法检测到部分区域，则其它方法检测到部分区域的可能性增加，并且可以检测到最终特征区域的可能性增加。另外，在可以使用两种方法检测到同一被摄体的部分区域的情况下，从部分区域中选择被判断为具有更优的特征区域的检测结果的一个区域。因此，可以提高检测结果的可靠度。

第二实施例

接着，将说明本发明的第二实施例。除了特征区域检测部的结构和操作之外，本实施例与第一实施例相同。因此，在以下说明中，将重点说明特征区域检测单元。

图6是示意性地示出本实施例的特征区域检测单元141’的图。从与图2的比较可以看出，本实施例的特征区域检测单元141’包括用作面部检测单元和头部检测单元这两者的部分区域检测单元601以及用作第一瞳检测部和第二瞳检测部这两者的瞳检测单元602。

部分区域检测单元601例如可以是使用被训练用于检测面部区域和头部区域的神经网络的检测器。由于已经对面部区域和头部区域训练了一个检测器，因此可以利用不同的算法来检测部分区域，同时还使电路规模保持小型化。

瞳检测单元602针对由部分区域检测单元601所检测到的各部分区域检测瞳区域或眼区域。检测方法可以与第一实施例中所使用的方法相同。

接着，将使用图7的流程图来说明特征区域检测单元141’的操作。图7的流程图与第一实施例的图3和图4的流程图相对应。

在步骤S701中，部分区域检测单元601从所供给的图像数据中检测部分区域(面部区域和头部区域)。对部分区域应用面部检测处理。部分区域检测单元601将检测结果输出到瞳检测单元602，并保持检测结果。

在步骤S702中，瞳检测单元602判断利用部分区域检测单元601是否已检测到一个或更多个部分区域。如果瞳检测单元602已检测到一个或更多个部分区域，则执行步骤S703。如果瞳检测单元602尚未检测到部分区域，则执行步骤S706。

在步骤S703中，瞳检测单元602将尚未进行瞳检测的部分区域其中之一设置为瞳检测区域，然后执行步骤S704。

在步骤S704中，瞳检测单元602对步骤S703中所设置的瞳检测区域应用瞳检测处理。注意，作为瞳检测处理的替代，可以应用眼检测处理。瞳检测单元602保持检测结果，然后执行步骤S705。

在步骤S705中，瞳检测单元602判断是否已对步骤S701中所检测到的所有部分区域应用了瞳检测处理。在判断为存在尚未应用瞳检测处理的部分区域的情况下，瞳检测单元602重复执行从步骤S703起的处理。在瞳检测单元602判断为已对所有部分区域应用了瞳检测处理的情况下，特征区域检测单元141’执行步骤S706。

在步骤S706中，特征区域检测单元141’向照相机控制单元131输出由部分区域检测单元601所保持的检测结果和由瞳检测单元602所保持的瞳检测结果。在各检测结果中，包括至少指示所检测到的区域的中心坐标(图像坐标)、大小和检测可靠度的信息。注意，在步骤S702中没有检测到部分区域的情况下，特征区域检测单元141’输出空结果。

由照相机控制单元131使用特征区域的检测结果进行的处理可以与第一实施例中所描述的处理相同。

在第一实施例中，面部区域和头部区域由不同的检测部检测，并且对于瞳检测，面部区域和头部区域也由不同的检测部检测。相比之下，在本实施例中，面部区域和头部区域由单个检测部检测，并且瞳区域也由单个检测部检测。在本实施例中，可以使特征区域检测单元141’的电路规模比第一实施例中的电路规模小。利用第一实施例的结构，通过并行执行面部区域检测和针对面部区域的瞳检测的一系列处理以及头部区域检测和针对头部区域的瞳检测的一系列处理，可以提高处理速度。

注意，在第一实施例中，针对部分区域的检测单元和特征区域的检测单元设置多个检测部。在第二实施例中，仅针对部分区域的检测单元和特征区域的检测单元中的每一个设置一个检测单元。然而，部分区域的检测部的数量和特征区域的检测部的数量不必相同。

已经说明了本发明的两个实施例。然而，本发明不限于这些具体实施例。本发明包括权利要求的范围内所包括的各种修改。例如，可以针对部分区域设置三个以上的检测部。另外，在多个头部区域被判断为与同一个面部区域中的被摄体相同的被摄体相关的情况下，可以选择一个头部区域，同时可以使用多个头部区域的信息。例如，可以对多个头部区域中所检测到的瞳区域的信息进行组合(例如，可以对具有等于或小于阈值的距离的瞳区域的位置进行求平均)，并且可以计算新的瞳区域的检测位置和大小。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。以下权利要求书的范围应被给予最广泛的理解，以包含所有这样的修改以及等同结构和功能。