控制设备、摄像设备、控制方法和存储介质

技术领域

本公开的一个方面涉及控制设备、摄像设备、控制方法和存储介质。

背景技术

一些传统的摄像设备在无需用户的操作的情况下自动控制摄像视角(自动取景)。日本特开2014-155173公开了使用在三维空间中指定的三维任意虚拟对象来进行自动释放的摄像设备。更具体地，该摄像设备可以通过在真实空间中的被摄体离开或进入虚拟对象时自动拍摄图像来在无需用户的操作的情况下自动进行摄像。

日本特开2014-155173中所公开的摄像设备没有公开在基于虚拟对象的搜索区域中搜索被摄体，因此无法进行自动取景。

发明内容

本公开的一个方面提供了能够使用正确地反映用户意图的搜索区域来进行自动取景控制的控制设备。

根据本发明的一方面的控制设备包括至少一个处理器以及耦接到所述至少一个处理器的存储器。所述存储器具有指令，所述指令在由处理器执行时，将所述处理器配置为用作：获取单元，其被配置为获取与使用距离测量单元所获得的三维空间有关的信息、以及与用户所指定的三维图形有关的信息；确定单元，其被配置为基于与所述三维空间有关的信息和与所述三维图形有关的信息来确定搜索区域；以及控制单元，其被配置为自动控制摄像视角，使得所述搜索区域中的主被摄体被包括在所述摄像视角中。具有上述控制设备的摄像设备也构成了本公开的另一方面。与上述控制设备相对应的控制方法也构成了本公开的另一方面。一种非暂态计算机可读存储介质也构成了本公开的另一方面，所述非暂态计算机可读存储介质存储有用于使计算机执行上述控制方法的程序。

从参考附图对实施例的以下描述，本发明的进一步特征将变得明显。

附图说明

图1是根据各个实施例的摄像设备的框图。

图2是根据各个实施例的摄像设备的外观图。

图3是根据第一实施例的控制方法的流程图。

图4是示出第一实施例中的搜索区域和自动取景位置之间的关系的示意图。

图5示出第一实施例中的具有复杂形状的搜索区域的示例。

图6是根据第二实施例的摄像设备的框图。

图7是根据第二实施例的控制方法的流程图。

图8是示出第二实施例中的搜索区域和自动取景位置之间的关系的示意图。

图9是根据第三实施例的摄像设备的框图。

图10是根据第三实施例的控制方法的流程图。

图11示出第三实施例中的距离测量结果。

图12是示出第三实施例中的搜索区域和自动取景位置之间的关系的示意图。

图13是根据第四实施例的摄像设备的框图。

图14是根据第四实施例的控制方法的流程图。

图15是示出第四实施例中的搜索区域和自动取景位置之间的关系的示意图。

图16是示出第五实施例中的搜索区域和自动取景位置之间的关系的示意图。

图17是根据第六实施例的控制方法的流程图。

图18是示出第六实施例中的搜索区域和自动取景位置之间的关系的示意图。

具体实施方式

现在将参考附图给出根据本公开的实施例的描述。

在下文中，术语“单元”可以是指软件上下文、硬件上下文、或者软件上下文和硬件上下文的组合。在软件上下文中，术语“单元”是指功能性、应用、软件模块、功能、例程、指令集或可以由可编程处理器(诸如微处理器、中央处理单元(CPU)或者特别设计的可编程装置或控制器等)执行的程序。存储器包含指令或程序，其中该指令或程序在由CPU执行时，使CPU进行与单元或功能相对应的操作。在硬件上下文中，术语“单元”是指硬件元件、电路、装配件、物理结构、系统、模块或子系统。取决于特定实施例，术语“单元”可以包括机械、光学或电子组件或者其任意组合。术语“单元”可以包括有源组件(例如晶体管)或无源组件(例如电容器)。术语“单元”可以包括半导体装置，该半导体装置包括基板和具有各种导电浓度的其他材料层。术语“单元”可以包括能够执行存储在存储器中的程序以进行指定功能的CPU或可编程处理器。术语“单元”可以包括由晶体管电路或任意其他切换电路实现的逻辑元件(例如，AND(与)、OR(或))。在软件上下文和硬件上下文的组合中，术语“单元”或“电路”是指如上所述的软件上下文和硬件上下文的任意组合。另外，术语“元件”、“装配件”、“组件”或“装置”也可以是指与封装材料集成或不集成的“电路”。

现在参考图1和图2，将给出根据各个实施例的摄像设备1的描述。图1是示出摄像设备1的硬件配置的框图。图2是摄像设备1的外观图。在图1和图2中，相同的元件由相同的附图标记表示。

摄像设备1包括计算单元(CPU)101、信息处理单元102、通信单元103、主存储器(DRAM)104、辅存储器(闪速存储器)105、光学摄像单元106、光学驱动单元107、三维空间识别单元108、显示单元109和操作单元110。摄像设备1的各个部件可以经由总线111交换数据。

计算单元101是被配置为控制摄像设备1的各个组件的控制设备，并且包括获取单元101a、确定单元101b和控制单元101c。获取单元101a获取与三维空间识别单元108所识别的(使用三维空间识别单元108的距离测量单元所获得的)三维空间有关的信息和用户所指定的三维图形(虚拟对象)。确定单元101b基于与三维空间有关的信息以及与三维图形有关的信息(基于三维空间和布置在三维空间中的三维图形)来确定搜索区域。控制单元101c自动进行视角控制(自动取景控制)，使得搜索区域中的主被摄体被包括在摄像视角中。

信息处理单元102进行针对光学摄像单元106所获取的图像数据的计算处理、针对光学摄像单元106所获取的各种评估值的计算处理、针对通信单元103所获取的数据的计算处理、以及针对用于光学驱动单元107的控制的数据的计算处理。通信单元103用作被配置为与外部装置等进行通信的通信单元。主存储器104临时存储用于计算单元101或信息处理单元102的数据。辅存储器105存储用于计算单元101的处理的数据、以及由信息处理单元102进行处理并编码的记录图像等。

光学摄像单元106包括光学系统和图像传感器，并且用作被配置为对光学系统所形成的被摄体图像(光学图像)进行光电转换并输出图像数据的摄像单元。光学驱动单元107用作被配置为驱动光学摄像单元106的光学系统并改变光学系统的位置的驱动单元。光学系统可以通过光学驱动单元107来驱动变焦和光阑(光圈)，并且可以使视角绕例如平摇轴、俯仰轴和侧倾轴其中至少之一转动。绕平摇轴和俯仰轴的转动通过调整包括光学系统和图像传感器的整个光学摄像单元106的角度来进行。绕侧倾轴的转动通过调整图像传感器的角度来进行。摄像设备1可以在垂直方向、水平方向和深度方向其中至少之一上可移动。各个实施例描述了代表性的自动摄像照相机作为摄像设备1，但是摄像设备1的光学驱动单元107的形式不受限制。例如，摄像设备1可以被配置为能够像无人机那样通过使主体自身移动或转动来取景，或者可以像诸如万向架(gimbal)等的移动平台那样包括使用外部设备的光学驱动单元107。

三维空间识别单元108包括诸如立体照相机和飞行时间(ToF)传感器等的距离测量单元，并且用作被配置为使用距离测量单元来识别真实空间(三维空间)中的距离信息的识别单元。在本实施例中，三维空间识别单元108所识别的与三维空间有关的信息(三维空间信息)被输出到计算单元101，并由计算单元101的获取单元101a获取。三维空间识别单元108不限于与摄像设备1集成的配置，而是可以与摄像设备1的照相机主体分开(与照相机主体在物理上分开)。三维空间识别单元108不限于具有单个距离测量单元的配置，而是可以包括彼此间隔开的多个距离测量单元。三维空间识别单元108可以利用多个距离测量单元所测量的距离信息来识别三维空间。

显示单元109用作显示器(诸如配备有例如触摸面板的显示器)，并且可以显示图像并使用用户的手指或触笔等来输入操作。操作单元110用作被配置为输入用户的操作的操作单元，诸如按钮或拨盘等。操作单元110可以包括一个或多于一个按钮和拨盘，或者可以用显示单元109来代替。

现在将给出六个实施例的描述。第一实施例涉及使用单个摄像设备的自动取景控制。自动取景控制是指在无需用户的操作的情况下对摄像视角的自动控制，诸如用于包括主被摄体的平摇/俯仰控制、和/或用于使主被摄体在视角内保持预定大小的自动变焦控制等。第二实施例涉及关联地使用多个摄像设备的自动取景控制。第三实施例是如下实施例：在相对于摄像设备1的相对坐标系中表示三维空间识别单元108所识别的与三维空间有关的信息(三维空间信息)，以容易地进行自动取景控制。第四实施例是进行自动取景控制以使得主被摄体和用户所指定的区域(用户指定区域)被包括在摄像视角中的实施例。第五实施例是进行自动取景控制以使得主被摄体和用户所指定的搜索区域外的区域被包括在摄像视角中的实施例。第六实施例是进行自动取景控制以使得主被摄体和用户所指定的多个区域被包括在摄像视角中的实施例。

第一实施例

现在参考图3至图5，将给出根据第一实施例的控制方法(自动取景控制)的描述。使用图1和图2所示的摄像设备1来执行根据本实施例的控制方法。图3是根据本实施例的控制方法的流程图。图4是示出搜索区域和自动取景位置之间的关系的示意图。图5示出具有复杂形状的搜索区域的示例。

首先，在图3的步骤S300中，自动取景控制开始。在本实施例中，在用户操作摄像设备1的操作单元110以将摄像设备1转变到摄像模式的情况下，摄像设备的计算单元101在步骤S300中开始自动取景控制。计算单元101基于以下流程来执行程序。

在步骤S301中，计算单元101(获取单元101a)从三维空间识别单元108获取三维空间信息，其中该三维空间信息定义了基于来自至少一个视点的图像和距离信息所生成的真实空间中的各个物体的模型和配置。计算单元101所获取的三维空间信息被存储在主存储器104中。接下来，在步骤S302中，计算单元101根据经由通信单元103或操作单元110输入的来自用户的指令，来放置如图4所示的虚拟对象400。也就是说，计算单元101生成将虚拟对象400叠加在真实空间(三维空间)上的图像。该实施例可以例如利用诸如增强现实(AR)和混合现实(MR)等的技术。摄像设备1可以是诸如头戴式显示器(HMD)、安装有照相机的智能电话、或平板终端等的使用照相机的设备。从而，虚拟对象400可以被放置(映射)在具有深度方向上的信息、并且与真实空间连动的位置(与真实空间相关联的绝对位置)处。

在本实施例中，作为自动取景的目标的搜索区域是虚拟对象400的内部区域。然而，本实施例不限于该示例。搜索区域可以是虚拟对象400外的区域。虚拟对象400可以被设置为使其在实时取景(LV)图像中显示为辅助图像，但不显示在记录图像中。

虚拟对象400是任意三维图形。例如，可以通过经由通信单元103从外部装置(诸如信息处理设备或第二摄像设备等)获取与使用计算机等预先创建的任意三维图形有关的信息来设置虚拟对象400。可替代地，可以通过使用操作单元110选择具有诸如长方体或圆柱体等的基本形状的图形(预先创建并存储在摄像设备1中的图形)、并将所选择的图形布置在显示单元109上所显示的LV图像中的期望位置处，来设置虚拟对象400。虚拟对象400被布置在与步骤S301中所获取的三维空间信息相关联的位置处，其中该位置被存储在摄像设备1中作为相对于三维空间的位置信息(与绝对位置有关的信息)，而不是与相对于摄像设备的相对位置有关的传统信息。

在图4中，搜索区域(虚拟对象400的内部区域)具有长方体形状，但不限于该示例，并且搜索区域例如可以是图5所示的甜甜圈形状的图形(虚拟对象500的内部区域)。图5示出如下示例：虚拟对象500仅被放置在陆地赛道504的中央跑道上，并且通过将被摄体501至503中的在中央跑道上跑步的被摄体502设置为主被摄体来进行自动取景。在这种情况下，可以将在除中央跑道以外的跑道上跑步的被摄体501和503从自动取景目标中排除。

接下来，在图3的步骤S303中，计算单元101控制光学驱动单元107，使得搜索区域和距搜索区域预定范围内的区域被容纳在光学摄像单元106的摄像视角中。计算单元101在搜索区域和距搜索区域预定范围内的区域中搜索主被摄体(进行被摄体搜索)。可以在完全包括在搜索区域中的被摄体中搜索主被摄体，或者可以在部分包括在搜索区域中的被摄体中搜索主被摄体。例如，计算单元101(确定单元101b)基于搜索区域和被摄体之间的重叠度来确定主被摄体。在计算单元101基于重叠度判断为整个被摄体被包括在搜索区域中的情况下，计算单元101确定为该被摄体是主被摄体。可替代地，当基于重叠度判断为被摄体的一部分被包括在搜索区域中时，计算单元101可以将该被摄体确定为主被摄体。对主被摄体的搜索是基于例如公知的一般物体识别结果、特征点检测结果或运动矢量检测结果等来进行的。

接下来，在步骤S304中，计算单元101判断是否确定了主被摄体。在确定了主被摄体的情况下，流程前进到步骤S305。另一方面，在尚未确定主被摄体的情况下，流程返回到步骤S303。在图4中，在被摄体401至406中，被包括在虚拟对象400中的被摄体403和404是自动取景的目标，并且在作为自动取景的目标的被摄体403、404中，被摄体403被确定为主被摄体。

在步骤S305中，计算单元101控制光学驱动单元107，使得主被摄体(被摄体403)被放置在摄像视角内，并且确定自动取景位置407。接下来，在步骤S306中，计算单元101判断主被摄体是否被包括在搜索区域中。在主被摄体被包括在搜索区域中的情况下，流程返回到步骤S305，并且计算单元101继续自动取景。在主被摄体未被包括在搜索区域中的情况下，计算单元101一度停止自动取景，并且流程前进到步骤S307。在步骤S307中，计算单元101判断摄像模式是否已结束(即，操作单元110是否已指示结束摄像模式)。在摄像模式已结束的情况下，流程前进到步骤S308以结束摄像(自动取景控制)。在摄像模式尚未结束的情况下，流程返回到步骤S303，计算单元101搜索并确定新的主被摄体，并且对所确定的新的主被摄体进行自动取景。

在本实施例中，摄像设备1的信息处理单元102进行各种计算处理。摄像设备1可以使用通信单元103与诸如云等的外部装置进行通信，并且可以在诸如云等的外部装置上进行计算处理。根据本实施例的自动取景控制可应用于静止图像拍摄和运动图像拍摄这两者。

本实施例可以指定具有复杂形状的搜索区域。本实施例可以将搜索区域作为绝对坐标映射到真实空间上。也就是说，即使摄像设备1被移动，搜索区域也不会移动，并且搜索区域可以固定在真实空间中的映射位置处。

第二实施例

现在参考图6至图8，将给出根据第二实施例的控制方法(自动取景控制)的描述。在第一实施例中，描述了使用单个摄像设备进行自动取景控制的示例。在使用多个摄像设备在共同搜索区域中进行自动取景控制的情况下，需要针对多个摄像设备中的各个摄像设备指定搜索区域。因此，本实施例与多个摄像设备相关联地进行自动取景控制，并且简化了搜索区域的共享。

图6是示出本实施例中的摄像设备(第一摄像设备)1和摄像设备(第二摄像设备)2的硬件配置的框图。由于图6所示的摄像设备1具有与图1所示的摄像装置1相同的硬件配置，因此将省略对其的描述。摄像设备2包括计算单元(CPU)201、信息处理单元202、通信单元203、主存储器(DRAM)204、辅存储器(闪速存储器)205、光学摄像单元206、光学驱动单元207、三维空间识别单元208、显示单元209和操作单元210。计算单元201包括获取单元201a、确定单元201b和控制单元201c。摄像设备2的各个组件可以经由总线211交换数据。摄像设备2的各个组件与摄像设备1的各个组件相同，因此将省略对其的描述。摄像设备1和摄像设备2经由通信单元103和通信单元203彼此通信。在本实施例中，摄像设备1将被描述为用于发送搜索区域的主侧(master-side)摄像设备，并且摄像设备2将被描述为用于接收搜索区域的从侧(slave-side)摄像设备。

图7是根据本实施例的控制方法的流程图。图8是示出搜索区域和自动取景位置之间的关系的示意图。在图7中，与图3中的步骤类似的步骤将由相同的附图标记表示，并且将省略对其的描述。

在步骤S302中摄像设备1的计算单元101指定了搜索区域的情况下，流程前进到步骤S700。在步骤S700中，计算单元101使用摄像设备1的通信单元103将与同搜索区域相对应的虚拟对象400的形状和位置有关的信息发送到摄像设备2(从侧摄像设备)的通信单元203。

在步骤S701中，摄像设备2的计算单元201使用通信单元203从摄像设备1(主侧摄像设备)的通信单元103接收与虚拟对象400的形状和位置有关的信息。接下来，在步骤S702中，计算单元201将所接收到的与虚拟对象400有关的信息与使用三维空间识别单元208所获取的三维空间信息相关联，在与摄像设备2有关的三维空间信息中布置虚拟对象400，并指定搜索区域。由此，如图8所示，摄像设备1和摄像设备2共享虚拟对象400。对于包括在虚拟对象400中的被摄体403和404，摄像设备1和摄像设备2各自可以进行自动取景控制。图8示出确定自动取景位置407以使得被摄体403位于摄像设备1的摄像视角内、并且确定自动取景位置800以使得被摄体404位于摄像设备2的摄像视角内的示例。

本实施例描述了两个摄像设备的关联，但不限于该示例。本实施例也可适用于三个或多于三个摄像设备的关联。在本实施例中，假设摄像设备1是主侧，并且假设摄像设备2是从侧，但是摄像设备1和摄像设备2这两者都可以具有主功能和从功能。

本实施例可以简化使用多个摄像设备的自动取景控制中搜索区域的共享。

第三实施例

现在参考图9至图12，将给出根据第三实施例的控制方法(自动取景控制)的描述。在第一实施例中，描述了使用单个摄像设备进行自动取景控制的示例。在第二实施例中，与多个摄像设备相关联地进行自动取景控制，以简化搜索区域的共享。在三维空间识别单元108中将三维空间信息用绝对坐标系来表示的情况下，需要使三维空间被预先识别的校准操作。在通过附接到摄像设备的距离测量单元获得距离信息的情况下，通常使用相对于摄像设备的距离信息(或使用相对坐标系)。因此，在获取摄像设备在绝对坐标上的位置之后，需要从相对坐标转换为绝对坐标。换句话说，需要复杂的处理。因此，本实施例通过相对于摄像设备1的相对坐标系来表示三维空间信息，并且容易地进行自动取景控制。

图9是示出根据本实施例的摄像设备3的硬件配置的框图。在图9所示的摄像设备3中，具有与图1所示的摄像设备1的硬件配置相同的硬件配置的那些元件将由相同的附图标记表示，并且将省略对其的描述。摄像设备3包括三维空间识别单元308。三维空间识别单元308包括诸如立体照相机和ToF传感器等的距离测量单元，并且用作被配置为使用距离测量单元来识别真实空间(三维空间)中的照相机与被摄体之间的距离信息的识别单元。在本实施例中，三维空间识别单元308所识别的与三维空间有关的信息(三维空间信息)被输出到计算单元101，并由计算单元101的获取单元101a获取。

图10是根据本实施例的控制方法的流程图。图11是示出从摄像设备3到被摄体1100的距离的测量结果的示意图。在图10中，与图3中的步骤类似的步骤将由相同的附图标记表示，并且将省略对其的描述。

首先，在图10的步骤S1000中，自动取景控制开始。在本实施例中，在用户操作摄像设备3的操作单元110以将摄像设备3转变到摄像模式的情况下，摄像设备3的计算单元101在步骤S1000中开始自动取景控制。计算单元101基于以下流程来执行程序。

在步骤S1001中，计算单元101(获取单元101a)从三维空间识别单元308获取与相对坐标系有关的三维空间信息。与相对坐标系有关的三维空间信息是定义了基于来自至少一个视点的图像和距离信息所生成的真实空间中的各个物体的模型和配置的三维空间信息。

距离信息通常由照相机和被摄体之间的相对坐标系来表示。图11示出从摄像设备3到被摄体1100的距离的测量结果，其中被摄体1100位于相对坐标系中的(s1，t1，u1)处。在真实空间由绝对坐标系表示的情况下，从相对坐标系向绝对坐标系的转换是必要的，但在真实空间由相对坐标系表示的情况下，该转换是不必要的。

计算单元101所获取的三维空间信息被存储在主存储器104中。接下来，在步骤S1002中，计算单元101根据经由通信单元103或操作单元110所输入的来自用户的指令，来放置如图12所示的虚拟对象1101。也就是说，计算单元101生成将虚拟对象1101叠加在真实空间(三维空间)上的图像。从而，虚拟对象1101可以被放置(映射)在具有深度方向上的信息的并且与真实空间连动的位置(与真实空间相关联的绝对位置)处。在图12中，虚拟对象1101被布置在位置(s1，t1，u1)至(s9，t9，u9)处。

第四实施例

现在参考图13至图15，将给出根据第四实施例的控制方法(自动取景控制)的描述。在第一实施例中，描述了使用单个摄像设备进行自动取景控制的示例。在第二实施例中，与多个摄像设备相关联地进行自动取景控制，以简化搜索区域的共享。在第三实施例中，描述了进行自动取景控制使得在相对坐标系中表示三维空间信息的示例。在除了主被摄体之外、还存在要包括在摄像视角中的除主被摄体以外的区域的情况下，用户需要指定要包括在摄像视角中的除主被摄体以外的区域。本实施例进行自动取景控制，使得主被摄体和用户所指定的除主被摄体以外的区域这两者都包括在摄像视角中。

图13是示出根据本实施例的摄像设备4的硬件配置的框图。在图13所示的摄像设备4中，具有与图1所示的摄像设备1的硬件配置相同的硬件配置的那些元件将由相同的附图标记表示，并且将省略对其的描述。图14是根据本实施例的控制方法的流程图。在图14中，与图3中的步骤类似的步骤将由相同的附图标记表示，并且将省略对其的描述。图15是示出搜索区域和自动取景位置之间的关系的示意图。在图15中，与图4中的对象类似的对象将由相同的附图标记表示，并且将省略对其的描述。

在图14中的步骤S1402中，计算单元101根据经由通信单元103或操作单元110输入的来自用户的指令，来放置如图15所示的虚拟对象400和虚拟对象1500。也就是说，计算单元101生成将虚拟对象400和虚拟对象1500叠加在真实空间(三维空间)上的图像。该实施例例如可以利用诸如增强现实(AR)和混合现实(MR)等的技术。摄像设备4可以是诸如HMD、安装有照相机的智能电话、或平板终端等的使用照相机的设备。从而，虚拟对象400和虚拟对象1500可以被布置(映射)在具有深度方向上的信息的并且与真实空间连动的位置(与真实空间相关联的绝对位置)处。

虚拟对象400和虚拟对象1500是任意三维图形。例如，可以通过经由通信单元103从外部装置(诸如信息处理设备或第二摄像设备等)获取与使用计算机等预先创建的任意三维图形有关的信息来设置虚拟对象400和虚拟对象1500。可替代地，可以通过使用操作单元110选择具有诸如长方体或圆柱体等的基本形状的图形(预先创建并存储在摄像设备4中的图形)、并将所选择的图形布置在显示单元109上所显示的LV图像中的期望位置处，来设置虚拟对象400和虚拟对象1500。虚拟对象400和虚拟对象1500被放置在与步骤S301中所获取的三维空间信息相关联的位置处。从而，虚拟对象400和虚拟对象1500被存储在摄像设备4中作为相对于三维空间的位置信息(与绝对位置有关的信息)，而不是与相对于摄像设备的相对位置有关的传统信息。

在步骤S1405中，计算单元101控制光学驱动单元107，使得主被摄体(被摄体403)和虚拟对象1500位于摄像视角内，并确定自动取景位置1507。例如，计算单元101基于主被摄体的重心位置和虚拟对象1500的重心位置来评估视角，并且控制光学驱动单元107，使得主被摄体和虚拟对象1500a被包括在摄像视角中。

本实施例可以进行自动取景控制，使得主被摄体和用户所指定的区域这两者被包括在摄像视角中。

第五实施例

现在参考图13、图14和图16，将给出根据第五实施例的控制方法(自动取景控制)的描述。在第四实施例中，描述了进行自动取景控制以使得主被摄体和用户所指定的除主被摄体以外的区域被包括在摄像视角中的示例。在除主被摄体以外的要被包括在摄像视角中的区域在搜索区域外的情况下，用户也需要指定除主被摄体以外的要被包括在摄像视角中的区域。因此，本实施例进行自动取景控制，以使得在摄像视角中包括主被摄体和用户所指定的除主被摄体以外的区域。

图13是示出根据本实施例的摄像设备4的硬件配置的框图。在图13所示的摄像设备4中，具有与图1所示的摄像设备1的硬件配置相同的硬件配置的那些元件将由相同的附图标记表示，并且将省略对其的描述。图14是根据本实施例的控制方法的流程图。在图14中，与图3中的步骤类似的步骤将由相同的附图标记表示，并且将省略对其的描述。图16是示出搜索区域和自动取景位置之间的关系的示意图。在图16中，与图4中的对象类似的对象将由相同的附图标记表示，并且将省略对其的描述。

在图14的步骤S1402中，计算单元101根据经由通信单元103或操作单元110输入的来自用户的指令，来放置如图16所示的虚拟对象400和虚拟对象1600。也就是说，计算单元101生成将虚拟对象400和虚拟对象1600叠加在真实空间(三维空间)上的图像。尽管在第四实施例中将虚拟对象1500放置在虚拟对象400内，但是在本实施例中，将虚拟对象1600放置在虚拟对象400外。

在步骤S1405中，计算单元101控制光学驱动单元107，使得主被摄体(被摄体403)和虚拟对象1600位于摄像视角内，并确定自动取景位置1607。本实施例确定自动取景位置1607，使得主被摄体(被摄体403)和虚拟对象1600这两者位于摄像视角内，但本公开不限于该示例。例如，在主被摄体与虚拟对象1600之间的距离长的情况下(在主被摄体与虚拟对象1600之间的距离大于预定阈值的情况下)，可以确定自动取景位置，使得仅主被摄体位于摄像视角内。

本实施例可以进行自动取景控制，以使得在摄像视角中包括主被摄体和用户所指定的搜索区域外的区域这两者。

第六实施例

现在参考图13、图17和图18，将给出根据第六实施例的控制方法(自动取景控制)的描述。在第四实施例中，描述了进行自动取景控制以使得在摄像视角中包括主被摄体和用户所指定的除主被摄体以外的区域这两者的示例。在存在要包括在摄像视角中的除主被摄体以外的多个区域的情况下，用户也需要指定要包括在摄像视角中的除主被摄体以外的多个区域。因此，本实施例进行自动取景控制，以使得在摄像视角中包括主被摄体和用户所指定的除主被摄体以外的多个区域。

图13是示出根据本实施例的摄像设备4的硬件配置的框图。在图13所示的摄像设备4中，具有与图1所示的摄像设备1的硬件配置相同的硬件配置的那些元件将由相同的附图标记表示，并且将省略对其的描述。图17是根据本实施例的控制方法的流程图。在图17中，与图3中的步骤类似的步骤将由相同的附图标记表示，并且将省略对其的描述。图18是示出搜索区域和自动取景位置之间的关系的示意图。在图18中，与图4中的对象类似的对象将由相同的附图标记表示，并且将省略对其的描述。

在图17的步骤S1702中，计算单元101根据经由通信单元103或操作单元110输入的来自用户的指令，来放置如图18所示的虚拟对象400、虚拟对象1800和虚拟对象1801。也就是说，计算单元101生成将虚拟对象400、虚拟对象1800和虚拟对象1801叠加在真实空间(三维空间)上的图像。在该实施例中，虚拟对象1800被放置在虚拟对象400外，并且虚拟对象1801被放置在虚拟对象400内，但是本公开不限于该示例。例如，这两个虚拟对象都可以被放置在虚拟对象400内，或者这两个虚拟对象都可以被放置在虚拟对象400外。

在步骤S1705中，计算单元101控制光学驱动单元107，使得主被摄体(被摄体403)、虚拟对象1800和虚拟对象1801位于摄像视角内，并确定自动取景位置1807。

本实施例可以进行自动取景控制，以使得在摄像视角中包括主被摄体和用户所指定的多个区域。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

各个实施例能够提供各自能够使用正确地反映用户意图的搜索区域来进行自动取景控制的控制设备、摄像设备、控制方法和存储介质。

虽然参考实施例描述了本公开，但应当理解，本公开不限于所公开的实施例。所附权利要求书的范围应被赋予最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。