摄像设备及其控制方法和非暂时性存储介质

技术领域

本发明涉及摄像设备和存储介质。

背景技术

近年来，提出了如下的摄像设备，该摄像设备能够通过合成由多个并行配置的照相机(以下称为多眼照相机)拍摄到的图像，来获得拍摄范围比使用单个照相机的情况的拍摄范围大的图像(以下称为广角图像)。在日本特开2004-118786中，提出了如下的摄像设备，该摄像设备通过在使多眼照相机所拍摄到的图像偏移的同时进行匹配处理、并且生成广角图像，来获得多个图像之间的偏差量。另外，作为在摄像设备的安装之后用户希望改变要监视的地方的情况等中使用的摄像设备，提出了可以控制摄像设备的摄像方向的被称为所谓的平摇俯仰变焦(PTZ)装置的摄像设备。

在日本特开2004-118786所示的摄像设备中，各多眼照相机的位置是固定的。相比之下，通过添加用于控制各多眼照相机的摄像方向的机构，用户可以改变希望监视的地方。然而，如日本特开2004-118786中所公开的，在使用匹配处理来从多眼照相机所拍摄到的图像生成广角图像时，发生如下的问题。通常，多眼照相机所拍摄到的图像之间的偏差量根据从多眼照相机到被摄体的距离而不同。由于该原因，在对不同距离处的多个被摄体进行摄像的情况下，如果通过使图像偏移使得在重叠图像中表示特定被摄体来生成广角图像，则不同的被摄体可能变为重影(double image)。结果，广角图像的接合部分处的可视性可能下降。

发明内容

因而，本发明提供一种摄像设备，该摄像设备基于来自多个摄像单元的图像来生成广角图像，并且能够降低被摄体变为重影的可能性。

为了解决上述问题，根据本发明，提供一种摄像设备，其连接至包括显示单元的外部装置，所述显示单元用于显示用于选择合成模式和非合成模式的图像，在所述合成模式中，输出使用多个摄像单元所拍摄到的多个拍摄图像而生成的广角图像，在所述非合成模式中，分别输出所述多个摄像单元所拍摄到的所述多个拍摄图像，所述摄像设备包括：第一摄像单元和第二摄像单元；驱动机构，其被配置为控制所述第一摄像单元和所述第二摄像单元至少之一；合成处理单元，其被配置为通过将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成来生成所述广角图像；以及确定单元，其被配置为在从所述外部装置接收到从所述非合成模式向所述合成模式的切换指示、以及与用户所指定的被摄体有关的信息的情况下，基于与用户所指定的被摄体有关的信息来确定所述第一摄像单元和所述第二摄像单元至少之一的摄像范围。

一种存储有计算机程序的非暂时性存储介质，所述计算机程序用于使计算机执行用于摄像设备的方法，所述摄像设备连接至包括显示单元的外部装置，所述显示单元用于显示用于选择合成模式和非合成模式的图像，在所述合成模式中，输出使用多个摄像单元所拍摄到的多个拍摄图像而生成的广角图像，在所述非合成模式中，分别输出所述多个摄像单元所拍摄到的所述多个拍摄图像，其中，所述摄像设备包括：第一摄像单元和第二摄像单元；驱动机构，其被配置为控制所述第一摄像单元和所述第二摄像单元至少之一的摄像范围；以及合成处理单元，其被配置为通过将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成来生成所述广角图像，其中，所述方法包括：在从所述外部装置接收到从所述非合成模式向所述合成模式的切换指示、以及与用户所指定的被摄体有关的信息的情况下，基于与用户所指定的被摄体有关的信息来确定所述第一摄像单元和所述第二摄像单元至少之一的摄像范围。

一种摄像设备的控制方法，所述摄像设备连接至包括显示单元的外部装置，所述显示单元用于显示用于选择合成模式和非合成模式的图像，在所述合成模式中，输出使用多个摄像单元所拍摄到的多个拍摄图像而生成的广角图像，在所述非合成模式中，分别输出所述多个摄像单元所拍摄到的所述多个拍摄图像，其中，所述摄像设备包括：第一摄像单元和第二摄像单元；驱动机构，其被配置为控制所述第一摄像单元和所述第二摄像单元至少之一的摄像范围；以及合成处理单元，其被配置为通过将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成来生成所述广角图像，其中，所述控制方法包括：在从所述外部装置接收到从所述非合成模式向所述合成模式的切换指示、以及与用户所指定的被摄体有关的信息的情况下，基于与用户所指定的被摄体有关的信息来确定所述第一摄像单元和所述第二摄像单元至少之一的摄像范围。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1A和1B是示出根据第一实施例的摄像设备和使用该摄像设备的监视系统的图。

图2A至2D是示出根据第一实施例的摄像设备中的用户界面的显示与摄像方向之间的关系的一个示例的图。

图3A至3E是示出根据第一实施例的摄像设备中的用户界面的显示与摄像方向之间的关系的示例的图。

图4A至4C是示出在重叠范围中发生重影的机制的图。

图5A至5E是示出根据第二实施例的摄像设备中的用户界面的显示与摄像方向之间的关系的示例的图。

图6A至6E是示出根据第三实施例的摄像设备中的用户界面的显示与摄像范围之间的关系的示例的图。

图7A至7E是示出根据第四实施例的摄像设备中的用户界面的显示与摄像范围之间的关系的示例的图。

图8A至8D是示出根据第五实施例的摄像设备中的用户界面的显示与摄像范围之间的关系的示例的图。

图9A至9D是示出根据第六实施例的摄像设备中的用户界面的显示与摄像范围之间的关系的示例的图。

图10是示出根据第六实施例的摄像设备的驱动示例的流程图。

具体实施方式

以下将参考附图来说明根据本发明实施例的摄像设备。在这方面，将相同的附图标记指派至具有相同功能的构件，并且将省略其重复说明。在实施例中，将说明应用于作为摄像设备的网络照相机的示例。然而，假定摄像设备包括具有多个摄像单元的电子设备，诸如数字静态照相机、数字动画照相机、具有内置照相机的智能电话和具有内置照相机的平板计算机等。

(第一实施例)

将说明根据本实施例的摄像设备100和使用该摄像设备的监视系统191。图1A和1B是示出根据第一实施例的摄像设备100和使用该摄像设备的监视系统191的图。图1A是从上侧(+Z轴侧)观看到的摄像设备100的布局图。图1B是包括摄像设备100和客户端装置180的监视系统191的内部的功能框图。摄像设备100包括第一摄像单元110、第二摄像单元120、第一驱动机构111、第二驱动机构121、合成处理单元140、控制单元130和第一发送/接收单元150。

第一驱动机构111和第二驱动机构121用作驱动部件，并且可以分别在相同平面内(在平面XY内)控制第一摄像单元110和第二摄像单元120的摄像方向。例如，根据本实施例的摄像设备100被配置为能够沿摇摄方向(平摇方向)控制摄像方向。

更具体地，如图1B所示，第一驱动机构111和第二驱动机构121包括马达和齿轮，并且被配置为通过控制用于驱动马达的电力，能够分别使第一摄像单元110和第二摄像单元120绕作为转动轴的轴101转动。用于驱动马达的电力由控制单元130控制。换句话说，摄像设备100成为可以改变第一摄像单元110和第二摄像单元至少之一的摄像方向的驱动机构。

第一摄像单元110和第二摄像单元120分别包括摄像光学系统112和122以及诸如CMOS图像传感器等的固态摄像装置113和123。第一摄像单元110和第二摄像单元120通过分别经由摄像光学系统112和122在固态摄像装置113和123上形成被摄体图像来获取图像。固态摄像装置113和123的驱动和读取由控制单元130控制。作为计算机的CPU内置到控制单元130中，并且控制单元130用作基于该图中未示出的存储器中所存储的计算机程序来执行整个装置的各种操作的控制部件。

合成处理单元140用作合成处理部件，并且用于通过将第一摄像单元110所获取到的第一图像114和第二摄像单元120所获取到的第二图像124合成来生成广角图像(例如，全景图像)134。更具体地，可以通过应用在使图像的重叠部分偏移的同时获取相关系数的所谓的模式匹配技术，通过获取多个图像之间的位置偏差量，来生成广角图像134。在根据本实施例的摄像设备100中，用户选择合成处理单元140是否要生成广角图像134。合成处理单元140在选择合成模式的情况下输出广角图像134，并且在选择非合成模式的情况下输出第一图像114和第二图像124这两者。

在合成处理单元140不生成广角图像134的情况下，合成处理单元140在不将第一图像114和第二图像124合成的情况下将第一图像和第二图像发送至第一发送/接收单元150。在这里的说明中，摄像范围表示摄像单元进行摄像的范围，并且例如，摄像范围根据对摄像方向、变焦倍率和摄像面的转动角度等的控制而改变。

第一发送/接收单元150将从合成处理单元140发送来的图像(第一图像114和第二图像124或者广角图像134)经由有线网络或无线网络等发送至外部客户端装置180。

外部客户端装置180将用于控制摄像设备100的命令经由第二发送/接收单元181和网络发送至第一发送/接收单元150。摄像设备100接收到该命令并向客户端装置180回复对该命令的响应。这里，例如，命令在第一驱动机构111和第二驱动机构121的控制下。换句话说，用户可以从外部客户端装置180经由网络控制第一摄像单元110和第二摄像单元120的方向。客户端装置180例如是诸如PC等的外部装置，并且包括用户界面160，通过该用户界面160，用户可以选择显示广角图像的合成模式、或者在不生成广角图像的情况下独立地显示第一图像和第二图像的非合成模式。另外，客户端装置180可以包括控制单元182和显示单元183。

控制单元182控制客户端装置180的内部，并且内置有诸如CPU等的计算机。另外，控制单元182内置有该图中未示出的存储器，并且在该存储器中存储有用于控制该控制单元内的CPU的操作的计算机程序。在通过用户界面160指示从非合成模式向合成模式的切换的情况下，控制单元182基于用户关注的被摄体的位置来确定第一摄像单元110或第二摄像单元120的摄像范围。控制单元182还用作显示控制部件(显示控制单元)，该显示控制部件用于将包括用户选择合成模式或非合成模式所使用的用户界面160的图像显示在显示单元183上。显示单元183用作显示部件，并且用于显示从摄像设备100发送来的图像等。用户界面160包括各种开关和触摸面板等。另外，用户界面包括显示单元183上所显示的诸如按钮和图标等的图形用户界面(GUI)。用户可以通过操作用户界面160来向摄像设备100给出各种指示。

根据本实施例的摄像设备100根据使用用户界面160所选择的合成模式/非合成模式来改变广角图像的生成/不生成，并且控制第一摄像单元110和第二摄像单元120的摄像方向。

网络由有线LAN或无线LAN等构成。电源可被配置成经由网络被供给至摄像设备100。在本实施例中，尽管合成处理单元140布置在摄像设备100的内部，但其可以布置在客户端装置180的内部。

图1B所示的实施例示出如下的示例：摄像设备100包括第一发送/接收单元150，并且将图像发送至客户端装置180侧并根据客户端装置180侧的命令进行操作。换句话说，示出显示单元183、控制单元182和用户界面160是与摄像设备分开的主体的示例。然而，摄像设备100可以一体地具有存储图像数据的存储器、显示图像的显示单元183、以及用于接受来自用户的指示的诸如开关或触摸面板等的用户界面160的一部分。换句话说，摄像设备100可以一体地嵌入有客户端装置180的功能，并且根据本实施例的摄像设备表示一体地或单独地具有客户端装置180的功能的系统结构。

图2A至2D和图3A至3E是示出在根据第一实施例的摄像设备100中、在用户指定合成模式/非合成模式所使用的用户界面与第一摄像单元110和第二摄像单元120的摄像方向之间的关系的示例的图。图2A至2D和图3A至3E中的“合成模式”和“非合成模式”左侧的各圆圈表示：在该圆圈为黑色圆圈时选择了相应的模式，并且在该圆圈为白色圆圈时未选择相应的模式。

首先，将说明用户从合成模式切换到非合成模式的情况。图2A和2B示出用户将合成模式指定为初始状态的状态。在图2A中，将通过合成第一图像114和第二图像124所生成的广角图像134显示在显示单元183上的诸如GUI等的用户界面160中。此时，假定第一摄像单元110和第二摄像单元120指向图2B所示的摄像方向。图2B示出利用第一摄像单元110进行摄像的第一摄像范围115和利用第二摄像单元120进行摄像的第二摄像范围125。在附图中，尽管第一摄像单元110和第二摄像单元120在不同的方向上进行摄像，但第一摄像范围115和第二摄像范围125的一部分彼此重叠。

这里，假定用户指示从合成模式切换到非合成模式。然后，如图2C所示，合成处理单元140停止广角图像134的生成，并且在用户界面160中独立地显示第一图像114和第二图像124。此时，如图2D所示，第一摄像单元110和第二摄像单元120的摄像方向保持不变。换句话说，第一摄像范围115和第二摄像范围125的一部分保持彼此重叠。

另一方面，将说明用户从非合成模式切换到合成模式的情况。图3A和3B示出用户将非合成模式指定为初始状态的状态。在图3A中，第一图像114和第二图像124独立地显示在用户界面160中。此时，第一摄像单元110和第二摄像单元120指向图3B所示的摄像方向。在该图中，第一摄像单元110和第二摄像单元120在不同方向上进行摄像，并且第一摄像范围115和第二摄像范围125彼此不重叠。

这里，假定用户指示从非合成模式切换到合成模式。除该指示之外，用户还指示第一摄像单元110和第二摄像单元120其中之一用作用于生成广角图像134的基准。在下文，作为一个示例，将说明第一摄像单元110被指定为基准的情况。

在使用第一摄像单元110作为基准的情况下，如图3D所示，改变第二摄像单元120的摄像方向。在第二摄像单元120的摄像方向的改变结束之后，开始使用合成处理单元140的广角图像134的生成。之后，如图3C所示，将通过合成第一图像114和第二图像124所获取到的广角图像134显示在用户界面160中。

如通过将图3B与图3D进行比较可以理解，第一摄像单元110的摄像方向保持不变，并且仅第二摄像单元120的摄像方向改变。另外，如图3E所示，可以改变摄像方向，使得第一摄像单元110和第二摄像单元120之间的相对位置关系改变。换句话说，形成第二摄像单元120位于与图3D所示的状态的方向相反的方向上的状态。此时，更优选地，应形成用户界面，使得用户可以指定第二摄像单元120相对于第一摄像单元110的相对位置关系。尽管以上说明了使用第一摄像单元110作为基准的情况，但在使用第二摄像单元120作为基准的情况下，优选第二摄像单元的摄像方向应保持原样，并且应改变第一摄像单元的摄像方向，使得可以生成广角图像134。

通过如此配置，可以在降低用户关注的被摄体变为重影的可能性的同时，生成广角图像。将如下呈现该效果的详细说明。

首先，将说明生成广角图像134的方法。为了生成广角图像134，需要获取第一图像114和第二图像124之间的位置偏差量。为了获取位置偏差量，可以使用如日本特开2004-118786中所公开的一般技术。例如，在第一图像114和第二图像124彼此偏移的同时，计算诸如平方差和(SSD)或绝对差和(SAD)等的相关系数。可以获取到相关系数最高的位置偏差量。

因此，在用户指示从非合成模式向合成模式的切换的情况下，第一摄像范围115和第二摄像范围125的一部分需要彼此重叠。由于该原因，在用户指示从非合成模式向合成模式的切换的情况下，需要改变第一摄像单元110和第二摄像单元120至少之一的摄像方向。在下文，第一摄像范围115和第二摄像范围125彼此重叠的范围将被称为重叠范围135。

图4A至4C是示出在重叠范围135中生成重影的机制的图。图4A示出在对离摄像设备100远的被摄体171和离摄像设备100近的被摄体172进行摄像的情况下的第一图像114和第二图像124。在该图中，位置偏差量184表示第一图像114和第二图像124之间的位于远处的被摄体171的位置偏差量。另一方面，位置偏移量185表示第一图像114和第二图像124之间的位于近处的被摄体172的位置偏移量。

如从图4A可以理解，在位于远处的被摄体171的情况下，位置偏差量184小于位置偏差量185。另一方面，在位于附近的被摄体172的情况下，位置偏差量185小于位置偏差量184。因而，在通过将第一图像114和第二图像124以彼此偏移了位置偏差量184的状态进行重叠来生成广角图像134、使得被摄体171重合的情况下，如图4B所示，被摄体172变为重影。同样，在通过将第一图像114和第二图像124以彼此偏移了位置偏差量185的状态进行重叠来生成广角图像134、使得被摄体172重合的情况下，如图4C所示，被摄体171变为重影。

这样，在对不同距离处的多个被摄体进行摄像的情况下，在所生成的广角图像134中，任一被摄体在重叠范围135中均可能变为重影。因而，在根据本实施例的摄像设备100中，用户选择第一摄像范围115和第二摄像范围125中的要关注于的摄像范围。然后，改变第一摄像单元110和第二摄像单元120至少之一的摄像方向，使得所选择的摄像范围变为广角图像的接合部分的可能性降低。

如图3B和3D所示，在进行从非合成模式向合成模式的切换时，改变第二摄像单元120的摄像方向，使得可以生成广角图像134，因而存在第二摄像范围125和重叠范围135彼此重叠的可能性。另一方面，第一摄像单元110的摄像方向保持原样，因而重叠范围135可以仅局限于第一摄像范围115的周边区域。

如上所述，通过以切换合成模式时的基准摄像单元的形式指定对用户关注的被摄体进行摄像的摄像单元，可以降低用户关注的被摄体被包括在重叠范围中的可能性。结果，可以降低用户关注的被摄体是重影的可能性，并且可以提高广角图像的可视性。

通常，在使用SSD或SAD来获取相关系数时，随着用于计算位置偏差量的像素的数量变大，可以获取到精度较高的相关系数。随着重叠范围135增大，用于计算位置偏差量的像素的数量变大。因而，随着重叠范围135变大，可以获取到精度较高的位置偏差量，并且可以生成具有高质量的广角图像。

因而，为了获取第一图像114和第二图像124之间的位置偏差量，优选重叠范围135的大小应是足够的大小。更具体地，优选重叠范围135中所包括的第一图像114和第二图像124中的像素的数量为100个或更多个。另外，更优选地，重叠范围135的大小为第一摄像范围115和第二摄像范围125中的相对不大的摄像范围的20％或更多。

在上述说明中，尽管在用户进行从非合成模式向合成模式的切换的情况下改变第一摄像单元110或第二摄像单元120的摄像方向，但更优选地，除了模式切换之外，用户还能够改变摄像方向。此时，例如，优选通过用户操作用户界面160，能够改变第一摄像单元110或第二摄像单元120的摄像方向。

然而，如上所述，为了生成广角图像134，第一摄像范围115和第二摄像范围125的一部分需要彼此重叠。因而，在用户选择合成模式时，优选第一摄像单元110和第二摄像单元120的摄像方向应局限于可以生成广角图像134的范围。更具体地，优选应限制第一摄像单元110和第二摄像单元120的摄像方向，使得重叠范围135中所包括的第一图像114和第二图像124中的像素的数量为100个或更多个。另外，例如，可以在用户界面160中显示可以生成广角图像134的范围作为可以改变第一摄像单元110或第二摄像单元120的摄像范围的范围。在这种情况下，用户可以从视觉上识别可改变的范围，并且可以容易地在限制内改变摄像范围。

另外，更优选地，应限制第一摄像单元110和第二摄像单元120的摄像方向，使得重叠范围135的大小是第一摄像范围115和第二摄像范围125中的相对不大的摄像范围的20％或更多。

此时，在用户选择合成模式时，优选设置为基准的摄像单元(图3B、3D和3E所示的第一摄像单元110)的摄像方向被限制为不可改变。其原因在于，在改变基准摄像单元的摄像范围时，该范围和重叠范围135彼此重叠的可能性增加。通过限制基准摄像单元的摄像范围使得其不可改变，可以降低用户关注的被摄体变为重影的可能性，并且可以提高广角图像的可视性。

此外，在用户选择合成模式时，在从用户指示超过限制范围的第一摄像单元110和第二摄像单元120的摄像方向的改变的情况下，优选应向用户界面160输出例如警告等的显示。更具体地，优选显示表示摄像方向的改变由于合成模式而受到限制的指示。此外，更优选地，显示表示可以通过模式切换到非合成模式来进行超过限制范围的摄像方向的改变的指示。另外，例如，可以显示能够使用户理解摄像范围的改变受到限制的图像，或者可以使用语音来给出警告。

另一方面，在合成处理单元140不进行合成处理的情况下，第一摄像范围115和第二摄像范围125可以不彼此重叠。因而，在用户选择非合成模式时，优选能够自由地改变第一摄像单元110和第二摄像单元120的摄像方向。

(第二实施例)

根据第一实施例的摄像设备100以合成模式切换时的基准摄像单元的形式指定对用户关注的被摄体进行摄像的摄像范围。相比之下，根据第二实施例的摄像设备200以在合成模式切换时由基准摄像单元进行摄像的摄像范围的一部分的形式指定对用户关注的被摄体进行摄像的范围。根据这一点，可以更精细地指定对用户关注的被摄体进行摄像的摄像范围。尽管其它结构与第一实施例的结构几乎相同，但第一实施例中使用100系列的附图标记的说明将被替换为第二实施例中使用200系列的附图标记的说明。以下将呈现说明。在摄像设备200中用户进行从合成模式到非合成模式的切换的情况与根据第一实施例的摄像设备100的该情况相同，因而将省略其说明。

图5A至5D是示出在根据第二实施例的摄像设备200中、在用户进行从非合成模式向合成模式的切换的情况下的用户界面与第一摄像单元210和第二摄像单元220的摄像方向之间的关系的示例的图。

图5A和5B示出用户将非合成模式指定为初始状态的状态。在图5A中，将第一图像214和第二图像224独立地显示在显示单元183上的诸如GUI等的用户界面260中。此时，第一摄像单元210和第二摄像单元220指向图5B所示的摄像方向。

这里，假定用户指示从非合成模式向合成模式的切换。除该指示之外，如图5C所示，用户可以将第一摄像范围215和第二摄像范围225中的包括用户关注的被摄体的摄像范围指定为指定范围245。

然后，如图5E所示，控制单元130改变第一摄像单元210和第二摄像单元220的摄像方向，使得指定范围245不包括在第一摄像范围215和第二摄像范围225的重叠范围235中。然后，在摄像方向的改变结束之后，合成处理单元240开始广角图像234的生成，并且如图5D所示，将通过合成第一图像214和第二图像224所获取到的广角图像234显示在用户界面260中。这样，通过直接指定指定范围245，可以进一步降低用户关注的被摄体变为重影的可能性，这是优选的。

如上所述，为了生成广角图像234，第一摄像范围215和第二摄像范围225的一部分需要彼此重叠。因而，为了让用户指定指定范围245，优选限制指定范围245的大小。更具体地，在指定范围245包括在第一摄像范围215中的情况下，指定范围245的大小受到限制，使得该大小等于或小于第一摄像范围215和重叠范围235之间的差的大小。在指定范围245包括在第二摄像范围225中的情况下，指定范围245的大小受到限制，使得该大小等于或小于第二摄像范围225和重叠范围235之间的差的大小。此时，例如，优选应在用户界面260中显示图像，使得可被指定为指定范围245的摄像范围的大小变得等于或小于上述大小，换句话说，可以指定的摄像范围的大小不会变为超出上述范围的大小。这样，用户更容易地在限制内指定指定范围。

这样，通过限制指定范围245的大小，可以在降低用户关注的被摄体变为重影的可能性的同时，获取到位置偏差量的计算精度，并且可以提高广角图像的可视性。

在本实施例中，尽管指定了指定范围245，但可以指定用户关注的被摄体。在这种情况下，控制单元230改变第一摄像单元210和第二摄像单元220的摄像范围，使得所指定的被摄体不被包括在第一摄像范围215和第二摄像范围225的重叠范围235中。

(第三实施例)

在根据第三实施例的摄像设备300中，第一驱动机构和第二驱动机构的结构不同于根据第一实施例的摄像设备100的结构。在摄像设备300中，第一摄像单元310和第二摄像单元320被配置为沿彼此垂直的两个方向可转动。更具体地，除了具有图1A所示的Z轴(垂直轴)作为中心的转动机构(所谓的平遥驱动机构)之外，还包括可以控制相对于Z轴的角度的转动机构(所谓的俯仰驱动机构)。换言之，摄像设备300包括可以沿俯仰方向驱动的驱动机构。除此以外的结构与根据第二实施例的结构几乎相同，并且第二实施例中使用200系列的附图标记的说明将被替换为第三实施例中使用300系列的附图标记的说明。

图6A至6E是示出在根据第三实施例的摄像设备300中、在用户进行从非合成模式向合成模式的切换的情况下的用户界面与第一摄像单元310和第二摄像单元320的摄像范围之间的关系的示例的图。

在图6A至6E中示出在摄像设备300中、在用户进行从非合成模式向合成模式的切换的情况下的用户界面与第一摄像单元310和第二摄像单元320的摄像范围之间的关系。在摄像设备300中，用户进行从合成模式向非合成模式的切换的情况与根据第一实施例的摄像设备100的该情况相同，因此将省略其说明。

图6A和6B示出用户将非合成模式指定为初始状态的状态。在图6A中，将第一图像314和第二图像324独立地显示在用户界面360中。此时，第一摄像单元310和第二摄像单元320对图6B所示的摄像范围进行摄像。在图6B中，将第一摄像单元310和第二摄像单元320的摄像方向示出为投影到以图1A所示的Z轴作为中心且具有相同半径的圆柱面上的第一摄像范围315和第二摄像范围325。如从图6B可以理解，在第一摄像单元310和第二摄像单元320中，平摇方向的摄像方向和俯仰方向的摄像方向这两者是不同的。

这里，假定用户指示从非合成模式向合成模式的切换。除该指示之外，用户还指示第一摄像单元310和第二摄像单元320中的、要用作用于生成合成图像的基准的摄像单元。在下文，将说明第一摄像单元310被指定为基准的情况作为示例。

在用户将第一摄像单元310指定为基准时，如图6C所示，控制单元230改变第二摄像单元320的摄像方向。然后，在摄像方向的改变结束之后，如图6D所示，合成处理单元340开始广角图像334的生成，并且将通过合成第一图像314和第二图像324所获取到的广角图像334显示在用户界面360中。

如通过图6B与图6C进行比较可以理解，摄像设备300原样保持第一摄像单元310的摄像方向，并且改变第二摄像单元320的平摇方向的摄像方向和俯仰方向的摄像方向。更具体地，对于俯仰方向，改变摄像方向，使得第一摄像单元310和第二摄像单元320的摄像方向彼此一致，并且对于平摇方向，改变摄像方向，使得可以确保用于生成广角图像334的重叠范围335。

这样，通过还改变俯仰方向的摄像方向以匹配基准摄像单元的摄像范围，可以在降低用户关注的被摄体变为重影的可能性的同时生成广角图像334。

如图6E所示，通过使得第一摄像单元310和第二摄像单元320的平摇方向的摄像方向彼此一致、并且使得俯仰方向的摄像方向彼此偏离，可以生成在俯仰方向上长的广角图像334。更优选地，用户界面360应被配置成使得用户可以选择是生成在平摇方向上长的广角图像还是生成在俯仰方向上长的广角图像。此外，更优选地，第二摄像单元120相对于第一摄像单元110的相对位置关系应被配置成能够指定。

(第四实施例)

根据第四实施例的摄像设备400所具有的第一驱动机构和第二驱动机构的结构不同于根据第三实施例的摄像设备300的第一驱动机构和第二驱动机构的结构。摄像设备400包括如下的转动机构(所谓的旋转机构)，该转动机构除了能够控制第一摄像单元410和第二摄像单元420的摄像方向和摄像范围之外，还能够使各摄像单元围绕摄像单元的光轴中心转动。除此之外的结构与根据第三实施例的结构几乎相同，并且第三实施例中使用300系列的附图标记的说明将被替换为第四实施例中使用400系列的附图标记的说明。

图7A至7E是示出在根据第四实施例的摄像设备400中、在用户进行从非合成模式向合成模式的切换的情况下的用户界面与第一摄像单元410和第二摄像单元420的摄像范围之间的关系的示例的图。在摄像设备400中，用户进行从合成模式向非合成模式的切换的情况与根据第一实施例的摄像设备100的该情况相同，因此将省略其说明。

在图7A中，将第一图像414和第二图像424独立地显示在用户界面460中。此时，第一摄像单元410和第二摄像单元420的摄像方向和围绕光轴的转动角度(以下称为转动角度)如图7B所示。如从图7B可以理解，在第一摄像单元410和第二摄像单元420中，平摇方向的摄像方向、俯仰方向的摄像方向以及转动角度全部是不同的。

这里，假定用户指示从非合成模式向合成模式的切换。同时，用户例如经由用户界面460指示第一摄像单元410和第二摄像单元420中的、要用作用于生成合成图像的基准的摄像单元。在下文，将说明第一摄像单元410被指定为基准的情况作为示例。然后，如图7C所示，改变第二摄像单元420的摄像方向和围绕光轴的转动角度。然后，在摄像方向和转动角度的改变结束之后，如图7D所示，合成处理单元440开始广角图像434的生成，并将广角图像434显示在用户界面460中。如通过图7B与图7C进行比较可以理解，摄像设备400原样保持第一摄像单元410的摄像方向，并且改变第二摄像单元420的平摇方向的摄像方向、俯仰方向的摄像方向和转动角度。更具体地，改变第二摄像单元420的转动角度，使得第一摄像单元410和第二摄像单元420的转动角度彼此一致。然后，改变第二摄像单元420的平摇方向和俯仰方向的摄像方向，使得可以确保用于生成广角图像434的重叠范围435。

这样，通过还改变转动角度以匹配基准摄像单元的摄像范围，可以在降低用户关注的被摄体变为重影的可能性的同时生成广角图像434。

作为用于在使得转动角度彼此一致的同时确保重叠范围435的第二摄像单元420的摄像方向，可以选择图7E所示的四个摄像方向中的任一个。因而，更优选地，四个摄像方向其中之一应被配置成用户可选择。

(第五实施例)

在根据第五实施例的摄像设备500中，第一驱动机构和第二驱动机构的结构以及第一摄像单元和第二摄像单元的结构不同于根据第一实施例的摄像设备100的这些结构。摄像设备500具有除了可以控制第一摄像单元510和第二摄像单元520的摄像方向之外、还可以控制摄像范围的结构(包括所谓的变焦机构的结构)。更具体地，各摄像单元的摄像光学系统包括可以沿光轴方向移动的变焦透镜，并且第一驱动机构511和第二驱动机构521通过驱动变焦透镜来控制摄像单元的摄像范围。其它结构与根据第四实施例的结构几乎相同，并且第四实施例中使用400系列的附图标记的说明将被替换为第五实施例中使用500系列的附图标记的说明。

通常，在使用SSD或SAD来获取两个图像之间的位置偏差量的情况下，优选这两个图像的分辨率应当是一致的以提高位置偏差量的计算精度。由于该原因，根据第五实施例的摄像设备500驱动变焦透镜，使得在合成模式时的第一图像514和第二图像524的分辨率彼此一致。

在下文，将说明第一摄像单元510中的固态摄像装置513的像素数与第二摄像单元520中的固态摄像装置523的像素数相同的情况作为示例。在像素数相同的情况下，当第一摄像单元510和第二摄像单元520的摄像范围的大小(以下称为视场角)相同时，第一图像514和第二图像524的分辨率彼此一致。

图8A至8D是示出在根据第五实施例的摄像设备500中、在用户进行从非合成模式向合成模式的切换的情况下的用户界面与第一摄像单元510和第二摄像单元520的摄像范围之间的关系的示例的图。在摄像设备500中用户进行从合成模式向非合成模式的切换的情况与根据第一实施例的摄像设备100的该情况相同，因此将省略其说明。

在图8A中，将第一图像514和第二图像524独立地显示在用户界面560中。此时，第一摄像单元510和第二摄像单元520的摄像方向和视场角如图8B所示。如从图8B可以理解，在第一摄像单元510和第二摄像单元520之间，平摇方向的摄像方向以及视场角这两者都是不同的。

这里，假定用户例如经由用户界面560指示从非合成模式向合成模式的切换。同时，用户指示第一摄像单元510和第二摄像单元520中的、要用作用于生成合成图像的基准的摄像单元。在下文，将说明第一摄像单元510被指定为基准的情况作为示例。

然后，如图8C所示，改变第二摄像单元520的摄像方向和视场角。然后，在摄像方向和视场角的改变结束之后，如图8D所示，合成处理单元540开始广角图像534的生成，并将广角图像534显示在用户界面560中。

如通过图8B与图8C进行比较可以理解，摄像设备500原样保持第一摄像单元510的摄像方向，并且改变第二摄像单元520的摄像方向和变焦倍率。更具体地，改变第二摄像单元520的视场角，使得第一摄像单元510和第二摄像单元520的视场角彼此一致。然后，改变第二摄像单元520的摄像方向，使得可以确保用于生成广角图像534的重叠范围535。换句话说，驱动变焦透镜，使得第一图像514和第二图像524的分辨率彼此一致。

这样，通过还改变变焦倍率以匹配基准摄像单元的分辨率，可以在降低用户关注的被摄体变为重影的可能性的同时，提高位置偏差量的计算精度，并且可以提高广角图像434的可视性。第一摄像单元510中的固态摄像装置513的像素数可被配置成不同于第二摄像单元520中的固态摄像装置523的像素数。即使在这种情况下，也可以驱动变焦透镜，使得第一图像514和第二图像524的分辨率彼此一致。更具体地，优选改变变焦倍率，使得通过将第一摄像范围515的大小除以第一摄像单元510的摄像装置的像素数所获得的商应与通过将第二摄像范围525的大小除以第二摄像单元520的摄像装置的像素数所获得的商一致。这里，一致可以具有约10％的误差。这里，摄像范围的大小表示在相互的摄像范围的位置彼此偏离的方向上的摄像范围的长度(图8B和8C中的平摇方向上的长度)。

(第六实施例)

在第一实施例至第五实施例中，尽管示出了各摄像设备包括包含第一摄像单元和第二摄像单元的两个摄像单元的情况，但各摄像设备可以包括三个或更多个摄像单元。在第六实施例中，将说明摄像设备600，该摄像设备600除了包括第一摄像单元610和第二摄像单元620之外还包括第三摄像单元690，并且可以通过以摄像设备为中心在平摇方向上进行360度的摄像来生成广角图像。其它结构与根据第五实施例的结构几乎相同，并且第五实施例中使用500系列的附图标记的说明将被替换为第六实施例中使用600系列的附图标记的说明。

图9A至9D是示出在根据第六实施例的摄像设备600中、在用户进行从非合成模式向合成模式的切换的情况下的用户界面与第一摄像单元610、第二摄像单元620和第三摄像单元690的摄像范围之间的关系的示例的图。根据第六实施例的摄像设备600包括第一摄像单元610、第二摄像单元620和第三摄像单元690。第三摄像单元690的结构与第一摄像单元610和第二摄像单元620的结构几乎相同，因此将省略其说明。在摄像设备600中，在用户进行从合成模式向非合成模式的切换的情况下，除非从用户输入指示，否则第一摄像单元610、第二摄像单元620和第三摄像单元690的摄像范围不改变。由于该原因，这里将省略其说明。

在图9A中，在用户界面660中，除了独立地显示第一图像614和第二图像624之外，还独立地显示第三图像694。此时，第二摄像单元620和第三摄像单元690的摄像方向如图9B所示。

这里，假定用户指示从非合成模式向合成模式的切换。同时，用户指示要用作用于生成合成图像的基准的摄像单元。在下文，将说明第一摄像单元610被指定为基准的情况作为示例。然后，如图9C所示，改变第二摄像单元620和第三摄像单元690的摄像方向。然后，在摄像方向的改变结束之后，如图9D所示，合成处理单元640将第一图像614、第二图像和第三图像694合成，并且开始广角图像634的生成。之后，将通过在平摇方向上进行360度的摄像所获取到的广角图像634显示在用户界面660中。

通过采用这样的结构，可以在降低用户关注的被摄体变为重影的可能性的同时，生成通过360度的摄像所获取到的广角图像。在如摄像设备600那样的通过360度的摄像来生成广角图像的摄像设备中，如本实施例那样，存在根据用户所指定的关注区域来改变重叠范围的强大优点。以下将呈现其说明。

在根据第一实施例至第五实施例的摄像设备的情况下，根据用户关注的被摄体的位置来改变广角图像的摄像范围。在这种情况下，用户除了考虑包括关注被摄体的摄像范围(关注区域)之外，还需要考虑广角图像的摄像范围来指定关注区域。换句话说，存在难以应对广角图像的摄像范围以及关注区域这两者的情况。这里，关注区域是在指定设置为基准的摄像范围的情况下的摄像范围，并且表示在指定了指定范围的情况下的该指定范围。

另一方面，在生成通过360度的摄像所获取到的广角图像的摄像设备600中，不论用户所指定的关注区域如何，广角图像的摄像范围都不会改变。由于该原因，用户可以在不考虑广角图像的摄像范围的情况下仅进行关注区域的指定。结果，即使用户将特定范围指定为关注区域，也可以同时应对广角图像的摄像范围以及关注区域。

在图9C中，尽管改变摄像方向、使得由第一摄像单元610、第二摄像单元620和第三摄像单元690的摄像方向形成的角度相同，但由摄像方向形成的角度可以不相同。然而，优选改变摄像方向，使得摄像单元之间的重叠范围中所包括的像素数相同。特别地，在各摄像单元使用相同的摄像光学系统和相同的固态摄像装置的情况下，优选改变摄像方向，使得由摄像方向形成的角度相同。

在图9D中，尽管生成广角图像634、使得被指定为基准的第一摄像单元610的第一摄像范围615显示在广角图像634的中央，但第二摄像范围625和第三摄像范围695中的任一个可以显示在中央。然而，优选将用户的关注区域显示在广角图像的中央，以提高该关注区域的可视性。

另外，在摄像设备600中，更优选地，第一摄像单元610、第二摄像单元620和第三摄像单元690各自应被配置为不仅控制平摇方向的摄像方向，而且还控制俯仰方向的摄像方向、转动角度和视场角。

假定第一摄像单元610、第二摄像单元620和第三摄像单元690各自被配置为控制平摇方向的摄像方向和俯仰方向的摄像方向这两者。在这种情况下，如根据第三实施例的摄像设备那样，优选在俯仰方向的摄像方向被配置成与被指定为基准的摄像单元一致的状态下生成通过360度的摄像所获取到的广角图像。

另一方面，假定第一摄像单元610、第二摄像单元620和第三摄像单元690各自包括转动角度驱动机构。在这种情况下，在选择合成模式时，优选不论被指定为基准的摄像单元的转动角度如何，都将所有摄像单元的转动角度改变为恒定值。将如下说明原因。

通常，存在如下的许多情况：用于监视等的摄像单元的固态摄像装置具有水平方向上的长度比垂直方向上的长度长的矩形形状。因而，为了生成360度的广角图像364，各摄像单元的摄像范围需要是在平摇方向上具有长边的矩形，或者各摄像单元的摄像范围需要是在俯仰方向上具有长边的矩形。由于该原因，在指示切换到合成模式的情况下，优选各摄像单元的摄像范围应与在平摇方向上具有长边的矩形或在俯仰方向上具有长边的矩形其中之一一致。

为了通过增加重叠区域的大小来提高位置偏差量的计算精度，优选摄像范围应与在平摇方向上具有长边的矩形一致。另一方面，在期望扩大俯仰方向上的摄像范围的情况下，优选摄像范围应与在俯仰方向上具有长边的矩形一致。

假定第一摄像单元610、第二摄像单元620和第三摄像单元690各自包括变焦控制机构。在这种情况下，可以设置各摄像单元的摄像光学系统的变焦倍率，使得在所有摄像单元的视场角变为等于或大于阈值时，可以生成通过360度的摄像所获取到的广角图像634。该阈值优选接近于视场角变为最大的值，并且更优选是视场角变为最大的值。其原因在于，即使在进一步增大视场角时，广角图像634的摄像范围也不扩大。此外，此时，在选择合成模式时，优选不论被指定为基准的摄像单元的视场角如何，都将所有摄像单元的视场角改变为最大值。通过采用这样的结构，可以对使用进行划分，使得在期望俯瞰整个360度的摄像的情况下选择合成模式，并且在期望详细地对特定区域进行摄像的情况下选择非合成模式，并通过缩小各摄像单元的视场角来获取到具有高分辨率的图像。

这里，将说明摄像设备600的驱动示例。图10是示出根据第六实施例的摄像设备600的驱动示例的流程图。通过该流程图示出的各操作(步骤)均由控制单元630执行。在该流程图中，将说明在用户将非合成模式指定为初始状态、并且用户进行从非合成模式向合成模式的切换的情况下的驱动示例。首先，控制单元630判断是否接收到用于选择合成模式的指示(S1)。在接收到用于选择合成模式的指示的情况下(“是”)，改变第一摄像单元610、第二摄像单元620和第三摄像单元690中的除用作基准的摄像单元以外的摄像单元的摄像范围(S2)。更具体地，例如，在第一摄像单元610被指定为基准的情况下，在不改变第一摄像单元610的摄像方向的情况下改变第二摄像单元620和第三摄像单元690的摄像方向。然后，如上所述，使第一摄像单元610、第二摄像单元620和第三摄像单元690的分辨率、俯仰角度和转动角度彼此匹配。之后，将广角图像634发送至客户端装置180(S3)。据此，在客户端装置180的显示单元183上显示广角图像634。

接着，控制单元630判断使用用户界面660是否指示了摄像范围的改变。在指示了摄像范围的改变的情况下(“是”)，判断重叠范围是否等于或大于预定值(S5)。在重叠范围不等于或大于预定值的情况下(“否”)，控制单元630将警告发送至客户端装置180(S6)。在重叠范围等于或大于预定值的情况下(S5中为“是”)，与S2相同，改变除用作基准的摄像单元以外的摄像单元的摄像范围(S7)，之后控制单元630将警告发送至客户端装置180(S6)。根据发送至客户端装置180的警告，在客户端装置180中发出警告。此时，在所指示的摄像范围的改变在限制范围内的情况下，可以无需发送警告。在这种情况下，例如，可以在无需发送警告的情况下在用户界面660中连续显示广角图像634。

之后，控制单元630判断是否选择了非合成模式(S8)。在选择了非合成模式的情况下(“是”)，改变包括用作基准的摄像单元的第一摄像单元610、第二摄像单元620和第三摄像单元690各自的摄像范围(S9)，并且驱动结束。

通过采用这样的结构，在可以生成360度的广角图像的摄像设备中，也可以降低关注的被摄体变为重影的可能性。

尽管已经详细地说明了本发明的优选实施例，但本发明不限于上述实施例，并且可以基于本发明的主旨来进行各种变形，并且这些变形未排除在本发明的范围之外。

例如，在上述实施例中，各摄像单元被配置为能够使用驱动机构来改变摄像范围(摄像方向、变焦倍率和摄像面的转动角度等)。然而，例如，可以包括能够控制至少一个摄像单元的摄像范围的驱动机构，并且多个摄像单元的摄像范围可被配置为据此相对可改变。

还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)等)、闪速存储装置和存储卡等中的一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2019年7月17日提交的日本专利申请2019-132148的优先权，在此通过引用包含其全部内容。