具有恰好两个相机的设备以及使用该设备生成两个图像的方法

技术领域

本公开涉及具有恰好两个相机的设备以及使用该设备生成两个图像的方法。

背景技术

用户越来越希望在无需使用复杂或技术先进的相机的情况下获得高质量的照片，特别是例如使用智能电话和其它消费者设备。双相机摄影越来越受关注。

常规上，使用单相机或双相机拍摄的照片是红蓝绿(RGB)图像。在双相机的情况下，使用由两个相机捕获的信息产生RGB图像。在摄影中也使用红外(IR)信息和IR图像也受到关注，例如用于增强图像细节、用于获得更大的编辑能力以及用于实现某些特殊效果。

发明内容

根据本文公开的第一方面，提供了一种设备，该设备具有恰好两个相机；

第一相机是用于捕获RGB图像的红绿蓝RGB相机；

第二相机是：

(i)用于捕获RGB图像和IR图像的RGB和红外IR相机，第二相机具有可选择性操作的IR通滤光器，该滤光器能够选择性地操作以仅使IR通过，使得第二相机能够用于选择性地捕获RGB图像或IR图像，或者

(ii)用于捕获IR图像的IR相机，并且该设备包括处理器，该处理器被布置为通过使用来自第一相机捕获的图像中的RGB信息来处理第二相机捕获的IR图像以从第二相机捕获的IR图像产生RGB图像；

由此该设备能够选择性地提供来自两个相机的场景的两个RGB图像或两个相机的场景的一个RGB图像和IR图像。

在示例中，在第二相机是IR相机的情况下，该IR相机包括用于捕获场景的IR信息的IR传感器芯片。

在示例中，该设备包括处理器，该处理器用于将场景的两个RGB图像或场景的一个RGB图像和IR图像进行组合以生成所述场景的单个图像。

在示例中，该设备包括IR闪光灯，该IR闪光灯用于利用IR照亮场景，使得反射的IR辐射能够被第二相机捕获。

在示例中，第一相机和第二相机中的至少一个包括用于捕获场景的图像的固定透镜组件。

在示例中，在第二相机是RGB和IR相机的情况下，可选择性地操作的IR滤光器包括微机电系统MEMS快门。

根据本文公开的第二方面，提供了一种使用具有恰好两个相机的设备来生成场景的两个图像的方法，该方法包括：

由设备的第一相机捕获场景的RGB图像；

由设备的第二相机捕获场景的第二图像，该第二图像为场景的RGB图像或IR图像；

其中所述IR第二图像是通过以下任一方式获得的：

(i)在第二相机是RGB或红外相机的情况下，选择性地激活第二相机的IR通滤光器，使得第二相机仅捕获IR图像；或者

(ii)在第二相机是用于捕获IR图像的IR相机的情况下，捕获场景的IR图像；以及

其中，所述RGB第二图像是通过以下任一方式获得的：

(i)在第二相机是RGB和红外IR相机的情况下，选择性地停用第二相机的IR通滤光器，使得第二相机捕获RGB图像；或者

(ii)在第二相机是用于捕获IR图像的IR相机的情况下，捕获场景的IR图像，并且由设备的处理器通过使用来自第一相机捕获的图像中的RGB信息处理IR图像以从第二相机捕获的IR图像产生RGB图像。

在示例中，该方法包括将第一相机捕获的场景的RGB图像与第二相机捕获的场景的第二图像进行组合，以生成场景的单个图像。

在示例中，该方法包括用来自设备的IR闪光灯的IR照亮场景，使得反射的IR辐射可以被设备的第二相机捕获。

在示例中，该设备是移动用户设备。

附图说明

为了帮助理解本公开并示出如何可以实现实施例，通过示例的方式参考附图，其中：

图1示意性地示出了包括用于捕获两个图像的两个相机的示例设备；

图2示意性地示出了图1的两个相机的示例布置；

图3A和3B示意性地示出了使用中的图2的布置的示例构造；

图4示意性地示出了包括用于捕获两个图像的两个相机的第二示例设备；

图5示意性地示出了图4的两个相机的示例布置；以及

图6示意性地示出了使用中的图5的布置的示例构造。

具体实施方式

如上所述，在允许捕获更高质量的照片和/或用于某些视觉效果方面，双相机摄影和IR摄影越来越受到关注，这已成为消费者设备日益重要的要求。双相机系统允许设备通过组合从两个相机接收到的图像信息来生成单个增强的图像。例如，当使用用户设备拍摄肖像(portrait)照片时，双相机照片可能会展现出更清晰的面部特征，或者允许进行光深度摄影、深度图或将一个以上的焦点组合到图像中。

使用IR辐射拍摄IR图像。当与RGB图像相比时，IR图像可以例如通过增强可见特征并带出人眼不易检测到的细节来展现出更多的细节。

本文描述的是具有恰好两个相机的设备。第一相机是用于捕获RGB图像的红绿蓝RGB相机。第二相机是：(i)用于捕获RGB图像和IR图像的RGB和红外IR相机，第二相机具有可选择性操作的IR通滤光器，该滤光器可选择性操作以仅使IR通过，使得第二相机可以用于选择性地捕获RGB图像或IR图像，或者(ii)用于捕获IR图像的IR相机，并且该设备包括处理器，该处理器用于通过使用第一相机捕获的图像中的RGB信息来处理由第二相机捕获的IR图像以从第二相机捕获的IR图像产生RGB图像。该设备可以选择性地提供来自两个相机的场景的两个RGB图像或来自两个相机的场景的一个RGB图像和IR图像。

双相机摄影可以提供关于设备捕获的场景的更多细节。例如，使用本文所述的设备，第一相机和第二相机从其捕获场景的图像信息的边际不同的角度可以提供更多的深度信息和/或更多的场景细节。由两个相机捕获的信息可以通过图像处理方法进行组合，以生成高度详细的单个图像。在示例中，如本领域中已知的，两个相机被布置为捕获散景(Bokeh)照片。在这个示例中，双相机摄影可以例如允许照片中的多个焦点。替代地或附加地，两个相机可以更详细地捕获焦点中的(一个或多个)对象，使得该(一个或多个)对象看起来比散景照片的较少聚焦区域更加突出。例如，当两个相机中的至少一个相机的光圈值(f-stop)无法被更改以捕获散焦图像(其中焦点内和焦点外区域可清晰区分)时，对这种深度信息的需求可能非常重要。

还已知IR信息还可以例如通过提供当相机被布置为捕获RGB图像时否则可能未被相机捕获的细节来极大地增强图像和场景或对象中细微细节的检测。由于IR图像提供的细节增加，因此IR摄影在例如身份检测中非常有用。例如，需要面部识别以允许人访问智能电话的内容的智能电话将可能捕获该人的面部的IR信息。数码相机中使用的传感器芯片通常能够在捕获图像时感测IR信息。

因此，当期望时，设备能够捕获环境的RGB图像和IR图像将是有益的。原则上，总共可以使用三个相机来实现此目的，其中两个相机是RGB相机，一个相机是IR相机。但是，这是昂贵的解决方案，因为每个相机都代表制造成本。本文描述的示例提供了一种仅使用两个相机就可以在期望时实现双相机RGB摄影和IR成像的设备。

该设备可以是例如智能电话、专用数码相机、平板计算机等，其中该设备的第一相机和第二相机被布置为各自捕获场景的图像。在示例中，图像可以被同时捕获。所得的两个RGB图像或一个RGB图像和IR图像可以用作或存储为单独的图像。然后可以在以后的时间编辑和/或组合单独的图像。替代地或附加地，可以组合图像以便得出场景的单个高质量图像，包括双相机摄影和可选地IR成像的特征。

现在参考附图，在图1中示出了示例设备10，其包括第一相机100，第一相机被布置为捕获第一RGB图像；以及第二相机102，第二相机102是用于选择性地捕获RGB图像和IR图像的RGB和IR相机。相机100、102的示例在下面进一步更详细地描述。可选地，设备10可以包括用于生成IR以照亮场景或对象的IR闪光灯103。

在这个示例中，设备10是智能电话10，其包括在智能电话10的背面上的第一相机100、第二相机102和IR闪光灯103。附加地或替代地，智能电话10可以在智能电话10的正面上包括相机100、102以及可选地包括IR闪光灯103。在其它示例中，设备10可以是相机、平板计算机、个人计算机、膝上型电脑等。每个相机100、102可以具有相同或不同类型的透镜。例如，第一相机100可以是广角相机，并且第二相机102可以是远摄相机。

图2是图1的设备10的两个相机100、102的示例布置的俯视图。第一相机100被布置为捕获场景的RGB图像。在这个示例中，第一相机100包括传感器104、相机快门106和透镜装置108。相机快门106可以包括例如MEMS(微机电系统)快门。当需要第一相机100拍摄图片时，传感器104被布置为接收场景的RGB信息。

通常，即使当相机被布置为捕获RGB图像时，相机传感器芯片也会自动捕获IR信息。为了最小化或避免这种不想要的IR信息的存在，在一些示例中，第一相机100可以包括用于阻挡IR并因此防止IR到达第一相机100的传感器104的IR阻挡滤光器(未示出)。在示例中，IR阻挡滤光器可以是固定的，使得IR阻挡滤光器总是被布置为阻挡IR信息并且(仅)允许RGB信息通过相机。如本领域本身已知的，IR阻挡滤光器可以被布置为反射和/或阻挡IR的特定波长或特定波长范围，同时允许可见光通过。

在这个示例中，第二相机102被示出为包括传感器110、相机快门112、透镜装置114和IR通滤光器116。在这个示例中，第二相机102可以被认为是RGB和IR相机102。

如果需要来自第二相机102的RGB图像，那么IR通滤光器116可以被操作为“打开”，使得IR通滤光器116不会遮挡任何辐射到达相机传感器110。RGB(和IR)辐射因此将能够通过相机100并被相机100捕获，从而选择性地允许第二相机102捕获RGB图像。

如果需要来自第二相机的IR图像，那么IR通滤光器116可以被操作为“关闭”，使得IR通滤光器选择性地仅允许IR辐射通过传感器110并阻挡RGB光。由此，第二相机102选择性地仅捕获IR图像。

上述选择性地允许RGB(和IR)信息通过相机的“打开”IR通滤光器116以及选择性地阻止RGB信息并仅允许IR信息通过相机的“关闭”IR通滤光器116的定义将在整个本描述中遵循。

如果存在IR闪光灯103，那么当第二相机102要捕获IR图像时，可以操作IR闪光灯103来照亮要用IR捕获的场景。

图3A和3B以两种不同的示例配置示出了用于捕获场景的图像的图2的布置。

图3A演示了用于捕获两个RGB图像的图2的布置的示例配置。第一相机100的快门106是打开的。在这种情况下，第一相机100被布置为捕获第一RGB图像。第二相机102的快门112也是打开的，使得第二相机102被布置为捕获图像。在这个示例中，第二相机102的IR通滤光器116是打开的，从而允许RGB(和IR)信息通过第二相机102。因此，在这个示例中，第二相机102被布置为捕获场景的第二RGB图像。

图3B演示了用于捕获一个RGB图像和一个IR图像的图2的布置的另一个示例配置。如前所述，第一相机100的快门106是打开的，并且第一相机100被布置为捕获第一RGB图像。第二相机102的快门112也是打开的，使得第二相机102被布置为捕获图像。但是，IR通滤光器116是关闭的，使得RGB信息被阻挡，并且仅IR信息能够通过相机102。因此，第二相机102的传感器110仅接收IR信息，并且第二相机102被布置为捕获IR图像。

在图4中示出了第二示例设备20，其包括第一相机100，第一相机100被布置为捕获第一RGB图像；以及第二相机300，第二相机300用于仅捕获IR图像。

在示例设备20中，第一相机100是如以上针对图1至图3B中公开的第一示例所描述的。在这个示例中，设备20是智能电话20，其包括位于智能电话10的背面上的第一相机100、第二相机300和IR闪光灯103。附加地或替代地，智能电话20可以包括在智能电话20的正面上的相机100、300以及可选地包括IR闪光灯103。在其它示例中，设备20可以是相机、平板电脑、个人计算机、膝上型电脑等。可选地，如上所述，设备20可以包括IR闪光灯103。

图5是图4的设备20的两个相机100、300的示例布置的俯视图。如上所述，第一相机100被布置为捕获场景的RGB图像。第二相机300是布置为捕获IR图像的仅IR相机300。第二相机300包括传感器302、相机快门304、固定的IR通滤光器306和透镜装置308。相机快门304可以包括例如MEMS快门。固定的IR通滤光器306被布置为仅允许IR信息通过到传感器302。因此，固定的IR滤光器116将允许第二相机300仅捕获IR图像。根据上面使用的语言，固定的IR通滤光器116可以被认为是永久关闭的IR通滤光器116，因为IR通滤光器116被布置为总是允许IR信息通过第二相机300，并遮挡RGB信息。

图6示出了用于捕获场景的图像的示例配置中的图5的布置。第一相机100的快门106是打开的。在这种情况下，第一相机100被布置为捕获第一RGB图像。

第二相机300的快门304是打开的，并且第二相机300被布置为捕获场景的IR图像。第二相机300的固定的IR通滤光器306保持关闭，使得第二相机300被布置为仅允许IR通过相机300，并且阻挡RGB信息。

图6中所示的示例配置可以用于获得两个RGB图像，第一RGB图像来自第一相机100，并且第二RGB图像使用来自第一相机100的RGB图像和来自第二相机300的IR图像。特别地，在示例中，第一相机100的RGB图像和第二相机300的IR图像可以被传送到处理器(未示出)。处理器可以结合在包括第一相机100和第二相机300的设备20中，或者处理器可以存在于单独的实体中。处理器可以被布置为通过如本领域本身已知的图像着色方法、颜色重构处理或预测性着色处理使用来自第一相机100捕获的RGB图像的颜色信息来对第二相机300的IR图像进行着色。即，在将第二相机300捕获的IR图像转换成第二RGB图像的处理中使用来自第一相机100捕获的RGB图像的RGB数据。

作为具有固定的IR通滤光器306的第二相机300的替代方案，使得仅IR被传递到传感器，第二相机300可以例如包括IR传感器芯片。IR传感器芯片或IR相机300可以被布置为仅接收落在大约700nm-1mm的IR波长范围内的辐射。在一个示例中，IR传感器芯片300可以包括传感器芯片和布置为仅允许IR辐射通过的覆盖材料。在一个示例中，覆盖材料可以包括被布置为仅允许IR辐射穿过它的仅IR玻璃。在另一个示例中，IR传感器芯片300可以包括被布置为阻挡所有RGB信息并且允许IR信息通过第二相机300的覆盖材料。

两个相机100、102；100、300中的至少一个可以包括自动聚焦致动器，以在捕获图像时允许场景的图像的自动聚焦。替代地或附加地，两个相机100、102；100、300中的至少一个可以包括印刷线路板PWB/印刷电路板PCB图像传感器。

将理解的是，本文中所指的处理器或处理系统或电路系统实际上可以由单个芯片或集成电路或多个芯片或集成电路提供，可选地提供为芯片组、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、图形处理单元(GPU)等。一个或多个芯片可以包括用于实施可配置以便根据示例性实施例进行操作的一个或多个数据处理器、一个或多个数字信号处理器、基带电路系统和射频电路系统中的至少一个或多个的电路系统(以及可能的固件)。就这一点而言，示例性实施例可以至少部分地由存储在(非暂态)存储器中并且可由处理器执行的计算机软件、或者由硬件、或者由有形存储的软件和硬件(以及有形存储的固件)的组合来实现。

本文参考用于存储数据的数据存储装置。这可以由单个设备或多个设备提供。合适的设备包括例如硬盘和非易失性半导体存储器。

虽然本文参考附图描述的实施例的至少一些方面包括在处理系统或处理器中执行的计算机处理，但是本发明还扩展到适于将本发明付诸实践的计算机程序，特别是载体上或载体中的计算机程序。程序可以采用非临时性源代码、目标代码、中间源代码和目标代码的形式，诸如部分编译的形式，或者以适合于在实现根据本发明的处理中使用的任何其它非临时性形式。载体可以是能够承载程序的任何实体或设备。例如，载体可以包括存储介质，诸如固态驱动器(SSD)或其它基于半导体的RAM；ROM，例如CD ROM或半导体ROM；磁记录介质，例如软盘或硬盘；一般的光学存储设备；等等。

本文描述的示例将被理解为本发明的实施例的说明性示例。设想了其它的实施例和示例。关于任何一个示例或实施例描述的任何特征可以单独使用或与其它特征结合使用。另外，关于任何一个示例或实施例描述的任何特征也可以与任何其它示例或实施例中的一个或多个特征或者任何其它示例或实施例的任何组合结合使用。此外，在权利要求书所限定的本发明的范围内，也可以采用本文未描述的等同形式和修改形式。