超声波传感器

背景技术

本公开整体涉及对象检测领域，并且更具体地涉及利用超声波传感器来检测原本难以检测的对象的领域。

当今的电子设备为用户提供了与周围世界交互的许多方式。例如，用户可使用可有助于检测和识别环境中的对象的电子设备来与电子设备进行交互。例如，一些设备提供基于视觉的对象检测，其中利用相机来检测和识别环境中的对象。然而，一些物品在环境中难以检测到。例如，物品可能在相机的视场之外，或者可能难以被相机检测到。例如，透明或玻璃壁、门等可能难以通过基于视觉的对象检测来检测到。反射镜可以是可能难以使用基于视觉的对象检测来检测到的物品类型的另一个示例。因此，需要一种用于检测环境中的对象的改进的系统和方法。

发明内容

在一个实施方案中，描述了用于对象检测的方法。该方法可包括由第一设备使用超声波传感器阵列的宽场配置将第一脉冲传输到环境中，根据基于该第一脉冲的检测到的回波检测环境中对象的存在。响应于检测到对象的存在，确定超声波传感器阵列的目标配置，并基于第二脉冲将该第二脉冲传输到环境中，其中基于来自该第二脉冲的检测到的回波来确定对象的特征。

在另一个实施方案中，该方法可以体现在计算机可执行程序代码中并存储在非暂态存储设备中。在另一个实施方案中，该方法可在电子设备中实现。

附图说明

图1以框图形式示出了根据一个或多个实施方案的简化系统图。

图2A示出了根据一个或多个实施方案的其中可以实践本文描述的技术的示例系统图。

图2B描绘了根据一个或多个实施方案的超声波传感器阵列的示例视场图。

图3描绘了根据一个或多个实施方案的其中可检测对象的示例系统设置。

图4描绘了其中可实践本文所述的技术的网络图。

图5描绘了根据一个或多个实施方案的描述用于对象检测的方法的流程图。

图6以框图形式示出了根据一个或多个实施方案的简化系统图。

图7描绘了根据一个或多个实施方案的电子设备的示例系统图，可以通过该电子设备执行本文描述的技术。

具体实施方式

本公开涉及用于利用头戴式设备上的超声波传感器的系统、方法和计算机可读介质。通过将超声波传感器结合到头戴式设备中，系统可更准确地检测障碍物并警示用户物理环境中的障碍。在一个或多个实施方案中，将超声波传感器添加到头戴式设备为通常通过传统视觉和设置在头戴式耳机上的深度相机不可检测或难以检测的对象提供检测能力。例如，墙壁、门、窗和大反射镜可能难以检测，但是可利用附连到头戴式设备的一个或多个超声波传感器来检测那些对象并警示用户，使得该用户可避免走进那些对象中。在一个或多个实施方案中，用户可利用头戴式设备使得该用户可能无法看到对象，诸如在虚拟现实模式下，以及/或者用户是否正在头部的背部方向上向后行走或以其他方式向后移动。

超声波传感器可用于头戴式设备上的另一种方式是增强用户体验。例如，玻璃桌面和其他表面可能使在环境中准确放置虚拟对象具有挑战性。通过利用超声波传感器，可更好地识别和定位环境中的真实世界物品，使得可更准确地将虚拟对象放置在环境中。

在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为本说明书的一部分，本公开的一些附图以框图形式表示结构和设备，以避免模糊所公开实施方案的新颖方面。在该上下文中，应该理解，对没有相关标识符的编号绘图元素(例如，100)的引用是指具有标识符的绘图元素(例如，100A和100B)的所有实例。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何流程图或流程图表的特定流程仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的任何各种组件，或者可以不同的顺序执行组件，或甚至同时执行组件。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。本公开中使用的语言主要是出于可读性和指导目的而选择的，并且可未选择它来描绘或限制所公开的主题。在本公开中提到“一个实施方案”或“实施方案”意指包括在至少一个实施方案中的结合该实施方案所述的特定特征、结构或特性，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部参考相同或不同的实施方案。

应当理解，在任何实际具体实施的开发中(如在任何开发项目中)，必须要作出许多决策以实现开发者的特定目标(如，符合与系统和商务相关的约束)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂且费时的，但尽管如此，对于受益于本公开的图像捕获的那些普通技术人员而言，这仍然是他们的日常工作。

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感觉中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。

参见图1，根据本公开的一个或多个实施方案示出了电子设备100的简化框图。电子设备100可以是多功能设备诸如头戴式设备的一部分，如图5所示。电子设备100可通过网络连接到其他设备，诸如其他移动设备、平板设备、台式设备，头戴式设备以及网络存储设备诸如服务器等。

电子设备100可包括处理器130。处理器130可以是中央处理单元(CPU)。处理器130可另选地或除此之外包括片上系统诸如存在于移动设备中的那些片上系统，并且可包括零个或多个专用图形处理单元(GPU)。电子设备100还可包括存储器140和存储装置150。存储器140和存储装置150可各自包括一个或多个不同类型的存储器，其可用于结合处理器130执行设备功能。例如，存储器140可包括高速缓存、ROM和/或RAM。存储器140可在执行期间存储各种编程模块，包括图像处理模块155。在一个或多个实施方案中，存储装置150可包括高速缓存、ROM、RAM和/或非易失性存储器，并且可将存储视频图像数据185。视频图像数据185可包括由相机110捕获的原始图像数据和/或经处理的图像数据，诸如来自作为电子设备100的一部分或可操作地连接到电子设备100的相机的图像数据。

电子设备100也可包括一个或多个相机110。每个相机110可包括图像传感器、透镜堆叠和可用于捕获图像的其他部件。此外，在一些实施方案中，图像传感器可在不同的透镜堆叠之间共享。在一个或多个实施方案中，相机110可被配置为捕获静态图片或视频流。

电子设备100可包括一个或多个传感器175，该一个或多个传感器可提供关于周围环境的信息。例如，传感器175可包括被配置为检测亮度、深度、位置和关于环境的其他信息的传感器。此外，电子设备100可包括超声波传感器185。超声波传感器可以多种方式集成到电子设备中。例如，超声波传感器可单独地、以预先确定的图案、以一个或多个传感器阵列等方式集成。电子设备100也可包括显示器180，该显示器可以是加成显示器。例如，显示器180可以是透明或半不透明显示器，诸如平视显示器，通过该显示器可将图像投影在透明表面上方。因此，显示器180可由投影仪和表面构成，或者可仅包括投影仪。此外，显示器180可以是透明显示器，诸如LCD显示器和/或头戴式设备中的显示器。电子设备100可附加地包括I/O设备120，诸如扬声器、麦克风等。

存储器140可包括指令，诸如处理器130能够执行以执行各种动作的计算机可读代码。例如，对象检测模块155可包括使电子设备100帮助检测环境中的对象的指令。对象检测模块可利用从超声波传感器185或其他传感器175收集的数据。

在一个实施方案中，超声波传感器185可用于提供空间的聚焦扫描。超声波传感器185可为统一的或可具有不同的特征。例如，超声波传感器中的一个或多个超声波传感器可具有不同的视场(例如，可以具有不同的覆盖区域)。超声波传感器185可集成到头戴式设备中，使得头戴式设备定位真实环境中的对象的能力得到改善。例如，波束形成可得到改善。传感器185可联网到相同的时基(time base)。然后，传感器185可用于通过使用公共时基将能量发射到空间中来进行波束形成。因此，多个超声波传感器185可以模块化方式配置，同时仍然提供波束形成能力。

此外，可通过以特定于系统的形状和/或环境的方式将传感器185集成到系统上来改善对扫描空间的覆盖。即，超声波传感器185可附连到电子设备100中使得例如基于电子设备100的几何形状来改善或优化对扫描空间的覆盖。此外，可通过利用具有各种视场的超声波传感器185来改善对扫描环境的覆盖。此外，在一个或多个实施方案中，可通过利用超声波传感器增强使用其他传感器175(例如相机110，诸如深度相机或RGB相机)对环境的扫描来改善对空间的扫描。在一个或多个实施方案中，可以利用用于获得环境扫描的准确性和环境扫描的完整性的改善或最佳组合的元素的最优组合。改进的组合可以是满足针对准确性的预定阈值的组合，其可以基于聚焦扫描的使用、环境的一个或多个特征、传感器的特征、集成了该传感器的系统的特征等。例如，传感器或传感器阵列可最初传输“啁啾信号”并利用宽场模式，然后利用较窄场模式来更好地定位环境中的感兴趣目标。

在一个或多个实施方案中，电子设备100可允许用户与CGR环境进行交互。有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。

转到图2A，呈现了包括一组超声波传感器的示例电子设备200。如图所示，在一个或多个实施方案中，该设备可包括统一的或不统一的传感器阵列。出于所示示例的目的，能够传输和接收信号的超声波传感器可分布在电子设备的三个侧面上。即，TX/RX 202、TX/RX204和TX/RX 206可分布在第一侧面上，而TX/RX 208、TX/RX 210和TX/RX 212可分布在第二侧面上，并且TX/RX 214、TX/RX 216和TX/RX 220可分布在第三侧面上。

图2B示出了示例图表250，该图表例示了上文所示的超声波传感器的各种组合的视场，该超声波传感器可以各种组合使用以操纵视场。例如，单个元件255(例如，单个超声波传感器(例如，超声换能器))的覆盖范围可覆盖宽角度，但可提供短的视距。相比之下，子阵列260(例如，两个或更多个超声波传感器)的视场可以更直接(例如，更小的视角)，但是可以提供更大的深度。此外，各种传感器阵列可用于数字波束形成。与简单地使用子阵列或单个元件相比，数字波束形成的视场265可甚至更直接，但提供更大的深度。

转到图3，根据一个或多个实施方案，传感器可以任何方式集成到系统诸如头戴式设备300上，该方式为诸如改善该头戴式设备的设计以适配在头部325周围的方式或以美学上令人愉悦的方式。即，该传感器可以统一或不统一阵列的形式结合到系统中。如图所示，一个示例配置可包括围绕圆形设备的前弧形部的三个超声波传感器302、304和312，而第四超声波传感器306可附连在设备的相反侧中。如此，各个传感器可彼此同步。除此之外或另选地，可存在子阵列，该子阵列包括预先配置为彼此同步的超声波传感器的硬连线阵列。例如，每个传感器可具有其自身的时基。各个传感器的时基可例如通过通信地耦接多个超声波传感器的总线来链接。例如，可通过轮询(round robin)或其他配置来链接传感器，以确定哪个传感器传输以及哪个传感器接收。

此外，在一个或多个实施方案中，传输和/或接收的传感器可以例如基于传感器所集成在其中的系统的上下文信息来配置。在一个示例中，如果确定更多障碍物可能在前向方向上，则可以更经常地选择前向传感器312作为传输传感器。因此，前向传感器312可提供朝向环境中的对象330的传输340。障碍物的方向可基于例如其中放置传感器的系统的移动方向、关于环境中的对象的历史或当前信息、超声波传感器数据、其他传感器数据(例如，深度传感器)。附加传感器302、304和306可被配置作为接收传感器，该接收传感器可检测从前向传感器312传输并从环境中的对象330接收的信号。因此，传感器302、304和306可在响应信号345从环境中的对象330反弹时接收该响应信号。

根据一个或多个实施方案，与超声波传感器集成的两个或更多个头戴式设备可处于相同的环境中，诸如在房间中使用单独系统的两个人，如图4所示。每个系统(例如，HMD400和HMD 410)可具有一组超声波传感器，并且系统中的传感器可通过信道适配相对于彼此定时。根据一个或多个实施方案，HMD 400可安装在头部405上，而HMD 410可安装在头部415上。尽管以特定配置示出了传感器，但应当理解，可使用另选的配置。每个头戴式设备可与一个或多个专用时间范围(time frame)相关联以监听信道。例如，每个系统可监听信道达预先确定的时间量，并且可交替监听信道和利用该信道进行传输。此外，在一个或多个实施方案中，特定头戴式设备上的传感器可基于另一个头戴式设备上的另一个传感器的位置来定时。例如，HMD 400可确定HMD 410在HMD 400的右侧。除此之外或另选地，HMD 400可基于确定传感器432、434和436面向传感器422、424和426来确定利用传感器422、424和426来传输信号442、444和446。这样，两个设备上的传感器可协作以建立或保持用于干扰抑制的时基。在一个或多个实施方案中，反向信道可为不必要的。一个头戴式系统可监听并通过数据接口(例如，Wi-Fi、蓝牙等)可向传输设备指示其可监听到该传输设备。因此，两个或更多个系统400和410可确定如何自动避免超声波传感器之间的干扰。在一个或多个实施方案中，超声传输可碰撞环境中的对象并返回到设备，使得该设备检测到初级返回以及次级返回、三级返回等。在一个或多个实施方案中，如果您进行一个HMD传输，则其可将其自身与其他噪声分开并确定第一响应来自房间中何处。根据一个或多个实施方案，该传输系统可向第二或附加系统指示第一响应属于该传输系统。在一个或多个实施方案中，通过基于这些特征仅在开窗期间进行传输，则可发生功率节省。

在一个或多个实施方案中，在任何一个设备上，存在传感器可能彼此干扰的可能性。根据一个或多个实施方案，该传感器中的一个或所有传感器可具有专用时间来监听所有传输，使得可确定头戴式设备上的传感器之中的传感器的传输时间。根据一个或多个实施方案，单个设备上的传感器可利用传感器被集成在其内的物理结构来影响(leverage)传感器之间的传输。即，因为能量将比通过环境更快地通过头戴式设备，所以单个设备内的传感器可确定预期来自另一个传感器的传输。因此，如果通过物理设备检测到传输，则传感器可等待直到在传输对应的响应之前从环境接收到该对应的响应。此外，在一个或多个实施方案中，次级传感器可以同相或180度异相地传输，以便抵消初级传感器的能量。

在一个或多个实施方案中，可用透镜(诸如塑料透镜)增强传感器以改变视场。在一个或多个实施方案中，可通过在传感器的顶部上包括可在凸形或凹形方面变得可调节压电膜来增强头戴式设备上的超声波传感器中的一个或多个超声波传感器，并且因此可修改视场。

根据一个或多个实施方案，头戴式设备中可包括腔以用作超声波孔。因此，该腔可充当头戴式设备中的超声波传感器的天线。在一个或多个实施方案中，也可使用设备本身。例如，与该超声波传感器的放置相关的设备的物理特征可充当天线。

现在参见图5，描绘了根据一个或多个实施方案的示出用于对象检测的示例技术的示例流程图。应当理解，该特定流程仅作为示例来呈现。在一个或多个实施方案中，可能不需要所有所述过程，并且在一个或多个实施方案中，所述过程中的一个或多个过程可被省略或以不同顺序执行。此外，根据一个或多个实施方案，可同时执行这些过程中的两个或更多个过程。

该流程图从505处开始，其中第一设备诸如电子设备100使用超声波传感器阵列的第一配置将第一脉冲传输到环境中。在一个或多个实施方案中，在510处，电子系统检测环境中的远程系统，诸如第二HMD或配置有超声波传感器阵列的其他电子设备。流程图在515处继续，其中电子设备100将第一脉冲传输到环境中。该第一脉冲可由单个超声传输器或多个超声传输器传输。根据一个或多个实施方案，在525处，该电子设备向远程系统传输该第一脉冲起源自电子设备100处的指示。这样，电子设备100可向远程系统提供关于该脉冲的源的上下文信息，使得由远程设备检测到的回波将与源相关联。

流程图在530处继续，其中电子设备100检测到与第一脉冲相关联的回波。如上所述，该回波可由检测器超声波传感器检测。此外，在一个或多个实施方案中，该回波可由电子设备100的多个传感器检测到。在535处，电子设备100可基于检测到的回波来确定目标配置。在一个或多个实施方案中，该目标配置可以基于如何检测到该回波。例如，在540处，可由多个接收器传感器在不同时间检测该回波。在545处，电子设备可基于检测到该回波的传感器以及每个接收器检测到该回波的时间来确定目标配置。例如，如果左传感器在右传感器之前检测到回波，则目标配置可包括基于传感器检测到回波的时间将在左方向上提供波束形成的传输的配置。在一个或多个实施方案中，可分析特定时间以确定目标配置应指向的更具体的方向。流程图在550处继续，其中该电子设备使用该目标配置将第二脉冲传输到环境中。

流程图在555处结束，其中电子设备100基于与第二脉冲相关联的检测到的回波来确定对象的特征。

现在参见图6，提供了可由电子系统100利用的示例系统架构。该示例架构可包括在头戴式设备600中。该头戴式设备600可包括可在超声波总线602各处连接的一组超声波传感器604。HMD 600还可包括模块，诸如片上系统(“SoC”)606，该模块可用于驱动超声波传感器和/或可用于利用该超声波传感器检测环境中的对象。

HMD 600可包括附加部件，诸如有线数据总线608。有线数据总线608可用于在HMD600的各种部件和模块上传输数据。定时/队列引擎610可用于单独地或组合地为各种超声波传感器604提供时基。该定时信息可例如利用有线数据总线608来在超声波传感器上传送。HMD 600内和/或跨远程设备的传感器之间的协调可由传感器协调器模块624管理。

HMD 600可包括范围配置612和采样率配置614。此外，HMD 600可包括目标列表620和目标分类模块622。最后，HMD 600可包括应用程序层626，来自超声波传感器604的传感器数据可通过该应用程序层被电子设备100中的其他应用程序利用。

现在参考图7，其示出了根据一个实施方案的例示性多功能电子设备700的简化功能框图。多功能电子设备700可包括处理器705、显示器710、用户界面715、图形硬件720、设备传感器725(例如，接近传感器/环境光传感器、加速计和/或陀螺仪)、麦克风730、一个或多个音频编解码器735、一个或多个扬声器740、通信电路745、数字图像捕获电路750(例如，包括相机系统100)、一个或多个视频编解码器755(例如，支持数字图像捕获单元750)、存储器760、存储设备765和通信总线770。多功能电子设备700可为例如数字相机或个人电子设备，诸如个人数字助理(PDA)、个人音乐播放器、移动电话或平板电脑或头戴式设备。

处理器705可执行执行或控制由设备700执行的许多功能的操作所必需的指令(例如，诸如本文所公开的图像的生成和/或处理以及单摄像头和多摄像头校准)。处理器705可例如驱动显示器710并可从用户界面715接收用户输入。用户界面715可允许用户与设备700交互。例如，用户界面715可呈现多种形式，诸如按钮、小键盘、拨号盘、点击轮、键盘、显示屏和/或触摸屏。处理器705也可例如为片上系统，诸如存在于移动设备中的那些，并且包括专用图形处理单元(GPU)。处理器705可基于精简指令集计算机(RISC)或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理内核。图形硬件720可为用于处理图形和/或辅助处理器705以处理图形信息的专用计算硬件。在一个实施方案中，图形硬件720可包括可编程GPU。

图像捕获电路750可包括与传感器元件790相关联的透镜组件780。图像捕获电路750可捕获静态图像和/或视频图像。通过以下设备可至少部分地处理来自图像捕获电路750的输出：一个或多个视频编解码器755和/或处理器705和/或图形硬件720、和/或结合在电路765内的专用图像处理单元或管道。由此捕获的图像可存储在存储器760和/或存储装置755中。

传感器和摄像头电路系统750可捕获可至少部分地由以下设备根据本公开处理的静态图像和视频图像：一个或多个视频编解码器755和/或处理器705和/或图形硬件720和/或结合在电路750内的专用图像处理单元。由此捕获的图像可存储在存储器760和/或存储装置765中。存储器760可包括由处理器705和图形硬件720用于执行设备功能的一个或多个不同类型的介质。例如，存储器760可包括存储器高速缓存、只读存储器(ROM)和/或随机存取存储器(RAM)。存储装置765可存储介质(例如音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置765可包括一个或多个非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(诸如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储器760和存储装置765可用于有形地保持被组织成一个或多个模块并以任何所需的计算机编程语言编写的计算机程序指令或代码。在由例如处理器705执行时，此类计算机程序代码可实现本文所述的方法中的一种或多种。

因此，本发明所公开的主题的范围应该参考所附权利要求以及这些权利要求的等同物的全部范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(inwhich)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同形式。