基于从一个或多个连接设备获得的数据生成元数据的方法

相关申请的交叉引用

本申请要求于2019年10月3日提交的美国临时申请号62/909,848的优先权，该申请的公开内容通过引用整体并入本文，并且要求该申请的优先权。

技术领域

本公开总体上涉及基于从与位于整个空间中的一个或多个连接设备相关联的一个或多个传感器设备获得的数据生成元数据的方法。

背景技术

随着物联网(Internet of Things，IoT)技术的进步，空间(例如，办公室、家等)可以配备由各种类型的连接设备(例如，恒温器、功率开关)。这些连接设备可以包括能够收集指示空间内的活动的数据的一个或多个传感器设备(例如，麦克风、运动传感器等)。例如，一个或多个传感器设备可以包括被配置成获得指示空间内的人的运动的数据的一个或多个运动传感器。替代性地或附加地，一个或多个传感器设备可以包括被配置为获得指示空间内的人的存在的音频数据的一个或多个麦克风。

发明内容

本公开的实施例的各方面和优点将在以下描述中部分阐述、或者可以从描述中获知、或者可以通过实施例的实践获知。

在一个方面，本公开涉及一种用于确定空间内的人或物体的位置的方法。该方法可以包括由一个或多个计算设备从与位于该空间内的一个或多个连接设备相关联的一个或多个传感器设备获得数据。此外，该方法可以包括由一个或多个计算设备至少部分地基于该数据来生成指示空间内的人或物体的存在的元数据。该方法还可以包括由一个或多个计算设备获得指示与获得空间内的人或物体的位置相关联的用户请求的数据。此外，该方法可以包括由一个或多个计算设备至少部分地基于元数据来确定人或物体的位置。另外，该方法可以包括由一个或多个计算设备提供指示人或物体的位置的通知。

参考以下描述和所附权利要求，各种实施例的这些和其他特征、方面和优点将变得更好理解。并入本说明书并构成其一部分的附图示出了本公开的实施例，并与说明书一起用于解释相关原理。

附图说明

参考附图，在说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，在附图中：

图1描绘了根据本公开的示例实施例的具有一个或多个连接设备的空间；

图2描绘了根据本公开的示例实施例的连接设备的组件的框图；

图3描绘了根据本公开的示例实施例的连接设备的透视图；

图4描绘了根据本公开的示例实施例的图3的连接设备的组件的另一框图；

图5描绘了根据本公开的示例实施例的用于确定空间内的人的位置的系统；

图6描绘了根据本公开的示例实施例的用于基于从空间内的一个或多个连接设备获得的数据生成元数据的方法的流程图；

图7描绘了根据本公开的示例实施例提供的用于确定空间内的人或物体的位置的方法的流程图；以及

图8描绘了根据本公开的示例实施例的计算系统的组件的框图。

具体实施方式

现在将详细参考实施例，其一个或多个示例在附图中示出。每个示例作为对实施例的解释而不是作为对本公开的限制来提供的。事实上，对于本领域的技术人员来说显而易见的是，在不脱离本公开的范围或精神的情况下，可以对实施例进行各种修改和改变。例如，作为一个实施例的一部分示出或描述的特征可以与另一个实施例一起使用，以产生另外的实施例。因此，本公开的各方面旨在覆盖这些修改和变化。

本公开的示例方面涉及用于确定空间内的人或物体的位置的方法。在一些实施方式中，根据本公开的示例方面的方法可以包括由一个或多个计算设备从与位于该空间内的一个或多个连接设备相关联的一个或多个传感器设备获得数据。例如，从一个或多个传感器设备获得的数据可以指示空间内的一个或多个可听声音。替代性地或附加地，该数据可以指示经由一个或多个连接设备选择性地耦合到电源的用电负载(powered load)的功耗。如下面将更详细讨论的那样，从一个或多个传感设备获得的数据可以用于生成指示空间内的人或物体的存在的元数据。

在一些实施方式中，该方法可以包括由一个或多个计算设备输入从一个或多个传感设备获得的数据作为到分类器(例如，机器学习模型)的输入。分类器可以被配置成至少部分地基于从一个或多个传感设备获得的数据来检测空间内的人或物体的存在。

由此，该方法还可以包括由一个或多个计算设备获得作为分类器的输出的元数据。元数据可以指示空间内的人或物体的位置，并且在一些实施方式中，还可以包括时间戳，以指示何时在空间内检测到人或物体。

在一些实施方式中，该方法可以包括由一个或多个计算设备获取指示用于获得空间内的人或物体的位置的用户请求的数据。例如，指示用户请求的数据可以是指示由用户讲出以请求空间内的人或物体的位置的一个或多个语音命令(例如，“最后一次见到沃伦是在哪里？”或“给我看沃伦的所有视频”)的音频数据。然而，应当理解的是，用户可以通过任何合适的方法提供指示用户请求的数据。例如，在一些实施方式中，指示用户请求的数据可以通过用户与和用户相关联的移动计算设备(例如，智能手机、平板电脑等)上执行的应用(例如，移动小程序)的交互来获得。如下面将更详细讨论的那样，元数据可以用于确定空间内的人或物体的位置。

该方法可以包括由一个或多个计算设备至少部分地基于元数据来确定空间内的人或物体的位置。例如，在一些实施方式中，元数据可以与从空间内的一个或多个图像捕获设备获得的视频数据相关联。更具体地，元数据可以与具有对应于与元数据相关联的时间戳的时间戳的视频数据的一个或多个帧相关联。以这样的方式，元数据可以与描绘空间内的人或物体的视频数据的帧相关联。由此，在一些实施方式中，该方法可以包括基于与元数据相关联的一个或多个帧来确定人或物体的位置。

在一些实施方式中，一个或多个计算设备可以被配置成提供指示空间内的人的位置的通知。例如，通知可以是经由一个或多个连接设备的一个或多个输出设备(例如，扬声器)提供的听觉通知(例如，“沃伦在中午最后一次出现在董事会会议室”)。替代性地或附加地，通知可以是视觉通知。例如，在一些实施方式中，视觉通知可以包括由一个或多个计算设备在一个或多个输出设备上显示其中描绘了人或物体的一个或多个视频。在一些实施方式中，一个或多个输出设备(例如，显示屏)可以与一个或多个连接设备相关联。替代性地或附加地，通知可以被提供给与请求人的位置的用户相关联的移动计算设备(例如，智能手机、平板电脑等)。例如，通知可以是视觉通知(例如，文本消息、电子邮件)。替代性地或附加地，通知可以是听觉通知，诸如自动电话呼叫。

根据本公开的示例方面的计算系统可以提供许多技术益处，特别是在计算技术领域。例如，生成指示用户存在的元数据可以促进信息的搜索，这可以为连接设备、网络和/或相关联的系统的更多核心功能保留计算资源。作为另一示例，将元数据与视频数据的一个或多个帧相关联减少了一个或多个计算设备为了确定空间内的人的位置而必须搜索的视频数据量。以这样的方式，可以增加一个或多个计算设备可用于执行关键处理功能的时间量。

现在参考图1，根据本公开的示例实施例提供了示例空间100。如所示出的那样，空间100的内部被划分成多个房间110和走廊112。尽管空间100被描绘为仅具有一层，但是应当理解的是，本公开不限于单层建筑物。如所示出的那样，多个连接设备120设置在空间100的整个内部中。例如，多个连接设备120中的至少一个可以位于多个房间110中的每一个中。替代性地或附加地，多个连接设备120中的一个或多个可以位于空间100的走廊112内。

在一些实施方式中，一个或多个图像捕获设备130可以位于空间的整个内部中。如所示出的那样，一个或多个图像捕获设备130可以是与多个连接设备120分离的独立设备。然而，在替代性实施方式中，一个或多个图像捕获设备130可以是多个连接设备120中的一个或多个的一部分(例如，与其集成)。

如所示出的那样，一个或多个图像捕获设备130可以位于空间100的走廊112内。然而，应当理解的是，一个或多个图像捕获装置130可以位于空间100的内部内的任何合适的位置处。例如，在一些实施方式中，图像捕获设备130可以位于多个房间110的每一个中。以这样方式，图像捕获设备130可以获得指示在多个房间110中的相对应的房间内发生的事件的视频数据。

现在参考图2，根据本公开的示例实施例，提供了连接设备120的合适组件。如所示出的那样，连接设备120可以包括一个或多个传感器设备。例如，在一些实施方式中，一个或多个传感器设备可以包括一个或多个麦克风210。一个或多个麦克风210可以被配置成获得指示空间100(图1)内发生的一个或多个可听声音的音频数据。例如，一个或多个麦克风210可以获得指示人在空间100内说话的音频数据。作为另一示例，一个或多个麦克风210可以获得指示人在空间100内四处移动的音频数据。

在一些实施方式中，连接设备120的一个或多个传感器设备可以包括一个或多个运动传感器212。一个或多个运动传感器212可以被配置成获得指示空间100(图1)内发生的运动的数据。例如，在一些实施方式中，一个或多个运动传感器212可以检测进入或离开空间100或者空间100的特定区域的人。然而，应当理解的是，可以使用任何合适类型的运动传感器来获得指示空间100内发生的运动的数据。例如，在一些实施方式中，一个或多个运动传感器可以包括无源红外(passive infrared，PIR)传感器。

在一些实施方式中，连接设备120可以被配置为将一个或多个用电负载(未示出)选择性地耦合到电源(例如，AC市电)。在这样的实施方式中，连接设备120的一个或多个传感设备可以包括功率计量电路214。功率计量电路214可以包括电流传感器和电压传感器中的至少一个。以这样的方式，当经由连接设备120耦合到电源时，功率计量电路214可以获得指示一个或多个用电负载的功耗的数据。

在一些实施方式中，连接设备120可以包括一个或多个输出设备。例如，一个或多个输出设备可以包括一个或多个扬声器216。以这样的方式，可以经由一个或多个扬声器216向空间100(图1)内的一个或多个人提供听觉通知。

在一些实施方式中，连接设备120可以包括计算系统220。计算系统220可以通信地耦合到一个或多个传感器设备(例如，(多个)麦克风210、(多个)运动传感器212、功率计量电路214)。以这样的方式，计算系统200可以从一个或多个传感器设备获得数据。此外，计算系统220可以可操作地耦合到一个或多个输出设备(例如，(多个)扬声器216)。以这样的方式，计算系统220可以经由连接设备120的一个或多个输出设备提供通知。

在一些实施方式中，连接设备120可以包括通信电路230。通信电路230可以包括相关联的电子电路系统，该电子电路系统可以用于将计算系统220与其他设备通信耦合，诸如与空间100(图1)内的其他连接设备120相关联的计算设备240。在一些实施方式中，通信电路230可以允许计算系统220直接与其他连接设备通信。在替代性实施方式中，通信电路230可以通过网络提供与其他连接设备的通信。

网络可以是任何合适类型的网络，诸如以太网供电(POE)网络、局域网(例如内联网)、广域网(例如互联网)、低功率无线网络(例如蓝牙低能量(Bluetooth Low Energy，BLE)、Zigbee等)或它们的某种组合，并且可以包括任何数量的有线或无线链路。一般而言，网络上的通信可以通过任何类型的有线或无线连接使用各种各样的通信协议、编码或格式和/或保护方案来实施。

根据本公开的示例方面使用的示例通信技术可以包括，例如，蓝牙低能量、蓝牙网状联网、近场通信、Thread、TLS(Transport Layer Security，传输层安全性)、Wi-Fi(例如，IEEE 802.11)、Wi-Fi Direct(用于对等通信)、Z-Wave、Zigbee、Halow、蜂窝通信、LTE、低功率广域联网、VSAT、以太网、MoCA(Multimedia over Coax Alliance，同轴电缆多媒体联盟)、PLC(Power-line communication，电力线通信)、DLT(digital line transmission，数字线路传输)、以太网供电等。在不脱离本公开的范围的情况下，可以使用其他合适的有线和/或无线通信技术。

现在参考图3，根据本公开的示例实施例，提供了示例连接设备120。如所示出的那样，在一些实施方式中，连接设备120可以是被配置为接纳用于向一个或多个用电负载递送功率的导体302、304和306的功率开关。例如，可以通过导体304和306从电源(例如，断路器、面板等)向连接设备120递送功率。在一些实施方式中，导体304可以是火线导体，并且导体306可以是零线导体。另外，导体302可以是用于向一个或多个用电负载(例如，照明器材、电子设备、用电插座、电器、机器等)递送功率的负载导体(例如，负载线)。

在一些实施方式中，连接设备120可以被配置为经由功率中断器经由导体302控制到一个或多个用电负载的功率递送。功率中断器可以控制功率是否通过导体302递送。在一些实施方式中，功率中断器可以是晶闸管355(例如，TRIAC)。当晶闸管355处于第一状态时，功率经由导体302传导至一个或多个用电负载。当晶闸管355处于第二状态时，功率不经由导体302传导至一个或多个用电负载。

出于说明和讨论的目的，参考晶闸管功率终端器来讨论本公开的各方面。在不脱离本公开的范围的情况下，可以使用其他合适的设备和/或组件来控制经由导体302的功率递送，诸如功率半导体、继电器、接触器、机械开关等。

在一些实施方式中，可以基于各种输入来控制晶闸管355的状态。例如，晶闸管355的状态可以基于在接口元件(诸如摇杆按钮310或连接设备120的开关)处接收的用户输入来控制。晶闸管355的状态也可以基于通过通信链路从其他设备(例如，诸如智能手机、平板电脑、可穿戴设备、膝上型电脑、具有一个或多个处理器的显示器的用户设备)接收的信号来控制。

在一些实施方式中，连接设备120的前面板305可以包括摇杆按钮310、桨状外壳308和散热器312。摇杆按钮310可以被接纳在桨状外壳308中。摇杆按钮310可以围绕穿过摇杆按钮310的中心的轴线旋转，使得当用户按压摇杆按钮310的顶部部分时，摇杆按钮310可以在第一方向上旋转，并且当用户按压摇杆按钮310的底部部分时，可以在不同于第一方向的第二方向上旋转。

当用户按压摇杆按钮310以使摇杆按钮310在第一方向上旋转时，晶闸管355可以被控制为处于第一状态，以允许经由导体302向一个或多个用电负载递送功率。当用户按压摇杆按钮310以使摇杆按钮310在第二方向旋转时，晶闸管355可以被控制为处于第二状态，以停止经由导体302向一个或多个用电负载递送功率。

在一些实施方式中，连接设备120的前面板305可以包括第一按钮322和第二按钮324。如所示出的那样，在一些实施方式中，菲涅耳透镜326可以设置在第一按钮322和第二按钮324之间。用户可以与第一按钮322和第二按钮324交互，以控制连接设备120的各种操作。

在一些实施方式中，第一按钮322可以是配对按钮。更特别地，用户可以与第一按钮322交互(例如，按下和/或拉出第一按钮322)以启动与另一设备(诸如用电负载、另一功率开关或用户设备)的配对序列。配对序列可以用于实现连接设备120和另一设备之间的通信。例如，配对序列可以用于允许连接设备120和另一设备之间的使用直接对等通信协议的通信。在不脱离本公开的范围的情况下，可以使用经由第一按钮的多种合适的交互(例如，用户交互序列)中的任何一种来发起配对序列。

在一些实施方式中，第二按钮324可以是气隙开关。用户与气隙开关的交互可以用于从连接设备120和/或一个或多个用电负载移除功率。在一些实施方式中，用户可以通过将第二按钮324背离前面板305拉动来与第二按钮324交互。第二按钮324可以与长的柱塞臂相关联，使得当第二按钮324背离前面板105拉动时，到连接设备120和一个或多个所连接的负载的功率被移除。在一些实施方式中，用户可以通过将第二按钮324推向前面板305来与第二按钮324交互。例如，用户可以将第二按钮324推向前面板305，以执行一个或多个功能。作为示例，一个或多个功能可以包括激活数字语音助理服务(例如，Alexa、Siri、Google等)。

现在参考图4，根据本公开的示例实施例，提供了连接设备120的示例控制系统400的框图。控制系统400可以包括一个或多个处理器440和一个或多个存储器设备460。例如，一个或多个处理器440可以包括双(例如，两个)处理器。替代性地，一个或多个处理器440可以包括四个(例如，四个)处理器。

一个或多个处理器440可以是任何合适的处理设备，诸如执行操作以控制组件(例如，本文描述的组件中的任何一个)的微处理器、集成电路(例如，专用集成电路)、现场可编程门阵列等。一个或多个存储器设备460可以是用于存储计算机可读指令和数据的任何合适的介质。例如，一个或多个存储器设备460可以包括随机存取存储器，诸如动态随机存取存储器(DRAM)、静态存储器(SRAM)或其他易失性存储器。此外，和/或替代性地，一个或多个存储器设备可以包括非易失性存储器，诸如ROM、PROM、EEPROM、闪存、光存储、磁存储等。

一个或多个存储器设备460可以存储计算机可读指令，当由一个或多个处理器440执行时，这些指令使得一个或多个处理器440执行操作，诸如本文描述的操作中的任何一个。指令可以是以任何合适的编程语言编写的软件，或者可以以硬件实施。

一个或多个存储器设备460还可以存储可以获得、接收、访问、写入、操纵、创建和/或存储的数据。作为示例，一个或多个存储器设备460可以存储与一个或多个分类器模型(例如，机器学习分类器模型)相关联的数据，该一个或多个分类器模型可以用于对从连接设备120的一个或多个传感器设备(例如，麦克风、功率计量电路、运动传感器)获得的数据进行分类。更具体地，一个或多个分类器模型可以将数据分类为指示空间内的人或物体的存在或者不指示空间内的人或物体的存在。将(多个)分类器模型本地存储在一个或多个存储器设备460中可以允许对从连接设备120的一个或多个传感器设备获得的数据进行本地处理。

仍然参考图4，一个或多个处理器440可以与音频电路系统430通信和/或可以被配置为控制音频电路系统430的操作。音频电路系统430可以被配置为接收和处理从例如连接设备120的第一麦克风442和连接设备120的第二麦克风444接收的音频数据。音频电路系统430还可以为连接设备120的扬声器432提供音频输出。在一些实施方式中，音频电路430可以包括数字信号处理器(DSP)、编解码器、放大器等中的一个或多个。例如，音频电路系统430可以是具有双核音频DSP的低功率智能编解码器。在一些实施例中，音频电路系统430可以包括具有由Cirrus Logic制造的双核DSP的CS47L24智能编解码器。

在一些实施方式中，一个或多个处理器440可以与微控制器480通信和/或可以被配置为控制微控制器480的操作。微控制器480可以被配置为控制晶闸管355和/或向一个或多个处理器440提供信号，用于基于经由连接设备120的接口元件(诸如摇杆按钮310、第一按钮322、第二按钮324或其他接口元件)接收的输入来控制组件。微控制器480还可以从连接设备120的一个或多个运动传感器482接收信号。在一些实施方式中，一个或多个运动传感器482可以包括PIR传感器。然而，应当理解的是，连接设备120可以包括任何合适类型的运动传感器。在一些实施方式中，存储在连接设备的一个或多个存储器设备460上的一个或多个分类器模型可以被配置成将从一个或多个运动传感器482获得的数据分类为指示空间内的人或物体的存在或者不指示空间内的人或物体的存在。

在一些实施方式中，一个或多个处理器440可以与环境光传感器446通信。来自环境光传感器446的信号可以例如由(多个)处理器440使用，以基于空间中的环境光来实施控制动作(例如，控制到一个或多个用电负载的功率递送)。在一些实施方式中，环境光传感器446可以是由Mouser Electronics制造的LTR-329ALS-01数字光传感器。

一个或多个处理器440可以与功率计量电路448通信和/或可以被配置成控制功率计量电路448的操作。功率计量电路448可以被配置为测量流过穿过连接设备120的负载线的电压和/或电流。例如，可以使用传感电阻器来测量电流。例如，可以使用分压器来测量电压。可以基于所测量的电流和电压计算流过负载线的功率(例如，使用位于连接设备120上和/或远离连接设备120的一个或多个处理器440)。在一些实施方式中，功率计量电路448可以是由STMicroelectronics制造的STPM32计量电路系统。

在一些实施方式中，从连接设备120的功率计量电路448获得的数据可以作为输入被提供给存储在连接设备120的一个或多个存储器设备460上的一个或多个分类器模型。一个或多个分类器模型可以处理数据，并且至少部分地基于从功率计量电路448获得的数据来生成元数据。元数据可以指示空间中存在的人或物体。在一些实施方式中，元数据可以包括指示何时检测到空间内的人或物体的存在的时间戳。

一个或多个处理器440可以与LED驱动器电路470和LED板472通信，以控制连接设备120的指示器的操作。LED驱动器电路470可以向LED板472提供功率，用于驱动多个LED。一个或多个处理器440可以控制来自LED板472上的一个或多个LED的光发射，以提供各种指示器(例如，灯环、夜灯等)。在一些实施方式中，LED驱动器电路470可以是由IntegratedSilicon Solution，Inc.制造的IS31FL3235 LED驱动器。

一个或多个处理器440可以与通信接口492通信。通信接口492可以允许使用天线495经由例如一个或多个无线链路进行的数据通信。通信接口492可以包括用于通过各种通信链路(例如网络)进行通信的任何电路、组件、软件等。在一些实施方式中，通信接口492可以包括例如通信控制器、接收器、收发器、发射器、端口、导体、软件和/或用于传送数据的硬件中的一个或多个。在一些实施方式中，通信接口492可以包括由Silex Technology制造的SX-SDPAC模块。

示例通信技术和/或协议可以包括，例如，蓝牙低能量、蓝牙网状联网、近场通信、Thread、TLS(Transport Layer Security，传输层安全性)、Wi-Fi(例如，IEEE 802.11)、Wi-Fi Direct(用于对等通信)、Z-Wave、Zigbee、Halow、蜂窝通信、LTE、低功率广域联网、VSAT、以太网、MoCA(Multimedia over Coax Alliance，同轴电缆多媒体联盟)、PLC(Power-linecommunication，电力线通信)、DLT(digital line transmission，数字线路传输)等。在不脱离本公开的范围的情况下，可以使用其他合适的通信技术和/或协议。

现在参考图5，根据本公开的示例实施例，提供了用于确定空间内的人的位置的系统500。如所示出的那样，系统500可以包括多个连接设备120(仅示出一个)。多个连接设备120可以位于整个空间中，诸如上面参考图1讨论的空间100。连接设备120可以与各种设备通信。例如，在一些实施方式中，连接设备120中的一个可以是与用电负载510通信的功率开关。用电负载510可以是由功率开关供电的任何设备，诸如一个或多个照明器材或其他光源、电器、电子设备、消费设备、吊扇、机器、系统或任何其他合适类型的用电负载。替代性地或附加地，连接设备120可以与用户设备520、560通信。例如，用户设备520、560可以包括一个或多个智能手机、膝上型电脑、台式电脑、平板电脑、可穿戴设备、媒体设备、具有一个或多个处理器的显示器或其他合适的设备。

在一些实施方式中，连接设备120中的一个或多个可以例如经由直接通信链路(例如，直接有线或无线通信链路)或经由诸如局域网540的网络与用电负载510通信。例如，可以使用蓝牙低能量或其他合适的通信协议来实现直接通信链路。一个或多个连接设备120可以控制经由负载导体到用电负载510的功率递送。在一些实施方式中，一个或多个被连接设备120可以经由直接通信链路提供控制信号来控制用电负载510的操作(例如，风扇速度、调光水平等)。

在一些实施方式中，连接设备120中的一个或多个可以例如经由直接通信链路(例如，直接有线或无线通信链路)或经由诸如局域网540的网络与用户设备520、560通信。例如，可以使用蓝牙低能量或其他合适的通信协议来实现直接通信链路。在一些实施例中，用户可以经由在用户设备520、560的显示器上实施的图形用户界面来控制、查看信息和/或指定与一个或多个连接设备120相关联的一个或多个设置。例如，用户可以访问在用户设备520上实施的应用。该应用可以在用户设备520的显示器上呈现图形用户界面。用户可以与图形用户界面交互，以控制一个或多个连接设备120和/或用电负载510的操作。

局域网540可以是允许设备之间的通信的任何合适类型的网络或网络组合。在一些实施例中，(多个)网络可以包括安全网络、Wi-Fi网络、IoT网络、网状网络、一个或多个对等通信链路中的一个或多个和/或它们中的一些组合，并且可以包括任意数量的有线或无线链路。局部网络340上的通信可以例如通过使用任何类型的协议、保护方案、编码、格式、打包等的通信接口来实现。

如所示出的那样，系统500可以包括网关555，该网关可以允许接入广域网550。广域网550可以是例如因特网、蜂窝网络或其他网络，并且可以包括任意数量的有线或无线链路。广域网550上的通信可以例如通过使用任何类型的协议、保护方案、编码、格式、打包等的通信接口来实现。如所示出的那样，连接设备120可以通过广域网550经由网关555向远程计算系统580和590以及其他远程计算设备传送信息。

在一些实施方式中，远程计算系统580可以与云计算平台相关联，用于为连接设备120实施一个或多个服务。由云计算平台收集的数据可以被处理、存储并提供给例如用户设备520(例如，用于在图形用户界面中呈现)。

在一些实施方式中，远程计算系统590可以与由连接设备120访问的服务相关联，诸如数字音频助理服务。在一些实施方式中，经由一个或多个传感器设备收集的音频数据可以被传送到远程计算系统590，用于语音命令的处理。响应于语音命令的数据可以被传送到连接设备120用于输出(例如，通过输出设备)和/或传送到用户设备520(例如，用于在图形用户界面中显示)。以这样的方式，连接设备120可以充当用于数字语音助理服务的语音命令的来源。

远程计算系统580和590可以包括一个或多个计算设备。一个或多个计算设备可以包括一个或多个处理器和一个或多个存储器设备。远程计算系统580和590可以是分布式的，使得其组件位于不同的地理区域。本文讨论的技术参考了基于计算机的系统和由基于计算机的系统采取的动作以及发送到和来自基于计算机的系统的信息。本领域的普通技术人员将认识到，基于计算机的系统的固有灵活性允许组件之间的任务和功能的多种可能的配置、组合和划分。例如，本文讨论的过程可以使用单个计算设备或以组合的方式工作的多个计算设备来实施。数据库、存储器、指令和应用可以在单个系统上实施，或者分布在多个系统上。分布式组件可以顺序或并行操作。

现在参考图6，根据本公开的示例实施例，提供了用于基于从空间内的一个或多个连接设备获得的数据生成元数据的方法600的流程图。应当理解的是，方法600可以使用上面参考图5讨论的系统500来实施。图6出于示出和讨论的目的，描绘了以特定顺序执行的步骤。使用本文提供的公开内容，本领域的普通技术人员将理解，在不脱离本公开内容的范围的情况下，方法600的各个步骤可以被调整、修改、重新排列、同时执行或以各种方式修改。

在(602)，方法600可以包括由计算系统的一个或多个计算设备从与位于该空间内的一个或多个连接设备相关联的一个或多个传感器设备获得数据。例如，在一些实施方式中，数据可以是指示由一个或多个连接设备的一个或多个麦克风获得的一个或多个可听声音的音频数据。替代性地或附加地，数据可以指示一个或多个用电负载消耗经由空间内的连接设备中的一个从电源(例如，AC市电)提供的功率。

在(604)，方法600包括由一个或多个计算设备至少部分地基于在(602)获得的数据来生成指示空间内的人或物体的位置的元数据。在一些实施方式中，生成指示人或物体的位置的元数据可以包括，在(606)，由一个或多个计算设备输入在(602)获得的数据作为到分类器模型(例如，机器学习模型)的输入，该分类器模型被配置成将数据分类为指示空间内的人或物体的存在。分类器模型可以使用机器学习模型来实施。例如，机器学习模型可以包括但不限于卷积神经网络、决策树、贝叶斯网络、支持向量机、K均值聚类等等。如果分类器模型确定从一个或多个传感器设备获得的数据指示空间内的人或物体的存在，则生成元数据可以包括，在(608)，由一个或多个计算设备输出指示人或物体的存在的元数据作为分类器模型的输出。另外，在一些实施方式中，元数据可以包括指示何时检测到人或物体的存在的时间戳。

在一些实施方式中，方法600还可以包括由一个或多个计算设备将元数据与从空间内的一个或多个图像捕获设备获得的视频数据相关联。例如，元数据可以与具有对应于与元数据相关联的时间戳的时间戳的视频数据的一个或多个帧相关联。以这样的方式，一个或多个计算设备可以被配置成仅搜索与元数据相关联的视频数据的一个或多个帧，以确定人或物体的位置。

现在参考图7，根据本公开的示例实施例，提供了用于确定空间内的人或物体的位置的方法700的流程图。应当理解的是，方法700可以使用上面参考图5讨论的系统500来实施。应当理解的是，在一些实施方式中，方法700的一个或多个步骤可以由一个或多个连接设备的计算系统本地执行。替代性地，在一些实施方式中，方法700的一个或多个步骤可以由以上参考图5讨论的远程计算系统来执行。另外，尽管图7出于说明和讨论的目的描绘了以特定顺序执行的步骤，使用本文提供的公开内容，本领域的普通技术人员将理解，在不脱离本公开内容的范围的情况下，方法700的各个步骤可以被调整、修改、重新排列、同时执行或以各种方式修改。

在(702)，方法700可以包括由计算系统的一个或多个计算设备从与位于该空间内的一个或多个连接设备相关联的一个或多个传感器设备获得数据。例如，在一些实施方式中，数据可以是指示由一个或多个连接设备的一个或多个麦克风获得的一个或多个可听声音的音频数据。替代性地或附加地，数据可以指示一个或多个用电负载消耗经由空间内的被连接设备中的一个从电源(例如，AC市电)提供的功率。

在(704)，方法700包括由一个或多个计算设备至少部分地基于在(702)获得的数据来生成指示空间内的人或物体的位置的元数据。在一些实施方式中，生成指示人或物体的位置的元数据可以包括，由一个或多个计算设备输入在(702)获得的数据作为到分类器模型(例如，机器学习模型)的输入，该分类器模型被配置成将数据分类为指示空间内的人或物体的存在。分类器模型可以使用机器学习模型来实施。例如，机器学习模型可以包括但不限于卷积神经网络、决策树、贝叶斯网络、支持向量机、K均值聚类等等。如果分类器模型确定从一个或多个传感器设备获得的数据指示空间内的人或物体的存在，则生成元数据可以包括，由一个或多个计算设备获得指示人或物体的存在的元数据作为分类器模型的输出。另外，在一些实施方式中，元数据可以包括指示何时检测到人或物体的存在的时间戳。

在(706)，方法700可以包括由计算系统的一个或多个计算设备获得指示获得空间内的人或物体的位置的用户请求的数据。例如，指示用户请求的数据可以包括经由连接设备中的一个或多个的一个或多个传感器设备(例如，麦克风)获得的音频数据。

在(708)，方法600可以包括由一个或多个计算设备至少部分地基于根据从空间内的一个或多个连接设备的一个或多个传感器设备获得的数据生成的元数据来确定空间内的人或物体的位置。在一些实施方式中，在(604)获得的元数据可以与从空间内的一个或多个图像捕获设备获得的视频数据的一个或多个帧相关联。例如，元数据可以与具有与元数据相关联并且指示何时检测到人或物体的存在的时间戳对应的时间戳的视频数据的一个或多个帧相关联。以这样的方式，可以减少确定空间内的人或物体的位置所需的时间的量，因为一个或多个计算设备仅搜索与在(704)处生成的元数据相关联的视频数据的一个或多个帧。

在一些实施方式中，一个或多个计算设备可以被配置成对视频数据的一个或多个帧实施一种或多种面部识别技术，以确定在视频数据的一个或多个帧中描绘的人或物体是否对应于与在(706)获得的用户请求相关联的人或物体。在一些实施方式中，一个或多个计算设备可以在对一个或多个帧实施一种或多种面部识别技术的同时生成元数据。例如，在一些实施方式中，在实施一个或多个面部识别技术的同时生成的元数据可以指示空间内的人或物体的位置。在一些实施方式中，在(704)生成的元数据可以与对一个或多个帧实施一种或多种面部识别技术的同时生成的元数据相结合，以确定空间内的人或物体的位置。以这样的方式，在多个域中获得的数据(例如，音频、视频等)可以用于确定空间内的人或物体的位置。

在(710)，方法700可以包括由一个或多个计算设备提供指示空间内的人的位置的通知。例如，通知可以是经由连接设备中的一个或多个的一个或多个输出设备(例如，扬声器)提供的听觉通知。替代性地或附加地，通知可以被提供给与请求人的位置的用户相关联的用户设备(例如，智能手机、平板电脑等)。例如，通知可以是视觉通知(例如，文本消息、电子邮件)。替代性地或附加地，通知可以是听觉通知，诸如自动电话呼叫。

在一些实施方式中，方法700还可以包括由一个或多个计算设备至少部分地基于在(702)获得的数据和在(704)生成的元数据来确定指示人或物体的移动的一个或多个模式。以这样的方式，一个或多个计算设备可以学习可以用于确定人或物体的位置的人或物体的习惯。例如，一个或多个计算设备可以确定人或物体在特定日期和/或时间位于空间的房间或区域。以这样的方式，在一些实施方式中，可以依靠由一个或多个计算设备确定的一个或多个模式来确定人或物体的位置。

图8示出了根据本公开的示例实施例的计算系统800的合适组件。应该理解的是，上面参考图2和5讨论的计算系统220、580、590中的至少一个可以被配置为图8的计算系统800。如所示出那样，计算系统800可以包括一个或多个处理器802，该一个或多个处理器被配置为执行各种计算机实施的功能(例如，执行本文公开的方法、步骤、计算等)。如本文所用，术语“处理器”不仅指本领域中称为包含在计算机中的集成电路，还指控制器、微控制器、微型计算机、可编程逻辑控制器(programmable logic controller，PLC)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)和其他可编程电路。

如所示出那样，计算系统800可以包括存储器设备804。存储器设备804的示例可以包括计算机可读介质，包括但不限于非暂时性计算机可读介质，诸如RAM、ROM、硬盘驱动器、闪存驱动器或其他合适的存储器设备。存储器设备804可以存储可由(多个)处理器802访问的信息，包括可以由(多个)处理器802执行的计算机可读指令806。计算机可读指令806可以是当被(多个)处理器802执行时使(多个)处理器802执行操作(诸如上面参考图6和图7讨论的方法)的任何指令集合。计算机可读指令806可以是以任何合适的编程语言编写的软件，或者可以以硬件实施。在一些实施方式中，计算机可读指令806可以由(多个)处理器802运行以执行操作，诸如至少部分地基于从位于空间内的多个连接设备中的一个或多个的一个或多个传感设备获得的数据来生成元数据。

在一些实施方式中，计算系统800可以包括一个或多个分类器模型808。例如，一个或多个分类器模型808可以包括各种机器学习模型，诸如随机森林分类器；逻辑回归分类器；支持向量机；一个或多个决策树；神经网络；和/或其他类型的机器学习模型，包括线性模型和非线性模型两者。示例神经网络可以包括前馈神经网络、递归神经网络(例如，长短期记忆递归神经网络)或其他形式的神经网络。

在一些实施方式中，计算系统800可以通过使用模型训练器810来训练一个或多个分类器模型808。模型训练器810可以使用一个或多个训练或学习算法来训练一个或多个分类器模型808。一种示例训练技术是误差反向传播(“反向传播”)。例如，反向传播可以包括Levenberg-Marquardt反向传播。在一些实施方式中，模型训练器810可以使用经标记的训练数据的集合来执行监督训练技术。在其他实施方式中，模型训练器810可以使用未标记的训练数据的集合来执行无监督的训练技术。模型训练器810可以执行多种泛化技术来提高被训练模型的泛化能力。泛化技术包括权重衰减、丢弃或其他技术。

特别地，模型训练器810可以基于训练数据812的集合来训练一个或多个分类器模型808。训练数据812可以包括多个训练示例。每个训练示例可以包括被标记为指示空间内是否存在人或物体的示例特征。在一些实施方式中，特征可以包括来自空间内的一个或多个连接设备的一个或多个传感器设备的原始数据。

虽然已经参照本发明的具体示例实施例详细描述了本主题，但是应当理解的是，本领域技术人员在获得对前述内容的理解之后，可以容易地产生这些实施例的变更、变化和等同物。因此，本公开的范围作为示例，而不是作为限制，并且本主题公开内容不排除包含对于本领域普通技术人员来说是显而易见的对本主题的这种修改、变化和/或添加。