掌桥专利:专业的专利平台
掌桥专利
首页

使用无线数据的自监督式被动定位

文献发布时间:2024-04-18 20:01:55


使用无线数据的自监督式被动定位

公开领域

本公开的各方面一般涉及无线定位等。在一些实现中,描述了用于提供基于无线数据(诸如射频(RF)数据)的被动定位的示例。

公开背景

无线感测设备能够提供可用于在给定环境中检测对象的射频特征。例如,射频感测设备可以包括可以分布在整个环境中并且可被配置成跟踪在整个环境中移动的用户的软件和硬件组件。为了实现各种电信功能,无线感测设备可以包括被配置成传送和接收射频(RF)信号的硬件和软件组件。例如,无线设备可以被配置成经由Wi-Fi、5G/新无线电(NR)、蓝牙

概述

以下给出了与本文所公开的一个或多个方面相关的简化概述。由此,以下概述既不应被认为是与所有构想的方面相关的详尽纵览,以下概述也不应被认为标识与所有构想的方面相关的关键性或决定性要素或描绘与任何特定方面相关联的范围。相应地,以下概述的唯一目的是在以下给出的详细描述之前以简化形式呈现与关于本文所公开的机制的一个或多个方面相关的某些概念。

公开了用于基于射频(RF)数据来作出位置预测的系统、装置(设备)、方法和计算机可读介质。根据至少一个示例,提供了一种用于执行位置预测的装置。该装置可以包括至少一个网络接口、至少一个存储器、以及耦合到该至少一个存储器的至少一个处理器(例如,被配置在电路系统中)。该至少一个处理器被配置成:经由该至少一个网络接口来获得射频(RF)数据;基于该RF数据来确定多个特征向量;基于该多个特征向量来生成多个第一聚类,其中第一聚类与多个第一伪标签相对应;基于该多个特征向量来确定多个投影特征;使用该多个第一伪标签和该多个投影特征来训练第一ML模型;以及基于该多个投影特征和楼层损失来预测用户的位置。

在另一示例中,提供了一种用于执行位置预测的方法。根据至少一个示例,提供了一种用于训练一个或多个位置预测模型的方法,该方法包括:获得射频(RF)数据;基于该RF数据来确定多个特征向量;基于该多个特征向量来生成多个第一聚类,其中第一聚类与多个第一伪标签相对应;基于该多个特征向量来确定多个投影特征;使用该多个第一伪标签和该多个投影特征来训练第一ML模型;以及基于该多个投影特征和楼层损失来预测用户的位置。

在另一示例中,提供了一种非瞬态计算机可读存储介质,其包括使得计算机或处理器执行以下操作的至少一条指令:获得射频(RF)数据;基于该RF数据来确定多个特征向量;基于该多个特征向量来生成多个第一聚类,其中第一聚类与多个第一伪标签相对应;基于该多个特征向量来确定多个投影特征;使用该多个第一伪标签和该多个投影特征来训练第一ML模型;以及基于该多个投影特征和楼层损失来预测用户的位置。

在另一示例中,提供了一种用于执行位置预测的设备。该设备包括:用于获得射频(RF)数据的装置;用于基于该RF数据来确定多个特征向量的装置;用于基于该多个特征向量来生成多个第一聚类的装置,其中第一聚类与多个第一伪标签相对应;用于基于该多个特征向量来确定多个投影特征的装置;用于使用该多个第一伪标签和该多个投影特征来训练第一ML模型的装置;以及用于基于该多个投影特征和楼层损失来预测用户的位置的装置。

本概述既非旨在标识出要求保护的主题内容的关键特征或必要特征,亦非旨在单独用于确定要求保护的主题内容的范围。本主题内容应当参考本专利的整个说明书的合适部分、任何或所有附图、以及每项权利要求来理解。

基于附图和详细描述,与本文所公开的各方面相关联的其他目标和优点对本领域技术人员而言将是显而易见的。

附图简述

给出附图以帮助对本公开的各方面进行描述,且提供附图仅用于解说各方面而非对其进行限定。

图1是解说根据一些示例的用户设备的计算系统的示例的框图;

图2是解说根据一些示例的利用射频(RF)感测技术来检测用户存在的无线设备的示例的示图;

图3是解说根据一些示例的包括用于促成检测用户位置的无线设备的环境的示例的示图;

图4是解说其中可以实现所公开技术的位置估计过程的单层环境的示图;

图5A-图5C是解说根据一些示例的利用分布式感测系统的对象检测的示例的示图;

图6是解说根据一些示例的信号强度对信号空间定位的示例图表的示图;

图7是解说根据一些示例的用于雷达截面测量的示例框图的示图;

图8是解说根据一些示例的自监督式定位估计系统的示例架构的示图;

图9是解说根据一些示例的可以被用于生成自监督式定位估计系统的伪标签的聚类的示例的示图;

图10A是解说根据一些示例的二维隐性空间、笛卡尔图和地理环境的对应真值数据之间的比较的示例的示图;

图10B是解说示例多层环境和笛卡尔平面中的相应区域的各层(楼层)之间的比较的示例的示图;

图11是解说根据一些示例的深度学习神经网络的示例的框图;

图12是解说根据一些示例的卷积神经网络(CNN)的示例的框图;

图13解说了根据一些示例的用于训练一个或多个感测模型的过程的示例流程图;

图14解说了根据一些示例的用于发起训练规程和位置估计过程的过程的示例流程图;以及

图15解说了根据一些示例的示例计算系统。

详细描述

出于解说性目的,以下提供了本公开的某些方面和实施例。可设计替换方面而不脱离本公开的范围。另外,本公开中众所周知的元素将不被详细描述或将被省去以免湮没本公开的相关细节。本文中所描述的一些方面和实施例可以独立应用并且它们中的一些可以组合应用,这对本领域技术人员来说是显而易见的。在下面的描述中,出于解释的目的,阐述了具体细节以便提供对本申请的实施例的透彻理解。然而,显然的是,可以在没有这些具体细节的情况下实践各实施例。各附图和描述不旨在是限制性的。

以下描述仅提供了示例实施例,并且并不旨在限定本公开的范围、适用性或配置。相反,对示例性实施例的以下描述将向本领域技术人员提供用于实现示例性实施例的赋能描述。应当理解,在不脱离所附权利要求书中阐述的本申请的精神和范围的情况下,可以对元件的功能和布置作出各种改变。

术语“示例性”和/或“示例”在本文中用于意指“用作示例、实例或解说”。本文中描述为“示例性”和/或“示例”的任何方面不必被解释为优于或胜过其他方面。同样地,术语“本公开的各方面”不要求本公开的所有方面都包括所讨论的特征、优点或操作模式。

许多感测设备(例如,便携式电子设备、智能电话、平板设备、膝上型设备、和WiFi网状接入点)能够执行射频感测(也称为RF感测)。例如,感测设备可以利用RF感测技术来执行对象检测(例如,确定入侵者已进入场所)。RF感测具有许多应用,诸如跟踪对象移动、提供家庭和企业安防等。

在一些示例中,射频感测可以利用信号(例如,WiFi信号、3GPP信号、蓝牙

在一些情形中,基于机器学习的系统可以执行各种感测检测操作,诸如定位检测、运动检测、运动跟踪等。使用标签和测试或训练数据,可以训练机器学习系统来执行感测检测操作。然而,可能难以获得足够的带标签数据来有效地训练一些此类机器学习系统。例如,在一些情形中,由于难以执行真值数据收集(例如,因成本、困难、和/或隐私问题),可能无法获得足够数量的定位标签。

所公开技术一般提供了用于改进机器学习位置估计的解决方案,特别是在标签/训练数据稀疏的场景中的部署。在一些方面,本公开提供了用于执行自监督以生成预测三维(3D)环境中对象(例如,人)的精确定位的模型的系统、装置、过程(也被称为方法)和计算机可读介质(统称为“系统和技术”)。在一些方面,所公开技术的过程使用RF数据(诸如信道状态信息(CSI))来生成拓扑准确的隐性空间,该隐性空间可以使用稀疏数量的先验信息映射到真实世界笛卡尔空间上。取决于期望实现,隐性空间可以是二维(2D)或三维(3D)。取决于实现,先验信息可以包括但不限于各种无线设备(例如,接入点)的位置信息、拓扑特征(例如,关于室内平面图的信息)、房间级标签和/或楼层标签等等。仅使用稀疏的标签信息,就可以针对不同拓扑(诸如多层和多房间环境)执行对各种对象(例如,人/用户)的精确定位,而无需在训练期间使用精确的定位标签。

如下文进一步详细讨论的,所公开技术的各方面利用三元组损失以无监督方式训练机器学习模型(例如,神经网络)。三元组损失可以基于分组或样本(例如,CSI样本)的时间特性,如下面所描述的。在一些方面,ML架构可以被配置成:同时学习输入RF数据(例如,CSI样本)之间的空间相似性度量并执行降维以生成拓扑上与目标环境相似的3D(或2D)隐性空间。在一些方面,通过将三元组损失与神经聚类进行组合(这涉及对由神经网络编码的表示进行聚类)并且随后训练网络以预测先前指派的聚类(伪标签),所生成的2D隐性空间可以被准确映射到目标环境中。在一些办法中,三元组损失和神经聚类可以起到互补的作用。例如,三元组损失可以鼓励模型学习将某些样本(例如,在时间上接近并且在一些情形中在空间上接近的样本或点)组合在一起的表示。进而,神经聚类可以将解扩展到空间上邻近但时间上遥远的点。

在一些方面,隐性空间可以使用用户提供的先验信息被映射到真实世界(笛卡尔)表示,先验信息例如可以包括各种类型的信息,包括但不限于接入点的位置、平面图信息、和/或区域标签。区域标签可以是与特定收集的CSI相关联的“属性”并且可以指示某个CSI是当用户处于特定区域X时收集的。例如,在训练期间,具有设备(例如,移动设备或智能电话)的用户可以在场所的不同区域中行走并且可以指示用户位于哪个区域(例如,通过在设备的界面中输入房间或区域指示符)。系统可以将该信息附加到在该时间点接收到的对应CSI。其他高级区域标签,诸如房间标签和/或楼层标签等。在一些示例中,真实世界先验信息可由用户经由例如在与该用户相关联的设备(例如,移动设备或智能电话)上执行的应用来提供。作为示例,应用(或即app)可以促成用户提供其中要执行位置估计的环境的草图、提供关于与环境相关联的一个或多个无线设备(例如,接入点或基站)的位置信息、和/或提供指示用户所在房间或区域的房间或区域指示符(例如,其可以用于上述区域标签)的能力。例如,在一些实现中,app可以被用于接收关于环境的特征的输入指示符,诸如房间或区域指示符、或其他描述符。

本文所描述的系统和技术的各个方面在下文参考各附图来讨论。图1解说了用户设备107的计算系统170的示例。用户设备107是可由端用户使用的设备的示例。例如,用户设备107可包括移动电话、路由器、平板计算机、膝上型计算机、跟踪设备、可穿戴设备(例如,智能手表、眼镜、XR设备等)、物联网(IoT)设备、交通工具(或交通工具的计算设备)、和/或用户用来通过无线通信网络进行通信的其他设备。在一些情形中,设备可被称为站(STA)(诸如当指被配置成使用Wi-Fi标准进行通信的设备时)。在一些情形中,设备可被称为用户装备(UE)(诸如当指被配置成使用5G/新无线电(NR)、长期演进(LTE)或其他电信标准进行通信的设备时)。

计算系统170包括可经由总线189来电耦合或通信地耦合(或者可以恰适地以其他方式处于通信)的软件和硬件组件。例如,计算系统170包括一个或多个处理器184。一个或多个处理器184可以包括一个或多个CPU、ASIC、FPGA、AP、GPU、VPU、NSP、微控制器、专用硬件、其任何组合和/或其他处理设备和/或系统。总线189可以被一个或多个处理器184用于在内核之间和/或与一个或多个存储器设备186通信。

计算系统170还可以包括一个或多个存储器设备186、一个或多个数字信号处理器(DSP)182、一个或多个订户身份模块(SIM)174、一个或多个调制解调器176、一个或多个无线收发机178、一个或多个天线187、一个或多个输入设备172(例如,相机、鼠标、键盘、触敏屏幕、触摸板、小键盘、麦克风等)和一个或多个输出设备180(例如,显示器、扬声器、打印机等)。

一个或多个无线收发机178可以经由天线187从一个或多个其他设备接收无线信号(例如,信号188),该一个或多个其他设备诸如其他用户设备、网络设备(例如,基站(诸如eNB和/或gNB)、WiFi接入点(AP)(诸如路由器、射程扩展器等))、云网络等等。在一些示例中,计算系统170可包括可促成同时传送和接收功能性的多个天线或天线阵列。天线187可以是全向天线,以使得RF信号可在所有方向上被接收和传送。无线信号188可以经由无线网络来传送。无线网络可以是任何无线网络,诸如蜂窝或电信网络(例如,3G、4G、5G等)、无线局域网(例如,WiFi网络)、蓝牙

在一些情形中,计算系统170可以包括被配置成对使用一个或多个无线收发机178传送和/或接收的数据进行编码和/或解码的编码-解码设备(或CODEC)。在一些情形中,计算系统170可以包括被配置成加密和/或解密(例如,根据高级加密标准(AES)和/或数据加密标准(DES)标准)由一个或多个无线收发机178传送和/或接收的数据的加密-解密设备或组件。

一个或多个SIM 174可各自安全地存储指派给用户设备107的用户的国际移动订户身份(IMSI)号码和相关密钥。当接入由与一个或多个SIM 174相关联的网络服务提供商或运营商提供的网络时,IMSI和密钥可用于标识和认证订户。一个或多个调制解调器176可以调制一个或多个信号以编码用于使用一个或多个无线收发机178传送的信息。一个或多个调制解调器176还可以解调由一个或多个无线收发机178接收到的信号以对所传送的信息进行解码。在一些示例中,一个或多个调制解调器176可包括WiFi调制解调器、4G(或LTE)调制解调器、5G(或NR)调制解调器、和/或其他类型的调制解调器。一个或多个调制解调器176和一个或多个无线收发机178可被用于针对一个或多个SIM 174传达数据。

计算系统170还可以包括(和/或与之处于通信)一个或多个非瞬态机器可读存储介质或存储设备(例如,一个或多个存储器设备186),其可包括但不限于本地和/或网络可访问存储,磁盘驱动器、驱动器阵列、光学存储设备、固态存储设备(诸如RAM和/或ROM),它们可以是可编程的、可快闪更新的、等等。此类存储设备可被配置成实现任何恰适的数据存储,包括但不限于各种文件系统、数据库结构等等。

在各种实施例中,功能可以作为一个或多个计算机程序产品(例如,指令或代码)存储在(诸)存储器设备186中,并由一个或多个(诸)处理器184和/或一个或多个DSP 182执行。计算系统170还可包括软件元素(例如,位于一个或多个存储器设备186内),包括例如操作系统、设备驱动器、可执行库和/或其他代码,诸如一个或多个应用程序,其可包括实现由各个实施例提供的功能的计算机程序,和/或可被设计成实现方法和/或配置系统,如本文中所描述的。

图2是解说无线设备200的示例的示图,该无线设备200利用RF感测技术来执行一个或多个功能,诸如检测用户202的存在、检测用户的取向特性、执行运动检测、其任何组合、和/或执行其他功能。在一些示例中,无线设备200可以是用户设备107,诸如移动电话、平板计算机、可穿戴设备、或包括至少一个RF接口的其他设备。在一些示例中,无线设备200可以是为用户设备(例如,为用户设备107)提供连通性的设备,诸如无线接入点(AP)、基站(例如,gNB、eNB等)、或包括至少一个RF接口的其他设备。

在一些方面,无线设备200可以包括用于传送RF信号的一个或多个组件。无线设备200可以包括数模转换器(DAC)204,其能够(例如,从微处理器,未解说)接收数字信号或波形并将该信号或波形转换为模拟波形。作为DAC 204的输出的模拟信号可以被提供给RF发射机206。RF发射机206可以是Wi-Fi发射机、5G/NR发射机、蓝牙

RF发射机206可以耦合到一个或多个发射天线,诸如TX天线212。在一些示例中,TX天线212可以是能够在所有方向上发射RF信号的全向天线。例如,TX天线212可以是能够以360度辐射模式辐射Wi-Fi信号(例如,2.4GHz、5GHz、6GHz等)的全向Wi-Fi天线。在另一示例中,TX天线212可以是在特定方向上发射RF信号的定向天线。

在一些示例中,无线设备200还可以包括用于接收RF信号的一个或多个组件。例如,无线设备200中的接收机阵容可以包括一个或多个接收天线,诸如RX天线214。在一些示例中,RX天线214可以是能够从多个方向接收RF信号的全向天线。在其他示例中,RX天线214可以是被配置成从特定方向接收信号的定向天线。在进一步示例中,TX天线212和RX天线214两者可以包括被配置为天线阵列的多个天线(例如,振子)。

无线设备200还可以包括耦合到RX天线214的RF接收机210。RF接收机210可以包括用于接收RF波形(诸如Wi-Fi信号、蓝牙

在一个示例中,无线设备200可以通过使TX波形216从TX天线212发射来实现RF感测技术。虽然TX波形216被解说为单条线,但在一些情形中,TX波形216可以通过全向TX天线212在所有方向上被发射。在一个示例中,TX波形216可以是由无线设备200中的Wi-Fi发射机传送的Wi-Fi波形。在一些情形中,TX波形216可以对应于与Wi-Fi数据通信信号或Wi-Fi控制功能信号(例如,信标传输)同时或几乎同时被传送的Wi-Fi波形。在一些示例中,TX波形216可以使用与Wi-Fi数据通信信号或Wi-Fi控制功能信号(例如,信标传输)相同或相似的频率资源来传送。在一些方面,TX波形216可以对应于与Wi-Fi数据通信信号和/或Wi-Fi控制信号分开被传送的Wi-Fi波形(例如,TX波形216可以在不同时间和/或使用不同的频率资源被传送)。

在一些示例中,TX波形216可以对应于与5G NR数据通信信号或5G NR控制功能信号同时或几乎同时被传送的5G NR波形。在一些示例中,TX波形216可以使用与5G NR数据通信信号或5G NR控制功能信号相同或相似的频率资源来传送。在一些方面,TX波形216可以对应于与5G NR数据通信信号和/或5G NR控制信号分开被传送的5G NR波形(例如,TX波形216可以在不同时间和/或使用不同的频率资源被传送)。

在一些方面,可以修改与TX波形216相关联的一个或多个参数,这些参数可以被用于增加或减少RF感测分辨率。这些参数可以包括频率、带宽、空间流的数目、被配置成传送TX波形216的天线数、被配置成接收与TX波形216相对应的反射RF信号的天线数、空间链路的数目(例如,空间流的数目乘以被配置成接收RF信号的天线数)、采样率或其任何组合。

在进一步示例中,TX波形216可以被实现为具有拥有完美或几乎完美的自相关属性的序列。例如,TX波形216可以包括单载波Zadoff序列或者可以包括与正交频分复用(OFDM)长训练字段(LTF)码元类似的码元。在一些情形中,TX波形216可以包括例如在调频连续波(FM-CW)雷达系统中使用的啁啾信号。在一些配置中,啁啾信号可以包括其中信号频率以线性和/或指数方式周期性增加和/或减少的信号。

在一些方面,无线设备200可进一步通过执行并发的传送和接收功能来实现RF感测技术。例如,无线设备200可以使其RF接收机210能够在其使得RF发射机206传送TX波形216的同时或几乎同时进行接收。在一些示例中,被包括在TX波形216中的序列或模式的传输可以持续地重复,以使得该序列被传送特定次数或达特定时间历时。在一些示例中,如果在RF发射机206之后启用RF接收机210,则在TX波形216的传输中将模式进行重复可以用于避免错过任何反射信号的接收。在一个示例实现中,TX波形216可以包括被传送两次或更多次的具有序列长度L的序列,这可以允许RF接收机210在小于或等于L的时间被启用,以便接收对应于整个序列的反射而不会错过任何信息。

通过实现同时传送和接收功能性,无线设备200可以接收与TX波形216相对应的任何信号。例如,无线设备200可以接收从TX波形216的射程内的对象或人反射的信号,诸如从用户202反射的RX波形218。无线设备200还可以接收从TX天线212直接耦合到RX天线214而不从任何对象反射的漏泄信号(例如,TX漏泄信号220)。例如,漏泄信号可以包括从无线设备上的发射机天线(例如,TX天线212)传递到无线设备上的接收天线(例如,RX天线214)而不从任何对象反射的信号。在一些情形中,RX波形218可以包括与TX波形216中所包括的序列的多个副本相对应的多个序列。在一些示例中,无线设备200可以组合由RF接收机210接收的多个序列以改善信噪比(SNR)。

无线设备200可以进一步通过获得与对应于TX波形216的每个收到信号相关联的RF数据来实现RF感测技术。在一些示例中,RF数据可以包括与TX波形216的直接路径(例如,漏泄信号220)有关的信道状态信息(CSI)数据,连同与对应于TX波形216的反射路径(例如,RX波形218)有关的数据。

在一些方面,RF数据(例如,CSI数据)可以包括可以用于确定RF信号(例如,TX波形216)从RF发射机206传播到RF接收机210的方式的信息。RF数据可以包括与由于散射、衰落和/或随距离的功率衰减或其任何组合而对所传送RF信号产生的影响相对应的数据。在一些示例中,RF数据可以包括与特定带宽上的频域中的每个频调相对应的虚数数据和实数数据(例如,I/Q分量)。

在一些示例中,RF数据可以用于计算对应于反射波形(诸如RX波形218)的距离和抵达角。在进一步示例中,RF数据还可以用于检测运动、确定位置、检测位置变化或运动模式、获得信道估计、或其任何组合。在一些情形中,反射信号的距离和抵达角可被用于标识周围环境中的用户(例如,用户202)的大小、定位、移动或取向,以便检测对象存在/邻近度、检测对象注意力、和/或执行运动检测。

无线设备200可以通过利用信号处理、机器学习算法、使用任何其他合适的技术或其任何组合来计算与反射波形相对应的距离和抵达角(例如,与RX波形218相对应的距离和抵达角)。在其他示例中,无线设备200可以将RF数据发送到另一计算设备(诸如服务器),该另一计算设备可以执行计算以获得与RX波形218或其他反射波形相对应的距离和抵达角。

在一个示例中,RX波形218的距离可以通过测量从接收到漏泄信号到接收到反射信号的时间差来计算。例如,无线设备200可以确定为零的基线距离,该基线距离基于从无线设备200传送TX波形216的时间到其接收漏泄信号220的时间的差(例如,传播延迟)。随后,无线设备200可以基于从无线设备200传送TX波形216的时间到其接收RX波形218的时间的差(例如,飞行时间)来确定与RX波形218相关联的距离,该距离随后可以根据与漏泄信号220相关联的传播延迟来被调整。通过这样做,无线设备200可以确定RX波形218行进的距离,该距离可以被用于确定导致反射的用户(例如,用户202)存在和移动。

在进一步示例中,可以通过测量RX波形218在接收天线阵列(诸如天线214)的个体振子之间的抵达时间差来计算RX波形218的抵达角。在一些示例中,抵达时间差可以通过测量接收天线阵列中每个振子处的接收相位差来计算。

在一些情形中,RX波形218的距离和抵达角可用于确定无线设备200与用户202之间的距离以及用户202相对于无线设备200的定位。RX波形218的距离和抵达角还可用于确定用户202的存在、移动、邻近度、注意力、身份或其任何组合。例如,无线设备200可以利用所计算出的与RX波形218相对应的距离和抵达角来确定用户202正走向无线设备200。基于用户202与无线设备200的邻近度,无线设备200可以激活面部认证以便解锁该设备。在一些方面,可以基于用户202在无线设备200的阈值距离内来激活面部认证。阈值距离的示例可以包括2英尺、1英尺、6英寸、3英寸或任何其他距离。

如以上所提及的,无线设备200可以包括移动设备(例如,智能电话、膝上型设备、平板设备、接入点等)或其他类型的设备。在一些示例中,无线设备200可以被配置成获得设备位置数据和设备取向数据以及RF数据。在一些实例中,设备位置数据和设备取向数据可用于确定或调整反射信号(诸如RX波形218)的距离和抵达角。例如,无线设备200在用户202在RF感测过程期间走向面向天花板的桌子时可被设置在该桌子上。在该实例中,无线设备200可以使用其位置数据和取向数据以及RF数据来确定用户202行走的方向。

在一些示例中,无线设备200可以使用包括往返时间(RTT)测量、被动定位、抵达角、收到信号强度指示符(RSSI)、CSI数据在内的技术、使用任何其他合适的技术、或其任何组合来收集设备定位数据。在进一步示例中,设备取向数据可以从无线设备200上的电子传感器获得,诸如陀螺仪、加速计、指南针、磁力计、气压计、任何其他合适的传感器、或其任何组合。

图3是解说包括无线设备302、接入点(AP)304和用户308的环境300的示图。无线设备302可以包括用户设备(例如,图1的用户设备107,诸如移动设备或任何其他类型的设备)。在一些示例中,AP 304还可被称为感测设备、射频感测设备或无线设备。如所示出的,用户308(例如,与无线设备302一起)可以移动到不同的定位,包括第一用户定位309a、第二用户定位309b和第三用户定位309c。在一些方面,无线设备302和AP 304可各自被配置成执行RF感测,以便检测用户308的存在、检测用户308的移动、其任何组合、和/或执行关于用户308的其他功能。

在一些方面,AP 304可以是Wi-Fi接入点,其包括可以被配置成同时传送和接收RF信号的硬件和软件组件,诸如本文中关于图2的无线设备200所描述的组件。例如,AP 304可包括可被配置成传送RF信号的一个或多个天线以及可被配置成接收RF信号的一个或多个天线(例如,天线306)。如关于图2的无线设备200所提及的,AP 304可以包括被配置成从任何方向传送和接收信号的全向天线或天线阵列。

在一些方面,AP 304和无线设备302可以被配置成实现双基地配置,其中传送和接收功能由不同设备执行。例如,AP 304可传送可包括信号310a和信号310b的全向RF信号。如所解说的,信号310a可以从AP 304直接(例如,无反射地)行进到无线设备302,并且信号310b可以在定位309a处从用户308反射并且导致对应的反射信号312被无线设备302接收到。

在一些示例中,无线设备302可以利用与信号310a和信号310b相关联的RF数据来确定定位309a处的用户308的存在、位置、取向和/或移动。例如,无线设备302可以获得、检索和/或估计与AP 304相关联的位置数据。在一些方面,无线设备302可以使用与AP 304相关联的位置数据、以及RF数据(例如,CSI数据)来确定由AP 304传送的相关联信号(例如,直接路径信号(诸如信号310a)和反射路径信号(诸如信号312))的飞行时间、距离和/或抵达角。在一些情形中,AP 304和无线设备302可以进一步发送和/或接收可以包括与RF信号310a和/或反射信号312相关联的数据(例如,传输时间、序列/模式、抵达时间、抵达角等等)的通信。

在一些示例中,无线设备302可以被配置成:使用单基地配置来执行RF感测,在这种情形中,无线设备302执行传送和接收功能两者(例如,结合无线设备200讨论的同时TX/RX)。例如,无线设备302可以通过传送RF信号314来检测定位309b处的用户308的存在或移动,这可以使得来自定位309b处的用户308的反射信号316被无线设备302接收到。

在一些方面,无线设备302可以获得与反射信号316相关联的RF数据。例如,RF数据可以包括与反射信号316相对应的CSI数据。在进一步方面,无线设备302可以使用RF数据来计算与反射信号316相对应的距离和抵达角。例如,无线设备302可以通过基于漏泄信号(未解说)和反射信号316之间的差计算反射信号316的飞行时间来确定距离。在进一步示例中,无线设备302可以通过利用天线阵列接收反射信号并测量天线阵列的每个振子处的接收相位差来确定抵达角。

在一些示例中,无线设备302可以获得以CSI数据形式的RF数据,其可以用于编制基于频率的数目(表示为“K”)(例如,频调)和天线阵列振子的数目(表示为“N”)的矩阵。在一种技术中,可以根据由式(1a)给出的关系来编制CSI矩阵:

CSI矩阵:H=[h

在一些情形中,CSI矩阵是表示在特定频率(频调k)下发射机天线与接收机天线之间的传播属性(例如,衰减和相位)的复数,如通过使用由发射机天线发送并由接收机天线接收的参考信号所估计的。在一些示例中,CSI矩阵h

CSI矩阵:H=[h

在编制CSI矩阵之际,无线设备302可以通过利用二维傅立叶变换来计算直接信号路径(例如,漏泄信号)以及反射信号路径(例如,反射信号316)的抵达角和飞行时间。在一个示例中,傅立叶变换可以由下式(2)给出的关系来定义,其中K对应于频域中的频调数目;N对应接收天线的数目;h

在一些情形中,可以形成与式(2)中的关系类似的关系来估计出发角。

在一些方面,可以通过使用迭代消除方法来消除漏泄信号(例如,漏泄信号220和/或其他漏泄信号)。

在一些情形中,无线设备302可以利用与反射信号316相对应的距离和抵达角来检测定位309b处的用户308的存在或移动。在其他示例中,无线设备302可以检测用户308到第三定位309c的进一步移动。无线设备302可以传送RF信号318,其导致来自定位309c处的用户308的反射信号320。基于与反射信号320相关联的RF数据,无线设备302可以确定定位309c处的用户308的位置、检测用户头部的存在和/或取向、和/或执行面部识别以及面部认证。

在一些实现中,无线设备302可以利用人工智能或机器学习算法来执行运动检测、对象分类和/或检测与用户308有关的头部取向。在一些示例中,机器学习技术可以包括监督式机器学习技术,诸如利用神经网络、线性和逻辑回归、分类树、支持向量机、任何其他合适的监督式机器学习技术或其任何组合的那些技术。例如,可以选择样本RF数据的数据集来训练机器学习算法。

在一些方面,无线设备302和AP 304可以执行RF感测技术,而不管它们彼此之间或与Wi-Fi网络的关联如何。例如,当无线设备302不与任何接入点或Wi-Fi网络相关联时,无线设备302可以利用其Wi-Fi发射机和Wi-Fi接收机来执行如本文中所讨论的RF感测。在进一步的示例中,AP 304可以执行RF感测技术,而不管它是否具有与其相关联的任何无线设备。

在一些方面,无线设备302和AP 304可以促成使用一个或多个机器学习模型的RF感测。例如,无线设备302和/或AP 304可以被配置成:收集关于与用户308的各个定位相关联的环境的RF数据,并将该RF数据提供给机器学习架构,该机器学习架构例如被配置成作出关于用户308的位置估计预测。

在一些方面,关于环境的标签可以例如经由无线设备302从用户接收。在一些示例中,标签可以包括关于一个或多个无线设备(例如,AP 304和/或无线设备302)的位置的信息,以及关于环境的信息,诸如指示各个房间的平面图和/或位置的信息等。结合图4提供室内环境的示例。

图4是解说其中可以实现所公开技术的位置估计过程的示例环境400的示图。如所解说的,环境400包括数个不同的无线(感测)设备,诸如接入点410、412、414、416。然而,要理解,其他无线设备(诸如与用户相关联的无线设备(例如,无线设备302))可以存在于环境400中而不会脱离所公开技术的范围。

在图4的示例中,感测设备是接入点410、412、414、416(例如,传送方设备410,以及接收方设备412、414和416);然而,构想了包括更大(或更少)数目的无线设备的设置。作为示例,其他无线设备可以包括用户设备(例如,图1的用户设备107,诸如移动设备或任何其他类型的设备)、物联网(IoT)设备、扩展器、复制器、其任何组合、和/或任何其他无线设备。

接入点410、412、414、416可以操作为射频感测设备、启用Wi-Fi感测的接入点、以及利用至少一个收发机(或单独的发射机和接收机)的无线设备,如本文中所描述的。接入点410、412、414、416和任何其它无线设备(未解说)可以分布在整个环境中,以为环境400提供分布式的感测覆盖范围。例如,如图4中所示,接入点410、412、414、416被置于室内环境的各个房间或区域中。在所解说的示例中,区域1 402包括接入点412,而区域4 404与接入点416相对应,区域5 406与接入点410相对应,并且区域6 408与接入点414相对应。附加地,区域2 404和区域3 405不包含设备。接入点410和无线设备412的放置和定位可以用于确定分布式感测系统的覆盖,该分布式感测系统可以被重新定位以提供最佳感测覆盖,如本文中所描述的。

在一些方面,从环境400收集的RF数据可以用于执行各种基于射频感测的检测,诸如用于执行位置估计和/或运动剖析。例如,由一个或多个感测设备接收的RF数据可以包括从一个或多个其他感测设备(例如,接入点410、412、414、416)直接接收的信号,和/或可以包括从环境中的一个或多个对象(例如,人、动物、家具)和/或结构(例如,墙壁、天花板、柱子、等等)反射的信号。

一般而言,射频信号被位于住宅402中的对象(例如,墙壁、柱子、家具、动物等)和/或人反射。与射频反射相关的数据包括:当对象/人在给定空间移动时射频信号的幅度和相位变化。通过接收从环境400收集的RF数据,位置估计系统(未解说)可以用于产生对环境400中的各个用户(例如,用户416)和/或其他对象的精确位置估计。取决于实现,位置估计系统还可被配置成:标识运动轮廓和/或模式(例如,通过检测存在运动或缺乏运动或无运动)、运动模式(例如,行走、跌落、姿势、或其他运动)、运动位置(例如,定位)、运动跟踪(例如,对象或人随时间的移动)、人或动物的生命体征(例如,呼吸、心率等)、其任何组合、和/或其他信息。

在一些实现中,RF信号可以用于确定在环境400内检测到的对象的特性(例如,定位和移动)。例如,RF信号可以首先由感测设备(例如,接入点410、412、414、416之一)或感测设备的一个发射天线进行发射。取决于环境400内设备的配置,随后可以在另一感测设备(例如,接入点410、412、414、416中的另一者)或该另一感测设备的接收天线处接收RF信号。基于收到的RF信号的RF数据随后可以被发送给定位估计系统(未解说)。

在一些方面,定位估计可以由一个或多个机器学习模型来执行,这些机器学习模型例如被配置成接收RF并作出关于环境400内对象(例如,一个或多个人)的位置的推断。

图5A-5C是解说利用分布式感测系统的对象检测的示例的示图510、520、530。图5A-5C可以进一步解说跨建筑物502的运动检测和定位。例如,在图5A的示图510中,对象512(例如,人)被分布式感测系统(例如,参照图4所使用的分布式感测系统)检测到,如本文中所描述的。对象512在建筑物502的西部部分的走廊514中被检测到。如图5B的示图520中所示,随着对象512在向东方向上移动,对象512进入建筑物502的房间524。通过利用分布在整个建筑物502中的感测设备,分布式感测系统可以确定对象512位于哪里。此后,如图5C的示图530中所示,对象512从房间524移动到走廊514,并移动到另一房间534。在房间534中,分布式感测系统可以检测对象512在房间534中的定位。例如,图5C的示图530中的对象512,对象512被检测到位于房间534的东南角。

分布式感测系统的感测设备(诸如举例而言接入点和/或无线设备)还可以被用于从感测设备接收和收集信道估计信息和数据。在一些方面,一个或多个设备(诸如用户设备或与建筑物502内的用户相关联的其他设备)可以用于收集某种标签数据。作为示例,用户可以提供平面图信息,或指示各个房间和/或无线设备(诸如接入点(例如,上面讨论的接入点410、412、414、416))的相对位置的标签。

在一些实现中,为了通过分布式感测系统检测环境中的事件,可能需要存在足够强的信号以使得反射信号能够到达分布式感测系统的感测设备的接收机。如图6中所解说的,信号的强度可以至少取决于:感测设备的发射功率,感测设备的天线增益,以及发射机、目标与接收机之间的距离。例如,发射功率越大,反射信号就越有可能会到达对应感测设备的接收机。如果发射功率太低,则反射RF信号可能太低而无法被感测设备的接收机检测到。类似地,如果天线增益太低,则接收机可能无法充分地接收到反射RF信号。距离也会影响所传送信号和反射信号的质量。例如,取决于分布式感测系统的配置,两个感测设备之间的距离(例如,路径损耗)或相同感测设备的发射机和接收机之间的距离越大,RF信号和反射RF信号的信号强度就越低。路径损耗(例如,图6的空间损耗614、618)或路径衰减是电磁波随着信号传播通过空间的功率密度降低。信号的强度还可以取决于目标的类型。例如,如果目标大小较小(例如,直径1英寸、直径3英寸、直径6英寸等),则目标的表面积可能较小,并且由此仅少量RF信号可能会从该目标反射。如果目标大小较大,则目标将具有反射大量RF信号的较大表面积。目标的反射率可以被称为雷达截面。分布式感测系统可以测量从不同对象反射的信号的强度。基于信号、反射信号和这些信号的强度,分布式感测系统可以预测目标的各方面,诸如目标的位置和移动。然而,如果目标远离感测设备,则分布式感测系统接收到的信号可能太弱而无法检测目标的位置或目标的其他方面。如果目标与感测设备较近,则由目标反射的信号可具有足够的信号强度以使分布式感测系统进行准确检测。

图6是针对检测对象解说信号强度602对信号空间定位604的示例图表600的示图。在一些实现中,分布式感测系统可以检测环境中的事件,该事件可以被表示为因变于由感测设备接收的(例如,射频信号的)信号强度。射频信号可以由目标感测设备生成为反射射频信号。在一些实现中,射频信号的信号强度可以基于:发射功率;天线增益;发射机与反射器之间因变于感测设备和目标位置的路径损耗;反射器与接收机之间因变于感测设备和目标位置的路径损耗;目标的反射率(例如,雷达截面(RCS));接收机规格;其任何组合;和/或其他因素。在一些情形中,RCS可以被确定为因变于目标大小和/或形状。在一些情形中,天线增益可以通过分布式感测系统来近似。分布式感测系统可以诸如基于收到信号强度指示符(RSSI)、路径损耗测量和/或其他因素来预测由给定位置处的目标引起的收到感测信号。

参照图6,图表600解说了发射机功率(P

图6的信号强度对信号空间定位可以由下式定义:10log P

图7是解说用于雷达截面测量700的示例框图的示图。例如,雷达截面测量可以包括发射机功率(P

图8是解说根据所公开技术的一些方面的自监督式定位估计系统800的示例架构的示图。定位估计系统800可以被配置成例如通过利用表示学习和降维技术创建可以用于执行区域级分类的降维隐性空间来产生给定输入RF数据(CSI)的对象位置估计。取决于期望实现,隐性空间可以包括三维(3D)或二维(2D)投影。如下文进一步详细讨论的,可以实现利用跨维度和多尺度聚类的降维技术来保留数据内的局部和全局结构,并促成将3D(或2D)隐性空间表示映射成精确的定位估计。

在操作中,定位估计系统800被配置成接收例如与给定环境或位置中(诸如室内环境中)的至少一个无线设备相关联的RF数据(框802)。作为示例,RF数据可以与要执行定位估计的无线设备的环境中的对象(例如,人或用户)相关联。在一些示例中,RF数据是(或包括)由一个或多个无线设备(诸如上面关于图4所讨论的接入点410-416)测量的信道状态信息(CSI)。在一些方面,作为输入被提供给定位估计系统800的CSI例如通过应用高通滤波器隔离CSI信号中随时间变化的部分来进行预处理。取决于期望实现,来自CSI的各种类型(维度)的信息可以用于执行定位估计。作为示例,CSI可以包括但不限于:发射天线信息、接收天线信息、副载波信息、速度信息、覆盖区域信息、发射机处理信息、接收机处理信息、或其组合。

CSI信息随后被提供给特征提取器(框804)例如以提取一个或多个特征向量。在一些办法中,特征提取可以使用神经网络(例如,第一机器学习模型)来完成,该神经网络诸如被配置成生成表示输入RF数据的显著特性的特征向量的卷积神经网络(CNN)。所提取特征向量的维度可以取决于RF数据输入的维度和特征提取器(CNN)的配置而变化。作为示例,所提取特征向量可包括一个或多个128维向量(数组)。随后对这些高维特征向量进行处理以生成一个或多个聚类(框806)。虽然取决于期望实现可以使用不同的聚类技术,但在一些方面,使用k均值聚类办法来创建伪标签(框808)。在一些方面,执行降维以生成聚类(框806)。在此类办法中,由特征提取器(框804)得到(或生成)的聚类的数目可以取决于参数,例如,指示所得到聚类和伪标签的维度的聚类计数参数。在一些方面,该维度可以取决于其中执行位置估计的空间大小;例如,对于较大空间可能存在较大数目的聚类,或者对于较大空间认为存在较大数目的区域。伪标签(例如,高维伪标签)随后可以用于训练第一机器学习模型,并且使用多层感知(MLP)(框814)来反向传播交叉熵损失(CE损失)(框810),以用于由第一ML模型(框814)进行的聚类预测(框812)。

在一些方面,还对所提取特征(框804)进行处理以产生较低维投影(诸如三维(3D)投影或二维(2D)投影)(框816),该较低维投影例如表示与从中收集了RF数据(框802)的环境相对应的3D/2D隐性空间。在一些示例中,还可以对投影(框816)进行聚类(框818)以生成伪标签(例如,3D或2D伪标签)(框820)。在一些方面,伪标签(框820)可以基于例如由与所接收到的RF数据(框802)相关联的用户提供的先验信息(例如,标签信息)。先验信息可以包括与其中要执行位置估计的环境的拓扑有关的信息。作为示例,先验信息可包括与环境中的一个或多个无线设备(例如,接入点)的位置有关的信息、平面图信息和/或标签,诸如指示所感测环境中的区域、楼层和/或房间的标签。

使用交叉熵损失函数(例如,聚类损失)(框822),3D/2D伪标签(框820)可以用于训练第二机器学习模型(框826),该第二机器学习模型例如被配置成基于所提取特征向量(框804)来作出聚类预测(框824)。在一些方面,从上述交叉训练的ML架构生成的隐性空间的投影(框816)可以用于对与由估计系统800接收的RF数据(CSI)(框802)相关联的一个或多个对象作出精确位置估计。

在一些方面,聚类损失(L

受约束于/>

式(3)的LHS给出了目标函数的示例,聚类算法(诸如K均值聚类)可以使用该目标函数来创建一组伪标签,即,创建一组(k个)质心(C),其中指派给质心的点之间的(欧式)距离(y_n)被最小化以使得所有(N个)点被指派给质心。式(3)的RHS表示标准交叉熵损失,其被用于提供梯度以利用梯度下降法来训练神经网络,以预测从聚类算法获得的伪标签。

在一些方面,从投影(框816)确定的位置估计进一步基于附加的损失函数,包括但不限于三元组损失(框828)、接入点损失(其也可被称为基站损失)(框830)、区域损失(832)、楼层损失(框834)、或其组合。如下文进一步讨论的,区域损失(832)和楼层损失(框834)两者都可以基于例如由平面图信息(836)指示的先验信息/标签、以及可以用于将各个区域与楼层信息相关的区域标签(838)。

在一些方面,三元组损失可以基于与关联于RF数据的无线设备(诸如上面关于图4所讨论的接入点410-414中的一者或多者)相对应的时间特性或维度。例如,当时间上接近(并且相似或相异)的两个分组在隐性空间中接近时,它们的三元组损失较低。在一个解说性示例中,三元组损失可以仅使用时间信息。例如,可以选择正锚作为在锚的第一时间段(例如,1秒、2秒、3秒或其他时间段)内的CSI样本,并且可以选择负锚作为在锚的第二时间段内(例如,当第一时间段为2秒时在2-4秒内,或其他时间段内)的CSI样本。在此类解说性示例中,三元组损失可以得到将在时间上较接近的分组编码为在隐性空间中较接近的隐性表示。

在一些方面,三元组损失(L

其中xi是锚,x

d(x,x′)=l||f

其中来自式(4)的超参数M

在一些方面,区域损失可以至少部分地基于区域标签。区域损失可以测量基于所接收到的RF数据样本(或分组)预测的区域分类与由表示相关联环境的笛卡尔图上提供的区域指示符指示的相应真实区域之间的对应性准确度。例如,区域损失可以为由一个或多个房间或区域指示符指示为属于一不同区域的区域分类指派或确定高损失值(并且由此惩罚),并且可以为基于一个或多个房间或区域指示符正确的区域分类指派或确定低损失值。在一些办法中,可以基于一个或多个先验信息(诸如与相关联平面图(对于室内环境)有关的信息)和隐性空间表示来为每个接收到的RF样本确定区域预测。作为示例,区域预测可以基于K最近邻(KNN)查找来生成与给定边界框B相对应的预测区域。在一些方面,如果点被预测为将位于边界框之外,则区域损失等于框B与为RF样本(分组)预测的轨迹(点)之间的曼哈顿距离d

其中区域坐标B

[B

在一些方面,接入点损失可以基于以下至少一者:与RF数据相关联的无线设备的信号强度、位置、或其组合。进一步针对上面关于图4所提供的示例,接入点损失可以基于由用户416提供的与环境400中的一个或多个接入点或基站的放置(位置)有关的一个或多个先验信息。在一些方面,接入点损失可以按类似于三元组损失的方式来操作。例如,对于批次中的每个分组,对负锚分组进行采样,该负锚分组的距离足够远以具有功率差,但又足够近以使其位于同一区域中。对于来自一组接入点A的每个接入点a,可以计算功率差。在一些办法中,如果计算出的功率差大于阈值,则具有较高功率(x

在一些办法中,接入点损失可以帮助使隐性空间上的位置预测更接近于真实空间,并且还可以帮助模型知道一些房间的正确取向。

附加地,楼层损失可以应用于使用与什么区域/房间与什么楼层相对应有关的先验信息来帮助标识楼层(例如,对于多层空间)。在一些方面,区域/楼层信息可从平面图获得,该平面图例如从用户(例如,经由app)获得,如下文参照图14进一步详细讨论的。

在一些方面,可以假定预测的楼层位置是连续的,例如,可以假定用户不能在各区域(或楼层)之间快速跳跃。为了平滑预测,可以应用低通滤波器,例如以消除在各区域之间交替或闪烁的预测。对楼层的估计可以使用区域信息来作出。例如,可以使用查找表根据已知区域(房间)信息来确定楼层。

在一些办法中,楼层损失(L

其中F可以定义z轴限制的集合,例如,指示预期的楼层数。作为示例,如果两个楼层表示预期楼层位置的集合,则集合F可以包括整数值1和2。在一些实现中,m可以用于指定掩码索引值以表示楼层之间的过渡,诸如楼梯井上或电梯中的位置。

图9是解说可以被用于生成自监督式定位估计系统(诸如上面讨论的位置估计系统800)的伪标签的聚类的示例的示图。如所解说的,图9的示图示出了可以为高维特征向量(高D)以及(如上面关于图8所讨论的)3D和/或2D投影作出的聚类指派的示例。

在一些方面,随着聚类数目增加,邻域的大小也会减小(例如,如图9中所示,对于“高K”,每个气泡中的字母数目较小(对应于小邻域),而对于“低K”,气泡中的字母数目比“高K”的字母数目要大(对应于大邻域))。例如,如果假定产生非常大量的聚类以使得平均两个点在高维表示中形成聚类,则3D/2D隐性空间可以保留(局部)最近邻。另一方面,如果假定存在若干聚类,则3D(或2D)隐性空间可以保留更全局的结构,诸如样本源自哪些房间。在一些示例中,为了在多个尺度上实施结构,而不是仅使用一组聚类来工作,可以提取和预测聚类指派的层级,如上面所讨论的。

图10A是解说二维隐性空间1002、笛卡尔图1004和地理环境的对应真值数据1006之间的比较的示例的示图1000。具体而言,2D隐性空间1002解说了仅使用三元组和聚类损失的示例,而所解说的笛卡尔图纳入了一些先验信息(例如,区域级标签和平面图信息)。

图10B是解说示例多层环境和笛卡尔平面中的相应区域的各层(楼层)之间的比较的示例的示图1050。在图10B的示例中,示图1050中的平面图的区域被示为映射成笛卡尔坐标平面1065,而平面图1070的区域被示为映射成笛卡尔坐标平面1075。在图10B的示例中,平面图1060和1070分别可以表示多层环境的第一和第二层。如上面讨论的,通过预测区域信息,例如可以使用查找表来推断楼层。

图11是可用于实现以上所描述的分布式感测系统的深度学习神经网络1100的解说性示例。输入层1120包括输入数据。在一个解说性示例中,输入层1120可包括表示输入视频帧的像素的数据。神经网络1100包括多个隐藏层1122a、1122b至1122n。隐藏层1122a、1222b至1222n包括“n”个隐藏层,其中“n”是大于或等于1的整数。可以使隐藏层的数目包括给定应用所需要的尽可能多的层。神经网络1100进一步包括输出层1121,其提供由隐藏层1122a、1222b至1222n执行的处理所产生的输出。在一个解说性示例中,输出层1121可以提供针对输入视频帧中的对象的分类。该分类可以包括标识活动类型(例如,踢足球、弹钢琴、听钢琴、弹吉他等)的类别。

神经网络1100是互连节点的多层神经网络。每个节点可表示信息片段。与这些节点相关联的信息在不同的层之间共享,并且每个层在处理信息时保留信息。在一些情形中,神经网络1100可以包括前馈网络,在该情形中不存在网络的输出被反馈给自己的反馈连接。在一些情形中,神经网络1100可以包括递归神经网络,其可以具有允许在读进输入时跨节点携带信息的环路。

可以在各节点之间通过各个层之间的节点到节点互连来交换信息。输入层1120的节点可以激活第一隐藏层1122a中的一组节点。例如,如图所示,输入层1120的每个输入节点连接到第一隐藏层1122a的每个节点。第一隐藏层1122a的节点可以通过向每个输入节点的信息应用激活函数来转换该输入节点的信息。从转换中导出的信息可以随后被传递到并且可以激活下个隐藏层1122b的节点,这些节点可以执行它们自己指定的函数。示例函数包括卷积、上采样、数据变换、和/或任何其他合适的函数。隐藏层1122b的输出可以随后激活下个隐藏层的节点,依此类推。最后的隐藏层1122n的输出可以激活输出层1121的一个或多个节点,在该处提供输出。在一些情形中,虽然神经网络1100中的节点(例如,节点1126)被示为具有多个输出线,但节点具有单个输出并且所有线被示为从表示相同输出值的节点输出。

在一些情形中,每个节点或各节点之间的互连可以具有权重,该权重是从神经网络1100的训练推导出的参数集。一旦神经网络1100被训练,其就可被称为经训练神经网络,该经训练神经网络可被用于将一个或多个活动分类。例如,各节点之间的互连可以表示习得的与互连节点有关的信息片段。互连可以具有可以调谐(例如,基于训练数据集)的可调数值权重,从而允许神经网络1100对输入自适应并且能够随着处理越来越多数据进行学习。

对神经网络1100进行预训练以使用不同的隐藏层1122a、1122b至1122n来处理来自输入层1120中的数据的特征,以便通过输出层1121来提供输出。在神经网络1100被用于标识由驾驶员在帧中执行的活动的示例中,可以使用包括帧和标签两者的训练数据来训练神经网络1100,如以上所描述的。例如,可以将训练帧输入到网络中,其中每个训练帧具有指示帧中的特征的标签(对于特征提取机器学习系统)或指示每个帧中的活动的类别的标签。在出于解说目的而使用对象分类的一个示例中,训练帧可以包括数字2的图像,在这种情形中,图像的标签可以是[0 0 1 0 0 0 0 0 0 0]。

在一些情形中,神经网络1100可以使用称为反向传播的训练过程来调整节点的权重。如以上所提及的,反向传播过程可以包括前向传递、损失函数、反向传递和权重更新。对一次训练迭代执行前向传递、损失函数、后向传递和参数更新。对于每组训练图像,该过程可以重复达某个次数的迭代,直到神经网络1100被训练得足够好,以使得层的权重被准确地调谐。

对于标识帧中的对象的示例,前向传递可以包括将训练帧传递通过神经网络1100。权重在训练神经网络1100之前被初始随机化。作为解说性示例,帧可包括表示图像的像素的数字数组。数组中的每个数字可包括从0到255的值,其描述了数组中该位置的像素强度。在一个示例中,数组可包括具有28行和28列像素以及3个颜色分量(例如,红色、绿色和蓝色、或者亮度和两个色度分量,等等)的28×28×3数字数组。

如以上所提及的,对于神经网络1100的第一次训练迭代,输出将很可能包括由于在初始化时随机选择权重而不会给予任何特定类别偏好的值。例如,如果输出是具有对象包括不同类别的概率的向量,则针对每个不同类别的概率值可以相等或至少非常相似(例如,对于十个可能的类别,每个类别可具有0.1的概率值)。利用初始权重,神经网络1100无法确定低级特征,并且由此不能准确地确定对象的分类可能是什么。损失函数可用于分析输出中的误差。可以使用任何合适的损失函数定义,诸如交叉熵损失。损失函数的另一示例包括均方误差(MSE),定义为

对于第一训练样本,损失(或误差)将是高的,这是因为实际值将与预测输出大不相同。训练的目标是最小化损失量,以使得预测输出与训练标签相同。神经网络1100可以通过确定哪些输入(权重)对网络的损失贡献最大来执行后向传递,并且可以调整权重以使损失减少并最终最小化。可以计算损失相对于权重的导数(表示为dL/dW,其中W是特定层的权重),以确定对网络损失贡献最大的权重。在计算导数后,可以通过更新所有过滤器的权重来执行权重更新。例如,可以更新权重,以使得其沿梯度的相反方向变化。权重更新可被表示为w=w_i-ηdL/dW,其中w表示权重,wi表示初始权重,并且η表示学习率。学习率可以被设置为任何合适的值,其中高学习率包括较大的权重更新,而较低值指示较小的权重更新。

神经网络1100可包括任何合适的深度网络。一个示例包括卷积神经网络(CNN),其包括输入层和输出层,其中在输入层与输出层之间具有多个隐藏层。CNN的隐藏层包括一系列卷积层、非线性层、池化层(用于下采样)和全连通层。神经网络1100可包括除CNN之外的任何其他深度网络,诸如自动编码器、深度置信网络(DBN)、递归神经网络(RNN)等。

图12是卷积神经网络(CNN)1200的解说性示例。CNN 1200的输入层1220包括表示图像或帧的数据。例如,该数据可包括表示图像的像素的数字的数组,其中该数组中的每个数字包括从0到255的值,其描述了在数组中该位置处的像素强度。使用来自以上的先前示例,数组可包括具有28行和28列像素以及3个颜色分量(例如,红色、绿色和蓝色、或者亮度和两个色度分量,等等)的28×28×3数字数组。该图像可以传递通过卷积隐藏层1222a、可任选的非线性激活层、池化隐藏层1222b和全连通隐藏层1222c,以在输出层1224处获得输出。虽然在图12中仅示出了每个隐藏层中的一者,但普通技术人员将领会,多个卷积隐藏层、非线性层、池化隐藏层和/或全连通层可被包括在CNN 1200中。如先前所描述的,输出可以指示单个类别的对象或可以包括最能描述图像中对象的类别的概率。

CNN 1200的第一层是卷积隐藏层1222a。卷积隐藏层1222a分析输入层1220的图像数据。卷积隐藏层1222a的每个节点连接到输入图像的节点(像素)区域(被称为感受野)。卷积隐藏层1222a可以被认为是一个或多个过滤器(每个过滤器对应于不同的激活或特征图),其中过滤器的每个卷积迭代是卷积隐藏层1222a的节点或神经元。例如,过滤器在每个卷积迭代时覆盖的输入图像区域将是该过滤器的感受野。在一个解说性示例中,如果输入图像包括28×28数组,并且每个过滤器(以及对应的感受野)是5×5数组,则在卷积隐藏层1222a中将存在24×24个节点。节点和该节点的感受野之间的每个连接学习权重,并且在一些情形中,学习总体偏置,以使得每个节点学习分析其在输入图像中的特定局部感受野。隐藏层1222a的每个节点将具有相同的权重和偏置(被称为共享权重和共享偏置)。例如,过滤器具有权重(数字)数组和与输入相同的深度。对于视频帧示例,过滤器将具有深度3(根据输入图像的三种颜色分量)。过滤器数组的解说性示例大小为5×5×3,其对应于节点的感受野的大小。

卷积隐藏层1222a的卷积性质是由于卷积层的每个节点被施加到其对应的感受野。例如,卷积隐藏层1222a的过滤器可以从输入图像数组的左上角开始并且可以围绕输入图像进行卷积。如以上提及的,过滤器的每个卷积迭代可以被认为是卷积隐藏层1222a的节点或神经元。在每个卷积迭代中,过滤器的值与图像的对应数目的原始像素值相乘(例如,5×5过滤器数组与输入图像数组左上角的输入像素值的5×5数组相乘)。来自每个卷积迭代的乘法可以相加在一起,以获得针对该迭代或节点的总和。接下来,根据卷积隐藏层1222a中的下一节点的感受野,在输入图像中的下一位置处继续该过程。例如,过滤器可以移动一个步长(称为步幅)到下一个感受野。步幅可被设置为1或另一合适的量。例如,如果步长被设置为1,则过滤器将在每个卷积迭代时向右移动1个像素。在输入量的每个唯一位置处处理过滤器产生表示针对该位置的过滤器结果的数字,从而导致针对卷积隐藏层1222a的每个节点确定总和值。

从输入层到卷积隐藏层1222a的映射被称为激活图(或特征图)。激活图包括每个节点的值,表示输入量的每个位置处的过滤结果。激活图可以包括一数组,该数组包括由输入量上的过滤器的每个迭代产生的各种总和值。例如,如果将5×5过滤器应用于28x28输入图像的每个像素(步幅为1),则激活图将包括24×24数组。卷积隐藏层1222a可包括若干个激活图,以便标识图像中的多个特征。图12中所示的示例包括三个激活图。通过使用三个激活图,卷积隐藏层1222a可以检测三种不同类型的特征,其中每个特征跨整个图像是可检测的。

在一些示例中,可以在卷积隐藏层1222a之后应用非线性隐藏层。非线性层可以被用于将非线性引入一直在计算线性运算的系统。非线性层的一个解说性示例是修正的线性单元(ReLU)层。ReLU层可以将函数f(x)=max(0,x)应用于输入量中的所有值,这将所有负激活改变为0。因此,ReLU可以增加CNN 1200的非线性属性而不会影响卷积隐藏层1222a的感受野。

池化隐藏层1222b可以被应用在卷积隐藏层1222a之后(并且在非线性隐藏层之后(在使用时))。池化隐藏层1222b用于简化来自卷积隐藏层1222a的输出中的信息。例如,池化隐藏层1222b可以获取从卷积隐藏层1222a输出的每个激活图并使用池化函数生成压缩的激活图(或特征图)。最大池化是由池化隐藏层执行的函数的一个示例。其他形式的池化函数(诸如平均池化、L2范数池化或其他合适的池化函数)可由池化隐藏层1222a使用。将池化函数(例如,最大池化过滤器、L2范数过滤器或其他合适的池化过滤器)应用于卷积隐藏层1222a中包括的每个激活图。在图12中所示的示例中,三个池化过滤器被用于卷积隐藏层1222a中的三个激活图。

在一些示例中,可以通过将具有步幅(例如,等于过滤器的尺寸,诸如步幅为2)的最大池化过滤器(例如,具有2×2的大小)应用于从卷积隐藏层1222a的输出的激活图来使用最大池化。来自最大池过滤器的输出包括过滤器卷积的每个子区域中的最大数目。使用2x2过滤器作为示例,池化层中的每个单元可以总结前一层中2×2节点的区域(其中每个节点是激活图中的一值)。例如,激活图中的四个值(节点)将在过滤器的每次迭代中由2×2最大池化过滤器进行分析,其中这四个值中的最大值作为“最大”值被输出。如果将此类最大池化过滤器应用于来自具有24×24节点尺寸的卷积隐藏层1222a的激活过滤器,则来自池化隐藏层1222b的输出将是12×12节点的数组。

在一些示例中,也可以使用L2范数池化过滤器。L2范数池化过滤器包括:计算激活图的2×2区域(或其他合适区域)中的值的平方和的平方根(而不是像最大池化中那样计算最大值)),并使用算得的值作为输出。

直观地,池化函数(例如,最大池化、L2范数池化或其他池化函数)确定给定特征是否在图像的区域中的任何地方被发现,并且丢弃确切的位置信息。这可以在不影响特征检测结果的情况下完成,因为一旦发现了特征,该特征的确切位置就不如其相对于其他特征的近似位置重要。最大池化(以及其他池化方法)的益处是池化特征少得多,从而减少了CNN1200后续各层中所需的参数数目。

网络中的连接的最后层是全连通层,其将来自池化隐藏层1222b中的每个节点连接到输出层1224中的每个输出节点。使用上面的示例,输入层包括28×28个节点,其对输入图像的像素强度进行编码;卷积隐藏层1222a包括3×24×24个隐藏特征节点,其基于将(用于过滤器的)5×5局部感受野应用到三个激活图;以及池化隐藏层1222b包括3×12×12隐藏特征节点层,其基于将最大池化过滤器应用于跨三个特征图中的每一者的2×2区域。扩展该示例,输出层1224可包括十个输出节点。在该示例中,3×12×12池化隐藏层1222b的每个节点被连接到输出层1224的每个节点。

全连通层1222c可以获得前一池化隐藏层1222b的输出(其应该表示高级特征的激活图)并且确定与特定类别最相关的特征。例如,全连通层1222c层可以确定与特定类别最强烈相关的高级特征,并且可以包括高级特征的权重(节点)。可以计算全连通层1222c和池化隐藏层1222b的权重之间的乘积以获得不同类别的概率。例如,如果CNN 1200被用于预测视频帧中的对象是人,则在激活图中将出现表示人的高级特征(例如,两条腿存在、脸存在于对象的顶部、两只眼睛存在于脸的左上和右上、鼻子存在于脸的中间、嘴存在于脸的底部、和/或人共有的其他特征)的较高值。

在一些示例中,来自输出层1224的输出可以包括M维向量(在现有示例中,M=10)。M指示CNN 1200在对图像中的对象进行分类时必须选择的类别的数目。还可以提供其他示例输出。M维向量中的每个数字都可以表示该对象属于特定类别的概率。在一个解说性示例中,如果表示十个不同类别的对象的10维输出向量是[0 0 0.05 0.8 0 0.15 0 0 0 0],则该向量指示关于图像是第三类别的对象(例如,狗)存在5%的概率,关于图像是第四类别的对象(例如,人)存在80%的概率,并且关于图像是第六类别的对象(例如,袋鼠)存在15%的概率。针对一类别的概率可以被认为是对象是该类别的一部分的置信度水平。

图13示解说了根据本公开的一些示例的用于执行位置预测的过程1300的示例流程图。在操作1302,过程1300可以包括:经由至少一个网络接口来获得射频(RF)数据。如上面所讨论的,RF数据可以包括(或可以是)信道状态信息(CSI)。在一些方面,CSI可包括以下至少一者:发射天线信息、接收天线信息、副载波信息、速度信息、覆盖区域信息、发射机处理信息、接收机处理信息、或其组合。

在操作1304,过程1300可以包括:基于该RF数据来确定多个特征向量。在一些实现中,特征向量可以由特征提取器(诸如上面关于图8所讨论的卷积神经网络(CNN))来提取。特征向量可以提供接收到的CSI信息的高维(例如,128D)表示。

在操作1306,过程1300可以包括:基于该多个特征向量来生成多个第一聚类,其中第一聚类与多个第一伪标签相对应。在一些方面,聚类生成可基于一个或多个配置参数,诸如指示降维数量的聚类计数参数。作为示例,聚类计数参数可以是基于其中执行位置估计的环境的位置或类型的预配置参数。

在操作1308,过程1300可以包括:基于该多个特征向量来确定多个投影特征。取决于期望实现,投影特征可以是三维(3D)或二维(2D)。在操作1310,过程1300可以包括:使用该多个第一伪标签和投影特征来训练第一ML模型。在一些方面,可以对投影特征进行处理以生成多个第二聚类,并且第二聚类可以与多个第二伪标签相对应。在一些示例中,第二伪标签可以用于训练第二ML模型。

在操作1312,过程1300可以包括:基于3D(或2D)投影特征和楼层损失来预测用户的位置。例如,可以相对于室内空间的各个区域或房间预测用户位置或一个或多个其他对象的位置。在一些示例中,第二伪标签可以基于一个或多个用户提供的先验信息,诸如房间指示符、区域指示符和/或平面图信息、或其组合。作为示例,区域标签和/或先验平面图信息可以用于促成确定用户的海拔位置(诸如楼层)。在一些方面,第二伪标签可以用于训练第一ML模型。

在一些示例中,本文所描述的过程(例如,过程1300、1400和/或本文描述的其他过程)可由计算设备或装置执行。在一个示例中,过程1300和/或1400可以由计算设备或图15中示出的计算系统1500执行。

计算设备可以包括任何合适的UE或设备,诸如移动设备(例如,移动电话)、桌面计算设备、平板计算设备、可穿戴设备(例如,VR头戴设备、AR头戴设备、AR眼镜、联网手表或智能手表、或其他可穿戴设备)、服务器计算机、自主交通工具或自主交通工具的计算设备、机器人设备、电视和/或具有资源能力来执行本文描述的过程(包括过程1300)的任何其他计算设备。在一些情形中,计算设备或装置可包括各种组件,诸如一个或多个输入设备、一个或多个输出设备、一个或多个处理器、一个或多个微处理器、一个或多个微型计算机、一个或多个相机、一个或多个传感器和/或被配置成执行本文所描述的过程的各步骤的(诸)其他组件。在一些示例中,计算设备可包括显示器、被配置成传达和/或接收数据的网络接口、其任何组合、和/或(诸)其他组件。网络接口可被配置成传达和/或接收基于网际协议(IP)的数据或其他类型的数据。

计算设备的各组件可以在电路系统中实现。例如,各组件可包括和/或可使用电子电路或其他电子硬件(其可包括一个或多个可编程电子电路(例如,微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)、视觉处理单元(VPU),网络信号处理器(NSP),微控制器(MCU)和/或其他合适的电子电路))来实现,和/或可包括和/或可使用计算机软件、固件、或其任何组合来实现,以执行本文描述的各种操作。

过程1300被解说为逻辑流程图,该逻辑流程图的操作表示能够在硬件、计算机指令、或其组合中实现的操作序列。在计算机指令的上下文中,各操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令,这些指令在由一个或多个处理器执行时执行所叙述的操作。一般而言,计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。描述各操作的顺序并不旨在被理解为是限制,并且任何数目的所描述操作可以按任何顺序被组合和/或并行进行以实现各过程。

附加地,过程1300和/或本文描述的其他过程可以在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可被实现为在一个或多个处理器上共同执行的代码(例如,可执行指令、一个或多个计算机程序、或一个或多个应用)、由硬件或其组合来实现。如以上提及的,代码可以被存储在计算机可读或机器可读存储介质上,例如以包括可由一个或多个处理器执行的多条指令的计算机程序的形式。计算机可读或机器可读存储介质可以是非瞬态的。

图14解说了根据所公开技术的一些方面的用于发起训练规程和位置估计过程的过程1400的示例流程图。在操作1402,过程1400包括:接收与环境相关联的一个或多个先验信息。在一些方面,先验信息可以包括与环境有关的各种类型的信息,诸如室内环境的平面图内的一个或多个无线设备或接入点的位置或放置信息。在一些实现中,先验信息可以包括房间或区域指示符,诸如指定房间类型(例如,“厨房”或“车库”)的标签或其他指示符。如上面提到的,房间或区域指示符可以与当用户位于场所的特定房间或区域中时获得的CSI数据相关联。在一些方面,先验信息可包括标签或其他信息,诸如指示内部空间的房间或区域相对于彼此的相对放置的平面图草图。取决于期望实现,可以经由与用户相关联的设备(诸如智能电话或其他移动设备)来(例如,在服务器、接入点/基站处)接收先验信息。

在操作1404,过程1400包括:获得RF数据。在一些示例中,RF数据可以与位于要执行位置估计的环境中、周围或附近的一个或多个无线设备(例如,接入点或基站)相关联。在一些方面,RF数据可以包括或可以表示在两个或更多个设备(例如,发射机和接收机)之间传送的RF信号的信道状态信息(CSI)。如此,RF数据可以包括关于例如与环境中对象的放置和/或运动相关联的信号扰动的数据。作为示例,RF数据可以包括与由人(例如,用户)通过室内环境的一个或多个房间的运动引起的RF信号扰动相对应的CSI。

在操作1406,过程1400包括:生成一个或多个位置估计模型,这些位置估计模型例如被配置成促成对环境中的一个或多个对象的位置确定。如上面所讨论的,该一个或多个位置估计模型可以包括机器学习模型,这些机器学习模型被配置成:接收或取得与环境相关联的RF数据作为输入,并提供必要的处理(例如,聚类和分类)来作出对环境中的各个对象的对象位置估计。作为示例,该一个或多个位置估计模型可以被配置成生成2D隐性空间,该2D隐性空间可以表示相关联室内环境的拓扑并且可以被用于生成对象位置估计或预测。在一些方面,位置估计模型可以被配置成检测或标识对象的运动轮廓,诸如基于各种有生命或无生命对象的运动来标识在环境中执行的事件或动作。

在操作1408,过程1400包括:生成包括对象位置估计的警报。在一些示例中,警报可以包括描述环境中一个或多个对象的存在和/或位置的信息。作为示例,警报可以作为入侵警报来提供,例如以向房主和/或安全人员提醒关于家庭或企业环境附近的人(或其他对象)的存在。在一些方面,警报可以被传送给与预期接收者相对应的设备(例如,UE或智能电话)。取决于期望实现,警报可以被配置成向与接收方设备(例如,智能电话)相关联的用户提供听觉、视觉和/或触觉通知。

图15是解说用于实现本文技术的某些方面的系统的示例的示图。具体而言,图15解说了计算系统1500的示例,该计算系统1500可以是例如构成内部计算系统的任何计算设备、远程计算系统、相机、或其任何组件,其中该系统的各组件使用连接1505彼此处于通信。连接1505可以是使用总线的物理连接,或至处理器1510的直接连接(诸如在芯片组架构中)。连接1505还可以是虚拟连接、联网连接、或逻辑连接。

在一些实施例中,计算系统1500是分布式系统,其中本公开中所描述的功能可以分布在数据中心、多个数据中心、对等网络等等内。在一些实施例中,所描述的系统组件中的一个或多个系统组件表示许多此类组件,每个组件执行针对该组件描述的一些或全部功能。在一些实施例中,各组件可以是物理或虚拟设备。

示例系统1500包括至少一个处理单元(CPU或处理器)1510和连接1505,其将包括系统存储器1515(诸如只读存储器(ROM)1520和随机存取存储器(RAM)1525)的各种系统组件耦合到处理器1510。计算系统1500可以包括与处理器1510直接连接、紧邻处理器1510、或集成为处理器1510的一部分的高速存储器的高速缓存1512。

处理器1510可以包括任何通用处理器和硬件服务或软件服务,诸如存储在存储设备1530中、被配置成控制处理器1510的服务1532、1534和1536,以及专用处理器,其中软件指令被纳入实际处理器设计中。处理器1510可以基本上是完全自包含计算系统,包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。

为了实现用户交互,计算系统1500包括可以表示任何数目的输入机构的输入设备1545,诸如用于语音的话筒、用于姿势或图形输入的触敏屏、键盘、鼠标、运动输入、语音等等。计算系统1500还可以包括输出设备1535,该输出设备1535可以是数个输出机构中的一者或多者。在一些实例中,多模态系统可使得用户能够提供多种类型的输入/输出以与计算系统1500通信。计算系统1500可以包括通信接口1540,其一般可以管控和管理用户输入和系统输出。

通信接口可执行或促成使用有线和/或无线收发机接收和/或传输有线或无线通信,包括利用音频插孔/插头、话筒插孔/插头、通用串行总线(USB)端口/插头、

通信接口1540还可包括一个或多个全球导航卫星系统(GNSS)接收机或收发机,其被用于基于从与一个或多个GNSS系统相关联的一个或多个卫星接收到一个或多个信号来确定计算系统1500的位置。GNSS系统包括但不限于基于美国的全球定位系统(GPS)、基于俄罗斯的全球导航卫星系统(GLONASS)、基于中国的北斗导航卫星系统(BDS)、以及基于欧洲的伽利略GNSS。对在任何特定硬件布置上进行操作不存在任何限制,并且因此可以容易地替换此处的基础特征以随着它们被开发而获得改进的硬件或固件布置。

存储设备1530可以是非易失性和/或非瞬态和/或计算机可读存储器设备,并且可以是能够存储可由计算机访问的数据的硬盘或其他类型的计算机可读介质,诸如盒式磁带、闪存卡、固态存储器设备、数字多功能碟、卡带、软磁盘、软盘、硬盘、磁带、磁条/磁性条、任何其他磁存储介质、闪存、忆阻器存储器、任何其他固态存储器、压缩碟只读存储器(CD-ROM)光碟、可重写压缩碟(CD)光碟、数字视频盘(DVD)光碟、蓝光碟(BDD)光碟、全息光盘、另一光学介质、安全数字(SD)卡、微型安全数字(microSD)卡、Memory Stick(存储器棒)

存储设备1530可以包括软件服务、服务器、服务等等,当定义此类软件的代码由处理器1510执行时其使得系统执行功能。在一些实施例中,执行特定功能的硬件服务可包括存储在与必要的硬件组件(诸如处理器1510、连接1505、输出设备1535等)连接的计算机可读介质中的软件组件以执行功能。术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光存储设备、以及能够存储、包含或携带(诸)指令和/或数据的各种其他介质。计算机可读介质可包括其中可存储数据并且不包括载波和/或无线地或通过有线连接传播的瞬态电子信号的非瞬态介质。

非瞬态介质的示例可包括但不限于磁盘或磁带、光学存储介质(诸如压缩碟(CD)或数字多功能碟(DVD))、闪存、存储器或存储器设备。计算机可读介质可具有存储于其上的代码和/或机器可执行指令,它们可表示规程、功能、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合。可通过传递和/或接收信息、数据、自变量、参数或存储器内容来将代码段耦合至另一代码段或硬件电路。信息、自变量、参数、数据等可以经由任何合适的手段来传递、转发或传送,这些手段包括存储器共享、消息传递、令牌传递、网络传输等。

在上述描述中提供了具体细节以提供对本文中所提供的各实施例和各示例的透彻理解,但是本领域技术人员将认识到本申请并不限于此。因而,尽管本申请的解说性实施例已经在本文中详细描述,但是要理解,各个发明概念可以以其他各种方式被实施和采用,并且所附权利要求书不旨在被解释为包括这些变型,除非受到现有技术的限制。上述申请的各个特征和方面可以单独地或联合地使用。此外,各实施例可以在超出本文所描述的那些环境和应用的任何数目的环境和应用中来利用而不背离本说明书的更宽泛的精神和范围。相应地,本说明书和附图应被认为是解说性的而非限定性的。出于解说的目的,按照特定顺序来描述各方法。应当领会,在替换实施例中,各方法可以按与所描述的不同顺序来执行。

为了清楚说明,在一些实例中,本发明的技术可以被呈现为包括各个功能框,它们包括设备、设备组件、以软件或者硬件和软件的组合实施的方法中的步骤或例程。可使用除了附图中示出和/或本文所描述的那些组件之外的附加组件。例如,电路、系统、网络、过程和其他组件可以用框图形式示为组件以避免使这些实施例湮没在不必要的细节中。在其他实例中,可以在没有必要的细节的情况下示出公知的电路、过程、算法、结构和技术以避免混淆各实施例。

此外,本领域技术人员将领会,结合本文中所公开的方面描述的各种解说性逻辑块、模块、电路、和算法步骤可被实现为电子硬件、计算机软件、或两者的组合。为清楚地解说硬件与软件的这一可互换性,各种解说性组件、块、模块、电路、以及步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员可针对每种特定应用以不同方式来实现所描述的功能性,但此类实现决策不应被解读为致使脱离本公开的范围。

各个实施例在上文可被描述为过程或方法,该过程或方法被描绘为流程图、流程图示、数据流图、结构图或框图。尽管流程图可以将操作描述为顺序过程,但很多操作可以并行地或并发地执行。另外,可以重新排列操作的次序。当过程的操作完成时过程被终结,但是过程可具有附图中未包括的附加步骤。过程可对应于方法、函数、规程、子例程、子程序等。当过程对应于函数时,它的终止对应于该函数返回调用方函数或主函数。

根据上述示例的过程和方法可使用被存储的计算机可执行指令或以其他方式从计算机可读介质可用的计算机可执行指令来实现。这些指令可以包括例如致使或以其他方式将通用计算机、专用计算机或处理设备配置成执行某一功能或功能群的指令和数据。所使用的计算机资源的各部分可通过网络访问。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)、固件、源代码。可用于存储指令、在根据所描述的示例的方法期间所使用的信息和/或所创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、提供有非易失性存储器的USB设备、联网存储设备等。

在一些实施例中,计算机可读存储设备、介质和存储器可包括包含比特流等的线缆或无线信号。然而,在被提及时,非瞬态计算机可读存储介质明确排除诸如能量、载波信号、电磁波以及信号本身等介质。

本领域技术人员将领会,信息和信号可使用各种不同技术和技艺中的任何一种来表示。例如,贯穿以上描述可能被述及的数据、指令、命令、信息、信号、位(比特)、码元以及码片可在一些情形中部分地取决于具体应用、部分地取决于所期望的设计、部分地取决于对应技术等而由电压、电流、电磁波、磁场或磁粒子、光场或光粒子、或其任何组合表示。

结合本文中所公开的各方面来描述的各种解说性逻辑块、模块和电路可使用硬件、软件、固件、中间件、微代码、硬件描述语言、或其任何组合来实现或执行,并且可采用各种形状因子中的任何形状因子。当以软件、固件、中间件或微代码实现时,用于执行必要任务的程序代码或代码段(例如,计算机程序产品)可被存储在计算机可读或机器可读介质中。处理器可执行必要任务。各形状因子的示例包括:膝上型设备、智能电话、移动电话、平板设备、或其他小形状因子的个人计算机、个人数字助理、机架式设备、自立设备等。本文描述的功能性还可用外围设备或插卡来实施。作为进一步的示例,此类功能性还可被实现在在单个设备上执行的不同芯片或不同过程之中的电路板上。

指令、用于传达这些指令的介质、用于执行它们的计算资源、以及用于支持此类计算资源的其他结构是用于提供本公开中所描述的功能的示例装置。

本文所描述的技术还可用电子硬件、计算机软件、固件、或其任何组合来实现。这些技术可以用各种设备中的任一种来实现,诸如通用计算机、无线通信设备手持机、或具有多种用途的集成电路设备,这些用途包括无线通信设备手持机和其他设备中的应用。被描述为模块或组件的任何特征可以一起被实现在集成逻辑器件中或被单独实现为分立但可相互操作的逻辑器件。如果以软件来实现,则这些技术可至少部分地由包括程序代码的计算机可读数据存储介质来实现,这些程序代码包括指令,这些指令在被执行时执行上述方法、算法、和/或操作中的一者或多者。计算机可读数据存储介质可形成计算机程序产品的一部分,其可包括封装材料。计算机可读介质可包括存储器或数据存储介质,诸如随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁性或光学数据存储介质等等。这些技术附加地或替换地可至少部分地由携带或传达指令或数据结构形式的程序代码的计算机可读通信介质来实现,这些指令或数据结构可由计算机访问、读取、和/或执行,诸如传播的信号或波。

程序代码可由处理器执行,该处理器可包括一个或多个处理器,诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其他等效的集成或分立逻辑电路系统。此类处理器可被配置成执行本公开中所描述的任何技术。通用处理器可以是微处理器,但在替换方案中,该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如,DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。相应地,如本文所使用的术语“处理器”可以指任何上述结构、上述结构的任何组合、或适于实现本文所描述的技术的任何其他结构或装置。

本领域普通技术人员将领会,本文所使用的小于(“<”)和大于(“>”)符号或术语可以分别用小于等于(“≤”)和大于等于(“≥”)符号来代替而不背离本说明书的范围。

在各组件被描述为“被配置成”执行某些操作的情况下,可例如通过设计电子电路或其他硬件来执行操作、通过对可编程电子电路(例如,微处理器、或其他合适的电子电路)进行编程来执行操作、或其任何组合来实现此类配置。

短语“耦合到”指任何组件直接或间接地物理连接到另一组件,和/或任何组件直接或间接地与另一组件处于通信(例如,通过有线或无线连接和/或其他合适的通信接口连接到该另一组件)。

权利要求语言或叙述集合中的“至少一者”和/或集合中的“一者或多者”的其他语言指示该集合中的一个成员或该集合中的多个成员(以任何组合)满足该权利要求。例如,叙述“A和B中的至少一者”或“A或B中的至少一者”的权利要求语言意指A、B、或者A和B。在另一示例中,叙述“A、B和C中的至少一者”或“A、B或C中的至少一者”的权利要求语言意指A、B、C、或A和B、或A和C、或B和C、或A和B和C。集合“中的至少一者”和/或集合“中的一者或多者”的语言并不将该集合限于该集合中所列举的项目。例如,叙述“A和B中的至少一者”或“A或B中的至少一者”的权利要求语言可以意指A、B或A和B,并且可附加地包括未在A和B的集合中列举的项目。

本公开的解说性示例包括:请改变各方面的范围以确保各方面不会导致互斥的实施例交叠。

方面1:一种用于执行位置预测的装置,该装置包括:至少一个网络接口;至少一个存储器;以及耦合到该至少一个存储器的至少一个处理器,该至少一个处理器被配置成:经由该至少一个网络接口来获得射频(RF)数据;基于该RF数据来确定多个特征向量;基于该多个特征向量来生成多个第一聚类,其中该多个第一聚类与多个第一伪标签相对应;基于该多个特征向量来确定多个投影特征;使用该多个第一伪标签和该多个投影特征来训练第一机器学习(ML)模型;以及基于该多个投影特征和楼层损失来预测用户的位置。

方面2:如方面1的装置,其中该至少一个处理器被进一步配置成:处理该多个投影特征以生成多个第二聚类,其中该多个第二聚类与多个第二伪标签相对应。

方面3:如方面2的装置,其中,该多个第二伪标签被用于训练第二ML模型。

方面4:如方面1至3中任一者的装置,其中,该多个投影特征是三维(3D)投影特征。

方面5:如方面1至4中任一者的装置,其中,为了生成该多个第一聚类,该至少一个处理器被配置成:接收聚类计数参数。

方面6:如方面1至5中任一者的装置,其中,该楼层损失基于与该RF数据相关联的环境的一个或多个标签先验信息。

方面7:如方面1至6中任一者的装置,其中,预测该用户的位置进一步基于以下至少一者:三元组损失、接入点损失、区域损失、或其组合。

方面8:如方面7的装置,其中,该三元组损失基于与关联于该RF数据的无线设备相对应的各分组的相似性。

方面9:如方面7或8中任一者的装置,其中,该区域损失基于与该RF数据相关联的环境的一个或多个先验信息。

方面10:如方面7至9中任一者的装置,其中,该接入点损失基于以下至少一者:与该RF数据相关联的无线设备的信号强度、位置、或其组合。

方面11:如方面1至10中任一者的装置,其中,该RF数据包括信道状态信息(CSI)。

方面12:如方面1至11中任一者的装置,其中,该CSI包括以下至少一者:发射天线信息、接收天线信息、副载波信息、速度信息、覆盖区域信息、发射机处理信息、接收机处理信息、或其组合。

方面13:一种用于执行位置预测的方法,该方法包括:获得射频(RF)数据;基于该RF数据来确定多个特征向量;基于该多个特征向量来生成多个第一聚类,其中该多个第一聚类与多个第一伪标签相对应;基于该多个特征向量来确定多个投影特征;使用该多个第一伪标签和该多个投影特征来训练第一机器学习(ML)模型;以及基于该多个投影特征和楼层损失来预测用户的位置。

方面14:如方面13的方法,进一步包括:处理该多个投影特征以生成多个第二聚类,其中该多个第二聚类与多个第二伪标签相对应。

方面15:如方面14的方法,其中,该多个第二伪标签被用于训练第二ML模型。

方面16:如方面13至15中任一者的方法,其中,该多个投影特征是三维(3D)投影特征。

方面17:如方面13至16中任一者的方法,其中,生成该多个第一聚类进一步包括:接收聚类计数参数。

方面18:如方面13至17中任一者的方法,其中,该楼层损失基于与该RF数据相关联的环境的一个或多个标签先验信息。

方面19:如方面13至18中任一者的方法,其中,预测该用户的位置进一步基于以下至少一者:三元组损失、接入点损失、区域损失、或其组合。

方面20:如方面19的方法,其中,该三元组损失基于与关联于该RF数据的无线设备相对应的各分组的相似性。

方面21:如方面19或20中任一者的方法,其中,该区域损失基于与该RF数据相关联的环境的一个或多个先验信息。

方面22:如方面19至21中任一者的方法,其中,该接入点损失基于以下至少一者:与该RF数据相关联的无线设备的信号强度、位置、或其组合。

方面23:如方面13至22中任一者的方法,其中,该RF数据包括信道状态信息(CSI)。

方面24:如方面13至23中任一者的方法,其中,该CSI包括以下至少一者:发射天线信息、接收天线信息、副载波信息、速度信息、覆盖区域信息、发射机处理信息、接收机处理信息、或其组合。

方面25:一种非瞬态计算机可读存储介质,包括用于使得计算机或处理器执行以下操作的至少一条指令:获得射频(RF)数据;基于该RF数据来确定多个特征向量;基于该多个特征向量来生成多个第一聚类,其中该多个第一聚类与多个第一伪标签相对应;基于该多个特征向量来确定多个投影特征;使用该多个第一伪标签和该多个投影特征来训练第一ML模型;以及基于该多个投影特征和楼层损失来预测用户的位置。

方面26:如方面25的非瞬态计算机可读存储介质,包括用于使计算机或处理器执行根据方面1至24中任一者的操作的至少一条指令。

方面27:一种设备,包括:用于获得射频(RF)数据的装置;用于基于该RF数据来确定多个特征向量的装置;用于基于该多个特征向量来生成多个第一聚类的装置,其中该多个第一聚类与多个第一伪标签相对应;用于基于该多个特征向量来确定多个投影特征的装置;用于使用该多个第一伪标签和该多个投影特征来训练第一ML模型的装置;以及用于基于该多个投影特征和楼层损失来预测用户的位置的装置。

方面28:如方面27的设备,包括用于执行根据方面1至24中任一者的操作的装置。

相关技术
  • 一种废旧橡塑热裂解的高温油气与炭黑分离系统
  • 一种裂解炭黑与油气联合加工设备
  • 一种废旧橡胶裂解后粗炭黑的湿法粉碎加工设备
技术分类

06120116572113