掌桥专利:专业的专利平台
掌桥专利
首页

交通工具进入检测

文献发布时间:2023-06-19 10:58:46


交通工具进入检测

引言

本申请要求于2018年10月8日提交的PCT申请No.PCT/CN2018/109262的优先权,该申请被转让给本申请受让人并且藉此通过援引如同在下文全面阐述那样且出于所有适用目的被明确纳入于此。

公开领域

本公开的某些方面一般涉及用于事件状态检测的装置和技术。

背景技术

可包括一群互连的人工神经元(例如,神经元模型)的人工神经网络是一种计算设备或者表示由计算设备执行的方法。这些神经网络可被用于各种应用和/或设备,诸如网际协议(IP)相机、物联网(IoT)设备、自主交通工具、和/或服务机器人。

卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合,其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言,CNN已经在模式识别和分类领域中被广泛使用。

在分层神经网络架构中,第一层神经元的输出成为第二层神经元的输入,第二层神经元的输出成为第三层神经元的输入,依此类推。卷积神经网络可被训练以识别特征阶层。卷积神经网络架构中的计算可分布在处理节点群体上,其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用后向传播来微调。

简要概述

本公开的系统、方法和设备各自具有若干方面,其中并非仅靠任何单一方面来负责其期望属性。在不限定如所附权利要求所表述的本公开的范围的情况下,现在将简要地讨论一些特征。在考虑本讨论后,并且尤其是在阅读题为“详细描述”的章节之后,将理解本公开的特征是如何提供包括无线网络中的接入点与站之间的改进通信在内的优点的。

本公开的某些方面一般涉及用于事件状态检测的装置和技术。一种示例方法一般包括:在计算设备处接收多个传感器信号;在该计算设备处基于该多个传感器信号使用人工神经网络针对多个时间区间中的每个时间区间确定子事件状态的概率;以及在该计算设备处基于子事件状态的概率经由状态序列模型来检测事件状态。

某些方面涉及一种用于事件状态检测的装置。该装置一般包括多个传感器并包括处理系统,该处理系统被配置成:从该多个传感器接收多个传感器信号;基于该多个传感器信号使用人工神经网络针对多个时间区间中的每个时间区间确定子事件状态的概率;以及基于子事件状态的概率经由状态序列模型来检测事件状态。

某些方面涉及一种用于事件状态检测的装备。该装备一般包括:用于接收多个传感器信号的装置;用于基于该多个传感器信号使用人工神经网络针对多个时间区间中的每个时间区间确定子事件状态的概率的装置;以及用于基于子事件状态的概率经由状态序列模型来检测事件状态的装置。

某些方面涉及一种其上存储有指令的计算机可读介质,这些指令使计算设备:接收多个传感器信号;基于该多个传感器信号使用人工神经网络针对多个时间区间中的每个时间区间确定子事件状态的概率;以及基于子事件状态的概率经由状态序列模型来检测事件状态。

为了达成前述及相关目的,这一个或多个方面包括在下文充分描述并在权利要求中特别指出的特征。以下描述和附图详细阐述了这一个或多个方面的某些解说性特征。然而,这些特征仅仅是指示了可采用各个方面的原理的各种方式中的若干种,并且本描述旨在涵盖所有此类方面及其等效方案。

附图简述

为了能详细理解本公开的以上陈述的特征所用的方式,可参照各方面来对以上简要概述的内容进行更具体的描述,其中一些方面在附图中解说。然而,应注意,附图仅解说了本公开的某些典型方面,故不应被认为限定其范围,因为本描述可允许有其他等同有效的方面。

图1解说了片上系统(SOC)的示例实现。

图2A解说了全连通神经网络的示例。

图2B解说了局部连通神经网络的示例。

图2C解说了卷积神经网络的示例。

图2D解说了被设计成从来自图像捕捉设备(诸如车载相机)的图像输入识别视觉特征的深度卷积网络(DCN)的详细示例。

图3是解说DCN的框图。

图4是解说可使人工智能(AI)功能模块化的示例性软件架构的框图。

图5是根据本公开的某些方面的用于事件状态检测的示例操作的流程图。

图6是根据本公开的某些方面的用于使用传感器融合通过时间同步和重采样来检测事件状态的示例系统的框图。

图7是根据本公开的某些方面的用于通过融合层使用传感器融合来检测事件状态的示例系统的框图。

图8是根据本公开的某些方面的用于使用音频和运动融合模型来检测事件状态的示例系统的框图。

图9是解说根据本公开的某些方面的基于子事件序列的发生来检测的肯定交通工具进入事件的示例的时序图。

图10解说了可在可以用于实现本文所描述的操作和方面的计算设备中使用的各种组件。

为了促成理解,在可能之处使用了相同的附图标记来指定各附图共有的相同要素。构想了一个方面所公开的要素可有益地用在其他方面而无需具体引述。

详细描述

图1解说了根据本公开的某些方面的片上系统(SOC)100的示例实现,其可包括被配置成执行快速乘法累加(MAC)运算的中央处理单元(CPU)102或多核CPU。变量(例如,神经信号和突触权重)、与计算设备相关联的系统参数(例如,带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块中、与CPU102相关联的存储器块中、与图形处理单元(GPU)104相关联的存储器块中、与数字信号处理器(DSP)106相关联的存储器块中、存储器块118中,或可跨多个块分布。在CPU 102处执行的指令可从与CPU 102相关联的程序存储器加载或可从存储器块118加载。

SOC 100还可包括为具体功能定制的附加处理块,诸如GPU 104、DSP106、连通性块110(其可包括第五代(5G)连通性、第四代长期演进(4G LTE)连通性、Wi-Fi连通性、USB连通性、

SOC 100可基于ARM指令集。在本公开的一方面,加载到CPU 102中的指令可包括用于在与输入特征值和滤波器权重的乘积相对应的查找表(LUT)中搜索所存储的乘法结果的代码。加载到CPU 102中的指令还可包括用于在该乘法乘积的乘法运算期间当检测到该乘法乘积的查找表命中时禁用乘法器的代码。另外,加载到CPU 102中的指令可包括用于在检测到该乘法乘积的查找表未命中到时存储计算出的输入特征和滤波器权重的乘积的代码。

深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式,深度学习解决了常规机器学习的主要瓶颈。在深度学习出现之前,用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征,或许与浅分类器相结合。浅分类器可以是两类线性分类器,例如,其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对特定问题领域定制的模版或内核。相比之下,深度学习架构可学习以表示与人类工程师可能会设计的类似的特征,但它是通过训练来学习的。此外,深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。

深度学习架构可以学习特征阶层。例如,如果向第一层呈递视觉数据,则第一层可学习以识别输入流中的相对简单的特征(诸如边)。在另一示例中,如果向第一层呈递听觉数据,则第一层可学习以识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合,诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。例如,更高层可学习以表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。

深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如,机动交通工具的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。

神经网络可被设计成具有各种各样的连通性模式。在前馈网络中,信息从较低层被传递到较高层,其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述,可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中,来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时,具有许多反馈连接的网络可能是有助益的。

神经网络的各层之间的连接可以是全连通的或局部连通的。图2A解说了全连通神经网络202的示例。在全连通神经网络202中,第一层中的神经元可将它的输出传达给第二层中的每个神经元,从而第二层中的每个神经元将从第一层中的每个神经元接收输入。图2B解说了局部连通神经网络204的示例。在局部连通神经网络204中,第一层中的神经元可连接到第二层中有限数目的神经元。更一般化地,局部连通神经网络204的局部连通层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式,但其连接强度可具有不同的值(例如,210、212、214和216)。局部连通的连通性模式可能在更高层中产生空间上相异的感受野,这是由于给定区域中的更高层神经元可接收到输入,其通过训练被调谐到至网络的总输入的受限部分的性质。

局部连通神经网络的一个示例是卷积神经网络。图2C解说了卷积神经网络206的示例。卷积神经网络206可被配置成使得与针对第二层中每个神经元的输入相关联的连接强度被共享(例如,208)。卷积神经网络可能非常适合于其中输入的空间位置有意义的问题。

一种类型的卷积神经网络是深度卷积网络(DCN)。图2D解说了被设计成从来自图像捕捉设备230(诸如车载相机)的图像226输入识别视觉特征的DCN 200的详细示例。可对当前示例的DCN 200进行训练以标识交通标志以及在交通标志上提供的数字。当然,DCN200可被训练用于其他任务,诸如标识车道标记或标识交通信号灯。

可以用有监督式学习来训练DCN 200。在训练期间,可向DCN 200呈递图像(诸如限速标志的图像226),并且随后可计算“前向传递(forward pass)”以产生输出222。DCN 200可包括特征提取区段和分类区段。在接收到图像226之际,卷积层232可向图像226应用卷积核(未示出),以生成第一组特征图218。作为示例,卷积层232的卷积核可以是生成28×28特征图的5×5核。在本示例中,由于在第一组特征图218中生成了四个不同的特征图,因此在卷积层232处四个不同的卷积核被应用于图像226。卷积核还可被称为过滤器或卷积过滤器。

第一组特征图218可由最大池化层(未示出)进行子采样以生成第二组特征图220。最大池化层减小了第一组特征图218的大小。即,第二组特征图220的大小(诸如14×14)小于第一组特征图218的大小(诸如28×28)。减小的大小向后续层提供类似的信息,同时降低存储器消耗。第二组特征图220可经由一个或多个后续卷积层(未示出)被进一步卷积,以生成一组或多组后续特征图(未示出)。

在图2D的示例中,第二组特征图220被卷积以生成第一特征向量224。此外,第一特征向量224被进一步卷积以生成第二特征向量228。第二特征向量228的每个特征可包括与图像226的可能特征(诸如“标志”、“60”和“100”)相对应的数。softmax(软最大化)函数(未示出)可将第二特征向量228中的数转换为概率。如此,DCN 200的输出222是图像226包括一个或多个特征的概率。

在本示例中,输出222中关于“标志”和“60”的概率高于输出222的其他特征(诸如“30”、“40”、“50”、“70”、“80”、“90”和“100”)的概率。在训练之前,由DCN 200产生的输出222很可能是不正确的。由此,可计算输出222与目标输出之间的误差。目标输出是图像226的真值(例如,“标志”和“60”)。DCN 200的权重可随后被调整以使得DCN 200的输出222与目标输出更紧密地对齐。

为了调整权重,学习算法可为权重计算梯度向量。该梯度可指示在权重被调整情况下误差将增加或减少的量。在顶层处,该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中,该梯度可取决于权重的值以及所计算出的诸较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“后向传播”,因为其涉及穿过神经网络的“后向传递(backward pass)”。

在实践中,权重的误差梯度可能是在少量示例上计算的,从而计算出的梯度逼近真实误差梯度。这种逼近方法可被称为随机梯度下降法。随机梯度下降法可被重复,直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。在学习之后,DCN可被呈递新图像(例如,图像226的限速标志)并且通过网络前向传递可产生输出222,其可被认为是该DCN的推断或预测。

深度置信网络(DBN)是包括多层隐藏节点的概率性模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠数层受限波尔兹曼机(RBM)来获得。RBM是一种可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布,因此RBM经常被用于无监督式学习中。使用混合无监督式和有监督式范式,DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器,而顶部RBM可按有监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。

深度卷积网络(DCN)是卷积网络的网络,其配置有附加的池化和归一化层。DCN已在许多任务上达成现有最先进的性能。DCN可使用有监督式学习来训练,其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。

DCN可以是前馈网络。另外,如上所述,从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的神经元被共享。DCN的前馈和共享连接可被利用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络的计算负担小得多。

卷积网络的每一层的处理可被认为是空间不变模版或基础投影。如果输入首先被分解成多个通道,诸如彩色图像的红色、绿色和蓝色通道,那么在该输入上训练的卷积网络可被认为是三维的,其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维度。卷积连接的输出可被认为在后续层中形成特征图,该特征图(例如,220)中的每个元素从先前层(例如,特征图218)中一定范围的神经元以及从该多个通道中的每个通道接收输入。特征图中的值可以用非线性(诸如矫正max(0,x))进一步处理。来自毗邻神经元的值可被进一步池化(这对应于降采样)并可提供附加的局部不变性以及降维。还可通过特征图中神经元之间的侧向抑制来应用归一化,其对应于白化。

深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过拟合(over-fitting)并因此使更大的模型能够达成更好的泛化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。

图3是解说深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3中示出的,深度卷积网络350包括卷积块354A、354B。卷积块354A、354B中的每一者可配置有卷积层(CONV)356、归一化层(LNorm)358、和最大池化层(MAX POOL)360。

卷积层356可包括一个或多个卷积过滤器,其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块354A、354B,但本公开不限于此,而是代之以根据设计偏好可将任何数目的卷积块354A、354B包括在深度卷积网络350中。归一化层358可对卷积过滤器的输出进行归一化。例如,归一化层358可提供白化或侧向抑制。最大池化层360可提供在空间上的降采样聚集以实现局部不变性和降维。

例如,深度卷积网络的并行过滤器组可被加载到SOC 100的CPU 102或GPU 104上以达成高性能和低功耗。在替换实施例中,并行过滤器组可被加载到SOC 100的DSP 106或ISP 116上。另外,深度卷积网络350可访问其他可存在于SOC 100上的处理块,诸如分别专用于传感器和导航的传感器处理器114和导航模块120。

深度卷积网络350还可包括一个或多个全连通层362(FC1和FC2)。深度卷积网络350可进一步包括逻辑回归(LR)层364。深度卷积网络350的每一层356、358、360、362、364之间是要被更新的权重(未示出)。每一层(例如,356、358、360、362、364)的输出可以用作深度卷积网络350中一后续层(例如,356、358、360、362、364)的输入以从第一卷积块354A处供应的输入数据352(例如,图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。深度卷积网络350的输出是针对输入数据352的分类得分366。分类得分366可以是概率集,其中每个概率是输入数据包括来自特征集的特征的概率。

图4是解说可使人工智能(AI)功能模块化的示例性软件架构400的框图。根据本公开的各方面,使用该架构,应用可被设计成可使得SOC 420的各种处理块(例如CPU 422、DSP424、GPU 426和/或NPU 428)支持AI应用402的运行时操作期间的快速乘法累加(MAC)计算。

AI应用402可被配置成调用在用户空间404中定义的功能,例如,这些功能可提供对指示该设备当前操作位置的场景的检测和识别。例如,AI应用402可取决于识别出的场景是办公室、报告厅、餐馆、还是室外环境(诸如湖泊)而以不同方式配置话筒和相机。AI应用402可向与在AI功能应用编程接口(API)406中定义的库相关联的经编译程序代码作出请求。该请求可最终依赖于被配置成基于例如视频和定位数据来提供推断响应的深度神经网络的输出。

运行时引擎408(其可以是运行时框架的经编译代码)可进一步可由AI应用402访问。例如,AI应用402可使得运行时引擎按特定时间区间或由应用的用户接口检测到的事件触发地来请求推断。在使得运行时引擎提供推断响应时,运行时引擎可进而将信号发送到在SOC 420上运行的操作系统(OS)空间410(诸如Linux内核412)中的操作系统。操作系统410进而可使得在CPU 422、DSP 424、GPU 426、NPU 428、或其某种组合上执行快速MAC计算。CPU 422可由操作系统直接访问,而其他处理块可通过驱动器(诸如分别用于DSP 424、GPU426、或NPU 428的驱动器414、416或418)来访问。在示例性示例中,深度神经网络可被配置成在处理块(诸如CPU 422、DSP 424和GPU 426)的组合上运行,或可在NPU 428上运行。

用于交通工具进入检测的示例技术

如果移动/可穿戴设备知道用户在交通工具中,则可向该用户提供各种有用服务。例如,设备可激活全球定位系统(GPS)、向用户提供(显示)其他相关信息、或向交通工具传送要执行一个或多个动作的指示。移动设备可经由例如

本公开的某些方面一般涉及以移动或可穿戴设备使用多个传感器信号的提早融合来进行交通工具进入检测而无需任何网络连接(诸如

可接收并同步来自多个传感器的连续信号流。来自传感器的信号流可通过帧级融合特征来进行融合,该帧级融合特征可从具有不同采样率的信号流计算。使用状态模型(其可在融合层的输出处实现),可以针对每一时间帧计算多个子事件状态(例如,步行/停止/开门/坐下/关门)中的每个子事件状态的发生概率。从子事件状态概率序列,可计算置信值以使用序列模型来确定最终状态(例如,诸如“进入汽车”之类的用户动作)。在某些方面,传感器信号的子集可以是运动信号,其可连同一个或多个音频信号一起用于确定子事件状态的概率,如本文更详细描述的。

图5是根据本公开的某些方面的用于事件状态检测的示例操作500的流程图。操作500可由计算设备(诸如移动设备或可穿戴设备)执行。例如,操作500可由SOC 100的一个或多个控制器(例如,DSP 106)执行。

操作500可包括:在框502,计算设备接收多个传感器信号。例如,该多个传感器信号可包括音频信号和至少一个运动传感器信号。在某些方面,该至少一个运动传感器信号可包括加速度计传感器信号、陀螺仪传感器信号、或磁力计传感器信号中的至少一者。在某些方面,该多个传感器信号可仅包括运动传感器信号或者仅包括音频信号。

在某些方面,在框504,计算设备可基于该多个传感器信号使用人工神经网络针对多个时间区间中的每个时间区间确定子事件状态(例如,步行、停止、开门、坐下、关门等等)的概率。子事件状态可以是显式的(例如,步行、停止、开门、坐下、关门等等)或隐式的(例如,通过状态模型和序列模型自动地学习)。

在某些方面,操作500还可包括:对该多个信号进行时间同步。在该情形中,在框504对子事件状态概率的确定是基于经时间同步的传感器信号。在某些方面,操作500还可包括:对每个经时间同步的传感器信号进行重采样,以使得经时间同步的传感器信号具有相同的采样率。在该情形中,对子事件状态概率的确定可基于重采样的经时间同步的传感器信号。

在某些方面,在框506,操作500继而基于子事件状态的概率经由状态序列模型(例如,隐马尔科夫模型(hidden Markov model)或者隐半马尔科夫模型(hidden semi-Markovmodel))来检测事件状态。例如,在框506检测事件状态可包括检测用户进入交通工具。在某些方面,操作500还可包括:经由状态序列模型来确定事件状态已发生的置信水平。在该情形中,当置信水平超过阈值时事件状态可被检测到,如本文更详细描述的。

图6是根据本公开的某些方面的用于使用传感器融合通过时间同步和重采样来检测事件状态的示例系统600的框图。如所解说的,可接收多个传感器信号(传感器信号1至传感器信号N)。可捕获具有统一时间戳的传感器数据并使用同步器602进行同步。如所解说的,由同步器602输出的经时间同步信号随后使用重采样器604(例如,重采样器1至N)进行重采样,以生成具有相同采样率的信号,从而使得传感器信号的特征以相同的采样率来计算。可使用特征提取模块606(例如,特征提取模块1至N,N是等于或大于2的任何整数)从每个经重采样的传感器信号中提取特征,继以用于计算特定事件状态的检测置信度的融合状态模型609和序列模型610,如本文更详细描述的。

图7是根据本公开的某些方面的通过融合层使用传感器融合来检测事件状态的示例系统700的框图。例如,在时间同步可能不重要的情形中,可在特征提取之后使用融合层702直接合并具有各种时间尺度的传感器特征。可按与传感器特征的最高更新速率相对应的速率来更新融合层的输出。例如,可在任何特征提取模块的输出处生成的任何传感器特征被更新时更新融合层的输出处的融合特征。对融合特征进行规则采样并馈送到状态模型704和序列模型706以计算特定事件状态的检测置信度,如本文更详细描述的。

图8是根据本公开的某些方面的用于使用音频和运动融合模型来检测事件状态的示例系统800的框图。如所解说的,在特征提取期间,可提取出音频信号的梅尔频谱特征822。如本文所使用的,梅尔频率尺度一般是指由听众判断为彼此等距的音高的感知尺度。可从音频信号中提取20log梅尔特征×36帧(20ms×36=720ms特征)。还可以从一个或多个运动传感器输入信号中提取特征。例如,如所解说的,可以从接收自加速度计、陀螺仪和磁力计的三通道运动信号820中提取特征。在某些方面,可从加速度计信号中提取3维×36样本(720ms)特征,可从陀螺仪信号中提取3维×36样本(720ms)特征,并且可从磁力计信号中提取3维×36样本(720ms)特征。在某些方面,音频信号和运动信号可在特征提取之前进行同步和重采样,如关于图6所描述的。

所提取的特征可提供给状态模型608,如所解说的。例如,每个所提取的音频特征和运动特征可提供给三层卷积神经网络(CNN)以确定与该多个传感器信号中的每个传感器信号相对应的状态概率。每个三层CNN可包括三个卷积层并包括压平层802、804。这三个卷积层中的最后卷积层的输出可以是三维的(例如,通道×特征×时间),其随后被转换成一维向量。音频CNN和运动CNN的压平输出被级联成一维向量并被馈送到融合层806(例如,全连通层)。例如,音频和运动信号的CNN的输出可通过使用融合层806(例如,单个深度神经网络(DNN)进行融合以确定子事件状态(例如,步行、停止、开门、坐下、关门等等)的概率,继以序列模型610(也被称为“状态序列模型”)计算特定事件状态的检测置信度。例如,序列模型610可基于子事件状态(S

在某些方面,序列模型可被实现为隐马尔科夫模型(HMM)或半马尔科夫模型(SMM),基于此,序列模型提供与特定事件状态(例如,进入交通工具)相对应的置信值。在某些方面,可使用循环神经网络(例如,诸如长短期记忆(LSTM)或门控循环单元(GRU))来实现序列模型。如果由序列模型确定的置信值超过特定阈值,则计算设备可确定事件状态已发生(例如,用户已进入交通工具),并且可基于该确定来执行一个或多个动作(例如,激活全球定位系统(GPS))。在某些方面,序列模型(例如,SMM)可被实现为具有15个子事件状态(例如,步行、停止、开门、坐下、关门等等)和45个填充状态(例如,与交通工具进入事件无关的子事件或动作)。

图9是解说根据本公开的某些方面的基于子事件序列的发生来检测的肯定交通工具进入事件的示例的时序图900。线902、904分别表示交通工具进入事件的开始和结束,在该交通工具进入事件期间发生由y轴上的索引1-15所表示的特定子事件。子事件的发生由交通工具进入事件期间的线906指示。序列模型610检测如由线906解说的子事件的序列和每个子事件的历时,并提供交通工具进入事件的置信值,如本文所述。

图10解说了可在可以用于实现本文所描述的操作和方面的计算设备1000中使用的各种组件。例如,计算设备1000可实现图5的操作500。

计算设备1000可包括处理系统1014和传感器1090。在某些方面,计算设备1000可被配置为具有收发机1011以用于经由天线1020进行通信的无线设备。处理系统可包括处理器1004,其控制计算设备1000的操作。处理器1004也可被称为中央处理单元(CPU)。可包括只读存储器(ROM)和随机存取存储器(RAM)两者的存储器1006(例如,计算机可读介质)向处理器1004提供指令和数据。存储器1006的一部分还可包括非易失性随机存取存储器(NVRAM)。处理器1004可基于存储在存储器1006内的程序指令来执行逻辑和算术运算。存储器1006中的指令可被执行以实现本文中所描述的方法。

处理系统1014可包括用于实现本文所描述的方法和方面的一个或多个其他组件。例如,处理器1004可耦合到用于从(例如,接收自传感器1090的)一个或多个传感器信号中提取特征的特征提取组件1008、用于对传感器信号进行重采样的重采样组件1010、用于对传感器信号进行同步的同步组件1013、用于确定子事件的概率的状态模型组件1001、和/或用于检测事件状态的序列模型组件1005,如本文所述。对于某些方面,处理器1004可包括人工神经网络或由人工神经网络实现。计算设备1000的各个组件可由总线系统1024耦合在一起,该总线系统1024除数据总线以外还可包括电源总线、控制信号总线、以及状态信号总线。

本文所公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之,除非指定了步骤或动作的特定次序,否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。

如本文中所使用的,引述一列项目中的“至少一者”的短语是指这些项目的任何组合,包括单个成员。作为示例,“a、b或c中的至少一者”旨在涵盖:a、b、c、a-b、a-c、b-c、和a-b-c,以及具有多重相同元素的任何组合(例如,a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c和c-c-c,或者a、b和c的任何其他排序)。

如本文所使用的,术语“确定”涵盖各种各样的动作。例如,“确定”可包括演算、计算、处理、推导、研究、查找(例如,在表、数据库或另一数据结构中查找)、查明及诸如此类。而且,“确定”可包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)及诸如此类。而且,“确定”可包括解析、选择、选取、建立及诸如此类。

提供先前描述是为了使本领域任何技术人员均能够实践本文中所描述的各种方面。对这些方面的各种修改将容易为本领域技术人员所明白,并且在本文中所定义的普适原理可被应用于其他方面。由此,权利要求并非旨在被限定于本文中所示出的各方面,而是应被授予与权利要求的语言相一致的全部范围,其中对要素的单数形式的引述并非旨在表示“有且仅有一个”(除非特别如此声明)而是“一个或多个”。除非特别另外声明,否则术语“一些/某个”指的是一个或多个。本公开通篇描述的各个方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此,且旨在被权利要求所涵盖。此外,本文所公开的任何内容都不旨在捐献于公众,无论此类公开内容是否明确记载在权利要求书中。权利要求的任何要素都不应当在35U.S.C.§112第六款的规定下来解释,除非该要素是使用措辞“用于……的装置”来明确叙述的或者在方法权利要求情形中该要素是使用措辞“用于……的步骤”来叙述的。

以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块,包括但不限于电路、专用集成电路(ASIC)、或处理器。一般地,在存在附图中解说的操作的场合,这些操作可具有带相似编号的相应配对装置加功能组件。例如,用于接收的装置可包括特征提取组件(诸如特征提取组件1008)或同步组件(诸如同步组件1013)。用于确定(例如,确定子事件状态的概率)的装置可包括状态模型组件,诸如状态模型组件1001。用于检测(例如,检测事件状态)的装置可包括序列模型组件,诸如序列模型组件1005。

结合本公开所描述的各种解说性逻辑块、模块、以及电路可用设计成执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如,DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。

如果以硬件实现,则示例硬件配置可包括无线节点中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束,总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可被用于将网络适配器等经由总线连接至处理系统。网络适配器可被用于实现PHY层的信号处理功能。在用户终端的情形中,用户接口(例如,按键板、显示器、鼠标、操纵杆,等等)也可以被连接到总线。总线还可以链接各种其他电路,诸如定时源、外围设备、稳压器、功率管理电路以及类似电路,它们在本领域中是众所周知的,因此将不再进一步描述。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。取决于具体应用和加诸于整体系统上的总设计约束,本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。

如果以软件实现,则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。软件应当被宽泛地解释成意指指令、数据、或其任何组合,无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。计算机可读介质包括计算机存储介质和通信介质两者,这些介质包括促成计算机程序从一地向另一地转移的任何介质。处理器可负责管理总线和一般处理,包括执行存储在机器可读存储介质上的软件模块。计算机可读存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中,存储介质可被整合到处理器。作为示例,机器可读介质可包括传输线、由数据调制的载波、和/或与无线节点分开的其上存储有指令的计算机可读存储介质,其全部可由处理器通过总线接口来访问。替换地或补充地,机器可读介质或其任何部分可被集成到处理器中,诸如高速缓存和/或通用寄存器文件可能就是这种情形。作为示例,机器可读存储介质的示例可包括RAM(随机存取存储器)、闪存、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦式可编程只读存储器)、EEPROM(电可擦式可编程只读存储器)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。

软件模块可包括单条指令、或许多条指令,且可分布在若干不同的代码段上,分布在不同的程序间以及跨多个存储介质分布。计算机可读介质可包括数个软件模块。这些软件模块包括当由装置(诸如处理器)执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例,当触发事件发生时,可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间,处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时,将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。

任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来,则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和

由此,某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如,此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质,这些指令能由一个或多个处理器执行以执行本文中所描述的操作。例如,这些指令可包括用于执行本文中描述且在图5中解说的操作的指令。

此外,应当领会,用于执行本文中所描述的方法和技术的模块和/或其他恰适装置可由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如,此类设备能被耦合到服务器以促成用于执行本文中所描述的方法的装置的转移。替换地,本文中所描述的各种方法能经由存储装置(例如,RAM、ROM、诸如压缩碟(CD)或软盘之类的物理存储介质等)来提供,以使得一旦将该存储装置耦合到或提供给用户终端和/或基站,该设备就能获得各种方法。此外,可利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。

将理解,权利要求并不被限于以上所解说的精确配置和组件。可在上面所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

相关技术
  • 交通工具进入检测
  • 具有用于净化进入舱室的空气的电离单元的交通工具
技术分类

06120112753018