用于概率计算的脉冲神经网络

相关申请的交叉引用

本申请是2019年3月6日在美国提交的名称为“A Neuronal Network Topologyfor Computing Conditional Probabilities”的美国申请No.16/294,815的部分继续申请，美国申请No.16/294,815是2018年4月17日在美国提交的名称为“A Neuronal NetworkTopology for Computing Conditional Probabilities”的美国临时申请No.62/659,085的非临时申请，美国申请No.16/294,815和美国临时申请No.62/659,085的全部内容通过引用并入本文。

本申请还是2019年1月9日在美国提交的名称为“A Spiking Neural Network forProbabilistic Computation”的美国临时申请No.62/790,296的非临时申请，美国临时申请No.62/790,296的全部内容通过引用并入本文。

发明背景

(1)发明领域

本发明涉及一种对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的系统，并且更具体地，涉及一种使用独特的脉冲神经网络(spiking neural network)对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的系统。

(2)相关技术描述

在机器学习中，贝叶斯推理是一种流行的框架，该框架用于通过估计数据中不同变量之间的条件依赖性来做出决策。推理任务通常是计算昂贵的并且使用常规数字计算机来执行。

一种用于概率计算的现有方法使用突触更新来执行贝叶斯推理(参见所并入的参考文献列表中的参考文献1)，但是该方法仅是数学理论并且在生物学上是不合理的。

因此，仍然需要一种在生物学上合理并因此易于在神经形态硬件中实现的方法。

发明内容

本发明涉及一种对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的系统，并且更具体地，涉及一种使用独特的脉冲神经网络对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的系统。所述系统包括神经形态硬件，所述神经形态硬件用于实现脉冲神经网络，所述脉冲神经网络包括多个神经元，以根据下式对两个随机变量X和Y的所述条件概率进行计算：

w*P(X)＝P(X,Y)，

其中P表示概率，并且w表示第一神经元与连接的第二神经元之间的突触权重。X神经元和Y神经元被配置为随着所述随机变量X和Y而发出脉冲。所述脉冲神经网络包括与乘积w*P(X)成比例的w增量路径、与P(X,Y)成比例的w减量路径，以及延迟和脉冲定时依赖可塑性(STDP：spike timing dependent plasticity)参数，以使针对单个放电事件w以相同的幅度增大和减小。

在另一方面，所述脉冲神经网络包括多个突触，其中，除了所述B神经元外，所有神经元具有相同的阈值电压，并且其中，所述A神经元与所述B神经元之间的所述突触权重w是具有STDP的唯一突触，其中，所有其它突触具有固定权重，所述固定权重被设计为在突触前神经元放电时触发突触后神经元。

在另一方面，所述STDP的符号被反转，使得如果所述A神经元在所述B神经元之前发出脉冲，则所述突触权重w减小。

在另一方面，所述脉冲神经网络还包括与所述A神经元和所述B神经元两者连接的XY神经元，并且其中，在所述XY神经元与所述A神经元之间施加延迟，所述延迟导致所述突触权重w增大。

在另一方面，其中，当所述X神经元放电时，所述B神经元在所述A神经元之后与所述突触权重w成比例地出现脉冲，使得所述B神经元的脉冲速率取决于所述X神经元的脉冲速率与所述突触权重w之间的乘积。

在另一方面，由所述神经形态硬件实现的所述脉冲神经网络还包括减法器电路，并且使用所述减法器电路来比较所述随机变量X和Y。

最后，本发明还包括一种计算机实现的方法。所述计算机实现的方法包括使计算机执行指令并执行所得操作的动作。

附图说明

根据下面结合参照以下附图对本发明各个方面的详细描述，本发明的目的、特征以及优点将变得显而易见，在附图中：

图1是根据本公开一些实施方式的脉冲定时依赖可塑性(STDP)的图示；

图2是根据本公开一些实施方式的STDP的权重变化与脉冲间隔之间的关系的图示；

图3是根据本公开一些实施方式的用于概率计算单元(PCU+)的网络拓扑的图示；

图4是根据本公开一些实施方式的用于增大突触权重的神经路径的图示；

图5是根据本公开一些实施方式的用于减小突触权重的神经路径的图示；

图6是根据本公开一些实施方式的具有减法器电路的PCU+的图示；

图7是例示了根据本公开一些实施方式的由PCU+计算的条件概率的图表；

图8是例示了根据本公开一些实施方式的由PCU+利用不同概率设定计算的条件概率的图表；

图9是例示了根据本公开一些实施方式的由神经网络计算的概率的表；

图10A是根据本公开一些实施方式的由PCU+发现的针对十个随机变量的依赖性的图示；

图10B是根据本公开一些实施方式的真实依赖性图示；

图11是根据本公开一些实施方式的对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的系统的系统流程的图示；

图12A是根据本公开一些实施方式的定向兴奋性突触的图示；

图12B是根据本公开一些实施方式的定向抑制性突触的图示；以及

图13是根据本公开一些实施方式的完全条件概率单元的图示。

具体实施方式

本发明涉及一种对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的系统，并且更具体地，涉及一种使用独特的脉冲神经网络对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的系统。呈现以下描述以使本领域普通技术人员能够制造和使用本发明并将其并入特定应用的上下文中。对于本领域技术人员而言，各种修改以及在不同应用中的多种用途将显而易见，并且本文限定的一般原理可以被应用于广泛的方面。因此，本发明并非旨在限于所呈现的方面，而是与符合本文所公开的原理和新颖特征的最广范围相一致。

在下面的详细描述中，阐述了许多具体细节以便提供对本发明的更透彻理解。然而，对本领域技术人员而言将显而易见的是，本发明可以在不必限于这些具体细节的情况下来实践。在其它情况下，公知结构和装置以框图形式示出，而非详细示出，以避免模糊本发明。

请读者关注与本说明书同时提交并且与本说明书一起开放以供公众查阅的所有文件和文档，并且所有这些文件和文档的内容通过引用并入本文。除非另有明确说明，否则本说明书(包括任何所附权利要求、摘要以及附图)中公开的所有特征可以由用于相同、等同或相似目的的另选特征来代替。因此，除非另有明确说明，否则所公开的各个特征仅是一系列的等同或相似特征中的一个示例。

此外，权利要求中没有明确陈述用于执行指定功能的“装置”或用于执行特定功能的“步骤”的任何要素不应被解释为如35U.S.C.第112节第6款中规定的“装置”或“步骤”条款。特别地，在本文的权利要求中使用“……的步骤”或“……的动作”并非旨在触发35U.S.C.第112节第6款的条款。

在详细描述本发明之前，首先提供参考文献列表。接下来，提供本发明各个主要方面的描述。最后，提供本发明各个实施方式的具体细节，以使得能够理解具体方面。

(1)并入的参考文献列表

贯穿本申请引用且并入以下参考文献。为清楚和方便起见，本文中为读者列出这些参考文献作为集中式资源。以下参考文献通过引用并入于此，如同在本文中充分阐述一样。这些参考文献通过参照如下对应文献参考编号而在本申请中加以引用：

1.J.Bill,L.Buesing,S.Habenschuss,B.Nessler,W.Maass,andR.Legenstein.Distributed Bayesian Computation and Self-Organized Learning inSheets of Spiking Neurons with Local Lateral Inhibition.PloS one,10(8):e0134356,2015.

2.N.Stepp,A.Jammalamadaka.A Dynamical Systems Approach toNeuromorphic Computation of Conditional Probabilities.1-4.Proceedings of theInternational Conference on Neuromorphic Systems.ICONS’18,2018.

3.

4.C.W.J.Granger.Investigating Causal Relations by Econometric Modelsand Cross-Spectral Methods.Econometrica 37,424-438,1969.

5.Song,S.,Miller K.D.,and L.F.Abbott.Competitive Hebbian Learningthrough Spike-Timing Dependent Synaptic Plasticity.Nat Neurosci 3(9):919-926,2000.

(2)主要方面

本发明的各种实施方式包括三个“主要”方面。第一方面是对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的系统。该系统通常为计算机系统操作软件(例如，神经形态硬件)的形式或“硬编码”指令集的形式。该系统可以被并入提供不同功能的各种各样的装置中。神经形态硬件是模仿神经系统的自然生物结构的任何电子装置。可以通过基于氧化物的忆阻器、自旋电子存储器、阈值开关和晶体管来实现硬件级别上的神经形态计算的实现。第二主要方面是使用神经形态硬件(数字计算机)实现的通常为软件形式的方法。

数字计算机系统(神经形态硬件)被配置为执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文讨论的某些处理和步骤被实现为驻留在计算机可读存储单元内并由数字计算机执行的一系列指令(例如，软件程序)。当该指令被执行时使数字计算机执行特定动作并表现出特定行为，诸如本文所描述的。

(3)各种实施方式的具体细节

在机器学习中，贝叶斯推理是一种流行的框架，该框架用于通过估计数据中不同变量之间的条件依赖性来做出决策。推理任务通常是计算昂贵的并且使用常规数字计算机来执行。本文描述了一种对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的独特的脉冲神经网络。“随机变量”是统计术语，其表示这些变量随时间推移的值是取自一种随机分布的。X神经元和Y神经元随着这些随机变量而发出脉冲。除了通过反转脉冲定时依赖可塑性(STDP)参数来大幅减少网络中所需神经元的数量并通过采用动态阈值来提高准确度外，脉冲神经网络还具有一种新的网络拓扑，其可以实现优于现有技术方法的高效计算。

使用脉冲神经网络来计算条件概率的优点是双重的：节能和并行性。由于消除了数字电路中的高频时钟操作，因此脉冲神经网络通常比常规计算机更节能。神经计算是事件驱动的，这意味着这些神经计算仅在必要时或在新信息可用时才会消耗能量。此外，神经网络是高度并行的。通过多个神经通路同时处理数据。这两个特征被用在文所描述的系统中，以设计用于应对贝叶斯推理任务的节能、大规模并行的机器，如将在下面进一步详细描述的。

图1是脉冲定时依赖可塑性(STDP)的描绘图。STDP由于相关脉冲而导致增强连接，并且由于不相关脉冲而导致减弱连接。例如，在图1中，如果神经元A(元素100)恰好在神经元B(元素102)之前发出脉冲，则w增大很多；如果神经元A(元素100)在神经元B(元素102)之前很长一段时间发出脉冲，则w增大一点。类似地，如果神经元B(元素102)恰好在神经元A(元素100)之前发出脉冲，则w减小很多；并且如果神经元B(元素102)在神经元A(元素100)之前很长一段时间发出脉冲，则w减小一点。

神经元B(元素102)具有电压阈值，如果超过该电压阈值，则会使该神经元发出脉冲。来自神经元A(元素100)的、以w进行加权的脉冲在神经元B(元素102)中累积电压，直到达到该阈值为止，此时神经元B(元素102)发出脉冲，w被增量，并且电压电平被重置为零。这意味着如果w＝0，则

图2例示了STDP的权重变化与脉冲间隔之间的关系。更具体地，图2描绘了权重更新的大小与突触前、后脉冲之间的时间差(Δt)之间的关系。在根据本公开实施方式的实现中，A

(3.1)概率计算单元(PCU+)的神经网络拓扑

(3.1.1)条件概率计算

本文所述的神经网络拓扑能够计算两个随机变量(X和Y)的条件概率。根据贝叶斯定理，条件概率可以计算为

在计算之后，将该条件概率按照神经元A(元素100)与神经元B(元素102)之间的突触权重w进行存储。重新排列式(1)，可以得到下式，该式描述了神经网络期望的平衡性：

w*P(X)＝P(X，Y) (2)

当式(2)的左侧等于右侧时，w等于条件概率P(Y|X)。因此，目标是设计一种具有以下特性的神经网络：

1)与乘积w*P(X)成比例的w增量路径

2)与P(X，Y)成比例的w减量路径

3)校正延迟和STDP参数，使得针对单个放电事件w以相同的幅度增大和减小。

为了实现上面列出的功能，可以创建图3所示的PCU+架构。网络中的圆形节点(例如，X神经元(元素300))表示神经元，并且在连接的端部用圆圈(元素302)绘制抑制性突触，并且用三角形(元素301)表示兴奋性突触，兴奋性突触被认为是默认突触)。除神经元B(元素102)外，所有神经元的阈值电压均为1伏特。具有STDP的唯一突触是神经元A(元素100)与神经元B(元素102)之间的突触；其它突触具有固定权重(例如，1.0000001)，该固定权重被设计用于在突触前神经元放电时触发突触后神经元。尽管网络将利用多种参数来运行，但仅出于例示目的，使用了对称STDP函数，将τ

以及

其中，V

在更新神经元中的各个神经元的膜电位之后，将膜电位与阈值电压V

图12A和图12B分别描绘了定向兴奋性突触和定向抑制性突触的示例。图12A示出了定向兴奋性突触，其中神经元A(元素100)使得神经元B(元素102)发出脉冲。图12B示出了定向抑制性突触，其中神经元A(元素100)抑制神经元B(元素102)发出脉冲。

(3.1.2)STDP反转

在一个实施方式中，有意地反转了STDP的符号，使得如果在图5中神经元A(元素100)在神经元B(元素102)之前发出脉冲，则减小突触权重w。为了使w*P(X)保持恒定，当P(X)增大时，需要STDP的反转来减小w。这对于网络收敛至期望的平衡点而不是偏离平衡点很重要。STDP的符号被反转导致图2所示的函数绕时间轴翻转。

(3.1.3)w增量路径

图4例示了用于增大突触权重w的神经结构。施加了XY神经元(元素400)与神经元A(元素100)之间的延迟，该延迟导致XY神经元(元素400)放电时w增大，因为A神经元(元素100)在B神经元(元素102)之后发出脉冲并且STDP的符号被反转。

(3.1.4)w减量路径

为了减小权重w，将X神经元(元素300)连接至神经元A(元素100)，如图5所示。在这种情况下，当X神经元(元素300)放电时，B神经元(元素102)在A神经元(元素100)之后与w成比例地发出脉冲。B神经元(元素102)的脉冲速率取决于X神经元(元素300)的脉冲速率与w之间的乘积。即，

w减小的速度＝P(X)*w (6)

(3.1.5)动态阈值

为了使式(6)成立，需要根据输入电压的总和动态地调整神经元B(元素102)的放电阈值。这称为动态阈值V

V

其中V

(3.1.6)运行模式

神经元网络可以在两种模式下运行：一个模式是训练阶段，另一模式是测量阶段。训练阶段的目标是允许权重w收敛至目标P(Y|X)。在该阶段期间，来自两个随机变量的脉冲被馈送至神经元X(元素300)和神经元Y(图3和图6中的元素304)。针对神经元A(元素100)与神经元B(元素102)之间的突触启用了STDP。在训练阶段完成之后(在用户限定的适合其速度的一定时间和准确度要求之后)，网络进入测量阶段。测量阶段的目标是通过计算|P(Y)-P(Y|X)|来确定两个随机变量之间的依赖性。在测量阶段将P(X)设定为1(即，其持续发出脉冲)。STDP被禁用，以防止w被更改。按照图6中的神经元F(元素600)的放电速率对所得的计算结果(条件概率与固有值的偏差)进行编码。通过读出突触权重w来记录条件概率P(Y|X)。

(3.1.7)减法器电路

图6示出了具有用于计算P(Y)与P(Y|X)之间的绝对差的减法器电路(S1、S2、F)的神经网络。神经元F(元素600)的放电速率测量神经元X(元素300)导致神经元Y(元素304)发生(happen)的可能性。S1神经元(元素602)接受(来自神经元B(元素102)、XY(元素306)和Y(元素304)的)三个输入。在运行的测量阶段期间，P(X)被设定为1。B神经元(元素102)与S1神经元(元素602)之间的突触是抑制性的，这意味着如果B神经元(元素102)放电，则膜电位会降低。另一方面，Y神经元(元素304)与S1神经元(元素602)之间的突触是兴奋性的。作为结果，S1神经元(元素602)的放电速率计算P(Y)-P(Y|X)。XY神经元(元素306)与S1神经元(元素602)之间的突触是为了补偿在测量阶段期间触发XY神经元(元素306)时B神经元(元素102)将放电的不期望的伪像，从而提高减法计算的准确度。S2神经元(元素604)类似地起作用；然而，它改为计算P(Y|X)-P(Y)。神经元F(元素600)输出两个放电速率的总和。P(Y)-P(Y|X)和P(Y|X)-P(Y)的符号正好相反，并且由于放电概率为非负值，因此任何负值都将被重置为零。下面的式(9)至式(11)演示了神经元F(元素600)如何有效地实现以下绝对函数：

可能性{X→Y}＝|P(Y)-P(Y|X)|＝F的放电速率*分辨率 (8)

其中F的放电速率是以赫兹(Hz)为单位测量的，而分辨率(resolution)是以秒为单位测量的。分辨率是输入数据流中两个数据点之间的时间间隔。可能性{X→Y}是0至1之间的无单位数，将该无单位数与阈值进行比较以确定X与Y之间的依赖性。

S1神经元(元素602)、S2神经元(元素604)和F神经元(元素600)也是整合放电型神经元，其具有式(3)至式(5)中描述的相同式。它们的阈值全部被设定为1伏特，并且连接权重全部被设定为1.0000001。另外，S1神经元(元素602)和S2神经元(元素604)具有下限膜电位和上限膜电位，以防止电压失控；在一个实施方式中，电压限制被设定为[-5，5]伏特。可以使用下式来描述神经元S1(元素602)、神经元S2(元素604)和神经元F(元素600)的放电概率：

P(S1)＝max(-[P(Y|X)+P(X，Y)]+P(X，Y)+P(Y)，0) (9)

＝max(P(Y)-P(Y|X)，0)

P(S2)＝max([P(Y|X)+P(X，Y)]-P(X，Y)-P(Y)，0) (10)

＝max(P(Y|X)-P(Y)，0)

P(F)＝P(S1)+P(S2)＝max(P(Y)-P(Y|X)，0)+max(P(Y|X)-P(Y)，0) (11)

＝|P(Y)-P(Y|X)|

其中P(S1)、P(S2)和P(F)是0至1之间的无单位数，该无单位数表示在任何给定时间步长处的放电概率。式(9)至式(11)中的max(·，0)运算符用于说明概率不能为负的事实。

总之，图6描绘了用于对被编码为输入数据流的两个或更多个随机变量之间的条件依赖性结构进行计算的神经网络拓扑。该拓扑使用减法器电路将P(X)与P(Y|X)进行比较并确定随机变量网络的成对条件结构。另外，本文描述了一种通过使用图6所示的网络拓扑确定时间上滞后的变量的独立性和条件依赖性来学习条件结构的方法。

(3.1.8)脉冲编码器/解码器

图11描绘了根据本公开实施方式的对用于结构学习和贝叶斯推理的随机变量的条件概率进行计算的系统的系统流程。脉冲编码器获得输入传感器数据，并将这些值速率编码成输入脉冲序列中的脉冲的频率，而脉冲解码器获得输出脉冲序列并将脉冲的频率解码回随机变量和/或条件概率的值，这取决于用户查询的内容。图3中所示的输入X(元素300)和Y(元素304)来自诸如图11中描绘的地面载具(元素1104)或飞行器(元素1106)之类的移动平台上的流传输传感器数据(元素1102)的脉冲编码(元素1100)。将使用速率编码对流传输传感器数据(元素1102)的值在时间上进行编码。X(元素300)的概率输入脉冲是作为固定速率的Poisson处理生成的。每次X(元素300)实现脉冲时，就会以固定的Bernoulli概率P生成Y(元素304)脉冲。为了生成图9、图10A和图10B所示的结果，使用该方法生成了十个Bernoulli随机变量，所述十个Bernoulli随机变量中的一些随机变量有条件地相互依赖。

(3.1.9)神经元拓扑(图11，元素1108)

在图11中实现神经元网络拓扑(元素1108)所需的神经形态硬件必须具有特定的神经元电压(发出脉冲)式、突触权重更新规则(称为STDP)和特定的神经元电压动力学。参考文献5描述了图13中的PCU+拓扑所需的STDP。根据Δt＝t

其中，A

(3.1.10)神经形态编译器(图11，元素1110)

在名称为“Programming Model for a Bayesian Neuromorphic Compiler”的美国申请No.16/294,886中详细描述了神经形态编译器(元素1110)，该申请通过引用并入本文，如同在本文中全面阐述一样。神经形态编译器是一种编程模型，其允许用户从学习后的条件模型(元素1112)中查询贝叶斯网络概率，以供进一步处理或做出决策。学习后的条件模型(元素1112)是指在输入随机变量之间学习的条件属性。例如，如果在给定X＝3的情况下Y＝5的概率为60％，则P(Y|X)＝0.6是学习后的条件模型(元素1112)的一部分。例如，在故障消息应用中，这可以是基于当前故障而预期的将来故障的预防性维修。预防性维修是指在机器(例如，载具)上的零件被实际磨损之前进行更换，以使它们在运行时不会以磨损告终。例如，如果用户在载具运行时看到系统故障消息#1，并且用户知道P(系统故障消息#2|系统故障消息#1)＝95％，则用户可以在预料到对应于系统故障消息#2的载具零件也将很快失效的情况下，预防性地更换该载具零件。

图13是根据本公开一些实施方式的完全条件概率单元的图示。为了计算两个输入处理X(元素300)和Y(元素304)的条件概率，对到I

此外，添加了另外两个神经元D(元素1310)和E(元素1312)，神经元D(元素1310)和E(元素1312)具有来自B(元素102)的输入并分别具有延迟τ

(3.2)实验研究

PCU+能够计算两个随机变量的条件概率，如图7所示，其中细线(元素700)表示计算结果，而粗线(元素702)表示真实值。如图7所描绘的，在大约30秒的神经计算中，A与B之间的突触权重(w)收敛至最终值。各个输入数据点之间的时间间隔为40ms，并且输入的脉冲概率被设定为0.7。这意味着在观察到约500个输入脉冲之后，PCU+收敛；这是估计条件概率的一种相当有效的方法。结果还表明，w能够随着系统在时间上的进展而跟踪P(Y|X)的波动。实际上，权重w被记录在神经形态硬件的软件程序或寄存器中的变量中。大多数脉冲神经网络模拟器都允许记录内部变量(诸如突触权重)。另一方面，在神经形态硬件中，执行寄存器读操作，以将最终权重值记录到记录介质。

图8示出了利用PCU+进行的一系列模拟的结果。改变概率P(X)和P(Y|X)以验证神经网络跨不同输入条件的准确度。每次模拟之后，绘制最终的突触权重w(其对P(Y|X)进行编码)。已观察到，最终权重(由实心圆(元素800)表示)与真实值(即，虚线(元素802))对准。请注意，PCU+电路能够准确地计算可能值的整个范围([0,1])上的条件概率。

另外，应用根据本公开实施方式的具有减法器电路的PCU+，以解决结构学习问题。在结构学习中，目标是识别贝叶斯网络中的因果关系。更精确地说，在实验研究中，目标是找到十个不同随机变量之间的依赖性，在这十个不同随机变量种，变量的当前值会影响其它变量的将来值(即，Granger因果(参见参考文献4))。为了测试Granger因果，在将数据馈送至PCU+前对该数据执行了以下预处理技术。各个随机变量的数据为0s和1s的流，从而将错误的发生记录为时间序列。将一对数据流(例如，X和Y)馈送至PCU+之前，首先将Y的数据移位提早一个时间步长。实际上，计算P(Y

使用一百个PCU+来计算十个随机变量的所有组合之间的条件概率。图9中的表总结了来自各个PCU+的神经元F(元素600)的放电速率，其对|P(Y

贝叶斯推理在数据科学和决策理论中无处不在。本文所述的发明可以用于通过预防性维护和诊断来降低飞行器和载具的运行成本，通过执行贝叶斯推理任务来实现自主载具的操纵(即，驾驶)，增强无人飞行器的实时任务计划，并促进新环境中的无监督结构学习。贝叶斯决策理论是一种针对模式分类问题的统计方法。模式分类(贝叶斯推理任务的一个示例)具有若干应用，包括对象检测和对象分类。另外，本文所述的发明的应用是针对故障预测模型来估计地面载具或飞行器的故障消息之间的条件概率。

在自动驾驶载具的应用中，本文所述系统的一个或更多个处理器可以控制一个或更多个机动载具部件(电气的、非电气的、机械的)，诸如制动器、转向机构、悬架或安全装置(例如，安全气囊、安全带张紧装置等)。此外，载具可以是无人驾驶飞行器(UAV)、自主自动驾驶地面载具或由驾驶员或由远程操作员控制的人为操作的载具。例如，在对象检测(即，贝叶斯推理任务)和识别时，系统可以使自主载具根据识别出的对象，根据驾驶参数执行驾驶操作/操纵(诸如转向或另一命令)。例如，如果系统识别出骑车人、另一载具或行人，则本文所述的系统可以执行载具操纵/操作，以避免与骑车人或载具(或在驾驶时应避免的任何其它对象)发生碰撞。系统可以使自主载具施加功能性移动响应(诸如制动操作，然后进行转向操作)，以将载具重定向为远离对象，从而避免碰撞。

其它适当的响应可以包括以下一项或更多项：转向操作；节气门操作以增加速度或降低速度；或决定保持航向和速度不变。这些响应可能适用于避免碰撞、提高行驶速度或提高效率。如本领域技术人员可以理解的，其它装置类型的控制也是可能的。因此，给定检测到的特定对象和实施系统的环境的情况下，自主载具可以启动许多自动动作。

根据本公开实施方式的系统还提供了测量与正常概率的偏差的附加功能，其可以用于指示贝叶斯网络中的潜在因果关系。利用动态阈值，新网络解决了现有技术中的关键问题，即当条件概率超过阈值时，计算将变得不准确。

最后，虽然已经根据若干实施方式对本发明进行了描述，但本领域普通技术人员应当容易地认识到本发明在其它环境中可以具有其它应用。应注意，可以有许多实施方式和实现。此外，所附权利要求绝不是旨在将本发明的范围限制成上述具体实施方式。另外，任何“用于……的装置(means)”的用语旨在触发将要素和权利要求解读为装置加功能，而任何未特别使用“用于……的装置”用语的要素不应被解读为装置加功能要素，即使权利要求以其它方式包括了“装置”一词。此外，虽然已经按特定顺序陈述了特定的方法步骤，但这些方法步骤可以按任何期望的顺序发生并且落入本发明的范围内。

权利要求书(按照条约第19条的修改)

1.一种对用于贝叶斯推理的随机变量的条件概率进行计算的系统，所述系统包括：

神经形态硬件，所述神经形态硬件被配置为实现脉冲神经网络，所述脉冲神经网络包括多个神经元，以根据下式对两个随机变量X和Y的所述条件概率进行计算：

w*P(X)＝P(X,Y)

其中P表示概率，并且w表示A神经元与连接的B神经元之间的突触权重；

其中，X神经元和Y神经元被配置为随着所述随机变量X和Y而发出脉冲；

其中，所述脉冲神经网络包括与乘积w*P(X)成比例的w增量路径、与P(X,Y)成比例的w减量路径、以及延迟和脉冲定时依赖可塑性(STDP)参数，使得针对单个放电事件，w以相同的幅度增大和减小；并且

其中，所述神经形态硬件基于所计算的所述随机变量X和Y的条件概率来控制一个或更多个机动载具部件。

2.根据权利要求1所述的系统，其中，由所述神经形态硬件实现的所述脉冲神经网络包括多个突触，其中，除了所述B神经元外，所有神经元具有相同的阈值电压，并且其中，所述A神经元与所述B神经元之间的所述突触权重w是具有STDP的唯一突触，其中，所有其它突触具有固定权重，所述固定权重被设计为在突触前神经元放电时触发突触后神经元。

3.根据权利要求2所述的系统，其中，所述STDP的符号被反转，使得如果所述A神经元在所述B神经元之前发出脉冲，则所述突触权重w减小。

4.根据权利要求3所述的系统，其中，由所述神经形态硬件实现的所述脉冲神经网络还包括与所述A神经元和所述B神经元两者连接的XY神经元，并且其中，在所述XY神经元与所述A神经元之间施加延迟，所述延迟导致所述突触权重w增大。

5.根据权利要求4所述的系统，其中，所述X神经元与所述A神经元连接，其中，当所述X神经元放电时，所述B神经元在所述A神经元之后与所述突触权重w成比例地发出脉冲，使得所述B神经元的脉冲速率取决于所述X神经元的脉冲速率与所述突触权重w之间的乘积。

6.一种对用于贝叶斯推理的随机变量的条件概率进行计算的神经形态硬件实现的方法，所述方法包括以下动作：

使脉冲神经网络工作，所述脉冲神经网络包括多个神经元，以根据下式对两个随机变量X和Y的所述条件概率进行计算：

w*P(X)＝P(X,Y)

其中P表示概率，并且w表示A神经元与连接的B神经元之间的突触权重；

其中，X神经元和Y神经元被配置为随着所述随机变量X和Y而发出脉冲；

其中，所述脉冲神经网络包括与乘积w*P(X)成比例的w增量路径、与P(X,Y)成比例的w减量路径、以及延迟和脉冲定时依赖可塑性(STDP)参数，使得针对单个放电事件，w以相同的幅度增大和减小；并且

其中，所述神经形态硬件基于所计算的所述随机变量X和Y的条件概率来控制一个或更多个机动载具部件。

7.根据权利要求6所述的方法，其中，所述脉冲神经网络包括多个突触，其中，除了所述B神经元外，所有神经元具有相同的阈值电压，并且其中，所述A神经元与所述B神经元之间的所述突触权重w是具有STDP的唯一突触，其中，所有其它突触具有固定权重，所述固定权重被设计为在突触前神经元放电时触发突触后神经元。

8.根据权利要求7所述的方法，其中，所述STDP的符号被反转，使得如果所述A神经元在所述B神经元之前发出脉冲，则所述突触权重w减小。

9.根据权利要求8所述的方法，其中，所述脉冲神经网络还包括与所述A神经元和所述B神经元两者连接的XY神经元，并且其中，所述方法还包括以下动作：在所述XY神经元与所述A神经元之间施加延迟，所述延迟导致所述突触权重w增大。

10.根据权利要求9所述的方法，其中，所述X神经元与所述A神经元连接，其中，当所述X神经元放电时，所述B神经元在所述A神经元之后与所述突触权重w成比例地发出脉冲，使得所述B神经元的脉冲速率取决于所述X神经元的脉冲速率与所述突触权重w之间的乘积。

11.根据权利要求1所述的系统，其中，由所述神经形态硬件实现的所述脉冲神经网络还包括减法器电路，并且其中，使用所述减法器电路来比较所述随机变量X和Y。

12.根据权利要求6所述的方法，其中，所述脉冲神经网络还包括减法器电路，并且其中，所述方法还包括以下动作：使用所述减法器电路来比较所述随机变量X和Y。