一种基于脑机接口的计算系统及电子设备

技术领域

本公开涉及脑电信息处理系统设计技术领域，尤其涉及一种基于脑机接口的计算系统及电子设备。

背景技术

脑机接口是建立在大脑和外部环境之间的技术，使得大脑在不依赖外周神经肌肉组织的情况下与外界进行交流，具体包括“脑控”和“控脑”两个方向。为了获取高时间分辨率和高空间分辨率的有效神经信号，越来越多的脑机接口具有显著的多模态特征：综合来自不同脑区、不同采集方法的神经信号来实现神经信号解析。多模态脑机接口已经有包括轮椅控制和无人机飞行控制等多种应用研究出现。随着对算力具有重大需求的人工智能算法越来越多的用于脑机接口信号的解析，如何高效、低延迟实现这些多模态脑机接口算法成为亟待解决的问题。

发明内容

本公开提出了一种基于脑机接口的计算系统及电子设备，能够高效、低延迟实现多模态脑机接口算法。

根据本公开的一方面，提供了一种基于脑机接口的计算系统，所述计算系统包括多个采集设备、神经形态芯片的外部控制电路、神经形态芯片和反馈设备；其中，

所述多个采集设备用于采集多个电生理信号，并将所述多个电生理信号发送至所述外部控制电路；

所述外部控制电路用于在接收到所述多个电生理信号后，将所述多个电生理信号转换为能够被所述神经形态芯片处理的多个目标信号，并将所述多个目标信号发送至所述神经形态芯片；

所述神经形态芯片用于在接收到所述多个目标信号后，对各个目标信号进行处理得到每个目标信号的处理结果；将各个目标信号的处理结果整合为反馈结果，并经由所述外部控制电路将所述反馈结果发送至所述反馈设备；

所述反馈设备用于基于所述反馈结果对目标脑区进行调制。

在一种可能的实现方式中，所述多个电生理信号对应一个或多个信号类别。

在一种可能的实现方式中，所述信号类别包括脑电信号、脑磁信号和局部场电位中的一者或多者。

在一种可能的实现方式中，所述多个电生理信号对应一个或多个采集部位。

在一种可能的实现方式中，所述采集部位包括脑部、心脏和肌肉中的一者或多者，其中，所述脑部包括多个脑区，每个脑区代表一个采集部位。

在一种可能的实现方式中，所述外部控制电路用于将所述多个电生理信号转换为能够被所述神经形态芯片处理的多个目标信号，包括：

所述外部控制电路用于对任意一个电生理信号进行重新编码，得到编码格式与所述神经形态芯片适配的目标信号。

在一种可能的实现方式中，所述神经形态芯片包括整合模块和多个执行模块，每个执行模块对应一个神经网络算法，每个执行模块能够处理一个信号类别对应的目标信号和/或一个采集部位对应的目标信号；

所述整合模块用于在接收到任意一个目标信号后，根据所述目标信号对应的信号类别和/或采集部位从所述多个执行模块中确定出处理所述目标信号的执行模块，并将所述目标信号发送至确定出的执行模块；

所述执行模块用于在接收到任意一个目标信号后，基于对应的神经网络算法对所述目标信号进行处理，得到所述目标信号的处理结果，并将所述处理结果发送至所述整合模块。

在一种可能的实现方式中，所述整合模块还用于将对应信号类别相同的处理结果整合为第一结果，将各个信号类别对应的第一结果整合为所述反馈结果。

在一种可能的实现方式中，所述整合模块与任意一个执行模块之间通过握手协议进行通信，所述整合模块内部以及任意一个执行模块内部通过片上网络的形式进行通信。：

根据本公开的一方面，提供了一种电子设备，包括神经形态芯片的外部控制电路和神经形态芯片；其中，所述外部控制电路用于从采集设备接收到多个电生理信号，将所述多个电生理信号转换为能够被所述神经形态芯片处理的多个目标信号，并将所述多个目标信号发送至所述神经形态芯片；所述神经形态芯片用于在接收到所述多个目标信号后，对各个目标信号进行处理得到每个目标信号的处理结果；将各个目标信号的处理结果整合为反馈结果，并经由所述外部控制电路将所述反馈结果发送至反馈设备。

在本公开实施例中，基于神经形态芯片实现了高效、低延迟的多模态脑机接口算法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1示出本公开实施例的处理器的示意图。

图2示出本公开实施例提供的基于脑机接口的计算系统的架构示意图。

图3示出本公开实施例提供的基于脑机接口的计算系统的架构示意图。

图4示出本公开实施例提供的整合过程的实施示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

随着人工智能算法和非冯诺依曼硬件架构研究深入，出现了诸多新型硬件及系统，例如迅速迭代发展的图像处理器（Graphics Processing Unit，GPU）、多核芯片、众核芯片、深度学习加速器、神经形态芯片以及通用类脑计算芯片等。区别于传统的中央处理器（Central Processing Unit，CPU）、GPU等具有中心化特征的通用处理器，以众核架构为特点的神经形态芯片具有典型的去中心化特征。这使得神经形态芯片在用于脑仿真、神经工程学建模与神经网络加速时具有重要的优势，这类处理器的特点也为多模态脑机接口算法的支持提供了优化空间。

图1示出本公开实施例的处理器的示意图。所述处理器包括多个计算核。

在一种可能的实现方式中，如图1所示，所述计算核包括处理部件及存储部件。所述处理部件包括树突单元、轴突单元、胞体单元、路由单元。所述存储部件包括多个存储单元。

在一种可能的实现方式中，多个处理器可以集成在一个类脑计算芯片中，类脑计算芯片即存算一体的神经形态电路，以大脑的处理模式为参考，通过模拟大脑中神经元对信息的传递与处理，提升处理效率并降低功耗。每个处理器可包括多个计算核，计算核之间可独立处理不同的任务，或并行处理同一任务，以提升处理效率。计算核之间可通过计算核内的路由单元进行核间信息传输。

在计算核之内，可以设置有处理部件和存储部件。处理部件可以包括树突单元、轴突单元、胞体单元和路由单元。处理部件可以模拟大脑的神经元对信息的处理模式，其中，树突单元用于接收信号，轴突单元用于发送尖峰信号，胞体单元用于信号的集成变换，路由单元用于同其它计算核进行信息传输。计算核内的处理部件可以对存储部件的多个存储单元进行读写访问，以与计算核内的存储部件进行数据交互，并可分别承担各自的数据处理任务和/或数据传输任务，以获得数据处理结果，或者与其他计算核进行通信。其中，与其他计算核进行通信包括与本处理器内的其他计算核进行通信，以及与其他处理器内的计算核通信。

在一种可能的实现方式中，膜电位(Membrane Potential)为以膜相隔的两溶液之间产生的电位差。利用膜电位可以在神经细胞间通讯。类脑计算芯片内的各个计算核，可以模拟大脑中神经细胞利用膜电位对信息传递与处理的模式。

在一种可能的实现方式中，存储单元可以为静态随机存取存储器（Static RandomAccess Memory，SRAM）。例如，可以包括读写宽度为16B，容量为12KB的SRAM。其中，第三存储单元MEM2可以接收胞体单元读取运算参数以进行非线性运算，或者可接收路由单元读取路由表，以进行数据通信。本公开对存储单元的读写宽度和容量不做限制。

本公开实施例提供了一种基于脑机接口的计算系统，该计算系统基于神经形态芯片（例如图1所示的类脑计算芯片）实现，从而能够高效、低延迟实现执行多模态的脑机接口算法。

图2示出本公开实施例提供的基于脑机接口的计算系统的架构示意图。如图2所示，该计算系统中包括多个采集设备21、神经形态芯片的外部控制电路22、神经形态芯片23和反馈设备24。

采集设备21可以用于采集电生理信号。在本公开实施例中，计算系统包括多个采集设备21，通过多个采集设备21可以采集到多个电生理信号。如图2所示，计算系统包括三个采集设备21采集到了三个电生理信号，分别为：电生理信号1、电生理信号2和电生理信号3。其中，电生理信号1表示从脑部的顶叶区域1采集到的脑电图，电生理信号2表示从脑部的额叶区域采集到的脑电图，电生理信号3表示从心脏采集到的心电图。

需要说明的是，图2示出的仅为采集设备的示例性举例，并不用于限制计算系统中包括的采集设备，计算系统可以包括比图2所示的采集设备更多或者更少采集设备，计算系统包括的采集设备可以根据需要进行设置，本公开实施例不做限制。

在一种可能的实现方式中，多个电生理信号可以对应一个或多个信号类别。在一个示例中，信号类别可以包括脑电信号、脑磁信号和局部场电位中的一者或多者。其中，脑电信号可以为脑电图（ElectroEncephaloGram，EEG）等，脑磁信号可以为脑磁图等，局部场电位可以为心电图（ElectroCardioGram，ECG）等。举例来说，如图2所示，电生理信号1和电生理信号2对应的信号类别为脑电信号（具体为脑电图），电生理信号3对应的信号类别为局部场电位（具体为心电图）。

在一种可能的实现方式中，多个电生理信号可以对应一个或多个采集部位。在一个示例中，采集部位可以包括脑部、心脏和肌肉中的一者或多者。举例来说，多个电生理信号可以均对应脑部或者均对应心脏或者均对应肌肉，或者，多个电生理信号中的一部分对应脑部而另一部分对应心脏。另外，多个电生理信号中的部分对应诸如手腕、脚腕或者腹部等其他采集部位。举例来说，如图2所示，电生理信号1和电生理信号2对应的采集部位为脑部，电生理信号3对应的采集部位为心脏。

在一种可能的实现方式中，一个采集部位可以包括多个区域。例如，脑部可以包括多个脑区。在一个示例中，考虑到人的每个大脑半球有四个脑叶（其中，在大脑最前部分是额叶，在额叶后面的上部是顶叶，在额叶后面的下部是颞叶，在大脑最后部分是枕叶），每个脑叶相当于一个脑区，也就是说，脑部可以包括四个脑区。当然，在本公开实施例中，基于用户需求，可以采集四个脑区中的部分脑区的电生理信号，也可以采集四个脑区中全部脑区的电生理信号，对此本公开实施例不做限制。举例来说，如图2所示，电生理信号1对应的采集部位为脑部的顶叶区域，电生理信号2对应的采集部位为脑部的额叶区域。

采集设备21在采集到电生理信号后，可以将采集到的各电生理信号发送至神经形态芯片的外部控制电路22。

神经形态芯片的外部控制电路22可以用于接收到多个电生理信号后，将多个电生理信号转换为能够被神经形态芯片23处理的多个目标信号。如图2所示，神经形态芯片的外部控制电路22可以将电生理信号1转换为目标信号1，将电生理信号2转换为目标信号2，以及将电生理信号3转换为目标信号3。

在本公开实施例中，目标信号可以表示能够被神经形态芯片23处理的信号，一个电生理信号对应一个目标信号。在一个示例中，神经形态芯片的外部控制电路22可以用于对任意一个电生理信号进行重新编码，得到编码格式与神经形态芯片适配的目标信号。由于目标信号的编码格式与神经形态芯片23相适配，因此，目标信号能够被神经形态芯片23处理。举例来说，目标信号可以为脉冲信号，对电生理信号进行重新编码即为将电生理信号转换为脉冲信号。其中，重新编码的方式可以参照相关技术，这里不再赘述。

在完成信号转换之后，神经形态芯片的外部控制电路22可以将多个目标信号发送至神经形态芯片23。

神经形态芯片23可以用于在接收到多个目标信号后，对各个目标信号进行处理得到每个目标信号的处理结果；将各个目标信号的处理结果整合为反馈结果。其中，神经形态芯片23的结构可以参照图1，这里不再赘述。

神经形态芯片23可以针对接收到的每个目标信号进行处理，得到每个目标信号的处理结果，并将各个目标信号的处理结果整合为总的反馈结果。如图2所示，神经形态芯片23可以对目标信号1、目标信号2和目标信号3分别进行处理，得到目标信号1的处理结果1、目标信号2的处理结果2和目标信号3的处理结果3，并将处理结果1、处理结果2和处理结果3整合为总的反馈结果。

在一种可能的实现方式中，神经形态芯片23可以包括整合模块231和多个执行模块232。其中，每个执行模块232对应一个神经网络算法，每个执行模块232能够处理一个信号类别对应的目标信号和/或一个采集部位对应的目标信号。其中，整合模块231可以用于在接收到任意一个目标信号后，根据该目标信号对应的信号类别和/或采集部位从多个执行模块232中确定出处理该目标信号的执行模块232，从将该目标信号发送至确定出的执行模块232中进行处理。

在本公开实施例中，不同的神经网络算法以数据流的形式被部署在神经形态芯片上，每个神经网络算法由一个执行模块232执行。在软件视角下，神经形态芯片23上运行的每个数据流本质上都是一个神经网络算法，经过集成了神经网络映射算法的编译器处理之后，可以生成可以在神经形态芯片上部署的执行程序，即上述执行模块232。

在本公开实施例中，各个执行模块对应的神经网络算法是可配置的，每个执行模块占用的处理器以及计算核也是可配置的。这样，本公开实施例提供的计算系统通过配置不同的信号类别的以及不同采集部位对应的执行模块，可以实现不同的信号类别的以及不同采集部位的电生理信号的处理，从而高效、低延迟实现这些多模态脑机接口算法。

在一种可能的实现方式中，整合模块231内部以及任意一个执行模块232内部通过片上网络（Network on Chip，NoC）的形式进行通信，整合模块231与任意一个执行模块232之间可以通过握手协议进行通信。其中，片上网络以及握手协议可以参照相关技术，这里不再赘述。

考虑到每个电生理信号具有一个对应的信号类别以及一个对应的采集部位，每个电生理信号对应一个目标信号。因此，每个目标信号具有一个对应的信号类别以及对应的采集部位，且目标信号对应的信号类别以及对应的采集部位与转换为该目标信号的电生理信号对应的信号类别以及对应的采集部位一致。如图2所示，电生理信号1对应的信号类别和采集部位分别为“脑电图”和“脑部的顶叶区域”，则目标信号1对应信号类别和采集部位分别为“脑电图”和“脑部的顶叶区域”。

图3示出本公开实施例提供的基于脑机接口的计算系统的架构示意图。如图3所示，在图2的基础上，神经形态芯片23包括整合模块231和多个执行模块232。假设图3中神经形态芯片23左上角的执行模块232（为了方便描述记为执行模块A）能够处理的目标信号的类别和采集部位分别为“脑电图”和“脑部顶叶区域”，左下角的执行模块232（为了方便描述记为执行模块B）能够处理的目标信号的类别和采集部位分别为“脑电图”和“脑部额叶区域” ，右下角的执行模块232（为了方便描述记为执行模块C）能够处理的目标信号的类别和采集部位分别为“心电图”和“心脏”。整合模块231接收到目标信号1后，根据目标信号1对应的信号类别和采集部位，选出执行模块A处理目标信号1；接收到目标信号2后，根据目标信号2对应的信号类别和采集部位，选出执行模块B处理目标信号2；接收到目标信号3后，根据目标信号3对应的信号类别和采集部位，选出执行模块C处理目标信号3。

任意一个执行模块232可以用于在接收到任意一个目标信号后，基于该执行模块232对应的神经网络算法对该目标信号进行处理，得到该目标信号的处理结果，并将处理结果发送至整合模块231。如图3所示，执行模块A接收到目标信号1后，基于执行模块A对应的神经网络算法对目标信号1进行处理，得到处理结果1。执行模块B接收到目标信号2后，基于执行模块B对应的神经网络算法对目标信号2进行处理，得到处理结果2。执行模块C接收到目标信号3后，基于执行模块C对应的神经网络算法对目标信号3进行处理，得到处理结果3。

整合模块231可以用于将来自各个执行模块232的处理结果整合为反馈结果。图4示出本公开实施例提供的整合过程的实施示意图。如图4所示，在图3的基础上，执行模块A将处理结果1发送至整合模块231；执行模块B将处理结果2发送至整合模块231；执行模块C将处理结果3发送至整合模块231。之后，整合模块231可以对处理结果1、处理结果2和处理结果3进行整合得到反馈结果。

在一种可能的实现方式中，整合模块231可以用于将对应信号类别相同的处理结果整合为第一结果，将各个信号类别对应的第一结果整合为反馈结果。考虑到图4中执行模块A和执行模块B对应的信号类别为“脑电图”，执行模块C对应的信号类别为“心电图”，因此，处理结果1和处理结果2对应的信号类别为“脑电图”，处理结果3对应的信号类别为“心电图”。如图4所示，整合模块231在接收到处理结果1、处理结果2和处理结果3之后，先将处理结果1和处理结果2整合为“脑电图”这一信号类别对应的第一结果，以及将处理结果3确定为“心电图”这一信号类别对应的第一结果；然后，将“脑电图”这一信号类别对应的第一结果以及“心电图”这一信号类别对应的第一结果整合为反馈结果。

在本公开实施例中，在进行处理结果整合时进行了层次化设计，先分别按照信号类别进行整合，再将各个信号类别整合在一起。这种层次化的设计考虑到了神经形态芯片的事件触发特点，使得本公开实施例提供的计算系统能够在面对复杂的多模态电生理信号处理场景时，实现低功耗。需要说明的是，多个对应信号类别不同和/或对应采集部位不同的多个电生理信号即为多模态电生理信号。

需要说明的是，图3和图4示出的执行模块仅为示例，并不用于限制神经形态芯片中包括的执行模块，在实际应用中，神经形态芯片可以包括比图3和图4所示的执行模块更多或者更少的执行模块，本公开实施例中对神经形态芯片中包括的执行模块的数量以及种类不做限制。

图4还示出了执行模块对应的神经网络算法的网络结构的示例，本公开实施例中对执行模块对应的神经网络算法的网络结构不做限制。

如图2所示，神经形态芯片23在获得反馈结果之后，可以经由神经形态芯片的外部控制电路22将反馈结果发送至反馈设备24。

反馈设备24可以用于基于反馈结果对目标脑区进行调制。其中，目标脑区可以为脑部的任意一个区域。目标脑区可以根据需要进行设置。反馈设备24可以为神经调控设备。

与药物干预相比，本公开实施例提供的基于反馈设备的干预措施能够精确定位大脑内的目标脑区。常见的、基于反馈设备的神经调控方法包括但不限于亚惊厥性电休克疗法、电痉挛疗法和神经外科植入疗法等，本公开实施例提供的计算系统能够很好地同各类神经调控设备进行适配，为脑疾病控制与治疗提供多模态、多层次综合协同治疗技术。

本公开实施例提供的计算系统，能够基于神经形态芯片实现闭环脑机接口，从而高效、低延迟实现多模态脑机接口算法。本公开实施例提供的计算系统可用于癫痫检测或者困倦状态检测等，对促进神经疾病的治疗具有非常重要的意义。由于在本公开实施例中神经形态芯片中执行模块执行的神经网络算法是可配置的，因此本公开实施例提供的计算系统对于其他各类脑机接口应用都具有通用性，可以高效、低延迟实现多模态（对应各种信号类别、各种采集部位）脑机接口算法。

另外，本公开实施例提供的计算系统适应于基于复杂神经网络任务，尤其是层次化、多模态、多任务神经网络的脑机接口算法的并行执行、协同调制与优化。同时，本公开实施例中，无需将电生理信号传输到远端服务器，在本地即可完成多模态电生理信号的处理，减少了传播延迟，提高了效率。

本公开实施例还提供了一种电子设备，所述电子设备包括神经形态芯片的外部控制电路和神经形态芯片；其中，所述外部控制电路用于从采集设备接收到多个电生理信号，将所述多个电生理信号转换为能够被所述神经形态芯片处理的多个目标信号，并将所述多个目标信号发送至所述神经形态芯片；所述神经形态芯片用于在接收到所述多个目标信号后，对各个目标信号进行处理得到每个目标信号的处理结果；将各个目标信号的处理结果整合为反馈结果，并经由所述外部控制电路将所述反馈结果发送至反馈设备。

本公开实施例提供的电子设备中包括神经形态芯片的外部控制电路和神经形态芯片，从而本地化、低延迟、低功耗、可交互地将电生理信号处理过程集成在电子设备中，基于单芯片实现复杂智能计算任务，在保证低功耗的基础上，充分利用非规则神经网络计算与图计算特点，大大提升嵌入式的电子设备的处理能力

在一种可能的实现的方式中，上述电子设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、蜂窝电话、无绳电话、个人数字助理（Personal DigitalAssistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

此外，本公开提供的电子设备中的神经形态芯片的外部控制电路和神经形态芯片的描述可以参见计算系统部分相应记载，不再赘述。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。