基于忆阻器的人工智能像素传感器

技术领域

本公开涉及图像传感技术领域，涉及一种基于忆阻器的人工智能像素传感器，尤其涉及一种用于MLP的带有忆阻器的有源像素传感器的人工智能融合像素传感器。

背景技术

很多系统包括感知和捕捉光学图像的成像装置，光学图像可以通过电子方式转化为图像的数字表示。图像传感器包括一个光敏器件阵列，例如互补金属氧化物半导体(CMOS)器件上的光敏二极管或光敏三极管。每个光敏器件都对光敏感，因此可以生成与照射到光敏器件上的光强度成比例的电荷。由图像传感器捕捉的整体图像包括排列在一个阵列中的多个像素，每个像素能够被检测到该像素位置的光强度。

根据传统CMOS工艺形成的成像设备被称为CMOS成像器，可以被配置为包括有源像素传感器(APS)。有源像素传感器(APS)包括一个包含像素阵列的集成电路，每个集成电路包括一个光电探测器(例如，光电二极管或其他类似器件)以及其他用于复位和门控光电探测器上的存储电荷的晶体管。在传统的CMOS成像器中，像素阵列中每个像素单元将光强度转换为电荷，按照光强度的比例累积电荷，并将累积的电荷传输至放大器。在许多CMOS成像器中，一个像素，在获取图像之前或之后，可以被复位至一个特定参考电压水平。

RRAM是一种可以响应于有效的电刺激而改变电阻的两端无源器件，在高性能非易失性存储应用中引起了极大的关注。RRAM的电阻可以在两种状态进行电切换：高电阻状态(HRS)和低电阻状态(LRS)。从HRS到LRS的切换事件通常被称为“设置”或“开启”切换；从LRS到HRS的切换过程被称为“复位”或“关闭”切换过程。

多层感知器(MLP)是一种广泛用于很多人工智能应用的人工神经网络，如图像处理，视频处理、机器学习，以及自然语言处理。它是一种在有向图中连接多层的神经网络，这意味着通过各节点的信号路径只有一个方向。除了输入节点外的其他节点都具有一个非线性激活函数。由于存在多层神经元，MLP是一种深度学习技术。在MLP中，它通常被用作分类器-确定输入矢量是否属于一个或多个类别。它通常会给出输入属于哪一种类别的概率。例如，可以在MLP中通过训练分类器去识别低分辨率图像中的服装的5个类别。

传统的MLP需要通过算法为分类任务去构建和训练MLP类对象。在本公开内容中，使用带有基于忆阻器的交叉阵列的CMOS图像传感器的新架构可以实现MLP的硬件分类器。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于忆阻器的人工智能像素传感器。

第一方面，本公开实施例提供一种基于忆阻器的人工智能像素传感器，包括：多个有源像素传感器，每个有源像素传感器包括：

光电二极管，被配置为接收图像信号；

传输门；

选择控制器；

复位控制器；

电压读出端；

连接至所述电压读出端的第一1T1R单元、第二1T1R单元和第三1T1R单元；以及分别连接至第一1T1R单元、第二1T1R单元和第三1T1R单元的第一电流读出端、第二电流读出端和第三电流读出端；

第一总电流读出端，其总电流等于所述第一电流读出端在每个所述有源像素传感器的电流之和；

第二总电流读出端，其总电流等于所述第二电流读出端在每个所述有源像素传感器的电流之和；

第三总电流读出端，其总电流等于所述第三电流读出端在每个所述有源像素传感器的电流之和。

在一些实施例中，所述传输门被配置为控制光电二极管，所述选择控制器被配置为控制传输至所述电压读出端的电流，以及所述复位控制器被配置为复位接收到的所述图像信号。

在一些实施例中，所述像素传感器被配置为作为分类器工作。

在一些实施例中，所述像素传感器被配置为执行模拟点积。

在一些实施例中，所述第一1T1R单元、所述第二1T1R单元和所述第三1T1R单元中的每一个都包括有一个晶体管和一个忆阻器。

在一些实施例中，还包括第一电压驱动器和第二电压驱动器，所述第一电压驱动器和所述第二电压驱动器被配置为设置或复位所述第一1T1R单元、所述第二1T1R单元和所述第三1T1R单元。

在一些实施例中，还包括：

连接至所述有源像素传感器的列解码器；

连接至所述有源像素传感器的行解码器；

连接至所述第一总电流读出端，所述第二总电流读出端和所述第三总电流读出端的列放大器；

连接至所述列放大器的复用器；

连接至多数复用器的ADC；以及

连接至所述ADC的存储器。

第二方面，本公开实施例还提供一种基于忆阻器的人工智能像素传感器，包括：有源像素传感器；

所述有源像素传感器包括：

光电二极管，被配置为接收图像信号；

传输门；

选择控制器；

复位控制器；

电压读出端；

第一晶体管；

第二晶体管；

第三晶体管；

第四晶体管；

第一电压驱动器；以及

第二电压驱动器；以及

通过所述电压读出端连接至所述有源像素传感器的基于忆阻器的交叉阵列。

在一些实施例中，第一电压驱动器连接至所述第一晶体管；

所述选择控制器连接至所述第二晶体管的栅极；

所述复位控制器连接至所述第三晶体管的栅极；

所述光电二极管连接至所述第四晶体管的源极；

所述传输门连接至所述第四晶体管的栅极；

所述第二电压驱动器连接至所述电压读出端。

在一些实施例中，所述第一晶体管被配置为提供从所述光电二极管接收的图像信号的放大；

所述第二晶体管被配置为控制传输至所述电压读出端的电流；

所述第三晶体管被配置为复位信号；

所述第四晶体管被配置为控制从所述光电二极管传输的信号。

在一些实施例中，基于忆阻器的交叉阵列包括多个1T1R单元。

在一些实施例中，所述第一电压驱动器和所述第二电压驱动器被配置为设置或复位所述1T1R单元。

在一些实施例中，所述第一电压驱动器和所述第二电压驱动器被配置为设置或复位所述1T1R单元。

在一些实施例中，当处于设置模式，所述第一电压驱动器的电压高于所述第二电压驱动器的电压；当处于复位模式，所述第一电压器的电压地域所述第二电压驱动器的电压。

在一些实施例中，所述像素传感器被配置为执行模拟点积。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A和图1B为本公开实施例提供的一种无隐藏层的MLP架构和有一个隐藏层的MLP架构的框图；

图2为本公开实施例提供的一种基于CMOS图像传感器的电路的框图；

图3为本公开实施例提供的一种AI融合有源像素传感器的框图；

图4为本公开实施例提供的一种在AI模式下AI融合像素传感器的操作时序图；

图5为本公开实施例提供的一种在忆阻器SET/RESET模式下AI融合像素传感器的操作时序图；

图6为本公开实施例提供的一种带有额外忆阻器和晶体管的AI融合像素传感器整体布局的示意性布局图；

图7A为本公开实施例提供的一种在拥有电导率G1、G2和G3的三个忆阻器的AI融合像素传感器的操作下无隐藏层MLP架构的框图；

图7B为本公开实施例提供的一种在接收6个Vout信号V1-V6时Iout1、Iout2和Iout3的点积之和的公式，其中V1-V6代表了从光电二极管接收的六个图像信号；

图8为本公开实施例提供的一种模块化AI融合像素传感器的示意性框图；

图9为本公开实施例提供的一种模块化AI融合像素传感器作为三类分类器的示意性框图。

本文公开的实施方式在附图中以举例的方式说明，而不是以限制的方式说明。类似的参考数字指的是整个附图中的相应部分。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

本公开公开了用于MLP的使用带有忆阻器的有源像素传感器的AI融合像素传感器技术。本公开中描述的技术可以提供以下技术优势。

首先，所公开的技术集成了有源像素传感器和忆阻器，AI融合像素传感器可以执行模拟点积。它证明了在AI模式运行期间进行模拟累积的可行性。这使得AI融合像素传感器可以累积从光电二极管接收的光信号和通过基于忆阻器的交叉阵列生成模拟点积结果。

第二，通过在AI融合像素传感器中应用两个电压驱动器，忆阻器可以在SET/RESET模式的操作期间被打开/关闭。因此，网络可以在内存内计算的不同阶段进行训练或重新编程。

第三，所公开的技术可以作为MLP神经网络中的分类器进行工作。这使得AI融合像素传感器可以将接收的图像信号分类成预先设定的类别，这为制作时间和效率较高的深度学习推理硬件，尤其是图像识别应用，提供了一种有希望的方法。

图1A和图1B为本公开实施例提供的一种无隐藏层的MLP架构和有一个隐藏层的MLP架构的框图。如上，MLP是一种应用于许多AI应用的人工神经网络，例如图像处理、视频处理、机器学习和自然语言处理。它通常被用作分类器—确定输入矢量是否属于一个或多个类别。它一般给出一个输入属于哪种类别的概率。这种分类器可以应用于图像识别技术，例如，一个用户可以训练三个类别的MLP分类器：猫、狗和兔子。然后，神经网络可以将接收到的图像分类成三个类别。传统的MLP要求使用软件算法为分类任务构建和训练MLP类对象。在本公开中，使用带有忆阻器的CMOS图像传感器的新架构可以实现MLP的硬件分类器。图1A是一种无隐藏层的MLP的示例。图2A是一种具有一个隐藏层的MLP的示例。这两种MLP都可以使用或集合本公开的实施方式来实现。

图2为本公开实施例提供的一种基于CMOS图像传感器的电路200的框图2000。

如图2所示，基于CMOS图像传感器的电路200包括一个或多个被配置为接收图像或光信号的CMOS图像传感器201(例如，AI融合像素传感器)、被配置为选择读出列的像素的列解码器203、被配置为选择读出行的像素的行解码器205、被配置为放大来自CMOS图像传感器201的信号的放大器211(例如，列放大器)、被配置为按顺序或串行从放大器211中读出信号的多路复用器213(例如，时分复用器)、被配置为将来自放大器211的信号从模拟转成数字的ADC 215以及被配置为存储来自ADC 215的信号的数字存储器221。

当光线照射在CMOS图像传感器201上时，CMOS图像传感器仅从被选择的行和列上收集数据。然后，信号(通常以电压形式)被放大器211放大。然后，多路复用器213按序或串行读出信号并将信号发送至ADC 215。ADC 215将信号从模拟形式转换为数字形式，使得数字信号可以被存储于数字存储器221中。数字信号可以被中央处理器(CPU)或其他处理器进行处理或访问。这里的CMOS图像传感器201，包括一个有源像素传感器，可以设计做为MLP分类器来实现。

需要注意的是，为了能够正常运行MLP，行解码器需要能够同时开启多个行以实现矢量点积效果。此外，为了能够在忆阻器上实施SET/RESET，图像传感器的VDD(或者Vrst)可以是可调的，要求一个全局DAC。同时，为了能够在忆阻器上执行SET/RESET，需要有一个用于忆阻器输出节点的驱动器，这将在后面进行讨论。最后，由于VMM是多个像素的信息集合，其结果相比单独像素有较大的动态范围。因此，ADC的分辨率或动态范围需要进行调整。

图3为本公开实施例提供的一种AI融合有源像素传感器300的示例性框图3000。需要注意的是，这里的AI融合指的是它可以合并来自多个传感器的数据，来自不同过滤器或分类下的传感器，或来自具有不同权重的传感器，以实现远超过单独使用每一个传感器的结果。

如图3所示，AI融合有源像素传感器300包括一个有源像素传感器和一个基于忆阻器的交叉阵列。有源像素传感器包括第一晶体管301、第二晶体管303、第三晶体管305和第四晶体管307。

第一晶体管301连接至第一电压驱动器331，第一电压驱动器331提供漏极电压Vdd321，用于放大的电压源。在一些实施方式中，第一晶体管301被配置为通过添加一个增强电流提供从光电二极管接收的信号的放大。

第二晶体管303包括连接至第一晶体管301源极的漏极。选择控制器(Rs)313连接至第二晶体管303的栅极，并且控制到输出端的电流，其中一个电压Vout被确定。在一些实施方式中，第二晶体管303可以被配置用于打开或关闭通向输出端的电流。

第三晶体管305通过其漏极连接至第一晶体管301的栅极3011.复位控制器(RST)315连接至第三晶体管305的栅极，以及复位电压源(Vrst)325连接至第三晶体管305的源极。包括复位控制器(RST)315和复位电压源(Vrst)325的第三晶体管305用于复位。具体而言，复位控制器(RST)315被配置为打开和关闭以复位第一晶体管301的栅极3011中累积的信号，其中栅极3011是一个读出节点。在一些实施方式中，第三晶体管305可以配置用于复位上一周期中第一晶体管301的栅极3011累积的信号。

第四晶体管307通过其漏极连接至第一晶体管301的栅极以及第三晶体管305的漏极。光电二极管327连接至第四晶体管307的源极。传输门控制器Tx 317连接至第四晶体管307的栅极3071，并且被配置为控制光电二极管327。具体而言，光电二极管327通过激活传输门控制器Tx 317被排空，且光电二极管信号被传输至读出节点，该读出节点是第一晶体管301的栅极3011。在一些实施方式中，第四晶体管307被配置为控制从光电二极管327传输的信号。

除了上述的有源像素传感器外，本公开进一步包括在输出端的基于忆阻器的交叉阵列的独特设计。

如图3所示，AI融合有源像素传感器300包括基于忆阻器的交叉阵列340。基于忆阻器的交叉阵列340包括一个或多个1T1R单元，包括平行连接的第一1T1R单元341，第二1T1R单元343和第三1T1R单元345。基于忆阻器的交叉阵列340连接至有源像素传感器的输出电压Vout 323。同时，第二电压驱动器333连接至输出电压Vout 323。第二电压驱动器333被配置为通过在忆阻器上施加一个正向或反向电压设置或复位基于忆阻器的交叉阵列340的忆阻器。通过添加具有可调电阻或电导电路的1T1R单元，可以实现像素传感器上的模拟点积。例如，第一1T1R单元341包括具有电导率G1的第一忆阻器，第二1T1R单元343包括具有电导率G2的第二忆阻器，第三1T1R单元包括具有电导率G3的第三忆阻器。输出电流Iout1、Iout2和Iout3分别为Vout*G1、Vout*G2和Vout*G3。通过这样做，用户在从光电二极管接收信号前可以对G1、G2和G3进行编程。通过加权设置，一旦图像信号被传输进来，可以通过乘以预先设定或预先编程的G1、G2和G3对图像信号进行加权或分类。这为使用具有基于忆阻器的交叉阵列的像素传感器实现MLP提供了一个很好的模拟解决方案。

图4为本公开实施例提供的一种AI融合像素传感器在AI模式下操作的时序图4000。在开始时，选择控制器(Rs)313被打开，且RST脉冲被触发，并复位上一周期的读出信号。当复位时，一个小电压泵在将Vout和Iout处读出。接下来，激活传输门控制器Tx 317，且光电二极管信号被传输至读出节点。由于图像信号在不断累积，Vout和Iout会随着时间的推移而增加，知道Tx被关闭。Iout[2:0]指的是Iout2、Iout1和Iout0。由于三个忆阻器的电导率G是不同的，所以读出的电流也不同。

图5为本公开实施例提供的一种AI融合像素传感器在忆阻器SET/RESET模式下操作的时序图5000。如上，为了对忆阻器进行不同电导率的编程，第一电压驱动器331和第二电压驱动器333倍用于设置和复位忆阻器。在SET/RESET模式下，Rs被打开。在SET模式下，Vdd被设置为大于Vout，从而使得电流正向流过忆阻器使得它们切换至LRS或者on状态。相反地，在RESET模式，VDD被设置为小于Vout，使得电流负向通过忆阻器使得它们切换至HRS或OFF状态。

图6为本公开实施例提供的一种具有额外忆阻器和晶体管的AI融合像素传感器整体布局的示例性布局图6000。通过在像素传感器上增加忆阻器，可以略微增加像素大小。

图7A为本公开实施例提供的一种在拥有电导率G1、G2和G3的三个忆阻器的AI融合像素传感器的操作下无隐藏层的MLP的架构框图7000。

图7B为本公开实施例提供的一种在接收6个Vout信号V1-V6时Iout1、Iout2和Iout3的点积之和的公式7100，V1-V6代表了从光电二极管接收的六个图像信号。因此，AI融合像素传感器被配置为将五个图像分成三个类别，从而实现MLP。

图8为本公开实施例提供的一种模块化AI融合像素传感器的示意性框图8000。

图9为本公开实施例提供的一种模块化AI融合像素传感器作为三类分类器的示意性框图9000。如图9所示，由于存在通过六个传输门Tx传输的6个输入图像信号和三个输出信号Iout1、Iout2和Iout3，总体Iout等于来自六个像素的六个交叉阵列的六个Iout。因此，以模块化的实施方式实现了分类器。

如图9所示，包括多个有源像素传感器901-906.每个有源像素传感器包括：光电二极管(未显示，它可以是如图3所示的相同的光电二极管327)；传输门913；选择控制器911；复位控制器915；电压读出端(未显示，它可以是如图3所示的相同的电压读出端323)；第一1T1R单元(未显示，它可以是如图3所示的相同的1T1R单元341)；第二1T1R单元(未显示，它可以是如图3所示的相同的1T1R单元343)；以及连接至电压读出端的第三1T1R单元(未显示，可以是如图3所示的相同的1T1R单元345)；以及分别连接至第一1T1R单元、第二1T1R单元和第三1T1R单元的第一电流读出端921、第二电流读出端923和第三电流读出端925；第一总电流读出端931，其总电流等于第一电流读出端在每个有源像素传感器的电流之和；第二总电流读出端933，其总电流等于第二电流读出端在每个有源像素传感器的电流之和；以及第三总电流读出端935，其总电流等于第三电流读出端在每个有源像素传感器的电流之和。因此，形成了一个使用带有忆阻器的有源像素传感器的模拟MLP分类器。

可为本文描述为单数实例的组件、操作、或结构提供复数个实例。最后，各种组件、操作、以及数据存储之间的边界在某种程度上是任意性的，并且在具体解说性配置的上下文中解说了特定操作。其他的功能性分配是已预见的并且可落在本发明主题内容的范围内。一般而言，在示例性配置中呈现为分别的组件的结构和功能性可被实现为组合式结构或组件。类似地，被呈现为单个组件的结构或功能性可被实现为分开的组件。这些以及其他变体、修改、添加、及改善可落在本发明主题的范围内。

还应理解的是，尽管术语“第一”、“第二”等在此刻用于描述各种元素，但是这些元素并不应收到这些术语的限制。这些术语只是用于区分一个元素和另外一个元素。例如，第一列可以被称为第二列，类似地，第二列也可以被称为第一列，而并不改变描述的含义，只要所有的第一列统一被重新命名和所有的第二列也被统一地重新命名。第一列和第二列都可以是S列，但他们不是同一列。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

前述描述包括体现说明性实施方式的示例系统,方法,技术,指令序列和计算机器程序产品。为了解释的目的,阐述了许多具体细节以便提供对发明主题的各种实现的理解。然而,对于本领域技术人员将显而易见的是,可选地,在没有这些具体细节的情况下实践了本发明主题的实施方式。通常,没有详细示出众所周知的指令实例,协议,结构和技术。

为了说明的目的,已经参考特定实施方式描述了前述描述。然而,以上说明性讨论并非旨在穷举或将实施方式限制为所公开的精确形式。鉴于以上教导,许多修改和变化是可能的。选择和描述实施方式以便最佳地解释原理及其实际应用,从而使本领域的其他技术人员能够最佳地利用实施方式以及具有各种修改的各种实施方式,以适合于预期的特定用途。

尽管在了解上述描述后，对于本公开内容做出另外的变更和修改对于本领域普通技术人员无疑是显而易见的，但应理解的是，以说明方式所显示和描述的任何具体实施例不应被视为是限制的。因此，各种实施例的细节并不是为了限制权利要求的范围，权利要求本身只是叙述了公开技术特征。