形成于存储器单元阵列中的图像处理器

技术领域

本公开大体上涉及半导体存储器及方法，且更确切地说，涉及用于形成于存储器单元阵列中的图像处理器的设备、系统及方法。

背景技术

存储器资源通常作为计算机或其它电子系统中的内部半导体集成电路提供。存在许多不同类型的存储器，包含易失性及非易失性存储器。易失性存储器可能需要电源来维护其数据(例如，主机数据、错误数据等)。易失性存储器可包含随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、同步动态随机存取存储器(SDRAM)，及晶闸管随机存取存储器(TRAM)等。非易失性存储器可在不通电时通过保存存储的数据来提供持久数据。非易失性存储器可包含NAND快闪存储器、NOR快闪存储器和电阻可变存储器，例如相变随机存取存储器(PCRAM)及电阻式随机存取存储器(ReRAM)、铁电随机存取存储器(FeRAM)及磁阻随机存取存储器存储器(MRAM)，例如自旋力矩转移随机存取存储器(STT RAM)等。

附图说明

图1是根据本公开的多个实施例的说明可用于包含形成于存储器单元阵列中的图像处理器的资源实施方案的实例的示意图。

图2是根据本公开的多个实施例的可作为图像处理器操作的电阻性随机存取存储器(ReRAM)阵列的部分的实例的框图。

图3根据本公开的多个实施例的说明可由形成于存储器单元阵列中的图像处理器使用的参数矩阵的实例。

图4是根据本公开的多个实施例的说明可由形成于存储器单元阵列中的图像处理器的多个矩阵乘法单元(MMU)执行的多个颜色校正操作的实例的框图。

图5是根据本公开的多个实施例的说明可由形成于存储器单元阵列中的图像处理器的对应多个MMU执行的多个颜色校正操作的实例的框图。

图6是根据本公开的多个实施例的说明用于对形成于存储器单元阵列中的图像处理器的单个MMU执行多个颜色校正操作的配置实例的框图。

图7是根据本公开的多个实施例的说明执行颜色校正的形成于存储器单元阵列中的图像处理器的实例的流程图。

具体实施方式

本公开包含与形成于存储器单元阵列中的图像处理器相关联的系统、设备及方法。在多个实施例中，设备包含传感器电路，其经配置以提供输入矢量作为对应于图像像素的多个颜色分量的多个位；及形成于存储器单元阵列中的图像处理器。图像处理器耦合到传感器电路以接收输入矢量的多个位。图像处理器经配置以通过对输入矢量及参数矩阵执行矩阵乘法以在存储器单元阵列中执行颜色校正操作，以确定进行颜色校正的输出矢量。

随着对更高图像分辨率的需求增加，从存储器(例如，DRAM)到图像信号处理器(ISP)的处理单元(例如，在可间接耦合到存储器的主机上)的数据访问带宽逐渐增加。数据访问带宽的这种增加可能导致这种ISP的功耗过大(例如，对于移动及/或远程设备，例如智能电话)。

本公开描述图像处理器的多个实施例，以在存储器单元阵列中执行颜色校正处理以克服这种潜在的困难以及提供其它优势。连同在颜色校正操作之间不存在数据反馈回路及/或相关的数据依赖性，本文描述的用于颜色校正的信号处理实施方案的各种实施例可允许将大多数(例如，所有)这种处理(例如，其计算单元及/或控制单元)移动到存存储器芯片(例如，与RAM阵列相关联和/或在RAM阵列内)，以便降低存储器访问的复杂性。

在本文所描述的架构中，图像处理器可形成为RAM(ReRAM)的一部分以充当存储器内的处理器(PIM)。在多个实施例中，此图像处理器可称为存储器内颜色校正处理器。相对于其它ISP实施方案，在不导致性能降低的情况下，此图像处理器可减少用于颜色校正的功耗，而无需在存储器芯片中添加明显更多的组件。举例来说，ReRAM存储器单元的交叉开关架构不仅可存储(例如，用于读取及/或写入)数据，而且还可用于经由多个运算对操作数执行除了本文描述的矩阵乘法之外的算术运算，例如加法、减法、乘法及/或除法，而无需合并额外组件。

本公开的图2展示用于计算本文所描述的颜色校正操作的ReRAM单元及交叉开关配置。举例来说，具有3×3ReRAM单元配置的交叉开关可用于对具有3×1矢量的3×3矩阵(参数矩阵)执行矩阵乘法，然后提供输出作为3×1矢量。如本文所描述，在不修改ReRAM交叉开关阵列的固有配置的情况下，3×3＝9个ReRAM单元的交叉开关可用作促使或替换ISP的MMU。

根据结合图5描述的流水线图像处理器配置，多个交叉开关阵列(例如，多个3×3MMU)可经配置以针对对应数目的多个像素同时(例如，在同一时钟循环期间)执行颜色校正的对应数目的多个ISP阶段。在多个实施例(例如，如结合图4及5所展示及描述)中，多个MMU、多个ISP阶段及多个像素的数目各自可为7。举例来说，可将第一像素的原始数据(例如，对应于RGB颜色分量的3×1矢量)输入到第一交叉开关以进行第一阶段的处理。可从第一交叉开关输出3×1矢量以输入到第二交叉开关，从而对第一像素进行第二阶段的处理。同时，第一交叉开关可对第二像素执行第一阶段的处理。继续此流水线模式，可基本上同时执行对七个不同像素的所有七个处理阶段。

对应于结合图6描述的图像处理器配置，一个交叉开关可用于对每个像素执行七个处理阶段。举例来说，第一阶段(例如，时钟循环)可为将一个像素原始数据(例如，RGB矢量)输入到一个交叉开关以进行第一阶段的处理。第二阶段的处理可为将从第一阶段的输出(例如，3×1矢量)输入回相同交叉开关，以对同一像素进行第二阶段的处理。在七个阶段之后，可在一个交叉开关阵列上完成对同一像素的所有七个处理阶段。

因此，由于ReRAM的固有信号处理能力，ISP的颜色校正处理可由存储器及/或在存储器上执行。此外，例如，通过使用交叉开关ReRAM架构，可减少(例如，不必要)用于颜色校正的附加处理组件，因为ReRAM的交叉开关不仅可存储数据，而且还可用于执行矩阵乘法及本文中描述的其它算术运算。因此，本文中描述的图像处理器可促进减少功耗及/或增加与图像信号及/或颜色校正处理有关的数据访问带宽。

本文中的图遵循编号定则，其中附图标记的第一一或多个数字对应于图号，且剩余的数字标识图式中的元件或组件。可通过使用类似数字来识别不同图之间的类似元件或组件。举例来说，104可参考图1中的元件“04”，且类似元件在图5中可标记为504。

图1是根据本公开的多个实施例的说明可用于包含形成于存储器单元阵列中的图像处理器的资源实施方案的实例的示意图。图1中所说明的资源实施方案100旨在展示可特别适用于存储器内颜色校正处理的组件，并且为了清楚起见，可省略可能有助于这种处理的其它电气、机械及/或处理元件。

本文中描述的资源实施方案100包含传感器电路102，其经配置以提供输入矢量作为对应于图像像素的多个颜色分量的多个位103。在多个实施例中，传感器电路102可为或可包含布置成滤色器阵列(例如，拜尔滤波器以及其它可能配置)的数字图像传感器及/或光传感器，以用于彩色图像的数字采集。数字图像传感器及/或光传感器可经配置以提供对应于图像像素的多个颜色分量的多个位103。举例来说，传感器中的每一者可经配置以提供指示图像像素的多个颜色分量中的一个的水平的数据值。

本文中描述的资源实施方案100还包含形成于存储器单元阵列(例如，如结合图2所展示及描述)中的图像处理器104。图像处理器104可耦合到(例如，直接经由总线及在没有中间处理电路的情况下)传感器电路102以接收输入矢量的多个位103，所述多个位对应于由传感器电路102感测及/或获取的图像像素的多个颜色分量。图像处理器104可经配置以通过对输入矢量(例如，如在331处展示及结合图3所描述)及参数矩阵(例如，如在333处展示及结合图3所描述)执行矩阵乘法以执行颜色校正操作，以确定进行颜色校正的输出矢量(例如，如在334处展示及结合图3及在本文中其它地方描述)。

包含图像处理器104的存储器单元阵列可形成为包含RAM阵列105的至少一部分。图像处理器104可形成于RAM阵列105中以包含MMU 106。MMU 106可在阵列中形成为多个存储器单元(例如，如结合图2所展示及描述)，所述多个存储器单元形成为MMU 106。如本文中所描述，在多个实施例中，存储器单元的数目可对应于参数矩阵中的参数条目的数目。图像处理器104及/或MMU 106中包含的存储器单元可经配置以执行(例如，通过矩阵乘法)经颜色校正的输出矢量的确定。在多个实施例中，经颜色校正的输出矢量的确定可在存储器内(例如，在阵列中)执行，而存储器单元不耦合到包含感测放大器(未展示)的感测电路。

MMU 106的存储器单元的数目可形成为对应于参数矩阵(例如，如在333处展示及结合图3所描述)中的参数条目的数目。在多个实施例中，图像像素的多个颜色分量可对应于三个颜色分量。三个颜色分量可例如为红色(R)、绿色(G)及蓝色(B)，以及图像像素的颜色分量的其它可能数字及/或颜色(例如青色(C)、洋红色(M)及黄色(Y)等)。输入矢量(例如，如在331处展示及结合图3所描述)的多个位103可为三个位以对应于三个颜色分量。图像处理器104可经配置以对输入矢量及参数矩阵执行矩阵乘法以产生输出矢量(例如，如在334处展示及结合图3所描述)，以在多个实施例中包含三个经颜色校正的位。在多个实施例中，可针对矩阵乘法执行快速傅里叶变换(FFT)。

本文中描述的资源实施方案100还可包含控制器107，其经配置以将来自传感器电路102的输入矢量的输入(例如，直接)引导到图像处理器104及/或MMU 106。控制器107还可经配置以通过图像处理器104引导阵列中的多个颜色校正操作(例如，如结合图4所描述)的执行，以确定经颜色校正的输出矢量。

本文中描述的资源实施方案100还可包含显示处理器108。显示处理器108可经配置以在图像处理器104执行颜色校正操作之后执行其它ISP操作，以产生如本文中描述的输出矢量。在多个实施例中，从显示处理器108的输出可为可由屏幕109(例如，用户接口)显示的图像及/或一系列图像。

在一些实施例中，图像处理器104及/或MMU 106可在多个存储器资源上实施。如本文所使用的“存储器资源”是旨在至少包含例如布置在多个存储体组、存储体、存储体区段、子阵列及/或多个存储器装置的行中的存储器(例如，存储器单元)的通用术语。在多个实施例中，存储器资源可为或可包含形成为及/或可操作为RAM、DRAM、SRAM、SDRAM及/或TRAM，以及其它类型的易失性存储器装置的多个易失性存储器装置。替代地或另外，在多个实施例中，存储器资源可为或可包含形成为及/或可操作为NAND、NOR、PCRAM、ReRAM、FeRAM、MRAM及/或STT RAM，以及其它类型的非易失性存储器装置的多个非易失性存储器装置。

图2是根据本公开的多个实施例的可作为图像处理器104及/或MMU 106操作的ReRAM阵列的部分的实例的框图。在多个实施例中，图像处理器(例如，如在104、504-1及604-2处展示及分别结合图1、5及6所描述)可形成于存储器单元阵列(例如，在105处展示及结合图1所描述的RAM阵列)中及/或形成为所述存储器单元阵列。图2中所说明的ReRAM阵列的部分可对应于单个MMU 206的实施例，但是本文中描述的图像处理器104的实施例不限于单个MMU，MMU形成为ReRAM阵列，及/或图2中所示的多个ReRAM存储器单元。此外，用于图2中所示的单个MMU 206的存储器单元阵列的架构可与不用作多个MMU 206的RAM阵列105的其余部分的架构相对应(例如，其余部分可用于其它数据存储及/或处理操作)，但是实施例不受如此限制。

如图2中所示，在多个实施例中，单个MMU 206的存储器单元阵列可在交叉开关配置211中形成为ReRAM单元的3×3阵列。因此，每个ReRAM存储器单元217可耦合到第一导线213及第二导线215，及/或形成于第一导线213与第二导线215之间。在多个实施例中，第一导线213中的每一个可对应于字线，及第二导线215中的每一个可对应于位线，或反之亦然。例如，在图2中所示的3×3交叉开关阵列211的实施例中，MMU 206包含耦合到导线213-1的ReRAM单元217-1-1、217-1-2及217-1-3、耦合到导线213-2的ReRAM单元217-2-1、217-2-2及217-2-3，及耦合到导线213-3的ReRAM单元217-3-1、217-3-2及217-3-3。由于3×3交叉开关阵列211的配置，ReRAM单元217-1-1、217-2-1及217-3-1耦合到导线215-1，ReRAM单元217-1-2、217-2-2及217-3-2耦合到导线213-2，及ReRAM单元217-1-3、217-2-3及217-3-3耦合到导线215-3。

在阵列中的217-2-3处及在阵列旁边更详细地展示包含在用于单个MMU 206的ReRAM单元的交叉开关阵列211配置中的实例存储器单元。ReRAM单元217-2-3的细节展示在多个实施例中，ReRAM单元可具有包含顶部电极220(例如，其可与导线213-2相同或不同)的架构，所述顶部电极耦合到源分量(未展示)以施加特定电压电势219。ReRAM单元217-2-3可具有包含用于充当切换介质(例如，材料)的介电金属氧化物222的架构，可经由施加特定电压电势219通过所述切换介质形成导电路径。ReRAM单元217-2-3架构可包含耦合到接地组件225以充当漏极的底部电极224(例如，其可与导线215-3相同或不同)。介电金属氧化物222的电阻切换机构可基于例如，当在顶部电极220与底部电极224之间施加特定电压电势219时在切换介质中形成长丝。可存在用于基于不同切换材料及/或存储器单元配置实施ReRAM的不同机构。

交叉开关ReRAM技术可将硅基切换材料用作金属长丝形成的介质。当在两个电极220及224之间施加特定电压电势219时，可形成纳米长丝。因为电阻切换机构可基于电场，所以交叉开关ReRAM单元的存储器状态(例如，数据值)可为稳定的(例如，能够承受从-40到+125摄氏度的温度波动、至少一百万个写入/读取/擦除周期，及/或在+85摄氏度下提供10年的数据保存)。

交叉开关ReRAM技术可形成于二维(2D)架构(例如，如图2中所示)及/或3D架构中。2D架构可形成于单个芯片(例如，裸片)上及/或3D架构可堆叠在单个芯片上，以提供百万兆字节的数据存储。交叉开关ReRAM技术的互补金属氧化物半导体(CMOS)兼容性可使得两个逻辑(例如，数据处理)及存储器(例如，存储装置)能够集成到单个芯片上。交叉开关ReRAM阵列可形成于一个晶体管/一个电容器(1T1C)配置及/或具有驱动n个电阻性存储器单元(1TNR)的一个晶体管的配置，以及其它可能配置中。

多个无机及有机材料系统可实现热及/或离子电阻切换。此类系统可用于本文中描述的存储器内图像处理器中。在多个实施例中，此类系统可包含：相变硫族化物(例如，Ge

图3说明根据本公开的多个实施例的由形成于存储器单元阵列中的图像处理器104及/或MMU 106使用的参数矩阵333的实例330。如结合图2所描述，单个MMU 206可在交叉开关211配置中作为电阻ReRAM单元217的3×3阵列形成于存储器单元的RAM阵列105中。

用于流水线中的多个MMU中的每个MMU(例如，如结合图5展示及描述)及/或将重复使用的单个MMU(例如，如结合图6展示及描述)可一次包含(例如，存储)一个参数矩阵333。可从多个可选参数矩阵中选择及/或输入一个参数矩阵333。结合图4描述使得能够对图像处理器104的MMU 206执行对应数目的多个不同颜色校正操作的多个不同参数矩阵的实例。用于实现多个不同颜色校正操作的多个可选参数矩阵可由参数矩阵分量存储(例如，如在672处展示及结合图6描述)。在多个实施例中，多个可选参数矩阵中的一个可由控制单元(例如，如在671处展示及结合图6描述)选择，以输入到单个MMU 106。一个参数矩阵333可包含将存储在MMU 206的九个(3×3)ReRAM存储器单元217的对应阵列上的九个(3×3)参数条目。

此参数矩阵333可由以下表示：

其中每个w值可表示将存储在对应ReRAM存储器单元217的位置处的颜色校正系数，如由系数w

因此，特定参数矩阵333中的参数条目数目是输入矢量331中的多个位数目的平方(例如，3×3＝9参数条目)。参数矩阵的特定参数条目可由图像处理器104的MMU 206中的对应存储器单元217存储，并且MMU 206中的多个存储器单元的数目可至少部分地基于输入矢量中的多个位的数目(例如，结合图2展示及描述的MMU 206中的九个ReRAM存储器单元217)。MMU中的多个存储器单元的数目(例如，九个)可布置成基本上直线配置。例如，MMU206的两个直线方向中的每一个的边缘可形成为包含与输入矢量331的多个位的数目相对应的多个存储器单元217的数目(例如，三个存储器单元217对应于3×1矢量332的三个位)。

可使用多个替代的颜色空间。在多个实施例中，此替代颜色空间可每像素利用多于三个颜色分量(例如，将黑色(K)加入CMY的四个颜色CMYK颜色空间，但是实施例不受如此限制)。因此，特定参数矩阵333中的参数条目的数目可为每像素颜色分量的数目的平方，这可对应于输入矢量331中的多个位(例如，4x4＝16个参数条目)。在多个实施例中，参数矩阵中的参数条目的数目可基于在矩阵的每一侧上的不同数目的位(例如，4x3＝12个参数位)。控制器(例如，如在107处所展示)可经配置以包含可变数目的多个存储器单元217以对应于输入矢量331的多个位的数目(例如，基于颜色分量的数目、每像素的位的数目，及/或参数矩阵中的参数条目的数目)。

图4是根据本公开的多个实施例的说明可由形成于存储器单元阵列中的图像处理器104的多个MMU 206执行的多个颜色校正操作440的实例的框图。

ISP可为例如数码相机的重要组件，及可用于各种应用程序(例如，智能电话、安全监控系统，及自动(自动驾驶)车辆，以及多个其它应用程序)。如本文所描述，图像处理器104可在存储器内执行ISP可执行的操作中的至少一些操作。举例来说，可由图像处理器104在存储器内执行用于颜色校正的以下七个信号处理操作：缺陷校正；去马赛克(颜色插值)；白平衡；颜色调整；用于亮度及/或对比度增强的伽马调整；颜色转换；及/或下采样。可依序执行这些操作，但是可颠倒一些操作(例如，颜色插值及白平衡)之间的次序。此种颜色校正操作序列的七个操作在本文中借助于实例给出。然而，在多个实施例中，此类序列各自可包含少于七个或多于七个将由图像处理器104执行的颜色校正操作。

如本文所描述，可将输入矢量431的多个位103输入到存储特定参数矩阵333的特定MMU 206，以实现矩阵乘法来由图像处理器104执行特定颜色校正操作440。可将输入矢量431(例如，直接地)从传感器电路102输入到特定MMU 206，以执行颜色校正操作440的序列中的第一操作。输入到特定(例如，第一)MMU 206的输入矢量431可为符合彩色图案的原始数据(例如，采用位103的形式)。此彩色图案的实例是拜耳图案，其中像素总数的一半是G，而将像素总数的四分之一分配给R及B两者。彩色图像传感器102(例如，布置成滤色器阵列的相应数字图像传感器及/或光传感器)的拜耳图案可用重复2x2图案布置的R、G或B滤波器覆盖。

本文中描述的多个颜色校正操作的序列可由图像处理器104的一个或多个MMU206执行。存储器单元的交叉开关阵列211(包含图像处理器104的MMU 206)形成为具有存储器单元217的ReRAM，所述存储器单元经配置以存储器内存储数据值及在其上执行颜色校正操作，而没有来自依序执行的随后存储器内颜色校正操作的反馈。举例来说，可输入由于执行一个颜色校正操作而产生的输出矢量334作为用于执行序列中的下一颜色校正操作的输入矢量331，但不作为用于序列中的前一颜色校正操作的输入。

通过图像处理器104及/或MMU 206依序操作的第一颜色校正操作可为针对具有不同于相邻像素的颜色值的像素进行的如在图4中的442处展示的缺陷校正操作。举例来说，当传感器电路102的图像传感器感测具有与其相邻者明显不同的颜色值的像素时，不同像素可能会分散观看者的注意力及/或使观看者无法接受。此类像素可被称为“有缺陷的”，并且如果不进行校正，则可能表现为类似于纸屑的错误(例如，在执行随后的颜色插值操作之前或之后)。这些缺陷像素可通过对在其附近精确记录的数据进行内插来校正(例如，估计)(例如，使用例如中值滤波、均值滤波、简单加法及/或移位等方法)。

通过图像处理器104及/或MMU 206依序执行的第二颜色校正操作可为如在444处展示的颜色插值(去马赛克)操作，从而为像素对来自相邻像素的多个丢失颜色值进行内插。颜色插值操作444可使用来自缺陷校正操作442的输出矢量作为输入443，以实现执行颜色插值操作444。举例来说，颜色插值操作444可使用多个可能校正技术中的一或多个通过对每个像素(例如，拜耳图案中)的两个丢失颜色值进行内插的处理执行。此类校正技术可包含：双线性插值；中值插值；用梯度校正的双线性插值；柯达基本重构；具有平滑色调过渡的边缘感应插值；柯达边缘强度算法；可变数量的渐变；图案识别；及/或通过颜色校正算法进行插值；以及其它可能性。

通过图像处理器104及/或MMU 206依序执行的第三颜色校正操作可为如在446处展示的白平衡操作，以将像素的多个颜色分量的颜色值移向白度。白平衡操作446可使用来自颜色插值444的输出矢量作为输入445，以实现执行白平衡操作446。举例来说，白平衡操作446可基于人类视觉系统，所述人类视觉系统具有将白色映射为白色感觉的能力，即使对象在用不同的光源照射时可能具有不同的辐射。举例来说，如果将白色卡片带到外面暴露在阳光下，则卡片可能对人来说看起来是白色的。如果将白色卡片放在荧光灯下，则卡片对人来说仍然看起来是白色的。如果将白色卡片切换为由白炽灯泡照射，则卡片对人来说仍然看起来是白色的。即使白色卡片由黄色灯泡照射，卡片在几分钟之内对人来说仍然看起来是白色的。当由这些光源中的每一个照射时，白色卡片反射不同色谱。然而，即使在感知每个不同色谱时，人类视觉系统仍能够使卡片看起来是白色的。

在由MMU 206执行的白平衡操作446中，这可通过白平衡处理实现。白平衡操作446的处理可通过使用以下等式(1)移位例如RGB值来执行：

其中W

通过图像处理器104及/或MMU 206依序执行的第四颜色校正操作可为如在448处展示的颜色调整操作，以将来自传感器电路的颜色值的输出移位以对应于通过人类视觉对图像像素的感知。颜色调整操作448可使用来自白平衡操作446的输出矢量作为输入447，以实现执行颜色调整操作448。举例来说，可执行颜色调整操作448，因为在例如CMOS传感器电路上使用的滤色器阵列的响应可能不与人类视觉系统的响应足够紧密地匹配。

可通过执行以下等式(2)来确定RGB的颜色调整值：

其中

通过图像处理器104及/或MMU 206依序执行的第五颜色校正操作可为如在450处展示的伽马/亮度/对比度调整操作，以通过调整矢量(例如，伽马参数)的调整移位图像中的多个像素的亮度及/或对比度。伽马/亮度/对比度调整操作450可使用来自颜色调整操作448的输出矢量作为输入449，以实现执行伽马/亮度/对比度调整操作450。举例来说，伽马/亮度/对比度调整操作450可用于控制图像的整体亮度(例如，明度)及/或对比度。亮度和对比度没有正确地进行调整的图像可能看起来被漂白及/或太暗。改变伽马参数的值可不仅有助于调整亮度，而且还有助于调整影响对比度的(例如，R与G与B的)色比。

类似于白平衡及颜色调整，可通过执行以下公式(3)确定伽马/亮度/对比度调整：

其中

通过图像处理器104及/或MMU 206依序执行的第六颜色校正操作可为如在452处展示的颜色转换操作，以将又传感器电路提供的图像像素的多个颜色分量的数目转换成可例如更适合于进一步处理的不同颜色空间中的多个颜色分量的对应数目。颜色转换操作452可使用来自伽马/亮度/对比度调整操作450的输出矢量作为输入451，以实现执行颜色转换操作452。

颜色转换操作452可例如将要转换成YUV格式(例如，颜色空间)的每个像素的三个颜色(例如，RGB)用于进一步的应用处理(例如，视频压缩以及其它此类应用)。此转换可通过执行公式(4)实现：

Y＝0.29900R+0.58700G+0.11400B

Cb＝-0.16874R-0.33126G+0.50000B+2

(4)

Cr＝0.50000R-0.41869G-0.08131B+2

其中SP对应于样本精度。通过执行公式(5)，可将YUV颜色空间的分量转换回每个像素的RGB颜色空间：

R＝Y+1.40200Cr

G＝Y-0.34414(Cb-2

(5)

B＝Y+1.72200(Cb-2

使用公式4至5，可将RGB值转换成可用于进一步(例如，数字化)处理的YUV颜色空间的YCbCr值，及可将YCbCr值转换回RGB值。

通过图像处理器104及/或MMU 206依序执行的第七颜色校正操作可为如在454处展示的下采样操作，以对于不同颜色空间中的多个颜色分量中的至少一个将包含图像像素的颜色值减少到较低数目的颜色值。下采样操作454可使用来自颜色转换操作452的输出矢量作为输入453，以实现执行下采样操作454。

举例来说，可执行下采样操作454以对应于对正在处理的图像的视觉感知。可用于此下采样的一个下采样率是“4：2：0”，这意味着不对Y分量的四个像素执行下采样，因此保留所有四个像素，而对Cb分量及Cr分量执行2:1垂直及水平下采样，因此仅保留四个像素之一。在选择下采样率的情况下，存在多种技术来实施对下采样操作454的处理。一种技术是仅复制一个像素的值而跳过其它相邻像素。这可降低复杂度，但可能会产生块效应。另一种技术是应用过滤算法。折衷技术是在相邻及/或相邻像素之间应用平均化。

在多个实施例中，可通过图像处理器104及/或MMU 206以颜色校正操作440的序列执行进一步处理456，及/或可由图1中所说明的资源实施方案100的(例如，主机(未展示)的)其它组件及/或处理器在下游执行。进一步处理456可使用来自下采样操作454的输出矢量作为输入455或开始使用来自下采样操作454的输出矢量作为输入455，以实现执行进一步处理456。执行进一步处理456可产生输出434(例如，另外的3×1矢量336及/或基于本文描述的经颜色校正的像素的完整图像)。结合图7及本文中其它地方描述此进一步处理456的实例。

当其中存储像素的存储器阵列外部(例如，位于主机及/或主机处理器中或与其关联)的数字信号处理器(DSP)及/或专用集成电路(ASIC)用于实施颜色校正操作的处理时，可能会增加计算复杂性及/或存储器访问。此类外部DSP及/或ASIC可例如在数码相机的架构中使用，其中应用处理器还用于执行除图像信号及/或颜色校正处理之外的应用的数字处理。然而，相对于在MMU 206及/或图像处理器104外部执行的图像信号及/或颜色校正处理，在执行颜色校正操作序列时施加在各个位置的多个参数及/或参数矩阵可有助于减小功耗及/或增加数据访问带宽。执行此种处理的结果可通过调整用于这些参数及/或参数矩阵的值来调节，所述值可随不同的光照条件、环境及/或传感器系统而变化。

图5是根据本公开的多个实施例的说明可由形成于存储器单元阵列中的图像处理器504-1的实施例的对应多个MMU 506执行的多个颜色校正操作的实例的框图。多个MMU506可形成于流水线配置560中(例如，其中除最后一个MMU之外的每个MMU耦合到下一MMU)。图5中所说明的图像处理器504-1的实施例可形成于存储器单元阵列(例如，结合图2描述的交叉开关阵列211)中，作为多个串联耦合的MMU(例如，如在506-1、506-2、……、506-N处展示)。多个串联耦合的MMU 506的数目可取决于依序(例如，如在440处展示及结合图4描述)执行的对应多个颜色校正操作(例如，如在442、444、……、454处展示及结合图4描述)的数目，这可取决于特定实施方案变化。

图像处理器504-1可经配置以(例如，直接地)耦合到滤色器阵列(例如，传感器电路102)，以接收(例如，输入矢量531的)多个位503。图像处理器504-1可进一步经配置以对对应多个串联耦合的MMU中的每一个执行多个颜色校正操作序列中的一个。因此，图像处理器504-1可经配置以对输入矢量531及在多个串联耦合的MMU 506中的每一个上的参数矩阵执行矩阵乘法(例如，如在333处展示及结合图3描述及结合方程1-3及图4描述)，以确定经颜色校正的输出矢量534。

多个输入矢量中的每一个可对应于通过对MMU执行前一存储器内颜色校正操作确定的输出矢量。举例来说，如结合图4展示及描述，可由通过图5中的MMU 506-1执行操作产生的用于缺陷校正操作442的输出矢量可对应于用于执行颜色插值操作444的输入矢量443，可在所述输入矢量上操作以通过图5中的MMU 506-2执行颜色插值操作。

因此，多个串联耦合的MMU可形成于流水线560中，使得流水线的第一MMU(例如，506-1)可经配置以对第一输入矢量执行序列中的第一颜色校正操作，及流水线560的第二MMU(例如，506-2)可经配置以对从第一MMU(例如，506-1)接收的第一输出矢量执行序列中的第二颜色校正操作，作为第二MMU(例如，506-2)的第二输入矢量。在多个实施例中，在具有对第二MMU(例如，506-2)执行第二颜色校正操作的相同时钟循环中，第一MMU(例如，506-1)可经配置以重复地对第三输入矢量(例如，对输入矢量531的不同的多个位503)执行序列中的第一颜色校正操作。

从流水线的最后一个MMU(例如，506-N)输出作为经颜色校正的输出矢量的由流水线560的最后一个MMU(例如，506-N)提供的最后一个输出矢量(例如，534)，以使第一输入矢量(例如，对应于输入矢量531的不同的多个位503中的刚提及第三输入矢量)能够输入到流水线560的第一MMU(例如，506-1)，并且通过多个颜色校正操作的序列连续地移动输入及输出矢量。经颜色校正的输出矢量534可从多个串联耦合的MMU(例如，506-1、506-2、……、506-N)输出，以用于存储(例如，通过交叉开关阵列211的其它存储器单元)及/或用于进一步处理(例如，如结合图4及7描述)。

可对多个输入矢量中的每一个及特定参数矩阵(例如，如在333处展示及结合图3描述及结合公式1-3及图4描述)执行矩阵乘法，及/或可通过相应MMU对输入矢量(例如，如结合公式4-5及图4)执行特定数学运算。用于执行特定数学运算的特定参数矩阵及/或代码可由特定MMU存储，以实现执行多个颜色校正操作中的特定一个，直到针对第一图像像素确定最后一个经颜色校正的输出矢量。此外，用于执行特定数学运算的特定参数矩阵及/或代码可由特定MMU(例如，MMU 506-1、506-2、……、506-N的流水线560中的每一个)存储，以使得能够将与不同像素对应的不同多个位503的输入矢量531的重复输入输入到第一MMU506-1及从最后一个MMU 506-N输出534。在多个实施例中，用于执行矩阵乘法的多个输出矢量的数目及多个输入矢量的对应数目中的每一个可为3×1矢量。进行颜色校正的所确定输出矢量534也可为3×1矢量。

图6是根据本公开的多个实施例的说明用于对形成于存储器单元阵列中的图像处理器604-2的单个MMU 606执行多个颜色校正操作670的配置实例的框图。图6中所说明的图像处理器604-2的实施例可与存储器单元阵列(例如，结合图2描述的交叉开关阵列211)相关联地形成，以包含单个MMU 606。图像处理器604-2可经配置以(例如，直接)耦合到数字图像传感器(例如，传感器电路102)，以接收(例如，输入矢量631的)多个位603。

图像处理器604-2可形成为包含参数矩阵分量672，其经配置以存储多个可选参数矩阵(例如，如在333处展示及结合图3描述及结合公式1-3及图4描述)。图像处理器604-2可进一步形成为包含控制单元671，其经配置以从多个可选参数矩阵672中进行选择，及将输入678直引导到选定参数矩阵的单个MMU 606。

在多个实施例中，图像处理器604-2可经配置以耦合到多个传感器，以接收数据值603/631来指示多个颜色分量的每个级别及执行在单个MMU 606上的多个颜色校正操作的序列(如在440处展示及结合图4描述)。图像处理器604-2可执行操作序列，以包含对控制单元671从参数矩阵分量672输入到单个MMU 606的输入矢量及选定参数矩阵执行矩阵乘法，以确定进行颜色校正的输出矢量673。调整矢量(例如，如结合第五颜色校正操作450及图4描述的伽马参数)可由控制单元671输入到单个MMU 606(例如，作为将在对3×1输入矢量及选定3×3参数矩阵的矩阵乘法中使用的另一3×1参数)。

图像处理器604-2的单个MMU 606可(例如，如结合图2描述)形成为存储器单元阵列的一部分，及可(例如，直接地)耦合到多个传感器。图像处理器604-2的参数矩阵分量672及/或控制单元671可各自直接耦合到单个MMU 606(例如，如在用于参数矩阵分量672的678处及在用于控制单元671的673及675处展示)。控制单元671可直接耦合677到参数矩阵分量672，使得对存储在图像处理器604-2的存储器单元上的数据值执行颜色校正处理，并且在多个实施例中，与存储器内颜色校正处理有关的数据值可不移动到间接耦合到阵列的主机组件(未展示)以进行处理。

由参数矩阵分量672存储及可由控制单元671选择以输入到单个MMU 606的多个可选参数矩阵中的每一个可包含参数条目，其经配置以实现执行序列的特定颜色校正操作。控制单元671可经配置以引导单个MMU 606输出对应于第一像素的输出矢量673，所述输出矢量通过执行序列中的第一颜色校正操作确定以由控制单元671进行存储。控制单元671可经配置以将来自参数矩阵分量672的输入678引导到对应于第二颜色校正操作的第二选定参数矩阵的单个MMU 606。控制单元671可经配置以引导对应于第一像素的所存储输出矢量的输入675作为用于执行第二颜色校正操作的输入矢量。因此，可对单个MMU 606执行多个颜色校正操作的序列，直到确定第一像素的预期(例如，所需)经颜色校正的输出矢量。因此，可由图像处理器604-2对其它像素执行颜色校正操作。

图7是根据本公开的多个实施例的说明执行颜色校正的形成于存储器单元阵列中的图像处理器的方法780的实例的流程图。除非明确地陈述，否则本文所描述的方法的要素不受特定次序或顺序约束。另外，本文中所描述的多个方法实施例或其要素可在相同时间点上或在基本上相同时间点上执行。

在框782处，在多个实施例中，方法780可包含向形成于存储器单元阵列中的图像处理器传输输入矢量作为对应于图像像素的多个颜色分量的多个位(例如，如结合图1及本文中其它地方描述)。在框784处，在多个实施例中，方法780可包含由图像处理器对输入矢量及参数矩阵执行矩阵乘法。在框786处，在多个实施例中，方法780可包含由图像处理器至少部分地基于矩阵乘法来确定包含多个可能经颜色校正的分量的输出矢量(例如，颜色分量可能通过执行颜色校正操作来校正，如结合图3及4个及本文中其它地方描述)。

在多个实施例中，方法780可进一步包含在阵列中形成图像处理器，以包含形成为交叉开关配置中的ReRAM单元的3×3阵列的MMU。方法780可进一步包含形成3×3交叉开关配置，以对应于参数矩阵中的参数条目的3×3配置(例如，如结合图3及4个及本文中其它地方描述)。如所描述，替代数目的存储器单元可形成为交叉开关配置中的MMU(例如，至少部分地基于输入矢量的可变数目的多个位、可变数目的颜色分量、可变数目的每像素位，及/或参数矩阵中的可变数目的参数条目)。

方法780可进一步包含对图像处理器执行多个颜色校正操作的序列(例如，如结合图4及本文中其它地方描述)。在多个实施例中，序列可包含执行颜色校正操作以(例如，依序地)包含：对具有与相邻像素明显不同的颜色值的像素进行的缺陷校正操作；颜色插值操作，用于为像素对来自相邻像素的多个丢失颜色值进行内插；白平衡操作，用于将像素的多个颜色分量的颜色值移向白度；及/或颜色调整操作，用于将来自传感器电路的颜色值的输出移位以对应于通过人类视觉对图像像素的感知(例如，如结合图4描述)。

在多个实施例中，方法780可进一步包含从图像处理器输出经颜色校正的输出矢量或多个此类输出矢量以：由除了在阵列中的包含于图像处理器中的存储器单元之外的存储器单元存储；进一步处理(例如，视频压缩以及其它此类应用)以形成一系列图像作为视频呈现；进一步处理以形成单个图像作为静态呈现；在图像识别操作中的进一步处理；及/或通过间接耦合到包括图像处理器的阵列的主机处理器的进一步处理。

方法780可包含在输出经颜色校正的输出矢量之外，对图像处理器执行多个颜色校正操作的序列以在多个实施例中进一步包含以下项中的至少一个：伽马/亮度/对比度调整操作，用于通过调整伽马参数来移位图像中的多个像素的亮度及对比度；颜色转换操作，用于将由传感器电路提供的图像像素的多个颜色分量的数目转换成更适合于进一步处理的不同颜色空间中的多个颜色分量的对应数目；及/或下采样操作，用于对于不同颜色空间中的多个颜色分量中的至少一个将包含图像像素的颜色值减少到较低数目的颜色值(例如，如结合图4及本文中其它地方描述)。

在本公开的以上详细描述中，参考形成本公开的一部分的附图，且图中通过说明方式展示可实践本公开的一或多个实施例的方式。足够详细地描述这些实施例以使得所属领域的一般技术人员能够实践本公开的实施例，且应理解，可利用其它实施例且可在不脱离本公开的范围的情况下进行工艺、电气及/或结构变化。

如本文所使用，尤其关于附图，带有连字符及/或指定符的参考数字，例如“M”、“N”、“X”、“Y”等(例如，图5中的506-1、506-2、……、506-N)指示可包括如此指定的多个特定特征。此外，在一些实施例中，当仅使用前三个数字(例如506)而不使用连字符时，呈现这些数字以大体上代表所有多个特定特征。

还应理解，本文中所用的术语仅仅是为了描述具体实施例且并不意图为限制性的。如本文中所使用，除非上下文另外明确规定，否则单数形式“一”及“所述”包含单个及多个指代物，如“多个”、“至少一个”及“一或多个”(例如，多个存储器阵列可指代一或多个存储器阵列)，而“多个”意图指代多于一个此类事物。此外，贯穿本申请案以许可的意义，即，具有能够的潜力而非以强制性的意义，即必须，使用单词“可”。术语“包含”及其派生词意指“包含但不限于”。术语“耦合(coupled/coupling)”表示在上下文适当时实体地直接或间接连接以用于存取及/或用于移动(传输)指令(例如控制信号、地址信号等)及数据。术语“数据”及“数据值”在本文中可互换地使用，且在上下文适当时可具有相同意义(例如，一或多个数据单元或“位”)。

尽管本文已说明及描述适用于颜色校正处理器的实例实施例，包含存储器资源、处理资源、颜色校正处理器(CPU)、矩阵乘法单元(MMU)、ReRAM单元、交叉开关阵列、参数矩阵、输入矢量、输出矢量、控制器、控制单元，及参数矩阵分量，以及其它分量的组合及配置，但是本公开的实施例不限于本文中明确叙述的那些组合。适用于本文中公开的颜色校正处理器的存储器资源、处理资源、CPU、MMU、ReRAM单元、交叉开关阵列、参数矩阵、输入矢量、输出矢量、控制器、控制单元及参数矩阵分量的其它组合及配置精确地包含在本公开的范围内。

尽管已在本文中说明并描述了具体实施例，但本领域普通技术人员应了解，经计算以实现相同结果的布置可取代所展示的具体实施例。本公开意图覆盖本公开的一或多个实施例的修改或变化。应理解，以上描述是以说明方式而非限制方式进行的。对于本领域的技术人员而言在审阅上述描述之后上述实施例的组合及本文中未具体描述的其它实施例将是显而易见的。本公开的一或多个实施例的范围包含使用以上结构及过程的其它应用。因此，应参考所附权利要求书连同此类权利要求所赋予的等效物的全范围确定本公开的一或多个实施例的范围。

在前述具体实施方式中，出于简化本公开的目的而将一些特征一起分组在单个实施例中。本公开的此方法不应被理解为反映本公开的所公开实施例必须比在每项权利要求中明确叙述那样使用更多特征的意图。相反，如所附权利要求书所反映，本发明主题在于单个所公开实施例的不到全部的特征。因此，以下权利要求书特此并入到具体实施方式中，其中每一项权利要求独自作为单独实施例。