掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本发明涉及数据处理技术领域,尤其涉及一种实时图像脉冲化的边缘成像方法及装置。

背景技术

在大数据时代背景下,传统数据处理方法中存储器与处理器相分离的经典架构带来了冯·诺依曼瓶颈问题,这种处理方法已经逐渐无法满足人们日益增长的数据处理需求。与之相比较,人脑神经系统的信息活动具有大规模并行、分布式存储与处理、以及自组织、自适应和自学习的特征,信息存储与处理没有明显的界限。脉冲神经网络(SNN,SpikingNeuron Networks)作为模仿生物神经元机理设计的第三代神经网络,相比于目前流行的数值型深度学习(Deep Learning)神经网络,脉冲神经网络在连接方式、信息处理机制和突触权重学习方法上都更加具有类脑特性。脉冲神经网络中模拟神经元更加接近实际特征:神经元只有在膜电位达到阈值时才会激活,并且脉冲神经网络考虑脉冲产生时间,增强了处理时空数据的能力,理论上能够获得比第二代神经网络更强大的计算与识别能力。

脉冲神经网络处理的是脉冲时间序列,脉冲序列的获取方式有两种途径:第一种途径是将图像按照某种编码方式(例如:阈值编码法、频率编码法、高斯差分法等)转化为脉冲序列。第二种途径是直接来源于特殊的神经形态视觉传感器。但目前神经形态视觉传感器在原理与工艺上不够成熟,并且价格高昂,其应用并不普遍。因此,目前实际使用的脉冲时间序列主要来源于编码产生方式。

目前用于把图像转化为脉冲序列的技术手段存在着信息丢失严重、编码效率低下等问题,成为导致脉冲神经网络识别率较低的原因之一。以上文提及的几种编码方式为例,阈值编码法首先设定一个阈值,按照超过阈值的像素激发脉冲、低于阈值的像素不激发脉冲的原理进行编码。由于编码机理过于简单,编码后的脉冲序列相比于最初的图像,丢失了纹理、色彩等大量的必要图像信息。频率编码法的首先设定每个像素激发脉冲的频率正比于该像素的强度值,通过统计单位时间内每个像素激发的脉冲数量还原出原像素的强度,这种编码方式需要较长时间,造成整体脉冲神经网络的识别效率低下。高斯差分法首先检测图像的局部对比度,按照局部对比度强弱确定脉冲的激发次序,该方法会引入大量的高斯噪声,进而影响脉冲神经网络识别效果。

此外,即便是作为第三代神经网络的脉冲神经网络,在模型构建和训练上依然需要大量时间,例如,在自动驾驶等具体应用场景中,图像需要及时生成并送入计算系统处理。如果先获取图像,然后再送入后端计算平台进行脉冲化处理,消耗了计算平台的算力,降低了脉冲神经网络的识别速度。可见,目前对图像数据进行脉冲化处理的过程中存在延迟,不能满足用户的使用需求。

发明内容

本发明提供一种实时图像脉冲化的边缘成像方法,用以解决现有技术中对图像数据进行脉冲化处理的过程中存在延迟,不能满足用户的使用需求的缺陷,提高用户的使用体验。

本发明提供一种实时图像脉冲化的边缘成像方法,所述包括:

获取输入偏置后的电信号;

对所述电信号进行放大处理,得到待采样电信号;

针对所述待采样电信号包括的每个像素单元对应的待处理信号,对该待处理信号进行预设次数的重复采样,得到概率化脉冲信号;

对所述概率化脉冲信号进行拼接处理,得到已拼接脉冲信号,并基于所述已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像。

根据本发明提供的一种实时图像脉冲化的边缘成像方法,所述针对所述待采样电信号包括的每个像素单元对应的待处理信号,对该待处理信号进行预设次数的重复采样,得到概率化脉冲信号的步骤,包括:

针对每次对该待处理信号进行采样的过程中,基于该次的该待处理信号对应的电压、晶体管的驱动电压和分压电压,确定该次对应的电平信号,其中,所述分压电压为基于供电电压与磁隧道结电压获取的电压。

根据本发明提供的一种实时图像脉冲化的边缘成像方法,所述针对每次对该待处理信号进行采样的过程中,基于该次的该待处理信号对应的电压、晶体管的驱动电压和分压电压,确定该次对应的电平信号的步骤,包括:

基于所述晶体管的特性、所述驱动电压和该次的该待处理信号对应的电压,确定所述晶体管是否导通;

在所述晶体管导通的情况下,基于所述分压电压,输出电平信号;

在所述晶体管未导通的情况下,输出低电平信号。

根据本发明提供的一种实时图像脉冲化的边缘成像方法,所述基于所述分压电压,输出电平信号的步骤,包括:

在所述分压电压为高电平的情况下,输出低电平信号;

在所述分压电压为高电平的情况下,输出高电平信号。

根据本发明提供的一种实时图像脉冲化的边缘成像方法,所述概率化脉冲信号包括多个待处理信号对应的脉冲信号,每个所述待处理信号均对应预设次数段脉冲信号;

所述对所述概率化脉冲信号进行拼接处理,得到已拼接脉冲信号的步骤,包括:

针对每个所述待处理信号,对该待处理信号对应的预设次数段脉冲信号进行拼接,得到已拼接脉冲信号。

根据本发明提供的一种实时图像脉冲化的边缘成像方法,所述基于所述已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像的步骤,包括:

针对每个待处理信号,将该待处理信号对应的像素坐标,添加至该待处理信号对应的已拼接脉冲信号;

对添加像素坐标后的已拼接脉冲信号进行排序,生成待识别图像。

根据本发明提供的一种实时图像脉冲化的边缘成像方法,在所述基于所述已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像的步骤之后,所述方法还包括:

将所述待识别图像输入至预先训练完毕的脉冲神经网络进行图像识别,得到识别结果。

本发明还提供一种实时图像脉冲化的边缘成像装置,装置包括:

获取单元,用于获取输入偏置后的电信号;

放大和选通单元,用于对所述电信号进行放大处理,得到待采样电信号;

重复采样单元,用于针对所述待采样电信号包括的每个像素单元对应的待处理信号,对该待处理信号进行预设次数的重复采样,得到概率化脉冲信号;

生成单元,用于对所述概率化脉冲信号进行拼接处理,得到已拼接脉冲信号,并基于所述已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像。

根据本发明提供的一种实时图像脉冲化的边缘成像装置,所述重复采样单元,具体用于针对每次对该待处理信号进行采样的过程中,基于该次的该待处理信号对应的电压、晶体管的驱动电压和分压电压,确定该次对应的电平信号,其中,所述分压电压为基于供电电压与磁隧道结电压获取的电压。

根据本发明提供的一种实时图像脉冲化的边缘成像装置,所述重复采样单元包括:晶体管、磁隧道结、反相器、电源;

该次的该待处理信号对应的电压为所述晶体管的栅极的输入电压,所述晶体管的漏级与所述磁隧道结的一端连接,所述磁隧道结的另一端与所述电源的负极连接,所述电源的正极与所述晶体管的源极连接,所述反相器的输入端与所述晶体管的源极连接,所述供电电压为所述电源提供的电压;

针对每次对该待处理信号进行采样的过程中,基于该次的该待处理信号对应的电压、晶体管的驱动电压和分压电压,通过所述反相器输出该次对应的电平信号。

本发明提供的一种实时图像脉冲化的边缘成像方法及装置,通过获取输入偏置后的电信号,对电信号进行放大处理,得到待采样电信号,针对待采样电信号包括的每个像素单元对应的待处理信号,对该待处理信号进行预设次数的重复采样,得到概率化脉冲信号,对概率化脉冲信号进行拼接处理,得到已拼接脉冲信号,并基于已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像。

通过这样的方式,能够对像素阵列对应的电信号进行实时脉冲化转换,从而能够降低图像传输过程中的延迟,解决了对图像数据进行脉冲化处理存在延迟的缺陷,以便满足用户的使用需求。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明提供的实时图像脉冲化的边缘成像方法的流程示意图之一;

图2是本发明提供的实时图像脉冲化的边缘成像装置的结构示意图之一;

图3是本发明提供的随机电路的结构示意图;

图4是本发明提供的概率化脉冲信号的示意图;

图5是本发明提供的实时图像脉冲化的边缘成像装置的结构示意图之二;

图6是本发明提供的实时图像脉冲化的边缘成像装置的结构示意图之三。

附图标记:

310:晶体管;320:磁隧道结;330:反相器;501:颜色过滤;502:像素传感器;503:偏置产生电路;504:放大电路;505:选通开关;506:时序产生电路;507:前置反相器;508:随机电路;509:缓存器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

为了降低对图像数据进行脉冲化处理所导致的延迟,以满足用户的使用需求,本发明实施例提供了一种实时图像脉冲化的边缘成像方法及装置,下面结合图1对本发明实施例提供的一种实时图像脉冲化的边缘成像方法进行介绍:

如图1所示,本发明实施例提供了一种实时图像脉冲化的边缘成像方法,方法包括:

S101,获取输入偏置后的电信号。

为了能够消除图像传感器中各个像素在产生的过程中存在的不均匀性,提升成像的质量,可以输入偏置至图像采集设备,这样,便可以获取到输入偏置后的电信号。

其中,图像采集设备可以为CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器,当然还可以根据实际使用需求设置其他图像传感器(像素传感器),在此不做具体限定。

在一种实施方式中,可以通过偏置产生电路产生偏置,根据图像传感器的不同,所输入的偏置对应的信号也不同。例如,在图像传感器为CCD(Charge Coupled Device)相机的情况下,可以提供对应的电流信号作为输入的偏置。又例如,在图像传感器为CMOS图像传感器的情况下,可以提供对应的电压信号作为输入的偏置。这都是合理的,在此不做具体限定。

下面以图像采集设备为CMOS图像传感器为例,对上述步骤S101进行说明:由于CMOS图像传感器不具备颜色分辨能力,因此,为了能够获取输入偏置后的电信号,可以对可见光进行滤光,以使CMOS图像传感器对应的像素单元区分红、绿、蓝三种基本颜色,以便实现获取输入偏置后的电信号。

在一种实施方式中,CMOS图像传感器可以兼容常见图像格式的颜色过滤排列装置,因此,可以采用颜色过滤排列装置(颜色过滤器)对可见光进行过滤,例如,可以在CMOS图像传感器前设置颜色过滤排列装置。其中,常见图像格式可以包括:Bayer、RGBE、RGBW、CYYM、CYGM等,这都是合理的,在此不作具体限定。

也就是说,CMOS图像传感器可以与颜色过滤排列装置连接,并且CMOS图像传感器可以与偏置产生电路连接,这样便可以获取到输入偏置后的电信号,其中,输入偏置后的电信号为CMOS图像传感器的像素阵列对应的电信号,像素阵列包括多个像素单元。

作为一种实施方式,可以在图像采集设备采集当前图像的过程中,实时获取输入偏置的当前图像对应的电信号,进而,采用预设的选通方式,从输入偏置的当前图像对应的电信号中选取对应的电信号,作为输入偏置后的电信号。其中,预设的选通方式包括逐行选取方式,和逐列选取方式。

在这种实施方式中,输入偏置后的电信号为像素阵列中一行像素单元对应的电信号,或输入偏置后的电信号为像素阵列中一列像素单元对应的电信号。

作为另一种实施方式,可以在图像采集设备采集当前图像的过程中,实时获取输入偏置的当前图像对应的电信号,并将所获取的输入偏置的当前图像对应的电信号,作为输入偏置后的电信号。在这种实施方式中,输入偏置后的电信号为像素阵列对应的电信号,

S102,对所述电信号进行放大处理,得到待采样电信号。

在获取到输入偏置后的电信号后,由于像素单元对应的电信号较小,不能满足预设的电压需求,其中,预设的电压需求为后续进行重复采样的电压需求。

因此,为了能够方便后续进行重复采样,以获取概率化脉冲信号,可以对电信号进行放大处理,得到待采样电信号。在一种实施方式中,在输入偏置后的电信号为像素阵列中一行像素单元对应的电信号,或输入偏置后的电信号为像素阵列中一列像素单元对应的电信号的情况下,可以将输入偏置后的电信号进行放大,得到待采样电信号。

在另一种实施方式中,在输入偏置后的电信号为像素阵列对应的电信号的情况下,可以对输入偏置后的电信号进行放大和选通。具体为对电信号进行放大处理,得到待选通电信号,进而采用预设的选通方式,从待选通电信号中选取对应的电信号,作为待采样电信号,其中,预设的选通方式包括逐行选取方式,和逐列选取方式。

待采样电信号为像素阵列中一行像素单元对应的已放大的电信号,或,待采样电信号为像素阵列中一列像素单元对应的已放大的电信号。

S103,针对所述待采样电信号包括的每个像素单元对应的待处理信号,对该待处理信号进行预设次数的重复采样,得到概率化脉冲信号。

在获取到待采样电信号后,针对待采样电信号包括的每个像素单元对应的待处理信号,对该待处理信号进行预设次数的重复采样,得到概率化脉冲信号。通过预设次数的重复采样,能够提高待识别图像的保真度,以方便后续获取到保真度更高的待识别图像。

概率化脉冲信号包括待采样电信号对应的预设次数段脉冲信号。例如,预设次数为8次,待采样电信号包括L个像素单元对应的电信号,即待处理信号的数量为L,那么,针对每个待处理信号均存在8段脉冲信号,概率化脉冲信号包括8xL段脉冲信号。

S104,对所述概率化脉冲信号进行拼接处理,得到已拼接脉冲信号,并基于所述已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像。

在获取到概率化脉冲信号后,可以对概率化脉冲信号进行拼接处理,得到已拼接脉冲信号,并基于已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像。本发明实施例提供的一种实时图像脉冲化的边缘成像方法,能够对像素阵列对应的电信号进行实时脉冲化转换,从而能够降低图像传输过程中的延迟,解决了对图像数据进行脉冲化处理存在延迟的缺陷,以便满足用户的使用需求。

作为本发明实施例的一种实施方式,上述针对所述待采样电信号包括的每个像素单元对应的待处理信号,对该待处理信号进行预设次数的重复采样,得到概率化脉冲信号的步骤,可以包括:

针对每次对该待处理信号进行采样的过程中,基于该次的该待处理信号对应的电压、晶体管的驱动电压和分压电压,确定该次对应的电平信号。其中,所述分压电压为基于供电电压与磁隧道结电压获取的电压。

其中,晶体管可以为NMOS(Negative channel Metal Oxide Semiconductor,N型金属氧化物半导体)晶体管,也可以为PMOS(Positive channel Metal OxideSemiconductor,P型金属氧化物半导体)晶体管。

磁隧道结(MTJ,Magnetic Tunnel Junction)是一种三明治结构器件,自上而下包括参考层、隧穿势垒层和自由层。其中,自由层和固定层为两层磁性薄膜,形成一种纳米磁体,绝缘层为一层氧化膜,作为隧穿势垒隔离自由层和固定层中的电子迁移。通过施加外部电磁场控制,可以将自由层的磁矩方向切换为与固定层平行或反平行方向。如果是平行态,磁隧道结电阻较低,反平行态则电阻较高,从而可利用电阻高低区别作为逻辑状态。当磁隧道结中的隧穿势垒较低时,平行态与反平行态由于热噪声出现随机跳跃现象,产生随机输出特性。

可见,在本实施例中,可以基于每一次的该待处理信号对应的电压、晶体管的驱动电压和分压电压,确定对应的电平信号,从而便可以获取到每个待处理信号对应的预设次数段的脉冲信号,以便获取到保真度高的待识别图像。

作为本发明实施例的一种实施方式,上述针对每次对该待处理信号进行采样的过程中,基于该次的该待处理信号对应的电压、晶体管的驱动电压和分压电压,确定该次对应的电平信号的步骤,可以包括:

基于所述晶体管的特性、所述驱动电压和该次的该待处理信号对应的电压,确定所述晶体管是否导通。

在晶体管为NMOS晶体管的情况下,若该次的该待处理信号对应的电压大于驱动电压,则确定晶体管导通,若该次的该待处理信号对应的电压不大于驱动电压,则确定晶体管未导通。

在晶体管为PMOS晶体管的情况下,若该次的该待处理信号对应的电压不大于驱动电压,则确定晶体管导通,若该次的该待处理信号对应的电压大于驱动电压,则确定晶体管未导通。

在所述晶体管导通的情况下,基于所述分压电压,输出电平信号。

在确定晶体管导通的情况下,可以基于分压电压的情况,输出电平信号。

在一种实施方式中,在分压电压为高电平的情况下,输出低电平信号。在分压电压为低电平的情况下,输出高电平信号。

在确定晶体管未导通的情况下,输出低电平信号。

可见,在本实施例中,可以先确定晶体管是否导通,并针对晶体管的导通情况,采用不同的方式确定输出的电平信号,从而获取到概率化的脉冲信号。

作为本发明实施例的一种实施方式,上述概率化脉冲信号可以包括多个待处理信号对应的脉冲信号,每个待处理信号均对应预设次数段脉冲信号。

上述对所述概率化脉冲信号进行拼接处理,得到已拼接脉冲信号的步骤,可以包括:

针对每个所述待处理信号,对该待处理信号对应的预设次数段脉冲信号进行拼接,得到已拼接脉冲信号。

在一种实施方式中,可以按照对该待处理信号进行重复采样对应的顺序,对该待处理信号对应的预设次数段脉冲信号进行拼接,得到已拼接的脉冲信号。

在另一种实施方式中,可以按照各段脉冲信号对应的采样时间的先后顺序,对该待处理信号对应的预设次数段脉冲信号进行拼接,得到已拼接的脉冲信号。

作为本发明实施例的一种实施方式,上述基于所述已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像的步骤,可以包括:

针对每个待处理信号,将该待处理信号对应的像素坐标,添加至该待处理信号对应的已拼接脉冲信号。

在一种实施方式中,在获取到每个待处理信号对应的已拼接脉冲信号后,可以将该待处理信号对应的像素坐标添加至该待处理信号对应的已拼接脉冲信号前,从而得到添加像素坐标后的已拼接脉冲信号。

例如,待处理信号A对应的像素坐标为(256,256),可以在待处理信号A对应的已拼接脉冲信号前添加(000011111111,000011111111),其中,(000011111111,000011111111)为待处理信号A对应的已拼接脉冲信号的像素地址。在(000011111111,000011111111)中,靠前位置的二进制数代表行,靠后位置的二进制数代表列,每个坐标对应12位,可以兼容主流图像传感器的尺寸。当然坐标中二进制的位数可以根据实际情况进行设置,在此不做具体限定。

对添加像素坐标后的已拼接脉冲信号进行排序,生成待识别图像。

在获取到添加像素坐标后的已拼接脉冲信号,可以按照像素坐标对应的位置,对添加像素坐标后的已拼接脉冲信号进行排序,这样便可以生成待识别图像。

作为本发明实施例的一种实施方式,在上述基于所述已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像的步骤之后,上述方法还可以包括:

将所述待识别图像输入至预先训练完毕的脉冲神经网络进行图像识别,得到识别结果。

在一种实施方式中,可以基于有线网络或无线网络,将待识别图像输入至脉冲神经网络,从而脉冲神经网络便可以对待识别图像进行图像识别,得到识别结果。

下面对本发明实施例提供的一种实时图像脉冲化的边缘成像装置进行介绍,下文描述的实时图像脉冲化的边缘成像装置与上文描述的实时图像脉冲化的边缘成像方法可相互对应参照。

如图2所示,本发明实施例提供了一种实时图像脉冲化的边缘成像装置,装置包括:

获取单元210,用于获取输入偏置后的电信号;

放大和选通单元220,用于对所述电信号进行放大处理,得到待采样电信号;

重复采样单元230,用于针对所述待采样电信号包括的每个像素单元对应的待处理信号,对该待处理信号进行预设次数的重复采样,得到概率化脉冲信号;

生成单元240,用于对所述概率化脉冲信号进行拼接处理,得到已拼接脉冲信号,并基于所述已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像。

作为本发明实施例的一种实施方式,上述重复采样单元230具体用于针对每次对该待处理信号进行采样的过程中,基于该次的该待处理信号对应的电压、晶体管的驱动电压和分压电压,确定该次对应的电平信号,其中,所述分压电压为基于供电电压与磁隧道结电压获取的电压。

作为本发明实施例的一种实施方式,如图3所示,上述重复采样单元230可以为随机电路,随机电路可以包括晶体管310、磁隧道结320、反相器330、电源(图中未标号)。

该次的该待处理信号对应的电压为晶体管310的栅极的输入电压,晶体管310的漏级与磁隧道结320的一端连接,磁隧道结320的另一端与电源的负极(-VDD1)连接,电源的正极(VDD1)与所述晶体管310的源极连接,所述反相器330的输入端与晶体管310的源极连接,反相器330的输入端还与电源的正极连接,供电电压为电源提供的电压。

在图3中,电源的正极通过匹配电阻与晶体管310的源极连接。也就是说,匹配电阻的一端与电源的正极连接,匹配电阻的另一端与晶体管310的源极连接,反相器330的输入端与匹配电阻的另一端连接。

其中,匹配电阻可以与磁隧道结320一同起到分压的作用,也就是说,分压电压可以为基于供电电压、磁隧道结320电压以及匹配电阻电压获取的电压。作为一种实施方式,匹配电阻为可调节电阻,可以通过调节匹配电阻的阻值,消除磁隧道结320在制造过程中引入的不均匀性。

针对每次对该待处理信号进行采样的过程中,基于该次的该待处理信号对应的电压、晶体管310的驱动电压和分压电压,通过所述反相器330输出该次对应的电平信号。

随机电路的逻辑可以为:通过基于晶体管310的特性、该次的该待处理信号对应的电压和驱动电压,确定晶体管310是否导通。晶体管310在随机电路中起到开关作用,具体地,晶体管310可以根据输入至晶体管310的栅极的该次的该待处理信号对应的电压确定是否导通。

在晶体管310导通的情况下,输入至反相器330输入端的电压为分压电压,因此反相器330可以基于分压电压,输出电平信号。在分压电压为高电平的情况下,反相器330输出低电平信号;在分压电压为低电平的情况下,反相器330输出高电平信号。

在晶体管310未导通的情况下,输入至反相器330输入端的电压为供电电压,因此反相器330可以基于供电电压,输出低电平信号。

随机电路的调控作用体现为:在输入至晶体管310栅极的该次的该待处理信号对应的电压小于驱动电压的情况下,随机电路输出低电平信号。在输入至晶体管310栅极的该次的该待处理信号对应的电压不小于驱动电压的情况下,随机电路输出随机电平信号。

上述随机电路在没有外触发的条件下,仍然可以依靠磁隧道结320实现自起振,从而彻底解决了触发信号不匹配导致数据错位的问题。

概率化脉冲信号可以如图4所示,在图4中,在随机电路的输入电压较小的情况下,也就是输入至晶体管310栅极的该次的该待处理信号对应的电压较小的情况下,随机电路输出的概率化脉冲信号的平均值为0.22(图4(a)所示)。在输入至晶体管310栅极的该次的该待处理信号对应的电压逐渐增加的情况下,随机电路输出的概率化脉冲信号的平均值可以由0.22上升至0.49(图4(b)所示)。在输入至晶体管310栅极的该次的该待处理信号对应的电压继续增加的情况下,随机电路输出的概率化脉冲信号的平均值可以由0.49上升至0.75(图4(c)所示)。

其中,图4仅为示意性,并且在图4中,所对应的数值为概率化的脉冲信号在100μs采样时间内的平均值,图4纵坐标为归一化后的数值。

作为本发明实施例的一种实施方式,上述获取单元210可以包括颜色过滤排列装置、图像采集设备和偏置产生电路单元。其中,颜色过滤排列装置用于将可见光(环境光)过滤为单色光。

其中,图像采集设备可以为图像传感器,由于CMOS类型的图像传感器只能响应光强,不能响应颜色,因此可以设置颜色过滤器,使得图像传感器像素阵列对应的电信号与单色光光强成正相关关系,以便后续获取待识别图像。

图像传感器可以获取待处理图像的信号,图像传感器对应的像素阵列在光激发下,可以产生对应的电信号。上述图像获取单元410,具体用于:可见光在经过颜色过滤器被分解为单色光并进入图像传感器对应的像素阵列的像素单元中,进而可以发生光电效应,产生对应的电信号,通过偏置产生电路单元输入偏置,得到输入偏置后的电信号。

在图像传感器为COMS图像传感器的情况下,COMS图像传感器具备分辨每个像素单元的能力,COMS图像传感器可以实现将每个像素单元对应的电信号与该像素坐标进行一一对应。

作为本发明实施例的一种实施方式,上述概率化脉冲信号包括多个待处理信号对应的脉冲信号,每个所述待处理信号均对应预设次数段脉冲信号。

上述生成单元240可以包括缓存器,通过缓存器针对每个所述待处理信号,对该待处理信号对应的预设次数段脉冲信号进行拼接,得到已拼接脉冲信号。

也就是说,缓存器可以暂存脉冲信号。

作为本发明实施例的一种实施方式,上述缓存器具体用于将每个待处理信号对应的像素坐标,添加至该待处理信号对应的已拼接脉冲信号;对添加像素坐标后的已拼接脉冲信号进行排序,生成待识别图像。

缓存器在对一个待处理信号的预设次数段脉冲信号进行拼接后,可以对已拼接脉冲信号添加像素坐标,添加像素坐标后的已拼接脉冲信号可以作为一个数据块,缓存器可以将该数据块传输出去,并将缓存器清零,等待下一待处理信号对应的数据。通过这样的方式,能够提高对数据传输的效率。

待识别图像由多个像素单元构成,像素单元的坐标信息能够决待识别图像的整体表现,通过对每个像素单元的坐标信息复原得到待识别图像。

例如,预设次数为8次,每次采样的过程对应的持续时间为40个时钟周期,缓存器得到的已拼接脉冲信号为S,那么,在40个时钟周期内,如果8段脉冲信号对应的任意一个时钟周期内存在一个高电平信号,则可以将S记为高电平信号,其中,S包括40位。在为S添加像素坐标后,S为64为的数据块。

作为本发明实施例的一种实施方式,上述装置还可以包括识别单元,用于在基于所述已拼接脉冲信号,和预先获取的像素坐标,生成待识别图像的之后,将所述待识别图像输入至预先训练完毕的脉冲神经网络进行图像识别,得到识别结果。

作为本发明实施例的一种实施方式,上述放大和选通单元220包括选通开关和放大电路单元。上述实时图像脉冲化的边缘成像装置还可以包括前置反相器时序产生电路单元。

其中,时序产生电路单元用于向选通开关、缓存器和图像采集设备提供时序信号,具体为产生逐行选通方式和逐列选通方式的时序信号。选通开关用于在接收到时序产生电路单元发送的时序信号的情况下,将特定位置对应的像素信号选通。

例如,预设次数为A,图像传感器包括DxL的像素阵列,其中,D为行数,L为列数,D和L均为正整数。图像传感器的触发频率为f,选通开关的触发频率不低于AxDxLxf,缓存器的触发频率不低于DxLxf。

在一种实施方式中,时序产生电路单元可以将将像素阵列的行/列信息编码为高电平信号数目或低电平数目,并存储至时序信号中。对应的,选通开关可以对高电平信号或低电平信号进行计数,从而便可以得到需要进行选通及放大的像素单元对应的电信号对应的参数信息,其中,参数信息可以对应为高电平信号数目或低电平数目。进而可以获取到接入至随机电路的输入端的像素单元的位置。

上述放大电路单元包括放大器、第一电容和第二电容,其中,第一电容的一端与图像采集设备相连,第一电容的另一端与放大器的负输入端连接,第一电容的另一端还与第二电容的一端连接,第二电容的另一端与放大器的输出端连接,放大器的正输入端接入常规电压。

上述放大电路单元能够将获取的输入偏置后的电信号放大-C1/C2倍,其中,C1为第一电容的电容值,C2为第二电容的电容值。由于上述放大电路单元对电信号进行了反相,因此,可以通过上述前置反相器将前置反相器的输入端输入的电平信号进行反相,也就是将待采样电信号进行反相。

下面以图5为例,对本发明实施例提供的一种实时图像脉冲化的边缘成像装置进行介绍:

如图5所示,本发明实施例提供的一种实时图像脉冲化的边缘成像装置包括:颜色过滤501、像素传感器502、偏置产生电路503、放大电路504、选通开关505、时序产生电路506、前置反相器507、随机电路508、缓存器509。

其中,颜色过滤501即为颜色过滤排列装置,像素传感器502即为图像传感器(图像采集设备),偏置产生电路503即为偏置产生电路单元,放大电路504即为放大电路单元,时序产生电路506即为时序产生电路单元。

颜色过滤501与像素传感器502连接,像素传感器502与偏置产生电路503连接,像素传感器502还与时序产生电路506连接,像素传感器502还与放大电路504的输入端连接,也就是第一电容的一端连接。

放大电路504的输出端与选通开关505连接,选通开关505还与时序产生电路506连接,选通开关505还与前置反相器507的输入端连接,前置反相器507的输出端与随机电路508的输入端连接,也就是与随机电路508包括的晶体管的栅极连接,随机电路508的输出端与缓存器509连接,也就是反相器的输出端与缓存器509连接。缓存器509还与时序产生电路506连接。

可见,本发明提供的一种实时图像脉冲化的边缘成像装置可以紧凑化地实现实时图像脉冲化的边缘成像,不仅可以满足脉冲神经网络对待识别图像数据的需求,避免使用纯算法方法对图像进行脉冲化所带来的计算压力。同时本装置在完成一个像素单元数据的脉冲化后将立即进行传输,因而提高了网络传输的效率。

如图6所示,为本发明实施例提供的实时图像脉冲化的边缘成像装置的示意图,包括行选通电路601、时序产生电路602、像素阵列603、偏置604、列选通电路605、放大器606、随机电路607、缓存器608、输出电路609。

其中,行选通电路601、时序产生电路602、像素阵列603、偏置604、列选通电路605、放大器606用于实现获取输入偏置后的电信号,对所述电信号进行放大处理,得到待采样电信号的步骤。

输出电路609用于将所述待识别图像输入至预先训练完毕的脉冲神经网络进行图像识别,得到识别结果。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术分类

06120116024075