一种通过可协调光电探测器实现机器视觉功能的方法

技术领域

本发明涉及光电探测器、神经形态计算、人工智能芯片及机器视觉领域，特别涉及一种通过可协调光电探测器实现机器视觉功能的方法。

背景技术

机器视觉是人工智能系统的重要组成部分，广泛应用于城市交通管理、工业生产和安防监控、自动驾驶以及机器人等领域。一般来说，机器视觉主要通过基于视帧技术的相机获取视觉信息并将其转化为数字信号，然后利用人工神经网络和机器学习算法实现图像处理。得益于固态半导体材料内部化学成分与能带结构的精确控制，当前基于硅基光电探测器的图像传感器件能够在适当光照条件下准确拍摄光学图像。但由于硅基光电探测器的光电导仅由光敏材料的成分所决定，缺乏对于环境光线的适应性响应，在极强或者极弱的特殊照明条件下容易出现瞬间致盲或夜盲的情况，无法获得高质量的图像信息并影响后续的数据处理。此外，从图像传感器端获得的大量冗余数据在传感器-处理器间信号通路上的传递会造成显著的延迟和能耗，极大地限制了机器视觉系统在移动设备中的应用。

发明内容

针对现有技术中的上述不足，本发明提供了一种通过可协调光电探测器实现机器视觉功能的方法，利用基于可调谐光电探测器构建人工神经网络硬件，通过可重构的光电响应实现具有类视网膜仿生调节特点的高保真成像以及基于传感器阵列的神经形态计算功能，从而实现同步集成高精度图像传感和识别的机器视觉。

为了达到上述发明目的，本发明采用的技术方案为：

一种通过可协调光电探测器实现机器视觉功能的方法，基于一个光电探测器实现：

选取可以通过电场驱动离子迁移行为调控其光电响应特性的光敏材料作为感光层在绝缘衬底上制备可调谐光电探测器件十字交叉阵列图像传感器芯片。所述的十字交阵列采用铂等金属或导电氧化物作为条状底电极，氧化铟锡等透明导电氧化物作为条状顶电极，在每个十字交叉处构成具有顶电极/光敏材料/底电极三明治结构的光电探测器。

所述的绝缘衬底包括但不限于氧化物绝缘材料、氮化物绝缘材料、高分子绝缘材料等，例如石英玻璃、SrTiO

所述的光敏材料包括但不限于有机-无机杂化金属卤化物钙钛矿材料、无机金属卤化物钙钛矿材料和金属氧化物材料等中的任意一种或者几种的组合物。

所述的条状底电极材料具有导电性，其材料不限，包括导电金属、导电金属氧化物或者其组合等，导电金属包括Pt、Au、Ir、Ag、Ta、Ni、Ti、Cu、Al等中的一种或两种以上的组合，导电金属氧化物包括ITO、FTO、SRO、LSMO等。所述的底电极可以是单层结构，也可以是两种或数种材料构成的多层结构，彼此间距地分布在绝缘衬底上。

所述的条状顶电极材料具有导电性和可见光范围的透明性，包括ITO、FTO、SRO、LSMO等。所述的条状顶电极彼此间距地分布在光敏材料层上，并与条状底电极相互垂直地形成十字交叉结构。

向所述的光电探测器及其十字交叉阵列施加光照刺激，光敏材料可以通过光伏或光电导效应产生光电流并通过顶电极和底电极被外电路探测，从而实现可见光范围内的光电探测与图像传感功能。

向所述的光电探测器施加电压刺激，光敏材料内部的金属阳离子、有机阳离子、卤素阴离子或氧阴离子可以在电场驱动下发生定向迁移，改变光敏材料内部的化学成分分布和能带结构，从而呈现出不同的光电响应行为，即：降低光电探测器在强光照射下产生的光电流输出，或增强其在弱光照射下产生光电流输出。其中，十字交叉阵列中每一个光电探测器的光电响应均可以通过电压刺激实现独立调谐，从而使图像传感器芯片在不同光照条件下产生相同的成像质量。

所述的光电探测器具有非易失和可逆的可调谐光电探测能力，即：在移除所施加的电压刺激后，光敏材料仍然可以保持其通过电场驱动的离子迁移行为所达到的化学成分分布、能带结构和感光能力；同时，在施加反向电压刺激后，可以通过反向的离子迁移行为使光敏材料恢复至初始的化学成分分布、能带结构和感光能力。

所述的十字交叉阵列可构成人工神经形态网络，其中：每一个光电探测器即为一个突触单元，其光电导即为突触权重，并且可以通过电场驱动的离子迁移行为进行调谐；利用光电探测器光电流输出I、所受施光照强度P和光电导w之间的关系，即，I＝P×w，即可以在任一光电探测器件中实现乘法操作；基于基尔霍夫定律，在十字交叉阵列中读取任一字线上所有器件的光电流输出，即可实现求和操作。

利用软件对需要完成识别处理的图片进行神经网络训练，训练方式包括但不限于全连接神经网络训练和卷积神经网络训练。训练完成后，提取各个节点的权重值，将其转化成对应光电导w输入本发明的神经网络中。对图片进行预处理，将其转化为与网络对应的像素大小并进行识别，其中：图片缩放方式包括但不限于最大值法和二次线性法。

本发明的有益效果为：

本发明仅采用一个光电探测器阵列，通过电场调控光敏材料的成分梯度和器件的光电特性，可以实现对于不同光强的适应性响应和所观察物体的高保真成像；同时，利用器件可调节的光电导进行乘加运算，光电探测器阵列本身还可作为神经网络硬件实现传感器内的神经形态计算和图像的实时处理。

附图说明

图1是本发明的光电探测器单元结构示意图；

图2是本发明的光电探测器单元结构的其十字交叉阵列示意图；

图3是本发明实施例1中光电探测器在不同波长和强度的光照条件下的光电流输出特性示意图；

图4是本发明实施例1中光电探测器在电场调控下的光电流输出特性示意图；

图5是本发明实施例1-5中基于光电探测器十字交叉阵列的人工神经网络、自适应成像以及图像识别特性示意图。

具体实施方式

下面结合附图来进一步说明本发明的具体实施方式。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

为了使本发明的内容更容易被清楚地理解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1：

本实施例中，光电探测器单元结构和十字交叉阵列如图1-2所示，从下到上依次为绝缘衬底1，条状底电极2，光敏材料层3，条状顶电极4。条状底电极2位于绝缘衬底1上，光敏材料层3位于条状底电极2和绝缘衬底层1上，条状顶电极4位于光敏材料层3上。垂直分布的条状底电极和条状顶电极构成十字交叉阵列，每个十字交叉处构成具有顶电极/光敏材料/底电极三明治结构的光电探测器。

绝缘衬底材料为高阻Si，条状底电极的材料为Au，光敏材料为有机-无机杂化金属卤化物钙钛矿材料Cs

向该光电探测器施加波长分别为655纳米、532纳米和405纳米的红、绿、蓝三原色可见光辐照，器件呈现明显的光伏效应。如图3a所示，在相同强度的光照下，器件对于蓝光响应的光电流最大，绿光次之，红光最小。如图3b所示，对于任意波长的光照，随着光照强度从0.5mW/cm

向该光电探测器施加1V的连续电压，诱导CsFAMA薄膜中的金属和有机阳离子向ITO顶电极迁移。如图3所示，随着电压加载的时间增加，器件光电流持续减小，从而实现强光照射下光电流输出的降低；向该光电探测器施加-1V的连续电压，诱导CsFAMA薄膜中的金属和有机阳离子向Au底电极迁移。随着电压加载的时间增加，器件光电流持续增大，从而实现强光照射下光电流输出的增强，使图像传感器芯片在不同光照条件下产生相同的成像质量。

基于TensorFlow框架、Keras软件包和Cifar数据库，采用规模为32×32的全连接神经网络进行自适应成像和图像识别的训练与分类操作。如图5a所示，首先通过最大值法将图像提取为32×32×3的数据包，其中每一个数值代表某一像素点红、绿或蓝色下的图片灰度。将该数据包映射至由可调谐光电探测器构建的神经网络的过滤层，基于光电探测器光电流输入调谐的动力学曲线实现自适应成像，如图5b所示。

以光电探测器可调谐的光电导w为突触权重，采用向后传播人工智能算法，利用光电探测器光电流输出I、所受施光照强度P和光电导w之间的关系I＝P×w和基尔霍夫定律进行乘加运算操作和图片的有监督学习训练。如图5c所示，最后将待观察物体经所述的光电探测器十字交叉阵列实现其高精度成像和识别。

实施例2：

本实施例中，光电探测器单元结构、十字交叉阵列以及绝缘衬底、条状底电极和条状顶电极与实施例1基本相同，所不同的是，光敏材料为有机-无机杂化金属卤化物钙钛矿材料MAPbI

向该光电探测器施加波长分别为655纳米、532纳米和405纳米的红、绿、蓝三原色可见光辐照，器件呈现类似图3所示的光电响应特性。在相同强度的光照下，器件对于蓝光响应的光电流最大，绿光次之，红光最小。对于任意波长的光照，随着光照强度从0.5mW/cm

向该光电探测器施加1V的连续电压，诱导光敏材料层中的有机阳离子向ITO顶电极迁移。类似于图3的光电流特性，随着电压加载的时间增加，器件光电流持续减小，从而实现强光照射下光电流输出的降低；向该光电探测器施加-1V的连续电压，诱导光敏材料层中的有机阳离子向Au底电极迁移。随着电压加载的时间增加，器件光电流持续增大，从而实现强光照射下光电流输出的增强，使图像传感器芯片在不同光照条件下产生相同的成像质量。

基于TensorFlow框架、Keras软件包和Cifar数据库，采用规模为32×32的全连接神经网络进行自适应成像和图像识别的训练与分类操作。如图5a所示，首先通过最大值法将图像提取为32×32×3的数据包，其中每一个数值代表某一像素点红、绿或蓝色下的图片灰度。将该数据包映射至由可调谐光电探测器构建的神经网络的过滤层，基于光电探测器光电流输入调谐的动力学曲线实现自适应成像，如图5b所示。

以光电探测器可调谐的光电导w为突触权重，采用向后传播人工智能算法，利用光电探测器光电流输出I、所受施光照强度P和光电导w之间的关系I＝P×w和基尔霍夫定律进行乘加运算操作和图片的有监督学习训练。如图5c所示，最后将待观察物体经所述的光电探测器十字交叉阵列实现其高精度成像和识别。

实施例3：

本实施例中，光电探测器单元结构、十字交叉阵列以及绝缘衬底、条状底电极和条状顶电极与实施例1基本相同，所不同的是，光敏材料为无机金属卤化物钙钛矿材料CsPbI

向该光电探测器施加波长分别为655纳米、532纳米和405纳米的红、绿、蓝三原色可见光辐照，器件呈现类似图2所示的光电响应特性。在相同强度的光照下，器件对于蓝光响应的光电流最大，绿光次之，红光最小。对于任意波长的光照，随着光照强度从0.5mW/cm

向该光电探测器施加1V的连续电压，诱导光敏材料层中的金属阳离子向ITO顶电极迁移。类似于图4的光电流特性，随着电压加载的时间增加，器件光电流持续减小，从而实现强光照射下光电流输出的降低；向该光电探测器施加-1V的连续电压，诱导光敏材料层中的金属阳离子向Au底电极迁移。随着电压加载的时间增加，器件光电流持续增大，从而实现强光照射下光电流输出的增强，使图像传感器芯片在不同光照条件下产生相同的成像质量。

基于TensorFlow框架、Keras软件包和Cifar数据库，采用规模为32×32的全连接神经网络进行自适应成像和图像识别的训练与分类操作。如图5a所示，首先通过最大值法将图像提取为32×32×3的数据包，其中每一个数值代表某一像素点红、绿或蓝色下的图片灰度。将该数据包映射至由可调谐光电探测器构建的神经网络的过滤层，基于光电探测器光电流输入调谐的动力学曲线实现自适应成像，如图5b所示。

以光电探测器可调谐的光电导w为突触权重，采用向后传播人工智能算法，利用光电探测器光电流输出I、所受施光照强度P和光电导w之间的关系I＝P×w和基尔霍夫定律进行乘加运算操作和图片的有监督学习训练。如图5c所示，最后将待观察物体经所述的光电探测器十字交叉阵列实现其高精度成像和识别。

实施例4：

本实施例中，光电探测器单元结构、十字交叉阵列以及绝缘衬底、条状底电极和条状顶电极与实施例1基本相同，所不同的是，光敏材料为金属氧化物材料CeO

向该光电探测器施加波长分别为655纳米、532纳米和405纳米的红、绿、蓝三原色可见光辐照，器件呈现类似图3所示的光电响应特性。在相同强度的光照下，器件对于蓝光响应的光电流最大，绿光次之，红光最小。对于任意波长的光照，随着光照强度从0.5mW/cm2增加到256mW/cm2，该光电探测器的光电流输出呈现256态的连续响应。以三个光电探测器为一个突触单元分别感知红绿蓝三原色，基于所述的图像传感器芯片即可实现1600个组合色的真色彩成像。

向该光电探测器施加1V的连续电压，诱导光敏材料层中的氧离子向Au底电极迁移。类似于图4的光电流特性，随着电压加载的时间增加，器件光电流持续减小，从而实现强光照射下光电流输出的降低；向该光电探测器施加-1V的连续电压，诱导光敏材料层中的氧离子向ITO顶电极迁移。随着电压加载的时间增加，器件光电流持续增大，从而实现强光照射下光电流输出的增强，使图像传感器芯片在不同光照条件下产生相同的成像质量。

基于TensorFlow框架、Keras软件包和Cifar数据库，采用规模为32×32的全连接神经网络进行自适应成像和图像识别的训练与分类操作。如图5a所示，首先通过最大值法将图像提取为32×32×3的数据包，其中每一个数值代表某一像素点红、绿或蓝色下的图片灰度。将该数据包映射至由可调谐光电探测器构建的神经网络的过滤层，基于光电探测器光电流输入调谐的动力学曲线实现自适应成像，如图5b所示。

以光电探测器可调谐的光电导w为突触权重，采用向后传播人工智能算法，利用光电探测器光电流输出I、所受施光照强度P和光电导w之间的关系I＝P×w和基尔霍夫定律进行乘加运算操作和图片的有监督学习训练。如图5c所示，最后将待观察物体经所述的光电探测器十字交叉阵列实现其高精度成像和识别。

实施例5：

本实施例中，光电探测器单元结构、十字交叉阵列以及绝缘衬底、条状底电极和条状顶电极与实施例1基本相同，所不同的是，光敏材料为金属氧化物材料ZnO。

向该光电探测器施加波长分别为655纳米、532纳米和405纳米的红、绿、蓝三原色可见光辐照，器件呈现类似图3所示的光电响应特性。在相同强度的光照下，器件对于蓝光响应的光电流最大，绿光次之，红光最小。对于任意波长的光照，随着光照强度从0.5mW/cm

向该光电探测器施加1V的连续电压，诱导光敏材料层中的氧离子向Au底电极迁移。类似于图4的光电流特性，随着电压加载的时间增加，器件光电流持续减小，从而实现强光照射下光电流输出的降低；向该光电探测器施加-1V的连续电压，诱导光敏材料层中的氧离子向ITO顶电极迁移。随着电压加载的时间增加，器件光电流持续增大，从而实现强光照射下光电流输出的增强，使图像传感器芯片在不同光照条件下产生相同的成像质量。

基于TensorFlow框架、Keras软件包和Cifar数据库，采用规模为32×32的全连接神经网络进行自适应成像和图像识别的训练与分类操作。如图5a所示，首先通过最大值法将图像提取为32×32×3的数据包，其中每一个数值代表某一像素点红、绿或蓝色下的图片灰度。将该数据包映射至由可调谐光电探测器构建的神经网络的过滤层，基于光电探测器光电流输入调谐的动力学曲线实现自适应成像，如图5b所示。

以光电探测器可调谐的光电导w为突触权重，采用向后传播人工智能算法，利用光电探测器光电流输出I、所受施光照强度P和光电导w之间的关系I＝P×w和基尔霍夫定律进行乘加运算操作和图片的有监督学习训练。如图4c所示，最后将待观察物体经所述的光电探测器十字交叉阵列实现其高精度成像和识别。

以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。