一种具有加密功能的神经形态视觉传感器及图像原位物理加密方法

技术领域

本发明属于视觉传感器以及数据加密技术领域，具体涉及一种具有加密功能的神经形态视觉传感器及图像原位物理加密方法。

背景技术

近年来，随着物联网、机器人和自动驾驶等智能系统的快速发展，视觉传感器将在未来几年爆发式增长。传统视觉传感器中图像探测器、处理器和存储器物理分离，数据在三者之间不断传输不仅会严重影响信息处理速度，增加硬件功耗，而且极易受到非法访问和滥用，因此需要采用高可信度的加密技术来保障信息安全。基于复杂算法的软件加密系统虽可以提供强大的安全保障，但需要大量计算硬件作为支撑，使其难以在传感端直接使用。此外，随着机器学习的快速发展，基于算法的软件加密技术面临被破解的风险。因此，迫切需要开发基于硬件的物理加密技术，在传感端原位对视觉信息实施加密，确保信息安全。

受人类视觉系统启发的神经形态视觉传感技术为视觉信息的原位物理加密提供了可能。视网膜不仅能够探测视觉信号，而且可执行预处理任务，使得人脑在处理复杂信息时展现出超高计算效率。受此启发，具有感(传感)/存(存储)/算(处理)一体的神经形态传感器引起广泛关注。近年来，众多新兴光电器件(如忆阻器和晶体管)用于构建神经形态传感器，在传感端实现了信息编码和识别。然而，目前报道的视觉传感器仍无法实现加密功能，依然面临严峻的安全问题。因此，研发具有原位物理加密能力的神经形态视觉传感器，不仅可以大幅提升信息处理效率，同时可提供强有力的安全保障，对于新一代视觉传感技术的发展具有重要意义。

公开号为CN111093011A的专利文献公开了一种具有加密功能的光学传感器及图像数据加密方法，光学传感器包括：像素阵列；随机数产生；以及图像感测芯片，耦接所述像素阵列以及所述随机数产生器，用以经由所述像素阵列取得图像数据，以及经由所述像素阵列感测环境光，以使所述随机数产生器对应产生随机数数据，其中所述图像感测芯片依据所述随机数数据对所述图像数据进行加密，以输出加密的图像数据。但是该发明涉及的光学传感器的信息探测和处理依然是分离的，且采用的加密方法基于软件算法。

公开号为CN113179284A的专利文献公开了一种物联网传感器数据加密的方法及装置，包括：获取所述目标物联网传感器发送的目标物联网数据，其中，所述目标物联网数据基于所述目标物联网传感器对目标对象进行采集得到；确定对所述目标物联网数据进行加密处理的目标加密规则；基于所述目标加密规则对所述目标物联网数据进行加密处理，得到加密后的目标物联网数据。但是该发明涉及到的加密方法仍然是采用软件算法实现的，保密性不高，安全性难以保证。

发明内容

本发明的目的是提供一种具有加密功能的神经形态视觉传感器及图像原位物理加密方法，针对现有视觉传感器以及数据加密技术领域中软件加密安全性不高，硬件加密技术存在空缺的问题，开发出了一种具有加密功能的神经形态视觉传感器，该视觉传感器采用感存算一体架构，可在传感器内实现图像的原位物理加密，大幅提高信息处理效率，降低能耗，保障视觉信息安全。

为实现上述发明目的，本发明提供的技术方案如下：

第一方面，本发明提供的一种具有加密功能的神经形态视觉传感器，包括以下模块：

感算一体模块，用于感知外界视觉图像，然后利用光信号对感知图像进行包含图像的加密、解密、销毁和去噪在内的前处理，得到前处理后的图像；

存算一体模块，用于接收前处理后的图像，对前处理后的图像进行包含图像的编码、识别和分类在内的后处理，并存储用于图像后处理的权重因子。

本发明的技术构思为：采用以神经形态光电探测器和非易失性存储器为主要器件的感存算一体架构神经形态视觉传感器，优选地，神经形态光电探测器和非易失性存储器采用同一种光电忆阻器。利用光电忆阻器具有波长依赖性和光照历史依赖性的双向持续光电导效应，该独特的双向持续光电导效应是实现图像原位物理加密的关键。利用感算一体模块获取外界视觉图像，然后采用特定波长的光波照射感知图像，对其进行包含图像的加密、解密、销毁和去噪在内的前处理；前处理后的图像通过存算一体模块进行包含图像的编码、识别和分类在内的后处理，并保存用于图像后处理的权重因子，保证感存算一体，从而实现了基于硬件的图像原位物理加密。

作为本发明的进一步优选方案，感算一体模块为神经形态光电探测器

作为本发明的进一步优选方案，神经形态光电探测器为光电忆阻器、光电二极管、光电晶体管以及光电异质结中的一种或多种。优选地，本发明的神经形态光电探测器采用光电忆阻器。光电忆阻器具有波长依赖性和光照历史依赖性的双向持续光电导效应，该效应是实现图像原位物理加密的关键。

作为本发明的进一步优选方案，存算一体模块为非易失性存储器。这样设置的目的是为了利用非易失性存储器不仅能够实现数据的长期保存，具有高存储密度、快速写入和擦除的特点，并且可基于欧姆定律和基尔霍夫定律构建人工神经网络，完成图像后处理功能。

作为本发明的进一步优选方案，非易失性存储器为忆阻器、浮栅晶体管、磁存储器、相变存储器、铁电存储器中的一种或多种。优选地，本发明的非易失性存储器采用光电忆阻器。光电忆阻器采用光信号调节电导，相比电信号调控具有更加优异的稳定性和低功耗性，从而提高图像后处理速度。

作为本发明的进一步优选方案，神经形态光电探测器和非易失性存储器采用同一种光电忆阻器。这样设置是为了简化设计，保证系统的一致性和高效可靠。

作为本发明的进一步优选方案，光信号的光波长范围为200～2000nm。这样设置是由于该频段包含了生活中最为常见的紫外、可见和近红外光，有利于提高视觉传感器采集信息的丰富度，拓宽视觉传感器的应用场景。

作为本发明的进一步优选方案，前处理对应的光信号分别为：

图像的加密施加紫外光；

图像的解密施加红光；

图像的销毁施加紫外光；

图像的去噪先施加紫外光和蓝光，再施加红光；

其中，紫外光的光波长范围为200～400nm，蓝光的光波长范围为400～500nm，红光的光波长范围为600～800nm。

作为本发明的进一步优选方案，前处理对应的光信号分别为：

图像的加密施加紫外光；

图像的解密施加红光；

图像的销毁施加紫外光；

图像的去噪先施加紫外光和蓝光，再施加红光；

所述紫外光的光波长为350nm，所述红光的光波长为650nm，所述蓝光的光波长为450nm。

第二方面，为实现上述发明目的，本发明还提供了一种图像原位物理加密方法，包括以下步骤：

采用感算一体模块感知外界视觉图像，然后利用光信号对感知图像进行包含图像的加密、解密、销毁和去噪在内的前处理，得到前处理后的图像；

采用存算一体模块接收前处理后的图像，对前处理后的图像进行包含图像的编码、识别和分类在内的后处理，并存储用于图像后处理的权重因子。

本发明的有益效果如下：

(1)本发明提出的具有加密功能的神经形态视觉传感器，为感存算一体架构，能够集视觉信息采集、处理和存储于一体，大幅度提高信息处理效率，降低能耗；同时，该神经形态视觉传感器是基于具有独特光电特性(波长依赖性和光照历史依赖性的双向持续光电导效应)的忆阻器制备，具有原位加密功能，可从根本上保障信息安全。本发明解决了现有视觉传感器因信息采集、处理和存储空间分立而导致的视觉信息传输带宽限制问题，极大提高了整个视觉系统的处理效率，且解决了视觉传感器的信息安全风险问题；

(2)现有视觉传感器硬件配置有限，其算力无法支撑复杂的加密算法，导致目前在传感端仍难以实现信息的原位加密，针对上述问题，本发明提出的一种图像原位物理加密方法，采用具有加密功能的神经形态视觉传感器，首次在视觉传感器内实现图像的原位加密，并且加密是基于物理手段实施，能够有效抵抗机器学习攻击，具有极高的安全性。

附图说明

图1为本发明实施例提供的具有加密功能的神经形态视觉传感器架构图。

图2为传统视觉传感器架构图。

图3为本发明实施例提供的图像原位物理加密方法流程图。

图4为本发明实施例提供的制备光电忆阻器的结构示意图，其中，1表示顶电极层，2表示中间介质层，3表示底电极层，4表示衬底。

图5为本发明实施例提供的制备光电忆阻器的正向持续光电导效应曲线分布图。

图6为本发明实施例提供的制备光电忆阻器的负向持续光电导效应曲线分布图。

图7为本发明实施例提供的制备光电忆阻器的复位因子与波长的关系图。

图8为本发明实施例提供的制备光电忆阻器的复位因子与置位方案的关系图。

图9为本发明实施例提供的具有加密功能的神经形态视觉传感器实施图像传感、加密和解密的流程图。

图10为本发明实施例提供的图像“A”的加密流程图。

图11为本发明实施例提供的图像“A”的动态解密流程图。

图12为本发明实施例提供的具有加密功能的神经形态视觉传感器实施图像后处理流程图。

图13为本发明实施例提供的“A～Z”26个字母探测图像、加密图像和解密图像对应的特征向量分布图。

图14为本发明实施例提供的制备的光电忆阻器在光信号刺激下实现电导态连续的可逆调控分布图。

图15为本发明实施例提供的“A～Z”26个字母探测图像、加密图像和解密图像对应的被识别的准确率分布图。

图16为本发明实施例提供的图像“A”加密图像和解密图像的销毁流程图。

图17为本发明实施例提供的带有噪声的图像“A”去噪、加密和解密过程的示意图。

图18为本发明实施例提供的带有噪声的图像“A”去噪、加密和解密过程的实验结果分布图。

具体实施方式

下面结合附图及具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。下列实施例中未注明具体条件的操作方法，通常按照常规条件，或按照制造厂商所建议的条件。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。

如图1所示，实施例提供了一种具有加密功能的神经形态视觉传感器，包括以下模块：

感算一体模块，用于感知外界视觉图像，然后利用光信号对感知图像进行包含图像的加密、解密、销毁和去噪在内的前处理，得到前处理后的图像；

存算一体模块，用于接收前处理后的图像，对前处理后的图像进行包含图像的编码、识别和分类在内的后处理，并存储用于图像后处理的权重因子。

本实施例提供的神经形态视觉传感器架构如图1所示，包括感算一体模块和存算一体模块，其中感算一体模块为神经形态光电测探模块，负责图像的传感、加密、解密、销毁和去噪，存算一体模块负责图像的编码、识别和分类。

传统视觉传感器架构如图2所示，自左而右依次为光电探测器、处理单元和存储单元，显然信息采集、处理和存储在空间上是各自分立的。

图3是本发明实施例提供的图像原位物理加密方法流程图，采用了具有加密功能的神经形态视觉传感器。

本实施例中，感算一体模块和存算一体模块由同一种光电忆阻器组成。本实施例制备的光电忆阻器的结构示意图如图4所示，忆阻器从下至上依次包括衬底4、底电极层3、中间介质层2和顶电极层1，光照通过顶电极层1输入。

底电极层3的材料采用铂，其厚度为175nm；中间介质层2的材料采用氧化铟镓锌(IGZO)，其厚度为55nm，其中缺氧IGZO层厚度为20nm，富氧IGZO层厚度为35nm；顶电极层1材料采用金，其厚度为10nm。

本实施例的光电忆阻器的制备方法如下：

(1)利用电子束蒸发在衬底表面制备6nm厚的钛薄膜作为缓冲层，主要作用是增大铂金属薄膜与热氧化硅片的机械结合力，防止薄膜脱落；衬底为热氧化硅片，钛薄膜形成于热氧化硅片长有二氧化硅层的一面；

利用电子束蒸发在钛薄膜上制备175nm厚的铂薄膜作为底电极层；

(2)采用磁控溅射结合掩膜板的方法在底电极层上制备IGZO薄膜；

溅射参数如下：

以IGZO作为溅射靶材，其中富氧IGZO以高纯氩和高纯氧混合气作为溅射气体，缺氧IGZO是以高纯氩气为溅射气体；衬底温度为室温，制备IGZO薄膜，溅射功率为20～100W，温度为20～50℃，时间为1～120min；

(3)利用电子束蒸发结合掩膜板的方法在制备的IGZO薄膜上制作金顶电极层，厚度为10nm。

对本实施例制备的光电忆阻器进行光电性能测试，底电极层3接地，电压施加在顶电极层1，光照通过顶电极层1输入。图5为本实施例制备的光电忆阻器在350nm紫外光照射下的正向持续光电导响应，表现为器件电导增大且具有非易失性。图6为本实施例制备的光电忆阻器在650nm红光照射下的负向持续光电导响应，表现为器件电导降低且具有非易失性。

图7为本实施例制备的光电忆阻器复位因子随波长的关系，波长越短，复位因子越大，其中复位因子代表了光诱导电导降低的程度，复位因子越大(越小)表示光诱导电导降低程度越大(越小)。由此可见，该光电忆阻器具有波长依赖性和光照历史依赖性的双向持续光电导效应，该效应是实现图像原位物理加密的关键。

图8为实施例制备的忆阻器复位因子与置位方案的关系，其中350nm光照射后的器件比450nm光照射具有更大的复位因子；器件先用450nm光照射再用350nm光照射与两次均用350nm光照射，复位因子大体相同。该实验表明350nm光可用于销毁视觉信息。

基于制备的光电忆阻器构建了5*5的阵列用于验证图像的传感、加密、解密、销毁等功能。图9为本发明实施例提供的具有加密功能的神经形态视觉传感器实施图像传感、加密和解密的流程图，其中图像传感采用450nm的光照，图像加密采用350nm光照，图像解密采用650nm光照。图10为图像“A”的加密过程，首先光电忆阻器阵列探测到图像“A”(注：图像灰度由器件电导体现)，随后对图像加密，加密后的图像难以分辨；图11为图像“A”的动态解密过程，可以看到加密图像在解密光照射下逐渐清晰。

图12为本发明实施例提供的具有加密功能的神经形态视觉传感器实施图像后处理流程图。光电忆阻器阵列每列上施加电压(0.1V)，读取阵列每一行器件的电流值，以此作为该图像特征向量，然后输入到光电忆阻器神经网络中进行训练和识别。图13为提取的“A～Z”26个字母探测图像、加密图像和解密图像对应的特征向量。图14为实施例制备的光电忆阻器在光信号刺激下实现电导态连续的可逆调控，用于光电忆阻器神经网络的权重更新。

图15为“A～Z”26个字母原始图像、加密图像和解密图像对应的被识别的准确率，发现原始图像和解密图像具有较高的识别准确率，而加密后的图像识别准确率很低，表明本发明提出的图像原位物理加密方法可以很好地抵抗神经网络攻击。图16为“A”加密图像和解密图像的销毁过程，图像经过350nm紫外光照射后，图像特征全部消失，而且即使在解密光照射下也不会复原，信息的物理销毁可以有力保障信息安全。

本发明提出的一种具有加密功能的神经形态视觉传感器及图像原位物理加密方法，还可以在传感器内实现对噪声图像的加密和降噪一体。图17为带有噪声的图像“A”去噪、加密和解密过程的示意图，此处降噪采用的光为450nm的蓝光，加密光为350nm紫外光，解密光为650nm红光。从图中可以看到，噪声图像经过加密解密过程后，噪声大幅度降低。图18为带有噪声的“A”图像去噪、加密和解密实验结果，其中，m表示噪点的个数，可以看到经过去噪处理后的图像特征显著提高。

基于同样的发明构思，本发明实施例还提供了一种图像原位物理加密方法，包括以下步骤：

采用感算一体模块感知外界视觉图像，然后利用光信号对感知图像进行包含图像的加密、解密、销毁和去噪在内的前处理，得到前处理后的图像；

采用存算一体模块接收前处理后的图像，对前处理后的图像进行包含图像的编码、识别和分类在内的后处理，并存储用于图像后处理的权重因子。

以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。