一种基于折叠式超构表面的全光图像识别探测器及方法

技术领域

本方法属于微纳光学的应用技术领域，涉及一种基于折叠式超构表面的全光图像识别探测器及方法。

背景技术

目前国内外学者针对多层衍射深度神经网络进行图像处理有着非常出色的工作，可以模拟传统深度学习中的全连接神经网络、卷积神经网络等，且效果喜人。但目前的研究无法实现衍射深度神经网络芯片化。此外，绝大多数学者都对采用超构表面作为光子神经网络的载体提出了展望，但未能真正的发挥出超构表面的优势。

为了提高基于衍射深度神经网络探测器的识别准确率，采用增加衍射层数量的策略是一个较为主流的方法。目前搭建多层衍射深度神经网络的物理架构，均使用纵向堆叠的方式，这必将使得整个网络变得臃肿，很难适应于体积要求较高的工作条件，也成为了衍射深度神经网络走向芯片化亟需解决的一大挑战。近年来，由于人工智能与光学结合的兴起，超构材料的出现，超构表面作为超构材料的二维形式，可以实现几乎任意的电磁波波前调控，此独特优势与衍射神经网络具有天然的契合度。

发明内容

本发明基于目前超构表面能够完全独立调控光波前的技术能力，及超薄、超平的技术特点，设计了一种折叠式超构表面方案；为实现衍射深度神经网络芯片化提供了可行的方案，推动光子计算的发展。

为了实现上述目的，本发明采用的技术方案为一种基于折叠式超构表面的全光图像识别探测器，由多层折叠式超构表面通过衍射方式与反射方式堆叠后，并与CMOS图像处理芯片集成；所述的折叠式超构表面与CMOS图像处理芯片之间通过光学胶粘合。

每一层折叠式超构表面由透明电介质基底、银制反射层、超构单元阵列组成，所述银制反射层设置于透明电介质基底上，银制反射层上阵列布置有超构单元阵列；各所述超构单元阵列之间通过光衍射、光反射连接，各层所述折叠式超构表面基于光衍射连接(二维)，采用光衍射、光反射综合实现各层折叠式超构表面之间的互连；所述的超构单元阵列由电介质纳米柱结构单元阵列布置组成。

进一步地，所述折叠式超构表面基于光衍射、反射设计，获得折叠式超构表面的深度衍射神经网络的物理架构，并确定此物理架构的各个神经元参数；使用深度学习算法构建上述物理架构的数学模型，计算、优化、迭代、更新神经元参数，获得用于图像识别的各层折叠式超构表面中每个电介质纳米柱结构单元的相位信息，得到深度衍射神经网络的最终神经元参数。所述的神经元参数指的是光学相位、振幅信息，对应折叠式超构表面中的电介质纳米柱结构单元阵列之间的光学相位、振幅信息。

进一步地，各层所述折叠式超构表面基于光衍射连接中，将神经元的光学相位作为权重，而折叠式超构表面的物理模型上每一点均为一个次级波的子波源，下一层折叠式超构表面的某一个神经元的输入定义为上一层所有神经元的输出于自由空间衍射后在该神经元的叠加结果，采用的是纯相位调控型神经网络。所述的神经元指的是电介质纳米柱结构单元。

进一步地，在对各层折叠式超构表面进行集成时，层与层之间的折叠式超构表面距离R按照深度衍射神经网络的训练过程进行，即

进一步地，采用衍射传播函数训练神经元的相位值，即通过光学衍射正向计算网络的输出，并结合误差反向传播算法优化目标函数，实现折叠式超构表面的深度衍射神经网络，得出每层折叠式超构表面的神经元光学相位信息，与数据库进行比对选择后，获得电介质纳米柱结构。

进一步地，所述信号光为用于图像识别的532nm的可见光单波长，采用由所述折叠式超构单元阵列之间通过光折射连接组成的反射式超构表面实现，考虑到信号光采用倾斜入射至折叠式超构表面处，上述反射式超构表面采用P-B相位形式对入射光相位信息进行调节，以提高衍射效率。

进一步地，所述的数据库中，使用计算机FDTD软件仿真出电介质纳米柱结构，基于532nm波长的入射光产生的电介质纳米柱结构的光学相位、振幅信息变化，从而组建。在数据库中筛选出多组转化效率高的电介质纳米柱结构作为备选结构，通过对入射光倾斜角调整，产生的光学相位与各备选结构产生的基础相位做差，得到各个备选结构的相位差；根据基础相位和相位差综合考量，选择实际相位差之和最小的结构及尺寸作为折叠式超构表面的最终尺寸。设计出各折叠式超构表面的结构和版图来制备样品，采用针对于高精度小面积加工的共形填充工艺，通过电子束曝光(EBL)、原子层沉积等制造出高精度的超构表面。

进一步地，所述折叠式超构表面采用对应波段中光学响应极好的材料TiO

本发明基于超构表面超薄、超平的优势之外，采用光学衍、反射实现各个衍射层之间的光学互连，即利用折叠式超构表面搭载衍射深度神经网络的探测器，极大的降低了器件的体积，不仅如此，还将其与CMOS图像处理芯片集成，踏入了衍射深度神经网络芯片化，这无疑是解决上述问题绝佳的方案。

此技术基于光学反射原理实现多层超构表面之间的信息传输，并与CMOS感光器件集成而成，其中每一层超构表面由透明电介质基底、银制的反射层和一层电介质纳米柱结构二维阵列组成。通过深度衍射神经网络算法训练出满足特定功能的全光深度衍射神经网络，计算得出整个超构表面的物理信息；随后，将各个超构表面按照设计要求进行加工制造；最后将设计制造完成的多层超构表面与CMOS感光芯片集成，经过COMS处理器处理，最终实现既定的目标识别任务。

相比于现有的光学深度衍射神经网络，本发明利用光学衍、反射原理，极大的减少了神经网络的物理尺寸为实现光学深度衍射神经网络芯片化提供较高的实验价值。

本发明的目的是提供一种基于折叠式超构表面的全光图像识别探测器，通过采用衍、反射实现各个超构表面之间的光学互连，再与CMOS图像处理芯片集成，以实现图像识别。

本发明相对于现有的技术具有如下的优点及效果：

1、本发明采用了多层衍射神经网络对超构表面的相位进行训练，并通过有效的物理手段实现，可以极大的提高此神经网络的鲁棒性及图像识别的准确率，使其能够媲美纵向堆叠的衍射深度神经网络。

2、本发明创新性地将一个多层衍射神经网络采用折叠式的物理架构进行建模，在确保高精度的识别准确率前提下，极大缩小器件本身的尺寸。

3、本发明将多层超构表面直接集成在CMOS图像处理芯片上，CMOS图像处理芯片可以直接提取光强信息，为实现衍射深度神经网络芯片化提出了一个较为可行的方案。

附图说明

图1为本发明的设计流程图与制备流程图。

图2为本发明的器件原理图，其中，超构表面1只用于实现光束偏折；超构表面2、3则是通过深度学习训练得出的，起到对信号光的振幅和或相位的调制；器件4则为CMOS图像处理芯片感光区域。

图3为本发明中超构表面单元的结构示意图。

图4为基于角谱衍射传输的倾斜角谱传输方式示意图。

图5为本发明的算法设计、加工集成、评价测试整体示意图。

具体实施方式

以下结合附图和实施例对本发明进行详细说明。

进一步地，基于折叠式超构表面的全光图像识别探测器的实现方法中，包括折叠式超构表面设计方法与折叠式超构表面制备方法；

所述折叠式超构表面设计方法中：基于光学折反射设计出折叠式超构表面的深度衍射神经网络的物理架构，并确定此物理架构的各个神经元参数；使用深度学习算法构建折叠式超构表面的物理模型，计算、优化、迭代、更新神经元参数，获得用于图像识别的各层折叠式超构表面中每个单元的相位信息，得到深度衍射神经网络的最终参数。所述的神经元参数指的是光学相位、振幅信息，对应折叠式超构表面中的电介质纳米柱结构单元阵列之间的光学相位、振幅信息。

利用光在通过衍射层发生的衍射来连接各个层级，将神经元的相位作为权重，而衍射层上的每一点均为一个次级波的子波源，下一层某一个神经元的输入定义为上一层所有神经元的输出于自由空间衍射后在该神经元的叠加结果，采用的是纯相位调控型神经网络。

采用特定的衍射传播函数训练神经元的相位值，即通过光学衍射正向计算网络的输出，并结合误差反向传播算法优化目标函数，实现理想网络架构的设计，得出每层超构表面单元的相位信息，再通过对已建立的数据库进行检索，匹配出指定相位的纳米柱结构。在对超构表面进行集成时，层与层之间的距离严格按照衍射神经网络训练的过程进行，即

所述折叠式超构表面设计方法中：用于图像识别的信号光为532nm的可见光单波长，采用由所述超构单元阵列之间通过光折射连接组成的反射式超构表面实现，考虑到信号光采用倾斜入射至折叠式超构表面处，上述反射式超构表面采用P-B相位形式对入射光相位信息进行调节，以提高衍射效率。

所述折叠式超构表面设计方法中：根据米氏共振原理，使用计算机FDTD软件仿真出电介质纳米柱结构，基于532nm波长的入射光产生的电介质纳米柱结构的光学相位、振幅信息变化，从而组建出数据库。在数据库中筛选出多组转化效率高的结构作为备选结构，通过对入射光的倾斜角调整，产生的相位与各备选结构产生的基础相位做差，得到各个备选结构的相位差；根据基础相位和相位差综合考量，选择实际相位差之和最小的结构及尺寸作为折叠式超构表面的最终尺寸。设计出各折叠式超构表面的结构和版图来制备样品，采用针对于高精度小面积加工的共形填充工艺，通过电子束曝光(EBL)、原子层沉积等制造出高精度的超构表面。

所述折叠式超构表面制备方法中：采用对应波段中光学响应极好的材料(TiO

所述折叠式超构表面制备方法中：本发明的超构表面仅使用波长为532nm的可见光作为实验信号光，但可在从紫外到红外的大波段范围内使用，通过选择不同尺寸的纳米结构构造不同折射率，将其与数据库匹配，具有宽带实现图像识别的优点。

实施例

基于折叠式超构表面的全光图像识别探测器的实现方法中，主要包括三大部分：折叠式超构表面的设计、超构表面的设计与制造以及与CMOS图像处理芯片的集成方案，其具体的流程如图1所示。

折叠式超构表面的设计，图像识别的实现方法：利用光学衍、反射原理，设计出折叠式超构表面深度衍射神经网络的物理架构，如图2所示，确定此物理架构的各个参数；使用深度学习算法构建折叠式超构表面的物理模型，计算、优化、迭代、更新神经元参数，获得用于图像识别的各层超构表面中每个单元的相位信息，得到神经网络的最终参数。此次用于图像识别的光信号为532nm的可见光单波长，采用反射式超构表面，考虑此方案的信号光采用倾斜入射至超构表面处，因此超构表面单元采用P-B相位形式对入射光相位信息进行调节，以提高衍射效率。根据米氏共振原理，使用计算机FDTD软件仿真出高度一定，长短轴尺寸在30nm到150nm范围内的椭圆纳米柱，在532nm波长的入射光下产生的相位变化，从而组建出数据库。再数据库中筛选出多组偏振转化效率高的结构作为备选结构，通过对入射光倾斜角做小幅度的调整，产生的相位与各自备选结构产生的基础相位做差，得到各个备选结构的相位差，最终根据基础相位和相位差综合考量，选择实际相位差之和最小的结构及尺寸作为最终结构尺寸。通过上述操作设计出各个衍射层的结构和版图来制备样品，我们采用针对于高精度小面积加工的共形填充工艺，通过电子束曝光(EBL)、原子层沉积等制造出高精度的超构表面。

一种基于折叠式超构表面的全光图像识别探测器的制作方法：采用对应波段中光学响应极好的材料(TiO

为了使本发明方案的原理及优点更加清楚明白，以设计手写数字0、手写数字1作为图像识别对象为例，对本发明进行进一步详细的说明。应当理解，此处描述仅用以解释本发明，并不用于限定本发明。

图1为本发明的设计流程图与制备流程图。

图2为本发明的器件原理图，其中，超构表面1只用于实现光束偏折；超构表面2、3则是通过深度学习训练得出的，起到对信号光的振幅和或相位的调制；器件4则为CMOS图像处理芯片感光区域。本发明采用衍、反射综合实现衍射层之间的互连，从而极大的缩减了衍射神经网络的尺寸。

图3为本发明中超构表面单元的结构示意图。

衍射神经网络的正向传播过程基于傅里叶光学中的角谱衍射理论，首先给出正向传播计算公式——瑞利索末菲衍射公式的脉冲响应函数，即传递函数：

其中

考虑到此项专利中各个衍射层之间的信号光与衍射表面不相互垂直，无法采用经典的角谱衍射理论，因此本发明基于角谱衍射传输推导了一种适用于本专利的倾斜角谱传输方式。如图4所示，其中P

P

上式说明，可以将g(x,y,0)看成是一系列波前的叠加：

u(x,y,z＝0；f

其中，G(f

则振幅为A，波向量为k的平面波可表示为：

其中：

k＝2π[f

其中，

同理，P

和公式6类似，可以得到：

其中，

公式6、8中的波向量k、

假定变换矩阵为：

这意味着P

则P

对

因此，当利用频率空间的坐标变换来表示

由于本文讨论的光束偏折情况为P

把式16代入到式11、12得到：

则P

因此，P

上述论证了信号光在经过反射后，倾斜衍射的转化方式。随后各个衍射层之间的连接仍与经典的衍射理论一致。

定义衍射神经网络第l+1层光场的复振幅函数表达形式为：

其中

进一步得到最后一层衍射层的输出光场的光强分布：

正向传播结束后，进行反向优化过程，定义损失函数为最后一层输出光场与理论目标光场的均方差，对输出光场进行梯度化处理并简化后得到第L层为：

如上所述，采用特定的衍射传播函数训练神经元的相位值，即通过光学衍射正向计算网络的输出，并结合误差反向传播算法优化目标函数，实现理想网络架构的设计，得出每层超构表面单元的相位信息，再通过对已建立的数据库进行检索，匹配出指定相位的纳米柱结构，即图3中结构参数a,b,θ。至此，便成功搭建了一个基于超构表面的衍射神经网络，得到了如图2所示的具备图像识别的折叠式衍射神经网络。在对超构表面进行集成时，层与层之间的距离严格按照衍射神经网络训练的过程进行，即

图5为本发明的研究内容体系框架，在设计衍射神经网络时，本发明类比传统的神经网络的实现过程，以惠更斯—菲涅尔理论为基础，利用光在通过衍射层发生的衍射来连接各个层级，将神经元的相位作为权重，而衍射层上的每一点均为一个次级波的子波源，下一层某一个神经元的输入定义为上一层所有神经元的输出于自由空间衍射后在该神经元的叠加结果，本发明采用的是纯相位调控型神经网络。

以上介绍了超构表面的设计、制造及功能原理，以下为片上集成方法：根据探测器工作距离的不同，当工作距离较小时，可以直接用光学透明粘合剂与CMOS图像处理器在保持较短距离的情况下进行胶合，当工作距离较大时，通过定制特定厚度的光学玻璃，重复上述胶合过程即可实现集成，获得基于多层超构表面衍射的用于目标识别与追踪的探测器。本发明提出的一种基于折叠式超构表面的全光图像识别方法中，利用光学衍、反射实现平面横向分布的超构表面实现光学互联且与CMOS图像处理芯片集成，可实现对目标图像的识别，具极速响应、超低功耗、结构紧凑、集成度高等优点。