基于交叉注意力扩散模型的超原子结构设计方法、产品、介质及设备

技术领域

本发明涉及纳米结构设计技术领域，特别是涉及一种基于交叉注意力扩散模型的超原子结构设计方法、产品、介质及设备。

背景技术

控制光在亚波长天线上的传播和耦合是许多纳米级光学器件的关键前提。超表面是一种由亚波长尺寸的单元结构或超原子组成的二维平面电磁人工材料。超原子(Meta-Atom)通常用来描述一种人工设计的微纳结构单元，其形状和尺寸可以被设计用来与入射的光相互作用，从而改变散射光的方向、强度和偏振等性质，实现对光的调控。在超原子结构设计领域，逆向设计是指通过对目标性能的定义，通过数值模拟和优化算法自动设计出具有所需性能的器件结构。传统的经验设计方式通常采用经验法或优化法，这些方法需要大量的试错实验或数值模拟，从而耗费大量的计算资源和时间，同时设计出来往往也会受到尺寸限制和物理原理的制约，难以达到设计目标。深度学习技术可以通过学习大量数据来建立超原子性能与结构的映射关系，相比于传统设计方法，其可以快速预测出新的设计方案，加速设计过程，学习到纳米器件结构与性能之间的非线性关系，实现更高精度的逆向设计。目前已有研究将生成式模型(如生成对抗网络)应用到超原子结构逆向设计领域，但随着生成式模型的不断发展以及扩散模型在图像生成方面的优秀表现，对比之下生成对抗网络的不足开始凸现，生成对抗网络存在训练困难和不稳定、生成结构自由度低以及生成结构的光谱准确率不足的问题。

发明内容

本发明的目的是提供一种基于交叉注意力扩散模型的超原子结构设计方法、产品、介质及设备，以提高生成超原子结构的质量、自由度和光谱准确率。

为实现上述目的，本发明提供了如下方案。

一方面，本发明提供一种基于交叉注意力扩散模型的超原子结构设计方法，包括：

设计多种超原子结构并生成对应的超原子结构图像；

通过编写时域有限差分方法脚本语言，获取每种超原子结构仿真后的散射光谱；

收集超原子结构图像和对应的散射光谱作为原始数据集；

使用深度残差网络搭建正向预测模型；所述正向预测模型的输入为超原子结构图像，输出为预测的散射光谱；

使用交叉注意力扩散模型搭建逆向设计模型；所述逆向设计模型的输入为散射光谱，输出为对应的超原子结构图像；

利用原始数据集分别对正向预测模型和逆向设计模型进行训练和测试，得到训练好的正向预测模型和逆向设计模型；

使用训练好的逆向设计模型生成单个目标光谱的批量超原子结构图像；

使用训练好的正向预测模型筛选出批量超原子结构图像中的最优超原子结构。

可选地，所述设计多种超原子结构并生成对应的超原子结构图像，具体包括：

设计具有不同形状参数的多种超原子结构；

基于形状参数在仿真区域构建超原子结构；

读取仿真区域的折射率，折射率为0的区域为空区域，折射率为1的区域为结构区域，将折射率数据归一化处理后得到的二值图像作为对应的超原子结构图像。

可选地，所述通过编写时域有限差分方法脚本语言，获取每种超原子结构仿真后的散射光谱，具体包括：

通过编写时域有限差分方法脚本语言对仿真区域构建的每种超原子结构进行仿真，收集后向散射中400-800nm波段的散射光谱。

可选地，所述使用深度残差网络搭建正向预测模型，具体包括：

使用Resnet-50网络搭建正向预测模型，将Resnet-50网络输入层中conv1部分的二维卷积函数conv2d()的输入通道修改为1，输出通道仍旧为64；在Resnet-50网络的全连接输出层中，修改线性层的一维特征向量长度为1024，并添加Dropout()层和线性层控制一维特征向量输出长度为原始数据集中的散射光谱长度，最后添加Sigmoid()激活函数将一维特征向量压缩到0到1。

可选地，所述使用交叉注意力扩散模型搭建逆向设计模型，具体包括：

使用交叉注意力机制和乘法嵌入相结合的条件嵌入方式改进DDPM模型，生成交叉注意力扩散模型；所述交叉注意力扩散模型包括残差卷积模块、下采样模块、上采样模块、时刻和光谱线性嵌入模块以及交叉注意力嵌入模块；

使用交叉注意力扩散模型搭建逆向设计模型。

可选地，所述利用原始数据集对正向预测模型进行训练和测试，得到训练好的正向预测模型，具体包括：

将原始数据集按照8:2的比例划分为训练集和测试集；

利用训练集和测试集分别对正向预测模型进行训练和测试，得到训练好的正向预测模型；测试过程中，所述正向预测模型预测光谱的平均准确率采用公式

可选地，所述利用原始数据集对逆向设计模型进行训练和测试，得到训练好的逆向设计模型，具体包括：

将原始数据集按照9:1的比例划分为训练集和测试集；

利用训练集和测试集分别对逆向设计模型进行训练和测试，得到训练好的逆向设计模型；训练过程中，基于扩散概率理论，分前向扩散和后向还原两部分来训练逆向设计模型。

另一方面，本发明还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述基于交叉注意力扩散模型的超原子结构设计方法。

另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于交叉注意力扩散模型的超原子结构设计方法。

再一方面，本发明还提供一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现所述基于交叉注意力扩散模型的超原子结构设计方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开的一种基于交叉注意力扩散模型的超原子结构设计方法，通过时域有限差分方法获取原始数据集；通过残差神经网络训练散射光谱正向预测模型；通过交叉注意力扩散模型搭建以光谱为输入、结构图像为输出的逆向设计模型；通过正向模型协同交叉注意力扩散模型筛选最优超原子结构，能够提高生成结构的准确率。对比生成对抗网络，本发明交叉注意力扩散模型的训练过程更加稳定，生成结果具有更高质量、自由度和精度。本发明使用交叉注意力机制结合乘法嵌入的方式，提高了交叉注意力扩散模型在结构设计上的质量和准确率。利用交叉注意力扩散模型高自由度的特点，通过正向预测模型和逆向设计模型的协同作用，实现了对超原子结构的高精度逆向设计。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于交叉注意力扩散模型的超原子结构设计方法的流程图；

图2为本发明的正向预测和逆向设计原理示意图；

图3为不同超原子结构种类示意图；

图4为超原子仿真区域示意图；

图5为交叉注意力扩散模型的Unet架构图；

图6为交叉注意力实现原理图；

图7为正向预测模型CNN和Resnet预测结果分布图；

图8为交叉注意力DDPM协同Resnet筛选最优超原子结构的过程示意图；

图9为cDCGAN和交叉注意力DDPM生成超原子结构质量和自由度对比示意图；

图10为筛选出的最优超原子结构的目标光谱和生成结构光谱对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一种基于交叉注意力扩散模型的超原子结构设计方法、产品、介质及设备，以提高生成超原子结构的质量、自由度和光谱准确率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1和图2，本发明提供的一种基于交叉注意力扩散模型的超原子结构设计方法，包括：

步骤1：设计多种超原子结构并生成对应的超原子结构图像。

所述步骤1具体包括：

步骤1.1：设计具有不同形状参数的多种超原子结构。

参见图3所示的超原子结构种类示例，本发明设计了扇形圆环、椭圆、交叉矩形、L型矩形、矩形、矩形/椭圆或椭圆/矩形的左右组合以及矩形/椭圆或椭圆/矩形的上下组合等多种超原子结构。并且在仿真区域范围内针对不同形状的超原子结构生成了不同的形状参数，例如扇形圆环包括内径、外径、扇形起始角度和终止角度四个形状参数，椭圆包括长轴、短轴和旋转角度三个形状参数，矩形包括长、宽和旋转角度三个形状参数，L型矩形包括外长、外宽、内长、内宽和旋转角度五个形状参数，交叉矩形包括矩形一长、矩形一宽、矩形一旋转角度、矩形二长、矩形二宽和矩形二旋转角度六个形状参数，剩余两个结构也包括六个形状参数(两组长、宽和旋转角度，或者长轴、短轴和旋转角度)。在本发明实施例中，针对扇形圆环、椭圆、交叉矩形、L型矩形、矩形、矩形/椭圆或椭圆/矩形的左右组合以及上下组合七种超原子结构分别随机筛选了2000、2000、4000、6000、6000、6000和6000组形状参数数据，共选择了32000组结构图像形状参数数据，然后将结构的形状参数数据转化为64×64像素值的二值图像。

步骤1.2：基于形状参数在仿真区域构建超原子结构。

如图4超原子仿真区域示意图所示，本发明实施例设计了800nm×800nm的结构仿真区域，超原子结构高度固定为200nm。将每种超原子结构的形状参数数据写入文本文档，使用时域有限差分法(Finite difference time domainmethod，FDTD)读取形状参数文档并在仿真区域构建出对应的超原子结构。

步骤1.3：读取仿真区域的折射率，折射率为0的区域为空区域，折射率为1的区域为结构区域，将折射率数据归一化处理后得到的二值图像作为对应的超原子结构图像。

使用一个监视器读取仿真区域的折射率，折射率为0的区域为空区域，折射率为1的区域则为结构区域，将折射率数据再导出到文本文档，其中每12.5nm为一个像素点，归一化处理后即为64×64像素值的二值图像。

之前研究者的实验，如核壳结构设计等往往使用固定几个参数，比如使用五个固定范围内的参数表示核壳结构五个层的厚度，来表示某一具体结构，这样就将核壳结构限制在了五层范围内。而本发明选择使用图像表示超原子结构，这种表示方法将超原子结构使用一维数据表示提升到了区域内二维数据表示，使结构不局限于几个固定的参数，从而在结构自由度上有更高的表现，能够充分利用生成式模型在结构设计上的可能性。

步骤2：通过编写时域有限差分方法脚本语言，获取每种超原子结构仿真后的散射光谱。

使用FDTD脚本语言读取步骤1中所保存的不同超原子结构形状参数的文本文档，根据形状参数在仿真区域构建超原子结构进行仿真，监视器收集后向散射中400-800nm波段的散射光谱，每个光谱由400个点组成，数据预处理后得到共32000组[结构图像，散射光谱]数据作为原始数据集。

步骤3：收集超原子结构图像和对应的散射光谱作为原始数据集。

将每张超原子结构图像和对应的散射光谱数据存储为原始数据集。

步骤4：使用深度残差网络搭建正向预测模型；所述正向预测模型的输入为超原子结构图像，输出为预测的散射光谱。

Resnet网络主要种类包括ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152等，它们之间的区别主要在于层数和结构的复杂度，后面的数字表示模型深度，深度更大的模型能学习更复杂的特征，但计算成本也更高，训练时间更长。经过对多种模型尝试，本发明最终调用了Resnet-50网络来搭建正向预测模型。对于Resnet-50网络模型，本发明首先修改输入层以契合本发明的原始数据集，修改了Resnet-50中conv1部分的二维卷积函数conv2d()的输入通道，将输入通道修改为1，输出通道为契合原模型仍旧为64。然后修改了输出层，在Resnet-50的FC层部分修改线性层的一维特征向量长度为1024，并添加Dropout()提高模型输出时的泛化能力，之后再添加一个线性层控制一维特征向量输出长度为数据集光谱长度400，最后添加Sigmoid()激活函数将一维特征向量压缩到0到1，从而搭建出本发明的正向预测模型，以实现根据超原子结构图像预测其散射光谱的目标。

为评估模型预测表现，需要定义模型预测的准确率，本发明定义了预测光谱的平均准确率，如公式(1)所示：

其中，T是真实光谱，T'是对超原子结构图像使用正向预测模型预测的光谱，f

步骤5：使用交叉注意力扩散模型搭建逆向设计模型；所述逆向设计模型的输入为散射光谱，输出为对应的超原子结构图像。

本发明使用在图像生成领域具有优秀表现的DDPM(Denoising DiffusionProbabilistic Models)为基础来搭建逆向设计模型，并使用交叉注意力机制和乘法嵌入相结合的条件嵌入方式改进DDPM模型，从而生成交叉注意力扩散模型。所述交叉注意力扩散模型具体包括残差卷积模块、下采样模块、上采样模块、时刻和光谱线性嵌入模块以及交叉注意力嵌入模块。这五个模块的构成如下：

①残差卷积模块：设置两个卷积层，卷积层均由二维卷积函数Conv2d()、归一化函数BatchNorm2d()和激活函数GELU()组成，卷积层一输入通道为in_channels，输出通道为out_channels，卷积层二输入通道和输出通道均为out_channels。设置判读是否进行残差的参数is_res，默认为False，若is_res＝False，则不进行残差，则返回输入特征数据经过两个卷积层后的结果；若is_res＝True则进行残差，则不改变通道，若in_channels和out_channels相等，卷积层二本身不改变通道数，输出则为原始图像和二次卷积图像的堆叠，若in_channels和out_channels不等，卷积层一将原始图像改变通道数至同out_channels一致，再输出一次卷积图像和二次卷积图像的堆叠。

②下采样模块：此模块的作用是负责Unet架构中特征提取功能。残差卷积模块(默认is_res为默认为False，即作用为卷积提取图像特征)后接上最大池化层，减少网络中的参数数量和计算量，同时保持特征图中最重要的特征。

③上采样模块：此模块的作用是对特征图数据进行上采样放大，再通过卷积层对放大后的特征图进行细化处理，所以结构为转置卷积函数ConvTranspose2d()后接残差卷积模块。上采样模块先接收特征图数据后，再接收下采样阶段处理后的跳远连接过来的特征图数据，两特征图数据拼接后再通过上采样模块处理。

④时刻和光谱线性嵌入模块：此模块的作用将随机采样的时刻t以及散射光谱c嵌入到Unet架构的上采样中以预测t时刻的噪声。所以此模块的结构为线性层、激活函数GELU()和线性层的拼接，第一个线性层接收随机时刻t或散射光谱c并将其映射到嵌入维度，经过激活函数处理后，第二个线性层再引入更多的线性变换。

⑤交叉注意力嵌入模块：此模块的作用是混合散射光谱和特征图像数据两个多模态信息。

构建完成此五个模块后，下一步是构建交叉注意力扩散模型的主体Unet架构，如图5所示，从左到右依次定义了三个下采样模块，一个向量变化处理和三个上采样模块。对每一层图像特征数据和光谱数据，在Unet下采样阶段采用交叉注意力嵌入模块处理后嵌入，上采样阶段采用时刻和光谱线性嵌入模块处理后乘法嵌入；对于时刻t嵌入，在Unet上采样阶段使用时刻和光谱线性嵌入模块处理后加法嵌入。通过下采样交叉注意力嵌入目标光谱，提高了模型在目标光谱指导下生成结构的质量，保证了生成结构规则，避免了实际制造中可能遇到的结构难以制作的问题，保证了易于制造性，上采样乘法嵌入目标光谱则提高了在目标光谱指导下生成结构光谱的平均准确率，达到了91.4％。

本发明交叉注意力嵌入的实现原理如图6所示，首先对结构图像高维特征数据x

其中，d是查询的特征维度，默认为64。之后使用Softmax函数进行归一化处理，获得权重系数，然后计算计算加权和得到注意力输出：

Output＝Softmax(Attention_score)·V)(3)

最后使用线性层对注意力输出Output进行线性变化得到x

本发明在DDPM中使用交叉注意力机制(Cross Attention)和乘法相结合的条件嵌入方法，既提高了生成结构的质量以保证易于制造性，又提高了生成结构的光谱的准确率。

步骤6：利用原始数据集分别对正向预测模型和逆向设计模型进行训练和测试，得到训练好的正向预测模型和逆向设计模型。

训练正向预测模型时，将原始数据集按照8:2的比例划分为训练集和测试集；利用训练集和测试集分别对正向预测模型进行训练和测试，得到训练好的正向预测模型。作为对比，使用CNN(卷积神经网络)搭建正向预测模型，其卷积层部分负责提取结构图像局部特征，全连接层部分负责将高维特征组合成输出，实现光谱预测。对6400条未参与训练的测试数据，通过以上公式(1)计算CNN预测的平均准确率为91.7％，而本发明Resnet网络预测的平均准确率达到了95.1％。可见本发明使用ResNet网络改进正向预测模型，可以构建更深的网络模型而不会严重受到梯度消失问题的影响，使其在预测光谱上拥有更好的表现，提高了预测光谱的平均准确率。对测试集6400条测试数据预测结果如图7所示，横坐标表示准确率，纵坐标表示预测结果为该准确率的测试数据数量，通过CNN和Resnet预测结果分布图可知，本发明采用的Resnet相比CNN具有更优秀的预测能力。

训练基于DDPM的逆向设计模型时，将原始数据集按照9:1的比例划分为训练集和测试集；利用训练集和测试集分别对逆向设计模型进行训练和测试，得到训练好的逆向设计模型。

为了训练DDPM逐渐去噪高斯噪声，并根据目标光谱要求生成新的超原子，基于扩散概率理论，分前向扩散和后向还原两部分来训练DDPM。首先是前向扩散过程，定义扩散最大步数T，通过逐步加噪，从原始超原子结构图像x

其中β

由分布(6)可知如果给定x

∈是二维标准高斯分布，表示一个随机噪声向量，目的是为了采样x

对于后向还原过程，为了从高斯分布中的样本

其中p

其中均值μ

其中均值表示为

使用重新参数化技巧，从前随机一个时间步长图像x

其中

作为对比，使用cDCGAN搭建逆向设计模型，实现根据散射光谱生成与其对应的超原子结构图像的目标。搭建cDCGAN，生成长度为200的潜在随机向量，拼接散射光谱和潜在随机向量，连同图像输入cDCGAN进行训练，实现生成器根据目标光谱生成对应超原子结构图像。使用正向预测模型Resnet预测生成结构的散射光谱，将cDCGAN与本发明基于DDPM的逆向设计模型预测光谱与目标光谱对比，由公式(1)计算可得cDCGAN模型生成结构平均准确率为84.1％，而本发明交叉注意力DDPM生成结构的光谱的平均准确率为85.2％。相比cDCGAN，DDPM在训练稳定性方面，避免了由GAN的对抗性训练过程引入的模型不稳定性；生成质量和准确率方面，DDPM方法优于cDCGAN方法，生成结构的光谱的平均准确率为85.2％；在探索范围方面，DDPM的生成结构具有更高的自由度，生成的探索范围更广。

步骤7：使用训练好的逆向设计模型生成单个目标光谱的批量超原子结构图像。

如图8所示，本发明通过多次采样结构图像大小的高斯噪声，联合目标光谱，使用训练好的逆向设计模型多次生成单个目标光谱的批量超原子结构图像。cDCGAN和本发明交叉注意力DDPM生成超原子结构质量和自由度对比示例图如图9所示，可见在生成质量上，cDCGAN生成结构不规则且区域分散，在实际应用中可能会出现难以制造的情况，相比之下本发明交叉注意力DDPM生成结果质量更高；在自由度上，对单一目标光谱，通过对cDCGAN随机采样潜向量、DDPM随机采样高斯噪声，cDCGAN对应同一目标光谱生成结构差异很小，而本发明交叉注意力DDPM对应同一目标光谱可生成多种不同类型的结构，本发明交叉注意力DDPM在光谱对结构一对多问题上拥有更高的生成自由度和更广的探索空间。

本发明使用训练好的逆向设计模型对单个目标光谱进行超原子结构图像的批量生成，对比cDCGAN而言生成质量更高，生成结果更具多样性，实现了根据目标光谱高质量、高自由度生成超原子结构图像。

步骤8：使用训练好的正向预测模型筛选出批量超原子结构图像中的最优超原子结构。

本发明通过DDPM批量生成超原子结构图像，协同正向模型Resnet筛选批量生成的结果，实现局部最优结构筛选，实现了根据目标光谱的高准确率生成。

具体参见图8，本发明通过训练好的交叉注意力扩散模型批量生成结构图像，协同正向预测模型，使用Resnet预测结构图像的散射光谱。通过与目标光谱求绝对误差，选择误差最小的局部最优结构作为最优超原子结构，进一步提高了生成结构光谱的平均准确率。

筛选出的最优超原子结构的目标光谱和生成结构光谱对比结果如图10所示，这里随机展示了4个目标光谱定制生成超原子结构示例，左侧是经过局部最优筛选后的最优超原子结构，右侧光谱中蓝色曲线为目标光谱，黄色曲线为预测光谱。若想要获得契合目标光谱的超原子结构，需要将目标光谱输入到交叉注意力DDPM，然后根据Resnet对光谱的预测结果筛选出最优超原子结构，根据右侧光谱中黄色曲线和蓝色曲线的对比可以看到二者已经达到十分契合的程度，表明生成的最优超原子结构取得了良好的准确率。当使用300个测试数据，每条测试数据生成数量为30时，300个测试数据最优超原子结构的光谱平均准确率达到了94.8％，可见本发明方法实现了根据目标光谱的超原子结构的高准确率生成。

本发明提供的一种基于交叉注意力扩散模型的超原子结构设计方法，解决了生成对抗网络存在的训练困难和不稳定、生成结构自由度低以及生成结构的光谱准确率不足的问题，提出交叉注意力结合乘法嵌入方法光谱作为生成指导，提高了生成结构的质量、自由度和光谱准确率，同时协同正向预测模型，实现了光谱定制超原子结构的高精度设计。

在一些实施例中，本发明还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述的基于交叉注意力扩散模型的超原子结构设计方法。

在一些实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于交叉注意力扩散模型的超原子结构设计方法。

在一些实施例中，本发明还提供一种计算机设备，该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理事务。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时能够实现所述的基于交叉注意力扩散模型的超原子结构设计方法。

本发明与现有技术相比，具有如下优点和有益效果：

1)本发明使用深度学习模型，避免了传统方法耗时的缺点，使用Resnet实现对纳米超原子高准确率预测，预测平均准确率达到了95.1％；

2)本发明首次将DDPM结合交叉注意力机制和乘法嵌入方法用于超原子结构设计，实现了光谱定制生成高质量和高自由度的超原子结构；

3)本发明首次结合正向预测模型和DDPM高自由度生成的特性，根据目标光谱批量生成多种类结构，并使用训练好的正向预测模型筛选局部最优结构，实现了根据光谱定制生成高精度的超原子结构。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。