基于微观结构与材料组分多模态融合的复合材料性能预测模型及方法

技术领域

本发明属于计算材料科学技术领域，具体的为一种基于微观结构与材料组分多模态融合的复合材料性能预测模型及方法。

背景技术

复合材料的性能对设计研发、应用场景选择具有重要的指导意义。现有的复合材料性能获取方法主要为物理实验和有限元数值模拟，前者原材料消耗大、耗费人力多，后者需要高通量的数值计算，往往计算一个有限元模型需要耗费很长时间。随着大数据和材料信息学的发展，产生了基于人工智能方法进行材料性能预测的新范式，通过高效的性能预测来加速材料研发，具备较好的经济型和有效性。

复合材料是由不同性质的材料组分优化组合而成的新材料，存在两种或者两种以上的化学、物理性质不同的材料组分，这些材料组分的占比分布对最终的材料性能有很大的影响。同时，在复合材料加工过程中，不同组分材料晶体颗粒粘结的微观结构也影响着材料性能。现有基于人工智能方法的材料性能预测大都单独使用材料组分或者单独使用能够表征材料微观结构的显微图像实现复合材料的性能预测，数据利用不充分。材料性能是受多方面影响的，使用单一模态数据进行性能预测效果较差。

发明内容

有鉴于此，本发明的目的在于提供一种基于微观结构与材料组分多模态融合的复合材料性能预测模型及方法，充分利用材料组分占比、晶体种类等材料组分信息和材料微观结构信息，实现对复合材料性能更准确的预测。

为达到上述目的，本发明提供如下技术方案：

本发明首先提出了一种基于微观结构与材料组分多模态融合的复合材料性能预测模型，包括材料微观结构特征向量提取网络、组分质量占比特征向量提取网络、晶体类别特征向量提取网络、自适应特征向量融合模块和用作回归器的全连接层；

所述材料微观结构特征向量提取网络包括依次连接的卷积神经网络、1×1的卷积层和全局平均池化层；所述卷积神经网络用于提取材料微观结构的特征图；所述特征图经所述1×1的卷积层进行通道特征融合，得到反应材料微观结构信息的高层语义特征图；所述高层语义特征图经所述全局平均池化层处理后得到材料微观结构特征向量；

所述组分质量占比特征向量提取网络包括输入层和三个全连接层I，所述输入层的神经元数量等于材料组分中类似质量占比的连续属性个数，相邻两个全连接层I之间通过ReLU激活函数以增加组分质量占比信息的特征提取表达能力，最后一个全连接层I输出材料组分质量占比特征向量；

所述晶体类别特征向量提取网络包括Embedding层和两个全连接层II；所述Embedding层用于将材料组分晶体类别的编码信息嵌入成可以进行距离度量的稠密向量；所述Embedding层包含的Embedding模块的数量等于组分晶体类别的数量，每个Embedding模块的输入维度等于对应组分晶体类别的个数；两个全连接层II之间通过ReLU激活函数以增加对组分晶体类别信息的非线性表达能力，最后一个全连接层II输出材料晶体细分类别特征向量；

所述自适应特征向量融合模块用于融合所述材料微观结构特征向量、材料组分质量占比特征向量和材料晶体细分类别特征向量后输出抽象语义特征；所述用作回归器的全连接层用于对材料性能进行回归预测，且所述用作回归器的全连接层后输出的神经元个数为需预测的力学性能参数的个数。

进一步，所述卷积神经网络采用ResNet卷积神经网络、VGG神经网络或Efficient-Net神经网络进行轻量化改进。

进一步，所述卷积神经网络由ResNet卷积神经网络进行轻量化改进得到，轻量化改进的ResNet卷积神经网络包括三个stage，三个stage的通道数分别为16、32和64，经轻量化改进的ResNet卷积神经网络提取得到64个特征图。

进一步，全局平均池化层的原理为：

其中，h和w分别为单个特征图的高和宽；

进一步，三个所述全连接层I的神经元个数分别为16、20和32。

进一步，Embedding层的编码原理为：

其中，n为组分晶体类别的数量；y

进一步，自适应特征向量融合模块的原理为：

其中，V表示抽象语义特征；AdaptiveFusion表示自适应特征向量融合模块；v

设特征向量v

特征向量v

其中，softmax表示softmax函数。

本发明还提出了一种基于微观结构与材料组分多模态融合的复合材料性能预测方法，包括如下步骤：

步骤一：获取复合材料多模态数据集，多模态数据集包含显微结构图像、材料组分信息和标签，显微结构图像用于反映材料微观结构，材料组分信息包括材料组分质量占比和材料组分晶体类别；标签为复合材料的性能指标；

步骤二：构建如上所述基于微观结构与材料组分多模态融合的复合材料性能预测模型；

步骤三：采用K折交叉验证的方式训练复合材料性能预测模型；

步骤四：利用训练得到的复合材料性能预测模型，使用显微结构图像和材料组分信息预测复合材料的性能指标。

进一步，所述步骤一中，将多模态数据集分为k组，取其中k-1组划分训练集和验证集，剩余1组作为测试集。

进一步，所述步骤三中，使用训练集进行模型训练，用验证集选择训练过程中预测效果较好的模型，并在测试集上进行材料性能预测的泛化性能评估，选择泛化性能最佳的模型作为最终的复合材料性能预测模型；训练过程中的损失函数采用MSE，优化器采用Adam。

本发明的有益效果在于：

复合材料的性能通常会受到微观结构和材料组分信息等因素的综合影响，现有方法大多基于微观结构或者材料组分进行预测，利用的数据比较单一。本发明基于微观结构与材料组分多模态融合的复合材料性能预测方法，充分考虑的两者对复合材料最终性能的影响，构建了由材料微观结构特征向量提取网络、组分质量占比特征向量提取网络、晶体类别特征向量提取网络、自适应特征向量融合模块和用作回归器的全连接层构成的多模态复合材料性能预测模型，相较于现有的基于单一模态信息进行预测，同时使用材料微观结构图像、组分质量占比、组分晶体类别等多种模态信息具有更高的预测精度。

并且，在多模态融合学习过程中，材料组分信息包括的材料组分晶体类别和材料组分质量占比分别是离散的类别信息与连续的数值信息，无法直接交互，且类别信息通常以one-hot向量编码形式输入计算机，存在材料组分晶体类别的相似性难以度量、维度较高的问题。本发明通过两个分支网络分别提取材料组分质量占比特征向量和材料晶体细分类别特征向量然后再融合以解决底层数据无法直接交互学习的问题，并通过Embedding向量嵌入的方式将one-hot向量变成稠密向量，以解决组分晶体类别相似性难度量和向量维度高的问题。由于微观结构与材料组分这些不同模态的信息对最终复合材料力学性能影响不同，本发明通过自适应特征向量融合模块，在模型训练过程中能够自动学习不同模态信息对最终力学性能影响的权重大小，最终实现对复合材料性能更准确的预测。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明基于微观结构与材料组分多模态融合的复合材料性能预测方法的流程图；

图2为复合材料性能预测模型的结构图；

图3为Res-block模块的结构；

图4为自适应特征向量融合模块的结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，本实施例基于微观结构与材料组分多模态融合的复合材料性能预测方法，包括如下步骤。

步骤一：获取复合材料多模态数据集，多模态数据集包含显微结构图像、材料组分信息和标签，显微结构图像用于反映材料微观结构，材料组分信息包括材料组分质量占比和材料组分晶体类别；标签为复合材料的性能指标。

复合材料通常由两种及以上材料经过复合工艺加工而成，其材料组分信息和微观结构对最终的力学性能有很大的影响，所构建的复合材料多模态数据集应充分包含这些信息。组分信息可以通过晶体质量占比、晶体颗粒类别进行表征。材料的微观结构可以使用扫描电镜得到的SEM图像进行表征，SEM图像上可以获取材料晶体颗粒的微观形貌、粘结剂包覆情况等微观结构信息。

根据复合材料不同组分的质量占比、晶体种类的变动得到若干组实验数据，每组数据包括对应的组分质量占比、晶体种类、聚合物的SEM图像以及对应的材料性能数据标签。具体的，本实施例以一种含能材料的代用复合材料为例进行说明，它包含Ba(NO3)2、PVC、CAB和ESTANE共四种组分，其中中等粒径Ba(NO3)2和细粒径Ba(NO3)2共占65％，PVC(TS201、TS450)占30％，CAB占4.5％，ESTANE占0.5％。保持CAB和ESTANE质量占比不变，调整中等粒径Ba(NO3)2、细粒径Ba(NO3)2质量占比和PVC种类，组合不同的配方制备样品颗粒并制备样件。分析可知，由于CAB、ESTANE质量占比不变，数据集中可以不包含这些参数，主要包括中等粒径Ba(NO3)2颗粒与细粒径Ba(NO3)2颗粒质量占比，以及PVC颗粒种类。同时通过样品聚合物颗粒获取SEM图像，基于直径为20mm、高度为20mm的圆柱样件使用MTS获取压缩强度、抗拉强度、模量等材料性能指标。将中等粒径Ba(NO3)2质量占比、细粒径Ba(NO3)2质量占比、PVC种类、对应的SEM图像作为输入，抗拉强度、抗压强度、模量等作为输出，构建多模态数据集。

步骤二：构建基于微观结构与材料组分多模态融合的复合材料性能预测模型。

如图2所示，本实施例基于微观结构与材料组分多模态融合的复合材料性能预测模型，包括材料微观结构特征向量提取网络、组分质量占比特征向量提取网络、晶体类别特征向量提取网络、自适应特征向量融合模块和用作回归器的全连接层。

(1)材料微观结构特征向量提取网络包括依次连接的卷积神经网络、1×1的卷积层和全局平均池化层；卷积神经网络用于提取材料微观结构的特征图；特征图经1×1的卷积层进行通道特征融合，得到反应材料微观结构信息的高层语义特征图；高层语义特征图经全局平均池化层处理后得到材料微观结构特征向量。卷积神经网络由ResNet卷积神经网络、VGG神经网络或Efficient-Net神经网络进行轻量化改进得到，本实施例的神经网络采用ResNet卷积神经网络。

具体的，本实施例的ResNet卷积神经网络是在ResNet18卷积神经网络的基础上进一步改进得到。由于ResNet18是用于ImageNet这种大规模数据集，完成的是分类数目较多的复杂任务，因此模型深度和宽度设置的比较大，ResNet18卷积神经网络共包含四个stage,通道数为64、128、256、512。在小规模数据集上，这会导致训练速度缓慢和发生过拟合现象，因此，本实施例针对具体的材料性能预测任务，进行网络结构和通道数目的调整。本实施例中，去掉了原先的第四个stage,并且将前三个stage的通道设置为16、32、64，经ResNet卷积神经网络提取得到64个特征图。为了适配材料组分质量占比特征向量，通过1×1的卷积层进行了通道特征融合，最终得到32个可以反映材料微观结构信息的高层语义特征图，然后使用全局平均池化层GAP得到材料微观结构特征向量。假设得到的特征图FeatureMap为h×w×c，其中，h和w分别为单个特征图的高和宽，c为所有的通道数目；

其中，h和w分别为单个特征图的高和宽；c为所有的通道数目；

(2)组分质量占比特征向量提取网络包括输入层和三个全连接层I，输入层的神经元数量等于材料组分中类似质量占比的连续属性个数，相邻两个全连接层I之间通过ReLU激活函数以增加组分质量占比信息的特征提取表达能力，最后一个全连接层I输出材料组分质量占比特征向量。

具体的，本实施例的组分质量占比特征向量提取网络的输入层有m个神经元，其个数的设置取决于材料组分中类似质量占比的连续属性个数，比如本实施例中，连续属性包括中等粒径的Ba(NO

(3)晶体类别特征向量提取网络包括Embedding层和两个全连接层II；Embedding层用于将材料组分晶体类别的编码信息嵌入成可以进行距离度量的稠密向量；Embedding层包含的Embedding模块的数量等于组分晶体类别的数量，每个Embedding模块的输入维度等于对应组分晶体类别的个数；两个全连接层II之间通过ReLU激活函数以增加对组分晶体类别信息的非线性表达能力，最后一个全连接层II输出材料晶体细分类别特征向量。

晶体类别特征向量提取网络主要用于提取复合材料中不同组分颗粒晶体类别信息的高层语义特征向量。由于传统one-hot形式的类别编码存在维度高、类别之间相似性难以度量的问题，因此本实施例采用了Embedding层将材料组分晶体类别编码信息嵌入成可以进行距离度量的稠密向量。Embedding模块本质上是一个二维矩阵，可以将输入的稀疏one-hot向量编码为稠密向量，该矩阵可以在模型训练过程中进行自主的学习，从而得到编码最能体现组分晶体类别信息且容易进行距离度量的稠密向量。

设组分晶体类别参数有n个，其编号为y

其中，n为组分晶体类别的数量；y

本实施例中，只有PVC组分晶体种类有所不同，分别是TS201、TS450，因此，只设置一个Embedding模块，其输入维度为2，输出维度为16。

随后，晶体类别信息稠密向量Y会经过两个全连接层II，两个全连接层II的神经元个数为分别为20、32。第一个全连接层II后需要经过ReLU激活函数以增加对组分晶体类别信息的非线性表达能力，第二全连接层II输出材料晶体细分类别特征向量v

(4)自适应特征向量融合模块用于融合材料微观结构特征向量v

具体的，通过上述的三个分支网络得到了材料微观结构特征向量v

其中，V表示抽象语义特征；AdaptiveFusion表示自适应特征向量融合模块；v

设特征向量v

特征向量v

其中，softmax表示softmax函数。

(5)用作回归器的全连接层用于对材料性能进行回归预测，且用作回归器的全连接层后输出的神经元个数为需预测的力学性能参数的个数。

具体的，在得到融合了材料微观结构信息、材料组分质量占比信息和材料晶体细分类别信息的语义向量V后，将其输入到一个神经元个数为32的全连接层，该层的主要作用是对材料性能进行回归预测，最后的输出神经元个数为所需预测力学性能参数个数。在本实施例中，所预测的力学指标有压缩强度、拉伸强度、弹性模量，因此，将输出神经元个数设置为3，分别预测所述的三个力学性能指标。

步骤三：采用K折交叉验证的方式训练复合材料性能预测模型。

将多模态数据集分为k组，取其中k-1组划分训练集和验证集，剩余1组作为测试集。在模型训练阶段，主要使用中等粒径Ba(NO3)2质量占比、细粒径Ba(NO3)2质量占比、PVC颗粒的种类等组分信息以及反映材料微观结构的SEM微观图像作为输入，以复合材料的抗压强度、抗拉强度和弹性模量等作为输出标签，使用训练集进行模型训练，用验证集选择训练过程中预测效果较好的模型。训练过程中失函数采用平均平方误差(mean-squareerror,MSE),优化器采用Adam。在测试集上进行材料性能预测的泛化性能评估，选择泛化性能最佳的模型作为最终的复合材料性能预测网络模型。

步骤四：利用训练得到的复合材料性能预测模型，使用显微结构图像和材料组分信息预测复合材料的性能指标。

基于步骤三训练得到的复合材料性能预测模型，使用材料的微观结构图像和材料组分信息，如SEM图像、中等粒径Ba(NO3)2质量占比、细粒径Ba(NO3)2质量占比、PVC颗粒种类，将这些信息输入到训练好的复合材料性能预测模型中，即可实现对复合材料的抗拉强度、抗压强度、弹性模量等性能指标的预测。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。