通过输入多个力学性能生成钛合金微观组织图像的方法

技术领域

本发明属于计算机视觉图像生成技术领域，涉及通过输入多个力学性能生成钛合金微观组织图像的方法。

背景技术

随着工艺的发展，钛合金因为其优异的力学性能而被应用到了各个领域。目前钛合金材料领域的研究大多都是通过微观组织预测力学性能的正向研究，而几乎没有人实现对钛合金材料从力学性能反推微观组织的过程。同时，目前图像生成领域对微观组织的研究非常少，并且几乎都是只针对单个标签，鲜少有通过输入多个标签来生成钛合金微观组织图像的研究。目前对于带有条件的图像生成任务主要是用条件生成对抗网络技术，但是使用条件生成对抗网络解决此问题时存在如下的缺陷：

1)条件生成对抗网络只能用来处理离散型随机变量。

2)目前现有方法中接受参数输入的模型都是针对单个变量，几乎没有针对多个连续型变量作为输入的研究。

3)现有的图像生成方法几乎都是针对宏观物体，如人脸和物品等，几乎没有涉及到微观组织图像的研究。钛合金材料的微观组织图像，和其他数据集不一样的地方在于，图像之间的特征比较相似，而且每一个图像细节都跟它的性能参数紧密相关，神经网络也就更难理解和学习。现有的方法并不能产生令人满意的效果。

4)还需要关注的一个问题在于力学性能和微观组织图像之间的对应关系是一对多的，也就是一组力学性能对应多个具有细微差别的微观组织图像，如何反映出这个一对多的关系是个较难解决的问题。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供通过输入多个力学性能生成钛合金微观组织图像的方法，至少部分解决上述技术问题。

本发明实施例提供了通过输入多个力学性能生成钛合金微观组织图像的方法，包括：

采集大量不同组织类型的钛合金微观组织图像；

设定不同组织类型钛合金微观组织图像对应的力学性能范围；在所述力学性能范围内，对所述不同组织类型的钛合金微观组织图像生成对应随机力学性能数据，得到不同组织类型的钛合金微观组织图像且分别包含所述随机力学性能数据的图像集；

对所述图像集进行数据扩增；

将数据扩增后的所述图像集作为训练集数据，输入到预设的生成对抗网络按组织类别进行分别训练，得到优化后的生成对抗网络模型；

将多个力学性能数据输入到所述优化后的生成对抗网络模型，生成钛合金微观组织图像。

进一步地，所述力学性能数据包括：准静态屈服强度数据、洛氏硬度数据、动态压缩强度数据、抗拉强度数据、动态屈服强度数据、断后伸长率数据和临界断裂应变数据。

进一步地，在所述力学性能范围内对所述不同组织类型钛合金微观组织图像生成对应随机力学性能数据得到不同组织类型的钛合金微观组织图像且分别包含所述随机力学性能数据的图像集具体包括：

在所述力学性能范围内，对所述不同组织类型钛合金微观组织图像生成对应的随机抗拉强度数据；

计算所述随机抗拉强度数据在对应所述力学性能范围内的占比rate；

根据所述随机抗拉强度数据的占比rate和1-rate，分别与所述力学性能数据中对应占比的力学性能正相关数据和负相关数据进行匹配，得到所述不同类型的钛合金微观组织图像且分别包含所述随机力学性能数据的图像集；

所述正相关数据组成通过计算所述准静态屈服强度数据、所述洛氏硬度数据和所述动态压缩强度数据与所述抗拉强度数据呈正相关对应的数据组成；所述负相关数据通过计算所述动态屈服强度数据、所述断后伸长率数据和所述临界断裂应变数据与所述抗拉强度数据呈负相关对应的数据组成。

进一步地，预设的所述生成对抗网络模型包括：第一生成对抗网络和第二生成对抗网络；

所述第一生成对抗网络通过输入多个力学性能，直接投入生成器，生成简单钛合金微观组织图像；

所述第二生成对抗网络通过输入多个力学性能，映射成随机噪声，生成复杂钛合金微观组织图像。

进一步地，所述第一生成对抗网络的搭建过程具体包括：

对多个力学性能数据使用concat方式拼接；将拼接后的所述多个力学性能数据经过全连接层，映射到128维度的特征空间，得到对应的特征向量；

将所述特征向量输入到第一生成对抗网络中改进的多标签生成器和多标签判别器进行多标签扩展，生成所述简单钛合金微观组织图像；

分别重构所述多标签生成器和多标签判别器的损失函数；

重构的所述多标签生成器的损失函数表达式为：

式中，

重构的所述多标签判别器的损失函数表达式为：

其中，C

进一步地，所述第二生成对抗网络的搭建过程具体包括：

对输入的多个力学性能数据使用concat方式拼接；将拼接后的所述多个力学性能数据经过多尺度全连接层，映射到32维度的特征空间，得到对应的特征向量；将所述特征向量输入到MDN网络，输出混合高斯模型的参数；

使用所述混合高斯模型的参数建立对应的混合高斯模型；对所述高斯混合模型进行采样，得到对应的噪声；

将所述噪声输入到DCGAN网络中新增层数的生成器，生成所述复杂钛合金微观组织图像。

本发明实施例提供的通过输入多个力学性能生成钛合金微观组织图像的方法，与现有技术相比较，使用多个连续变量作为输入，生成钛合金微观组织图像；对钛合金微观组织进行分类计算，区分微观组织间的差别，同时反映了力学性能和钛合金微观组织图像之间的对应关系，更适用于钛合金材料的微观组织图像研究，能生成质量较好的钛合金微观组织图像，为材料学领域钛合金的锻造提供较大参考价值。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本发明实施例提供的通过输入多个力学性能生成钛合金微观组织图像的方法框图；

图2为本发明实施例提供的整体网络框架示意图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“内接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的通过输入多个力学性能生成钛合金微观组织图像的方法，如图1所示，包括：

采集大量不同组织类型的钛合金微观组织图像；

设定不同组织类型钛合金微观组织图像对应的力学性能范围；在力学性能范围内，对不同组织类型的钛合金微观组织图像生成对应随机力学性能数据，得到不同组织类型的钛合金微观组织图像且分别包含随机力学性能数据的图像集；

对图像集进行数据扩增；

将数据扩增后的图像集作为训练集数据，输入到预设的生成对抗网络按组织类别进行分别训练，得到优化后的生成对抗网络模型；

将多个力学性能数据输入到优化后的生成对抗网络模型，生成钛合金微观组织图像。

本发明的主要目的是发明一种方法，能够根据输入的多个连续性的力学性能参数生成钛合金微观组织图像，即此方法主要是提出一种支持多个连续变量输入的微观图像生成技术。

首先，基于上述目的，针对连续型变量输入问题，因为其无限的特性，所以直接将其作为网络的输入会因为无法覆盖整个范围而导致图像过拟合，如果将其映射到某一个其他空间，就会覆盖较大的范围；同时，对于多个变量的问题，可以将多个变量先融合到一起；另外，对于复杂的纹理组织，常规有监督的方法可能会让神经网络学习效果变差；最后，还必须反映出力学性能和微观组织图像之间一对多的对应关系。

基于以上考虑，本发明对于连续型变量，先将其通过神经网络映射到一个有限维度特征空间，这样就将无限问题转化为有限问题；对于多个变量的问题，可以将多个变量进行特征融合的操作，然后再投入到网络中进行训练。

针对有监督的性能问题，本发明将引入另一个无监督学习，二者处理复杂程度不同的钛合金微观组织。

最后针对力学性能和微观组织图像之间一对多的对应关系的技术问题，本发明使用混合密度网络，将其引入到无监督学习中，得到力学性能到噪声分布的映射，这样一组力学性能对应一个噪声分布，从噪声分布中就可以进行任意地随机采样了，这样多个噪声输入到生成器中就可以得到多个微观组织图像。

本发明提出了一个新的网络结构TiAM-GAN(钛合金微观组织生成对抗网络)，可以将多个连续的钛合金力学性能参数输入到本发明新提出的网络中，输出对应的钛合金微观组织图像。该网络分为两个字网络：第一子网络是基于特征融合的连续条件生成对抗网络，其图像生成过程是有监督学习，网络需要直接学习标签之间复杂的关系，用来处理生成纹理较为简单的微观组织；第二子网络为基于特征提取和映射的生成对抗网络，其图像生成过程是无监督学习，生成器不需要学习标签间的关联性，用来处理讲究细节，并且较为复杂的微观组织。

本发明使用多个连续变量作为输入，生成钛合金微观组织图像；对钛合金微观组织进行分类计算，区分微观组织间的差别，同时反映了力学性能和钛合金微观组织图像之间的对应关系，更适用于钛合金材料的微观组织图像研究，能生成质量较好的钛合金微观组织图像，为材料学领域钛合金的锻造提供较大参考价值。

下面将对本发明进行详细描述。

本发明实施例提供的通过输入多个力学性能生成钛合金微观组织图像的方法，如图2所示，包括如下步骤：

步骤一、收集大量钛合金相关组织图像，并将其分类；

步骤一具体为：从北京理工大学材料学院获取光学显微镜拍摄下的钛合金微观组织图像，将其分为五大类，分别是等轴组织、双态组织、混合组织、网篮组织和魏氏组织。

步骤二、从步骤一得到图像并查阅相关资料，限定力学性能范围，对不同类的力学性能进行随机生成；

步骤二具体为：为了让合成数据更加贴合实际情况，即遵循一定的规则和约束条件，除了给数据划分区间之外，还需要考虑力学性能之间的对应关系。本文采取的方法是用简单的线性关系来生成数据，选取抗拉强度作为参考。首先在抗拉强度的范围内随机选取一个值作为当前的抗拉强度，然后计算这个值在这个区间的占比rate，用这个占比作为后续的一个比例。计算准静态屈服强度、洛氏硬度和动态压缩强度这些和抗拉强度呈正相关的力学性能，取之前抗拉强度算出来的比例，然后按照各自对应的区间，计算出对应的值。而计算屈服强度、断后伸长率和临界断裂应变这几个和抗拉强度呈负相关的力学性能，就取1-rate作为这些力学性能的占比，然后依旧按照各自对应的区间，计算出对应的值。

步骤三、将步骤二中得到数据进行数据增广，将100张图像增广到7000张，并将数据存储到HDF5文件中；

步骤三具体为：钛合金微观组织图像可以随意水平翻转和垂直翻转，还可以旋转任意角度。原始图像数据分辨率是2880×2880，由于服务器的限制，过大的分辨率是不支持直接投入神经网络进行训练的，所以需要对其进行随机裁剪的操作，把图像的分辨率裁剪成256×256，也就是投入神经网络的大小。

而分辨率不再降低的原因是因为分辨率越高，图像的特征也就越多，投喂给神经网络，其学习到的特征就越多，也就能更好地生成更加真实的图像。多次调用不同变换，进行组合，最终再统一裁剪成256×256就可以达到要求了。最后将图像和数据一起保存为HDF5格式。

步骤四、搭建第一子网络(即第一生成对抗网络)：基于特征融合的连续条件生成对抗网络；搭建第二子网络(即第二生成对抗网络)：基于特征提取和映射的生成对抗网络。

搭建第一子网络：基于特征融合的连续条件生成对抗网络，具体为：首先搭建标签融合嵌入网络。特征融合有很多方法，它们一共归为两大类，一类是早融合，一类是晚融合。

简单来说，早融合是在一开始就把多层的特征进行融合，最后才对融合后的特征进行训练。它分为concat和add两种方式。Concat是进行系列特征的融合，它直接将多个特征在特定维度上进行连接。而add是一种并行策略，它会将两个特征向量直接组合在一起，最后用复向量来表示。

晚融合是在最终的融合还没有完成之前，就已经先直接在部分层上开始进行训练或其它操作，到最后才会将这多个结果进行融合。它也包含两种方式，feature不融合和feature金字塔融合。feature不融合的方式是多个尺度的feature分别进行处理，然后把处理的结果组合起来，比如MS-CNN(多尺度卷积神经网络)就用到了这个思想。而feature金字塔融合与其相反，它是等全部层都融合完毕，最后才进行训练处理。

本方法采用的特征融合方式是早融合中的concat方式，也就是将这7个向量在第一维上直接进行拼接。该网络的输入是7个连续条件标签y1,y2,…,y7，在投入神经网络之前，采取concat的方式，将其融合在一起，然后经过全连接层，最后映射到一个128维度的特征空间中。这个映射值最后将作为一个特征向量输入到生成器和判别器中。

接着搭建连续条件生成对抗网络。基于特征融合的连续条件生成对抗网络中的生成器和判别器是在CcGAN(连续条件生成对抗网络)的基础上进行的多个标签的扩展。生成器中用到的是一些常见的反卷积操作、上采样、批归一化处理和ReLU激活函数。最后生成的是256×256的微观组织图像。判别器在归一化处理的时候没有用批归一化处理，而是用的频谱归一化处理。在神经网络的训练中，需要将梯度限制在一个范围内，也就是说，期望让这些函数更加地平滑。

一般来说，采用正则化的方法来实现，而常用的正则化方法是梯度惩罚，由此来对判别器进行限制。但这种方法只能对生成图像分布空间与真实图像分布空间的数据做出惩罚，而随着训练的进行，生成图像分布与真实图像分布之间的空间会发生变化，从而导致梯度惩罚的正则化方式不能够稳定下来。

为了改进这个缺点，Miyato等人提出了用谱范数标准化判别器的方法，并将它应用在GAN(生成对抗网络)网络上。通过频谱化限制，最终判别器的梯度会在某个范围内震荡。频谱归一化的方法可以让判别器满足特定约束，只需要改变判别器权值矩阵的最大奇异值即可。这种方法可以最大限度地保存判别器权值矩阵的信息，从而获得较好的生成效果。

然后重新设计损失函数。本发明在CcGAN的基础上，重构了CcGAN的生成器和判别器的损失函数，来解决多标签图像生成的问题。

首先重构生成器的损失函数。

基础CGAN(条件生成对抗网络)的生成器损失如下:

其中，p

重构的生成器的损失如式(2):

其中，

接下来推导判别器的损失函数。

基础CGAN的判别器的损失如式(3):

其中，p

为了解决连续标签的问题，Ding等人对p

将在Ding等人的基础上进行多标签扩展，在此之前，先引入CGAN的判别器的损失函数如式(4)：

其中，C代表标签的类别数，N

对软邻近估计扩展到多标签的形式。

根据狄拉克函数的定义，将图像x定义为以0为中心狄拉克广义分布δ。也就是说，满足

然后推导图像x和7个条件标签y1,…y7的联合分布概率：

p(x,y

在这里，用核密度估计来表示标签的边缘分布p(y)，并且假设这7类标签是独立同分布的，那么可以得到：

其中N表示图像的个数，η表示核密度的带宽，y

而对于p(x|y

其中，δ是以0为中心狄拉克广义分布，这里用来模拟图像的分布，

这样做是有意义的，因为只有当全部的标签都接近对应选定的标签时，整体的权重才最大。而不是求和取平均值，因为这样做会造成偏离，也就是说当仅有一类标签接近选定值，其他标签都偏离较远的时候，最终的权重值也是会接近1，即拉高了均值，这是不可取的。

然后，将式(6)和(7)带入式(5)，得到多标签软邻近(ML-SVE,Multi-Label SoftVicinity Estimate)的联合分布函数：

其中，C

在

最后，将式(8)和(9)带入式(4)，得到多标签软邻域判别器损失：

其中，ε表示对标签y加的扰动，C

搭建第二个子网络：基于特征提取和映射的生成对抗网络，具体为：基于特征提取和映射的生成对抗网络是由图像标签提取网络、标签融合映射网络、混合密度网络、生成器网络、判别器网络组成。首先将随机噪声z投喂给训练好的生成器，得到生成器生成的一张钛合金组织图像。然后经过训练好的图像标签提取网络，由图像得到对应的标签特征，再将这7个标签特征进行融合，融合之后投给训练好的标签融合映射网络，得到嵌入到特征空间的特征向量。这个32维的特征向量经过训练好的混合密度网络可以得到对应的映射分布，最后从分布中采样出对应的噪声z，以此达到通过控制噪声来生成符合指定条件标签的图像的目的。

首先是图像标签提取网络。为了让整个网络更好地学习到钛合金组织图像的特征，需要在网络中增加一些先验知识，即从图像中提取到对应的标签特征。由于该过程无法通过物理实验获得，所以本文将这个过程转化成通过训练神经网络的方式来提取特征。输入的钛合金微观组织图像x，经过卷积、归一化等操作，再通过一个全连接层映射到一个64维的特征空间，这个特征空间通过线性映射，最终得到7维的向量，每一维度都表示一个类型的条件标签特征。在这个过程中，本发明采用的基础网络结构是ResNet(残差神经网络)。

其次是多尺度标签融合映射网络。基于特征提取和映射的生成对抗网络中的标签融合映射网络跟基于特征融合的连续生成对抗网络的标签融合映射网络采取的思路是基本相同的。都是采用早融合中的concat方式来进行特征融合，也就是将这7个向量在第一维上直接进行拼接。标签融合映射网络的输入是7个连续条件标签y1,y2,…,y7，在投入神经网络之前，先采取concat的方式，将其融合在一起，然后经过全连接层，最后映射到一个特征空间h中。这个映射值最后将作为MDN(混合密度网络)网络的输入。

与基于特征融合的连续生成对抗网络的标签融合映射网络不同地方在于：在全连接层中，应用了多尺度特征映射的机制，也就是说，在不同层提取到的特征会一起进行融合之后再投入到下一个网络层；并且最后映射到的是一个32维的特征空间，这也是为了避免之后投入MDN网络的时候，网络不会太过庞大。

简单来说，多尺度是对同一样本的不同粒度的学习，神经网络在不同的尺度下可以学习、提取到不同的特征。一般来讲，尺度越小，或者分布越密集，那么神经网络就越能够学习到细节部分，而尺度越大，或者分布越稀疏，神经网络学习到的就是一个全面粗略的整体。综上，从不同尺度来学习，可以很好地提高神经网络的性能。多尺度特征融合的方式有两种。其中一种是串行网络，它可以进行跳跃式的连接，另外一种是并行的网络，从多个角度同时进行特征融合。这两种方式都可以提取到不同的特征，因为总体来讲，在不同层上都能进行学习。不同的地方在于，并行的网络所获取到的不同的特征都是在同一网络层获取的，这是通过不同的视野实现的，在同一层直接将特征融合，然后进行下一层的计算。而串行的跳层连接的网络结构是将不同网络层级的特征进行融合。并行多分支的网络结构一般用于卷积神经网络对图像的处理，而串行的跳层连接的网络结构需要通过跳层连接来实现特征组合。

本发明使用的多尺度标签融合映射网络中，采用串行的跳层连接的网络结构实现。

接着搭建混合密度网络。基于特征提取和映射的生成对抗网络中的混合密度网络部分基于Yang等人在材料组织图像生成上的应用。通过多尺度标签融合映射网络得到的32维特征向量h作为网络的输入，经过基于多尺度机制的全连接神经网络，输出得到混合高斯模型的参数，最后对得到的混合高斯模型进行采样，得到对应的隐变量z。最后将这个隐变量z作为生成网络的噪声输入。

简单来说，这个混合密度网络就是用来模拟特征空间h到随机噪声z的映射的一个数据分布模型。与简单地用来拟合函数的神经网络不同，对于一个输入，MDN可以有多个输出，也就是说，MDN输出的其实是一个分布，表示噪声z的概率分布函数。模拟特征向量h的分布是通过混合高斯模型实现的。一个高斯分布的参数有两个，一个是均值μ，一个是标准差σ，这两个参数决定了高斯分布曲线的形状。从理论上来讲，可以通过对这些参数的随机组合，来得到任意的分布。输入特征向量h，经过设计好的神经网络，就能够得到该混合高斯模型的多个参数，最后通过这些参数，输出一个混合概率分布模型。当需要获取实际的预测值时，就可以直接从这个混合概率分布中随机采样，来获得不同的随机噪声。

本发明涉及到的钛合金微观组织及力学性能是一个多对一的关系。这是因为力学性能是从宏观测量的，也就是说，一组力学性能只对应一块钛合金板；而其拍摄出来的微观组织却具有一些细微的差别，这也可以理解为，输入的随机噪声z也是有差别的。这样一来，输入一组力学性能标签，会得到一个嵌入到特征空间的特征向量h，这一个特征向量h会对应很多组不同的随机噪声z。所以本发明在模拟特征向量h到随机噪声z的映射时，选用MDN这个方法，这样得到的就是随机噪声z的概率分布函数，就可以进行多次随机采样来得到符合条件的不同的随机噪声z。

最后搭建深度卷积生成对抗网络。基于特征提取和映射的生成对抗网络中的生成器和判别器基于DCGAN(深度卷积生成对抗网络)。只是简单地进行了网络层数的增加。生成器中用到的是一些常见的反卷积操作、上采样、批归一化处理和ReLU激活函数。最后生成的是256×256的微观组织图像。其中，为了加深网络的深度，更好地提取图像特征，本发明重复了5次相同的反卷积操作。经过实验证明，加深网络的深度会产生更好的图像输出。判别器输入图像，然后进行5次卷积操作，最后经过一个Sigmoid的激活函数，得到输出。

步骤五、将步骤四得到的模型进行按类别分别训练，数据集为步骤三得到的数据集，最后将训练好的模型保存下来。

将多个力学性能输入到训练好的模型，生成钛合金微观组织图像。

本发明实施例提供的通过输入多个力学性能生成钛合金微观组织图像的方法，与已有方法对一组测试数据进行测试，得到各方法测试结果如下表1所示。

表1各种方法测试结果对比

注：ML-SFID指标是本发明在SFID(滑动弗雷歇初始距离)指标上进行的多标签扩展。值越小，证明生成的图像效果越好。

由上表可知，本发明与已有方法相比，最终生成的图像质量是最优的，所以本发明能够针对多标签连续条件的微观组织生成质量较好的图像。

本发明使用硬件为GPU:3090ti，显存容量32GB、内存：128576MB、硬盘：180TB。软件为，操作系统：LinuxUbuntu64位，CUDA(11.1),cudnn(8.0)，Pytorch(1.7.0)，h5py(3.1.0)，hdf5(1.10.6)，numpy(1.19.2)，scikit-image(0.17.2)；使用多标签滑动弗雷歇初始距离(ML-SFID)作为生成的钛合金微观组织图像的评价指标。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。