一种基于增量学习的镍基高温合金中晶界提取方法及系统

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于增量学习的镍基高温合金中晶界提取方法及系统。

背景技术

镍基高温合金具有优良的成分兼容性、良好的组织稳定性、抗氧化和抗腐蚀性能，被广泛用于航空发动机和地面燃气轮机的涡轮叶片等关键的热端部件。在显微镜下，可以观察到镍基高温合金是由许多细小的晶粒组成，晶粒的大小影响着金属的拉伸强度、韧性以及耐久度等常规力学性能。晶粒图像分析是检测材料性能的主要技术手段。因此，为了方便测量晶粒大小，准确而有效地提取晶界非常重要。现有的晶界提取技术中采用的Canny、Sobel和Kirsch等边缘检测算子虽然能够有效定位到晶粒边缘，但是容易受到诸多因素的干扰。

近年来，随着以深度学习为代表的机器学习技术发展迅速，在材料科学领域，为材料学的研究提供了新的手段和技术，有效弥补了传统材料研究手段不足。目前，深度学习已经在钢铁缺陷检测、夹杂物检测、晶界检测等材料微观组织结构图像识别中得到了应用，并取得了不错的成绩。现有的通过深度神经网络对晶粒图像进行晶界识别提取，能够快速得到晶界识别结果，有效降低材料研究工作者的工作量，但仍存在一些不足。例如，现有的机器学习模型采用批量学习方式，来训练一次性获取的数据。传统机器学习模型如果有新增的标签数据，就必须对新增标签数据进行存储，并重新训练机器学习模型，但镍基高温合金品类繁多，制备方法不一，获得图像设备各种各样，因此只训练一种模型，实现镍基高温合金中晶粒图像中晶界提取，是远远不够的。

因此，急需一种基于增量学习的镍基高温合金中晶界提取方法及系统，利用多任务、多标签图像的增量学习方法达到晶粒图像晶界多任务识别提取，用已有的知识去学习新种类晶粒图像，避免在面对新任务时需要完全重新训练机器学习模型，能够根据新的晶粒图像特征对机器学习模型进行增量优化更新，提升机器学习模型的泛化能力与识别准确率。

发明内容

为了解决上述问题，本发明的目的是一种基于增量学习的镍基高温合金中晶界提取方法及系统，利用多任务、多标签的增量学习方法达到晶粒图像晶界提取的目的，以解决现有晶界识别方法中模型固化，无法适应新增标签数据，神经网络模型更新速度慢，导致模型泛化性能差，识别准确率低，普适性低的问题。

为了实现上述技术目的，本申请提供了一种基于增量学习的镍基高温合金中晶界提取方法，包括以下步骤：

采集镍基高温合金的晶粒图像；

对晶粒图像进行去噪、增强处理后，获得所述处理后的晶粒图像集；

对所述晶粒图像集中的每个晶粒图像中的晶界进行标注，获得每个晶粒图像各自对应的晶界标注图像；

对所述晶粒图像进行数据扩增，构建训练样本数据集；

基于语义分割模型，通过数据集进行机器学习训练，构建用于晶界识别的识别模型；

基于识别模型，通过采集镍基高温合金的未识别的晶界图像，将未识别的晶粒图像输入到所述晶界识别模型中，获取所述镍基高温合金晶界图像。

优选地，在采集晶界图像的过程中，将金相显微镜或电镜所采集的晶粒图像用于所述晶界的识别。

优选地，在对晶粒图像进行去噪、增强处理的过程中，通过滤波、亮度、对比度调节，去除噪声，同时增强晶界的边缘，对晶粒图像的晶界进行标注后，获得每个晶粒图像各自对应的晶界标注图像；

优选地，在构建待训练数据集的过程中，将标注并去噪、增强处理后的晶界图像，切分为大小相同的小尺寸样本，再通过旋转、镜像、添加噪声、色彩抖动进行数据增强后，构建待训练数据集。

优选地，在构建识别模型的过程中，基于U-Net网络，进行晶界识别网络模型训练；

通过迭代训练，得到网络的最佳参数，构建晶界识别模型。

优选地，在镍基高温合金晶粒图像晶界识别过程中，将未识别的晶粒图像输入到晶界识别模型中，获取镍基高温合金的晶界图像。

优选地，判断用户是否手动调整所述镍基高温合金晶界图像；

若用户未调整所述晶界识别结果，则将所述识别结果作为最终晶界识别结果输出；

若用户调整所述镍基高温合金晶界图像，将调整后的晶界识别结果作为最终识别结果输出，并根据所述识别结果对所述晶界识别模型进行更新；

本发明公开了一种基于增量学习的镍基高温合金中晶界提取系统，包括：

数据采集模块，用于采集镍基高温合金的晶粒图像；

数据预处理模块，用于对晶粒图像进行去噪、增强处理后，进行扩增，构建数据集；

晶界识别模块，用于基于语义分割模型，通过数据集进行训练，构建用于晶界识别的识别模型；

晶界识别检测模块，基于构建的晶界识别模型，通过采集镍基高温合金未识别的晶粒图像并进行识别，获得镍基高温合金的晶界图像。

晶界识别模型更新模块，判断用户是否手动调整所述镍基高温合金晶界图像，并根据最终判断结果对所述晶界识别机器学习模型进行更新。

本发明公开了以下技术效果：

本发明利用多任务、多标签的增量学习达到晶粒图像汇总晶界识别，用已有的知识去学习提取不同材料晶粒图像的晶界，避免遇到新的晶粒图像时重新训练模型，同时提高晶界识别模型的泛化能力与识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述的基于增量学习的镍基高温合金中晶界提取方法的工作流程图；

图2为本发明所述的晶界识别图像预处理工作流程图；

图3为本发明所述的镍基高温合金晶粒图像、晶界提取图像。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1-3所示，本发明提供了一种基于增量学习的镍基高温合金中晶界提取方法，包括以下步骤：

采集镍基高温合金的晶粒图像；

对晶粒图像进行去噪、增强处理后，进行扩增，构建数据集；

基于语义分割模型，通过数据集进行训练，构建用于晶粒识别的识别模型；

基于识别模型，通过采集镍基高温合金的未识别的晶粒图像，并进行识别，获得镍基高温合金的晶界图像。

进一步优选地，本发明在采集晶粒图像的过程中，本发明通过采集金相或者电镜镍基高温合金晶粒图像，作为晶粒图像。

进一步优选地，在对晶粒图像进行去噪、增强处理的过程中，通过滤波、亮度、对比度调节，去除噪声，同时增强晶界的边缘，对晶粒图像的晶界进行标注后，获得每个晶粒图像各自对应的晶界标注图像；

进一步优选地，本发明在构建数据集的过程中，本发明将标注并去噪、增强处理后的晶粒图像，切分为大小相同的小尺寸样本，再通过旋转、镜像、添加噪声、色彩抖动进行数据增强后，构建待训练数据集。

进一步优选地，本发明在构建识别模型的过程中，基于U-Net网络，进行晶界识别网络模型训练；

通过迭代训练，得到网络的最佳参数，构建晶界识别模型。

进一步优选地，本发明在生成镍基高温合金的晶界结构的过程中，本发明将未识别的晶粒图像输入到识别模型中，获得镍基高温合金的晶界图像；

进一步优选地，判断用户是否手动调整所述镍基高温合金晶界图像；

若用户未调整所述晶界识别结果，则将所述识别结果作为最终晶界识别结果输出；

若用户调整所述镍基高温合金晶界图像，将调整后的晶界识别结果作为最终识别结果输出，并根据所述识别结果对所述晶界识别模型进行更新；

本发明公开了一种基于增量学习的镍基高温合金中晶界提取系统，包括：

数据采集模块，用于采集镍基高温合金的晶粒图像；

数据预处理模块，用于对晶粒图像进行去噪、增强处理后，进行扩增，构建数据集；

晶界识别模块，用于基于语义分割模型，通过数据集进行训练，构建用于晶粒图像晶界提取的识别模型；

晶界识别检测模块，基于构建的晶界识别模型，通过采集镍基高温合金的未识别的晶粒图像并进行识别，获得镍基高温合金的晶界图像。

晶界识别模型更新模块，判断用户是否手动调整所述镍基高温合金晶界图像，并根据最终判断结果对所述晶界识别机器学习模型进行更新。

实施例1：如图1所示，基于增量学习的镍基高温合金中晶界提取方法，步骤如下：

1、获取被检测图像，采集金相或者电镜镍基高温合金晶粒图像。

2、对图像进行预处理，建立图像-标签数据集。图像-标签数据采用人工标注的方法，数据集中存储的每对样本包含一张晶粒原图像和标签图像，标签图像为对应晶粒图像的晶粒边界图像。由于金相显微镜或电镜采集的图像往往存在噪声，晶粒间的晶界大多不是非常清晰，不便于自动分析，所以有必要在处理之前对图像进行去噪、增强处理，从而使图像的细节更为突出。本发明对采集的图像进行预处理，包括滤波，亮度、对比度调节，去除噪声等，同时增强晶粒的边缘。

3、机器学习中，训练样本数据量的大小会直接影响极其学习的性能，小样本训练集问题一直是机器学习的瓶颈问题。由于材料显微图像具有形态复杂、所需标注精度高、专业要求高，导致数据标注较为困难，难以获得大量的训练集。所以本发明采取了先对分辨率为4096*4096像素的样本图像手工标注，再将原图和标签图切分为大小为512*512像素的小尺寸样本，再通过旋转、镜像、添加噪声、色彩抖动等技术手段进行数据增强，来实现训练样本数据集扩充。

4、通过传统数字图像处理方法对晶粒图像进行分割，不能完整提取晶界，本发明方法采用机器学习方法衍生出的一系列语义分割模型来对晶粒图像分割，来提取晶界。本发明实例采用U-Net网络进行晶粒边界分割。预先将步骤4获得的图像-标签数据集对U-Net网络进行训练，将样本集中的晶粒图像输入网络，对应的标签图像为输出结果，迭代训练，得到网络的最佳参数，完成晶粒识别网络模型训练。

5、将待识别图像输入步骤4训练好的U-Net网络模型，识别提取晶界。

6、判断用户是否需要手动调整晶界识别结果。若用户未调整晶界识别结果，将晶界识别结果作为最终识别结果输出；若用户调整晶界识别结果，将调整后的晶界识别结果作为最终识别结果输出，并根据最终识别结果对晶界识别机器学习模型进行更新优化。

本发明实施例提供了一种基于增量学习的镍基高温合金中晶界提取方法，包括以下步骤：

S1:晶粒图像预处理；

S2:图像集数据增广；

S3:将特征值作为输入提供图像分割网络模型，其中晶粒图像识别机器学习模型被配置为依据特征值，通过分割网络模型得到晶界识别结果；

S4:将晶界识别结果输出给用户；

S5:判断用户是否需要手动调整晶界识别结果；

S6:若用户未调整晶界识别结果，将晶界识别结果作为最终识别结果输出；

S7:若用户调整晶界识别结果，将调整后的晶界识别结果作为最红识别结果输出，并根据最终识别结果对晶界识别机器学习模型进行更新优化。

由以上技术方案可知，本申请提供了的基于增量学习的镍基高温合金中晶界提取方法，方法包含以下步骤：在获得待检测镍基高温合金晶粒图像后，通过图像预处理模块，获得待训练图像-标签样本数据集；对样本数据集进行数据扩增；使用机器学习算法对处理后的样本数据集进行机器学习，生成用于提取晶界的晶界界别模型；通过预生成的晶界识别模型对待检测的晶粒图像进行晶界识别，获得识别后的晶界图像。判断用户是否需要手动调整晶界识别结果；若用户未调整晶界识别结果，将晶界识别结果作为最终识别结果输出；若用户调整晶界识别结果，将调整后的晶界识别结果作为最终识别结果输出，并根据最终识别结果对晶界识别机器学习模型进行更新优化。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。