一种基于光学图像的气液两相流智能识别方法

技术领域

本发明涉及一种基于光学图像的气液两相流智能识别方法，特别是一种基于改进的全卷积网络模型FCN的气液两相流识别方法，尤其针对液体中的气泡识别问题，属于气液两相流识别和分类领域。

背景技术

自然界和工业过程中，往往都涉及多相流问题，其中以气液两相流最为常见。基于气泡在化学工程、生物制药、地球物理学和废水管理等众多领域的复杂的流体动力学特点，通过实验研究来更好地理解两相流间的相互作用是很有必要的。基础的实验研究通过建立闭合的实验模型来支持各个工程领域的开发。此外，详细的实验结果可用于比较和验证这些模型的准确性。在实验中，最重要的是测量诸如气泡大小和形状、速度、界面面积浓度和空隙率之类的参数，以评估准确性并进行模型的开发。

专注于气泡参数表征的实验技术可分为两大类：基于探针的侵入式(接触式)方法和非侵入式(非接触式)方法。非侵入式方法与基于探针的方法有本质的不同，因为它们不干扰被研究的流动，避免了基于侵入性方法的大多数缺点，因此通常会呈现较高的空间分辨率。典型的非侵入式方法是激光多普勒风速仪的利用和图像处理技术。为了确定气液两相流的参数，例如连续相的平均速度、局部气体浓度、流动特性以及它们在分散相中的波动，需要一些基于模型的特征提取方法来提取关于气泡在空间中的确切位置及其尺寸的信息。这些特征不仅能准确地捕捉两相流中的气泡特性，同时在后续的气泡跟踪等领域的研究中也有着重要作用。确切地讲，就是利用图像处理方法来识别两相流中的不同气泡，并计算相关参数。传统的图像处理方法通过一系列过滤和操作步骤来识别图像中的气泡，例如图像类型转换、图像滤波、图像去噪和增强、图像填充等。在应用了这些图像处理步骤之后，从最终图像中可以看到图像的几何特征。最后通过鉴别器算法进行边缘检测和进一步需要的参数操作，输出图像的特定几何特征。但是在传统的图像处理方法中，由于特征选择是主观人为的，特征的提取不全面，因此智能的选择图像特征是这一领域待解决的问题。

近年来，基于深度学习的方法能够对图像进行智能的处理，在图像识别、分类和处理中得到了广泛的应用。例如，基于卷积神经网络(CNN)的图像处理方法由于其鲁棒性和多功能性深受开发者们的喜爱。因而一些作者提议使用深度学习进行气液两相流中的气泡识别，与经典的图像处理方法相比，可提供相似或更好的结果。由于水下泡状流数据复杂度较高，导致模型的鲁棒性较差，而大多数工业实验中又要求极高的气泡识别精确度，因此，针对气液两相流识别领域中的气泡识别问题，引入改进的深度学习模型进行专注于气泡的精确识别，在这一领域具有很高的应用价值。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种针对气泡识别的基于光学图像的气液两相流智能识别方法，通过改进的全卷积FCN网络模型训练，建立气液两相流中可以识别气泡的模型，并能够达到较高的精确度。

本发明的目的是这样实现的：

步骤1：准备训练数据集和测试数据集。对于我们现有的气液两相流视频，使用Python提取视频中每一帧的画面，将每一帧的图片使用Labelme进行数据标注。每张图片X的标签中包含两种像素类型，背景对应的像素为0，气泡对应的像素为1，这里背景像素和气泡像素的比例可能不均衡。然后将每一张图片与其对应的标签构建成Dataset数据集，并且进行读取、解码、归一化以及标准化的预处理操作，并随机地将其中80％的图片和其对应的标签作为训练数据集，其余20％的图片和其对应的标签作为测试数据集。

步骤2：构建全卷积网络模型FCN，首先利用VGG16网络模块进行迁移学习，使用VGG16网络中的卷积基部分，移除全连接层，并且使用在ImageNet数据集上预训练好的权重进行训练。由于语义分割需要对图像上的各个像素进行分类，而卷积核池化的过程是一个“下采样”的过程，使得图像的长宽越来越小，这就需要使用反卷积上采样的方法将最后得到的输出还原到原图的大小，然后使用Sigmoid进行激活且输出一个值，从而实现分类。在网络模型FCN参数更新中，

其中M

(u,v)代表灵敏度矩阵中的元素位置，

步骤3：训练构建的FCN网络模型，具体包括

步骤3.1：初始化参数：输入训练数据的批次batch_size、训练迭代次数epoch，超参数γ(学习率)、buffer_size(缓冲区大小)；

步骤3.2：设置损失函数Dice_loss：考虑一个样本，则第n个样本的损失函数是

其中，c是label的维度，对于分类问题，意味着这些样本能分为c类。

优化器使用Adam优化算法来更新网络的权重参数，其中m

m

其中，η，β

步骤3.3：计算并且输出网络的精确度Precision、召回率Recall，并且单独计算气泡识别的准确率。精确度Precision的具体表达为

召回率Recall的具体表达为

其中，TP是分类器认为是正样本而且确实是正样本的例子，FP是分类器认为是正样本但实际上不是正样本的例子，FN是分类器认为是负样本但实际上不是负样本的例子。

步骤4：根据训练好的FCN全卷积网络模型识别气液两相流中的气泡：对于训练完成后的FCN全卷积网络模型，为模型输入一张气液两相流待识别的图片，通过网络可近乎精确识别图片中的气泡，计算并得到气泡识别的精确度。

与现有技术相比，本发明的有益效果是：

本发明针对基于光学图像液体中气泡的识别问题，引入改进的FCN全卷积网络，建立了基于光学图像的气液两相流智能识别模型。此方法的优势在于：(1)针对大量的气泡训练样本标记难的问题，我们采取了Labelme进行数据智能标注，能够去除原始图像中的噪声，将背景和气泡分成两类，以便于网络的训练。(2)使用VGG16进行迁移学习，充分利用模型之间存在的相似性，提高了模型的稳定性、可泛化性以及学习效率。(3)由于获取的图像数据中气泡与背景两类像素分布比例并不均衡，当使用二元交叉熵损失函数时，模型的训练结果会更加偏向图像中像素数量多的一类，因此使用Dice_loss作为损失函数进行训练。(4)将基于深度监督学习和数据提取的FCN方法引入到气液两相流识别中，它可以通过多层卷积操作从像素级别自动提取信息，以提取抽象的语义概念。(5)使用上采样层和多尺度融合技术来进一步优化结果，使高级子网多次融合了低级子网的特征，保持极高的分辨率，从而提高气泡识别的精度。

附图说明

图1是本发明使用VGG16进行迁移学习所改进的FCN全卷积网络框架示意图；

图2是本发明对于气液两相流数据使用Labelme进行的数据标注；

图3(a)至图3(c)是本发明对于气液两相流数据使用改进FCN模型的收敛结果、精确度与召回率结果；

图4是本发明对于气液两相流数据使用改进FCN模型的单独气泡识别精确度；

图5是本发明对于气液两相流数据使用改进FCN模型识别结果。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

本发明基于语义分割算法中的全卷积网络模型FCN，针对气液两相流图像序列数据，提出了一种基于光学图像的气液两相流智能识别技术。在模型结构上，首先引入经典网络VGG16进行迁移学习，移除全连接层，保留该网络中的卷积基部分，并且使用在ImageNet数据集上预训练好的权重进行训练。接下来引入了语义分割的核心思想——反卷积上采样以及跳跃结构。由于网络需要对图像上的各个像素进行分类，而卷积核池化的过程是一个“下采样”的过程，使得图像的长宽越来越小，“反卷积”是卷积的逆过程，使得图像的长宽得以还原，保留高分辨率的结果；然后引入跳跃融合结构，弥补前面卷积层和池化层丢失的特征，结合不同深度层结果的跳级结构，将不同池化层的结果进行上采样，结合这些结果来优化输出；该方法可确保鲁棒性和精确性，修复还原的图像。在损失函数上，使用二元交叉熵损失函数，模型的训练结果会更加偏向图像中像素数量多的一类，因此使用Dice_loss作为损失函数进行训练。以上在模型结构以及损失函数上的改进可以使得模型收敛更快，数据质量更高。引入FCN改进模型去训练气液两相流图像序列数据集，可得到针对于气泡的精确识别，提高了气液两相流识别模型的准确度。

实施例

本发明提出的一种基于改进的全卷积网络FCN光学图像的气液两相流智能识别方法，包括以下步骤：

步骤一：将气液两相流的视频源作为原始数据，使用Python提取视频中每一帧的画面，将每一帧的图片使用Labelme进行数据标注。每张图片X的标签中包含两种像素类型，背景对应的像素为0，气泡对应的像素为1，这里背景像素和气泡像素的比例不均衡。然后将每一张图片与其对应的标签构建成Dataset数据集，并且进行读取、解码、归一化以及标准化的预处理，并将其中80％的图片和其对应的标签作为训练数据集，其余20％的图片和其对应的标签作为测试数据集。

步骤二：首先我们以全卷积网络FCN模型为基础，构建利用VGG16网络模块的全卷积部分作为卷积基进行迁移学习，移除全连接层，并且使用在ImageNet数据集上预训练好的权重进行训练。由于语义分割需要对图像上的各个像素进行分类，而卷积核池化的过程是一个“下采样”的过程，使得图像的长宽越来越小，需要使用反卷积上采样的方法将最后得到的输出上采样到原图的大小，然后使用Sigmoid进行激活且输出一个值，从而实现分类。在改进FCN网络模型参数更新中，x

其具体更新方式为

其中M

(u,v)代表灵敏度矩阵中的元素位置，

步骤三：计算损失函数。如果使用二分类交叉熵损失函数BinaryCrossentropy，当数据集中每张图片的气泡像素过少，背景像素过多的情况下，训练得到的结果会偏重于背景类别，使得网络并不能对气泡进行很好的识别。所以，在这里我们使用医学影像分割的损失函数Dice Loss，其表达式为

上式中，c是label的维度，对于分类问题，意味着这些样本能分为c类。

根据上式可知，如果模型达到完全拟合，损失函数的值会无限接近于0，在训练过程中可以根据损失函数的值判断模型是否收敛，如果Dice Loss损失函数值不再下降，则网络模型收敛，训练完成。

步骤四：训练改进的FCN全卷积网络模型。如图1所示，首先将气液两相流图片与使用Labelme标注的图片成对的输入网络中通过卷积提取特征，池化改变图片的长、宽、通道；然后通过上采样使高级子网与前面的低级子网进行特征融合并使最后得到的输出还原到原图的大小，结合这些结果来优化输出，同时确保鲁棒性和精确性；然后计算网络的损失函数，并根据Adam优化算法更新权值参数，根据上述方式循环迭代训练网络的参数，直到损失函数值不再下降或保持稳定，则网络模型收敛，训练完成，输入气液两相流待识别图片，利用网络模型生成语义分割后的结果。

步骤五：训练完成后的模型输入一张气液两相流待识别的图片，其中每张图片X包含两种像素类型，背景对应的像素为0，气泡对应的像素为1，并且背景像素和气泡像素的比例不均衡，通过网络可近乎精确识别图片中的气泡，自动生成语义分割的结果，并且单独计算气泡识别的最终准确率。

结合具体参数实施例，本实施例数据来自模拟闭合回路进行的两相流实验，通过调节管路阀门可控制气液两相流竖直上升及竖直下降，对于竖直下降两相流，水泵驱动水箱中的去离子水经过滤器及后分两路分别进入气泡发生器及竖直试验段，经气水分离器进行气水分离后回到水箱。一体式空压机产生压缩空气储存于容积300L的压缩空气罐，压缩空气经电磁阀进入气泡发生器，进而进入实验段及气水分离器，最终排入大气。实验段总长约3.7m，由内径50.8mm的不同长度的有机玻璃管段及采集窗口连接组成。采用平面设计，可进行高速摄像。通过调整有机玻璃管段及采集窗口的相对位置，可以进行沿流动轴向不同位置的两相流参数测量。通过对视频每一帧的截取获得两相流图片数据集，我们将它作为网络模型训练的训练集，训练前对数据进行归一化以及标准化处理。

模拟闭合回路的两相流实验气泡识别结果分析：

本实验数据集为模拟闭合回路的两相流实验所得视频源截取的9351张气液两相流图片，我们随机抽取其中80％作为训练集，剩余20％作为测试集，根据构建的改进FCN网络模型以及训练方式进行训练，表1是在我们配置好网络参数的情况下，使用该模型得到的各个结果指标，分别是训练集和测试集数量、损失函数值、精确度Precision、召回率Recall、在9351张图片上测试气泡识别的准确率这4个衡量网络是否拟合的指标。损失函数值越低说明分类效果越好。精确度越高时说明分类器认为是正类，并且确实是正类的部分占所有分类器认为是正类的比例越高。召回率越高时说明分类器认为是正类，并且确实是正类的部分占所有确实是正类的比例越高。图3(a)到图3(c)是该模型的收敛值曲线、精确度曲线、召回率曲线，从中可以看到随着迭代次数的增加，模型的收敛性以及稳定性上都有了显著的提升。

基于改进的全卷积网络FCN模型，以7481张气液两相流图片作为训练数据集，1870张气液两相流图片作为测试数据集，我们将训练数据集与测试数据集输入到该网络中进行训练。图4是计算得到的单独气泡在该网络中识别的最终准确率曲线，从中可以看到，该准确率能够达到98.37％，并且计算复杂度低、运算量较小。图5是该网络识别气液两相流图片中气泡的结果，从测试结果和图片预测结果中，我们均可得出结论，该网络对于气液两相流识别尤其针对气泡识别具有极高的精确度。

表1本发明训练集及测试集数据最终输出结果