两相流是指由两种不同相物质构成，且两相间存在相界面的流动系统．当流动系统中仅含有气相和液相时，称为气液两相流[1]．在气液两相流动中对于流场的测量，由于气液两相相互作用，其流动过程远比单相流动更加复杂[2]，这也是目前多相流体力学的研究难点之一．同时，气泡的速度、大小和形状分布决定了流动结构、传质面积、混合性能及反应效率[3-5]，因此对于气泡形状及大小的测量技术进行研究具有广泛的工程应用价值．为了获得精确的气泡形状及大小信息，需要复杂的实验装置及先进的图像处理技术．随着实验装置和图像处理技术的不断变革，数字图像处理(DIP)作为一种非接触式的图像测量技术，因其可以较为直观地显示气泡的大小、形状、分布且对流场不产生干扰的特点，被广泛应用于气泡形态及大小的测量[6-8]．传统的图像分割方法存在如下明显不足：a．在使用传统算法的过程中，由于气泡图像分割不足或分割过度等原因，导致边缘分割模糊，影响气泡检测精度[9]；b．传统分割算法容易受到背景噪声的影响[9]，导致鲁棒性较差；c．对图像进行前处理过程须要消耗大量的时间和计算资源[10]．近几年来，卷积神经网络在计算机视觉领域的运用越发广泛，极大促进了目标检测和图像分割领域的快速发展．文献[11]将CNN(卷积神经网络)用于特征提取，提出用于精确物体定位和语义分割的特征层次结构——RCNN，该模型极大提高了目标检测精度，缩短了检测时间．文献[12]提出YOLACT深度学习算法，可以实时分割目标，并能够分割目标的具体形状．文献[13]提出有效通道注意力机制网络(ECA-net)模块，通过非线性自适应一维卷积形成注意力机制能有效提高卷积神经网络对特征的提取能力．文献[14-15]设计出空洞卷积并对膨胀率进行研究，有效解决了卷积网络对图像特征进行提取过程中上采样和池化层的设计导致内部数据丢失及小物体信息无法重建的问题．在气液两相流的研究中，国外的学者开展研究较多[16-17]，这些研究虽能获得气泡的轴、中心位置和大小等形状信息，但是只考虑了气泡为单一球型或椭球体等极其规则的形状，而当气液两相流动时，由于各种流动条件的改变，实际气泡形状与规则形状相差较远[18]．气泡图像的分割远大于一般意义上的图像分割问题，其难点在于：a．随着空隙率的增加，图像中的气泡高度重叠、黏连，使其堆叠成为复杂的簇群，气泡难以定位和分割；b．由于气泡的高度重叠导致传统算法存在过度分割和欠分割等问题，从而难以获得准确的气泡参数；c．边界模糊，不易区分．相比计算机视觉领域的图像分割问题，气液两相流中的气泡没有明显的边界，导致算法分割难度提升．针对气液两相流分割这一复杂问题，选取YOLACT网络的主要原因在于：a．YOLACT网络在掩码的过程中能充分的利用特征信息，对解决气泡的高度重叠问题大有裨益；b．网络实时性强，且普适性高[12]．由于气液两相流气泡图像分割数据集的缺乏，导致算法准确率不高，因此须要选取对气液两相流动这一复杂系统、适应能力强的网络．基于以上基础，本研究借鉴文献[14-15]和ECA-net[13]思路，提出一种改进的YOLACT气泡检测与分割算法，增加对重叠气泡边缘特征的获取，实现对气泡的分割检测．1 改进YOLACT算法模型YOLACT是一种先进的实例分割方法，也是一种单阶段的实时实例分割算法，它将实例分割任务分为两个子网络，分别获取掩码及掩码系数，通过掩码与掩码系数的乘积，获得准确的目标掩码，从而实现对物体的精确检测与实例分割[12]．本研究提出一种改进的YOLACT的模型，以实现对气液两相流中的重叠气泡进行检测分割．YOLACT模型由骨干特征网络、原型网络结构(protonet)、预测结构(prediction head)、非极大值抑制(NMS)、裁剪模块(crop)和阈值模块(threshold)组成，如图1所示．10.13245/j.hust.230259.F001图1YOLACT网络结构YOLACT的骨干网络主要是用于对图像特征的提取，本研究采用将注意力ECA-Net引入特征金字塔组成新的ResNet网络，同时在特征金字塔下采样的过程中引入空洞卷积．为此，从以下四个部分对骨干网络进行介绍．a．ResNet网络．ResNet(残差网络)由文献[19]提出，其在对图像特征进行学习的过程中巧妙构造出残差块(Residual)结构，提高了梯度跨模块传播的能力，有效解决了随着网络深度增加而出现的梯度爆炸、梯度弥散及网络退化等问题．为更好提取重叠气泡边界，同时兼顾网络训练效率，本研究选取Resnet 50作为YOLACT网络的特征提取模块的效果．b．空洞卷积．空洞卷积是针对图像分割特征提取过程中下采样导致图像分辨率下降及小目标信息丢失而提出的一种卷积思路．空洞卷积在标准卷积的基础上增加膨胀率系数，在不改变计算量的前提下增大感受野．由于在气液两相流过程中的气泡尺寸大小存在多样性，因此本研究在特征提取过程中引入空洞卷积，同时为了避免单一空洞卷积造成的网格效应，参考HDC[15]网络设计思想对膨胀率系数进行优化．c．特征金字塔网络(FPN)．特征金字塔[20]通过利用深度卷积网络的固有多尺度金字塔进行结构构建，将高层的语义信息和低层的特征信息的结合，在较少成本消耗的前提下实现对物体多尺度检测，同时提高物体检测的准确率．d．注意力机制模块．注意力机制本质是一种模仿人类视觉对于图像显著特征进行提取的模型．文献[13]利用一种无降维的局部交叉信道交互策略，设计出ECA-block．如图2所示，该模块用一维卷积代替了SE-block中的全连接结构，显著降低模型的复杂度，同时又保证了对特征提取的性能．ECA模块通过卷积内核大小为k的一维卷积实现局部跨通道交互的范围覆盖，即k个相邻卷积核参与一个通道注意力预测．为了避免交叉验证手动调整k的麻烦，提出一种自适应调整k值的方法，其表达式为k=log2C+βγodd，式中：k为卷积核的大小；C为通道数；⋅odd表示k只能取奇数；γ和β通常设置为2和1，用于改变通道数和卷积核大小之间的关系；W和H分别为宽和高；δ为激活函数．10.13245/j.hust.230259.F002图2ECA-block注意力机制借鉴ECA-block的思路，对骨干网络进行改进，如图3所示，图中Γ1～Γ5为经过5次卷积得到的特征图．当FPN特征金字塔网络对特征进行提取时，添加多层ECA-block注意机制模块，融入原来的Resnet的网络，同时在FPN网络下采样过程参考HDC网络设计思路，分别引入膨胀率为[2，3]的空洞卷积，提高网络对图像的特征提取能力，减少小气泡的信息丢失，增强气泡分割精度．10.13245/j.hust.230259.F003图3改进的骨干网络protonet结构是由一系列的卷积层所组成，当输入图像尺寸为550×550时，其结构如图4所示．将获取到的Ω3特征图，经由多个3×3卷积层、上采样和1×1卷积层，输出32个维度138×138的掩模原型(prototype mask)．由于protonet网络不具有损失函数，不会导致信息的丢失，所有的监督都来自线性组合后的掩膜误差(mask loss)，因此prototype mask能够得到高质量的掩模，并且对小目标具有10.13245/j.hust.230259.F004图4protonet网络结构更好的性能表现．将经由骨干网络获取到的特征图像Ω3作为protonet网络的输入，生成k个特征尺寸为138×138的proto原型；同时，FPN网络生成的Ω3~Ω7特征图通过predict head结构后得到位置信息、mask系数及置信率信息．对三种信息进行快速非极大值抑制(NMS)，选取局部最优，剔除冗余信息．最后将获得的proto原型与经过快速非极大值抑制的信息进行组合运算，即信息叠加、裁剪及阈值分割，得到最终的掩模结果．在训练网络的过程中，YOLACT网络的误差函数L由三部分组成，分别包含分类损失(Lcls)、回归框损失(Lbbox)和分割损失(Lmask)．由于YOLACT网络关注于分割，其权重分别为1.000，1.500和6.125，因此其表达式为L=Lcls+1.5Lbbox+6.125Lmask．2 实验过程与结果分析2.1　实验数据气液两相流动中气泡数据集的获取方法分为以下两种：a．利用高速相机在气液两相流动过程中进行拍摄，获取实验数据[21]；b．采用自动生成算法对合成气液两相流气泡数据图像．文献[22]在给定气泡大小和分布信息的条件下，遵循同心椭圆排列方式(CCA)，对气泡进行合成．本研究利用BubGAN[23]网络对气液两相流气泡图像进行生成．相较于实验或其他合成算法生成的气泡数据集，具有以下特点：a．目前大多数合成气泡图像算法由于须要输入先验信息导致局限于简单的气泡形状，如球形或者椭圆形，形状单一，而BubGAN利用神经网络对特征的自动提取，气泡形状丰富，贴合真实气液两相流动；b．BubGAN算法采用分层处理的策略，实现高分辨率图像的生成；c．通过对算法参数调节，生成具有不同特征的气泡图像数据集．将生成的气泡图像利用labelme进行手工标注，由于标注过程耗时耗力，因此只标注了200张图片数据．为增强模型的泛化能力，将已获得的标注图片进行图片亮度随机改变、图片噪声增加、图像中气泡位置随机翻转及镜像等操作，获得了数据量为1 000的气泡图片标注数据集，对数据集按照720︰180︰100的比例分别划分为训练、验证和测试使用，如图5所示．10.13245/j.hust.230259.F005图5训练数据集示意图2.2　评价指标评价指标是算法对气泡分割效果的量化．在计算机视觉中，实例分割多采用MS COCO数据集评价指标对算法效果进行检测[24]．实例分割采用掩膜尺寸的交并比(I)定义平均精度，I表示通过真实掩码和预测掩码之间的交集与并集的比值计算得出，其计算公式为I=a(m(p)⋂m(T))a(m(p)⋃m(T))，式中：m(p)为预测掩码；m(T)为真实掩码；a(⋅)表示区域．在给定的交并比的阈值下，准确率(p)和召回率(r)的计算公式分别为p=TPTP+FP；r=TPTP+FN，式中：TP为真值情况下的正样本；FP为负值情况下的正样本；FN为负值情况下的负样本．预测结果的平均精度(Pa)计算公式为Pa=∫01P(r)dr，式中：P为精度；r为召回率．考虑到准确率与召回率指标间相互矛盾的特性，本研究同时选取加权调和平均值F1作为图像分割检测的一项衡量指标，其表达式为F1=2pr/(p+r)．为了更好衡量气泡分割检测性能，结合MS COCO数据集所提供的衡量指标，考虑单个交并比阈值条件下的指标参数：Pa50(交并比阈值为0.50)，Pa75(交并比阈值为0.75)，交并比从0.50变化到0.95且步长为0.05阈值下的Pa值．同时，为了使算法贴近气液两相流中的气泡研究，对气泡的形态学参数进行误差分析，衡量模型的分割效果．为此，引入形态学参数，具体如下．a．纵横比．气液两相流动是一个复杂的非线性系统，气泡上升的过程往往伴随着变形，其变形的程度也在一定程度上揭示运动规律．为了评价气泡的畸变程度，引入纵横比的概念[25]，即长轴与短轴的比值，有E=l/b，式中：l为气泡的半长轴距离，即气泡边缘点最远距离的一半；b为气泡半短轴距离，即与长轴垂直的直线交于气泡边缘的两点L1和L2间距离的一半．b．气泡中心位置．在气液两相流动的过程中，气泡会不断发生形变，其位置难以确定，为对气泡的运动特性进行研究，须要确定位置参数．使用气泡的几何中心位置确定其运动轨迹更加合理，计算公式为xc=∑i,j∈ΩjN;yc=∑i,j∈ΩiN，式中：(i,j)为图像中第i行j列的像素点；(xc,yc)为气泡中心的横纵坐标；N为圆形气泡内所有像素总和．c．气泡等效直径．气泡的等效直径是描述气泡形态学的关键参数，其定义为具有相同像素面积的圆形直径，计算公式为D=2S/π，式中：S为像素面积；D为气泡等效直径．2.3　网络训练模型采用基于Python的tensorflow框架进行编写，对网络的训练、验证及测试均是基于Window系统下的平台，其配置为Intel(R) Core(TM) i9-10980XE CPU@3.00 GHz，内存8 GiB，NVIDIA GeForce RTX 2060 SUPER显卡．在训练过程中，采用Adam优化算法代替原YOLACT中的SGD优化算法，克服自变量在梯度较小的维度上迭代较慢的缺点．模型的初始学习率设置为0.1×10-3，动量设置为0.9，同时利用余弦退火算法对学习率进行调整．为了加快网络训练的速度及特征学习能力，本研究从MS COCO数据集上获得预训练权重，对模型进行迁移学习，并且为了提高分割效果，在GPU上采用两张图片作为小数量批次输入．2.4　实验结果与分析2.4.1　模型比较为了验证本研究所提出的改进YOLACT模型的分割效果，使用测试集中的100张气泡图片分别对五种模型分割预测，其中每张气泡图片中平均含有80个气泡，且气泡按高斯规律随机分布，图片亮度不一，图片中具有大量的气泡重叠情况．通过模型分割预测，其评价指标参数计算如表1所示．10.13245/j.hust.230259.T001表1五种模型在测试集上的评价指标模型p/%r/%F1/%Pa50/%Pa75/%t/sMask RCNN91.8395.6193.6894.6086.8017.34YOLACT88.9196.3492.4795.5084.9014.90改进YOLACT89.4997.5193.3296.8086.0015.00PA-net90.6593.4592.0294.5086.3018.01SOLO88.3395.2491.6595.3083.9014.79通过对比可知：改进后的YOLACT网络在气泡分割上的准确率达到89.49%，相较于YOLACT和SOLO网络分别提升了0.58%和1.16%，在100张图片上的验证时间分别增加了0.10和0.21 s，而相较于Mask RCNN和PA-net，虽然准确率分别下降了2.34%和1.16%，但是时间大幅度减少了2.34和3.01 s．图6展现了三种模型训练后对气泡的分割效果图．10.13245/j.hust.230259.F006图6五种模型分割检测效果通过对图6的局部放大图观察对比可知：改进的YOLACT模型在重叠气泡的检测效果要优于原来的YOLACT网络．如图6中黄色所框出的区域，改进的YOLACT能很好检测分割，而原网络却无法识别及分割．2.4.2　气泡形状学特征参数模型效果评估为了验证改进算法对气泡形态学关键参数的提取效果，将算法模型获得的参数与BubGAN气泡形态学参数和经由传统算法中值滤波、背景减法、直方图均衡化及孔洞填充等预处理操作得出的参数进行比较，计算出相对误差，从而验证算法的精确度．随机选取4个典型气泡进行形态学参数的误差计算，计算结果如表2所示，通过计算发现算法误差均低于5%，具有较高的测量精度．10.13245/j.hust.230259.T002表 2气泡形态学参数误差分析气泡气泡形态参数传统算法改进模型算法相对误差/％气泡1纵横比1.181.201.69气泡直径/mm3.223.230.35横坐标/像素65.5066.311.22纵坐标/像素74.7776.332.09像素面积/像素3 2573 2800.71气泡2纵横比1.231.251.63气泡直径/mm3.143.181.27横坐标/像素538.50540.200.32纵坐标/像素98.8099.300.51像素面积/像素3 1063 1762.25气泡3纵横比2.062.101.94气泡直径/mm2.442.450.41横坐标/像素251.50253.600.83纵坐标/像素228.50231.101.14像素面积/像素1 8741 8860.64气泡4纵横比1.251.314.80气泡直径/mm4.324.401.85横坐标/像素183.50189.303.16纵坐标/像素159.40162.401.88像素面积/像素5 8646 1004.022.4.3　不同流动条件下模型评估为了验证模型在不同气液两相流流动条件下均具有良好的分割及识别性能．本研究选定气泡直径为3.5 mm，通过改变BubGAN网络中的空隙率(α)控制参数，产生空隙率的变化范围为0.04~0.13，每隔0.01产生一组．如图7所示．10.13245/j.hust.230259.F007图7不同空隙率的气泡图将气泡直径为3.5 mm的不同空隙率的10组数据进行模型验证，其结果如图8和图9所示，图中：bbox代表算法模型对气泡的检测定位；mask代表对气泡的掩模；Pa50和Pa75分别作为衡量指标．从图中可知：随着气泡的空隙率增加，算法对气泡的分割和定位性能指标Pa50影响较小，而性能指标Pa75存在着较大的波动，例如当空隙率为0.08时，掩模的Pa50值为0.964，Pa75为0.879，定位的Pa50值为0.962，Pa75为0.908；当空隙率为0.12时，掩模的Pa50为0.989，Pa75的值为0.892，定位的Pa50为0.98，Pa75的值取0.892．通过数据分析可知：模型Pa75的值存在较大的波动，其原因为随着气泡空隙率的增加，气泡的密度和数量不断增加，而Pa75要求交并比大于75%，致使图片气泡出现大规模的重叠，从而导致气泡的指标参数下降．综上可知：模型随气泡空隙率变化仍然具有较好的泛化能力，但对于空隙率较大的实验，仍须进一步研究．10.13245/j.hust.230259.F008图8不同空隙率下Pa值的变化10.13245/j.hust.230259.F009图9不同空隙率的气泡分割效果3 结语本研究针对气液两相流中所产生的气泡进行实例分割．基于BubGAN网络生成数据集，同时采用数据增强的方式扩充数据集，完成对网络模型训练．借鉴注意力机制对特征提取功能，将ECA-block注意力机制模块引入YOLACT的特征提取网络，在测试集上对五种模型的学习能力、算法稳定性及图像分割准确性进行对比分析．同时，为验证模型适用于气液两相流流动实验情况，将改进的YOLACT神经网络用于不同空隙率气泡图片中，经分析得出：随着空隙率的增加，模型检测评价指标Pa50趋于稳定，而Pa75存在着小幅度的下降，因此本研究提出的模型具有泛化能力，适用于气液两相流实验．本研究提出的改进的气液两相流气泡自动分割及定位技术ECA-YOLACT具有良好的泛化能力及检测性能，未来的研究将扩充其他两相流气泡数据集，同时对网络进一步进行优化．