火灾事故会带来严重的经济损失和人员伤亡[1]，因此火灾探测在现实生产生活中尤为重要．基于图像处理的火灾探测方法[2]在实时性、准确性及减少传感器数量上具有较大优势，得到了广泛应用[3]．在火灾探测中，若能实现火焰图像分割(将火焰从背景图像中分离)，则能准确计算火焰面积和位置，利于消防员迅速研判火情，因此研究火焰图像分割具有重要的价值．火焰图像分割方法主要包括两大类，即基于机器学习的分割方法和基于火焰颜色、纹理特征的分割方法．针对基于机器学习的分割方法，文献[4]提出一种利用基于加权欧式距离的方法对火焰图像进行灰度化处理，并通过Kmeans++颜色聚类完成火焰分割的方法；文献[5]结合编码解码结构和空间金字塔池化模块两种方法，可以实现火焰图像分割．这类方法的特点是强烈依靠数据，虽然火焰图像分割精度会随数据量的增加而提高，但是由于火焰轮廓复杂，导致手工制作数据集工作量大，因此限制了此类方法的使用．针对基于火焰颜色、纹理特征的分割方法，文献[6]分析了火焰的RGB(红绿蓝)、HSI(色调、饱和度、亮度)颜色模型的特点，提出了三条颜色判据用于火灾早期检测；文献[7]分析了火焰的YCbCr(亮度、蓝色分量差、红色分量差)的不同颜色分量的特征，设定了更多的约束条件以检测火焰区域；文献[8]提出一种基于RGB和YCbCr混合模型的多特征的火焰图像分割方法，并利用火焰的静态特性和动态特性来排除干扰物．基于火焰颜色、纹理特征的分割方法简单高效，但存在两个问题：一是容易产生火焰漏分割(没有将火识别出来)和误分割(将干扰误判为火)问题；二是难以区分火焰反光，因为火焰反光与火焰颜色极为相似，所以现有的分割方法易对反光产生误分割．为解决上述问题，本研究提出一种基于并联结构的分割方法．1 初分割火焰图像初分割的目的是最大程度地保留火焰图像面积和颜色信息．RGB模型是通过红绿蓝三原色亮度来定量表示颜色[9]，是一种简单高效的颜色信息表达模型，因此在初分割中选择RGB模型．图1展示了火焰图像的红绿蓝三个分量图，图中亮度越亮代表值越大，通过三个分量图的对比可以观察出火焰的红色分量明显要比绿色和蓝色分量更亮，说明红色分量值比绿色和蓝色分量值高．图2直观展示了一个视频(300张图像)中火焰红色分量(RF)与绿色分量(GF)均值构成的散点图，以及红色分量与蓝色分量(BF)均值构成的散点图，可以看出所有的点均在45°线的下方，进一步验证了火焰的红色分量值比绿色和蓝色分量高．10.13245/j.hust.221116.F001图1火焰图像的红绿蓝分量图对比10.13245/j.hust.221116.F002图2一个视频中火焰红绿蓝分量均值之间的关系综上，火焰的红色分量是火焰最显著的分量，因此在初分割部分，为尽可能多保留火焰信息，对红色分量进行阈值分割，判据为f(x,y)=f(x,y)    (R≥RT);0    (RRT), (1)式中：f(x,y)为图像中一个位置(x,y)的颜色值；R为f(x,y)的红色分量值；RT为红色分量阈值．使用式(1)分割的关键是选取合适的阈值RT．文献[10]提出二维最大熵法求取阈值，该方法首先定义红色分量图IR-ori(x,y)每个像素点所对应的n×n邻域的平均图像IR-ave(x,y)为IR-ave(x,y)=1n2∑i=-n/2n/2 ∑j=-n/2n/2IR-ori(x+i,y+i)，其二维直方图的联合概率密度为pij=rij/N，式中：rij为IR-ori(x,y)中某位置像素灰度值i和IR-ave(x,y)对应位置的像素灰度值j同时出现的频数；N为像素总数．IR-ori与IR-ave构建的二维直方图如图3(a)所示．二维最大熵法通过计算阈值{s，t}(s为须要求取的RT)将图像划分为四个区：Y区代表背景；Z区代表目标物；D1和D2区分别代表为边缘和噪声．10.13245/j.hust.221116.F003图3改进前后二维直方图对比本研究对其进行改进，在二维最大熵法基础上采用截断技巧，使阈值求解更加合理．截断技巧主要考虑到火焰的红色分量值较大[11]，选择阈值m作为初阈值，将IR-ori中红色分量值小于m或IR-ave中红色分量值小于m的区域定义为非火区；将IR-ori中红色分量值大于等于m且IR-ave中大于等于m的区域定义为火焰区．构建新的二维直方图如图3(b)所示，图中：阴影部分代表非火区；空白部分代表火焰区．采用截断技巧后，当二维最大熵法计算概率密度时忽略非火区，仅计算火焰区．背景Y与目标Z的概率PY和PZ分别为：PY=∑i=ms ∑j=mtpij;PZ=∑i=s+1255 ∑j=t+1255pij．采用截断技巧后，二维熵H(s,t)为H(s,t)=-∑i=ms ∑j=mtpijYln pijY-∑i=s+1255 ∑j=t+1255pijZln pijZ，式中pijY和pijZ分别为Y区和Z区每个灰度级的归一化概率．最终，采用截断技巧后二维最大熵法的阈值计算公式为(s*,t*)=argmaxm≤s≤255 maxm≤t≤255{H(s,t)}．2 抑制干扰初分割虽然能较为准确地提取出火焰前景区域，但是背景中与火焰红色分量取值相近的干扰物也会被误分割成火焰，因此须采用火焰的其他颜色、纹理特征来抑制干扰．经过观察大量火灾图像，统计出一些常见的干扰源，见表1．10.13245/j.hust.221116.T001表1火焰图像中常见的干扰物图像类型干扰物灯光照明灯、警报灯、车灯、手电筒、闪光灯阳光自然光、窗门透射的阳光反光自身反光、反光金属其他灰色地面、消防衣等火焰燃烧时产生大量的光，当火焰光照射到地面、墙面、铁皮等表面光滑的物体上时，有部分光线会被反射回来，这就是火焰的反光效应．火焰反光区域红色、绿色、蓝色三个分量衰减效果对比示意图如图4所示，图中亮度越亮表示分量值越高，从图中易观察出：火焰反光区域蓝色分量值衰减程度最大，绿色分量衰减程度次之，红色分量衰减程度最小．10.13245/j.hust.221116.F004图4火焰反光区域红绿蓝分量衰减对比统计1 000个不同场景火焰及其反光区域的红绿蓝分量均值，如表2所示，火焰反光红色分量的均值相较于火焰衰减了25.85%，绿色分量衰减了35.92%，而蓝色分量均值衰减了53.58%，说明火焰反光的蓝色分量衰减程度要比红色和绿色分量大．10.13245/j.hust.221116.T002表2火焰与反光区域的红绿蓝分量对比图像类型红色分量绿色分量蓝色分量火焰218.2211.6192.6反光区域161.8135.689.4因此在分割过程中利用火焰反光区域蓝色分量值衰减严重的特征，能够较好抑制反光，设计的蓝色分量阈值分割公式为f(x,y)=f(x,y)    (B≥BT);0    (BBT),式中：B为f(x,y)的蓝色分量值；BT为蓝色分量阈值．火焰的饱和度会随红色分量的增大而减小[6]，而部分干扰物饱和度虽然有的偏高(阳光)、有的偏低(灰色地面)，但是基本稳定，不会随着红色分量值而变化．因此在分割过程中利用火焰饱和度随红色分量的增大而减小的特征，能够排除部分饱和度稳定的干扰物，设计的饱和度分割公式为f(x,y)=f(x,y)    (S≥(1-R)ST/RT);0    (S(1-R)ST/RT),式中：S为f(x,y)的饱和度分量值；ST为饱和度阈值．火焰的颜色分布不均匀，其蓝色分量离散度较高[12]，而部分干扰物(如阳光、反光金属)的颜色呈现均匀分布，离散度较低．因此分割中利用火焰蓝色分量离散度较大的特性，能够排除部分颜色分布均匀的干扰物，设计的蓝色分量离散度分割公式为f(x,y)=f(x,y)    (Bstd≥Bstd_T);0    (BstdBstd_T),式中：Bstd为f(x,y)的蓝色分量离散度；Bstd_T为蓝色分量离散度阈值．由于火焰的形状随机性很大，轮廓较为复杂，因此火焰单位面积的周长较长，圆形度较低[19]．而部分干扰物(如车灯、手电筒和窗门透过的光)形状较为规则，圆形度较高，因此在分割过程中利用火焰的圆形度较低的特征，能够排除形状规则的干扰物，设计的圆形度分割公式为f(x,y)=f(x,y)    (C≤CT);0    (CCT),式中：C为f(x,y)的圆形度；CT为圆形度阈值．经上述分析，相比于干扰物，火焰的蓝色分量取值较大、饱和度随红色分量的增大而减小、蓝色分量离散度较大及圆形度较小这四个特征可以作为分割火焰图像时抑制干扰的主要依据．四个特征的作用如表3所示．10.13245/j.hust.221116.T003表3四个特征的作用判据蓝色分量取值饱和度蓝色分量离散度圆形度灯光√√自然光√√窗门透射的阳光√√自身反光√反光金属√灰色地面√消防衣√注：√表示有抑制作用．结合上述四个特征作为火焰图像分割时抑制干扰的综合判据，其具体公式为：f(x,y)=     f(x,y)    (B≥BT,S≥(1-R)ST/RT,Bstd≥Bstd_T,C≤CT);0    (其他).3 精准分割火焰图像通过初分割能够保留较为完整的火焰信息，但是容易对干扰物造成误分割．而通过抑制干扰能排除干扰物的影响，但是由于分割条件过于严格，容易对火焰造成漏分割，因此保留的火焰信息不完整．这里的主要任务是探究如何将两部分分割出的图像融合起来，并提高分割精度．3.1　基于并联结构的粗分割为整合前述分割算法的优点，减少误分割、漏分割区域，采用并联结构将前两节分割好的火焰区域进行融合．采用一般的并联结构，取初分割和抑制干扰两部分分割出火焰区域的并集，即F=K(i)⋃L(j)，式中：K(i)为初分割部分分割出的火焰区域；L(j)为抑制干扰部分分割出的火焰区域；F为求取的火焰区域．虽然一般的并联结构将两部分分割出的火焰区域都保留下来，降低漏分割率，但是误分割区域依旧会被保留下来，导致较高的误分割率．为此，对其进行改进，判断两部分分割出的火焰区域是否有交集，若交集大于一定面积，则将其视为真实火焰区域并保留两部分的并集；否则将其视为干扰物并剔除，达到降低误分割率的目的．改进后的并联结构为F=K(i)⋃L(j)    (K(i)⋂L(j)≥s);0    (K(i)⋂L(j)s),式中s为设定的火焰最小面积．改进前后的并联结构示意图如图5所示，初分割部分(图5(a))在分割出火焰区域的同时会产生误分割区域①，②，③；抑制干扰部分(图5(b))在分割出火焰区域的同时会产生漏分割区域①和误分割区域④；采用一般的并联结构(图5(c))虽能剔除漏分割区域①，但会保留误分割区域①，②，③，④，改进后的并联结构(图5(d))在保留火焰区域的同时能剔除误分割区域①，③，④和漏分割区域①，从而降低误分割率和漏分割率．10.13245/j.hust.221116.F005图5改进前后的并联结构对比由于火焰四周的红烟与火焰颜色极为相似(图5中误分割区域②)，导致粗分割的精度不高，因此须对粗分割得到的火焰图像进一步精细分割．3.2　区域生长算法区域生长算法具有将相似性质的像素点集合起来构成一个区域的优点[13]，本研究提出在粗分割之后利用改进的区域生长算法进行火焰精准分割，剔除红烟干扰．区域生长算法分割图像的好坏主要取决于种子点的选择和生长准则．为使火焰的种子点选择准确，将粗分割后的图像中的每一个连通域的质心设置为初始的种子点．传统的生长准则不能考虑火焰的全局信息，易造成误分割，为剔除红烟干扰，对生长准则进行改进．考虑火焰的全局信息，将已经确定为火焰区域的灰度均值h'作为新的种子点灰度值，即h'=1M∑i=1Mhi，式中：hi为已经确定为种子点的灰度值；M为已经确定为火焰区域的像素总数，则改进的生长准则为hi+1-h'HT，其中，hi+1为须要判断的点，HT为设定的灰度阈值．利用改进的区域生长算法对火焰进行分割，得到最终的火焰分割图像．综上所述，本研究分割火焰图像的流程如图6所示．10.13245/j.hust.221116.F006图6火焰分割流程图4 实验验证为验证算法的有效性，在两个仓库环境采集了48个不同时间、不同位置的火灾视频，转换为图片，并在互联网上寻找大量火灾图片．将上述火灾图片作为算法的测试集，并对测试集中的火焰区域进行标注，得到真实分割的火焰图像．使用python对提出的蓝色分量抑制反光和并联结构进行实验验证，并选用交并比(IOU)、精准率(precision)和召回率(recall)[14]作为评价指标．4.1　抑制火焰反光实验为研究蓝色分量阈值分割抑制反光的效果，选取两个场景图片，采用不同的阈值进行蓝色分量阈值分割．反光面积比例(Aref)随BT的变化如图7所示，从图7可以观察出：当阈值为0时，反光面积比例为100%，反光得不到抑制，随着BT的增加，火焰反光面积逐渐减小，当BT=200时，场景a火焰反光面积比例为9.1%，场景b为0.5%，说明大部分的火焰反光得到了抑制．10.13245/j.hust.221116.F007图7不同蓝色分量阈值与反光面积之间的关系选择经典的火焰分割方法文献[6]模型，进行抑制反光对比实验．两种方法效果如图8所示，通过对比蓝色分量阈值分割与文献[6]模型两组图像，发现蓝色分量阈值分割抑制反光的效果明显优于文献[6]模型，说明蓝色分量阈值分割能够完成抑制反光的任务．10.13245/j.hust.221116.F008图8抑制反光对比4.2　并联结构实验为验证本研究提出的基于并联结构的火焰图像分割方法的有效性，选择当前火焰分割效果较好的三种方法，即基于YCbCr模型的火焰图像分割算法[8](方法1)、结合Kmeans++聚类的火焰图像分割算法[4](方法2)，以及基于深度学习的DeepLabV3+分割模型[5](方法3)进行对比实验．四种方法分割效果对比如图9所示，图中“本研究”指的是“初分割+抑制干扰+精准分割”的并联结构．10.13245/j.hust.221116.F009图9不同方法分割效果对比从图9可以观察出：初分割能保留较为完整的火焰信息，但是会对一些干扰造成误分割；抑制干扰明显抑制原图中警报灯、阳光、窗门透射的阳光、自身反光、反光金属、灰色地面和消防衣等干扰物，但容易对火焰造成漏分割；而“初分割+抑制干扰+精准分割”的并联结构结合初分割和抑制干扰两部分的优点，能够保留完整的火焰信息，同时抑制干扰物，完成了火焰图像精准分割的任务．将本研究方法与其他三种方法进行对比，若背景没有干扰物且环境简单，如图9场景d所示，则方法1、方法2及本研究方法均能实现较好的分割效果，将火焰从背景中提取出来，方法3会产生明显的漏分割；当背景较为复杂或干扰物较多时，如图9场景a、场景b、场景c和场景e所示，方法1和方法2容易产生漏分割或误分割，方法3容易产生漏分割，三者的分割效果差．而本研究方法能准确分割出火焰且可以抑制干扰，误分割率和漏分割率明显降低，稳定性好，火焰分割效果优于前三种方法．在测试数据集中随机挑选1 000张图像，并对本研究提出的初分割、抑制干扰、“初分割+抑制干扰+精准分割”、方法1、方法2和方法3使用交并比、精准率和召回率进行测试，其平均值如表4所示．由表4可知：初分割因分割条件宽松导致误分割率高，因此初分割召回率较高，而交并比、精准率较低；抑制干扰分割条件严格导致漏分割率高，因此抑制干扰精准率较高，而交并比、召回率较低．“初分割+抑制干扰+精准分割”的并联结构综合了前两者的优点，明显减少了分割时的误分割、漏分割现象，三个指标均较高．10.13245/j.hust.221116.T004表4不同方法测试数据对比方法交并比精准率召回率本研究初分割0.295 70.295 80.989 4抑制干扰0.620 30.989 50.620 2初分割+抑制干扰+精准分割0.826 70.895 40.927 6方法1YCbCr0.604 50.817 30.776 3方法2聚类0.743 00.859 70.803 4方法3DeepLabV3+0.533 20.830 90.676 4将方法1、方法2、方法3和“初分割+抑制干扰+精准分割”四种方法进行对比，“初分割+抑制干扰+精准分割”三个指标均高于其他三种方法，说明本研究方法在分割精度和抗干扰方面优于所比较的三种方法．从上述实验可知：针对复杂环境下火焰图像分割问题，本研究提出的基于并联结构的火焰图像分割方法展示了较好的分割效果．5 结语在初分割部分，利用了火焰红色分量是火焰最显著的特征分量这一特征，对红色分量采取阈值分割，并在二维最大熵法基础上采用了截断技巧，能够选取合适的阈值；在抑制干扰部分，利用火焰蓝色分量值较高、饱和度随红色分量的增大而减小、蓝色分量离散度较高和圆形度较低的特征，较好抑制了干扰物．针对复杂环境下的火焰图像分割问题，本研究提出的基于并联结构的火焰图像分割方法充分利用了火焰的颜色、纹理特征，能够明显减少误分割、漏分割现象，实现火焰图像的精准分割，为后续检测火焰面积与位置打下了良好的基础．由于本研究使用火焰的颜色特性对火焰进行分割，因此仅能处理RGB彩色图像，无法处理灰度图像，导致应用场景受限．未来可以研究火焰的灰度特性，从而使火焰图像分割得到更广泛的应用．