随着“高科技煤矿”信息化建设[1]的发展，传统煤矿作业逐渐向自动化无人开采转变，煤矿井下数字化视频监控系统[2]的智能化水平不断提高，为目标检测[3-4]、特殊区域预警[5]和目标跟踪[6]等下游任务提供稳定数据支持．然而，煤矿井下环境具有粉尘、雾气浓度大、人造光源亮度低等特点，致使井下摄像装置采集到的图像数据存在低照度、颜色失真和细节信息丢失严重的问题，无法为后续任务提供高质量图像数据，因此须要对煤矿井下低照度图像进行图像增强[7]处理以提高其质量．经典图像增强算法有直方图均衡化[8-9]、暗原色先验增强[10]和Retinex算法[11-12]等，其中Retinex算法应用较为广泛，包括SSR(单尺度Retinex算法)[13]、MSR(多尺度Retinex算法)[14]和MSRCR(颜色修复Retinex算法)[15]等．随着神经网络技术发展，大量基于深度学习的图像增强算法被提出．LLNet(低光图像增强网络)算法[16]对低照度图像的亮度提升效果明显．RetinexNet(Retinex深度学习网络)[17]基于Retinex理论，以卷积神经网络为基础，通过设计分解、增强网络结构提升图像亮度．CSDNet(全局特征分解网络)[18]同样以Retinex算法为理论基础，设计了双流估计网络对光照分量和反射分量进行估计，能够有效提升图像亮度．GAN(生成对抗网络)[19]在模型训练阶段将生成器与判别器进行对抗博弈，在两者达到纳什平衡后模型性能为最佳，该模型在图像增强领域应用广泛．文献[20]基于GAN设计了CycleGAN(循环生成对抗网络)，该网络能够不使用配对图像对模型进行无监督训练从而实现图像风格转化．文献[21]提出EnlightenGAN(亮度增强循环生成网络)以实现无监督低照度图像增强．尽管现有的图像增强算法能够提高井下低照度图像亮度，但在增强过程中仍然存在较多缺陷，比如RetinexNet算法在提升图像亮度的同时，会造成颜色失真及细节特征大量丢失的现象；当CycleGAN算法执行图像增强任务时，对图像亮度等低频特征的特征变换能力较弱；CSDNet对于低照度图像细节特征的保留能力有限，并且监督学习算法的性能极大取决于数据集的大小和优劣，然而在煤矿井下工作场景中，成对的低照度图像数据难以获得，给模型训练造成困难，从而使模型无法有效实现图像增强．在煤矿井下的照度图像增强任务中，由于煤矿井下巷道照明条件差，采集的图像受巷道中粉尘等干扰，导致图像照度低、图像质量差；由于煤矿井下巷道空间狭小，井下图像采集设备安装位置受限，摄像机安装位置较远且安装角度不理想，导致图像中人员等小目标识别非常困难，而解决上述问题的技术手段是有针对性的低照度图像增强方法．目前常规的图像增强方法难以满足井下低照度图像增强的需求，为解决上述问题，本研究提出一种基于改进CycleGAN的煤矿井下低照度图像增强方法，并且设计对比实验，证明该算法与五种先进图像增强算法相比具有较大优势，能够有效实现煤矿井下的照度图像增强．1 改进的CycleGAN井下低照度图像增强模型循环生成对抗网络CycleGAN由两个生成器Generator G和Generator F，及两个判别器Discriminator X和Discriminator Y组成，输入图像x先由判别器Discriminator X判断其是否符合源域特征分布，再输入Generator G转化为图像y，图像y由判别器判断是否为目标域特征分布，最后输入Generator F转化为生成图像x′，完成两个映射的转换．针对煤矿井下低照度图像增强任务，本研究以CycleGAN的循环生成对抗网络为基础，设计了循环图像增强主体网络架构．针对图像风格变换，模型建立正向和反向转换通道，从而保证在图像增强过程中原始图像的基本语义信息不变，并加强生成器和判别器的训练．规定由低照度图像转换为增强后图像再转化为人工低照度图像的方向为正向，算法结构见图1．10.13245/j.hust.229323.F001图1算法结构图以正向转化为例：首先Discriminator X对输入的低照度图像进行判断，判断其特征是否符合低照度数据集中图像的特征；然后将低照度图像输入Generator G生成增强图像，同时Discriminator Y对增强图像进行判断，判断其特征是否符合正常照度数据集中图像的特征；最后将增强图像输入Generator F转化为人工低照度图像．1.1　生成器生成器的作用是将原始图像由低照度图像域特征转化为参考图像域特征．本文算法生成器以U-Net为基础网络进行多尺度特征提取，并使用跳跃连接以避免低级特征的过度丢失；融合CBAM[22]注意力机制对输入特征图分别进行通道注意力和空间注意力计算，以突出细节特征，从而减少图像增强过程中部分信息的丢失；并以CSDNet的双通道估计网络为基础，设计新型双分支估计网络实现光照分量和反射分量的并行建模，再对两分支网络提取多尺度特征执行逐层分解，并将分解结果重新融合到解码网络进一步进行特征提取，融合多尺度分解结果，最终由解码器的最深层网络层输出增强图像．该生成器能够大幅提升图像亮度，均衡增强颜色特征，保留大量细节特征．经典Retinex算法为通过原图估计出光照分量，再从原图中去除光照分量得到反射分量，即增强图像．本文生成器以Retinex算法为理论依据，通过对原始图像的光照分量和反射分量中多尺度特征进行Retinex特征分解计算，从而保留更多细节信息；并且通过双分支网络并行估计光照分量和反射分量，使图像的亮度特征和颜色特征实现有效解耦，避免在增强过程中颜色随亮度提升而造成颜色失真．本文算法将原图表示为优化前的反射分量，即R¯=R-I，(1)式中：R¯为反射分量；R为优化前反射分量；I为光照分量；减号-表示Retinex分解操作．整体网络结构见图2，图中：CBAM为注意力模块，对特征图进行重点区域提取；紫色块为Convolution，BatchNormalization和ReLU组合模块；橙色块为最大池化层；蓝色块为紫色块的复制层；黄色块为上采样层；⊘为各尺度特征分解操作，等同于Retinex中的分解计算．首先将井下低照度图像通过加权平均法将输入图像转化为灰度图像，然后使用CBAM注意力模块对输入图像与灰度图像分别进行重点区域提取，再输入双通道估计网络，特征图在U-net的编码、解码部分进行多尺度特征提取，并设置多尺度特征分解计算，将编码阶段中各尺度反射分量、光照分量进行逐像素分解计算，并将分解后的各级特征返回反射分量估计网络进行重利用，以保留图像信息，最后输出增强图像．10.13245/j.hust.229323.F002图2生成器结构图1.2　判别器从煤矿井下环境采集到的图像受人工光源及粉尘、雾气的影响，局部区域之间照度差异较大．为了在提高图像全局亮度的同时合理增强局部区域亮度，本研究采用全局-局部判别器分别对整体图像和图像局部区域的“真实性”进行判断，实现煤矿井下非均匀照度图像的增强．全局-局部判别器的网络结构、全局判别器和局部判别器均使用PatchGAN，其中：全局判别器对整体图像的风格进行判断；局部鉴别器从整体图像中随机裁剪多个局部区域图像块并判断其真实性．从而在改善全局图像的照度的同时，保证局部区域的照度得到有效增强，避免阴影和过曝现象．1.3　损失函数本研究使用相对均值GAN(RGAN)与最小二乘GAN(LSGAN)相结合的形式[21]作为生成对抗损失．针对煤矿井下低照度图像增强，使用CycleGAN的原始循环一致性损失函数[19]，并增设对抗生成损失函数、映射不变性损失函数和特征感知损失函数进行模型优化．循环一致性损失Lcycle能够使最终生成图像无限逼近原始图像，对循环一致性损失进行梯度下降，使图像y具有图像x的相关语义级特征．全局判别器和对应生成器的损失函数分别为LDGlobal=Exr~Preal[(DRa(xr,xf)-1)2]+Exf~Pfake[(DRa(xf,xr))2]; (2)LGGlobal=Exf~Pfake[(DRa(xf,xr)-1)2]+Exr~Preal[(DRa(xr,xf))2], (3)式中：下标xr~Preal和xf~Pfake分别表示从真实图像和生成图像分布中取样；DRa(xr，xf)为真实图像比生成图像更真实的概率；DRa(xf，xr)为生成图像更真实的概率．DRa(xr，xf)和DRa(xf，xr)可分别表示为DRa(xr,xf)=δ(C(xr)-Exf~Pfake[C(xf)])；(4)DRa(xf,xr)=δ(C(xf)-Exr~Preal[C(xr)])，(5)式中：C为判别器网络；δ为Sigmoid函数．当对全局判别器的损失函数进行优化时，期望DRa(xr，xf)越大越好，DRa(xf，xr)越小越好，能够提高判别器对两种图像判断的准确性；当对相应的生成器进行优化时，期望DRa(xf，xr)越大越好，即期望C对生成图像判断为真实图像的概率增大．局部判别器使用LSGAN为生成对抗损失函数，可表示为LDLocal=Exr~Preal-patches[(D(xr)-1)2]+Exf~Pfake-patches[(D(xf)-0)2]; (6)LGLocal=Exf~Pfake-patches[(D(xf)-1)2]，(7)式中下标xr~Preal-patches和xf~Pfake-patches分别表示从真假图像块数据分布中取样．特征感知损失函数将生成图像的特征与目标图像的对应特征作绝对值误差最小化，能够有效避免井下低照度图像增强时出现的细节丢失现象，即Lper=φ(F(x))-φ(x)1HWD+φ(G(y))-φ(y)1HWD，(8)式中：H，W和D分别为特征的高度、宽度和深度；φ为预训练VGG-19的第4层conv3-256输出的特征图；G和F为生成器．映射不变性损失函数基于图像的语义特征，通过最小化生成图像和期望图像之间的低频特征差异来保证生成图像的语义特征恒定，即LIdentity=Ex~P(x)F(x)-x1+Ey~P(y)G(y)-y1, (9)式中：x和y分别为低照度和正常照度图像；P(x)和P(y)分别表示低照度和正常照度图像域．本文模型的整体损失函数为L=LGGlobal+λLocalLGLocal+λcycleLcycle+λperLper+λidentityLidentity, (10)式中λLocal，λcycle，λper和λidentity分别为各损失项权重．2 实验与分析为验证本研究设计的低照度图像增强算法性能，使用内蒙古鄂尔多斯马泰壕煤矿井下防爆摄像头采集到尺寸为600×400的1 495张煤矿图像数据，制作井下低照度配对图像数据集和非配对图像数据集供实验中各类算法使用．2.1　本文算法各模块消融实验针对本文算法的循环图像增强主体网络框架、空间-通道级注意力机制CBAM、多尺度分解机制、感知损失及映射不变性损失开展消融实验，从而验证各模块的有效性．消融实验结果见表1，表中：PSNR为峰值信噪比，用于评估增强后图像的失真程度；SSIM为结构相似性，用于评估图像的亮度提高水平；IFC为信息保真度；VIF为视觉信息保真度；IFC和VIF用来客观评价增强后图像的图像信息保留程度．10.13245/j.hust.229323.T001表1消融实验结果对比方法PSNRSSIMIFCVIF去除循环主体网络27.145±0.5590.821±0.0343.629±0.1730.523±0.029去除CBAM27.762±0.6260.755±0.0763.467±0.4610.492±0.083去除多尺度分解机制25.286±1.1530.729±0.1173.763±0.7080.517±0.041去除感知损失28.076±1.0940.796±0.0673.695±0.3720.501±0.066去除映射不变性损失27.972±0.0850.803±0.0733.653±0.4090.482±0.039本文算法28.749±1.8730.869±0.1194.016±0.6820.559±0.084由表1可知：在从本文算法中去除各方法后，四种图像质量评价指标均有不同程度下降，其中，在本文算法去除循环主体网络框架后，网络结构将只保留生成器网络且模型训练使用配对图像，此时四种评价指标均大幅下降，证明循环图像增强主体网络结构不仅能够实现模型的无监督训练，而且能够有效提升图像质量；在本文算法去除CBAM、感知损失或映射不变性损失后，PSNR和SSIM的下降幅度较小，而VIF和IFC下降明显，说明三类方法能够提升本文模型的图像信息保留能力；在去除多尺度分解机制后，PSNR和SSIM下降幅度较大，证明在双分支估计网络之间进行光照分量和反射分量的多尺度特征分解通过避免低级特征丢失，能够有效提升图像亮度、消除颜色失衡．2.2　低照度图像增强算法对比实验选用五种典型算法，即RetinexNet，MBLLEN(多分支低光增强网络)，LLNet，EnlightenGAN和CSDNet作为对比算法，与本文算法进行低照度图像增强对比实验，实验环境为Ubuntu16.04系统，Nvidia GTX 3080TI显卡．其中，RetinexNet，MBLLEN，LLNet和CSDNet算法为基于深度学习方法的监督型图像增强算法，EnlightenGAN为无监督训练模型．再采用视觉分析和客观评价的方式对增强结果进行评估．2.2.1　视觉分析使用对比算法与本文算法对测试集图像进行图像增强实验，如图3所示，并选取井下低照度图像数据集中的五个场景来进行主观分析．10.13245/j.hust.229323.F003图3各算法图像增强结果从实验结果可知：各算法对井下低照度图像均有不同程度增强效果，而本文算法增强效果更好．RetinexNet对低照度图像的亮度提升效果有限，并且颜色失真现象严重，比如场景一井下胶带机头，增强后图像出现严重的色彩偏移，图像整体偏红色；场景五中升降梯安全门打开引入额外的光源，使增强后图像偏红，场景四的增强图像整体偏黄，见图3中红色标记．MBLLEN增强后图像的整体偏暗，噪点明显，细节信息大量丢失．LLNet对低照度图像的亮度提升明显，但对于亮度不均的图像增强后整体偏白，局部易出现光晕和阴影，细节信息丢失严重，场景一胶带机头的原图整体较暗，多个人造光源导致图像亮度不均，并且在增强后图像整体偏白，光源附近出现光晕现象，见图3中黄色标记；场景二马泰壕矿副井底南侧增强图像的局部区域的阴影处细节丢失严重，见图3中黄色标记．EnlightenGAN增强后图像整体偏亮，局部区域增强过量出现光晕现象，图像亮度增强效果不自然．CSDNet对低照度图像的亮度提升效果有限，特别是对整体较暗的环境，如：场景一井下胶带机头，增强后的图像视觉效果偏暗；场景三皮带机头的增强图像局部区域出现阴影，见图3中蓝色标记；其余场景的部分局部区域亮度提升水平较低．而本文算法增强后的图像整体亮度水平提升较高，局部区域亮度增强效果明显，无光晕、阴影现象，色彩自然无失真现象，图像信息完整且细节特征明显，有效实现了井下低照度图像增强．2.2.2　客观评价除主观分析外，本研究还使用多种图像质量评估算法来客观评价各个算法性能及本文算法的优越性，对比实验结果见表2．10.13245/j.hust.229323.T002表2对比实验结果算 法PSNRSSIMIFCVIFRetinexNet24.963±1.9650.788±0.1693.688±0.5190.492±0.086LLNet25.697±1.7810.796±0.1543.609±0.5560.532±0.124MBLLEN25.871±2.1960.823±0.1383.717±0.6140.507±0.093EnlightenGAN25.716±1.8630.811±0.1573.621±0.5960.517±0.164CSDNet26.356±2.0650.798±0.0993.679±0.5170.527±0.088本文算法28.749±1.8730.869±0.1194.016±0.6820.559±0.084由表2可知：本文算法在客观评估指标的表现均优于对比算法，本文算法在PSNR指标上，相比于RetinexNet算法提高了15.164%，与LLNet相比提高了11.876%，与MBLLEN相比提高了11.122%，与EnlightenGAN相比提高了11.792%，与CSDNet相比提高了9.076%．而本文算法在SSIM指标上与对比算法相比平均提升了8.256%，在IFC指标上与对比算法相比平均提升了9.658%，在VIF指标上与对比算法相比平均提升了8.654%，显示出本文算法性能优越，能够更好提升整体图像亮度，合理增强局部区域亮度，避免色彩失真及保留图像信息，使增强后图像具有更好的视觉效果．3 结语针对现有算法在煤矿井下低照度图像增强中出现的亮度提升有限、颜色失真和细节信息损失严重等问题，本研究提出一种基于改进CycleGAN的煤矿井下低照度图像增强算法．基于CycleGAN的循环生成对抗网络，设计了一种循环图像增强主体网络框架，从而使模型实现无监督学习；本文算法生成器为融合空间-通道注意力模块CBAM的双分支估计网络，能够在大幅提升低照度图像亮度的同时避免颜色失真现象，保留大量细节信息；全局-局部判别器在改善图像全局亮度的同时，能够合理地增强局部区域的亮度，避免了阴影和光晕现象．实验结果表明本文算法能够有效增强煤矿井下低照度图像质量．