海洋中丰富的资源是人类维持生存发展的最为有效的途径，利用水下机器人探测技术获取的水下图像，是一种探索海洋能源、获取有效数据的重要方法[1]．然而，水体中光的吸收和散射导致获取的图像模糊、颜色失真[2]，增添人工照明设备使得光照环境呈现非均匀状态，产生噪声，细节信息不丰富，不利于水下资源目标的开发，因此采用水下图像清晰化技术改善其视觉信息质量具有重要的应用价值．现有的水下图像清晰化技术包括图像增强和图像复原，文献[3]提出一种用于颜色提升的饱和度校正因子，采用色彩自适应技术修正由于不均匀照明引起的颜色失真，再经过伽马校正提高图像对比度．文献[4]通过小波融合将用于恢复图像自然景观的颜色补偿、白平衡算法和利用改进暗通道先验提高可视性算法进行组合，增强图像的纹理信息．文献[5]用McCann Retinex算法对亮度分量进行增强，接着对各通道灰度图作拉伸处理．文献[6]核心思想在于提出一种新的基于深度学习的架构，开发了特征级注意模型，协同池化机制来提取信道方向的注意图，从而得到局部加权特征．文献[7]基于修正的水下成型模型，根据亮度信息进行最小值滤波获得场景深度值，结合暗通道先验信息估计后向散射分量值得到色偏校正后的图像．文献[8]提出非光滑变分对粗糙透射率图进行细化，采用热交换优化方法对水下图像的红通道进行补偿．上述算法在增强图像视觉效果方面均取得一定成效，但不能同时解决复杂环境中不同色差、信息缺失的多重退化现象，因此提出基于局部纹理特征检测的水下光学图像复原算法．主要贡献在于：将传统的局部二值编码(local binary pattern，LBP)图修改为改进局部二值编码(improved local binary pattern，ILBP)图，更准确的反映图像的纹理信息，衡量图像的雾化程度，有效避免LBP图对于光照的不敏感性；提出模板递归思想：“分块求和”、“和差最大”、“和最小”，多次迭代计算背景光值；为降低输出图像的信息损失，考虑不同颜色光的衰减率和成像系统的光学特性，建立介质透射率之间的关系，根据相对总变差算子(relative total variation，RTV)算法得到R，G和B三通道的透射率；采用水下成像模型复原出最终清晰化的水下图像，达到了在不同环境中色彩校正、边缘保持、无晕效应等提升视觉信息的效果．1 相关理论1.1　LBP编码LBP算子[9]常用于模式识别和图像处理领域，可以有效的度量图中局部纹理信息．其核心思想是以某一像素点为中心，建立大小为3×3的窗口，若相邻像素点的灰度值大于等于中心点像素值，则此处被标记为1，否则为0，得到一个8位二进制数的LBP值，最终转换为十进制数．其编码原理为θLBPn=∑i=18s(U(i)-U(n))2i，式中：n为中心像素点；i为窗口内除中心像素点外的其余点；U(x)为像素点x的灰度值；s(x)=1    (x≥0),0   (其他).1.2　水下成像模型Jaffe-McGlamer等[10]提出的大气散射模型被广泛使用于图像处理中，该模型分为直接分量、前向和后向散射分量三部分．图像的退化可以用光的传播解释，直射光携带场景目标信息，在成像距离内被衰减，散射由水域中悬浮粒子引起，不携带信息，导致图像降质．其中前向散射对成像结果影响较小，因此现有的水下成像模型[11]在此基础上作出改进，具体为Ic(x)=Jc(x)tc(x)+Ac(1-tc(x))  (c∈{R,G,B}), (1)式中：x为像素点；I(x)为获取的退化水下图像，J(x)为复原后图像；t(x)∈(0,1)为透射率；J(x)t(x)为直接分量；A为全局背景光；A(1-t(x))为后向散射分量．2 方法流程基于光学模型得到复原后清晰图像包括两个步骤，全局背景光和透射率估计，式(1)重新写为Jc(x)=tc-1(x)(Ic(x)-Ac)+Ac．(2)首先提出ILBP编码，根据灰度ILBP图估计背景光，由R通道ILBP图得到R，G和B通道透射率，最后将各估计值代入模型反演清晰化图像J(x)，流程图见图1．2.1　ILBP编码LBP算子在局部纹理描述上取得较好的效果，但该算法呈光照不变性，归因于采集的数据为中心与邻域像素点之间的差值，当光照在局部区域内变化引起像素点值发生同增或者同减时，编码值不变．因此，在此基础上提出一种能够同时感受光照变化、反映局部纹理密集信息程度的ILBP算法，如图2所示．首先计算窗口内邻域与中心像素点灰度的差值，此值表示图像的平滑程度，差值越大图像越不平滑，纹理越多．然后，定义阈值为t，若差值的绝对值大于等于阈值，则此位置被标记为1，否则为0．最终ILBP值为窗口w×w内标记1的像素点数量与邻域像素点数量的商．中心像素点(x，y)的ILBP值表示为δILBP(x,y)=N-1∑i=1Ns1U(i)-U(x,y)，式中：i为窗口内除中心像素外的点；U(x,y)为像素点的灰度值；N=w×w-1；s1(x)=1  (x≥t),0  (xt).通常图像前景区域像素值变化较大，阈值过低导致过饱和现象，背景区域像素值变化缓慢，阈值过高算法对光照变化不敏感，经验取t=3．为进一步验证ILBP算子的平滑效果，反映图中的纹理信息密集程度，分别取w=3,5,7,9的灰度图进行实验对比，实验结果如图3所示．由图3可见：w的取值越大雾浓度越低，图像越来越平滑，相比于w=3，w=5,7,9中块状效应明显减弱．但随着w增加，求ILBP图的时间也依次增加，且增速较快，为兼顾ILBP图的计算时间以及图像质量，取w=5．10.13245/j.hust.238672.F001图1算法流程图10.13245/j.hust.238672.F002图2ILBP编码10.13245/j.hust.238672.F003图3不同窗口值的ILBP图2.2　背景光估计水下图像中无穷远处的像素值过渡平缓，纹理信息较少，大部分背景呈现黑色，基于此提出一种模板递归求取全局背景光的方法，主要思想为“分块求和、和差最大、和最小”．a．分块求和．为确定背景光点所在区域，提出A和B两类模板，A模板将图像分为上下A1和A2两种形式，A1块中保留图像上半部分像素，其余为0，A2块中保留下半部分像素，其余为0；B类模板将图像分为左右B1和B2两种，原理同A．深海图像的无穷远点直接反映背景光，在ILBP图中，距离越远的水下场景纹理越稀疏，黑色像素点越多，像素值之和越小．因此，为体现纹理密集程度，将原灰度ILBP图GILBP与A，B模板相乘，分别求取两类模板中各部分的像素值之和．b．和差最大．背景区域局部变化缓慢且色偏最为严重，为避免人造光源和白色明亮物体引起的干扰，计算A类模块中上半部分的像素值之和与下半部分的像素值之和的差，记为Fsum1，B类模板中左半部分的与右半部分的差，记为Fsum2，差值越大前景后景区分越明显，背景光点的选取越可靠．若Fsum1Fsum2，则将A作为选定的模板，否则选定B模板，具体为：Fsum1=GILBPA1-GILBPA2；Fsum2=GILBPB1-GILBPB2．c．和最小．背景光点趋近于纯黑色像素，即像素值较小，在选定的模板中以“和最小”原则选择最终的分块．d．迭代选取背景光点．初次计算时GILBP为原灰度图，依次进行分块求和、选取模板、根据“和最小”原则确定背景光所在区域．然后，GILBP更新为该局部ILBP图，进行第二次计算，以此类推，直到GILBP中像素数量少于总量的0.1%时停止迭代．文中所用图像分辨率为256×256，即经过多次迭代之后目标区域内的像素值少于65．求最终选取的区域内各通道像素点均值，即为背景光AR，AG和AB．2.3　透射率估计波长不同的光衰减程度各不相同，对应的透射率不同，当R，G和B三通道强制使用同一个透射率时会产生伪影，首先根据ILBP图估计出衰减程度最大的R通道透射率．红通道的ILBP图GILBP R可充分反映纹理信息的密集程度和雾的浓度，对其进行均值滤波去噪，去噪后图中仍存在大量雾化信息．因此，通过RTV算法[12]去除GILBP R的纹理层，提取图像的结构信息，作为红通道透射率图tR的估计．该RTV目标函数表示为argmintR∑P(tRp-GILBP Rp)2+λDx(p)Lx(p)+ε+Dy(p)Ly(p)+ε,式中：二次项部分(tRp-GILBP Rp)2缩小输入图像和输出图像之间的分离误差；正则化部分Dx(p)/(Lx(p)+ε)+Dy(p)/(Ly(p)+ε)为去除冗余的纹理信息并平滑图像；p∈P，其中P为中心像素点集合；ε为防止分母为0设置的临界值；λ为正则化系数控制平滑度；Dx(p)=∑q∈Z(p)gp,q(∂xtR)q和Dy(p)=∑q∈Z(p)gp,q(∂ytR)q分别为中心像素点在横纵坐标方向上的邻域总差分算子，计算邻域内绝对空间差分和，有效区分纹理类型，其中，Z(p)为中心像素点的邻域内像素点集合，q为区域内像素索引，∂x和∂y分别为x和y方向的偏导数，gp,q为邻域与中心像素点的空间距离定义的权重函数，即gp,q∝exp-(xp-xq)2+(yp-yq)22σ2，xp和yp分别为中心像素点的横纵坐标，xq和yq分别为邻域像素点的横纵坐标，σ为控制窗口大小；而正则项中Lx(p)=∑q∈Z(p)gp,q(∂xtR)q和Ly(p)=∑q∈Z(p)gp,q(∂ytR)q分别为像素p在横纵坐标上的邻域内差分算子，计算邻域内整体空间差分和．10.13245/j.hust.238672.F004图4R通道透射率求取流程由图4可见：图4(b)已较好地完成R通道ILBP图平滑去噪，图4(c)为去除噪声和纹理得到的结构图像作为红通道透射率图tR．各通道介质透射率又可以表示为tc(x)=exp(-σcd(x))    (c∈{R,G,B})，(3)式中：σc为总衰减系数；d(x)为场景深度．根据水下成像的光学特性，R，G和B通道透射率图存在相关性．首先全局背景光可以表示为从场景点到相机距离的衰减，与散射系数bcsc成正比，与衰减系数σc成反比，即Ac(∞)∝bcsc/σc．(4)而散射系数bcsc与光线波长呈正比例关系，即bcsc=(-0.001 13λc+1.625 17)τ(λc)，(5)式中：λc为三颜色通道波长；λR=620 nm，λG=540 nm，λB=450 nm．τ(λc)在不同颜色通道中近似相等，根据式(4)和(5)，R，G和B通道之间的总衰减系数可以表示为：σGσR=bGscAR(∞)bRscAG(∞)=(-0.001 13λG+1.625 17)AR(∞)(-0.001 13λR+1.625 17)AG(∞); (6)σBσR=bBscAR(∞)bRscAB(∞)=(-0.001 13λB+1.625 17)AR(∞)(-0.001 13λR+1.625 17)AB(∞)．(7)由等式(3)结合等式(6)和(7)得到G和B通道的透射率tG和tB与已求得的R通道透射率tR之间的关系为tG(x)=(tR(x))σG/σR和tB(x)=(tR(x))σB/σR．最终利用等式(2)得到复原后的清晰化水下图像J(x)．3 实验结果与分析采用编程软件Matlab R2019a实现图像复原，对1 200张不同环境中不同程度的退化图像进行实验．为评价该算法性能，与新颖图像增强和复原算法作对比与分析，其中包括Fusion[13]，ICCB[14]，Water-Net[15]，FUnIEGAN[16]，UWCNN[17]，MLFcGAN算法[18]．3.1　主观评价主观评价基于人眼视觉系统真实反映图像的直观效果，通常对图像中前景和背景、色彩还原度、物体细节和轮廓分析，评价技术简单且结果可靠．首先通过退化色卡1和2恢复实验检测算法对图像色彩恢复程度的有效性，如图5所示．从对比图像可以看到本文方法在绿、蓝、低光照方面具有良好的恢复性能．与其他算法相比，色卡1恢复结果更自然，视觉效果更好，颜色信息正确保留，色卡2中浓雾现象明显去除，红色块得到有效恢复且对比度明显提升，同色系之间区分度较高均接近于真实色卡．为进一步验证算法对海洋中各类退化图像恢复清晰度的有效性，从1 200张测试集中选取6张具有代表性的不同色差不同浑浊度的图像进行实验对比，如图6所示．对比分析图6可知：Fusion算法去雾能力较弱，在浓雾去除方面效果尤其不佳．ICCB整体效果较好，但部分细节并未正确恢复，如图像6中乌龟绿色调为去除．Water-Net算法清晰化效果较差，将原图中绿色调恢复为淡蓝色调，例如图像5和6．FUnIEGAN算法薄雾方面表现良好，但随着海域中色调的加深，色差没有得到改善．UWCNN算法被过度恢复呈现蓝色．MLFcGAN算法中图像亮度较低，不论是珊瑚或者鱼群区域校正效果都不好．综上可见：与其他算法相比，本文算法在细节、亮度、色彩等方面均得到有效复原，不同色调校正度皆高，图像信息丰富．10.13245/j.hust.238672.F005图5色卡恢复实验10.13245/j.hust.238672.F006图6实验对比图3.2　客观评价上述主观评价发现算法在不同水域不同色差中表现俱佳，为进一步验证方法的鲁棒性，采用三项无参考客观指标将测试数据化，定量、定性地进行分析．水下彩色质量评价(underwater color image quality evaluation，UCIQE)取色调、饱和度和亮度作线性组合，得分范围为[0，1]，取值越大图像质量越好，如表1所示．水下图像质量评价(underwater image quality measurement，UIQM)将色彩、清晰度和对比度作为评价依据，此值与图像质量成正比，如表2所示．信息熵Entropy质量评价指标定义图像信息量的大小，图中信息越丰富，熵值越大，如表3所示．由表可知：本文算法的UCIQE和UIQM值都是最优值，图像4和5 的Entropy值逼近于ICCB值．综上所述：本文算法在各类型水域中表现良好，效果可观，大幅提升了水下图像的质量．为减少随机误差，将1 200张数据集的各类指标求取平均值，如表4所示．由表4数据可知：本文算法鲁棒性高，各均值都为最优值．10.13245/j.hust.238672.T001表1UCIQE 指标定量评价结果图像退化图像FusionICCBWater-NetFUnIEGANUWCNNMLFcGAN本文算法10.449 90.507 80.478 20.454 60.554 70.549 90.451 70.618 020.495 60.521 80.599 10.548 00.546 50.488 00.528 00.612 730.591 20.596 90.644 50.638 30.616 50.563 10.637 00.648 640.433 00.486 10.557 50.473 10.574 10.433 90.505 20.587 550.392 40.534 00.574 70.447 60.490 00.342 10.429 80.601 760.318 10.422 30.441 70.373 00.420 90.297 30.365 60.591 110.13245/j.hust.238672.T002表2UIQM 指标定量评价结果图像退化图像FusionICCBWater-NetFUnIEGANUWCNNMLFcGAN本文算法11.819 93.235 24.163 82.639 73.827 33.746 93.277 24.989 921.226 03.209 63.358 13.688 14.353 81.574 73.223 44.371 631.019 62.988 23.202 33.405 03.051 41.062 22.851 43.356 240.125 02.090 42.730 72.206 43.205 70.091 01.816 94.371 952.409 10.579 72.087 60.984 41.350 42.916 60.207 43.304 561.595 01.766 41.720 62.343 02.205 92.576 80.820 75.274 910.13245/j.hust.238672.T003表3Entropy指标定量评价结果图像退化图像FusionICCBWater-NetFUnIEGANUWCNNMLFcGAN本文算法17.004 06.987 77.267 56.841 57.519 47.183 37.119 97.766 727.728 97.404 97.814 57.433 97.576 87.718 37.528 37.915 737.805 67.650 07.768 17.748 27.905 57.180 17.864 17.965 447.364 16.719 57.804 06.870 27.526 17.506 67.171 67.599 857.243 57.476 97.673 06.588 77.234 47.587 07.171 87.567 066.692 17.193 17.455 16.001 56.545 77.139 16.517 17.668 010.13245/j.hust.238672.T004表4数据集内各指标定量评价结果算法UCIQEUIQMEntropyFusion0.514 72.410 86.996 1ICCB0.566 62.867 27.535 6Water-Net0.528 12.632 27.030 6FUnIEGAN0.557 52.899 67.428 2UWCNN0.492 31.308 07.093 8MLFcGAN0.525 42.442 97.245 1本文0.595 73.382 27.686 5本研究设计的基于局部纹理特征检测的水下光学图像复原算法主要分为4步：为解决LBP算子的光照不变性，在此基础上提出了一种反映图像纹理特征的ILBP图；提出A和B两类模板，在退化图像的灰度图上进行“分块求和、和差最大、和最小”，以此确定背景光值；对红通道ILBP图进行滤波去噪，然后采用RTV算法去除纹理得到红通道透射率图，根据红、绿、蓝三通道的关系求得绿色和蓝色透射率；将求得各通道的背景光值和透射率值代入成像模型．该方法在不同水域不同色差不同浑浊度的退化图像中均取得了较好的效果，图像伪影减少，信息丰富，更符合人眼视觉效果．然而，如何进一步提高算法精度和速度将在今后的工作中进一步改进．