图像在采集、传输过程中容易受环境干扰而产生噪声，继而导致图像质量下降．去除图像噪声可以提高人眼的视觉效果，对图像识别、图像分割、图像检索等后续图像处理任务具有重要意义[1]．常见的图像去噪算法为传统算法和深度学习算法．传统算法分为两类：一类是加权平均方法，如高斯滤波算法[2]、双边滤波算法[3]和非局部均值去噪算法[4-7]，这类算法去除噪声的同时保留了一定程度的图像细节；另一类是通过专家的先验知识建立去噪模型，去噪效果较前者得到了一定提升，如块匹配三维协调滤波算法(BM3D)[8]、加权核范数最小化算法(MCWNNM)[9]、同步稀疏编码学习算法(LSSC)[10]、非局部集中的稀疏表示算法(NCSR)[11]、基于压缩感知的稀疏信号去噪算法(SSCS)[12]和基于偏微分方程的图像去噪模型(MPDE)[13]等，但其优化过程复杂、算法参数依赖手工设计，极大地限制了算法在图像盲去噪中的应用．基于深度学习的算法有去噪卷积神经网络(DnCNN)[14]和卷积盲去噪网络(CBDNet)[15]．DnCNN是一种由卷积层和归一化层组成的残差网络．与传统去噪算法相比，DnCNN盲去噪效果有明显提升，但其具有网络深度大、训练耗时高、易受训练数据的噪声水平影响而导致盲去噪效果不佳的问题；CBDNet是由全卷积网络构成的噪声估计模块和U-Net网络构成的噪声去除模块组成，有较强的盲去噪能力，对真实噪声也有较好的去除效果，但对噪声估计网络的依赖性强．因此，基于深度学习的去噪算法的去噪效果有待进一步提高．目前，基于深度学习的去噪算法大多关注噪声图像与干净图像之间的映射关系，较少关注它们在高维特征空间中的转换方式．因此，对于在空间和时间上都是变化的、不符合一般标准分布的真实噪声，基于深度学习的去噪算法难以获得良好的泛化能力．本研究通过对去噪自编码器的改进，将二维DWT与二维IDWT嵌入去噪自编码器[16]构造小波自编码器．小波自编码器在高维特征空间建立了噪声图像与干净图像的转换关系．寻求在综合噪声和真实噪声的图像盲去噪任务中取得更好的效果．1 小波自编码器1.1　小波分析小波分析在图像和信号处理领域得到广泛应用，它继承和发展了短时傅里叶变换局部化的思想，同时又克服了窗口大小不随频率变化的缺点，能够提供一个随频率改变的时间-频率窗口，是进行信号时频分析和处理的理想工具．小波变换利用一个有限长的小波基函数拟合信号，这样不仅将时域信号f(t)变换到频率空间，还可以表达信号在某个时间窗口的主要频率．小波变换有尺度α和平移量τ两个变量，α与频率对应，控制小波函数的伸缩；τ与时间t对应，控制小波函数的平移．小波变换的公式为Wt(α,τ)=1α∫-∞∞f(t)ψ[(t-τ)/α]dt,式中ψ[(t-τ)/α]为小波基函数．在图像处理中小波通常被看作是一个带通滤波器，只允许与小波基函数频率相近的信号通过，经过小波变换后图像生成低频信息和高频信息．考虑到神经网络训练通常需要大量计算，本研究采用计算量最小的Haar小波构造DWT与IDWT．1.2　小波卷积层与逆小波卷积层对于一个一维信号s，DWT可将其分解为低频信号d和高频信号g，其中：d=Ls；(1)g=Hs，(2)式中L和H分别为正交小波的低、高通滤波器．使用IDWT可以从d和g中重建s，s=LTd+HTg．(3)对于二维信号X，DWT将会对X的每一行和每一列都执行一维DWT，即Xll=LXLT； Xlh=HXLT；Xhl=LXHT； Xhh=HXHT，式中：Xll为图像的低频分量，是更低分辨率的近似图像，包括基本的对象结构；Xlh，Xhl和Xhh为图像的高频分量，包括大部分噪声在内的图像细节．二维的IDWT可表示为X=LTXllL+HTXlhL+LTXhlH+HTXhhH．对式(1)和(2)进行微分可以得到一维DWT的反向传播公式：∂d/∂s=LT；∂g/∂s=HT．类似地，对式(3)进行微分可以得到一维IDWT的反向传播公式：∂s/∂d=L；∂s/∂g=H．1.3　小波自编码器的上下采样块利用DWT与IDWT对去噪自编码器进行改进，构造小波自编码器的下采样块与上采样块，结构如图1所示．10.13245/j.hust.240208.F001图1Wavelet-AE的下采样块与上采样块小波自编码器的下采样块由卷积层(Convolution)、DWT与ReLU函数构成，主要通过DWT提取图像的低频分量特征．下采样块卷积层的输入输出特征尺寸相同；DWT将输入图像进行小波分解，分解后的高频分量暂时存储到内存，低频分量传入下一层网络；每个下采样块输出的去噪特征尺寸为输入特征尺寸的1/4．小波自编码器的上采样块由IDWT、转置卷积层(ConvTranspose)与ReLU函数构成，主要通过IDWT恢复干净图像．上采样块转置卷积层的输入输出特征尺寸相同，IDWT使用对应级别下采样块存储的高频分量恢复图像．1.4　小波自编码器的网络结构Wavelet-AE由小波编码器与小波解码器组成，网络结构如图2所示．小波编码器与小波解码器分别由5个级联的下采样块和上采样块构成．与去噪自编码器相比，Wavelet-AE的输入图像经过多层下采样块后，在高维特征空间建立噪声图像与干净图像的转换关系，再经过多层上采样块从这种转换关系中恢复无噪声的干净图像．10.13245/j.hust.240208.F002图2Wavelet-AE网络结构2 数据集与评价指标2.1　数据集本研究将公共数据集DIV2K[17]作为训练数据集．DIV2K是一个用于超分辨率重建的数据集，包含1 000张2K分辨率的彩色自然图像．将与训练数据集有一定差异的公共数据集Kodak作为测试数据集，来测试Wavelet-AE的综合噪声去除效果与泛化能力．Kodak是一个在许多图像处理任务中被广泛使用的彩色自然图像数据集，包含24张彩色自然图像．使用公共数据集SIDD[18]来检验Wavelet-AE的真实噪声去除效果，SIDD包含160对带有真实噪声的图像和与之对应的无噪声图像．2.2　评价指标采用峰值信噪比(PSNR)与结构相似性(SSIM)作为评价指标[19]．PSNR的计算公式为RPSN(X,Y)=10lg(n2/MSE)，式中：MSE为两幅图像X和Y的均方误差；n为两幅图像中像素的最大值．SSIM的计算公式为MSSI(X,Y)=L(X,Y)C(X,Y)S(X,Y)，式中L(X,Y)，C(X,Y)和S(X,Y)分别为图像亮度相似度、对比度相似度和结构相似度，计算公式为：L(X,Y)=2μxμy+c1μx2+μy2+c1；C(X,Y)=2σxy+c2σx2+σy2+c2；S(X,Y)=σxy+c3σxσy+c2，其中，μx，μy和σx，σy分别为图像X,Y的平均值和标准差；σxy为图像X,Y的协方差；c1，c2，c3为常数，在实际应用中一般设定c2=2c3．3 实验结果及分析3.1　实验环境实验基于Windows10 16 GiB系统，使用Intel(R) Core(TM) i7-6700 CPU 3.40 GHz处理器、NVIDIA TITAN V 12 GiB显卡，网络的训练与测试代码均基于pytorch 1.10.2框架．3.2　DWT与IDWT的去噪能力分析为了验证DWT与IDWT的去噪能力，本实验对比Wavelet-AE与相同网络层数下去噪自编码器(DAE)的综合噪声去除能力．由于高斯噪声是一种极具代表性的综合噪声，在许多图像上广泛存在，因此将DIV2K的训练数据添加噪声水平为35的高斯噪声作为训练的输入数据．在使用Adam优化器，初始学习率为5×10-4的情况下分别训练Wavelet-AE与普通去噪自编码器．训练完成后将Kodak的图像添加噪声水平为35的高斯噪声进行测试实验，计算平均PSNR和平均SSIM．实验结果如表1所示，可以看出：与DAE相比，Wavelet-AE的平均PSNR提高了3.66 dB，平均SSIM提高了0.111．因此加入DWT与IDWT的Wavelet-AE在噪声去除能力上具有明显的优越性．10.13245/j.hust.240208.T001表1Kodak数据集上与基线方法的去噪效果对比算法PSNRSSIMDAE29.930.784Wavelet-AE33.590.895此外，在高斯噪声水平为35的Kodak数据集上对去噪自编码器与Wavelet-AE的实验结果进行定性展示，视觉效果如图3所示．从图3可以看出：在图像综合噪声的去噪任务中，经去噪自编码器去噪后的图像质感不够细腻，部分细节模糊；而经Wavelet-AE去噪后的图像质感更加细腻，在去除大量噪声的同时还保留了更丰富的细节信息．Wavelet-AE的去噪效果验证了DWT与IDWT在噪声去除能力上的优越性．10.13245/j.hust.240208.F003图3Kodak数据集上的去噪效果对比3.3　Wavelet-AE的综合噪声去噪能力为了验证Wavelet-AE在综合噪声上的图像盲去噪能力，本实验对比Wavelet-AE、传统去噪方法(CBM3D[20]，MCWNNM[9])和深度学习去噪算法(DnCNN[14]，CBDNet[15])在综合噪声上的去噪能力．首先，在DIV2K中随机选取120个512×512像素的区域作为训练的标签数据，将标签数据添加噪声水平为35的高斯噪声作为训练数据；然后，为了验证Wavelet-AE的泛化能力与稳定性，在与训练数据集有一定差距的Kodak数据集上进行验证，分别将Kodak数据集中的图像添加噪声水平为25，35和50的高斯噪声，模型训练时使用Adam优化器，初始学习率设为5×10-4；最后，分别在高斯噪声水平为25和50的Kodak数据集上进行图像盲去噪测试，在高斯噪声水平为35的Kodak数据集上进行非盲图像去噪测试，实验结果如表2所示．从表2可以看出：在图像盲去噪任务中，Wavelet-AE的平均PSNR最大提升4.58和3.90 dB，平均SSIM最大提升0.132和0.147；在非盲图像去噪任务中，Wavelet-AE的平均PSNR最大提升4.48 dB，平均SSIM最大提升0.149．相较于其他图像去噪方法，本文方法去噪后的图像与原始图像之间的结构相似度更高，图像质量更高．因此，Wavelet-AE对不同噪声水平的综合噪声均具有良好的盲去噪能力．10.13245/j.hust.240208.T002表2不同方法在不同噪声的Kodak数据集上的去噪效果噪声水平算法盲/非盲去噪图像类型训练噪声类型PSNRSSIM25CBM3D[20]盲RGB—30.150.795MCWNNM[9]盲RGB—29.850.781DnCNN[14]盲RGBSynthetic31.060.836CBDNet[15]盲RGBSynthetic31.340.848Wavelet-AE盲RGBSynthetic34.430.91335CBM3D非盲RGB—29.430.761MCWNNM非盲RGB—29.110.746DnCNN非盲RGBSynthetic30.230.798CBDNet非盲RGBSynthetic30.470.809Wavelet-AE非盲RGBSynthetic33.590.89550CBM3D盲RGB—28.520.717MCWNNM盲RGB—28.290.707DnCNN盲RGBSynthetic29.180.749CBDNet盲RGBSynthetic29.370.758Wavelet-AE盲RGBSynthetic32.190.854此外，基于深度学习的去噪算法是否具备与传统去噪算法一样的稳定性也是须关注的问题．对比表2中Wavelet-AE与传统算法在逐渐增高的噪声水平中去噪效果下降趋势，可以看出Wavelet-AE的PSNR和SSIM平均下降率分别为3.25%和3.20%，传统算法的PSNR和SSIM平均下降率分别为2.70%和4.87%．Wavelet-AE的PSNR平均下降率略高于传统算法，但Wavelet-AE的SSIM平均下降率显著低于传统算法，表明Wavelet-AE对训练集噪声水平的依赖程度较低，具有与传统去噪算法相当的稳定性．为了更直观地展示各方法的图像盲去噪能力，根据图像的视觉效果分别在高斯噪声水平(b)为25，35和50的Kodak数据集上对不同深度网络去噪算法的实验结果进行定性展示，结果如图4~6所示．10.13245/j.hust.240208.F004图4b=25的图像上主观去噪效果10.13245/j.hust.240208.F005图5b=35的图像上主观去噪效果10.13245/j.hust.240208.F006图6b=50的图像上主观去噪效果从图4~6可以看出：在不同噪声水平下的图像综合噪声去除任务中，Wavelet-AE去噪后的图像比DnCNN和CBDNet去噪后的图像对原始图像的还原度更高，图像粒度更加细腻，图像细节保留得更加完整．实验结果说明Wavelet-AE在综合噪声上具有良好的图像盲去噪能力，也从视觉效果上验证了Wavelet-AE在与训练数据集有一定差距的Kodak数据集上取得更好的去噪效果．3.4　Wavelet-AE的真实噪声去除能力由于图像真实噪声不同于综合噪声，在空间和时间上都是变化的，不符合一般的标准分布，因此去除图像真实噪声比去除图像综合噪声更困难．为了验证本文方法对真实噪声的盲去噪能力，对比Wavelet-AE与一些传统去噪算法和深度学习去噪算法在真实噪声上的去噪能力．首先，将数据集分为两个部分，使用SIDD数据集上的80对干净图像与噪声图像训练模型，剩下的图像用于测试．模型输入带有真实噪声的图像，将无噪声的图像作为标签．模型训练时使用Adam优化器，初始学习率设为5×10-4，实验结果如表3所示．由表3可以看出：在SIDD数据集上进行的图像盲去噪任务中，Wavelet-AE的平均PSNR最大提升3.52 dB，平均SSIM最大提升0.059．可见，Wavelet-AE对图像真实噪声仍然具有良好的盲去噪能力．10.13245/j.hust.240208.T003表3SIDD数据集上的平均PSNR与平均SSIM对比算法盲/非盲PSNRSSIMCBM3D[20]盲31.490.805MCWNNM[9]盲31.090.803DnCNN[14]盲32.180.823CBDNet[15]盲32.460.826Wavelet-AE盲34.610.862图7对SIDD数据集上不同深度学习去噪算法的实验结果进行定性展示．可以看出：在图像真实噪声的盲去噪任务中，Wavelet-AE去噪后的图像比DnCNN和CBDNet去噪后的图像在细节上更加清晰，在平滑区域更好地复原了原始图像的质感．从整体来看Wavelet-AE去噪后的图像取得了更好的视觉效果．10.13245/j.hust.240208.F007图7SIDD数据集上的图像主观去噪效果4 结语本研究提出了一种基于Wavelet-AE的图像盲去噪方法．由于DWT层与IDWT层的加入，Wavelet-AE可以建立噪声图像与干净图像在特征空间中的映射关系，Wavelet-AE的解码器负责从这种转换关系中恢复出无噪声的干净图像．从Kodak数据集与SIDD数据集上的实验结果可以看出：相比于其他方法，Wavelet-AE的平均PSNR最大提高4.58 dB，平均SSIM最大提高0.149，证明Wavelet-AE对图像综合噪声与图像真实噪声均具有良好的盲去噪能力．