在复杂雨天情景下拍摄的图像或者视频能见度较低，会造成室外计算机视觉任务不能有效执行，如视觉跟踪[1]和行人检测[2]等．相对于视频去雨技术，单幅图像去雨没有时空特性，比较困难．传统图像去雨方法主要通过信号分离实现雨纹去除．文献[3]通过稀疏编码将雨纹层与高频层分开，文献[4]认为雨纹层是低秩的，并提出一个低秩去雨模型．文献[5]通过对背景层和雨纹层施加高斯混合模型约束，这些约束可以适应不同的雨纹和背景信息，并且还引入结构背景的残差提高降雨条纹分离的质量．近年来，由于强大的特征表达和端到端数据推断能力，基于深度学习的图像去雨方法的性能得以显著提升．文献[6]构造了一个深度细节网络(DNN)，以图像细节层作为输入并预测负的残差图像，可实现很好的去雨效果和纹理恢复，但不能处理降雨密集的情况．文献[7]提出了一种深度联合降雨区域检测和去除雨纹的方法，通过循环的网络结构实现暴雨情景下的雨纹去除．由于雨纹和背景纹理在特征空间存在重叠，因此通常去雨图像中依然会有微弱条纹或局部背景平滑．文献[8]提出了一种联合降雨密度估计和去除方法，设计网络自动确定雨量密度信息，然后以雨量密度标签为指导有效地去除雨纹．文献[9]提出循环的扩张卷积网络(RESCAN)，根据强度和透明度使用挤压和激励操作分配给各个雨纹层不同的权重值，以更有效地去除雨纹．文献[10]采用一种高斯-拉普拉斯图像金字塔(LPN)分解技术，通过构建递归的残差网络，实现快速的雨纹去除．文献[11]提出一种多尺度渐进融合网络(MSPFN)，先通过高斯核进行下采样构建高斯金字塔结构，再将不同尺度的特征进行特征提取与融合，最后通过重构模块实现图像去雨． ResNet[12]和DenseNet[13]进一步推动了深度学习的发展．ResNet可以渐进地细化图像特征，DenseNet则将不同层次的特征图进行串联和融合，在雨纹移除[8]、图像超分辨[14]和图像修复[15]等得到应用．在不同比例上，组合卷积特征可以在图像及其周围环境中更好地表现对象[16]，所以为了有效地利用不同尺度获得的特征，提出了U-Net体系结构[17] ．U-Net在医学图像分割上取得优异效果，包括捕获上下文的收缩路径和对称实现精确定位的扩展路径． 去雨网络通过端到端学习得到雨纹的信息，然后将原图像减去雨纹信息得到无雨图像，但是存在雨纹特征提取不够全面及图像细节丢失的问题．本研究借鉴U-Net结构设计了多尺度融合去雨网络．U-Net中的U型结构和跳跃连接操作能够克服特征传递过程中的丢失，并且在每次下采样之后，会经过特征的细化提取层再与上采样部分融合，得到高质量的去雨图像．1 网络结构网络结构如图1所示，单幅图像去雨网络基于U-Net结构设计，网络分为下采样和上采样两个部分．在下采样阶段，网络会进行二次下采样操作，下采样卷积核数量由32-64-64个数变换，每次下采样后，都会经过特征细化的提取模块．由于网络下采样的操作会造成图像信息丢失，因此在各个阶段分别使用3，2和1次特征模块，浅层中包含较多的图像纹理信息，使用多个特征提取模块能提取出丰富的信息．上采样部分会融合特征提取模块输出的信息，将同尺度的特征和前一层上采样的特征融合在一起，逐步融合每个阶段的特征，最后输出负的残差无雨图像．特征提取模块的设计采用了多尺度扩张卷积的聚合、特征自适应、长短时间记忆网络和双路网络的融合．10.13245/j.hust.210713.F001图1网络结构1.1　扩张卷积聚合单幅图像去雨任务中，空间上下文的信息对检测和移除雨纹十分重要．雨纹是多样的，形状和密度可变，造成相同尺度的卷积核无法提取到整个区域的雨纹特征．文献[18]提出一个新的扩张卷积模型，它能够扩大网络的感受野并且不会降低分辨率．扩张卷积为Y(i)=∑j=1nf(i+r*j)*w(i)，式中：n为总输入特征点；对于1维输入变量f，扩张卷积输出Y对应i处的值；w为滤波器；r为扩张卷积率，当r=1时扩张卷积退化为普通的卷积．扩张卷积是在相邻的权重插入(r -1)个0，实现将感受野从k增加到r(k -1)+1，并且不会降低分辨率．尽管扩张卷积十分有效，但仍会产生网格伪影．文献[19]分析了扩张卷积问题并提出消除伪影的改进方案，发现扩张卷积操作输出的4个相邻像素与上一层完全不同的单元组有关，也就是扩张卷积中输入与输出单元之间不存在依赖性，所以引起了网格伪影．为了解决这个问题，在卷积与输入单元之间或者卷积与输出单元间添加额外的内核大小为(2r -1)的卷积层，通过添加额外可分离和共享的卷积层，增加依赖性．针对图像中含有不同形状和方向的雨纹问题，平滑扩张卷积能够捕获到这种特征结构且不易出现网格伪影．多尺度平滑扩张卷积聚合如图2所示，网络使用了3种扩张因子(扩张率F=1，2和3)的平滑扩张卷积(MSDC)，提取不同尺寸雨纹的细节，然后将不同尺度下提取的信息聚合在一起以获得丰富的特征，这样有利于降低网络参数并且能更有效地去除雨纹．使用平滑扩张卷积地卷积核大小为3×3，在每个扩张卷积的后面使用一个随机纠正线性单元(Leaky ReLU)激活函数．10.13245/j.hust.210713.F002图2多尺度平滑扩张卷积聚合1.2　特征自适应模块多尺度扩张卷积的聚合使网络获得丰富的特征信息．在雨密度很小的情况下，网络可以很好恢复图像并保留原始图像的细节，但在雨密度较大及背景与雨纹相似的复杂情景下，图像恢复在细节等方面表现不好．网络只是关注于局部的感受野，且聚合模块中特征提取出来所有通道的权重是一样的，使得网络不能聚焦于雨纹特征信息．通道注意力机制(CA)[20]可以使网络关注于每个通道之间的相关性，根据通道的重要性分配不同的权重．本研究将雨纹信息看成是多个雨纹层的叠加，使用通道注意力对网络进行更细化地特征提取．通道注意力操作如图3所示．多尺度聚合特征图输入到通道注意力模块，在通道注意力中首先经过平均池化和最大池化计算出特征，然后送入一个共享的多层感知机模型，分别产生两个特征图．这两个特征图相加输入到激励函数，激励操作会对每个通道相关性进行权重分配，将输出的一维通道注意力图与原始的输入要素相乘以自适应特征．最后，将通道注意力加权特征图与输入特征相加，突显雨纹的特征信息．通过在多尺度聚合模块后添加通道注意力机制可以有效提取和突显雨纹信息，能够很好地区分复杂情景下拍摄雨天图像中雨纹与背景图像的差异．10.13245/j.hust.210713.F003图3通道注意力操作1.3　双路网络和LSTM采用二次下采样和上采样操作的网络结构比较简单，所获得的特征信息不足以有效去除雨纹，生成图像容易失真．ResNet通过跨层参数共享和保留中间特征的方式，把输入特征直接加到卷积的输出层，形成一个残差结构，可以有效降低特征的冗余度，重复利用已有特征．DenseNet则是新特征的挖掘，把每一层的输出都拼接到其后每一层的输入，每一层都在之前所有层的输出中重新提取有用信息，这样可以利用高层信息再次发掘底层新特征．为了更精细地提取雨纹特征，将结合ResNet和DenseNet的双路网络(DPN)[21]添加到下采样后的特征提取模块中，双路网络将这两种结构的优点结合一起，具体公式定义如下xk=Δ∑t=1k-1ftk(ht)；yk=Δvt(ht)=yk-1+φk-1(yk-1)；rk=Δxk+yk；Hk=gk(rk)，式中：k为网络深度；xk为DenseNet模块；t为当前阶段；ht为输入特征；ftk( )和vt( )为特征学习函数；yk为ResNet模块；φk-1( )为ResNet当前阶段的特征学习函数；rk为DenseNet输出与ResNet输出相加；Hk为DPN模块的输出；gk( )为最终变换函数用于生成当前状态．该网络结构从1×1卷积层开始，然后是一个3×3卷积层，并以1×1卷积层结束．输出分为两个部分：在元素上逐项添加到残差路径；与密集连接的路径连接．研究的双路网络是由5个残差连接和密集连接组成，通道数先升高维度再降低维度，不改变输入特征的维度，以此获得更多的雨纹信息．在MSEDNet网络同一维度添加多个双路网络，主要是为了获取丰富的雨纹特征，但这样会导致网络深度的增加，不利于前面提取特征传递到高层，所以采用长短时间记忆网络(long-term memory network，LSTM)跨距离传递雨纹特征信息．LSTM网络传输模型如图4所示，LSTM网络在多尺度扩张卷积模块(multi-scale dilated convolution，MSDC)和双路网络(dual path network，DPN)之间，将浅层提取的雨纹特征传递到下一阶段的特征提取模块，经过卷积模块提取更多的雨纹特征，并且在每个阶段会选择性地添加新特征信息和遗忘旧特征信息．通过LSTM网络使特征在提取过程中保留浅层雨纹的特征和衍生额外的特征信息．10.13245/j.hust.210713.F004图4LSTM网络传输模型1.4　损失函数在深度学习中，训练图像网络一般用均方误差作为损失函数，但无法衡量图像结构相似性，因此使用负结构相似度(-S)作为网络的损失函数．结构相似度的输出值为0~1，值越大表示输出图像和原始图像的差距越小，图像恢复效果越好．损失函数定义如下L=-S(Xout,Xgt)，式中：Xout为去雨图像；Xgt为真实无雨图像．2 实验分析与结果实验使用仿真的雨天数据去训练MSEDNet．仿真数据集分别采用文献[7]中的仿真小雨Rain100L(含200张训练图像和100张测试图像)和大雨Rain100H数据集(含1 800张训练图像和100张测试图像)、文献[22]数据集Rain800(含700张训练图像和100张测试图像)和测试数据集Rain12[5]．基于Pytorch库构建的去雨网络，在RTX 2080Ti GPU上训练模型．训练图像的大小为100×100像素，批训练大小为8，采用ADAM算法，初始化学习率为1×10-3，共训练迭代100次．第30，50和80次迭代时，学习率分别为2×10-4，4×10-5和8×10-6．为了验证MSEDNet的有效性，与最新的混合高斯模(GMM)[5]、深度细节网络(DNN)[6]、轻量级金字塔去雨网络(LPN)[10]和循环的扩张卷积网络(RESCAN)[9]进行比较．通过结构相似度(S)和峰值信噪比(R)评价指标上对不同网络进行比较．2.1　网络结构的消融分析编码-解码结构网络可以很好地连接浅层信息与深层特征．只进行两次下采样和上采样操作U-Net结构不能很好地提取雨纹的信息，且对于细节部分的恢复效果不好．为了提取更多有用的特征信息，在不同的下采样阶段，通过添加多阶的双路网络去细化地提取特征．在实际雨天情景下，受风向、风力及拍摄场景的影响，拍摄图像上的雨纹更加复杂，相同尺度下的卷积操作无法提取丰富的雨纹信息，所以在双路网络之前添加扩张率为1，2和3的扩张卷积．不同的感受野能提取不同尺寸的雨纹，然后将多尺度雨纹特征聚合在一起，再通过通道注意力机制分配聚合通道不同的权重与自身相加以自适应特征．为了避免网络加深导致信息丢失，在多尺度扩张卷积和双路网络之间使用长短时间记忆网络跨距离传递信息．不同组合模块的消融分析如表1所示，通过逐步融合不同的特征提取模块，使网络去雨的效果越来越好．10.13245/j.hust.210713.T001表1不同组合模块的消融分析组合模块RSU-Net36.7110.976U-Net+DPN36.7710.977U-Net+DPN+MSDC37.1040.976U-Net+DPN+MSDC+CA38.0340.981U-Net+DPN+MSDC+CA+LSTM38.2420.9822.2　仿真与真雨雨数据集实验在Rain100H，Rain100L和Rain800仿真雨数据集上训练MSEDNet．仿真数据集上R和S平均值比较如表2所示，通过与GMM[6]，DNN[7]，LPN[10]和RESCAN[9]方法比较，在测试集Rain100H和Rain100L，本方法的R分别提高0.99和0.05 dB，在测试集Rain100H，Rain100L，Rain12和Rain800 上，本文方法的S分别提高3.8%，0.2%，1.4%和1.3%．10.13245/j.hust.210713.T002表2仿真数据集上R和S平均值比较测试集GMMDNNLPNRESCANMSEDNetRSRSRSRSRSRain100H15.210.42125.230.76423.730.81527.710.85228.700.890Rain100L28.450.86832.340.94129.210.92138.190.98038.240.982Rain1232.110.91334.930.94331.120.92436.510.95335.480.967Rain80023.570.82125.710.84623.620.84928.180.88427.900.897使用Rain100H数据集仿真雨图像进行雨纹去除，仿真数据集多种算法去雨结果比较如图5所示．由图5可见：MSEDNet能很好地去除雨纹，得到高质量的去雨像．10.13245/j.hust.210713.F005图5仿真数据集多种算法的去雨结果比较使用Rain100H数据集训练的模型实现真实雨图像的雨纹去除．真实雨数据集多种算法的雨纹移除结果如图6所示，由图6可见：GMM和LPN方法对雨纹去除的效果不好，图像中仍然含有大量的雨纹；DNN和RESCAN方法虽然去除了大部分雨纹，但是会导致去雨图像平滑，在背景图层的细节保留和恢复方面没有提出的网络效果好；MSEDNet能够去除大部分的雨纹并且保留和恢复背景的细节信息，具有很好的视觉效果．10.13245/j.hust.210713.F006图6真实雨数据集的雨纹移除结果2.3　测试时间表3为不同去雨算法测试时间对比．由于GMM算法是在CPU上运行的，且在实际过程中运行非常耗时，因此本次实验没有对比GMM运算时间．在硬件快速发展的今天，基于深度卷积的去雨算法已经取得很好的效率．随着图像尺寸的增大，算法的运算速度也有所下降．考虑实际运算时间，本研究设计网络结构时采用合理的特征提取模块，实现了雨纹的去除．10.13245/j.hust.210713.T003表3不同去雨算法测试时间对比图像大小LPNDNNRESCANMSEDNet256×2560.0050.2480.0510.048512×5120.0110.4230.1960.1951 024×1 0240.0431.8370.8340.831s3 结语提出了多尺度编码-解码结构的单幅图像去雨网络，编码-解码结构能有效地提取图像的信息，将底层信息连接到高层阶段，跨尺度地聚合雨纹信息．多尺度的特征提取网络对不同尺寸和方向的雨纹进行了聚合，并针对聚合的特征信息提出了特征细化提取网络，运用通道注意力方式分配不同通道的权重，与原特征图相加以突显雨纹信息．长短时间记忆网络将雨纹特征信息传入深层的网络中，双路网络则发掘和提取更多雨纹特征．与几个图像去雨算法在仿真和实际的雨数据集进行实验比较，得出：所提网络能够有效地去除雨纹，得到高质量的无雨图像，并且在雨纹去除和图像质量的恢复上都具有优势．