近年来，基于深度学习[1-2]的单图像超分辨率方法取得了广泛发展。DONG等[3]首次提出了超分辨率卷积神经网络（SRCNN）优于传统的插值和稀疏表示方法；KIM等[4]引入了一种非常深的超分辨率（VDSR）网络，利用更深的网络结构取得更好的PSNR指标。多数研究者设计了基于卷积神经网络（CNN）、残差结构、密集结构和金字塔结构的复杂深度神经网络，增强图像超分辨率重建的性能[5-7]。但上述方法均是基于RGB图像，未考虑光谱信息的相关性，直接应用于高光谱图像可能导致严重的光谱失真。传统二维卷积通常无法有效捕捉高光谱图像的光谱信息，MEI等[8]提出三维卷积神经网络（3D-FCNN），更好地利用空间和光谱信息，在保持空间-光谱一致性时重建高分辨率的高光谱图像并取得了出色的性能。LI等[9]通过使用混合的二维和三维卷积（MCNet）解决结构冗余问题，在重建过程中共享空间信息，与整个三维卷积网络相比，减少了计算成本和参数，但三维卷积的引入会增加网络参数，导致训练和测试的时间成本增加。本文在分组卷积和ConvLSTM网络[10]的基础上，提出基于编解码结构的分组双阶段Bi-ConvLSTM网络（GDBN）。受SSPN网络启发，模型引入了通道注意力模块，通过有效学习特征间的关系加强特征表达，在特征提取模块和通道注意力模块中借鉴了残差网络的设计思想，提高特征提取和表示的效率。1网络总览GDBN使用编解码结构，编码器分为浅层特征提取和深层特征提取两个阶段，解码器由分组卷积和通道注意力构成。输入的低空间分辨率图像（LR）经过一层分组共享权重的卷积来提取LR的浅层空间信息，再经过编码器的第一个阶段进一步提取图像的多尺度浅层空间—光谱信息，第二个阶段的编码器用来提取图像深层信息。编码器通过分组PixelShuffle方法将特征图放大到目标大小，解码器通过提出的注意力机制加强对组内和组间信息的利用，结合分组残差卷积模块增加非线性运算和模型深度。本任务目标是使模型学习从LR到高空间分辨率图像（HR）的映射F，通过分组共享权重的组卷积层来进行特征提取，将输出与经过插值放大的LR输入进行相加，从而获取丰富的低频信息，达到促使网络学习更高频信息目的，经过一层分组卷积进行输出得到重建结果图像。总网络结构如图1所示。10.19301/j.cnki.zncs.2024.04.001.F001图1总网络结构2浅层特征提取阶段编码器本文使用基于Bi-ConvLSTM的网络进行特征提取，本阶段使用共享ConvLSTM单元。ConvLSTM单元具有同时捕捉空间和光谱信息的能力，分组共享Bi-ConvLSTM方法通过共享ConvLSTM单元的权重，能够充分捕捉图像的浅层信息并降低对噪声的敏感度，有效减少了模型的参数量。对前向和后向输出的融合方式与之前使用双向convLSTM单元的方法不同。分组共享Bi-ConvLSTM方法通过将前向与后向对应的组分别沿通道拼接，再通过1×1卷积降维到原来单个组的大小来进行前向、后向特征融合，可以避免直接相加的融合方式造成信息丢失。3实验部分实验过程选择使用Adam优化器，搭载在配置为NVIDIA GeForce A4000 16GB的显卡上进行训练。3.1实验细节在GDBN实现过程中，一个重要的超参数为编码器两阶段特征图的通道数，在编码器第一阶段特征图的通道数设置为1 240，第二阶段特征图的通道数为310，均由cave数据集31波段数的40倍和10倍计算，训练时使用的batchsize统一设置为40，对于浅层特征提取模块，多尺度不同分支的空洞率选择分别为1、4和8，训练时的初始学习率设置为0.02，学习率更新方法为ReduceLROnPlateau。3.2实验结果与分析分组深度递归残差网络（GDRRN）设计一个由光谱角映射器（SAM）和平均绝对误差（MAE）构成的联合损失作为损失函数的分组递归残差网络，缓解了生成图像的光谱失真问题，取得了明显高于插值方法的效果。移位寄存器（SSPSR）采用一种有效的重叠分组策略，增强了捕捉光谱信息的能力，实现了显著的重建效果。但2D卷积无法有效提取高光谱图像（HSI）的光谱信息，其定量指标低于使用3D卷积的混合卷积（MCNet）。MCNet结合2D和3D卷积，能够高效捕获HSI图像的光谱空间特征，但3D卷积的参数量过大会导致计算负担过重。双体系结构（DualSR）网络使用类似当前波段的波段组进行超分辨率处理，结合具有光谱角度约束的增强反投影方法来学习空间和光谱信息的一致性，取得了仅次于GDBN的结果。但波段组限制了当前波段进一步学习其他波段有用信息的能力，提出的GDBN利用多尺度策略提取丰富的空间信息，通过光谱维度进行传递，在不同阶段采用独特Bi-ConvLSTM方法，全面捕捉HSI的浅层和深层光谱空间信息，达到较好的重建效果。缩放因子（d）为4时，GDBN的峰值信噪比（PSNR）比次优的方法高出0.27 dB；缩放因子为8时，峰值信噪比均值（MPSNR）比次优的方法高出0.038 dB，GDBN的SAM指标略高于DualSR和MCNet，原因是使用ConvLSTM方法在进行特征提取时，未对光谱信息进行有效约束。缩放因子为4时，将cave数据集的两个测试图像重建结果可视化，第23、17和7波段作为RGB通道便于更好地观察。GDBN方法在边缘和亮区等高频区域具有明显优势，原因是提出的双阶段编码器充分捕捉了图像的浅、深层信息。不同算法在cave数据集上测试的定量评价结果如表1所示。10.19301/j.cnki.zncs.2024.04.001.T001表1不同算法在cave数据集上测试的定量评价结果算法dMPSNR↑SAM↓交叉验证CC↑RMSE均方根误差↓MSSIM结构相似性均值↑ERGAS相对全局二维误差↓Bicubic435.128 54.210 30.986 70.020 20.936 75.507 6GDRRN438.259 93.697 60.992 70.014 40.957 93.867 0SSPSR439.389 53.269 70.994 10.012 70.964 03.444 6MCNet439.585 33.233 10.994 20.012 60.964 73.432 4DualSR439.693 83.225 40.994 20.012 50.964 53.399 5GDBN439.964 43.244 40.994 50.012 20.965 43.291 8Bicubic830.574 35.915 10.966 30.033 20.862 44.409 0GDRRN832.210 95.765 90.974 30.028 50.887 13.683 0SSPSR834.184 84.766 70.981 90.023 30.915 43.031 1MCNET833.994 14.948 50.980 80.023 90.910 83.122 7DualSR834.600 24.574 90.982 10.022 70.914 12.969 1GDBN834.638 04.707 20.982 60.022 70.917 12.955 34结语本文提出基于分组的双阶段双向长短期卷积网络，充分利用ConvLSTM学习空间和保护光谱维度顺序的能力，利用多尺度卷积和模块共享策略丰富对图像的纹理细节表达。对于高光谱图像超分辨率任务仍存在局限性，因此应用模型于不同的高光谱数据集时，仍需要调整输入输出并重新训练网络。