随着高光谱传感器技术的发展，所采集的高光谱图像不仅包含了更加丰富的地物信息，同时还具有较高的光谱维度，这对于利用高光谱图像进行环境探测、资源分类、军事跟踪等都具有重要的研究意义和应用价值[1]．但是高光谱图像巨大的数据量和较高的光谱维度也给图像存储、传输和处理带来了较大的压力[2]，因此对其进行有效的去除冗余受到了越来越多的关注．现有的高光谱图像压缩方法主要分为基于变换的压缩方法、基于预测的压缩方法及基于矢量量化的压缩方法[3-4]三类．典型的基于变换的方法如K-L变换[5]和小波变换[3]方法，虽然变换编码速度较快，但其压缩性能相比其他方法存在明显的不足．矢量量化技术应用于高光谱图像压缩中可以达到较为理想的压缩性能，但由于其计算量大，算法的复杂度高而难以满足海量高光谱图像的快速压缩要求．基于预测的方法无须经过变换，算法简单且易于实现，但由于其压缩率较低，目前主要应用于无损压缩．因此，在对波段多、光谱间相关性强及空间分辨率高的高光谱图像压缩时，仍然面临着巨大的挑战．空间分辨率的大幅提高和较多的光谱波段使得高光谱遥感图像包含了更加丰富的信息，与此同时，信息的增加也带来了光谱相似冗余和空间相关冗余等问题．因此，如何提取更高级和更有效的光谱空间特征是提高压缩性能的关键．近年来，深度卷积网络(DNN)广泛地应用于图像分类、目标检测等图像处理任务中[6-7]，并取得了巨大的成功．与传统的手工图像变换相比，神经网络能够自动分层地提取空间特征，并且很容易地对这些特征进行灵活的非线性分析和综合变换，从而具有更强的压缩鲁棒性．在图像压缩领域，深度神经网络显现出巨大的潜力．文献[8]提出主成分分析法(principal component analysis，PCA)[9]结合JPEG2000[10]的高光谱图像压缩方法，但该方法只考虑了高光谱图像的光谱特征信息，而忽视了图像的空间信息对图像压缩重建的作用．文献[11]提出一种基于自适应波段聚类主成分分析和反向传播神经网络的高光谱图像压缩方法，算法可以很好地保留高光谱数据的光谱信息，但由于忽视了图像的空间特征相关性，导致图像的空间特征结构存在失真，在峰值信噪比上性能较低．基于以上分析，结合高光谱图像的特点和深度学习的优势，提出一种同时考虑高光谱图像光谱维和空间维信息的深度卷积神经网络框架．该网络主要实现步骤如下：首先利用主成分分析法提取高光谱遥感图像的光谱特征，以在有效消除光谱特征冗余的基础上降低光谱维度．然后利用深度卷积神经网络对降维后的数据进行空间特征提取，具体表现为降维后的图像数据输入到编码器得到特征编码，再经过重要性图网络得到空间内容重要性系数，并基于重要性系数的编码进一步提升了压缩率．最后通过解码器进行图像重建以评估压缩效果．所提出的算法能综合考虑高光谱图像的空间内容和光谱内容，在低码率下也能获得较好的重建效果，满足海量高光谱图像的高效压缩要求．1 基于空间和光谱内容的压缩方法与自然图像不同，高光谱图像主要存在光谱间的相关性和空间相关性．首先采用光谱内容降维的方法有效去除高光谱图像的光谱冗余，其次设计重要性图网络生成基于空间内容的重要性表示，并按照重要性系数分配码率，减少不必要的码率分配，以尽可能地去除空间冗余．1.1　光谱内容降维训练DNNs时，每个训练卷积核须要对每个二维网络输入进行卷积．由于高光谱图像的光谱维度有几十个甚至上百个波段，因此增加了训练和预测过程的计算成本；然而，通过对同类像素光谱响应的统计分析，可以得到属于同类的像素在每个波段几乎具有相同的值[12]．同时，属于不同类的像素呈现出不同的光谱信息，因此为加快训练和预测的过程，可以对高光谱图像进行降维处理以祛除光谱冗余．选择主成分分析法对高光谱图像进行光谱特征的提取，从高光谱数据中提取主成分波段，从而保留主要的光谱信息，降低原始图像的维度．不失一般性，若设一个三维的高光谱图像数据为X∈RH×W×C，其中：H和W分别为高光谱图像数据的空间维尺寸长和宽；C为高光谱图像数据的光谱维波段数目．若将原始的三维高光谱图像按照光谱维展开，则可将三维的高光谱图像转换为一个二维的数据表示形式，即有：X^=X1(1,1)X1(1,2)X2(1,1)X2(1,2)⋯XC(1,1)⋯XC(1,2)⋮X1(H,W)X2(H,W)⋯XC(H,W)．显然，X^的每一列表示高光谱图像中一个光谱波段的数据，是由对应光谱维的所有空间维数据按照空间位置顺序排列而成的一个向量；而X^的每一行可以看作一个C维向量．在上述变换后，利用主成分分析可以实现对高光谱图像基于光谱内容的降维处理，算法具体步骤如下．步骤1 计算样本均值．μ=1C∑i=1CZi为输入图像的平均图像向量，其中Zi为第i波段的图像均值．步骤2 计算协方差矩阵．输入图像的协方差矩阵为S=1C∑i=1C(Zi-μ)(Zi-μ)T．步骤3 计算协方差矩阵的特征值和特征向量.由于S∈RC×C是一个对称矩阵，因此一定存在正交矩阵V=v1,v2,…,vC，使得S对角化，即满足VTSCV=λ100λ1⋯0⋯0⋮00⋯λC，式中，{λ1,λ2,…,λC}为SC的C个特征值，且λ1≥λ2≥…≥λC，vi为SC第i个特征值λi对应的特征向量．步骤4 对样本输入矩阵进行降维．设定一个阈值，选取大于阈值的特征值所对应的特征向量组成特征矩阵，用样本输入矩阵乘以特征矩阵即可得到经过降维后的光谱内容．从上述光谱维内容降维算法分析可知：利用主成分分析法降维将有效去除光谱维信息的冗余，同时完整保留了空间维的信息，从而可以继续根据空间内容实现压缩码率的分配．1.2　重要性图网络现有的基于深度学习的压缩模型[13-14]，经过量化后的特征的编码长度在空间内是相等的，然后使用熵编码对编码进行进一步压缩．具体而言：当对输出的特征图分配码率时，对于大小为H×W×C的特征图，可以理解为特征图有H×W个点，每个点用C位二进制表示．但实际上由于每个点的像素值大小并不相同(内容不同)，每个像素点都采用等位存储和传输将造成大量的资源浪费和空间浪费，尤其在资源紧张情况下，根据像素内容合理分配存储空间更能有效利用存储空间．为此，文献[15]提出一种统计隐藏层特征的分布特性，并按照概率分布分配合适的码流的方法，以尽可能减少所有特征占用的比特数．该方法虽然能够实现较好的信息压缩效果，但是拟合一组特征之间依赖关系的标准方法是引入潜在变量，这须要假设目标特征变量的分布是独立的，不适用于具有复杂结构信息的高光谱图像．为此，本研究提出一种基于内容感知的码率分配方法，以根据图像内容的复杂程度对码流进行有效分配，即在平滑区域分配较少的比特，而在信息内容较多的区域分配较多的比特，从而在提高压缩比的同时提高重建图像的质量．基于金字塔分解模型设计了一个多深度重要性图网络来识别图像的重要区域，并生成一张重要性图来指导码率的分配．具体实现方式为：将重要性图网络分为m层，在每一层中利用卷积层NσConv(N为卷积滤波器的通道数)对编码器的输出特征图X∈RH×W×C进行n次特征提取，每一次提取到N个特征Xi∈RH×W×N(i=1,2,…,n)，设置第n次特征提取的滤波器的通道数为1，得到基于空间内容的重要性系数mj∈RH×W×1(j=1,2,…,m)．对所有层的重要性系数按加权系数αi(j=1,2,…,m)加权得到最终的重要性图M∈RH×W×1．重要性图上某一点的数值的大小就代表对输入特征图X中某一特征的重要性差异，即该数值越大，对应特征重要性越强．如图1所示，重要性图网络分为3层：第1层包含2个卷积层，滤波器的通道数分别为192和1，得到重要性系数m1；第2层包含3个卷积层，滤波器的通道数分别为192，96和1，得到重要性系数m2；第3层包含4个卷积层，滤波器的通道数分别为192，96，48和1，得到重要性系数m3，将m1,m2和m3分别按加权系数0.25，0.25和0.50加权得到重要性图M．10.13245/j.hust.238614.F001图1重要性图网络此外，利用重要性图指导码率分配时，首先要将重要性图的像素值量化为一个不大于C的整数Q(Mi,j)，Mi,j表示重要性图中位置为(i，j)的重要性权值，C=1,2,…,L为编码器输出的特征图的通道维度，量化方式为Q(Mi,j)=C-1    ((C-1)/L≤Mi,jC/L),式中L为重要程度等级，按照每一等级分配N/L码率来划分．然后根据量化后的重要性图，按照以下方式生成H×W×C重要性掩码图为mijk=1    (k(C/L)Q(Mi,j));0    (其他).重要性掩码图与编码端输出的乘积即为最终的编码结果．因此为每一个像素分配的码率为(C/L)Q(Mi,j)，相比固定分配C更能有效降低码率．2 端到端的高光谱图像压缩模型在上述算法的基础上，提出了一种端到端的压缩框架，其主要包括编码器、量化器、重要性图网络和解码器4部分．其中编码器网络由4个卷积层和3个广义分裂归一化层(GDN)[16]组成，解码器的结构与编码器的结构是对称的，由4个反卷积层和3个反广义分裂归一化层(IGDN)组成，如图2所示．训练神经网络时，将训练集传输到神经网络的输入层，编码器对输入图像进行压缩编码，方便后面的存储和传输，解码器对输入编码进行解压缩，使重构后的图像在纹理、颜色等方面尽可能地与原始图像相似．10.13245/j.hust.238614.F002图2基于神经网络框架的高光谱图像压缩模型具体学习步骤如下：步骤1 编码器对输入图像进行特征提取，输出大小为16×16像素(输入的训练样本的大小为256×256像素)的320张特征图；步骤2 量化器对步骤1得到的特征图进行量化操作，此时数据由浮点型转变为整型；步骤3 将步骤1得到的特征图输入到重要性图网络中进行进一步的特征提取，输出大小为16×16像素的一张特征图，使得图像的重要特征更加明显，提高图像内容丰富的区域的重建质量；步骤4 利用重要性图与量化输出编码进行加权操作Di,jk=Mi,jCi,jk，其中，Di,jk为第k个通道特征图中位置为(i，j)的数值进行重要性加权后的结果，Ci,jk为第k个通道特征图中位置为(i，j)的像素值；步骤5 将加权后的输出结果D输入到熵编码器EC中进行熵编码，生成二进制码流，再将二进制码流送到熵解码器ED中进行熵解码后输入到解码器中，得到重建图像．3 实验结果及分析3.1　实验数据集预处理本实验中的图像数据来源于高光谱数据集KAIST[17]和CAVE[18]，其中KAIST数据集包含30张2 704×3 376×31原始图像，CAVE数据集包含28张31×512×512原始图像．为验证本文算法的可行性，进行如下实验．在实验中，首先利用主成分分析法分别对KAIST和CAVE数据集提取主成分波段，主成分分析结果如表1和表2所示．根据光谱波段的占比率和累计占比率选取至少包含了99%的原始图像的光谱信息的前3个波段作为实验数据，有效去除了光谱冗余，并且保留了清晰的空间结构信息，如图3所示．10.13245/j.hust.238614.T001表1KAIST主成分分析结果主成分成分占比率累计占比率10.829 80.829 820.145 20.975 030.020 30.995 3⋮⋮⋮310.000 11.000 010.13245/j.hust.238614.T002表2CAVE主成分分析结果主成分成分占比率累计占比率10.768 70.768 720.203 20.971 930.018 70.990 6⋮⋮⋮310.000 11.000 010.13245/j.hust.238614.F003图3主成分提取合成图像3.2　实验评价指标主要从压缩比和图像质量两个方面评估评价压缩方法的优劣．图像的压缩比是用βbpp(每像素比特)来评估，指存储每个像素所需的平均比特数．通常实验压缩质量评价指标的分析是对原始图像和重构图像的每一个对应像素之间进行比较．在实验过程中，高光谱图像压缩质量的评价指标主要包括δPSNR(峰值信噪比)、ΛMS-SSIM(结构相似性)和ΓSAM(光谱角)．δPSNR建立在计算两幅图像的均方误差的基础上；ΛMS-SSIM衡量两幅图像的平均结构相似度；ΓSAM用于度量原始高光谱数据与重构高光谱数据之间的光谱相似程度．3.3　实验结果分析实验中，首先利用设计的端到端高光谱图像压缩模型和所提出的基于空间和光谱内容的压缩算法对模型进行训练．在得到最优压缩模型后，将测试样本在训练好的模型上进行压缩重建，得到深度神经网络压缩前后重建图像对比以及质量评价指标．为了测试本文算法的有效性，分别在不同的数据集上，将所提出的模型与3D-SPEAK[19]，PCA+JPEG2000[8]，Factorized-prior[15]和Hyperprior[20]进行对比．汇总的率失真曲线如图4所示，给出了每种算法在一定压缩率范围内重构图像的PSNR，MS-SSIM和SAM性能．10.13245/j.hust.238614.F004图4KAIST和CAVE数据集的峰值性噪比PSNR、结构相似性SSIM及光谱角SAM(右)曲线对比由图4可见：当码率较小时(βbpp在0.25左右)，传统方法3D-SPEAK的重建性能指标PSNR最低(仅27 dB左右)，PCA+JPEG2000的重构精度次之(28 dB左右)，而Factorized-prior则利用神经网络提取局部和全局特征信息的能力，从而充分利用了空间相关性实现最优的特征编码，使其重构精度达到了30 dB左右．由于本文方法同时利用光谱内容和空间内容实现了有针对性的压缩，相应的压缩性能明显好于传统方法，在所有算法中获得了最高的重建精度，即使当βbpp为0.206 4时，PSNR依然可以达到31.355 0左右，对应的MS-SSIM和SAM分别为0.966 3和0.063 5．实验证明设计的重要性图网络能够精确地指导码率分配，实现对图像内容的自适应编码，当编码长度限定时，避免了强边缘和弱纹理处特征码率分配不足的问题．为进一步检验所提出算法的压缩性能，如图510.13245/j.hust.238614.F005图5不同算法在相近压缩率下的重建图像所示给出了以第29，19，9这3个波段的合成图像为例，分别对应于不同算法在相近的压缩率时的重建图像效果．由图5可见：传统压缩方法PCA+ JPEG2000和3D-SPEAK容易产生严重的模糊、颜色失真等现象．而Factorized-prior和Hyperprior虽然不会出现严重的失真，但是不能很好地重建图像的边缘纹理，这可能是因为Factorized-prior和Hyperprior在利用熵编码进一步压缩前，空间码率是等位分配的，当编码长度有限时，大部分强边缘和小规模纹理被删除，从而出现边缘模糊或过于平滑现象．相比之下，本文算法克服了上述缺陷，一些重要的边缘和纹理被很好地保留了下来，这是由于在重要图的引导下进行了码率自适应分配，给边缘较强或纹理较细的区域分配了更多的码率，而给平滑的区域分配较少的码率，从而减少了图像出现边缘糊影现象，获得了更好的视觉效果．此外，为了验证重要性图网络对算法的性能影响，将重要性图网络移除训练基础模型以检验本文算法与没有引入重要性图的基础模型之间的性能差异，结果如表3所示．由表3可见：在MSE，PSNR和SSIM方面，基础模型的表现均比Factorized-prior和Hyperprior差，加入重要性图之后，模型在较低码率下获得较高的压缩精度，验证了本研究模型重要性图的必要性．图6给出了在不同压缩率下获得的重要性图．10.13245/j.hust.238614.T003表3不同算法的重建质量指标评价指标Factorized-priorHyperprior本文算法基础模型βbpp0.200 10.197 10.184 40.198 4δPSNR26.792 426.533 827.209 926.204 3ΛMS-SSIM0.917 30.915 60.922 40.903 2ΓSAM0.292 80.295 00.268 20.325 310.13245/j.hust.238614.F006图6本文算法在不同压缩率下的重要性图可以看到：当压缩率较低时，由于整体编码长度非常有限，重要性映射只分配更多的位到显著边缘．随着压缩率的增加，有更多的比特被分配到弱边缘和中等纹理．最后，当压缩率高时，一些强边缘和小规模纹理也会被分配更多的位．实验结果证明了重要性图在保持空间结构、边缘和纹理方面的重要作用．