敦煌壁画是历经千年留存至今的珍贵历史文化遗产，但是受环境气候、人类活动、颜料成分等因素的影响，现存敦煌壁画普遍存在复杂的色彩褪变现象．这些色彩褪变对于壁画展示和研究工作的顺利开展造成了很多障碍，因此积极开展壁画图像色彩还原的研究具有重要的意义和应用价值．传统的壁画色彩还原处理主要采用人工修复方式．人工修复须要修复师具备相当高的专业知识和技术水平，且还原过程复杂，效率低下，难以推广应用，因此借助图像色彩还原技术开展壁画图像色彩虚拟恢复成为近年来的一个研究热点．图像色彩还原根据使用方法的不同可以分为常规的色彩还原方法和基于深度学习的色彩还原方法．常规的色彩还原方法采用基于框架与规则的混合知识表示方法和推理技术．魏宝刚等[1]提出采用色彩对象实例框架和产生式规则组织、表达壁画的复杂色彩信息．Reinhard等[2]提出利用图像信息的二阶统计信息实现参考图像对源图像的色彩迁移．赵国英等[3]提出使用高阶矩实现图像间的色彩迁移．Pitie等[4]利用概率密度函数的连续映射转换图像的色彩信息．任小康等[5]利用聚类方法划分图像区域并构造超像素，通过匹配超像素进行色彩还原．常规的色彩还原方法尽管在一些特定的应用中取得了不错的结果，但由于这类方法缺少图像高阶语义信息的约束，在色彩还原过程中容易受到脱落图层和噪声等因素的影响，还原效果并不稳定．基于深度学习的图像色彩还原方法是近年来快速发展的一类方法．Zhang等[6]将图像的色彩还原任务转化为自监督学习任务，通过学习大规模数据集的语义及色彩对应信息，预测图像像素的色彩．Gatys等[7-9]利用预训练神经网络提取图像特征，通过计算参考图像特征的二阶统计特征强制约束褪化图像进行色彩迁移．He等[10]通过图像间的语义相似性，利用编码器-解码器网络构造端到端的卷积神经网络，采用多任务学习方式训练网络对图像进行色彩还原．Xu等[11]将自适应实例规范化方法加入编码器-解码器网络进行色彩还原．Park等[12]在网络中引入注意力机制实现图像间的色彩迁移任务．Blanch等[13]提出利用生成对抗网络构造图像色彩还原模型．Su等[14]利用图像分割方法对图像进行实例级的色彩还原．目前，基于深度学习的图像色彩还原方法在自然图像色彩还原领域取得了不错的成绩．但是，针对壁画图像色彩还原，这类方法还面临两方面的问题；首先，现存的保存完好的壁画数量较少且年代差异较大，难以构建大规模数据集用于神经网络训练．其次，壁画图像中由于各种病害引起的噪声和褪化区域普遍存在，使用针对自然图像的色彩还原方法对壁画进行色彩还原时容易受这些因素影响，导致还原结果时常出现伪影、色彩混叠、边缘细节保持效果不佳等问题．针对上述问题，受风格注意力图像风格迁移思想[12]和注意力机制[15]启发，本研究提出基于风格注意力的壁画图像色彩还原方法．该方法使用预训练网络模型作为编码器，设计基于风格注意力的色彩迁移模块和基于注意力的细节保持模块用于褪变色壁画图像的色彩还原和细节信息保持，同时采用具有镜像结构的解码器构造端到端的壁画图像色彩还原模型．实验分析表明：本文方法可以有效减少壁画图像色彩还原过程出现的伪影和假色现象，同时能够有效保持褪化壁画图像的细节信息．1 算法描述提出的基于风格注意力的壁画图像色彩还原方法的基本思想是构建基于编码器-解码器网络的色彩还原模型．在网络中，利用风格注意力实现参考图像色彩特征向褪化图像的迁移．使用自注意力建立褪化图像低层特征的全局依赖关系来约束低层特征，并使用跳层连接将低层特征引入图像特征的解码过程，从而在有效进行色彩还原的同时更好地保持褪化壁画图像的纹理结构信息．1.1　网络结构概述提出的壁画图像色彩还原方法网络结构如图1所示．该网络主要包括编码器-解码器模块、色彩迁移模块和细节保持模块．网络使用编码器获取褪化图像与参考图像的特征金字塔，然后使用色彩迁移模块和细节保持模块进行高层语义特征迁移和低层像素特征增强，最终通过解码器获取还原结果．10.13245/j.hust.238301.F001图1基于风格注意力的壁画图像色彩还原方法网络结构提出的还原网络可以表示为FS,FR=E(IS,IR)；(1)I^S=D(T(FShigh,FRhigh),P(FS))，(2)式中：IS和IR分别为褪化壁画图像和参考壁画图像；FS和FR分别为褪化壁画图像和参考壁画图像的特征金字塔；FShigh和FRhigh分别为褪化图像与参考图像的高层语义特征；I^S为色彩还原后的壁画图像；E和D分别为预训练网络编码器和具有跳层连接的解码器；T和P分别为色彩迁移模块和细节保持模块；(FS,FR,FShigh,FRhigh)∈RC×H×W；C，H，W分别为图像特征的通道、高度和宽度．1.2　编码器-解码器模块使用VGG-19预训练网络[16]作为编码器，用于获取褪化壁画图像与参考壁画图像的特征金字塔；同时构建具有镜像结构的解码器，组成编码器-解码器模块．在编码器中，选取VGG-19网络的第2，4，8，12，16层的特征构成图像特征金字塔．由于图像的高层特征有效保留了图像内容和整体的空间结构，而低层特征保留的细节纹理受图像缺损、褪化区域和复杂噪声的影响，不能直接用于图像重构，因此选择第12层和第16层特征作为高层语义特征，使用色彩迁移模块进行参考壁画图像与褪化壁画图像间的色彩迁移；同时，使用细节保持模块重建还原图像的纹理结构细节．1.3　色彩迁移模块当基于参考图像进行壁画图像色彩还原时，图像特征间的语义相关性对于褪化图像色彩的还原至关重要．由于图像特征金字塔的高层特征具有更加抽象和丰富的语义特征，因此通过建立褪化图像与参考图像高层特征间的语义联系可以进行更准确的色彩迁移．提出的色彩迁移模块使用并行注意力模块分别建立褪化图像与参考图像的高层语义特征FShigh和FRhigh在空间域和通道域层面的相关度，从而进行特征间的色彩迁移，生成还原图像特征．色彩迁移模块结构如图2所示．10.13245/j.hust.238301.F002图2色彩迁移模块在空间域层面，为了更有效地表达特征信息并减少特征维度，使用1×1卷积将褪化图像和参考图像的高级语义特征分别映射为嵌入特征f(FShigh)、g(FRhigh)和h(FRhigh)，使用缩放因子r对特征通道进行压缩，计算嵌入特征f(FShigh)和g(FRhigh)的空间位置相关度Cspat∈RHW×HW，在参考图像嵌入特征h(FRhigh)中增强与褪化图像特征语义相关的特征信息，具体为Cspat=softmax(fT(FShigh)∙g(FRhigh))；(3)Fspat=h(FRhigh)∙CspatT，(4)式中：Fspat为空间特征加权后的参考图像嵌入特征；softmax为激活函数．在通道域层面，使用缩放因子r对特征尺寸进行降采样，计算降采样后的褪化图像与参考图像的特征F¯Shigh和F¯Rhigh的通道相关度Cchan∈RC×C，增强参考图像特征中与褪化图像特征语义相关的通道特征，具体为Cchan=softmax(F¯Shigh∙(F¯Rhigh)T)；(5)Fchan=Cchan∙FRhigh，(6)式中Fchan为通道特征加权后的参考图像嵌入特征．最后，对空间域和通道域注意力的输出进行特征融合，获取注意力加权后的参考特征信息，即与褪化特征FShigh语义相关的色彩信息特征表示．与褪化特征拼接并使用卷积层融合，可以得到具有参考图像色彩信息的还原特征F^Shigh，具体为F^Shigh=Conv(Conv(Fspat,Fchan),FShigh)，(7)式中Conv为3×3卷积操作．1.4　细节保持模块褪化壁画图像的纹理结构保持一直是壁画色彩还原的重点．受到复杂噪声的影响和全局语义信息的约束，超出特征感受野的区域容易出现色彩混叠．针对上述问题，提出了一种基于自注意力的细节保持模块(结构如图3所示)，用于壁画图像色彩还原过程中图像的纹理、语义边界等细节信息保持．该模块使用具有较大感受野的高层特征引导具有较小感受野的低层特征建立感受野区域间的全局依赖关系，从而有效减少噪声对低层特征感受野区域间依赖性的影响，减轻图像伪影和色彩混叠现象．10.13245/j.hust.238301.F003图3细节保持模块在细节保持模块中，使用特征金字塔的相邻层FSj和FSi作为输入．使用具有较大感受野的FSi作为引导信息．该模块首先通过通道和空间自注意力捕获壁画图像特征FSi的全局信息并优化图像特征，并使用双线性插值进行上采样，与FSj拼接后使用卷积层融合．最后，输出具有全局信息且保留壁画纹理结构的低层特征，具体为MC=ηsig(δMLP(avg(FSi))+δMLP(max(FSi)))；(8)MS=ηsig[Conv7×7(avg(MCFSi);max(MCFSi))]；(9)F^Sj=Conv3×3(FSj,γup(MS(MCFSi)))，(10)式中：MC和MS分别为通道和空间自注意力矩阵；avg和max分别为平均池化和最大池化；δMLP为多层感知机；ηsig为sigmoid激活函数；γup为上采样操作；F^Sj为使用高层特征引导建立的具有全局依赖关系的低层特征．1.5　损失函数使用的损失函数有特征重构损失lfeat、风格重构损失lstyle和图像重构验证损失liden，具体为L*=λfeatlfeat+λstylelstyle+liden，(11)式中λfeat和λstyle分别为特征重构损失和风格重构损失的权重参数，{λfeat，λstyle}∈[0，1]，且λfeat，λstyle=1．通过调整权重参数可以控制参考图像对褪化图像的影响程度．使用特征金字塔的特征计算褪化壁画图像与还原壁画图像的特征重构损失，同时计算色彩还原前后壁画图像的风格重构损失，具体为lfeat(I^S,IS)=∑i1CiHiWiEi(I^S)-Ei(IS)22；(12)lstyle=∑i=1μ(Ei(I^S))-μ(Ei(IS))2+σ(Ei(I^S))-σ(Ei(IS))2，(13)式中：E为编码器网络；Ei为编码器网络第i层输出特征，i∈{2，4，8，12，16}；μ和σ分别为图像特征按通道计算的均值和方差．为了尽可能减小网络模型对壁画图像纹理信息的影响，使还原图像尽可能保留退化图像中的有效纹理边缘信息，使用图像重构验证损失函数优化网络模型参数，具体为liden=λgloblglob+λloclloc；(14)lglob=ISS-IS2+IRR-IR2；(15)lloc=∑i=1Ei(ISS)-Ei(IS)2+Ei(IRR)-Ei(IR)2, (16)式中：ISS和IRR分别为褪化壁画图像IS和参考壁画图像IR通过网络后得到的输出图像；lglob和lloc分别为全局和局部特征均方误差损失；λglob和λloc分别为全局和局部特征均方误差损失的权重．2 实验验证2.1　实验数据集和实验设置采用Torch深度学习框架构建网络模型，网络训练所使用数据集包含MS COCO 2014[17]，BAM[18]．同时，选取500张真实壁画图像和临摹壁画图像作为补充．使用变形、裁剪等方式增强壁画数据(壁画图像源于《中国敦煌壁画全集》[19]书籍插图和网络资源)．训练过程中将图像重新缩放至同尺寸512×512，训练过程中训练期数(epoch)为10，批量处理图像数量设置为5，每个训练期内迭代数τiter设置为5×104．使用Adam优化器[20]优化网络参数．初始学习率lr设置为1×10-4．学习率通过迭代次数自动调整，即lr*=lr/(1+τdecτiter)，式中：τdec和τiter分别为衰减因子和迭代次数；lr*为更新后的学习率．此外，通过实验分析，色彩迁移模块中的降采样参数设置为2；对于损失函数，式(11)中超参数λfeat和λstyle分别设置为0.6和0.4．式(14)中超参数λglob和λloc分别设置为1和30．2.2　模型有效性分析为了验证所设计模块的有效性，设置了一组对比实验．实验中对于模型的改变包括：仅使用色彩迁移模块；在色彩迁移模块的基础上加入了跳层连接；使用色彩迁移模块和细节保持模块．选取不同褪化程度的壁画图像进行色彩还原，还原结果如图4所示．10.13245/j.hust.238301.F004图4模块有效性对比实验图4(a)为参考壁画图像，图4(b)为褪化壁画图像，图4(c)仅使用色彩迁移模块进行色彩还原．色彩迁移模块可以较好地将参考壁画的色彩信息迁移到褪化图像中．但是，由于缺少低层特征的约束，还原图像出现纹理变形和色彩混叠现象，如图4(1-c)中菩萨手指及衣袖部位．图4(d)加入了跳层连接，在还原图像重建过程中引入了褪化图像的低层特征，减少了色彩混叠．但是，还原结果中仍旧存在纹理变形现象，如图4(2-d)中云纹装饰区域．这是由于图像噪声与壁画图像纹理信息混叠造成的．图4(e)使用具有细节保持模块的跳层连接，通过高层特征引导低层特征建立全局依赖关系，减少了纹理变形和色彩混叠现象．由于本组实验使用的褪化图像不存在对应的未褪化图像，无法使用峰值信噪比(peak signal to noise ratio，PSNR)指标进行客观评价，因此采用无参考图像质量评价指标BRISQUE[21]和结构相似性评价指标(structural similarity，SSIM)来对还原图像的细节保持能力进行客观评价．评价如表1所示．其中，BRISQUE值越小表示图像质量越好，而SSIM值越大表示图像纹理细节保持效果越好．10.13245/j.hust.238301.T001表1模型有效性实验中还原图像的无参考质量指标图像跳层连接细节保持BRISQUESSIM图4(1-c)——35.617 50.547 0图4(1-d)使用—37.302 70.804 4图4(1-e)使用使用34.755 50.842 8图4(2-c)——31.767 80.381 9图4(2-d)使用—41.565 60.484 7图4(2-e)使用使用31.647 40.689 5从表1可以看出：图4(c)仅使用色彩迁移模块难以还原壁画图像的纹理细节，且图像还原质量较低．图4(d)引入跳层连接可以有效提升壁画图像的色彩还原质量和纹理细节保持，但是还原结果仍受到低层特征中噪声的影响，图像质量和纹理信息还原不佳．图4(e)使用具有细节保持模块的跳层连接时，可以有效减少低层特征所含噪声对还原图像纹理细节的影响，并通过建立全局依赖关系有效提升还原图像质量．2.3　模拟褪化壁画图像色彩还原对比分析为了验证本文方法的有效性，通过模拟方法分别生成褪色壁画图像(图5(1))和变色壁画图像(图5(2))，然后进行色彩还原．选取具有代表性的Reinhard方法[2]、Gatys方法[8]、AdaIN方法[11]、SANet方法[12]与本文方法进行对比，如图5所示．其中：图5(a)为参考图像；图5(b)为原始壁画图像；图5(c)为模拟褪化图像；图5(d)~(g)为对比方法的还原结果；图5(h)为本文方法还原结果．10.13245/j.hust.238301.F005图5模拟褪化壁画图像色彩还原结果对比由图5可见：Reinhard方法对褪变色区域未进行有效复原，如图5(1-d)中菩萨面部和图5(2-d)中裙摆部位．Gatys方法在褪化图像的基础上使用参考图像进行迭代优化，对于较大的褪变色区域色彩还原效果不佳，如图5(2-e)莲台部位．AdaIN方法对通道特征的二阶统计量进行调整，部分还原区域存在假色．在噪声等因素的影响下，结构纹理信息保持效果不佳，如图5(1-f)中菩萨眉毛部位和图5(2-f)中莲台部位．SANet方法建立了图像间的语义对应关系，但缺少全局依赖约束，还原结果存在伪影和色彩混叠现象，图像中原有的变色区域还原效果也不理想，如图5(1-g)中菩萨额头部位．本文方法能对壁画图像中褪变色区域进行有效地还原，同时可以保持褪化图像原有的边缘纹理结构．对图5各方法的还原结果进行客观评价，采用全参考图像质量评价指标PSNR和SSIM对各方法还原结果进行对比，结果如表2所示．由表2可见：本文方法的PSNR和SSIM指标值相较于其他对比方法有明显提高．由此可见本文方法在壁画图像色彩还原质量和纹理信息保留方面性能更优．10.13245/j.hust.238301.T002表2模拟褪化图像还原效果对比实验图像方法PSNRSSIM图5(1-d)Reinhard方法24.280 50.834 8图5(1-e)Gatys方法22.452 50.753 2图5(1-f)AdaIN方法17.101 90.646 9图5(1-g)SANet方法23.271 60.816 4图5(1-h)本文方法26.073 00.893 0图5(2-d)Reinhard方法21.210 00.904 7图5(2-e)Gatys方法21.930 50.906 0图5(2-f)AdaIN方法13.157 00.476 3图5(2-g)SANet方法20.855 60.885 2图5(2-h)本文方法22.135 30.913 52.4　真实褪化壁画图像色彩还原对比分析为了进一步验证本文方法的有效性，选取了真实的褪化壁画图像进行色彩还原处理，结果如图6所示．其中：图6(a)为参考壁画；图6(b)为真实褪化壁画．在真实褪化图像中，由于颜料颗粒脱落等因素，图像中出现了不规则的点状缺损和噪声；同时，由于使用红色颜料朱砂和白色颜料用于特定区域着色，在长时间的环境等因素影响下，部分颜料褪变成黑色，壁画整体色彩变暗．这些因素增加了壁画色彩还原的复杂度．图6(c)~(f)为对比方法的还原结果，图6(g)为本文方法还原结果．10.13245/j.hust.238301.F006图6真实褪化壁画图像色彩还原结果对比由图6可见：Reinhard方法对褪化壁画图像的全局色彩进行了调整，使其更加贴近于参考图像的色彩信息，但还原图像中仍旧存在大量噪点和色彩褪化区域．Gatys方法由于在优化过程中容易受噪声和局部缺损的影响，使褪化图像中的缺损区域和噪声较多的区域不能进行有效还原，并且产生了色彩混叠，如图6(1-d)中菩萨面部、衣袖、背光等部位色彩混乱．AdaIN方法由于缺少对图像语义及结构信息的约束，同时受到缺损区域和噪声的影响，还原图像中的色彩信息和纹理结构丢失严重，如图6(e)中菩萨面部和衣袖部分．SANet方法虽然有效地降低图像噪声，但语义边界出现伪影，如图6(1-f)中菩萨面部发髻边缘区域．此外，还原结果中在同一语义区域内还出现了假色现象，如图6(2-f)小图的左侧区域．而本文方法对于褪化图像中原有的噪声起到了较好的抑制作用，对于褪化图像色彩剥落区域也实现了较有效的色彩还原．3 结论提出了一种端到端的基于风格注意力的壁画图像色彩还原方法．该方法通过并行的空间和通道注意力组成的色彩迁移模块学习壁画图像高层语义特征间的映射关系，以实现高层语义信息间的特征迁移；同时，通过基于自注意力的细节保持模块建立低层特征的全局依赖关系，优化还原图像质量．实验分析表明：提出的基于风格注意力的壁画图像色彩还原方法能够有效减少噪声等因素影响，实现壁画褪化区域的色彩还原，同时能够更好地保留褪化图像的边缘、纹理等细节信息．相较于对比方法，本文方法能够有效提升壁画色彩还原的质量．