在图像的获取、处理和传输过程中，图像不可避免会受到来自成像设备与目标景物之间的相对运动、大气湍流和光学系统衍射等多方面因素的干扰，导致实际获取的图像存在模糊和噪声等退化问题[1]，对后续图像应用造成不利的影响，因此须要对退化图像进行复原．假设模糊核是均匀的并且在空间上不变，图像的模糊过程可以用数学模型表示为B=I*k+ε，其中：B为模糊图像；I为潜在的清晰图像；k为模糊核；ε为加性噪声；*为卷积运算符．在这些变量中，只有B为已知项，在模糊核k未知的情况下，从给定的模糊图像B中恢复潜在的清晰图像I是一个高度不适定问题，也被称为图像盲去模糊．一些边缘预测的方法[2-3]被用于图像盲去模糊，这些复原方法大多数都可以在自然模糊的图像恢复中发挥良好的作用，但当针对模糊的低照度、面部或文本图像时，利用这类复原方法进行复原得效果并不理想．为了克服基于边缘预测方法的不足，一些传统图像先验方法[4-7]已被用于图像盲去模糊．文献[4]提出了一种广义的非自然L0稀疏表达式，但是在一些特定场景仍然无法取得很好的效果．文献[5]在文献[4]的基础上提出了一种基于暗通道(DCP)的图像盲去模糊方法，与其他方法相比取得了较好的效果，然而较大程度的亮像素或噪声会显著影响该算法的性能．文献[6]引入亮通道来弥补DCP的不足，文献[7]构造并求解了局部最大梯度先验模型，大大提高了图像恢复精度．文献[8]提出了两种生成网络，分别对清晰图像和模糊核的深度先验进行建模，并提出了一种无约束神经网络优化的盲解卷积方法(SelfDeblur)，恢复的图像在视觉效果上显得不太理想．文献[9]通过CNN网络结构学习了一个判别先验，然后将其与传统框架相结合来完成图像去模糊任务，然而当涉及到复杂运动模糊的图像时仍会遇到困难．无论是传统方法还是基于深度学习的复原方法都试图寻找关于图像清晰的特征，然而关于图像是清晰还是模糊更多来自人们主观上的判断，没有绝对的客观定义．近年来，随着人类视觉系统的不断发展，模糊对人类视觉系统(HVS)的响应可以通过一个滤波的方式来建模[10]，相应的滤波器也被称为HVS滤波器．本研究通过实验和数学推导发现模糊会引起HVS滤波之后的图像局部极大值减小，从而构造了基于人类视觉灵敏性的图像盲去模糊先验(VSP)．为了在模型迭代求解过程中保留图像的显著内容，对正则项施加自适应权重，在显著性强的地方使用小的惩罚系数，而在显著性弱的地方使用大的惩罚系数．实验结果表明：提出的方法能够保留图像显著内容，在基准数据集[11-12]和自然图像上都取得了较好的复原效果．1 视觉灵敏性滤波的图像复原先验1.1　模型构造文献[10]发现，模糊对人类视觉系统的响应可以通过一个滤波的方式来建模，并构造了一种HVS滤波器，该响应可以描述为IOutput=IIntput*fHVS，(1)式中：IOutput为人类视觉皮层感知的输出图像信号；IIutput为输入的原始自然图像(灰度图像)；fHVS为HVS-FIR滤波器，有fHVS=[hHVST,hHVS]，包含水平和垂直分量，其中hHVS为HVS滤波器．1.2　先验提出通过对图1的观察可知：模糊之后经过HVS滤波图像的局部最大值将减小．经过fHVS滤波之后的局部最大值(VSP值)可以定义为QIx=maxc∈r,g,bmaxy∈LxIc(y)*fHVS，(2)式中：x和y为目标图像中的像素位置；Lx为以x为中心的局部图像块；c为属于集合的颜色通道．Ic*fHVS的目的是模拟人类视觉系统处理目标图像，由于Ic和fHVS卷积后的值有正有负，并且无法直接比较像素值中的正负值，因此在这里添加绝对值以获得绝对最大值(去除正负号后直接比较值大小)．当输入的目标图像为灰度图像时，式(2)中只需要一个max．10.13245/j.hust.211111.F001图1用VSP方法去模糊的结果为验证上述发现，从PASCAL 2012数据集中选择了4 000张图像来验证本研究的理论．首先对这些图像进行模糊处理，以获得4 000张对应的模糊图像，然后分别计算并统计图像的平均VSP值．所选局部区域的大小为35×35，结果如图2所示，图中VSP为VSP元素平均强度．可以看出：清晰图像的VSP值在0～1范围均有分布，而模糊图像的VSP值大多在0.5以下．由此可知：模糊处理将降低VSP值，最大化VSP值有利于模糊图像的恢复．10.13245/j.hust.211111.F002图2PASCAL 2012数据集中4 000幅清晰和模糊图像的VSP元素平均强度直方图1.3　先验项相关证明通过数学公式推导可以进一步证明上述观察结果，即maxy∈L(x)fHVS*B(y)=maxy∈L(x)(fHVS*I(y))*k≤maxy∈L(x)fHVS*I(y)k≤maxy∈L(x)fHVS*I(y). (3)式(3)中的第一个不等式可以用杨氏卷积不等式[13]证明．式(3)的区域中只有一个单通道，这是因为颜色通道对证明不会产生影响，因此可以得到颜色三通道的推广，即maxc∈r,g,b(maxy∈Lx(fHVS*Bc(y)))≤maxc∈r,g,b(maxy∈Lx(fHVS*Ic(y))). (4)上述证明可以概括为Q(B)(x)≤Q(I)(x)．(5)式(2)中绝对最大值的解释为α-Q(I)(x)≤α-QB(x)，(6)式中α为一个正常数．因为经过fHVS滤波之后，图像中任意一个像素点的强度值都小于或等于∑x∈HxfHVS(x)，所以取α=∑x∈HxfHVS(x)，其证明过程如下．证明 经过fHVS滤波之后图像可以表示为IOutput(y)=∑x∈HxIInput(y-x)fHVS(x)≤∑x∈HxIInput(y-x)fHVS(x)≤∑x∈HxfHVS(x),故有Q(B)(x)≤Q(I)(x)≤∑x∈HxfHVS(x)，式中H(x)为HVS滤波器的作用域．式(4)表明清晰图像的VSP值总是大于模糊图像的VSP值．本研究使用L1范数来计算图像的所有VSP项，得到α-Q(B)(x)1≥α-Q(I)(x)1．(7)在式(7)中，最小化α-Q(I)(∙)1有利于获得清晰的恢复图像．根据α-Q(I)(∙)1，基于传统的去模糊模型框架和VSP先验条件构造了一个能量函数．该函数定义为minI,kI*k-B2+λα-Q(I)1+γ∇I0+μk2, (8)式中：λ，γ和μ为每个正则化项对应的权重参数；第一项为数据项；第二项为提出的VSP先验项；第三项使用L0范数来消除细小边缘对图像恢复的不利影响[5]；最后一项为模糊核k的约束项，为了节省计算成本，使用L2范数作为约束[5]．1.4　自适应正则化当人眼观察图像时，会将注意力集中到显著区域[14]，图像中显著区域越清晰，人的感官体一幅图像的质量就越好．为了保留图像的显著内容，在模型迭代求解过程中，须要对图像中不同位置计算的先验施加不同的权重，显著性强的地方使用小的惩罚系数，而显著性弱的地方使用大的惩罚系数，因此模型(8)可重新写为minI,kI*k-B2+λωS∙(α-Q(I))1+γ∇I0+μk2, (9)式中：ωS为自适应权重矩阵；∙为点乘运算．对于图像中任意一个位置都有一个与之相应的权重，图像中任意位置在x的权重可以表示为ωS(x)=e-S(x)，(10)式中S为图像的潜像I的显著图，在模型每一次潜像迭代求解过程中不断更新．本研究采用文献[14]的方法计算显著图，由于显著图表示图像中每个像素位置的显著性，因此若像素点x位于显著性强的区域，则S(x)值较大，ωS(x)值较小，对图像显著性强的地方给予较小的惩罚系数；若像素点x位于显著性弱的区域，则S(x)较小，ωS(x)较大，对图像显著性弱的地方给予较大的惩罚系数．因此加入自适应权重可以使得模型迭代求解过程中保留图像的显著内容．2 模型求解2.1　先验项简化首先简化VSP中的元素．VSP实际上由三个映射矩阵组成：max运算矩阵、HVS滤波器和∙．HVS滤波器是一个矩阵，为了方便起见，用H和S分别代替fHVS和e-Sx．然后根据文献[7]的经验，可以将∙看成应用于矢量化I*fHVS的矩阵A，A的每个值都属于集合-1,1，其数值取决于I*fHVS的极性．由于I*fHVS是二维的，即A=(Ah,Av)，因此对A的计算为：Ah(x,y)=1(Ih*H(x,y)≥0),-1(Ih*H(x,y)0); (11)Av(x,y)=1(Iv*H(x,y)≥0),-1(Iv*H(x,y)0), (12)式中h和v分别对应I*fHVS的两个维度．上述公式可以等价写为I*H→A*I*H．(13)将式(13)写成向量形式，注意A应该是稀疏的，向量形式可以等价写为I*H→AIH．(14)根据文献[5]的经验，本研究用稀疏矩阵M代替算子max，并将矩阵M应用于I*H的矢量化，满足以下条件：Mx,z=1(z=argmaxy∈LxSIH(y));0(其他). (15)所有的矩阵都可以在去模糊过程中得到，并用中间迭代的潜像进行计算．令P=M*A*H，Q可以简化为Q(I)=PI．(16)由于式(10)是一个高度不适定的问题，直接求解非常困难，因此将其分解为两个子能量函数进行迭代求解，两个子问题分别为：minII*k-B2+λe-Sx(α-Q(I))1+γ∇I0; (17)minkI*k-B2+μk2．(18)针对这两个子问题，本研究提出有效的优化方法．2.2　I的估计由于I函数中存在非凸L0范数，因此使用半二次分裂法[5]对其进行拆分，并用一个新的变量代替相应的变量，其中u→1-Q(I)，g→∇I．式(17)可写为minI,u,gI*k-B2+λu1+γg0+θ1e-Sx(α-Q(I))-u2+θ2∇I-g2, (19)式中θ1和θ2为惩罚参数．当θ1和θ2接近∞时，式(19)的解近似于式(17)，为了使上式的解更精确，交替最小化I，u和g来优化I的解．给定P，I的求解方法为minIIk-B2+θ1Sα-PI-u2+θ2∇I-g2, (20)式中k为模糊核k的Toeplitz形式；B，I，S，u和g分别为B，I，S，u和g的向量形式．利用快速傅里叶变换(FFT)可以求得I=F¯kFB+θ2Fg+θ1FuF¯kFk+θ2F¯∇F∇+θ1F¯SFS ，(21)式中：F(g)=F¯(∇h)F(gh)+F¯(∇h)F(gv)，其中∇h和∇v分别为水平和垂直微分算子；F(∙)和F¯(∙)分别为FFT和FFT的共轭；Fu=F(PS¯(α-u))．在求得I之后，可以根据下面两个子方程来求解u和g：minuλu1+θ1e-Sxα-PI-u2；(22)mingγg0+θ2∇I-g2．(23)利用一维收缩公式可以求解u，即u=sign(e-Sx(α-PI))∙max(α-PI-λ/(2θ1),0). (24)g的求解是类似的，即g=∇I(∇I2≥γ/θ2);0(其他). (25)2.3　k的估计对于给定的I，估计k变成了一个最小二乘问题．为了加快算法的收敛速度，本研究使用以下方法来估计最优模糊核，即mink∇I*k-∇B2+γk2．(26)利用FFT可以求解出k的解，由于k满足ki0，且∑iki=1，因此在得到k的解之后，将k的负元素置为0，并对其进行正则化以满足k的定义．算法1给出了估计k在一个金字塔级别上的主要步骤．算法1 基于VSP先验的模糊核估计算法输入 模糊图像B粗略初始化的模糊核k=1/2设置参数λ←0.004,μ←0.004,γ←2while i≤max_iter do用式(19)迭代更新I用式(20)迭代更新k结束输出 模糊核k和迭代潜像I3 实验结果实验基于Matlab R2018b 9.5.0.944444 完成，处理器为 Inter(R) Core(TM) i5-4200 CPU@2.80 GHz，安装内存为12.00 Gib．首先在自然图像数据集[11-12]上对提出方法进行测试，采用错误率和峰值信噪比(PSNR)作为客观评价标准；然后在较为复杂的文本图像[11]和饱和图像[12]上与目前经典的去模糊方法进行对比．在模糊核估计出来之后，除非另有说明，所有实验均采用文献[6]中的非盲去卷积方法得到最终复原结果．在所有实验中，根据文献[5]的经验，设定λ=μ=0.004，γ=2，局部显著结构的邻域大小固定为35×35，将最大迭代次数设定(max_iter)为5，以此来平衡速度和精度．a．数据集[12]包含32幅图像，计算了每张复原图像错误率．在图3中绘制成功率-误差折线图，将错误率低于阈值的结果百分比被定义为成功率，图中：ε为误差；η为成功率．为了公平比较，使用相同的非盲反卷积方法[18]来恢复潜像，所提出的方法与最新的算法[2-3,8,17-18]相比处于领先．10.13245/j.hust.211111.F003图3对数据集[12]的定量评估 b．选取均匀数据集[11](包括100幅图像)进行测试，计算每组复原图像的峰值信噪比(PSNR)，与其他方法[2-3，5，8，15-16]的PSNR进行比较，所提出方法的平均PSNR仅次于文献[8]，如表1所示．为了验证所提出的去模糊方法的普遍适用性，本研究选择了不同类型的图像(饱和图像和文本图像)，并将所提出方法的结果与各种先进方法对这些图像的结果进行了比较．饱和图像的处理结果如图4所示，本文方法与其他方法[5,8]相比生成的细节更清晰．文本图像的结果如图5所示，可以看出与其他方法[8,15]相比，只有本文方法得到了较为清晰的结果．10.13245/j.hust.211111.T001表1数据集[11]评估的PSNR平均值算法平均PSNR平均值ManmadeNatrualPeopleSaturatedText文献[4]17.9921.5824.4014.5317.6419.23文献[5]18.5922.6024.0316.5217.4219.89文献[7]18.0322.1224.4216.5318.2319.87文献[8]20.3522.0525.9416.5820.1620.97本文18.7822.8925.0516.5917.7420.2110.13245/j.hust.211111.F004图4高度模糊饱和图像的模糊处理结果10.13245/j.hust.211111.F005图5高度模糊文本图像的恢复4 结果分析4.1　先验的有效性为了进一步评估VSP先验的有效性，本研究在基准数据集[12]进行了定量评估，比较了模型中是否使用VSP先验的结果，并记录了PSNR．如表2所示，使用VSP的模型比没有VSP的模型产生更好的PSNR，其PSNR平均值分别为32.78和31.18．如图6所示，使用VSP的模型明显优于不使用VSP的模型．10.13245/j.hust.211111.T002表2数据集[12]的平均PSNR评估模糊类型使用VSP模型不使用VSP模型im132.3131.12im231.1028.71im334.6033.22im433.1131.6810.13245/j.hust.211111.F006图6本文方法在基准数据集[12]使用和不使用VSP的结果4.2　自适应权重的有效性为了验证1.4节中提出的自适应权重ωS的有效性，本研究对加入ωS的复原效果和不加入ωS的复原效果进行了对比，同时对输入目标图像不加入ωS和加入ωS经过VSP先验之后的效果图进行了对比分析．如图7所示，图中：(a)为输入的模糊图像；(b)为不加入ωS经过VSP模型之后的输出结果图；(c)为加入ωS经过VSP模型之后的输出结果图．从对比结果可以看出，加入ωS后无论是最终复原结果的可视性效果还是细节优化程度都优于添加之前．10.13245/j.hust.211111.F007图7是否加入自适应权重实验对比结果4.3　VSP项的范数约束这里讨论在式(7)中选择L1范数的原因，实际上，使用L0范数和L2范数作为约束都是合理的．为了更好地评估α-Q∙0，α-Q∙1和α-Q∙2的效果，分别使用这三个约束来测试数据集[12]．实验结果如图8所示，无论模型使用何种约束条件，其结果都优于不使用VSP的情况，说明VSP在引导图像去模糊中起着至关重要的作用．从图8还可以看出L1范数约束项(即α-Q∙1)可以使模型达到最优．10.13245/j.hust.211111.F008图8VSP相关正则化约束的比较