暗通道约束和交替方向乘子法优化的湍流图像盲复原
李晖晖1, 鱼轮1, 张良2, 杨宁1     
1. 西北工业大学 自动化学院, 陕西 西安 710129;
2. 西安卫星测控中心, 陕西 西安 710043
摘要: 为提高湍流退化图像的复原效果,针对盲复原算法在最大后验概率框架下,使用梯度分布先验信息约束容易求得模糊平凡解的问题,提出了一种暗通道约束和交替方向乘子法优化的湍流图像盲复原算法。基于多尺度的思想,在每一层尺度上,对图像施加暗通道先验约束,对点扩散函数施加非负性约束和能量约束。对采用坐标下降法交替迭代估计当前尺度下的模糊核和图像,当达到最大尺度时,得到最终估计的模糊核。结合总变分模型,采用交替方向乘子法优化实现图像细节快速恢复。实验结果表明,新算法使用的先验信息约束,有利于得到清晰解,在总变分模型下能收敛到全局最优解,可以有效抑制图像复原过程中产生的伪迹,恢复出更好的目标图像细节。
关键词: 图像处理     湍流图像盲复原     暗通道约束     交替方向乘子法优化     反卷积     总变分     点扩散函数    

地基望远镜在观测天体目标时,由于空间目标发出的光波在经过大气传播过程中,运动随机的大气湍流,会造成空气折射率的变化,导致光波振幅和相位的随机起伏,最终使地基望远镜观测到的天体目标图像出现退化,严重影响系统下一步对目标图像的识别检测和分类。因此,实现大气湍流退化图像的复原,是提高望远镜对目标探测能力和测量定位精度必须解决的关键问题之一。

湍流的最大特点,是具有很强的随机性。这使得建模时,很难描述和测定点扩散函数(point spread function,PSF)的具体形式,必须从观察图像中以某种方式估计出退化信息。对这类严重的病态问题,目前大多数采用盲复原算法进行处理[1],即在最大后验概率(maximum a posterior,MAP)的框架下,依据模糊核和清晰图像的先验知识,运用有效的估计准则复原出目标图像。利用盲复原算法解决这类去模糊问题的关键, 是如何设计有效的清晰图像的先验知识指导图像复原。传统的IBD(iterative blind deconvolution)[2]算法使用的先验知识过于简单,解的收敛性很难得到保证。而近几年研究的清晰图像, 其先验知识大多集中在对自然图像梯度分布的统计上,如Fergus、Krishnan等人[3-4]分别采用高斯混合模型、超拉普拉斯分布,来近似图像的梯度分布,但在MAP框架下,如果盲复原算法直接使用这些梯度分布先验知识来进行联合估计模糊核和图像,会更容易得到模糊平凡解,这就产生了矛盾。为了解决这个矛盾,一些学者尝试寻找更合适的清晰图像的约束信息,如Krishnan等人[5]采用稀疏比值l1/l2范数。这种约束项对处理运动模糊图像比较有效,但对湍流退化图像的约束处理,效果则不显著。2016年,Pan等人[6]利用图像去雾中的暗通道理论,在处理运动模糊图像、低照度模糊图像以及非一致模糊图像上取得了不错的效果,但算法自身缺陷是对噪声敏感,当模糊图像存在较大的噪声时,处理结果有振铃效应。另一些学者尝试引入边缘选择[7-8],利用强边缘来恢复图像,但这类方法的缺点是算法涉及复杂的边缘选择,如何设计“大的梯度保留与小的梯度舍弃”规则是个问题,且在图像边缘的显著性不是很强时,算法会选不到合适的边缘来估计模糊核。

针对上述矛盾问题,受文献[6]的启发,结合优化算法交替方向乘子法(alternating direction method of multipliers,ADMM)[9-10],提出了一种暗通道约束和交替方向乘子法优化的湍流图像盲复原算法,主要具有以下优点:①对湍流退化图像施加暗通道先验信息约束,构造的代价函数在交替迭代过程中,整体能量更低,更有利于得到清晰解,解决了MAP框架下使用梯度分布先验信息约束易得到模糊平凡解的矛盾。②在基于导数空间的图像复原总变分模型下,采用ADMM优化来求解目标图像,可避免用二次惩罚来近似约束问题中在最优解附近出现目标函数不稳定问题,与用梯度最小化来复原图像相比,本文算法能恢复出更多的图像细节。③针对文献[2, 5-6, 8]算法抗噪性能差的问题,本文利用总变分模型下的各向异性滤波去噪特性,能去除较多的噪声。

1 大气湍流的退化模型

在等晕区内的远距离非相干成像,可以建模成一个线性移动不变系统,湍流退化模型可简化为目标图像和点扩散函数的卷积过程, 即y=kx+n, 其中, ⊗表示空间卷积运算, y表示观测的模糊图像, k表示点扩散函数值, x表示目标图像, n表示噪声。

2 算法原理 2.1 算法概述

为了准确估计出模糊核, 本文算法在MAP框架下, 首先对输入图像采用由粗到精的图像金字塔方法。在每一层尺度上, 对图像施加暗通道约束和梯度约束, 对模糊核施加非负性约束和能量约束, 分别估计清晰图像和模糊核。当达到最大尺度时, 得到最终估计的模糊核, 然后在总变分模型下, 采用ADMM优化求解目标图像。最后当算法满足收敛条件时, 得到复原结果。算法流程如图 1所示。

图 1 算法流程图
2.2 暗通道先验约束

对于任意一幅图像I, 对其暗通道[11]有如下定义:

(1)

式中, mn代表像素的位置, N(m)表示中心位置在m处的一个局部区域块, Ic是图像Ic个通道。暗通道值表征的是一个图像块的最小值。何恺明的暗通道先验理论指出, 对于大部分室外无雾环境下拍摄的图像, 其暗通道值大部分接近于0, 即自然图像的暗通道稀疏性比较强。假定1幅图像在位置m处的像素值为0, 那么图像变模糊后, 该位置对应的暗通道值会变大, 即模糊图对应的暗通道稀疏性会减弱, 这个性质可以用L0范数来刻画, 即:

(2)

该性质的理论证明过程如下:

卷积是一个信号与另一个经过翻转、平移后的信号重叠部分的累积, 即:

(3)

式中,Ωkks分别代表模糊核的作用域和尺寸, k(p)≥0且, [·]代表旋转运算。N(m)代表中心位置在m处和模糊核尺寸大小相同的局部区域块, 结合(3)式有:

(4)

当位置m处的像素值为局部区域块N(m)的暗通道值, 即X(m)= 时, 有Y(m)≥X(m), 这表明在相同中心位置、具有同等尺寸的局部区域块, 模糊图像的暗通道值比清晰图像的暗通道值大, 如果该位置对应的暗通道值为0, 则图像变模糊的稀疏性变化规律可用公式(2)来描述。

由此可知, 可以用暗通道理论作为清晰图像的先验约束信息, 用‖D(x)‖0作为湍流退化图像复原的代价函数约束项。

2.3 目标图像和点扩散函数的估计

图像复原的本质, 即通过目标观测图像y, 恢复出最接近原始目标图像x的估计图像。根据最优估计原则, 可建立代价函数:

(5)

其中第1项为数据保真项, 用以衡量估计图像和原始目标图像之间的相似程度, 第2项为点扩散函数的约束项, 第3项和第4项分别为对目标图像的梯度约束(为哈密顿算子)和暗通道约束。结合公式(5)和公式(2)可以看出, 对目标图像施加暗通道约束项λD(x)‖0, 与利用λD(y)‖0作为约束项相比, 代价函数的整体能量更低, 即更有利于代价函数收敛到清晰解。

2.3.1 目标图像的估计

为采用坐标下降法来交替求解xk, 将公式(5)拆分为以下2个代价函数:

(6)
(7)

公式(6)中存在L0范数和非线性函数D(·), 可采用半二次变量分离解决L0最小化问题[12], 对D(·)引入辅助变量u; 对图像的水平梯度和垂直梯度分别引入g=(gh, gv), 于是公式(6)可以改写为:

(8)

对于公式(8), 可通过交替迭代最小化x, ug来进行求解, 将求x的部分提取出来:

(9)

其中非线性算子D(x)等于选择矩阵M乘以x:D(x)=Mx, 选择矩阵M满足:

(10)

式中, z为选择矩阵M中的第i行的元素, j为图像I在给定的图像块中最小像素值对应的位置。借助选择矩阵M, 通过公式(11)估计出每一层尺度下的目标图像x:

(11)

(11)式Tk是模糊核k的Toeplitz矩阵, y, gu分别代表y, gu的向量形式, 可利用快速傅里叶变换(FFT)方法求解出上式向量矩阵。

2.3.2 点扩散函数的估计

求得当前尺度下估计的x后, 公式(7)就成为一个最小二乘问题, 可将其改写为:

(12)

模糊核的非负性约束条件和能量约束条件为:

(13)

本文采用Cho提出的由粗到精的图像金字塔方法求解模糊核[7], 为了适应不同大小的图像, 根据PSF尺寸Pks设置图像金字塔层数为:

模糊核在每一层尺度上的估计算法流程如表 1所示:

表 1 模糊核估计算法流程
步骤 算法流程
1 输入:退化图像y、各个参数、最小尺度上初始化模糊核k;
2 While i≤max iter do
公式(9)求解x;
公式(12)~(13)求解k;
end while
3 输出:最大尺度下估计的模糊核k和清晰图像x
2.4 ADMM优化

在得到最终估计的模糊核k后, Pan采用L0范数梯度最小化[13]来平滑恢复图像, 但这样处理容易平滑掉图像细节, 且算法自身对噪声敏感。而本文建立的基于导数空间总变分最小化的图像复原模型, 通过各向异性滤波器去除噪声, 借助ADMM来优化方程。在每一次迭代中, 仅需4步快速傅里叶变换, 就可以收敛到令人满意的解, 从而能快速复原图像, 恢复出更多的图像细节。

基于导数空间的图像复原总变分模型, 可表示为:

(14)

式中, D是离散梯度算子D=[DhT, DvT]T, d=[dhT, dvT]T, d=Dx, μ为权重参数。

添加辅助变量f, 令f=d, 定义增广拉格朗日函数为:

(15)

采用交替方向乘子法更新参数f, dq(关键是求解d), 若给定参数fq, 则d可以通过下式进行求解:

(16)

当更新d时, 可构造d的拉格朗日对偶函数:

(17)

KKT条件为:

(18)

对应的解为:

(19)

式中,B=kTk+δI, 公式(19)可在傅里叶域中求解, ADMM优化算法的执行步骤如表 2所示。

表 2 ADMM优化算法执行步骤
步骤 算法流程
1 输入:退化图像y、估计的模糊核k;
2 初始化参数p(0), d(0), f(0), t=0, y1=mean(y), max iter=200;
3 计算F(B)=F(kTk+δI), F(a)=F(kTDy), F(Dc2)=F(DhTDh+DvTDv);
4
若满足收敛条件(dt+1-dt)/dteps=10-4, 则跳出至第5步, 更新δ(t+1), t=t+1;
end while
5 输出:估计的清晰图像为x=υ(d(t)), x=x+y1

当满足收敛条件时, x即为最终复原的图像。步骤中F(·)代表对变量做傅里叶变换。

3 实验结果及分析

为验证文中方法的有效性, 本文分别针对仿真模糊图像和真实模糊图像做出了2组对比性实验, 对比的方法都是近年来在图像盲复原领域中较为先进的方法。模拟数据采用256像素×256像素的海事卫星图像, 通过谱反演法模拟大气湍流的相位屏, 对卫星图像进行湍流退化模糊的仿真实验, 图像实测数据采用文献[14]给定的大气湍流图像测试数据库。客观评价指标上, 用峰值信噪比(PSNR)、灰度平均梯度(gray mean grads, GMG)和拉普拉斯梯度模(Laplacian sum, LS)来衡量图像的复原效果。PSNR属于有参评价, 其值越大表明图像质量越好。GMG和LS属于无参评价, 能有效的反映图像的对比度和纹理变化特征, 其值越大表示图像细节越多、边缘越锐利, 图像质量越好。

3.1 模拟湍流退化图像复原实验

图 2可以看出, 文献[2]算法基本上未能恢复出目标图像的有效信息, 这与IBD对噪声敏感和加入的先验知识较少有关。文献[5]算法由于加入了自然图像边缘的稀疏先验知识, 使复原图像比IBD算法的复原图像具有更多的细节, 但是无效的梯度导致估计的点扩散函数出现偏差, 最终使得复原图像在边缘处产生了较多的伪迹。文献[6]方法的复原图像优于文献[2], 但是采用L0范数梯度最小化来恢复图像, 使得复原结果过于平滑, 如卫星的4块帆板上的细节部分被平滑掉。文献[8]的复原结果相比文献[6], 恢复出了较多的细节, 如左上角帆板处小部件的轮廓, 但复原结果整体还是夹杂着零零散散的噪声。而本文算法的复原结果显示出了更多的目标图像细节, 整体上提升了图像的视觉效果, 如4块帆板边角和中心位置可以看出较多的轮廓, 帆板和天线中间几乎没有噪点。另外从表 3客观评价指标上看, 本文算法各项指标均优于其他算法。PSNR值越大表示复原图像失真越小, GMG和LS值越大表示复原图像越清晰, 轮廓越鲜明。由于本文所提算法的复原结果轮廓鲜明并包含更多的细节信息, 因此各项指标值比较大。

图 2 模拟湍流退化图像实验
表 3 卫星实验结果指标统计
文献 PSNR/dB GMG LS
[2] 13.588 1 0.007 8 0.041 3
[5] 17.644 2 0.009 5 0.053 3
[6] 17.577 1 0.008 0 0.044 5
[8] 17.331 7 0.008 8 0.051 2
本文 17.830 9 0.011 1 0.060 3
3.2 实际湍流退化图像复原实验

为进一步验证本文算法的实用性, 选取了文献[14]给定的湍流测试数据库Chimney随机一帧进行复原实验, 并与其他算法进行比较。为了更清晰地展示不同图像盲复原算法的处理细节, 增加了局部放大图。实验结果如图 3所示。

图 3 实际湍流退化图像实验

图 3可以看出, 由于文献[2]IBD算法计算量小, 没有收敛准则, 解的唯一性和可靠性不能保证, 复原结果不够清晰。文献[5]的复原结果中目标图像的顶部略有增强, 但整体细节恢复的还不够好。文献[6]相较前2个算法, 处理效果有所提升, 但是复原结果有白色光晕, 文献[8]复原出的目标图像顶部出现畸变, 这说明文献[8]中应用的的稀疏比值l1/l2范数作为先验信息在此处约束并不合适。从局部放大图来看, 本文算法复原结果边缘纹理更清晰, 恢复出了更多的图像细节, 复原质量得到提升。另外, 从表 4也可以看出, 所提算法的GMG值和LS值均高于其他算法的指标值。GMG值和LS值越大表示图像越清晰, 轮廓越鲜明, 图像质量越好。综合图 3表 4, 可以看出本文算法复原结果相较其他的算法, 具有更好的质量。

表 4 实际湍流退化图像实验结果指标统计
文献 GMG LS
[2] 0.003 5 0.024 6
[5] 0.004 3 0.022 3
[6] 0.007 6 0.028 0
[8] 0.006 3 0.023 4
本文 0.009 0 0.049 7
4 结论

本文提出了一种基于暗通道约束和交替方向乘子法优化的湍流图像盲复原算法,该算法对图像施加暗通道先验约束,使代价函数能量更低,从而解决了MAP框架下使用常见梯度分布先验信息约束可能得到模糊平凡解的矛盾问题。在估计出模糊核后,结合图像复原总变分模型,采用交替方向乘子法优化求解出目标图像,解决了用梯度最小化复原图像容易平滑掉图像细节的问题。实验结果表明,和湍流图像复原领域中具有代表性的算法相比较,无论是仿真数据还是真实数据,本文算法的复原结果具有更好的主观和客观质量。

参考文献
[1] Levin A, Weiss Y, Durand F, et al. Understanding and Evaluating Blind Deconvolution Algorithms[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009: 1964-1971
[2] Ayers G R, Dainty J C. Interative Blind Deconvolution Method and its Applications[J]. Optics Letters, 1988, 13(7): 547-549. DOI:10.1364/OL.13.000547
[3] Fergus R, Singh B, Hertzmann A, et al. Removing Camera Shake from a Single Photograph[J]. ACM Trans on Graphics, 2006, 25(25): 787-794.
[4] Krishnan D, Fergus R. Fast Image Deconvolution Using Hyper-Laplacian Priors[C]//International Conference on Neural Information Processing Systems, 2009: 1033-1041
[5] Krishnan D, Tay T, Fergus R. Blind Deconvolution Using a Normalized Sparsity Measure[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011: 233-240
[6] Pan J, Sun D, Pfister H, et al. Blind Image Deblurring Using Dark Channel Prior[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1628-1636
[7] Cho S, Lee S. Fast Motion Deblurring[J]. ACM Trans on Graphics, 2009, 28(5): 89-97.
[8] 李晖晖, 钱林弘, 杨宁, 等. 基于边缘预测和稀疏约束的湍流图像盲复原[J]. 仪器仪表学报, 2015, 36(4): 721-728.
Li Huihui, Qian Linhong, Yang Ning, et al. Turbulence Degraded Image Blind Restoration Based on Sparity Regularization and Edge Prediction[J]. Chinese Journal of Scientific Instrument, 2015, 36(4): 721-728. (in Chinese)
[9] Boyd S, Parikh N, Chu E, et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations & Trends in Machine Learning, 2010, 3(1): 1-122.
[10] Ren D, Zhang H, Zhang D, et al. Fast Total-Variation Based Image Restoration Based on Derivative Alternated Direction Optimization Methods[J]. Neurocomputing, 2015, 170: 201-212. DOI:10.1016/j.neucom.2014.08.101
[11] He K, Sun J, Tang X. Single Image Haze Removal Using Dark Channel Prior[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009: 1956-1963
[12] Xu L, Zheng S, Jia J. Unnatural L0 Sparse Representation for Natural Image Deblurring[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2013: 1107-1114
[13] Pan J, Hu Z, Su Z, et al. Deblurring Text Images via L0-Regularized Intensity and Gradient Prior[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2014: 2901-2908
[14] Zhu X, Milanfar P. Removing Atmospheric Turbulence via Space-Invariant Deconvolution[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2013, 35(1): 157-70.
Dark Channel Constraint and Alternated Direction Multiplier Optimization of Turbulence Degraded Image Blind Restoration
Li Huihui1, Yu Lun1, Zhang Liang2, Yang Ning1     
1. School of Automation, Northwestern Polytechnical University, Xi'an 710129, China;
2. Xi'an Satellite Control Center, Xi'an 710043, China
Abstract: In order to improve the effect of turbulence degraded image restoration, aiming at the problem that the fuzzy solution is easy to be obtained by using the prior information constraint of gradient distribution under the framework of maximum a posteriori probability of blind restoration algorithm, this paper proposes a dark channel constraint and alternated direction multiplier optimization of turbulence degraded image blind restoration method.First, based on the idea of multi-scale, a dark channel prior constraint is imposed on the image and non-negative constraints and energy constraints are imposed on the point spread function at each level.Then, the kernel and image of the current scale are estimated by alternating iterations of coordinate descent method. When the maximum scale is reached, the final estimated blur kernel is obtained.Last, combined with the total variational model, the image details are quickly restored using the alternate direction optimization method. The experimental results show that the prior information constraint used in the proposed algorithm is advantageous to obtain a clear solution, and can converge to the global optimal solution in the total variational model, which can effectively suppress the artifacts produced in the image restoration process and recover a better target image detail.
Key words: image processing     turbulence image blind restoration     dark channel constraint     alternated direction optimization methods     deconvolution     total variational     point spread function    
西北工业大学主办。
0

文章信息

李晖晖, 鱼轮, 张良, 杨宁
Li Huihui, Yu Lun, Zhang Liang, Yang Ning
暗通道约束和交替方向乘子法优化的湍流图像盲复原
Dark Channel Constraint and Alternated Direction Multiplier Optimization of Turbulence Degraded Image Blind Restoration
西北工业大学学报, 2018, 36(1): 103-109.
Journal of Northwestern Polytechnical University, 2018, 36(1): 103-109.

文章历史

收稿日期: 2017-04-25

相关文章

工作空间