基于Retinex和ADMM优化的水下光照不均匀图像增强算法
刘卫东, 李吉玉, 张文博, 李乐     
西北工业大学 航海学院, 陕西 西安 710072
摘要: 针对水下光照不均匀及光照较弱引起的成像模糊及失真问题,提出了一种基于Retinex和ADMM优化的水下图像增强方法。提取原始图像Lab空间的L分量作为初始光照图,并基于交替方向乘子法(ADMM)构造增广拉格朗日框架,对初始光照图进行优化获得精准的光照图像,并且通过伽马校正在亮度域对光照图进行进一步校正;结合Retinex理论中物体颜色恒常性的特性,求取物体的反射图像;利用双边滤波器抑制了水下噪声,获得更细致的增强图像。实验结果表明,所提的水下光照不均匀图像增强算法能有效解决因自然光或人工光源引起的光照不均匀及水下弱光照现象,提高了水下图像的质量,相较于其他算法,具有更好的性能。
关键词: 光照不均匀校正    水下图像增强    Retinex理论    交替方向乘子法    光照图估计    

水下环境的未知性和复杂性是人类开发海洋资源的一大挑战。相比于声学探测设备,水下视觉传感器能够直观地获取丰富多彩、高分辨率的水下环境和目标特征信息,正被广泛应用于海洋技术开发和科学研究。然而,由于水对光的散射和吸收,水下图像常呈现可见度低、边缘模糊、颜色失真等现象[1]。此外,深海点光源的聚射效应、水面波纹对自然光的折射效应,都会导致水下图像呈现严重的光照不均匀现象。因此,如何解决光照不均匀引起的水下图像模糊和失真问题对实现高效的水下探测、识别和作业等至关重要。

目前对于光照不均匀及弱光照问题的研究多在大气环境中[2-6],Wang等[7]提出一种"亮度顺序误差"的方法来保持图像的自然与细节并采用双对数变换的方法求取光照图。Lee等[8]提出了一种基于空间可变光照图(SVLM)的彩色图像增强方法,将二维伽马校正与SVLM相结合,在亮度域中提高暗区强度,降低亮区强度。Gao等[9]提出一种基于联合保边滤波器的自然保持光照估计算法并基于盒式滤波实现了对光照图的快速估计。这些方法对于空气中的光照不均匀或弱光照图像具有很好的增强效果,但受限于水下环境复杂及水对光的散射和吸收效应,上述算法无法处理水下图像的光照不均匀现象。针对水下图像的特性,国内外学者们提出了几种不同的水下图像增强方法。Fu等[10]根据Retinex理论提出了一种用于分解单幅水下图像的反射分量和光照分量的变分框架来增强水下图像,该算法增强效果较好,但较为复杂。Zhang等[11]针对水下图像色彩失真和光照不均匀的问题,提出一种通过计算RGB 3个通道的特征值均值和方差对水下图像进行颜色校正并调整光照图的方法(VCIP)来进行水下图像增强。由于光在水下的吸收和散射效应,水下图像的清晰度相对较差,针对该问题,Drews等[12]提出了一种基于暗信道先验的水下传输估计方法(UDCP)对水下图像进行复原。但上述这几种算法对于水下图像中光照较弱部分的增强效果并不明显,常常会丢失图像暗区的细节。针对水下光照不均匀及弱光照引起的成像模糊及失真问题,本文提出了一种基于Retinex和ADMM(alternating direction method of multipliers)优化的水下图像增强方法。实验结果表明,相比于当前方法,本文所提的方法具有更好的定性和定量效果,在去除光照对水下图像的影响以及保留图像细节方面有更好的性能。

1 本文算法

本文基于Retinex理论,提出一种在交替方向乘子法基础上构造增广拉格朗日框架(ADMM-ALM)来求取光照图的算法。首先,估计初始光照图时,将图像从RGB颜色空间转换到Lab颜色空间,提取亮度分量L作为初始光照图;然后基于交替方向乘子法原理,构造一个增广拉格朗日框架的约束优化方程,通过迭代求解优化方程,得到精准光照图T;根据Retinex理论,将待处理图像与光照图转换到对数域求取对数域中的反射图像,再进行指数运算即可得到增强图像。最后,利用双边滤波器抑制水下噪声,获得更细致的增强图像。本文算法流程如图 1所示。

图 1 算法流程图
1.1 估计初始光照图

根据Retinex理论[13], 一幅图像可以分解为2幅不同的图像, 即反射图像R(x, y) 和亮度图像L(x, y)

(1)

式中: S(x, y)为人眼所接收到的反射光图像, 即原始图像; R(x, y)为反射图像, 是图像的内在属性; L(x, y)为亮度图像, 它决定了图像像素能到达的动态范围; "·"表示图像像素点乘。将亮度图像分离, 求出反射图像, 即为增强后的图像。为了进一步简化计算, 将(1)式转换到对数域进行计算

(2)

由于在Lab颜色空间中, L, a, b 3个分量相互独立、互不影响, 因此本文将RGB图像转换到Lab颜色空间, 直接提取亮度分量L作为初始的光照图, 这样可以保证在处理图像的过程中将图像的亮度与颜色分离, 保持水下图像的颜色在处理过程中不受影响。

1.2 光照图优化

为了获取精准的光照图T, 需要对估计的初始光照图进行优化。为了保证光照图整体结构的准确性以及图像细节的真实性, 构造下述方程

(3)

式中: ‖·‖F表示Frobenious范数; ‖·‖1表示L1范数; α是系数; W是权重矩阵; ▽TT的一阶微分。本文利用交替方向乘子法(ADMM)来求解上述问题, 优化方程如下

(4)

(4) 式是一个约束优化问题, 可以通过构造增广拉格朗日乘子的方法求解。为了方便表示, 约定。于是, (4)式的增广拉格朗日目标函数为

(5)

式中: λ为增广拉格朗日乘子; ρ为增广拉格朗日参数(ρ>0), 则它的迭代方式如(6)~(8)式所示

(6)
(7)
(8)
(9)

迭代过程在满足(9)式时停止。

通过上述步骤即可得到优化过后的光照图。此外, 采用Gamma校正[14]的方法对光照图在亮度域进行进一步校正, 降低亮区像素点的亮度值, 提高暗区像素点的亮度值

(10)
(11)

获得优化校正后光照图后, 根据(2)式得到增强后的水下图像, 如(11)式所示。然而, 这时的增强图像往往存在着边缘模糊、噪声明显的问题。针对该问题, 本文采用双边滤波[15]方法保边去噪

(12)

式中:R(m, n)是待处理图像的像素点; q是权重系数, 取决于定义域核与值域核, 如(13)式所示, 式中, σdσr分别为定义域方差和值域方差。

(13)
2 实验结果与对比分析

为了验证本文算法的有效性, 针对人工点光源不均匀(见图 2a))、弱光照(见图 2b))、自然光照不均匀(见图 2c))和自然弱光照且光照不均匀(见图 2d))4种不同情况的水下图像, 在MATLAB R2018b软件平台上进行实验验证, 并与VCIP、UDCP、伽马校正(GC)[16]、SSR[17]及文献[10]算法进行对比。

图 2 原始水下图像
2.1 图像处理效果评价分析

图 2a)~2d)的处理结果如图 3~6所示, 图中3a)~3f)分别是VCIP、UDCP、GC、SSR、文献[10]中的算法及本文算法的图像处理结果。

图 3 图像1的增强结果
图 4 图像2的增强结果
图 5 图像3的增强结果
图 6 图像4的增强结果

针对人工光源较强的水下图像, 5种算法的处理结果如图 3所示。由图 3的处理结果可看出: VCIP算法虽然减弱了光源的亮度, 但在图像边缘暗区的亮度并未得到很好的增强; UDCP算法将水下图像的整体亮度降低, 使边缘暗区更暗, 丢失了该部分的信息; GC算法相较于原始水下图像并无大改善, 增强效果并不明显; SSR算法在光源较强的情况下出现了曝光现象; 文献[10]中的算法降低了强光照区域的亮度, 但图像边缘弱光照区域并未得到改善; 本文算法则较好地克服了人工光源的影响, 降低了光照强度高的部分的亮度, 提高了光照强度低的部分的亮度, 有效解决了光照不均匀的问题并且水下图像各部分的细节也都得到了保留。

针对水下弱光照的情况, 5种算法的处理结果如图 4所示。由图 4的处理结果可看出: VCIP算法提高了水下图像的亮度, 但是图像的整体色调与原图差距较大, 且图像的清晰度并不理想; UDCP算法和GC算法在弱光照情况下的增强效果较差, 水下图像可见度较低; SSR算法虽然提高了水下图像的亮度, 然而处理后的图像出现了"雾化"现象, 图像的清晰度及对比度大大降低; 文献[10]中的算法有效提高了水下图像的整体亮度, 但弱光照区域的一些细节未得到较好保留, 出现了部分噪声; 相较于前5种算法, 本文算法提高了弱光照水下图像的亮度, 增强了弱光照水下图像的清晰度和对比度, 更好地提高了弱光照水下图像质量。

针对水下自然光照不均匀的情况, 5种算法的处理结果如图 5所示。由图 5的处理结果可看出: VCIP算法和SSR算法都能在一定程度上提高水下图像较暗的部分的亮度, 但在亮度较高的部分出现了曝光现象, 且处理后的水下图像的清晰度和对比度仍有待提高; UDCP算法降低了光照较强部分的亮度, 但光照较暗部分的亮度同样降低了, 使处理后图像整体亮度过低; GC算法的处理结果与原始图像差异不大, 增强效果不明显; 文献[10]中的算法提高了水下图像的亮度, 但出现了少量色偏, 图像的清晰度也有所降低; 本文算法的处理结果提高了水下图像较暗部分的亮度, 图像暗处的细节在处理后得到了更好的呈现, 提高了图像的对比度。

针对水下自然弱光照且光照不均匀的情况, 5种算法的处理结果如图 6所示。由图 6的处理结果可看出: VCIP算法一定程度上改善了水下图像光照不均匀的现象, 但是处理后的图像的清晰度较低、对比度较差; UDCP算法使水下图像的整体亮度降低, 对于整体亮度较低的水下图像增强效果并不明显, 图像暗处的细节丢失较为严重; GC算法虽然在水下图像的光照均匀方面起到了一定的作用, 但对水下图像的整体增强效果较之原始图像并无大的改善; SSR算法出现了过曝现象, 增强算法在该情况下并不十分有效; 文献[10]中的算法降低了强光照部分的亮度, 但弱光照部分并无明显改善, 且水下图像的对比度仍有待提高; 本文算法处理后的水下图像在光照均匀和颜色校正方面的表现都较好, 光照强度高的部分并未产生过曝现象, 光照强度低的部分的亮度也得到了提高, 图像的整体可见度得到了较大的改善, 同时图像的清晰度和对比度也较高。

2.2 图像处理评价指标分析

为了定量地对水下图像增强效果进行评价, 本文采用图像信息熵(information entropy)和图像自然统计特性[18](natural image quality evaluator, NIQE)作为指标对处理结果进行评价, 如表 1所示。同时, 本文还通过计算平均运行时间对几种算法的计算复杂度进行了比较, 如表 2所示。

(14)
(15)
表 1 图像增强效果的评价指标
算法 信息熵 NIQE
图像1 图像2 图像3 图像4 图像1 图像2 图像3 图像4
原始图像 15.361 5 12.854 9 12.922 1 14.079 0 2.763 4 3.310 2 5.122 2 3.460 2
VCIP 15.370 8 16.013 4 13.144 8 14.090 8 2.739 3 2.930 2 3.660 2 2.700 8
UDCP 15.689 2 12.321 8 11.555 9 14.652 4 3.296 6 2.723 5 3.376 2 3.139 5
GC 15.504 2 13.074 0 12.693 5 15.439 5 2.620 5 2.555 3 4.999 3 2.364 2
SSR 12.925 6 16.218 5 13.085 1 15.264 8 3.539 6 3.988 4 4.435 7 2.952 7
文献[10] 14.449 7 14.740 5 12.382 2 13.326 2 3.147 8 2.525 1 4.208 0 3.067 0
本文算法 16.834 6 16.351 4 15.589 5 16.858 4 2.282 0 2.724 7 3.273 1 2.701 0
表 2 平均运行时间
算法 时间/s 算法 时间/s
VCIP 1.14 SSR 4.04
UDCP 11.49 文献[10] 5.95
GC 8.29 本文 5.41

式中: S为图像信息熵; pi表示图像中灰度值为i的像素所占的比例; N是图像的NIQE值, v1, v2, Σ1, Σ2分别是增强图像与原始图像的多元高斯分布的均值和协方差。

表 1中的数据可知, 由本文算法处理后的增强水下图像,信息熵都高于其他算法, 说明相比于其他算法, 本文算法处理后的图像质量更高、蕴含的信息量更大。在水下弱光照以及水下光照较弱且不均匀的情况下, 文献[10]和GC算法处理结果的NIQE值优于本文算法处理结果。相较于本文算法, 文献[10]中的算法的处理结果在颜色复原方面表现较好, 但出现了部分噪声; GC算法的处理结果与原始水下图像更接近, 但图像蕴含信息量较少。其他情况下本文算法处理结果的NIQE值均优于其他算法, 更接近人眼视觉系统。从表 2中的数据可知, VCIP算法和SSR算法的平均运行时间较短, 但处理结果都有待提高; 本文算法耗时较之其他3种算法都具有一定的优势, 计算复杂度也相对较小。

图像处理效果和评价指标表明, 本文算法较之其他算法有更好的性能, 在提高水下图像质量、改善水下图像光照不均匀及弱光照现象、增强水下图像对比度、有效保留水下图像细节等方面具有明显优势。

3 结论

针对水下图像普遍存在的光照不均匀及光照较弱现象,本文基于Retinex颜色恒常性理论,提出一种在交替方向乘子法(ADMM)基础上构造增广拉格朗日框架的优化方法来求取精准光照图。该算法将亮度通道与颜色通道分离,只对光照图进行处理,保证了处理过程中水下图像的颜色不受影响,再对光照图进行优化和校正,进而去除光照对水下图像的影响,最后采用双边滤波的方法抑制图像中的噪声。实验结果表明,本文提出的方法有效地提高了水下光照不均匀图像的质量,相较于其他几种算法,在去除光照对水下图像的影响以及保留图像细节方面有更好的性能。

参考文献
[1] LI C Y, GUO J C, CONG R M, et al. Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior[J]. IEEE Trans on Image Processing, 2016, 25(12): 5664-5677. DOI:10.1109/TIP.2016.2612882
[2] ZHUO Li, HU Xiaochen, LI Jiafeng, et al. A naturalness-preserved low-light enhancement algorithm for intelligent analysis[J]. Chinese Journal of Electronics, 2019, 28(2): 316-324. DOI:10.1049/cje.2018.12.004
[3] LI L, WANG R, WANG W, et al. A low-light image enhancement method for both denoising and contrast enlarging[C]//IEEE International Conference on Image Processing, Quebec City, 2015
[4] WANG Y, HUANG Q, HU J. Adaptive enhancement for non-uniform illumination images via pixel-wise histogram modification and color reconstruction[C]//2018 IEEE 3rd International Conference on Signal and Image Processing, Shenzhen, 2018
[5] WANG D, YAN W, ZHU T, et al. An adaptive correction algorithm for non-uniform illumination panoramic images based on the improved bilateral gamma function[C]//2017 International Conference on Digital Image Computing: Techniques and Applications, Sydney, NSW, 2017
[6] HAN S, LIU W, XING W. Image enhancement based on spatial multi-scale homomorphic filtering and local entropy guided image filtering[C]//2017 IEEE 15th International Conterence on Dependable, Autonomic and Secure Computing, 15th International Conference on Pervasive Intelligence and Computing, 3rd International Conference on Big Data Intelligence and Computing and Cyber Science and Technology Congress(DASC/PiCom/DataCom/CyberSciTech), Orlando, FL, 2017
[7] WANG S H, ZHENG J, HU H M, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Trans on Image Processing, 2013, 22(9): 3538-3548. DOI:10.1109/TIP.2013.2261309
[8] LEE S, KWON H, HAN H, et al. A Space-variant luminance map based color image enhancement[J]. IEEE Trans on Consumer Electronics, 2010, 56(4): 2636-2643. DOI:10.1109/TCE.2010.5681151
[9] GAO Y, HU H M, LI B, et al. Naturalness preserved nonuniform illumination estimation for image enhancement based on retinex[J]. IEEE Trans on Multimedia, 2018, 20(99): 335-344.
[10] FU X, ZHUANG P, HUANG Y, et al. A retinex-based enhancing approach for single underwater image[C]//IEEE International Conference on Image Processing, Paris, 2014
[11] ZHANG W, LI G, YING Z. A New underwater image enhancing method via color correction and illumination adjustment[C]//2017 IEEE Visual Communications and Image Processing, St Petersburg, FL, 2017
[12] DREWS J P, Nascimento E, MORAES F, et al. Transmission estimation in underwater single images[C]//IEEE International Conference on Computer Vision Workshops, Sydney, NSW, 2013
[13] LAND E H. The retinex theory of color vision[J]. Scientific American, 1977, 237(6): 108-128. DOI:10.1038/scientificamerican1277-108
[14] LEE S. An efficient content-based image enhancement in the compressed domain using retinex theory[J]. IEEE Trans on Circuits & Systems for Video Technology, 2007, 17(2): 199-213.
[15] PATIL P D, KUMBHAR A D. Bilateral filter for image denoising[C]//International Conference on Green Computing & Internet of Things, Noida, 2015
[16] LEE S, HAN H, KWAK B, et al. Color image enhancement method using a space-variant luminance map[C]//Digest of Technical Papers International Conference on Consumer Electronics, 2010
[17] JOBSON D J, RAHMAN Z, WOODELL G A. Properties and performance of a center/surround retinex[J]. IEEE Trans on Image Processing, 1997, 6(3): 451-462. DOI:10.1109/83.557356
[18] MITTAL A, SOUNDARARAJAN R. Making a 'completely blind' image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212. DOI:10.1109/LSP.2012.2227726
Underwater image enhancement method with non-uniform illumination based on Retinex and ADMM
LIU Weidong, LI Jiyu, ZHANG Wenbo, LI Le     
School of Marine Science and Technology, Northwestern Polytechnical University, Xi'an 710072, China
Abstract: In order to solve the image blurring and distortion problem caused by underwater non-uniform and low illumination, this paper proposes an underwater image enhancement algorithm based on the Retinex theory and the Alternating Direction Method of Multipliers (ADMM). Firstly, the L component of the original image in the Lab space is extracted as the initial illumination map, and an Augmented Lagrange Multiplier (ALM) framework is constructed based on the ADMM to optimize the initial illumination map in order to obtain an accurate illumination image. In addition, the illumination map is further corrected in the luminance region with the Gamma Correction. Secondly, combined with the color constancy characteristics in the Retinex theory, the reflected image of the object is obtained. Finally, the bilateral filter is picked to suppress the underwater noise and obtain a more detailed enhanced image. The experimental results show that the underwater image enhancement algorithm can effectively solve the non-uniform illumination problem caused by natural light or artificial light source and improve the underwater image quality, thus having a better performance than other algorithms.
Keywords: non-uniform illumination correction    underwater image enhancement algorithm    retinex theory    alternating direction method of multipliers(ADMM)    illumination map estimation    
西北工业大学主办。
0

文章信息

刘卫东, 李吉玉, 张文博, 李乐
LIU Weidong, LI Jiyu, ZHANG Wenbo, LI Le
基于Retinex和ADMM优化的水下光照不均匀图像增强算法
Underwater image enhancement method with non-uniform illumination based on Retinex and ADMM
西北工业大学学报, 2021, 39(4): 824-830.
Journal of Northwestern Polytechnical University, 2021, 39(4): 824-830.

文章历史

收稿日期: 2020-12-09

相关文章

工作空间