作为人工智能领域的重要研究方向, 计算机视觉技术促使数字图像处理被广泛应用于日常生活和军事领域。然而, 数字化后的图像质量易受到传感器、拍摄场景以及成像环境的影响(尤其在微光、逆光、夜间等低照度特殊环境下采集的图像), 存在亮度和对比度不均衡、暗区域细节模糊、细节不明显, 颜色失真严重等问题。无人机航拍过程中, 天气情况各异, 地面情况复杂, 成像质量存在差异, 通常采集的影像质量较差。为了提高无人机航拍图像的信息提取、信息检测识别性能, 需要采用图像增强技术提高图像质量^[1-4]。

直方图均衡(histogram equalization, HE)方法普遍应用在低照度图像增强(low-light image enhancement, LLIE)中^[5-6]。但是, HE方法会增加背景噪声, 而降低有效局部信息的对比度, 图像易出现过度增强的问题。HE算法的本质是改变图像点像素值的灰度分布范围, 以此调整图像的明暗程度。部分学者针对光照条件较差的图像提出了基于Gamma校正的增强算法^[7]。此类算法在光线较暗以及过亮时失效, 处理效果不佳。

Land提出的Retinex算法结合了人眼的视觉特性, 图像增强处理效果相对于HE方法整体效果更佳。40多年来, Retinex理论的图像增强算法一直在不断发展完善^[8-11]。同时, 相关学者研究表明基于Retinex理论所衍生的相关算法在过暗、过曝光以及背光等情况下都有一定的增强效果^[12], 但是依赖于调参的优劣。其中, Guo等^[13]提出的LIME算法引入BM3D(block-matching and 3D filtering)^[14]降噪后处理算法, 增加了算法复杂度，降低了算法的性能。现有Retinex算法存在容易产生光晕、增强后色调丢失等问题, 其中最为关键的问题在于现有Retinex算法均不能根据图像质量自动调节参数, 算法复杂度较高, 执行效率低下。

另一方面, Dong等^[15-16]发现反转低质图像具有和有雾图像相似的特征信息, 提出了一种利用暗通道先验知识的低光照图像增强算法, 将低照度图像增强领域和图像去雾领域相结合, 利用去雾思想实现了低照度图像增强。该类算法由于暗通道在弱光条件下的适应性较差, 可能会丢失一些细节信息, 处理后图像颜色失调, 容易产生过度增强, 导致暗区域细节模糊, 不具备一定的适应性。此外Li等^[17]利用图像融合的方法, 增强了夜间图像中细节清晰区域。Fu等^[18]提出了一种可以增强背光、非均匀光照和夜间等不同弱光照条件下图像的多尺度融合框架, 利用形态学闭合的光照估计算法分解图像, 同时基于适当的加权和融合策略, 得到细节增强、局部对比度提高的最终增强图像。Ying算法虽然能够实现原低照度图像和伪曝光图像的互补融合, 但权重矩阵计算过程复杂, 融合过程未考虑图像纹理细节, 导致融合后的图像部分细节信息依旧处于昏暗状态, 视觉效果不佳^[19-20]。

综上所述，现有算法虽然能够在一定程度实现低质低照度航拍图像的视觉增强, 但是泛化能力较差, 普遍存在细节纹理模糊、暗区域细节欠增强、过增强等问题。本文针对现有LLIE算法的泛化能力不足、增强视觉效果不佳等问题, 结合Ying算法和去雾思想在图像增强方面的优势, 提出了一种强适应性的图像增强算法, 旨在解决低质低照度系列(微光、逆光、夜间、雨雾等)条件下, 无人机航拍图像集的鲁棒性增强问题。实验结果表明本文算法可以有效实现退化航拍图像的增强处理, 而且能够较好地增强处理曝光正常、光照不均匀无人机航拍图像, 并且具备一定的去雾能力。

1 本文算法

光照不均匀、低照度、有雾图像等低质航拍图像本身信息不足, 主要体现在：①亮度、对比度不均衡；②暗区域细节模糊不明显；③颜色失真严重, 视觉观感差。

本文提出一种无人机航拍影像退化低质图像增强算法。首先, 利用快速导向滤波处理HSV空间分解的亮度分量, 处理后图像作为照度图, 进一步处理得到新的权重矩阵；其次, 估算最佳曝光得到曝光图像, 利用Ying提出的曝光融合框架, 实现输入与曝光图像的加权融合处理(曝光图像加权系数大于原始输入图像加权系数)；接着对加权融合输出图像, 利用暗通道去雾的思想进行色度矫正增强处理, 再次利用曝光融合框架融合矫正增强后图像和加权融合输出图像(权重矩阵保持不变, 加权系数均为1)；最后, 为了进一步增强图像细节纹理信息, 设计了一种新的多尺度细节增强算法。本文提出的无人机航拍低质图像质量增强框架示意图如图 1所示。

2 算法模型的建立 2.1 对比度增强 2.1.1 权重矩阵构建

本文基于HSV空间的亮度分量, 采用引导滤波进一步处理。为了降低算法复杂度, 采用快速引导滤波, 其输入图像为亮度分量和经过最小值滤波处理的亮度分量, 最小值滤波半径设置为7, 引导滤波参数采用文献[16]提供的最优参数, 将滤波处理后的图像记为T。此时, 滤波处理后的图像T为单通道图像, 将其复制三次构建生成新的图像T(R, G, B), 即R=G=B=T。权重矩阵计算公式如(1)式所示

(1)

式中：W为三维权重矩阵；w_c为权重系数, 经过大量实验验证w_c=0.185时增强效果最佳。

2.1.2 曝光图像生成

采用最大信息熵作为评价指标估计输入原始RGB空间图像的最佳曝光参数, 利用(2)式得到曝光不足像素值集合

(2)

式中, V(x)表示输入的三通道图像。本文采用信息熵作为评价指标, 计算公式为

(3)

式中, 灰度值l在图像中出现的概率为P(l), 图像的灰度级为L, 对256灰度等级的图像L=255。根据图像信息熵最大原则求解最佳曝光参数

(4)

式中，g(·)的表达式为

(5)

式中：δ为曝光率；a=-0.329 3, b=1.125 8^[21], 最后, 利用亮度映射函数处理输入图像, 本文的处理映射计算公式为

(6)

式中：J表示处理后的曝光图像；I表示输入的RGB空间图像；v_c表示补偿系数, 本文设置为v_c=-0.01。

2.1.3 曝光融合

利用Ying提出的曝光融合框架, 将输入RGB空间图像I和曝光图像J进行加权融合, 并引入加权融合算子, 便于动态调整融合效果, 计算表达式为

(7)

式中：I₁表示加权融合后图像；W为上文计算得到的权重矩阵；c, d分别为曝光图J和输入图I的加权系数, 本文在此分别设置为1.5和1.0。

2.2 色度矫正增强

由于上文融合权重系数的设置, 不论何种输入图像, 处理后的图像均具有一定程度的白雾过增强现象。借鉴暗通道先验知识进行去白雾增强处理, 并在恢复图像时引入颜色矫正增强。其暗通道的计算公式为

(8)

(9)

式中：I_dark(x)是输入图像I₁的暗通道图像, 表示输入图像I₁的各通道最小值图像；I₁是上文中加权融合后的RGB彩色图像；I_Am(x)表示大气遮罩图像；f_min表示最小值滤波；f_fgf表示快速引导滤波。为了估计A的值, 本文采用了两阶段选择法。首先, 在I₁(x)的暗通道中选取前0.1%最亮的像素, 然后选取强度最高的像素作为A的值。最终矫正增强结果计算公式为

(10)

式中, I_D表示矫正增强输出图像矩阵。为了弥补基于暗通道先验知识处理后图像的部分细节昏暗不明, 采用曝光融合框架, 将I₁图像与I_D图像进行加权融合(可采用其他的融合方式策略, 但是会增加额外的计算量), 计算公式为

(11)

式中：I^*表示进一步增强结果输出图；I₁表示加权融合后图像；W为权重矩阵；c, d分别为I₁和I_D的加权系数, 本文分别设置为1.0, 1.0。

2.3 多尺度细节增强

为了进一步突出增强图像的细节纹理信息^[22], 本文设计了一种细节提升算法。

高斯模糊滤波公式如(12)式所示

(12)

式中: G₁, G₂和G₃分别是标准差为δ₁=1.0, δ₂=2.0, δ₃=4.0的高斯核。

本文重新思考细节信息提取方式, 设计新的细节信息提取公式如(13)式所示

(13)

最后利用(14)式, 对细节信息与原始图像I^*进行加权融合, 得到最终的增强图像D。

(14)

3 实验结果与分析

实验所用计算机CPU为AMD Ryzen7 5800X 8-Core Processor, 内存为32 GB。使用Python对本文提出的图像增强算法^[23-28]进行实验验证, 在DICM以及无人机影像等开源数据集上将本算法实验结果与经典的图像增强算法进行综合评价分析, 其中对比算法均采用其默认最优参数。

3.1 低照度图像增强效果分析

本文增强算法的核心是基于Ying算法衍生而来, 因此, 有必要验证本文算法在低照度数据集上的增强效果。为了更为直观体现算法的可视效果, 从网络中随机中选取一张经典低照度图像进行增强处理。

图 2展示的是一经典低照度图像在不同算法上的增强处理结果, 整体来看, 各个算法均有一定程度增强提升, 但是普遍存在过增强效果, 塔身明显过曝, 细节纹理信息模糊不清, 诸如图 2b)~2h)所示。图 2c)虽然视觉效果较佳, 虽然未出现明显过曝光现象, 但塔身、房屋局部及树木边缘细节信息不够清晰, 图 2j)的ILNIQE^[29]指标最好, 但是塔身处理效果不佳, 周围出现明显的灰色过渡边界。其次, 各个算法增强处理后, 所框选区域局部轮廓纹理保持不够清晰, 甚至有明显的马赛克现象。相对的, 本文处理后图像整体色彩鲜艳, 对比度更佳, 没有像其他算法处理后产生明显的过增强现象, 多尺度细节信息增强算法的后处理, 使得纹理细节更为清晰。从表 1中所列各算法对应指标来看, BMPRI^[30]、SSEQ^[31]、Entropy、Laplacian指标本文算法处于第一位, 表明处理后图像质量更高, ILNIQE、PIQE^[32]、NIQE^[33]指标表明, 构建算法在主观视觉上较为符合人眼视觉观感, 增强效果较为协调。

3.2 无人机影像增强效果分析

图 3展示的是一组夜间无人机影像在不同算法上的增强效果。直观分析可知, 诸多算法在夜间逆光无人机影像增强上失效, 不能很好处理, 相比之下NPE算法有一定的增强效果, 但视觉效果图 3l)最佳, 不但抑制了过曝信息, 而且局部纹理更为清晰可见。从表 2中所列各算法图对应指标来看, 本文算法各指标均处于第一位, 尤其ILNIQE指标相对于其他算法更佳, 表明处理后图像清晰度更高, 增强效果也更佳。此外, 证明本文算法在夜间无人机影像增强上具有较好的处理效果, 也具有一定的适应性。

图 4展示的是一组无人机航拍退化影像在不同算法上的增强效果, 其中包括山体阴影导致影像过暗、不均匀雾导致影像质量退化、影像过曝、山区不均匀雾影像。直观分析可知, 现有算法在山体阴影图像中处理效果较佳, 但是图 4b)、4e)出现明显的过增强处理。在无人机航拍影像过曝时, 现有算法处理效果不佳, 本文构建的算法能够较好地抑制过曝信息, 局部纹理更为清晰可见。结合表 3中所列各算法对应指标来看, 本文构建的算法在时间消耗和视觉表现达到了一个能够接受的均衡点, 本文算法具有较好的处理性能。

4 结论

本文创新性地提出了一种用于无人机航拍低质影像的图像增强框架方法, 该算法主要结合了低照度增强和去雾增强思想。其中利用LLIE方法实现对比度的增强处理, 能够有效地解决山体阴影导致影像过暗以及光照不均产生的无人机影像退化现象；基于曝光融合的去雾处理, 能够有效地补偿图像色彩的不足, 同时也能处理山区不均匀雾和影像过曝现象；设计的多尺度细节增强算法能够较好地保留无人机航拍图像的纹理细节信息。诸多定量定性实验综合分析可知, 本文构建算法能够较好地实现无人机航拍低质影像的增强处理, 具有较好的应用和提升空间。