基于内容的图像检索系统(content based image retrieval)是智能图像检索系统中重要组成部分，旨在针对图像内容进行相关信息的检索，以弥补基于人工标注文字信息的图像检索技术的不足，并能够广泛应用于海量信息的检索查询。目前，针对图像内容、颜色、轮廓以及纹理分布等特征信息，基于内容的图像检索方法主要采取特征信息的匹配、分类和搜索等[1]。Feng等[2]提出一个基于全局关联性描述子特征提取方法，该类子特征描述是综合图像特征结构元素关联性，通过统计直方图来描述颜色的相关特征。Ashraf等[3]针对待检索图像，使用Bandele或其他算子变换来进行特征的提取，能够反馈与待检索图像的主要内容或核心对象相关图像以及数据。Alkhawlani等[4]提出一种基于快速自适应特征变换(SURF)和尺度不变特征变换(SIFT)的局部特征算子提取以及图像检索方法。SIFT算子能够适应旋转和尺度变化等实际情况。在光照发生变化的条件下，SURF算子具有较好的自适应性。通过图像关键点SIFT和SURF特征的提取和匹配，实现图像检索。Chatbri等[5]提出将整体图像分割成若干部分，并分为不同类别，通过目标形状特征和信息搜索查询方法完成图像检索。Badawi等[6]提出一种基于遗传算法和局部搜索的反向标签传播的分类算法，通过分类标签传递以及迭代聚类过程的方式应用于图像检索技术。
在特征匹配检索方法中，根据Chathurika的研究[7], 通过提取灰度图像分块均值特征，表达图像主体内容信息，但其方法对特征要求过于简单并忽略了颜色等重要相关信息，降低了检索准确度。根据Kobayashi的研究[8]，通过对图像进行局部二值模式(LBP)特征提取和离散余弦变换(DCT)后，获取图像纹理的特征向量，但离散余弦变换不能完全排除高频噪声的影响，同样造成了图像误检或漏检的现象。
针对上述方法的一些不足和实际图像检索应用的需要，提出一种基于改进的颜色和纹理特征的图像检索方法。算法应用HSV颜色空间模型，并将其各分量划分若干子区域后求其区域均值。根据改进关联权值模型，获取颜色区域均值特征向量。颜色特征向量的维度得以减少，同时能够较好反映颜色内容以及区域分布状态。通过Haar小波的二维非规格变换，提取图像的低频分量。根据低频系数结构模型，获得低频特征向量。利用较少维度的低频特征向量表征图像的边缘、纹理和细节等信息。通过Canberra距离的变式，计算出待检索图像和库图的相似度值，用于反馈检索图像，以求提高图像检索的准确率、检索率和运算速度。
1 基于改进加权均值颜色特征均值特征由于计算复杂度极低、能够表达区域图像内容等特点在图像检索、匹配以及模式识别等领域有着广泛的应用。
算法将待检索图像转换为HSV颜色空间。在通过简单平滑滤波处理后，将3个颜色分量分别设置成N×N(N为偶数)大小。选取颜色模型中H分量, 并求取其均值IA0, 并作为特征值P(0), 如图 1所示。
|
| 图 1 N×N区域示意图 |
然后, 算法再次将上述分量, 划分为N/2×N/2和N/4×N/4大小的子区域; 同时, 求取各个子区域均值, 并作为特征参考值IA1到IA20, 如图 2所示。
|
| 图 2 子区域示意图 |
区域特征需要区域分布特征值与其均值之间具有一定关联性。因此使用关联权值模型(correlation weight model)来提取特征值。关联权值系数d的引入, 可以使颜色分量子区域的分布特征值与其均值之间建立关联度, 以提高特征数据在颜色空间分布中的表达程度。
算法只在N/2×N/2和N/4×N/4子区域进行分布特征值的计算。若第k个子区域矩阵Ak和均值IAk, 则其特征值为P(k):
|
(1) |
|
(2) |
式中, dijk为关联权值系数, n为区域矩阵长度。
当N为128, n为32时, 求取第8个子区域特征值。首先求取均值IA8, 根据式(2), 求取像素点A8(i, j)的关联权值系数dij8。再根据(1)式, 获取加权特征值P(8), 求解示意图如图 3所示。
|
| 图 3 关联权值系数求解示意图 |
通过上述计算过程, 并应用于颜色模型的S和V分量, 获取加权均值颜色特征向量序列P, 如图 4所示。
|
| 图 4 颜色特征序列示意图 |
通过N和n的选取和设置, 可以提取维度不等的特征向量, 考虑检索效率等相关因素, 选取63维。
2 基于改进低频纹理特征图像可以通过频域变换, 分解为低频和高频分量。图像的细节和纹理信息主要在低频分量中得到了较好保留, 而图像噪声主要集中在高频分量。在图像分解过程, 忽略高频分量, 只针对低频分量进行纹理特征向量的提取, 并用于反映图像细节等内容信息[9]。
Haar小波函数因其构造简单, 对应的滤波器具有线性相位性, 并且计算复杂度较低等优点, 在图像分解和压缩等领域存在广泛的应用。非规格化的Haar小波变换相对于传统的沃什变换或者离散傅立叶变换等而言, 其计算效率较高。
Haar小波的一维非规格化变换的原理是设定一个x(n)整数列, 并结合(3)式和(4)式定义的2个序列进行相应描述, 主要包括近似系数h(n)和细节系数l(n), 其定义如下:
|
(3) |
|
(4) |
|
Haar小波二维的非规格化分解可以将图像分解为低频(LL)、水平高频(LH)、垂直高频(HL)以及对角高频(HH)四部分。根据公式(3)和(4)在图像行和列上进行变换, 即分别对图像行和列的数据进行一维非规格化变换, 并提取图像的低频分量。通过对低频部分进行二维的规格化, 并形成低频多层金字塔结构模型, 其中, 图 5为Haar小波分解结构图。
|
| 图 5 Haar小波分解结构图 |
考虑计算复杂度和细节纹理信息反映程度等原因, 算法只对图像低频分量的最大尺度LL1建立低频特征结构模型(low-frequency feature structure model), 并完成纹理特征向量提取。
先将图像进行Haar小波分解变换, 并获取低频分量LL1。再将低频分量分为若干子区域, 并对各个子区域进行相应调整, 并形成左上部分为较为低频部分和右下部分为较为高频部分。这样较为低频部分更能突出反映细节信息, 并减弱较为高频部分的影响。
考虑分量尺度和特征维度等因素, 将各个子区域划分为16块, 求取各个块均值, 排序后形成特征模型的几何结构, 如图 6所示。
|
| 图 6 低频特征结构模型 |
选取第一个子区域, A00为最低频块均值, 作为参考离散系数和特征值a[0]。而A01, A10和A11块均值和A00的偏差较小, 同样能够表达低频纹理信息, 并作为特征值a[1], a[2]和a[3]。由于其余块均值和A00的偏差较大, 则通过加权方式反映低频纹理信息, 并作为特征值a[4], a[5]和a[6], 如(5)式所示, 其中, 低频特征权值ω1为0.4, ω2为0.35, ω3为0.25。根据相似性区分度需要, 将低频特征数值进行二值化处理。
|
(5) |
通过上述计算过程, 实现图像纹理特征向量序列的提取。选取36个子区域, 特征向量大小为252维, 如图 7所示。
|
| 图 7 低频纹理特征序列示意图 |
计算待检索图像和数据库图像之间的相似度值, 并用于后续图像检索性能指标的测试。颜色特征和纹理频域特征对图像内容的反映程度存在一定差异, 对检索性能指标也有一定影响。在相似度求解的过程中, 分别对颜色和纹理特征向量, 按照Canberra距离相似度(6)式和(7)式进行颜色和纹理相似度s1和s2的求解。通过(8)式设置颜色和纹理特征的权值ξ1, 并确定检索图像相似度s, 使得检索性能达到最优。
|
(6) |
|
(7) |
|
(8) |
式中, k和m为颜色和纹理特征向量维数。pi和qi向量表示待检索图像和数据库图像的颜色均值特征向量。fi和gi向量则表示待检索图像和数据库图像的低频纹理细节特征向量。
4 实验过程及结果分析算法实验环境:CPU为Intel-CoreI3-4160, 内存8G, 操作系统是Windows7 Professional 64位版本, 程序编写环境为Matlab2014b-64位。
1) 检索时间测试。检索时间反映算法在检索过程中的处理速度性能。检索时间的影响因素主要包括特征向量提取和高维匹配过程消耗。为了验证本文算法的有效性, 比较3种经典基于特征匹配方法, 即颜色直方图特征(TCHF)[7]、灰度均值特征(TGMF)[7]以及局部二值模式结合离散余弦变换(LBP+DCT)[8]。通过对比实验, 上述4种算法特征向量维数和检索时间如表 1所示。
| 方法 | 特征维数 | 检索时间/s |
| TCHF | 75 | 0.026 3 |
| TGMF | 85 | 0.051 0 |
| LBP+DCT | 469 | 0.132 9 |
| 本文 | 315 | 0.086 1 |
表中数据分析, 本文方法的检索时间要少于LBP+DCT, 而略高于TCHF和TGMF, 但能够保证较为快速地检索匹配。本文方法在特征向量维数上要多于TCHF和TGMF, 对检索图像内容的反映程度相对较高。
2) 准确率和检索率测试。检索性能指标主要包括准确率(accuracy)和检索率(recall)[10]。准确率A为返回与待检图像相关数Nreturn和设定检索返回数值Nset的比例, 如(9)式所示。检索率R为返回与待检图像相关数Nreturn和数据库中所有与待检图像相关数Ndata的比例, 如(10)式所示。
|
(9) |
|
(10) |
颜色和纹理特征权值ξ1和ξ2的不同设置, 表征2类特征对检索性能的影响程度。从图 8中的曲线图观测, 当ξ1和ξ2分别为0.7和0.3时, 可以使检索率和准确率指标达到最优。其中, 图 8为Nreturn为20, 分类数为10时, 权值ξ对应的检索率和准确率曲线图。
|
| 图 8 权值ξ对检索率和准确率曲线图 |
观察和绘制准确率对检索率曲线、准确率对分类数曲线以及检索率对分类数曲线来评价检索性能的效果。上述4种方法在Corel-1000标准数据库中进行准确率、检索率和分类数之间的性能测试。分类数设置为2类到10类；检索返回数值设置为20幅。其中，图 9为准确率对分类数曲线；图 10为检索率对分类数曲线。
|
| 图 9 准确率对分类数曲线 |
|
| 图 10 检索率对分类数曲线 |
从图 9和图 10曲线分析，曲线随着分类数的增加，即检索图库数量的增加，其准确率和检索率随之减小。本文方法相对于LBP+DCT，准确率提高了4.5%；本文方法在分类数为10，返回值为20幅时，其准确率能达到65%。同时，检索率相比上述方法比较，提高了3%。在分类数为10时，其检索率也能达到15%。满足在分类数(图库数据)不断增加的过程中，图像检索的性能需求。
准确率对检索率曲线反映了在检索率固定前提下，准确率与之对应的关系。设置检索返回数值为10到100幅，步长为10幅。其中，图 11为Corel-1000数据库的准确率对检索率曲线；图 12为Corel-5000数据库的准确率对检索率曲线。
|
| 图 11 Corel-1000数据库的准确率对检索率曲线 |
|
| 图 12 Corel-5000数据库的准确率对检索率曲线 |
从图 11和图 12的曲线中分析观察，在Corel-1000库的条件下，本文方法在检索率为10%时，准确率达到了68%；检索率为50%时，准确率达到50%。相对于LBP+DCT，准确率提高了4.7%。在Corel-5000库的条件下，本文方法在检索率为3%时，准确率达到了24%；检索率为10%时，准确率达到了15%；同时，相对于LBP+DCT方法，准确率提高了1.7%。
上述性能曲线反映了本文方法在检索过程中具有较好的性能；同时，通过对比实验，本文方法的检索效果要优于其他对比方法。
5 结论本文提出了一种改进颜色均值特征和低频纹理特征的图像检索算法，并应用于标准数据库。针对HSV颜色模型，根据改进关联权值模型，增加颜色区域特征分布值与区域均值的关联性。这样能够较好反映颜色区域分布状态，降低特征维度。通过Haar小波二维的非规格化分解，提取其最大尺度低频分量。根据低频特征结构模型，求解图像低频特征向量序列，用于反映图像细节纹理信息。通过权值参数设置和Canberra距离变式，计算待检图像与数据库图像相似度。通过在Corel-1000和Corel-5000标准库的性能指标验证，本文方法要优于对比检索方法。
本文方法是基于内容图像检索技术的一种探索。在准确率、检索率等性能指标上，较之其他同类方法有一定的提高。由于算法计算复杂度低、数据存储量小也可以移植到嵌入式设备，并提高便携式图像检索系统的智能化程度。
| [1] | Kanimozhi T, Latha K. A Meta-Heuristic Optimization Approach for Content Based Image Retrieval Using Relevance Feedback Method[J]. Lecture Notes in Engineering & Computer Science, 2013, 2205(1): 775-780. |
| [2] | Feng L, Wu J, Liu S, et al. Global Correlation Descriptor:a Novel Image Representation for Image Retrieval[J]. Journal of Visual Communication & Image Representation, 2015, 33: 104-114. |
| [3] | Ashraf R, Bashir K, Irtaza A, et al. Content Based Image Retrieval Using Embedded Neural Networks with Bandletized Regions[J]. Entropy, 2015, 17(6): 3552-3580. DOI:10.3390/e17063552 |
| [4] | Alkhawlani M, Elmogy M, Hazem M, et al. Content-Based Image Retrieval Using Local Features Descriptors and Bag-of-Visual Words[J]. International Journal of Advanced Computer Science & Applications, 2015, 6(9): 212-219. |
| [5] | Chatbri Houssem, Kameyama Keisuke, Kwan Paul. Towards a Segmentation and Recognition -Free Approach for Content-Based Document Image Retrieval of Handwritten Queries[C]//IEEE Asian Conference on Pattern Recognition, 2016: 146-150 |
| [6] | Badawi U A, Alsmadi M K S. A Hybrid Memetic Algorithm(Genetic Algorithm and Tabu Local Search) with Back-Propagation Classifier for Fish Recognition[J]. International Review on Computers & Software, 2013, 8(6): 1287-1293. |
| [7] | Chathurika K, Jayasinghe P. A Revised Averaging Algorithm for an Effective Feature Extraction in Component-Based Image Retrieval System[C]//Advance Computing Conference, 2015: 1153-1157 https://ieeexplore.ieee.org/document/7154884/ |
| [8] | Kobayashi K, Chen Q. Image Retrieval Using Features in Spatial and Frequency Domains Based on Block-Division[C]//International Conference on Computational Science and Computational Intelligence, 2016: 448-453 https://ieeexplore.ieee.org/document/7424134/ |
| [9] | Dubey S R, Singh S K, Singh R K. Local Diagonal Extrema Pattern:A New and Efficient Feature Descriptor for CT Image Retrieval[J]. IEEE Signal Processing Letters, 2015, 22(9): 1215-1219. DOI:10.1109/LSP.2015.2392623 |
| [10] |
顾晓东, 杨诚. 新的颜色相似度衡量方法在图像检索中的应用[J]. 仪器仪表学报, 2014, 35(10): 2286-2292.
Gu Xiaodong, Yang Cheng. Application of New Color Similarity Measurement Method in Image Retrieval[J]. Chinese Journal of Scientific Instrument, 2014, 35(10): 2286-2292. (in Chinese) |
