2. 中国科学院 遥感科学国家重点实验室, 北京 100101
图像配准是将不同时间、不同传感器或不同视角下对同一区域的2幅或多幅图像进行几何匹配的过程。实际应用中，为了得到精确的配准结果，一般采用基于特征点的方法进行配准。但是，由于多时相遥感图像中场景通常发生变化，因此研究对位置扰动和异常值稳健的特征点匹配方法，给出图像稳健配准的新方法，在该领域备受关注[1]。
图匹配方法[2, 3]既能描述特征点集结构，也能描述特征点描述子[4]之间的相似性，为研究图像稳健配准方法提供了适宜的数学平台。传统图匹配方法一般利用矩阵分解进行求解，如核主成分分析(kernel principal component analysis,KPCA)匹配方法[3]，但一方面，通过谱分解产生的基矩阵不能反映相似度矩阵的非负性，增加了KPCA的降维维数；另一方面，当2个特征点集存在异常值和位置扰动时，匹配效果较差。文献[5]引入了非负矩阵分解(non-negative matrix factorization,NMF)，现已广泛应用于机器学习和模式识别[6]，但在图像特征点匹配上的应用较少。传统图匹配方法对异常值和位置扰动不稳健的原因是其仅考虑了对应边的相似度，忽视了对应顶点的相似度。虽然二阶图匹配模型[7, 8]在建立高阶亲和矩阵时可以融合顶点的相似度，但高阶亲和矩阵所需的存储量较大，限制了其在遥感图像配准中的应用。Torki等提出了一种子空间学习(subspace learning,SL)匹配方法[9]，其得到的子空间坐标融合了特征描述子之间的相似度和特征点空间排列信息，且不需要存储高阶亲和矩阵。但与KPCA相似，谱分解得到的子空间坐标维数较高。
综上，针对局部场景发生变化的多时相遥感图像配准问题，本文在SL匹配方法和图匹配的框架下提出非负子空间匹配方法(non-negative subspace matching,NS)，充分考虑了点集的结构特征和点集间的相似度，提高了图匹配方法和SL匹配方法对位置扰动和异常值的稳健性。模拟点集的实验对比以及在唐家山堰塞湖遥感图像变化检测的应用验证了所提方法的有效性和可行性。
1 遥感图像配准的非负子空间匹配方法利用特征点提取方法在参考图像和输入图像中分别提取特征点,并构造特征描述子。设参考点集和输入点集分别记作X=(x1,x2,…,xn)和Y=(y1,y2,…,ym),特征点的描述子分别记作F=(f1,f2,…,fn)和G=(g1,g2,…,gm),其中xi,yj∈R2表示点的空间位置,fi,gj∈RD表示特征点的描述子向量,n和m分别表示参考点集和输入点集中特征点的个数。
1.1 非负子空间匹配模型子空间学习匹配方法是将2组特征点映射到同一子空间,使得不同点集间相似度较高的特征点在该空间内距离较近,同时保持2个点集各自的空间结构,其目标函数为
图匹配方法[3]可以表示为如下相似度矩阵的分解问题
令Dr=diag($\sum\limits_{j=1}^{m}{{}}$Sij,i=1,2,…,n)和Dc=diag(∑ni=1Sij,j=1,2,…,m)，采用梯度下降法求解(3)式中的目标函数。它关于Z1的偏导数为
得到非负子空间坐标Z1和Z2后,使用SVD方法得到匹配关系。Z1和Z2既反映了点集的结构,也反映了点集描述子之间的相似性,同时减少了降维的维数。由点集X和Y的匹配关系,即可求得2个点集的变换函数,实现图像配准。
1.2 迭代公式的收敛性分析定理1 目标函数(3)式在迭代公式(4)和(5)下是单调不增的。
证明 首先将(3)式中与Z1有关的量改写为条件最优化问题
同理可证目标函数(3)式在迭代公式(5)下的收敛性。
2 实验结果与分析实验首先通过模拟点集测试方法对位置扰动和异常值的稳健性,与SL方法[9]、再加权随机游走方法(reweighted random walks,RRWM)[7]、谱匹配(spectral matching,SM)[8]、KPCA[3]和SVD方法[2]进行了对比。然后将方法应用于多时相遥感图像的配准与变化检测。实验中,迭代次数为500次,参数α=1。
2.1 模拟实验为验证本文方法对位置扰动的稳健性,在平面上生成服从正态分布N(0,1)的的20个点作为参考点集X,并加入服从正态分布N(0,σ2)的位置扰动向量作为输入点集Y,方差σ2∈[0,0.25]控制了扰动程度。图 1中比较了不同方法在不同程度位置扰动下的匹配准确率和召回率。NS和SL方法中点集间相似度矩阵是由SVD方法得到的软分配矩阵[9],降维维数d=2。
|
| 图 1 存在位置扰动时匹配准确率和召回率对比 |
为验证方法对异常值的稳健性,分别在参考点集X和输入点集Y中加入0～20个异常值。图 2比较了不同方法在不同异常值数目下的匹配准确率和召回率。
|
| 图 2 存在异常值时匹配准确率和召回率对比 |
本节使用2008年5月12日汶川地震前后唐家山堰塞湖张坪村段ALOS AVINER-2图像进行匹配和配准实验，并与KPCA[3]、SL[9]和SVD方法[2]进行比较，其中SL、NS和KPCA方法的降维维数设定为d=3。首先使用 SIFT来提取图像的特征点并利用描述子之间的距离进行粗匹配；以粗匹配后的点集作为参考点集和输入点集，然后分别用4种方法对特征点进行精匹配；最后使用最小二乘方法剔除匹配中的误匹配，使剩余的匹配对满足亚像素精度，实现稳健配准。为评价匹配和配准结果，首先用人工标定方法确定2幅图像之间的真实变换，将参考点集和输入点集中变换误差小于阈值3的点对作为真实对应，匹配结果中变换误差小于阈值3的匹配对作为准确匹配对，由此计算匹配正确率和召回率。同时，利用误匹配剔除后剩余的匹配对数和均方根误差(root mean square error,RMSE)作为评价标准。
图 3a)为2007年5月31日获得的震前参考图像，图 3b)为2008年5月16日获得的震后输入图像。它们的大小分别为540×823和511×888，分辨率为10 m。表 1给出了4种方法的对比。从表 1中可以看出，本文方法在准确率、召回率、满足亚像素精度的匹配对数以及配准精度上普遍优于其他3种方法。
|
| 图 3 唐家山堰塞湖ALOS AVINER-2图像匹配和配准结果 |
| 方法 | 准确率 | 召回率 | 匹配对数 | RMSE |
| NS | 0.759 4 | 0.980 6 | 75 | 0.987 0 |
| SL | 0.470 1 | 0.534 0 | 42 | 0.989 8 |
| KPCA | 0.561 8 | 0.116 5 | 4 | 0.561 8 |
| SVD | 0.592 2 | 0.592 2 | 45 | 0.998 2 |
震前震后图像配准的一个重要目的是对堰塞湖进行变化检测,对其水位上涨进行估计和分析,从而预防下游水灾。图 4给出了震前震后的河流变化图,图中的颜色较深部分为未发生变化的区域,颜色较浅部分为地震后河流增加的区域。通过对比堰塞湖区域的增长,水面宽度由震前的约160 m增加到震后的570 m。
|
| 图 4 河流变化图 |
本文针对局部场景发生变化的遥感图像配准中特征点匹配提出了非负子空间匹配方法。该方法既考虑了特征点集的位置,也考虑了特征点集的描述子,减弱了异常值和位置扰动的影响,增强了图匹配方法对异常值和位置扰动的稳健性,对结构相同或结构存在差异的图像都能取得较好的匹配结果。最后,模拟点集和唐家山堰塞湖图像配准的实验结果验证了本文方法的有效性和可行性。
| [1] | Zhao M, An B, Wu Y, et al. A Robust Delaunay Triangulation Matching for Multispectral/Multidate Remote Sensing Image Registration[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(4):711-715 |
| Click to display the text | |
| [2] | Scott G L, Longuet-Higgins H C. An Algorithm for Associating the Features of Two Images[C]//Proceedings of the Royal Society of London B:Biological Sciences, 1991, 244(1309):21-26 |
| Click to display the text | |
| [3] | Wang H, Hancock E R. A Kernel View of Spectral Point Pattern Matching[C]//Proceedings of Structural, Syntactic, and Statistical Pattern Recognition, 2004:361-369 |
| Click to display the text | |
| [4] | Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004,60(2):91-110 |
| Click to display the text | |
| [5] | Lee D D, Seung H S. Algorithms for Non-Negative Matrix Factorization[C]//Advances in Neural Information Processing Systems, 2001:556-562 |
| Click to display the text | |
| [6] | Yang Z, Oja E. Linear and Nonlinear Projective Nonnegative Matrix Factorization[J]. IEEE Trans on Neural Networks, 2010,21(5):734-749 |
| Click to display the text | |
| [7] | Cho M, Lee J, Lee K M. Reweighted Random Walks for Graph Matching[C]//Proceedings of 11th European Conference on Computer Vision, 2010:492-505 |
| Click to display the text | |
| [8] | Leordeanu M, Hebert M. A Spectral Technique for Correspondence Problems Using Pairwise Constraints[C]//Proceedings of 10th IEEE International Conference on Computer Vision, 2005, 2:1482-1489 |
| Click to display the text | |
| [9] | Torki M, Elgammal A. One-Shot Multi-Set Non-Rigid Feature-Spatial Matching[C]//2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2010, 3058-3065 |
| Click to display the text |
2. The State Key Laboratory of Remote Sensing Science, Chinese Academy of Sciences, Beijing 100101, China
