2. 航空工业西安飞行自动控制研究所, 陕西 西安 710065
景象匹配导航(scene matching navigation, SMN)[1-3]通过视觉传感器获取飞行过程实拍图像与存贮的地标点图像进行匹配，从而获取飞行器位置数据。具有体积小、成本低、自主性好等优点，并能够有效矫正飞行器惯性导航(inertial navigation system, INS)[4-5]漂移带来的位置误差。地标点是指具有明显地物特征，且特征唯一性和稳定性好的区域，地标点的选取和分析是SMN的关键技术。
文献[6-9]定义了选取地标点过程中需要遵循的特征指标，并主要对地标点的自动选取方法、地标点在不同模糊大小下的匹配性能以及景象匹配量测误差模型进行了分析。这些方法均面向陆地SMN进行研究，地标点的数量较多，特征较为丰富。对海域来说，地标点主要为经过筛选后的自然岛屿，数量较少且无明显的图像特征，因此上述地标点选取方法不完全适用。同时由于海域地标点较少且分布不均匀，飞行器在飞行过程中极易在很长一段时间内无法观察到地标点，因此，在制备好地标点后对地标点在全局飞行范围内的可用性进行分析，对INS长航时、高精度导航具有重要意义。
针对上述问题，本文根据海域自然岛屿分布情况及特征信息定义了三类地标点，给出了三类海域地标点对应的景象匹配算法及策略，完成了海域地标点在噪声影响和不同飞行高度下多模式匹配算法性能分析。提出了一种基于概率模型的海域地标点可用性评估算法，该算法通过海域地标点数据库得到海域飞行区内每个位置与所有地标点之间的相对关系，并根据飞行器的飞行高度、飞行速度、相机的视场角以及INS漂移误差确定每个地标点的可见范围，结合不同类型地标点在不同飞行高度下的匹配概率计算得到每个位置在一定飞行条件下可观测到地标点的概率。最终给出海域地标点可用性的概率云图，为飞行区域航迹规划提供依据。
1 海域地标点定义及匹配算法 1.1 三类海域地标点定义针对海域飞行区中大部分区域为海洋、自然岛屿较少、且无明显特征，可用作地标点的自然岛屿分布不均匀，且颜色、纹理等图像特征较接近的情况，本文对海域自然岛屿进行3种地标点类型划分：
1) 一类地标点(孤岛型)：在视场范围内地标岛屿成像像素占比3%以下且边缘完整且无临近岛屿，地标点仅存储中心点地理信息；
2) 二类地标点(大岛屿型)：在视场范围内成像地标岛屿成像像素占比3%以上且形状清晰可见，地标点存储为图像灰度信息及图像中心地理信息；
3) 三类地标点(多岛屿型)：在视场范围内有2个以上岛屿，地标点存储为基准岛屿与其余任意2个岛屿中心位置构成的三角形“边-边-边”信息与3个岛屿的三角形几何中心的地理信息。
本文在卫星图中高度为5 000 m时截取以上三类地标点图像并对中心进行其地理位置信息标注，完成地标点数据库的制备，如图 1所示。
|
| 图 1 三类典型海域地标点 |
针对不同类型的海域地标点使用不同的匹配方法，本文提出海域地标点的多模式匹配策略如下：
1) 针对一类地标点，由于一类地标点为孤岛型岛屿组成，可视范围内无邻近岛屿，保证了地标的唯一性，无需匹配，可直接通过基于OSTU的快速图像阈值分割方法[10]完成岛屿检测，使用基于灰度梯度的图像质心提取方法[11]得到岛屿质心，并获取岛屿质心处的地理位置信息；
2) 针对二类地标点，利用其灰度信息，采用变步长归一化互相关(NCC)模板匹配算法[12]得到地标点和实时图匹配位置，并获得实时图上该匹配位置的地理位置信息；
3) 针对三类地标点，引入岛屿之间的相对位置关系，采用步骤1)中的方法完成实时图中岛屿的检测与质心提取，将任意3个岛屿质心连接组成“边-边-边”信息与地标点数据库中的“边-边-边”信息进行三角形匹配[13-14]，得到地标点和实时图匹配位置，并获得实时图上匹配得到三角形中心的地理位置信息。
三类地标点的匹配策略示意图如图 2所示。
|
| 图 2 三类海域地标点匹配策略 |
地标点可用性评估模型如图 3所示，当飞行器在海域飞行区内以某一位置(xi, yj)为初始飞行点, 地标点数据库预先制备好包含海域飞行区所有地标点的位置和大小, 由于飞行器在寻找地标点的飞行过程中通常为匀速直线运动, 因此可假设飞行器在飞行高度为H的水平投影面上做匀速直线运动, 飞行速度为V, 要求在飞行时间T之内观测到地标点, 因此定义在该位置下飞行器在飞行时间T之内可以看到地标点的概率为P(xi, yj)。对于整个海域地图来说, 飞行器在每个位置可以看到地标概率都可以用P(xi, yi), i=1, 2, …, u, j=1, 2, …, v来描述, 则海域飞行区内Puv(i, j)=P(xi, yj), i=1, 2, …, u, j=1, 2, …, v构成概率云图模型, 为海域地标点可用性提供依据。
|
| 图 3 地标点可用性评估算法框架 |
飞行器相机视场范围如图 4a)所示, 其中飞行高度为H, 假设相机视场为正方形, 则视场角为αFOV=αFOVx=αFOVy, 正方形视场范围的边长R为
|
(1) |
|
| 图 4 相机视场范围及参数示意图 |
假设飞行高度H≥5 000 m, 相机分辨率为Rp pixel×Rp pixel, 地标点数据库中地标点为正方形, 像素为rp pixel×rp pixel且在H=5 000 m时制备, 地物分辨率为p=(2·5 000·tan(αFOV/2))/Rp, 如图 4b)所示。
则地标点地理大小为r×r, 其中
|
(2) |
地标点与实时图的匹配概率为Prl, l=1, 2, 3为地标点的类别。当飞机在不同的高度飞行时, 对应的地物分辨率P不同, 如(3)式所示
|
(3) |
由于地标点图像在H=5 000 m时制备, 当飞行高度H高于5 000 m时, 如(3)式所示, 实时图的地物分辨率P降低, 则需要对地标点进行缩放处理, 使其地物分辨率与实时图一致, 再与实时图进行匹配, 如(1)式所示, 实时图地理大小R×R仅与飞行高度H和视场角αFOV有关, 地标点地理大小r×r始终不变如(2)式所示。由于对地标点图像的缩放导致其地物分辨率降低, 在飞行高度H高于5 000 m时地标点与实时图的匹配概率小于高度为5 000 m时的匹配概率。
地标点可见范围如图 5所示, 地标点可见范围的半径为D。其中大小为r×r的正方形为地标点地理范围, 三角形为其中心位置。红色正方形为飞行器视场范围, 红色圆点为其中心位置, 视场大小R×R。蓝色圆点为INS指示位置, δt为INS的漂移误差大小, 与INS每小时误差漂移大小δ和飞行器飞到该地标点附近所需时间t有关
|
(4) |
|
| 图 5 地标点可视范围 |
则地标点可见范围的半径D计算如(5)式所示
|
(5) |
由2.2节可知对于某一地标点Lk来说其观测范围的半径为Dk, 则空间中某一位置与地标点可见区域的相对关系如图 6所示。
|
| 图 6 地标点可见范围相对关系 |
其中红色圆点(xi, yj)为飞行器的某一初始位置, 绿色三角形为地标点Lk的中心位置, 绿色圆形为地标点Lk的可见范围, V为飞行速度, T为最远飞行时间, S=V·T为该时间内最远飞行距离, 其范围用红色圆形表示, θk为地标点Lk的可观测角度范围。当飞机航向角落入θk范围内时则认为可以在T时间内经过地标点Lk, 则经过地标Lk的概率为
|
(6) |
式中：θk为飞行器在T时间飞入地标Lk可观测范围区间的角度范围；Prkl为地标点Lk的匹配概率。
θk与空间点(xi, yj)到地标Lk之间的欧式距离dk、飞行器在T时间内的飞行极限距离S、以及每个地标点Lk的可观测范围半径Dk有关, 如(7)式所示
|
(7) |
其中, 由于多个地标点可观测角度范围θk可能会有所重叠, 如图 6中Ⅱ区域θ3和θ4重叠范围为θ34, 则考虑地标点之间的相关性, 空间点(xi, yj)经过任一可观测地标点的概率为
|
(8) |
其中λn为飞行器在T时间内落入各地标观测范围的N个角度区间(φn, n=1, 2, …N, N≥K)的似然度。当角度区间为单集合时(φn∈θk), 如图 6中Ⅰ区域所示, 似然度为
|
(9) |
当角度区间为多集合交集时(φn∈θ1, θ2, …, θm), 如图 6中Ⅱ区域所示, 似然度为
|
(10) |
式中，m为角度区间φn包含可视地标点的数量。
根据(8)~(10)式, 遍历海域空间中每个位置, 计算其在T时间内可观测地标点的概率, 最终制备为概率云图Puvz
|
(11) |
式中
|
(12) |
实验图像采用ArcGIS卫星图, 截取海域(北纬2°~22°, 东经108°~118°)高度H为5 000 m区域制备地标点, 图像分辨率为19.11 m/pixel, 图像大小为750 pixel×750 pixel, 其中一类地标点12个, 二类地标点143个, 三类地标点77个, 其中部分典型地标点如图 1所示。实时图的图像大小为1 000 pixel×1 000 pixel, 相机视场角αFOV=96°。设定飞行器飞行高度H为5 000, 7 500, 10 000 m。
3.1 海域地标点多模式匹配概率使用设计好的地标点数据库, 设置图像噪声均值为0, 标准差为0.1的高斯噪声, 地标点在实时图上的真实位置与匹配得到的位置之差为匹配误差[6], 设匹配误差阈值Tabs=2 pixel, 则匹配误差小于该阈值认为匹配成功, 匹配概率Prl(l=1, 2, 3)为匹配成功数占匹配总数的比例。分别对三类地标点使用1.2节所提出不同的匹配算法在3种不同高度下对其进行匹配概率的计算。结果如表 1所示。
| 高度H/m | 匹配概率 | ||
| Pr1 | Pr2 | Pr3 | |
| 5 000 | 1 | 0.88 | 0.93 |
| 7 500 | 0.99 | 0.85 | 0.89 |
| 10 000 | 0.96 | 0.81 | 0.83 |
由于1.1节中的定义可知一类地标点具有唯一性, 仅需通过地标点质心提取即完成地标点与实时图的匹配, 故一类地标点的匹配误差为质心提取的误差, 相比于二类和三类地标点匹配误差较低, 对应的匹配概率更高; 二类地标点使用图像灰度信息进行模板匹配, 受噪声影响较大, 三类地标点使用图像中三个岛的“边-边-边”信息进行三角形匹配, 受噪声的影响较小, 因此三类地标点匹配精度比二类地标点较高, 对应的匹配概率更高; 由于所有地标点均在飞行高度H为5 000 m下制备, 当飞行高度H为7 500, 10 000 m时, 需要将地标点缩放至与其对应的尺度, 再与实时图匹配, 会引入额外的缩放误差, 因此匹配概率比高度5 000 m时更低。
3.2 地标点可用性评估令飞行器在海域北纬2°~22°, 东经108°~118°范围内, 取3种不同飞行高度, V=200 m/s, T=3 h, δ=200 m/h, αFOV=96°。地标点数据库中各类型地标点的位置如图 7所示。
|
| 图 7 地标点位置分布 |
根据3.1节得到的不同类型地标点在不同高度下对应的匹配概率, 在经纬度方向均每隔1 000 m计算一次地标点可观测概率, 最终得到3种不同类型以及所有地标点可观测概率云图Puv1, Puv2, Puv3, PuvAll如图 8~10所示。
|
| 图 8 H=5 000 m时不同类型地标点可观测概率云图 |
|
| 图 9 H=7 500 m时不同类型地标点可观测概率云图 |
|
| 图 10 H=10 000 m时不同类型地标点可观测概率云图 |
其中红色区域范围表示地标点可观测概率越高, 最大为1, 表明地标点的可用性越好, 蓝色区域的范围表示地标点可观测概率越低, 最小为0, 表明地标点的可用性越差。由图 8~10红色区域占比的大小可以看出, 在不同高度下二类地标点的可用性优于一类和三类地标点, 这是由3种类型地标点数量的比例以及分布情况不同所造成的, 但是分别对于3种类型的地标点来说, 地标点较为密集的区域可用性越高, 地标点较为稀疏的区域可用性较低。但由图 8~10中的d)图与图 8~10中的b)图对比, 可看出不同高度条件下, 尽管二类地标点所占比例最多, 加入一类和三类后的所有地标点的可用性远远优于单独的二类地标点可用性, 说明对单一类型的地标点来说加入其他类型的地标点可提升地标点整体的可用性。由图 8~10中d)图对比可知, 随着飞行高度的增加, 地标点的匹配概率虽然有所降低, 但是视场范围变大, 地标点可视范围扩大, 因此在全局范围内地标可用性逐渐提高。
4 结论为了解决飞行器在海域景象匹配导航中可遇到的地标点较少且分布不均匀的问题，本文提出了一种基于概率模型的海域地标点可用性评估算法。本文根据海域地标点的特征信息和分布情况对其进行了3种类型的定义，给出了3种类型地标点对应的匹配算法，并据此制备了包含这三类地标点地理位置信息的数据库。同时根据地标点数据库，飞行器飞行位置、飞行高度、飞行速度、相机的视场角以及INS漂移误差确定每个地标点的可见范围，并结合不同类型地标点在不同飞行高度下的匹配概率，计算得到每个位置的地标点可观测概率，最终给出3种飞行高度下海域地标点可用性的概率云图。仿真结果表明地标点较为密集的区域可用性越高，稀疏的区域可用性较低；加入不同类型的地标点相对于单一类型的地标的来说可用性更高；飞行高度越高，地标点的可用性越高。该算法能够为航路规划提供依据，并辅助INS进行长航时，高精度的导航。
| [1] |
赵春晖, 周昳慧, 林钊, 等. 无人机景象匹配视觉导航技术综述[J]. 中国科学: 信息科学, 2019, 49(5): 507-519.
ZHAO Chunhui, ZHOU Yihui, LIN Zhao, et al. Review of scene matching visual navigation for unmanned aerial vehicles[J]. Scientia Sinica Informationis, 2019, 49(5): 507-519. (in Chinese) |
| [2] |
贾万波, 王宏力, 杨建飞. 景象匹配辅助导航在弹道导弹末制导中的应用[J]. 战术导弹技术, 2009, 92(5): 62-65.
JIA Wanbo, WANG Hongli, YANG Jianfei. Application of scene matching aided navigation in terminal guidance of ballistic missile[J]. Journal of Tactical Missile Technology, 2009, 92(5): 62-65. (in Chinese) DOI:10.3969/j.issn.1009-1300.2009.05.015 |
| [3] | DUAN X J, ZHANG S D, PENG L J. Uncertainty quantification towards filtering optimization in scene matching aided navigation systems[J]. International Journal for Uncertainty Quantifications, 2016, 6(2): 127-140. DOI:10.1615/Int.J.UncertaintyQuantification.2016016561 |
| [4] | BARBOUR N, SCHMIDT G. Inertial sensor technology trends[J]. IEEE Sensors Journal, 2001, 1(4): 332-339. DOI:10.1109/7361.983473 |
| [5] |
董进武. 惯性导航技术浅析[J]. 仪表技术, 2017(1): 41-43.
DONG Jinwu. Analysis on inertial navigation technology[J]. Journal of Instrumentation Technology, 2017(1): 41-43. (in Chinese) |
| [6] |
沈林成, 卜彦龙, 徐昕, 等. 景象匹配辅助组合导航中景象区域适配性研究进展[J]. 航空学报, 2010, 31(3): 553-563.
SHEN Lincheng, BU Yanlong, XU Xin, et al. Research on matching-area suitability for scene matching aided navigation[J]. Journal of Aeronautics, 2010, 31(3): 553-563. (in Chinese) |
| [7] |
公续平, 程咏梅, 宋琳, 等. 景象匹配导航中的航路点自动提取算法[J]. 计算机仿真, 2014, 31(8): 60-63.
GONG Xuping, CHENG Yongmei, SONG Lin, et al. Automatic extraction algorithm of landmarks for scene-matching-based navigation[J]. Journal of Computer Simulation, 2014, 31(8): 60-63. (in Chinese) DOI:10.3969/j.issn.1006-9348.2014.08.014 |
| [8] | LIU X C, WANG H, DAN F, et al. An area-based position and attitude estimation for unmanned aerial vehicle navigation[J]. Science China Technological Sciences, 2015, 58(5): 916-926. DOI:10.1007/s11431-015-5818-z |
| [9] | ANDREA M, ANTONIO V. Improved feature matching for mobile devices with IMU[J]. Sensors, 2016, 16(8): 1243. DOI:10.3390/s16081243 |
| [10] |
徐建东. 基于最小二乘法拟合的Otsu快速图像分割方法[J]. 常州大学学报, 2021, 33(1): 70-76.
XU Jiandong. A fast Ostu image segmentation method based on least square fitting[J]. Journal of Changzhou University, 2021, 33(1): 70-76. (in Chinese) |
| [11] | HE Y, WANG H, FENG L, et al. Centroid extraction algorithm based on grey-gradient for autonomous star sensor[J]. International Journal for Light and Electron Optics, 2019, 194: 162932. DOI:10.1016/j.ijleo.2019.162932 |
| [12] | CUI Z J, QI W F, LIU Y X. A fast image template matching algorithm based on normalized cross correlation[C]//2020 Conference on Computer Information Science and Artificial Intelligence, 2020 |
| [13] |
张磊, 周宇, 林荣峰, 等. 一种快速三角形星图识别算法[J]. 应用光学, 2018, 39(1): 71-75.
ZHANG Lei, ZHOU Yu, LIN Rongfeng, et al. Fast triangle star pattern recognition algorithm[J]. Journal of Applied Optics, 2018, 39(1): 71-75. (in Chinese) |
| [14] |
郭磊, 李保权, 曹阳, 等. 基于三角形匹配的星图识别算法及优化[J]. 电子设计工程, 2018, 26(5): 137-140.
GUO Lei, LI Baoquan, CAO Yang, et al. Star map recognition algorithm based on triangle matching and optimization[J]. Electronic Design Engineering, 2018, 26(5): 137-140. (in Chinese) |
2. AVIC Xi'an Flight Automatic Control Research Institute, Xi'an 710065, China
