尺度变化下飞机着降区自适应分割算法
马旭1,2, 程咏梅1, 郝帅2    
1. 西北工业大学自动化学院, 陕西西安 710072;
2. 西安科技大学 电气与控制学院, 陕西 西安 710054
摘要: 无人机利用视觉在未知区域寻找着降区时,获取的航拍图像易受光照影响并存在尺度变化,对航拍图像进行分割的主要目的是找出满足无人机着降区域大小且地物类型(如土地、湖泊等)相同的区域,所以要求其分割算法既要有聚类的能力,又具有将不同类的地物进行有效分割的能力。针对上述航拍图像的特点和分割任务需求,提出了一种尺度变化下飞机着降区自适应分割算法。首先根据无人机当前的高度信息和对着降区几何大小的要求,计算当前时刻图像的地面分辨率及满足无人机着陆时所需的最小像素数;然后提出一种自适应mean shift分割算法对航拍图像进行粗分割,其中核函数的带宽参数根据计算出的最小像素数结合最大类间方差法的阈值进行选取;接着对粗分割的图像利用Canny算子进行边缘提取实现图像的精细分割,得到最终分割结果;最后利用Google Earth在不同场景和尺度下的图像进行分割实验,实验结果表明该算法可以满足分割的任务需求实现准确分割,并对光照和尺度变化较为鲁棒。
关键词: 航拍图像     未知区域     多特征融合     图像分割    

当无人机在执行营救、搜索等特殊任务时,面临着降区地形复杂且无地面辅助导航设备引导的紧急着降问题。视觉相对导航由于具有无源、自主、信息量大以及导航精度高等优点,为无人机在未知区域着降提供一种有效辅助手段。未知着降区的航拍图像由于具有多尺度、地物类型多样等特点,使得利用单一图像特征(如边缘特征、区域特征、纹理特征等)的分割方法难以对其进行准确分割[1]。因此,本文针对航拍图像特点,结合寻找着降区的任务需求,提出了一种尺度变化下飞机着降区自适应分割算法。

Mejia[2]以及Lu等[3]都是采用Canny算子对未知着降区图像进行边缘提取进而分割出着降区。由于无人机着降过程中距离地面由远及近,拍摄图像存在尺度变化,Canny算法在实际检测图像的边缘时,如果Gauss滤波器参数与阈值的大小仅依赖于人工经验,分割结果将不稳定。文献[4]中采用mean shift分割算法相比于聚类法和区域生长法不需要待分割区域图像先验信息(如聚类数目),并具有形式简单、抗噪性强及稳定性好等优点。但是同样受到图像尺度的影响,mean shift分割算法存在核函数带宽自适应选取问题,影响分割效果。文献[5]采用Canny算子提取的边缘特征与mean shift分割方法进行融合,并实验证明了融合分割方法可以实现单一分割方法之间的优势互补。但他们的研究是在某一固定尺度下进行的,同时Sumengen等[6]指出目前的多尺度分割方法大都是将图像在各个尺度下分割,然后再对各尺度的分割结果进行融合。虽然该方法比单一尺度的分割结果精度高,但是各个尺度的选取缺乏一定的理论依据。

目前各种图像分割算法并不存在一种通用的算法能解决各种图像分割问题,各类算法往往都是针对各自所研究的具体问题所设计的。考虑到本文所研究的未知着降区域分割问题,算法应该具有以下3个特点:①考虑到未知环境的复杂性(如光照变化),要求所设计的分割算法应具有一定的鲁棒性;②由于无人机降落过程中存在尺度变化,所以要求分割所设计的算法具有尺度自适应性;③面向无人机安全着降任务需求,要求分割算法能准确分割出航拍图中满足无人机着降的区域,避免图像的过分割和欠分割。

为此,针对上述问题,本文提出一种尺度变化下飞机着降区自适应分割算法。首先根据无人机当前的高度信息及无人机着降区大小的要求,计算当前时刻图像的地面分辨率,推算出满足无人机着陆时所需的最小像素数;然后利用mean shift分割算法对图像进行粗分割,其中核函数的带宽根据上一步所计算的最小像素数结合最大类间方差法的阈值进行选取;接着对粗分割的图像利用Canny算子进行边缘提取实现图像的精细分割。最后利用Google Earth在不同场景及不同尺度下抠取图像进行分割实验,验证本文算法的有效性和分割精度。

1 基于mean shift的着降区自适应粗分割

mean shift图像分割算法对图像中每一个像素点xi(i=1,2,…,n),其特征向量为该像素点的色度和空间位置坐标,利用mean shift算法进行图像分割就是将图像中色度相似或是空间距离相近的像素聚类为同一区域的过程,mean shift算子Mh(x)可表示为

式中:G(□)表示单位核函数,w(x)表示权重函数,n表示窗口内的像素个数,x表示初始位置,h为核函数的带宽参数。(1)式中h的选择直接影响着图像的分割效果,当h越小,图像分割精细程度越高,计算耗时越长,保留的信息也越多,即过分割现象;h越大,图像分割精细程度越低,计算耗时短,保留的信息也就少,即欠分割现象。尺度的选取在一定程度上反映了带宽的选择,传统算法大都是在某一固定尺度下进行的,随着无人机高度的不同,尺度也在变化,在图像上对应的满足着陆要求的着降区像素个数也不同。下面给出高度辅助下mean shift自适应分割策略。

假设旋翼无人机着降时所需的最小区域为边长为r的正方形区域,在无人机距离地面高度为H、相机焦距为f、图像分辨率为m×n、相机水平视场角为α以及垂直视场角为β等条件下,根据小孔成像原理可计算出地面水平方向分辨率rh和垂直方向分辨率rv分别为

则此时无人机着降时所需最小区域对应的图像像素大小ur×vr分别为 当(1)式所示mean shift核函数带宽h<min(ur,vr)时,易造成图像过分割,导致着降区的漏选;当h>max(ur,vr)时,易造成图像欠分割。考虑到图像分割的误差并为保证无人机着陆的安全性,选取的核函数带宽为 式中:「·⌉表示向上取整数,g为图像的类间方差阈值。引入g是为了抑制图像对比度与亮度变化对h的影响,采用最大类间方差法确定最优g。 代入公式(6) zi表示分割后的图像,Li表示第i个像素在分割后图像中的标号,基于mean shift的着降区自适应粗分割流程如下:

1) 根据(7)式确定核函数的最优带宽参数h;

2) 分别以图像中每一个像素点xi为起始点,进行mean shift迭代,将收敛位置yi,c存于相应的zi中,即zi=yi,c

3) 如果像素与收敛位置zi之间的距离小于带宽参数h,将这些像素根据收敛位置zi在色度-空间域聚为m类,表示为{Cp}p=1,2,…,m

4) 对每一个像素,令Li={p|ziCp},i=1,2,…,n;

5) 将像素数目小于M个的分割区域与其邻近的相似区域合并。

由于mean shift算法本身具有一定的滤波作用,容易导致“异质”区域间的边缘模糊,只能对航拍图像进行“粗”分割,还需进一步对着降区进行“细”分割,最终确定候选适降区。

2 基于自适应Canny边缘检测的着降区域细分割

在上一节航拍图像“粗”分割图像的基础上,采用自适应Canny边缘检测算法实现着降区域的“细”分割。

Canny边缘检测算法[7]的性能主要由图像平滑过程中使用的滤波器以及双阈值化处理步骤中的高、低阈值来决定。对于滤波器来说,本文算法是通过粗分割中具有带宽自适应的的mean shift算法来实现。针对双阈值的选取,将最大类间方差作为高阈值,而低阈值设置为高阈值的一半,从而实现边缘提取时的自适应性。

3 实验结果及分析

通过Google Earth软件截取西安市庆镇村的图像来验证所提算法的有效性,经过计算,利用Google Earth截图软件截取的图像其相机图像分辨率为720×486,相机的水平视场角为 ,垂直视场角为 ,当高度在1 000 m时,根据公式(2)和(3)可以分别求出地面水平方向的分辨率为0.94 m和垂直方向上的分辨率为0.93 m。小型无人机所需的最小着陆区域为15 m×60 m,最小着陆区所对应的像素区域为16×64。采用文献[2]中Canny算子分割方法(标记为M1)和文献[6]中多尺度mean shift和边缘检测融合分割方法(标记为M2)作为对比算法,将本文算法标记为M3,实验平台为Matlab 2011。

1)相机距离地面1 km时的分割实验

当相机距离地面1 000 m时,利用Google Earth截取的庆镇村图像如图 1所示。其中图中标注的A、B区域为可以着降的区域,本文通过各算法对这2个区域的分割结果进行比较和说明。

图 1 距离庆镇村地面1 km时的图像

图 1可以看出,截取的图像中含有房屋、草地、湖泊以及土地等丰富地物。用M1方法进行分割得到的结果如图 2所示。

图 2 M1算法分割结果

图 2中可以看出M1算法具有较强的细节识别能力,对不同地物间的边缘有较强的区分能力。但是由于该算法无聚类能力,所以当同一地物图像中存在特征变化时(如颜色特征),该算法也会将其分割,从而造成过分割现象,对比图 1中的AB区域可以看出M1算法在这两个区域都有较明显的过分割,这显然不利于着降区的提取。M2算法的分割结果如图 3所示。

图 3 M2最终分割结果

图 3可以看出利用mean shift算法可以将同一类型的地物进行聚类,但是可以发现聚类后图像的边缘比较模糊。从图中可以看出相比于M1算法,M2算法由于具有聚类的能力,在一定程度上解决了过分割的问题。但是由于尺度选取关系,分割结果中仍然有不少过分割的区域,如图中A和B区域所示,同样为后续的着降区精确搜索带来一定困难。

本文算法的分割结果分别如图 4图 5所示,其中图 4为mean shift粗分割的结果,图 5为分割的最终结果。

图 4 mean shift粗分割

图 5 M3算法最终分割结果

图 4可以看出,相比于M2算法中的mean shift分割,由于M3方法是在自适应尺度下进行的聚类,具有更优的聚类效果和不同地物间的区分能力。从图 5中可以看出,M3方法相比于前2种算法具有更好的分割效果,不仅可以将不同的地物进行有效分割,而且可以将同一类型的地物进行聚类,为后续的着降区精确搜索提供基础。

2)分割算法精度评价

为了客观评价算法的分割性能,本文选用查全率(φprecision)和查准率(φrecall)进行评价,定义如下:

式中:Ok表示第k幅分割出的标准着降区域,该区域都是由手动选取,Sk(x)表示利用算法分割出的结果,∏(·)表示连乘符号。利用上述2项指标在相机距离地面分别为1 km时,选取20幅图像进行实验。各算法性能对比结果分别如图 6所示。

图 6 相机距离地面1 km

图 6可以看出,本文提出的算法与其他2种算法相比,查全率和查准率更高。

为了验证算法的鲁棒性,选取了10个不同场景及3个不同尺度下1 km,850 m,700 m的着降区进行分割及搜索精度验证。对上述30幅图求取查全率和查准率,各算法性能对比结果如图 7所示。

图 7 各算法性能比较

图 7可以看出,综合航拍图像的3个不同尺度,本文算法的查全率和查准率均优于其他2种算法,本文算法具有分割精高、鲁棒性好、着降区搜索能力强的优点。

4 结 论

本文提出了一种尺度变化下飞机着降区自适应分割算法,首先结合无人机的高度信息实现了基于mean shift核带宽自适应的粗分割;然后在此基础上进行自适应Canny边缘检测实现着降区的细分割;最后利用Google Earth截图不同场景、不同尺度下的图像进行分割实验,实验表明本章提出的方法相比于基于边缘的分割算法及基于多尺度mean shift和边缘检测融合分割算法精度更高。

参考文献
[1] Scherer S, Chamberlain L, Singh S. Autonomous Landing at Unprepared Sites by a Full-Sale Helicopter[J]. Robotics and Autonomous Systems, 2012, 60(12):1545-1562
Click to display the text
[2] Mejias L, Fitzgerald D L, Eng P C, et al. Forced Landing Technologies for Unmanned Aerial Vehicles:Towards Safer Operations[J]. Aerial Vehicles, 2009(1):415-442
Click to display the text
[3] Lu A, Ding W, Li H. Multi-information Based Safe Area Step Selection Algorithm for UAV's Emergency Forced Landing[J]. Journal of Software, 2013, 8(4):995-1002
[4] Michel J, Youssefi D, Grizonnet M. Stable Mean-Shift Algorithm and Its Application to the Segmentation of Arbitrarily Large Remote Sensing Images[J]. IEEE Trans on Geoscience and Remote Sensing, 2015, 53(2):952-964
Click to display the text
[5] 朱俊杰, 杜小平, 范湘涛, 等. 融合边缘特征与区域特征的高分辨率遥感图像分割方法[J]. 高技术通讯, 2012, 22(9):937-943
Zhu Junjie, Du Xiaoping, Fan Xiangtao, et al. Segmentation of High-Resolution Remote Sensing Images Based on Fusing Edge and Region Features[J]. High Technology Letters, 2012, 22(9):937-943(in Chinese)
[6] Sumengen B, Manjunath B S. Multi-Scale Edge Detection and Image Segmentation[C]//European Signal Processing Conference(EUSIPCO), 2005
Click to display the text
[7] Abo-Zahhad M, Gharieb R R, Ahmed S M, et al. Edge Detection with a Preprocessing Approach[J]. Journal of Signal & Information Processing, 2014, 5(4):123-134
Click to display the text
Adaptive Segmentation Algorithm of Landing Zone under Change of Scale
Ma Xu1,2, Cheng Yongmei1, Hao Shuai2     
1. Department of Automatic Control, Northwestern Polytechnical University, Xi'an 710072, China;
2. School of Electrical and Control Engineering, Xi'an University of Science and Technology, Xi'an 710054, China
Abstract: The acquired aerial image is susceptible to illumination and scale changes when UAV is searching for a suitable landing zone based on vision. The main purpose of the aerial image segmentation is to identify the landing zone which is roomy enough for UAV to land and has the same object types(such as land, lakes, etc). Therefore, the segmentation algorithm not only has the capability of clustering but also has the capability of segmenting the different type objects. According to the characteristics of the aerial image and the needs of the segmentation task, an adaptive segmentation algorithm of landing zone under the change of scale is proposed. First, the needed minimum pixel is calculated for UAV landing according to the current height of UAV, the size of the landing area and the ground resolution of the image. Second, the Mean Shift algorithm is employed for image coarse segmentation, and the bandwidth of the kernel function in Mean Shift is calculated according to the minimum pixel gotten in previous step in combination with the threshold in maximum between-cluster variance. Third, the edge of the coarse segmentation image is drawn by using the Canny operator and the final segmentation result is gotten. Finally, the aerial images at different scenarios and scales preliminarily that selected with Google Earth are employed in segmentation experiments. Experimental results demonstrates that the proposed algorithm can meet the mission requirements for accurate segmentation and it is robust to illumination and scale change.
Key words: algorithms     bandwidth     caculations     data fusion     edge detection     experiments     flowcharting     image acquisition     image segmentation     iterative methods     lighting     mathematical operators     MATLAB     robustness     control systems     scalability     unmanned aerial vehicles(UVA)     aerial image     Google Earth     mean shift image segmentation     multi-feature fusion     unfamiliar area    
西北工业大学主办。
0

文章信息

马旭, 程咏梅, 郝帅
Ma Xu, Cheng Yongmei, Hao Shuai
尺度变化下飞机着降区自适应分割算法
Adaptive Segmentation Algorithm of Landing Zone under Change of Scale
西北工业大学学报, 2016, 34(2): 328-332
Journal of Northwestern Polytechnical University, 2016, 34(2): 328-332.

文章历史

收稿日期: 2015-10-20

相关文章

工作空间