留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

爬壁机器人双目视觉障碍检测系统

唐东林 游传坤 丁超 龙再勇 汤炎锦

唐东林, 游传坤, 丁超, 龙再勇, 汤炎锦. 爬壁机器人双目视觉障碍检测系统[J]. 机械科学与技术, 2020, 39(5): 765-772. doi: 10.13433/j.cnki.1003-8728.20190195
引用本文: 唐东林, 游传坤, 丁超, 龙再勇, 汤炎锦. 爬壁机器人双目视觉障碍检测系统[J]. 机械科学与技术, 2020, 39(5): 765-772. doi: 10.13433/j.cnki.1003-8728.20190195
Tang Donglin, You Chuankun, Ding Chao, Long Zaiyong, Tang Yanjin. Binocular Vision Obstacle Detection System of Wall Climbing Robot[J]. Mechanical Science and Technology for Aerospace Engineering, 2020, 39(5): 765-772. doi: 10.13433/j.cnki.1003-8728.20190195
Citation: Tang Donglin, You Chuankun, Ding Chao, Long Zaiyong, Tang Yanjin. Binocular Vision Obstacle Detection System of Wall Climbing Robot[J]. Mechanical Science and Technology for Aerospace Engineering, 2020, 39(5): 765-772. doi: 10.13433/j.cnki.1003-8728.20190195

爬壁机器人双目视觉障碍检测系统

doi: 10.13433/j.cnki.1003-8728.20190195
基金项目: 

四川省科技支撑项目 2017FZ0033

成都市技术创新研发项目 2018-YF05-00201-GX

西南石油大学国家重点实验室项目 PLN201828

详细信息
    作者简介:

    唐东林(1970-), 教授, 博士生导师, 博士, 研究方向为无损检测技术、光机电一体化技术, tdl840451816@163.com

  • 中图分类号: TP751

Binocular Vision Obstacle Detection System of Wall Climbing Robot

  • 摘要: 针对壁面障碍物的不确定性,设计了一种爬壁机器人双目视觉障碍检测系统。具体包括搭建双目平行视觉系统,根据双目视觉理论对摄像机进行标定,获取相机标定参数;通过标定参数和极线约束对双目图像进行校正,解决图像畸变不共面问题;利用块搜索模型和相似度函数获取视差,保证视差获取的快速性与鲁棒性;最后提出一种障碍物检测算法:建立壁面检测模型约束检测范围,引入面积阈值,过滤干扰并实现障碍物提取,提出一种障碍物定位算法,通过宽度、深度与偏距三个方面对障碍物进行定位,同时,通过线性插值解决障碍物中心视差丢失问题。实验结果表明:在保证实时性的基础上,该系统能够有效检测前方障碍物且准确提取率能够达到95.9%,定位误差为4.91%,满足爬壁机器人检测要求。
  • 图  1  双目视觉原理图

    图  2  研发技术路线图

    图  3  检测系统硬件平台

    图  4  视差获取模型

    图  5  壁面检测模型

    图  6  定位算法流程图

    图  7  双目摄像机标定结果

    图  8  校正后的棋盘格

    图  9  简单环境检测结果

    图  10  复杂环境检测结果

    图  11  不同检测环境检测率

    图  12  插值三维图

    表  1  视差插值数据

    序号 视差di 判断异常 视差均值dd(剔除异常值后) 中心点视差do 稳定点视差与搜索距离 中心点视差(插值后) 插值误差/%
    1 1 685 正常 1 692 -16 lr=35
    ll=33
    dl=1 696
    dr=1 700
    1 698 0.35
    2 1 705 正常
    3 1 681 正常
    4 -16 异常
    5 1 683 正常
    6 1 703 正常
    7 1 692 正常
    8 -16 异常
    9 1 684 正常
    10 1 701 正常
    下载: 导出CSV

    表  2  误差数据

    深度/m 深度误差/% 偏距误差/% 宽度误差/% 定位误差/%
    0.6 1.90 3.26 7.61 4.26
    0.9 2.04 3.90 7.84 4.59
    1.2 2.12 4.53 8.12 4.92
    1.5 2.30 4.98 8.43 5.24
    1.8 2.56 5.32 8.75 5.54
    平均 2.18 4.40 8.15 4.91
    下载: 导出CSV

    表  3  算法各部分耗时 ms

    预处理 视差获取 障碍物检测 总时间
    平均耗时 142 63 41 246
    最长耗时 163 87 67 317
    下载: 导出CSV
  • [1] 曲道奎.中国机器人产业发展现状与展望[J].中国科学院院刊, 2015, 30(3):342-346 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgkxyyk201503007

    Qu D K. Development situation and prospects of Chinese robot industry[J]. Bulletin of the Chinese Academy of Sciences, 2015, 30(3):342-346(in Chinese) http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgkxyyk201503007
    [2] 谭民, 王硕.机器人技术研究进展[J].自动化学报, 2013, 39(7):963-972 http://d.old.wanfangdata.com.cn/Periodical/dhj201305006

    Tan M, Wang S. Research progress on robotics[J]. Acta Automatica Sinica, 2013, 39(7):963-972(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/dhj201305006
    [3] 唐东林, 袁波, 胡琳, 等.储罐探伤爬壁机器人全遍历路径规划方法[J].工程设计学报, 2018, 25(3):253-261 doi: 10.3785/j.issn.1006-754X.2018.03.002

    Tang D L, Yuan B, Hu L, et al. Complete coverage path planning method for oil tank inspection wall climbing robot[J]. Chinese Journal of Engineering Design, 2018, 25(3):253-261(in Chinese) doi: 10.3785/j.issn.1006-754X.2018.03.002
    [4] 董伟光, 王洪光, 姜勇.一种轮足复合式爬壁机器人动力学建模与分析[J].机器人, 2015, 37(3):264-270 http://d.old.wanfangdata.com.cn/Periodical/jqr201503002

    Dong W G, Wang H G, Jiang Y. Dynamics modeling and analysis of a wall-climbing robot with biped-wheel hybrid locomotion mechanism[J]. Robot, 2015, 37(3):264-270(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/jqr201503002
    [5] Da Veiga R S, De Oliveira A S, De Arruda L V R, et al. Localization and navigation of a climbing robot inside a LPG spherical tank based on dual-LIDAR scanning of weld beads[M]//Koubaa A. Robot Operating System (ROS). Cham: Springer, 2016
    [6] 丁幼春, 王书茂, 陈红.农用车辆作业环境障碍物检测方法[J].农业机械学报, 2009, 40(S1):23-27, 17 http://d.old.wanfangdata.com.cn/Periodical/nyjxxb2009z1005

    Ding Y C, Wang S M, Chen H. Obstacle detection in the working area of agricultural vehicle based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(S1):23-27, 17(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/nyjxxb2009z1005
    [7] Lin C H, Jiang S Y, Pu Y J, et al. Robust ground plane detection for obstacle avoidance of mobile robots using a monocular camera[C]//Proceedings of 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Taipei, China: IEEE, 2010
    [8] 韩延祥, 张志胜, 戴敏.用于目标测距的单目视觉测量方法[J].光学精密工程, 2011, 19(5):1110-1117 http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201105024

    Han Y X, Zhang Z S, Dai M. Monocular vision system for distance measurement based on feature points[J]. Optics and Precision Engineering, 2011, 19(5):1110-1117(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201105024
    [9] 顾征, 苏显渝.三目自适应权值立体匹配和视差校准算法[J].光学学报, 2008, 28(4):734-738 doi: 10.3321/j.issn:0253-2239.2008.04.023

    Gu Z, Su X Y. An algorithm based on adaptive support-weight and disparity adjustment for trinocular stereo-matching[J]. Acta Optica Sinica, 2008, 28(4):734-738(in Chinese) doi: 10.3321/j.issn:0253-2239.2008.04.023
    [10] 王军, 柳红岩.基于三目视觉系统的车辆导引方法[J].计算机应用, 2014, 34(6):1762-1764 http://d.old.wanfangdata.com.cn/Periodical/jsjyy201406052

    Wang J, Liu H Y. Vehicle navigation method based on trinocular vision[J]. Computer Applications, 2014, 34(6):1762-1764(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/jsjyy201406052
    [11] Setti F, Bini R, Lunardelli M, et al. Shape measurement system for Single Point Incremental Forming (SPIF) manufacts by using trinocular vision and random pattern[J]. Measurement Science and Technology, 2012, 23(11):115402 doi: 10.1088/0957-0233/23/11/115402
    [12] Kumar S. Binocular stereo vision based obstacle avoidance algorithm for autonomous mobile robots[C]//Proceedings of 2009 IEEE International Advance Computing Conference. Patiala: IEEE, 2009
    [13] 王铮, 赵晓, 佘宏杰, 等.基于双目视觉的AGV障碍物检测与避障[J].计算机集成制造系统, 2018, 24(2):400-409 http://d.old.wanfangdata.com.cn/Periodical/jsjjczzxt201802012

    Wang Z, Zhao X, She H J, et al. Obstacle detection and obstacle avoidance of AGV based on binocular vision[J]. Computer Integrated Manufacturing Systems, 2018, 24(2):400-409(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/jsjjczzxt201802012
    [14] Labayrade R, Aubert D. A single framework for vehicle roll, pitch, yaw estimation and obstacles detection by stereovision[C]//IEEE IV2003 Intelligent Vehicles Symposium. Columbus: IEEE, 2003
    [15] 王军华, 李丁, 刘盛鹏.基于改进RANSAC的消防机器人双目障碍检测[J].计算机工程与应用, 2017, 53(2):236-240 doi: 10.3778/j.issn.1002-8331.1504-0075

    Wang J H, Li D, Liu S P. Improved RANSAC estimation based fire-fighting robot obstacle detec-tion using binocular vision[J]. Computer Engineering and Applications, 2017, 53(2):236-240(in Chinese) doi: 10.3778/j.issn.1002-8331.1504-0075
    [16] 刘昱岗, 王卓君, 王福景, 等.基于双目立体视觉的倒车环境障碍物测量方法[J].交通运输系统工程与信息, 2016, 16(4):79-87 doi: 10.3969/j.issn.1009-6744.2016.04.012

    Liu Y G, Wang Z J, Wang F J, et al. Vehicle reversing obstacle measurement based on binocular-camera stereo vision[J]. Journal of Transportation Systems Engineering and Information Technology, 2016, 16(4):79-87(in Chinese) doi: 10.3969/j.issn.1009-6744.2016.04.012
    [17] 唐东林, 龙再勇, 袁波, 等.永磁吸附轮式爬壁机器人受力及功耗分析[J].机械科学与技术, 2019, 38(4):500-506 doi: 10.13433/j.cnki.1003-8728.20180213

    Tang D L, Long Z Y, Yuan B, et al. Analysis of mechanics and power consumption of wall-climbing robot with permanent magnet adsorption wheel[J]. Mechanical Science and Technology for Aerospace Engineering, 2019, 38(4):500-506(in Chinese) doi: 10.13433/j.cnki.1003-8728.20180213
  • 加载中
图(12) / 表(3)
计量
  • 文章访问数:  422
  • HTML全文浏览量:  164
  • PDF下载量:  38
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-04-25
  • 刊出日期:  2020-05-05

目录

    /

    返回文章
    返回