留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

深度迁移学习在柔性末端执行器端点检测的应用

龚炷任 翟敬梅

龚炷任, 翟敬梅. 深度迁移学习在柔性末端执行器端点检测的应用[J]. 机械科学与技术, 2021, 40(3): 423-427. doi: 10.13433/j.cnki.1003-8728.20200276
引用本文: 龚炷任, 翟敬梅. 深度迁移学习在柔性末端执行器端点检测的应用[J]. 机械科学与技术, 2021, 40(3): 423-427. doi: 10.13433/j.cnki.1003-8728.20200276
GONG Zhuren, ZHAI Jingmei. Application of Deep Transfer Learning in Endpoint Detection of Flexible End-effector[J]. Mechanical Science and Technology for Aerospace Engineering, 2021, 40(3): 423-427. doi: 10.13433/j.cnki.1003-8728.20200276
Citation: GONG Zhuren, ZHAI Jingmei. Application of Deep Transfer Learning in Endpoint Detection of Flexible End-effector[J]. Mechanical Science and Technology for Aerospace Engineering, 2021, 40(3): 423-427. doi: 10.13433/j.cnki.1003-8728.20200276

深度迁移学习在柔性末端执行器端点检测的应用

doi: 10.13433/j.cnki.1003-8728.20200276
详细信息
    作者简介:

    龚炷任(1996-), 硕士研究生, 研究方向为机器视觉、机器人技术, 1227850653@qq.com

    通讯作者:

    翟敬梅, 教授, 硕士生导师, mejmzhai@scut.edu.cn

  • 中图分类号: TP242.3

Application of Deep Transfer Learning in Endpoint Detection of Flexible End-effector

  • 摘要: 针对在工业领域中难以利用小样本数据集训练出准确深度学习模型的问题,提出一种基于迁移学习的深度学习目标点检测方法,对小样本数据集下的柔性末端执行器端点检测。首先利用残差网络(ResNet)构建目标点检测网络;然后利用领域自适应迁移方法构建适应网络,将预训练ResNet-50网络参数转移到柔性末端执行器端点检测模型的训练中,降低深度学习模型训练的难度。实验结果表明,该模型在500张图像训练下就已经具有较好的检测效果,对末端点的定位精度为1.675 mm。
  • 图  1  残差块结构示意图

    图  2  目标点检测网络简图

    图  3  网络迁移模型图

    图  4  适应层特征迁移图

    图  5  柔性末端执行器

    图  6  末端点检测实验平台

    图  7  末端执行器端点检测框架

    图  8  末端执行器数据集

    图  9  网络训练的损失函数

    图  10  目标点三维坐标对比图

    表  1  ResNet-50网络结构

    Layer name Conv Stage1 Stage2 Stage3 Stage4
    ResNet-50 7×7, 64 sride2
    下载: 导出CSV

    表  2  数据集分配情况

    数据集 1 2 3 4 子集总数
    训练子集 300 400 500 600 600
    验证子集 100 120 150 200 200
    测试子集 100 120 150 200 200
    下载: 导出CSV

    表  3  目标点检测精度

    组别 1 2 3 4
    验证集精度/px 13.4 2.7 2.4 2.5
    测试集精度/px 15.6 6.4 5.8 5.7
    下载: 导出CSV

    表  4  末端点定位精度

    检测次数 |X|/mm |Y|/mm |Z|/mm |D|/mm
    1 0.878 0.986 1.210 1.790
    2 1.123 0.753 0.838 1.590
    3 0.743 0.996 1.153 1.695
    4 1.004 0.986 0.630 1.542
    5 0.858 1.072 1.102 1.761
    下载: 导出CSV
  • [1] 唐杰, 王涛, 常青, 等. 模具抛光机器人柔性终端执行器设计与分析[J]. 机械设计与制造, 2016(2): 263-266 https://www.cnki.com.cn/Article/CJFDTOTAL-JSYZ201602071.htm

    TANG J, WANG T, CHANG Q, et al. Design and analysis of flexible end-effector for mould polishing robot[J]. Machinery Design & Manufacture, 2016(2): 263-266 (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-JSYZ201602071.htm
    [2] 李伟, 路敦民, 刘逸思, 等. 一种通用柔性末端执行器设计和分析[J]. 机械设计, 2014, 31(4): 37-41 https://www.cnki.com.cn/Article/CJFDTOTAL-JXSJ201404008.htm

    LI W, LU D M, LIU Y S, et al. Design and analysis of an universal and flexible end effector[J]. Journal of Machine Design, 2014, 31(4): 37-41 (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-JXSJ201404008.htm
    [3] LIU Y J, HAN H J, SUN L N, et al. An integrated system of detecting end-effector motion states and wafer stick-slip on a wafer transfer robot[C]//Proceedings of 2016 IEEE International Conference on Mechatronics and Automation. Harbin, China: IEEE, 2016
    [4] KASAYA T, MIYAZAKI H T, SAITO S, et al. Image-based autonomous micromanipulation system for arrangement of spheres in a scanning electron microscope[J]. Review of Scientific Instruments, 2004, 75(6): 2033-2042 doi: 10.1063/1.1753106
    [5] LIU J, GONG Z, TANG K, et al. Locating end-effector tips in robotic micromanipulation[J]. IEEE Transactions on Robotics, 2014, 30(1): 125-130 doi: 10.1109/TRO.2013.2280060
    [6] 邓益侬, 罗健欣, 金凤林. 基于深度学习的人体姿态估计方法综述[J]. 计算机工程与应用, 2019, 55(19): 22-42 https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201919004.htm

    DENG Y N, LUO J X, JIN F L. Overview of human pose estimation methods based on deep learning[J]. Computer Engineering and Applications, 2019, 55(19): 22-42 (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201919004.htm
    [7] 刘今越, 李顺达, 陈梦倩, 等. 面向移乘搬运护理机器人的人体姿态视觉识别[J]. 机器人, 2019, 41(5): 601-608 https://www.cnki.com.cn/Article/CJFDTOTAL-JQRR201905006.htm

    LIU J Y, LI S D, CHEN M Q, et al. Visual recognition of human pose for the transfer-care assistant robot[J]. Robot, 2019, 41(5): 601-608 (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-JQRR201905006.htm
    [8] 王荣生. 基于深度学习的人脸检测和识别关键技术研究与实现[D]. 威海: 山东大学(威海), 2019

    WANG R S. Research and implementation of key issues of face detection and recognition based on deep learning[D]. Weihai: Shandong University (Weihai), 2019 (in Chinese)
    [9] 宋新慧. 基于深度学习的人脸表情识别算法研究[D]. 杭州: 浙江大学, 2017

    SONG X H. Facial expression recognition based on deep learning[D]. Hangzhou: Zhejiang University, 2017 (in Chinese)
    [10] 舒醒, 于慧敏, 郑伟伟, 等. 基于边际Fisher准则和迁移学习的小样本集分类器设计算法[J]. 自动化学报, 2016, 42(9): 1313-1321 https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201609003.htm

    SHU X, YU H M, ZHENG W W, et al. Classifier-designing algorithm on a small dataset based on margin fisher criterion and transfer learning[J]. Acta Automatica Sinica, 2016, 42(9): 1313-1321 (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201609003.htm
    [11] 董爱美, 毕安琪, 王士同. 基于迁移共享空间的分类新算法[J]. 计算机研究与发展, 2016, 53(3): 632-643 https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201603014.htm

    DONG A M, BI A Q, WANG S T. A classification method using transferring shared subspace[J]. Computer Research and Development, 2016, 53(3): 632-643 (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201603014.htm
    [12] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV: IEEE, 2016: 770-778
    [13] DONAHUE J, JIA Y Q, VINYALS O, et al. DeCAF: a deep convolutional activation feature for generic visual recognition[C]//Proceedings of the 31st International Conference on Machine Learning. Beijing, China: W & CP, 2014: 647-655
    [14] LONG M S, CAO Y, WANG J M, et al. Learning transferable features with deep adaptation networks[C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning. USA: ACM, 2015: 97-105
    [15] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334 doi: 10.1109/34.888718
  • 加载中
图(10) / 表(4)
计量
  • 文章访问数:  112
  • HTML全文浏览量:  33
  • PDF下载量:  23
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-05-27
  • 刊出日期:  2021-03-01

目录

    /

    返回文章
    返回