基于结构光点云的变形测量方法研究
肖维忠1,2, 袁莹涛1, 葛振东1, 郭翔1, 索涛1, 于起峰1,3     
1. 西北工业大学 航空学院, 陕西 西安 710072;
2. 中国航天空气动力技术研究院, 北京 100074;
3. 深圳大学 物理与光电工程学院, 广东 深圳 518060
摘要: 针对结构变形测量需求, 提出一种基于结构光点云的变形测量方法。搭建了结构光相机测量系统, 基于投影仪逆向相机的假设并借助棋盘格标定板完成了系统标定。采用格雷码辅助的四步相移技术设计投影仪投射的图案, 并利用标定的系统参数, 完成待测物表面的三维重建, 获得结构表面点云。提出基于点云间距离计算结果的结构变形分析方法, 并分析比较了基于点到点、点到面和面到面3种点云距离计算方法原理。通过实验验证了所提基于结构光点云的变形测量方法的可行性和精度, 实验结果表明, 该方法可以实现结构离面位移的高精度测量。
关键词: 结构光    格雷码    相移    点云    变形测量    

光测实验力学是指采用光学的方法测量力学参量, 包括变形、损伤、振动模态等[1]。这些量不仅可以反映材料或结构的强度与刚度, 还与其安全性能和服役寿命等息息相关。因此实现材料或结构在加载或使用期间的变形量测量对于实验固体力学和结构健康检测领域的发展具有重要意义[2]

随着计算机性能的提升和图像处理技术的发展, 光学测量相关研究也获得了飞速发展。目前常用的光学测量手段主要包括数字散斑干涉技术[3]和数字图像相关法[4-5]等。数字散斑干涉测量技术利用变形前后散斑图案的相位差计算结构表面的变形信息, 可以达到非常高的测量精度, 但其特殊的光路和相位计算过程限制了三维数字散斑干涉在动态同步变形测量等方面的应用[3]。数字图像相关法(DIC)基于三角测量原理, 利用标定的内外参数和图像相关匹配结果计算全场位移和应变。随着亚像素匹配技术[6-7]、高精度的散斑评估方法[8]及应变场估计方法[9]等的发展, 该方法已经广泛应用于科研和工业测量中。但该方法主要采用图像数据, 当双目相机基高比过小且图像存在畸变时, 亚像素图像精度会对限制空间测量点重建精度, 因此其还难以满足大尺寸结构全场三维高精度变形测量需求。

结构表面形貌既可以用图像显示, 还可以用点云表征。激光扫描仪可以获取大型结构表面的高精度点云数据, 结构光测量技术常用以获取小尺寸物体表面的三维点云数据[10-11]。结构光技术通过在物体表面投射特征图案, 一定程度上避免了图像同名点误匹配的问题, 提高了结构表面信息的获取精度。目前基于结构光系统的研究多集中于结构光相机标定[12]、投影条纹设计[13]和高精度三维重建[14]等方面。利用点云进行变形监测时, 方法多先提取结构特征信息, 如隧道的轮廓[15-16]和桥梁的边缘[17], 然后进行变形测量, 浪费了大量的点云信息。如何利用结构表面三维点云数据进行全场变形测量, 仍然有待进一步研究。

针对结构全场非接触式变形测量需求, 提出一种基于三维点云新数据的变形测量方法, 避免了基于图像数据进行测量面临的因图像畸变和基高比限制的全场测量精度低的问题。采用结构光系统获取三维点云数据, 进行了方法可行性实验验证。首先搭建了结构光系统, 该系统主要包括投影仪和相机, 并基于小孔成像模型的假设, 完成了结构光系统的标定。分析了基于格雷码辅助相移技术的三维重建方法, 并利用四步相移法完成待测物表面相位匹配和点的重建。然后提出了基于点云间距离计算结果的结构位移计算方法, 分析了3种点云间距离计算方法的基本原理。最后通过实验验证分析了方法的可行性和精度。

1 原理与方法 1.1 变形测量方法概述

基于结构光点云的变形测量方法流程如图 1所示。首先, 利用投影仪和相机搭建结构光变形测量系统。然后, 对变形测量系统进行标定, 获取系统的内外参数。之后, 利用标定结果实现结构表面点云重建, 完成点云数据获取。最后利用本文提出的基于点云的变形方法进行分析。

图 1 基于结构光点云变形测量方法流程
1.2 结构光测量系统及标定

结构光测量系统示意如图 2所示, 投影仪将光栅条纹投影到待测目标表面, 然后由相机接收条纹信息, 并由计算机进行分析, 完成待测物表面形貌的测量, 得到点云数据。

图 2 结构光三维测量系统示意图

结构光测量系统中建立的坐标系示意图如图 3所示。投影仪可以看作逆向成像的摄像机, 因此相机成像和投影仪投影过程都可以近似为小孔成像模型。

图 3 结构光测量系统坐标系示意图

经典的相机成像模型为

(1)

式中:A为相机内参矩阵;Rt为相机外参旋转矩阵和平移矩阵;s为尺度因子;(uc, vc, 1)为相机成像平面上的点坐标;(xw, yw, zw, 1)为世界坐标系下待测空间点坐标。

结构光测量系统中的相机和投影仪分别用上述成像模型表示, 结果如(2)式所示。本文采用棋盘格辅助的标定方法[18-19]完成结构光系统参数标定。

(2)

式中, scsp分别表示相机和投影仪的尺度因子。(up, vp, 1)表示投影仪成像平面上的点坐标。

1.3 格雷码辅助相移技术

双目相机利用三角测量原理获取被测物体的三维信息依赖于环境光, 而结构光相机采用投影仪主动投影含特征的图案完成解码和三维重建。随着数字光处理技术的发展成熟, 投影仪可以生成高精度的光栅图像, 从而为结构光相机提供高精度的编码信息。

相移法通过投影仪投影相位在一个周期内均匀移动的正弦条纹, 相机同步拍摄物体表面经过高度调制后的变形条纹, 计算机分析变形条纹中的相位, 完成物体表面的三维重建。其中投影条纹的正弦函数表达式如(3)式所示。

(3)

式中:n=1, 2, …, N, N表示相移总数;A(x, y)表示背景光照强度;B(x, y)表示条纹调制量;φ(x, y)表示待计算的截断相位, 反映被测物体表面高度信息。文中采用四步相移法投影正弦条纹, 相移值分别为0, π/2, π, 3π/2, 则其条纹图像强度表达式为

(4)

则相位可通过公式(5)计算

(5)

由于反正切计算的结果分布在[-π, π]之间, 解算过程中相位会出现周期性截断现象, 因此利用公式(6)展开截断的相位。

(6)

在对表面不连续的物体进行测量时, 相位展开容易解算错误, 因此常采用格雷码辅助相位展开技术[20]。格雷码编码技术采用二进制编码的方法, 产生黑白相间的投影条纹, 解码后的格雷码值可以用于辅助确定像素坐标, 结合标定的相机内外参数完成三维坐标重建。

1.4 基于点云的变形分析方法

基于点云的结构变形分析方法是指在获取不同时刻结构表面待测物三维点云数据后, 进一步分析结构表面变形的方法, 这里所指变形主要为位移。点的位移即点移动距离, 目前主要采用3种计算点云间距离的方法, 包括基于点到点的计算方法、基于点到面的计算方法和基于面到面的计算方法。

3种基于点云的距离计算方法基本原理如图 4所示。第一种基于点到点的距离计算方法[21]通过在参考点云(点云1)中搜索距离第二组点云中待求点的最近点, 并认定为对应点。利用霍夫公式[22]计算两点间距离作为该点的距离计算结果。基于点到面的距离计算方法先把参考点云进行表面重建, 如采用德劳内三角化[23]方法对散乱的点云进行表面重建, 然后计算点云到重建表面的最小距离作为距离计算结果。基于面到面的检测方法中基于多尺度模型到模型的方法[24]应用最广泛, 该方法利用待求点周围的点云数据, 估计当地平面及其法线, 并根据点云平面拟合标准差估计拟合半径。最终以参考点云拟合半径中点的平均距离作为计算结果。

图 4 基于点云的距离计算方法示意图

根据上述基于点云的距离计算方法, 即可得到结构表面位移场, 在计算结构刚性位移时, 先统计待测物点云间距离直方图, 并用高斯曲线拟合均值, 作为最终位移结果。

2 实验结果及分析 2.1 点云重建精度验证

结构光系统标定结果:

相机内参矩阵为

投影仪内参矩阵为

相机畸变系数为

投影仪畸变系数为

投影仪坐标系到相机坐标系外参旋转矩阵为

投影仪坐标系到相机坐标系外参平移矩阵为

相机与投影仪标定后重投影误差分别为0.09 pixel和0.12 pixel, 证明标定结果精度的准确性。

利用标定好的结构光相机对图 5所示的标准球进行形貌重建。通过多次测量数据计算标准球直径, 并计算与实际直径的偏差验证点云重建精度。结果如图 6所示, 偏差最大值为0.12 mm, 证明所采用的结构光相机标定及重建方法具有极高的精度, 可以用于后续结构的变形测量。

图 5 直径为57.125 mm的标准球
图 6 标准球三维重建直径偏差
2.2 均匀变形测量精度验证

本节开展实验验证所提变形测量方法的可行性与精度。实验现场照片如图 7所示。在实验中通过滑台精确控制试样移动, 位移设备型号为Thorlab LTS300, 位移控制精度为47 μm。本次实验共移动3次, 分别为2, 5和10 mm。在未移动状态和3次移动后的状态均采用结构光系统采集点云, 点云数据可视化效果图如图 8所示, 完成数据采集。

图 7 实验现场
图 8 获取的平板点云数据示意图

对于第一组实验, 即试样移动2 mm时, 图 9~11分别表示采用基于点到点、点到面和面到面3种点云距离计算方法的位移结果。图 9a)为基于点到点距离计算的位移场, 图 9b)为对结果进行直方统计并进行高斯拟合的结果。图 9b)表示基于点到点距离计算的位移统计结果均值为1.25 mm, 标准差为0.53 mm, 与真实位移相比, 误差为0.75 mm。图 10所示的位移场云图和统计结果展示了相似的结果, 其中高斯拟合位移均值为1.29 mm, 标准差为0.51 mm, 即位移测量误差为0.71 mm。图 11所示结果表明位移均值为1.97 mm, 标准差为0.16 mm, 位移误差为0.03 mm, 证明该方法误差小于前2种方法。同时由位移场云图比较可知基于面到面距离的位移场更加平滑, 直方图统计数据分布也更加集中。

图 9 移动2 mm采用基于点到点计算距离的位移场及统计结果
图 10 移动2 mm采用基于点到面计算距离的位移场及统计结果
图 11 移动2 mm采用基于面到面计算距离的位移场及统计结果

图 12~14分别显示了试样移动5 mm时, 采用3种点云距离计算方法进行位移统计的结果。图 12的统计结果表明, 基于点到点距离测量的位移统计结果均值为4.01 mm, 标准差为0.13 mm。图 13的统计结果表明, 基于点到面距离计算的位移统计结果均值为4.12 mm, 标准差0.54为mm。图 14的统计结果表明, 基于面到面距离计算的位移统计结果均值为4.98 mm, 标准差为0.16 mm。前2种方法误差均大于第3种基于面到面的点云距离计算位移的方法。本组实验中基于面到面的点云距离计算方法可以达到0.02 mm的精度。

图 12 移动5 mm采用基于点到点计算距离的位移场及统计结果
图 13 移动5 mm采用基于点到面计算距离的位移场及统计结果
图 14 移动5 mm采用基于面到面计算距离的位移场及统计结果

图 15~17分别显示了试样移动10 mm时, 采用3种点云距离计算方法进行统计的结果。其中基于点到点和点到面距离计算的位移统计结果均值均为9.03 mm, 标准差均为0.51 mm。基于面到面距离计算的位移统计结果均值为9.98 mm, 标准差为0.16 mm。第3种方法精度最高且数据分布相对更集中。

图 15 移动10 mm采用基于点到点计算距离的位移场及统计结果
图 16 移动10 mm采用基于点到面计算距离的位移场及统计结果
图 17 移动10 mm采用基于面到面计算距离的位移场及统计结果

采用德劳内三角网格法进行基于点云的表面重建时, 只对相近的点云进行连接重建处理。因此基于点到点的距离计算和基于点到面的距离计算结果差别不大。而由于实验数据单点精度存在一定的误差, 导致2种方法位移场云图噪点大。而基于面到面的方法中, 加入了局部表面的平滑, 因此对于平板实验, 位移计算结果精度更高(高于单点重建精度), 且数据分布更集中。通过实验验证了所提基于点云的结构均匀变形测量方法的可行性, 且精度较高, 可以达到亚毫米测量精度。

2.3 非均匀变形测量精度验证

2.2节对平板离面位移的变形测量精度进行实验验证, 本节对平板施加法向力, 使之产生非均匀变形, 采用测量的点云数据计算位移场, 并与三维数字图像相关方法得到的位移场结果进行对比, 验证非均匀位移场的测量精度。

实验结果云图如图 18所示, 从应变云图中可以看出, 基于点到点距离和点到面距离计算的位移场颜色不均匀, 位移计算结果噪声更大。基于面到面距离计算的应变场更加平滑, 噪声更小。且3种方法得结果与数字图像相关方法的位移分布趋势一致。

图 18 平板弯曲变形时基于点云计算的位移场和DIC方法的对比结果

提取从平板左下到右上对角线上的点进行定量分析, 结果如图 19所示。从图中可以看出, 4种方法位移分布曲线基本一致, 都呈现出增加的趋势。基于点云的位移计算方法均存在一定的噪声, 与图 18所示结果一致。基于点到面距离计算方法得到的位移结果偏低, 而基于面到面的位移计算方法得到的结果与基于DIC得到的位移分布吻合度最高, 精度可以达到0.15 mm。证明基于点云的非均匀位移场测量的可行性和可靠性。

图 19 平板对角线上位移曲线
3 结论

文中提出一种基于点云的结构变形测量方法。并利用结构光系统采集的点云数据验证了方法可行性。利用相机和投影仪搭建了结构光相机系统, 并借助棋盘格标定板完成了内外参数的标定。利用格雷码辅助四步相移的方法完成三维数据重建。理论上分析了现有3种基于点云间距离的计算方法, 并进一步提出基于距离结果的变形测量方法。最后开展实验验证了所提方法的可行性和精度。实验结果表明, 采用基于面到面的点云距离统计结果的均匀变形测量方法精度最高, 可达0.02 mm。对于非均匀变形的测量精度也可以达到0.15 mm, 证明了所提方法的可行性。

基于点云的变形测量方法也存在局限性。点云只反映形貌信息, 难以保证变形前后结构光获得的三维点为同一点, 单点测量精度差, 因此针对特定点的高精度变形测量方法有待进一步研究。同时本研究的验证实验只进行了离面位移变形精度验证研究, 对于三维变形测量的可行性研究和精度验证有待进一步开展。

参考文献
[1] 伍小平. 近40年光力学进展的回顾[J]. 实验力学, 2010, 25(5): 491-508.
WU Xiaoping. A brief review of photomechanics progress in recent 40 years[J]. Journal of Experimental Mechanics, 2010, 25(5): 491-508. (in Chinese)
[2] 尚洋, 于起峰, 关棒磊, 等. 大型结构变形监测摄像测量研究进展[J]. 实验力学, 2017, 32(5): 593-600.
SHANG Yang, YU Qifeng, GUAN Banglei, et al. Recent advances of videometrics for large-scale structure deformation monitoring[J]. Journal of Experimental Mechanics, 2017, 32(5): 593-600. (in Chinese)
[3] 王永红, 包凤卿, 张肖, 等. 数字散斑干涉三维变形测量技术研究进展[J]. 应用光学, 2020, 41(4): 681-689.
WANG Yonghong, BAO Fengqing, ZHANG Xiao, et al. Three-dimensional deformation measurement based on digital speckle pattern interferometry[J]. Journal of Applied Optics, 2020, 41(4): 681-689. (in Chinese)
[4] PAN B, QIAN K, XIE H, et al. Two-dimensional digital image correlation for in-plane displacement and strain measurement: a review[J]. Measurement Science & Technology, 2009, 20(6): 062001.
[5] 邵新星, 陈振宁, 戴云彤, 等. 数字图像相关方法若干关键问题研究进展[J]. 实验力学, 2017, 32(3): 305-325.
SHAO Xinxing, CHEN Zhenning, DAI Yuntong, et al. Research progress of several key problems in digital image correlation method[J]. Journal of Experimental Mechanics, 2017, 32(3): 305-325. (in Chinese)
[6] YANG J, HUANG J, JIANG Z, et al. SIFT-aided path-independent digital image correlation accelerated by parallel computing[J]. Optics and Lasers in Engineering, 2020, 127: 105964. DOI:10.1016/j.optlaseng.2019.105964
[7] WANG X, LIU X, ZHU H, et al. Spatial-temporal subset based digital image correlation considering the temporal continuity of deformation[J]. Optics and Lasers in Engineering, 2017, 90(5): 247-253.
[8] SU Y, ZHANG Q. Glare: a free and open-source software for generation and assessment of digital speckle pattern[J]. Optics and Lasers in Engineering, 2022, 148: 106766. DOI:10.1016/j.optlaseng.2021.106766
[9] 潘兵, 谢惠民. 数字图像相关中基于位移场局部最小二乘拟合的全场应变测量[J]. 光学学报, 2007, 27(11): 1980-1986.
PAN Bing, XIE Huimin. Full-field strain measurement based on least-square fitting of local displacement for digital image correlation method[J]. Acta Optical Sinica, 2007, 27(11): 1980-1986. (in Chinese) DOI:10.3321/j.issn:0253-2239.2007.11.012
[10] 丁少闻, 张小虎, 于起峰, 等. 非接触式三维重建测量方法综述简[J]. 激光与光电子学进展, 2017, 54: 070003.
DING Shaowen, ZHANG Xiaohu, YU Qifeng, et al. overview of non-contact 3D reconstruction measurement methods[J]. Lasers & Optoeletronics Progress, 2017, 54: 070003. (in Chinese)
[11] 张宗华, 刘巍, 刘国栋, 等. 三维视觉测量技术及应用进展[J]. 中国图象图形学报, 2021, 26(6): 1483-1502.
ZHANG Zonghua, LIU Wei, LIU Guodong, et al. Overview of the development and application of 3D vision measurement technology[J]. Journal of Image and Graphics, 2021, 26(6): 1483-1502. (in Chinese)
[12] LI B, KARPINSKY N, SONG Z. Novel calibration method for structured-light system with an out-of-focus projector[J]. Applied Optics, 2014, 53(16): 3415-3426.
[13] 梁晋, 肖振中, 臧顺来, 等. 外差式多频相移技术的三维光学点云测量研究[J]. 锻压技术, 2008, 33(1): 143-147.
LIANG Jin, XIAO Zhenzhong, ZANG Shunlai, et al. Study on 3D optical points dense cloud measuring system based on heterodyne multiple frequency phase shift technology[J]. Forging & Stamping Technology, 2008, 33(1): 143-147. (in Chinese)
[14] WU Z, GUO W, ZHANG Q. High-speed three-dimensional shape measurement based on shifting gray-code light[J]. Optics Express, 2019, 27(16): 22631-22644.
[15] YANG H, XU X. Structure monitoring and deformation analysis of tunnel structure[J]. Composite Structures, 2021, 276: 114565.
[16] ZHAO Y, ZHU Z, LIU W, et al. Application of 3D laser scanning on NATM tunnel deformation measurement during construction[J]. Acta Geotechnica, 2023, 18(1): 483-494.
[17] YANG H, OMIDALIZARANDI M, XU X, et al. Terrestrial laser scanning technology for deformation monitoring and surface modeling of arch structures[J]. Composite Structures, 2017, 169: 173-179.
[18] ZHANG S, HUANG P S. Novel method for structured light system calibration[J]. Optical Engineering, 2006, 45(8): 083601.
[19] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
[20] SANSONI G, CAROCCI M, RODELLA R. Three-dimensional vision based on a combination of gray-code and phase-shift light projection: analysis and compensation of the systematic errors[J]. Applied Optics, 1999, 38(31): 6565-6573.
[21] GIRARDEAU-MONTAUT D, ROUX M, MARC R, et al. Change detection on points cloud data acquired with a ground laser scanner[J]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2005, 36(3): W19.
[22] CHA G, PARK S, OH T. A terrestrial lidar-based detection of shape deformation for maintenance of bridge structures[J]. Journal of Construction Engineering and Management, 2019, 145(12): 04019075.
[23] LEE D T, SCHACHTER B J. Two algorithms for constructing a Delaunay triangulation[J]. International Journal of Computer & Information Sciences, 1980, 9(3): 219-242.
[24] LAGUE D, BRODU N, LEROUX J. Accurate 3D comparison of complex topography with terrestrial laser scanner: application to the Rangitikei canyon(N-Z)[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 82: 10-26.
Study on deformation measurement method based on structured light point clouds
XIAO Weizhong1,2, YUAN Yingtao1, GE Zhendong1, GUO Xiang1, SUO Tao1, YU Qifeng1,3     
1. School of Aeronautics, Northwestern Polytechnical University, Xi'an 710072, China;
2. China Academy of Aerospace Aerodynamics, Beijing 100074, China;
3. College of Physics and Optoelectronic Engineering, Shenzhen University, Shenzhen 518060, China
Abstract: For the requirement of structural deformation measurement, a deformation measurement method based on structured light point clouds is proposed. A structured light measurement system is built, and the calibration process based on the assumption of the projector's reverse camera and with the help of the checkerboard calibration board is completed. The pattern projected by the projector is designed by using a four-step phase-shift technique assisted by Gray code. By combining with system parameters which have been calibrated, the three-dimensional reconstruction of the object surface is completed. A structural deformation measurement method based on the statistical analysis of the distance between point clouds is proposed, and the principles of three points cloud distance calculation methods including point-to-point, point-to-surface and surface-to-surface are analyzed. The feasibility and accuracy of the deformation measurement method based on the structured light point cloud proposed in this paper are verified via experiments. Experimental results show that this method can achieve out-plane high-precision displacement measurement of structures.
Keywords: structured light    gray code    phase shift    point cloud    deformation measurement    
西北工业大学主办。
0

文章信息

肖维忠, 袁莹涛, 葛振东, 郭翔, 索涛, 于起峰
XIAO Weizhong, YUAN Yingtao, GE Zhendong, GUO Xiang, SUO Tao, YU Qifeng
基于结构光点云的变形测量方法研究
Study on deformation measurement method based on structured light point clouds
西北工业大学学报, 2023, 41(1): 47-55.
Journal of Northwestern Polytechnical University, 2023, 41(1): 47-55.

文章历史

收稿日期: 2022-05-13

相关文章

工作空间