基于激光视觉传感器的机器人实时焊缝跟踪方法

阅读: 评论:0

2024年1月26日发(作者:)

基于激光视觉传感器的机器人实时焊缝跟踪方法

第51卷 第4期               激光与红外 2021年4月              LASER & INFRAREDVol.51,No.4April,202110015078(2021)04042107  文章编号:·激光应用技术·基于激光视觉传感器的机器人实时焊缝跟踪方法陈新禹,张庆新,朱琳琳,胡 为(沈阳航空航天大学自动化学院,辽宁沈阳110136)摘 要:为实现变姿态焊接过程的实时焊缝跟踪,提出基于机器人坐标系下绝对焊缝轨迹的实时跟踪算法。将线式激光传感器安装在机器人的法兰盘上,且位于焊枪运行的前方。焊接过程中,激光传感器连续采集焊缝位置信息,并结合手眼标定矩阵以及机器人实时姿态,将传感器采集的焊缝坐标转换到机器人基础坐标系下,从而形成空间绝对焊缝轨迹;再根据焊枪的当前位置与焊缝的空间绝对轨迹生成位置偏差。为了提高计算精度,提出采用三次非均匀有理B样条进行数据插值和检索;最后,将位置偏差变换到焊枪工具坐标系下进行实时修正。实验结果表明:该跟踪算法能够实现焊接机器人针对变姿态焊接过程的连续跟踪,跟踪过程平滑光顺,跟踪整体精度优于05mm。基本满足焊缝实时跟踪应用的一般要求。关键词:焊缝跟踪;实时跟踪;样条插值;激光传感器;焊接机器人中图分类号:TP2422  文献标识码:A  DOI:10.3969/j.issn.10015078.2021.04.004ThemethodofrealtimeseamtrackingforroboticweldingsystembasedonlaservisionsensorCHENXinyu,ZHANGQingxin,ZHULinlin,HUWei(SchoolofAutomation,ShenyangAerospaceUniversity,Shenyang110136,China)Abstract:Inordertorealizerealtimeseamtrackingwhilechangingweldingtorch′sgesture,anoveltrackingstrategybasedonabsoluteseamtrajectoryisproposedThelinestructuredlasersensorismountedontheflangeofrobotinthefrontoftheweldingtorchDuringtheweldingprocess,thelasersensorcontinuouslycollectstheseampositioninsen,thehomogeneouscoordinatevaluesorcoordinatesystemUsinghandeyematrixandrobotpositionandgesturematrixcanbetransformedfromsensorcoordinatesystemintorobotbasecoordinatesystem,whichformedtheabsoluteseam;thepositiondeviationcanbecomputedaccordingtothecurrentpositionoftheweldingtorchandtheabsotrajectoryluteseamtrajectoryInordertoimprovetheaccuracyofthecalculation,amethodofinterpolationbasedoncubicnonuniformrationalBsplinesisaddressed;finally,thepositiondeviationistransformedtothecoordinatesystemofweldingtorchtoolforrealtimepositioncorrectionTheexperimentalresultsshowthatthenovelstrategycanrealizethecontinuoussmoothlytrackingwhilechangingtorch′sgestureinweldingprocess,anditstrackingerrorisbetterthan05mmwhichsatisfiestherequirementsofautomaticweldingKeywords:seamtracking;realtimetracking;splineinterpolation;lasersensor;weldingrobot基金项目:国家自然科学基金项目(No.61503256);辽宁省自然科学基金联合基金项目(No.2015020061)资助。作者简介:陈新禹(1986-),男,博士研究生,讲师,主要从事机器视觉,视觉测量,智能焊接等方面的研究。Email:chensavvy@163.com收稿日期:20200707

4221 引 言激光与红外                    第51卷2)利用非均匀样条插值算下,形成绝对焊缝轨迹;法,计算焊枪与焊缝绝对轨迹之间的位置偏差;3)焊接机器人可以提高生产效率、优化焊接质量、改善劳动条件,因此,被广泛应用在航空航天、船舶制造、汽车生产和各类加工制造业中。但当焊接对象或者焊接条件改变时,焊接机器人如果不能及时做出相应的调整,会使得焊枪偏离焊缝中心,从而造成焊接质量下降[1],因此,需要借助合适的传感器解决在线跟踪问题。激光视觉传感器凭借其非接触、速度快、精度高和抗干扰能力强等优点,而被广泛应用于机器人自动化焊接领域。Chang等[2]搭建了一套移动焊接机器人系统,成功应用于造船厂的双壳结构和钢框架结构的自动焊接,并提出了一种微分特征点提取算法以及焊枪摆焊的路径规划算法。Ding等[3]搭建了一套基于激光视觉的焊缝跟踪系统,并提出一种基于模板匹配的坡口定位方法,在此基础上进一步提出利用FIFO堆栈来解决焊枪与传感器之间的前置距离问题,但并未针对焊接过程中焊接姿态需要变换的情况提出解决方法。Graaf等[4-5]提出基于轨迹的跟踪控制方法,实现焊缝在线实时跟踪。中国科学院方灶军[6]和景奉水等[7]基于激光视觉传感器并结合模糊控制器分别实现角接焊缝和狭窄焊缝的自动焊接,解决了在跟踪过程中机器人稳健控制问题。东南大学李新德[8]和河北工业大学陈海永[9]研究了焊缝特征描述算法,再通过模板匹配思想进行焊缝类型识别与定位,该类方法较好地解决了焊缝识别和识别准确度的问题。以上学者在焊缝识别、实时跟踪和运动控制等方面取得了显著成果,大大促进了相关技术的发展和应用,但对变姿态焊缝跟踪过程研究较少。本文提及的变姿态焊接是指:由于待焊母材的焊缝走势不单一,焊接过程中,焊枪的前进方向和焊接姿态需要适当调整,以使焊缝始终处于传感器视野范围内同时焊枪也能以合适的姿态进行焊接作业。由于激光传感器和焊枪之间存在一定的前置距离,尤其是前进方向和作业姿态需要适应焊缝不断变换,使得实时焊缝跟踪算法成为自动化焊接领域研究的难点[10]。为了解决焊接过程中前进方向、焊接姿态和焊接速度需要变化的问题,本文提出基于焊缝绝对空间轨迹的跟踪方案,主要包括以下步骤:1)将传感器采集到的焊缝位置点变换到机器人基础坐标系将位置偏差变换到焊枪工具坐标系下进行实时修正。最终解决在多约束条件下的实时焊缝跟踪问题。2 机器人焊缝跟踪系统21 焊缝跟踪系统构成机器人焊缝跟踪系统主要由六自由度焊接机器人、线激光视觉传感器、焊枪以及焊机组成,系统结构原理如图1所示。从图中可以看出激光传感器实时采集焊缝位置数据,并将位置信息通过TransmissionControlProtocol(TCP)发送给传感器控制器完成偏差量的计算,再将计算结果通过TCP返回给机器人控制器,从而实现焊接机器人相对焊缝位置的实时修正。该系统是一个典型的闭环控制系统,激光视觉传感器以及焊缝跟踪算法构成其中的反馈环节,因此,对于实现良好的自动化焊接过程至关重要。22 焊缝特征点提取将工件置于激光传感器的视野内,激光线被投射到焊缝上,如图2(a);同时CCD相机采集被焊缝表面调制后的光条信息,如图2(b);使用Steger算法提取光条中心,如图2(c);最后在三维数据点的基础上,采用二阶差分特征点检测算法实现焊缝位置的识别和定位[2]。算法处理过程主要经过高斯平滑滤波、二阶差分、局部极大值抑制等算法,左高搭接焊缝的最终检测结果如图2(d)。为了减小实际焊接过程中的强弧光和飞溅的干扰,除了传感器上安装波长匹配的滤光镜以及尺寸适当的挡弧片外,软件采用基于多角度拉东变换的去噪算法[11],实现了较好的效果,但由于不是本文的重点,这里不做详述。图1 焊缝跟踪系统示意图Fig1Schematicdesignofseamtrackingsystem

激光与红外 No.4 2021      陈新禹等 基于激光视觉传感器的机器人实时焊缝跟踪方法423图2 焊缝特征点提取图Fig2Characteristicpointfindingofweldseam23 机器人手眼标定激光视觉传感器的测量数据位于传感器自身坐标系,因此,提取的焊缝特征点也是位于传感器坐标系下。手眼标定是实现将传感器检测的焊缝位置信息用于焊接引导的前提,手眼标定矩阵TSEF的具体形式为:RSSTSEFTEFEF=[01]其中,RSSEF为3×3的旋转矩阵;TEF为3×1的平移矩阵。传感器坐标系到机器人坐标系的变换过程如公式(1)所示:PEFSR=TRB·TEF·PS(1)式中,PR为机器人坐标系下的齐次坐标值;PS为激光传感器采集焊缝点的齐次坐标值;TEFRB为机器人工具坐标系到机器人基础坐标系的变换矩阵,可将机器人当前姿态代入公式(2)得到[12]。TEFRB=RT·RZ·RY·RX(2)24 焊接跟踪流程焊接作业前,首先需要示教机器人的初始焊接路径,示教路径要兼顾焊枪和激光传感器相对焊缝的位置。跟踪开始后,机器人先运动到焊接位置的起点,并发送激光传感器启动指令,然后控制机器人按照示教的初始路径进行移动。运行过程中机器人不断将实时位置和姿态发送给传感器控制器。传感器控制器在接收到机器人位置后同步控制激光传感器采集焊缝位置,并使用本文提出的焊缝跟踪算法计算当前焊枪的位置偏差,返回给机器人控制柜进行位置修正,从而实现对焊缝的实时跟踪,保证焊枪以准确的姿态进行焊接作业。3 实时焊缝跟踪算法实时焊缝跟踪是实现自动化焊接的关键问题之一,跟踪算法的好坏直接决定焊接质量。本文提出基于绝对轨迹的焊缝跟踪算法,算法原理如图3所示。其中,ORBXRBYRBZRB表示机器人基础坐标系;OiRTXRTYRTZRT表示机器人工具坐标系;PR表示第i个焊缝点的绝对坐标,对应图中的实心圆;空心圆PT表示当前焊枪的真实位置,显然焊枪位置和焊缝轨迹之间存在一定偏差;方块表示在当前位置和姿态下传感器新采集的焊缝点。图3 焊缝跟踪过程示意图Fig3Theschematicofseamtrackingprocess31 算法流程跟踪算法具体实现步骤为:(1)计算TEFRB矩阵:获取机器人焊枪工具的实时位置PT和姿态,并利用式(2)计算TEFRB矩阵。(2)获取传感器数据:与步骤(1)同步,触发激光传感器采集当前焊缝特征点PS。(3)更新轨迹堆栈:在(1)和(2)步骤的基础上,利用式(1)计算新采样焊缝位置PR并压入焊缝轨迹堆栈,如图3中的方块点。为了防止错误焊缝位置点被引入到轨迹中,提出采用卡尔曼滤波方法对新采集位置点进行滤波处理,具体细节参照32节。(4)计算焊缝轨迹中的对应点:为了找到当前焊枪位置PT在焊缝轨迹上的准确对应点P′T,提出采用三次非均匀有理B样条(NURBS)插值对应点

424激光与红外                    第51卷的方法,具体细节参照33节。(5)计算位置偏差:因为P′T和PT均位于机器人的基础坐标系下,因此位置偏差ErrRB=P′T-PT同样位于基础坐标系下。如将工具坐标系的y轴定义为焊接的前进方向,可以看出位置偏差主要存在于工具坐标系的x和z轴分量上。由此,可将偏差量变换到机器人工具坐标系下并仅对x和z分量进行纠正,变换过程如式(3):ErrRT=(TEFRB)′·ErrRB(3)式中,(TEFRB)′表示TEFRB的逆矩阵。32 基于卡尔曼滤波的轨迹去噪为了防止错误焊缝点被引入绝对焊缝路径,导致焊缝跟踪过程出现抖动,造成焊接质量下降甚至出现撞枪的事故。本文提出基于卡尔曼滤波的轨迹去噪思路:在新采样焊缝点被压入堆栈前,先使用卡尔曼滤波对新采样点进行处理。如果新采样点PR与最优估算点P^R之间满足式(4)则将其视为噪声点去掉。dis(PR,P^R)>thr(4)式中,dis(·,·)表示两点之间的欧拉距离;thr为设定阈值,需要根据不同的焊缝变化曲率和焊接速度来设置,一般取值在05~15mm之间。33 基于NURBS的路径点插值在焊缝轨迹中搜索PT的最近点,如图3中最近点为PiiR。同时使用PR的前后各4个临近点,共9个点作为控制点进行NURBS插值,控制点向量如式(5)所示。本文采取累计弦长的方式实现各个位置点的参数化,从而将每个位置点对应于唯一的节点数值。控制点向量中第k个控制点的节点数值可由公式(6)计算。设焊枪当前位置PT在焊缝轨迹上的对应点为P′T。为了插值P′T,首先需要计算P′T的对应节点值。提出利用PiT点代替其最近点PR,再利用累计弦长的方法近似计算P′T的节点值,计算过程如式(7)。最后,P′T可由公式(8)的加权函数计算。D=[Pi-4i-3i-2i-1ii+1i+2i+3i+4RPRPRPRPRPRPRPRPR]T(5)0  k=0uk={k8∑dis(PiR-4+j,PiR-4+j-1)/dis(PiR-4+j,PiR-4+j-1) 1≤k≤8j=1∑j=1(6)3u=∑dis(Pi-4+jR,Pi-4+j-1R)+dis(Pi-1T,PR)j=18∑dis(Pi-4+ji-4+j-1R,PR)j=1(7)nP′T=s(u)=∑D(i)Ni,4(u)(8)i=0式中,Ni,4(u)为三次B样条基,可由以下递推公式迭代计算:Ni,k(u)=u-uiuNi,k-1(u)+ui+k-uNi+1,k(u)i+k-1-uiui+k-u-1i+1其中,N∈[ui,ui+1]i,1(u)={1 u0 u[u,且规定当分母i,ui+1]为0时分式值为0。这里由于引入非均匀有理B样条算法进行插值处理,使得传感器的采样点不必均匀分布。对于焊接过程中前进速度的改变、激光传感器采集焊缝位置出现小概率失败等情况均具有很好地适应能力,解决了基于位置偏差进行焊缝跟踪一类方法的不足(如文献[3]的跟踪方法)。4 实验验证与分析本实验系统主要由安川YRC1000控制柜、MOTOMANAR1440型机器人、自主研发的激光焊缝跟踪传感器、多种焊接试验件、焊缝跟踪控制软件等构成,系统平台如图4所示。传感器通过支架被安装在焊枪绝缘套上,为了确保传感器的安全,需进一步在传感器安装支架上添加绝缘垫圈。跟踪实验前要先标定出传感器与机器人间的手眼矩阵,本文借鉴文献[13]方法实现,手眼矩阵结果为:-09986-00291-0044107976TS00199-0944603279-674316EF=00512-03269-09437137450800000000000000010000为了验证本文跟踪算法的可行性和精度,分别对圆弧、异形、S形焊缝进行跟踪实验。实验过程中,将上述形状的切割板材放置在实验平台上,此时切割板材的边沿与实验平台构成搭接型坡口,该坡口与真实焊缝坡口类似,可以满足跟踪测试的要求。并且所使用测试样件的坡口相较真实焊缝具有更好的一致性,可以将焊缝坡口检测误差控制在更小的范围内,从而更有针对性地评价本文所提出的实时跟踪算法的性能。同时为了更有针对性地测试跟踪

激光与红外 No.4 2021      陈新禹等 基于激光视觉传感器的机器人实时焊缝跟踪方法425算法的精度,而不是坡口检测和抗弧光算法的性能,实验过程中并没有真实起弧焊接,以避免弧光、飞溅等干扰对检测精度造成影响,从而将误差累加到整体跟踪过程。实验中,机器人的前进速度设置为10mm/s,机器人位置的修正频率为20f/s(即机器人与激光传感器的通讯帧率和激光传感器的采样频率均为20f/s)。跟踪过程中将计算的绝对焊缝轨迹以及焊枪位置的实时偏差量进行显示和分析,实验结果分别如图5~7所示。图5所示是一个直径400mm的标准部分圆工件。图6为一个异形样件,其具有直边、斜边、R角以及需要完整跟踪一周的特点。图7是一个波浪曲线样件。从各图的跟踪误差曲线可以看出,跟踪过程只有在起始阶段存在较大误差,这主要是因为初始跟踪时焊枪和工件间存在明显位置偏差,但随着跟踪算法的介入,跟踪误差迅速减小。在忽略初始位置偏差的情况下,正常跟踪过程的误差均可以控制在05mm以内,具体误差统计结果如表1。为了更合理的分析跟踪误差,统计中使用的是实际误差的绝对值,避免正负误差中和的问题。需要说明的是,虽然本文实验的跟踪精度是在一定程度地保正坡口检测精度、去除弧光干扰等条件下获得的,但仍可以证明本文提出实时跟踪算法的有效性和精度。图4 焊缝跟踪系统实物Fig4Weldseamtrackingsystem表1 跟踪误差结果(单位:mm)Tab.1Resultsoftrackingerror(Unit:mm)工件最大误差平均误差均方根误差圆形焊缝035014010异形焊缝047025020S形焊缝049029017  由实验结果可以看出,提出的跟踪方法可以很好地解决实时焊缝跟踪问题,分别实现对圆弧、异形、S形焊缝进行连续不间断跟踪。经进一步分析,跟踪过程的误差主要由以下几方面造成:(1)焊枪工具坐标系标定误差。一般焊枪工具会存在02mm以上的标定误差;(2)传感器与机器人之间的手眼矩阵以及机器人本体运动存在的误差;(3)系统通讯以及传感器采集数据的延时误差。经测量发现,系统整体存在约002s的延时,针对10mm/s的焊接速度,在前进方向会产生约02mm的位置偏差;(4)跟踪算法在对应点查找、偏差修正方面带来的误差。图5 圆形焊缝跟踪结果Fig5Trackingresultsofcircularseam

426激光与红外                    第51卷图6 异形焊缝跟踪结果Fig6Trackingresultsofirregularseam图7 S形焊缝跟踪结果Fig7TrackingresultsofScurveweld5 结 论本文对激光视觉传感器的机器人焊缝跟踪系统的结构和工作流程进行了介绍,提出基于绝对轨迹的焊缝实时跟踪算法。通过对多种不同类型的标准焊接样件进行跟踪实验,实验结果表明:在焊接速度约为10mm/s的条件下,跟踪过程响应迅速,运动路径平滑光顺,未出现明显抖动现象,整体跟踪精度优于05mm。证明本文提出实时跟踪算法的可行性,基本满足实时在线引导焊接应用的要求。参考文献:[1] LiLin,LinBingqiang,ZouYanbiao.Studyonseamtrackingsystembasedonstripetypelasersensorandweldingrobot[J].ChineseJournalofLasers,2015,42(5):0502005.(inChinese)李琳,林炳强,邹焱飚.基于条纹式激光传感器的机器人焊缝跟踪系统研究[J].中国激光,2015,42(5):0502005.[2] DChang,DSon,JLee,etal.Anewseamtrackingalgorithmthroughcharacteristicpointdetectionforaportableweldingrobot[J].RoboticsandComputerIntegrated

激光与红外 No.4 2021      陈新禹等 基于激光视觉传感器的机器人实时焊缝跟踪方法427Manufacturing,2012,28:1-13.[3] YDing,WHuang,RKovacevic.Anonlineshapematchingweldseamtrackingsystem[J].RoboticsandComputerIntegratedManufacturing,2016,42:103-112.[4] MdeGraaf,RAarts,JMeijer,etal.Robotsensorsynchronizationforrealtimeseamtrackinginroboticlaserwelding[C]//ProceedingsofThirdInternationalWLTConferenceonLasersinManufacturing2005,Munich,June,2005:1-6.[5] MdeGraaf,RAarts,BJonker,etal.Realtimeseamtrackingforroboticlaserweldingusingtrajectorybasedcontrol[J].ControlEngineeringPractice,2010,18:944-953.[6] ZFang,DXu,MTan.Avisionbasedselftuningfuzzycontrollerforfilletweldseamtracking[J].IEEETransactionsonMechatronics,2011,16(3):540-550.[7] JFFan,FSJing,LYang,etal.Apreciseseamtrackingmethodfornarrowbuttseamsbasedonstructuredlightvisionsensor[J].Optics&LaserTechnology,2019,109:616-626.[8] XDLi,XHLi,SSGe,etal.Automaticweldingseamtrackingandidentification[J].IEEETransactionsonIndustrialElectronics,2017,64(9):7261-7271.[9] ChenHaiyong,CaoJunqi,RenYafei,etal.Multiscaleshapedescriptortemplatematchingalgorithmbasedonweldpointsofinterest[J].TransactionsoftheChinaWeldingInstitution,2018,39(10):1-5.(inChinese)陈海永,曹军旗,任亚非,等.基于焊缝兴趣点的多尺度形状描述符模板匹配算法[J].焊接学报,2018,39(10):1-5.[10]LNele,ESarno,AKeshari.Animageacquisitionsystemforrealtimeseamtracking[J].TheInternationalJournalofAdvancedManufacturingTechnology,2013,68(9-12):2099-2110.[11]LiuXiwen,ChenXianming,LiuChaoying.ImageprocessinginweldingseamtrackingwithstructurelightbasedonRadontransformandfuzzyenhancement[J].TransactionsoftheChinaWeldingInstitution,2017,38(2):19-22.(inChinese)刘习文,陈显明,刘超英.基于拉东变换和模糊增强的结构光焊缝跟踪图像处理[J].焊接学报,2017,38(2):19-22.[12]ChenTianyuan,SongGuangming,WangFulin,etal.Designofaweldingseamtrackingsystemwiththestructuredlightbasedonthehandeyesystem[J].ChineseJournalofScientificInstrument,2017,38(10):2407-2414.(inChinese)陈天元,宋光明,王富林,等.基于手眼系统的线结构光焊缝跟踪系统设计[J].仪器仪表学报,2017,38(10):2407-2414.[13]ZhengJian,ZhangKe,LuoZhifeng,etal.Handeyecalibrationofweldingrobotbasedontheconstraintofspatialline[J].TransactionsoftheChinaWeldingInstitution,2018,39(8):108-113(inChinese)郑健,张轲,罗志锋,等.基于空间直线约束的焊接机器人手眼标定[J].焊接学报,2018,39(8):108-113.

基于激光视觉传感器的机器人实时焊缝跟踪方法

本文发布于:2024-01-26 03:50:28,感谢您对本站的认可!

本文链接:https://www.4u4v.net/it/1706212228688.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:焊缝   跟踪   焊接
留言与评论(共有 0 条评论)
   
验证码:
排行榜

Copyright ©2019-2022 Comsenz Inc.Powered by ©

网站地图1 网站地图2 网站地图3 网站地图4 网站地图5 网站地图6 网站地图7 网站地图8 网站地图9 网站地图10 网站地图11 网站地图12 网站地图13 网站地图14 网站地图15 网站地图16 网站地图17 网站地图18 网站地图19 网站地图20 网站地图21 网站地图22/a> 网站地图23