您好,欢迎来到易妖游戏网。
搜索
您的当前位置:首页焊缝跟踪视觉传感器中图像多类型特征选择与提取

焊缝跟踪视觉传感器中图像多类型特征选择与提取

来源:易妖游戏网
维普资讯 http://www.cqvip.com

第19卷第6期 传感技术学报 CHINESE JOURNAL OF SENSORS AND A nIAT0RS Vo1.19 No.6 2006年12月 Dec.2006 Multi-Features Selection and Extraction of Structured Light Images of Vision Sensor for Seam Tracking LjYuan ,XUDe,SHENYang,TANMin (Laboratory of Complex Systems and Intelligence Science,Institute of Automation,Chinese Academy of Scince,Beiejing 100080 China) Abstract:According to various types of images features of welding work pieces joints in vision sensor for seam tracking in welding robot,fl method of features selection and extraction for structured light images is proposed.Images are fragmented with adaptive thresholds,and the centerlines of laser stripes are extrac— ted.By the characters of three typical joints:the groove joints,the butt joints and the left or right lap joints,the points of center gravity of grooves,turning points and the points of discontinuity of stripes are selected as features to be extracted respectively.Test results of images of different type joints testify the efficiency of the method. Key words:welding robot;structured light vision;features extraction;seam tracking EEACC:7230G 焊缝跟踪视觉传感器中图像多类型特征选择与提取* 李 原 ,徐 德,沈 扬,谭 民 (中国科学院自动化研究所复杂系统与智能科学实验室北京100080) 摘 要:针对在焊接机器人焊缝跟踪传感器中不同类型工件焊缝接头的结构光图像特征,提出一种图像特征选择与提取方 法.首先,对图像进行自适应分割,提取出激光条纹中心线.再根据三种典型焊缝接头类型:预留坡口对接类,无坡口直接对接 类和左、右搭接类型焊缝的结构光图像的特点,分别选择激光条纹曲线的沟槽中心、条纹曲线的转折点和间断点作为焊缝特 征点,分别进行提取.对不同类型焊缝结构光图像的处理实验结果,验证了本文方法的有效性. 关键词:焊接机器人;结构光视觉;特征提取;焊缝跟踪 中图分类号:TP212.14 文献标识码:A 文章编号:loo4-l699(2O06)o6—2676-o6 焊缝跟踪是机器人焊接领域的一个重要研究 问题,是实现高质量的机器人自动焊接的基础[1].实 现焊缝位置检测的方法有多种,常用的有电弧式、接 触式、超声波、红外和光电式传感等方法.其中,结构 光视觉方法以其精度高,信息丰富,抗干扰性好等优 点,被认为是很有发展前途的一种传感方式[2 ].结 构光视觉方法用于焊缝位置检测,通常是将激光结 机采集条纹图像,经过图像处理提取出焊缝条纹特 征点在图像空间位置,从而实现焊缝位置测量.激光 结构光投射于不同类型的焊缝上形成的激光特征条 纹的形状不同.为了适应不同焊缝接头类型的激光 条纹图像,需要针对不同类型焊缝、不同形状的激光 条纹选择适当的图像特征,开发相应的图像处理与 特征提取算法.在现有的基于结构光视觉方法的焊 构光投射于工件表面,形成激光特征条纹;通过摄像 缝跟踪系统中,一般针对某一特定类型的焊缝图像 收稿日期:2005—12—12 基金项目:国家“863”项目资助(2002AA422160) 作者简介:李原(1977一),男,博士研究生,研究方向为机器人控制、视觉测量等,lyqs2002@163.com; 谭民(1962一),男,研究员,博士导师,研究方向为机器人控制、先进制造系统分析等; 徐德(1965一),男,副研究员,主要研究方向为机器人视觉,智能控制等; 沈扬(1979一),男,博士研究生,主要研究方向为机器人控制,图像处理等. 维普资讯 http://www.cqvip.com

第6期 李原,徐德等:焊缝跟踪视觉传感器中图像多类型特征选择与提取 2677 开发特征提取算法[5 ],不能满足焊接生产中不同种 类焊缝跟踪的要求. 本文在对焊缝结构光图像进行自适应分割、条 纹中心线提取等图像预处理基础上,针对焊接生产 中常见的三种典型焊缝类型:坡口对接类、直接对接 类和左、右搭接类焊缝,根据其激光结构光图像的不 同特点,分别选择图像条纹曲线的沟槽中心、条纹曲 线的间断点和拐点作为三种类型焊缝的特征点;并 0 20 40 60 80 1O0 120 ^ ——v_-u ]r,、 nr、. f r .^ ’v 图2图像自适应分割阈值 提出了相应的特征提取方法. 1图像预处理 将激光结构光平面投射于工件表面,形成激光 特征条纹,由工业摄像机来采集焊缝结构光条纹图 像.激光结构光、摄像机等组成视觉传感器,姗 瑚 0 置于焊 前端,传感器、工件及机器人末端结构如图1所示. 视觉 图1视觉传感器结构图 图像预处理的目的是对结构光图像进行分割, 提取出激光条纹的中心线,是后续焊缝特征提取的 前提.本文中结构光图像为640×480像素的8位灰 度图像. 首先进行图像焊缝区域搜索.对各个像素点的 灰度值进行累加,灰度累加的均值作为图像的背景 亮度.沿水平方向和竖直方向搜索灰度值大于背景 亮度的像素,根据像素坐标范围确定焊缝图像中条 纹图像的矩形区域.然后,在上述区域内根据图像灰 度频率直方图计算图像自适应分割阈值[9-1o3.将目 标区域按列划分为若干子区域,在各子区域中计算 各个灰度等级出现的频率.当在一个子区域灰度直 方图中较高等级灰度累计出现达到一定频率时,将 此时的灰度值作为图像在该区域的分割阈值.图2 是一幅图像各子区域的自适应分割阈值曲线,从图 中可以看出,图像中部较亮区域的分割阈值较高,两 侧较暗区域则阈值较低,实现了图像的自适应分割. 利用各子区域的分割阈值,对图像目标区域进 行分割处理.根据图像列方向像素灰度的分布曲线, 采用多峰检测算法提取像素灰度曲线上的峰值作为 条纹中心线上的点[1¨.利用条纹曲线的连续性在间 断处进行线性插值,得到条纹曲线中心线.图3是一 幅结构光原始图像和条纹中心线提取结果. 图3原始图像和条纹中心线提取结果 2特征的选择与提取 焊缝特征点的提取,首要问题是条纹曲线特征 的选择.条纹曲线特征选择得当,可以增加特征提取 的可靠性和精度,并可以在一定程度上克服图像预 处理中的中心线提取错误和由于干扰引起的噪声. 通常,激光条纹上的转折点对应于焊缝的边沿点,这 些转折点常被选择为焊缝图像的特征点,如文 献[5_ .但是焊缝存在多种类型,不同类型焊缝图像 选择同一种特征进行提取显然不是最优方案.本文 针对坡口对接类、直接对接类和左、右搭接类焊缝这 三种典型类型焊缝的结构光图像,分别选择焊缝的 沟槽中心、条纹间断点和转折点作为特征进行提取. 2.1坡口对接类焊缝 、坡口对接类焊缝是指那些被焊工件预留坡口, 平行对接的平板或管道工件形成的焊缝.按坡口形 状不同可分为V型坡口、U型坡口、梯形坡口和其 他特殊坡口类型的对接焊缝.多层多道焊接时,随着 焊缝的不断填充,坡口区域的形状在底部也随之变 化.这些坡口对接类型焊缝的共同特点是对接后会 形成明显的焊缝沟槽,如图4所示. 对于坡口对接类焊缝,条纹曲线上的转折点对 应焊缝沟槽的边沿点,传统的方法选择这些转折点 作为焊缝的特征点.这种方法通过求取条纹曲线二 阶导数的极值点,提取条纹的转折点.但是,这样的 特征提取本质上是基于条纹曲线的局部特征的,对 于存在高亮度反光、工件表面杂质干扰的情况下,尤 其是多层焊接,焊缝沟槽底部产生畸变的情况下,选 维普资讯 http://www.cqvip.com

2678 传感技术学报 2006童 ∑i×[ p( )一 ( )] 一FU 一 = b2 ∑[ p( )一 ( )] (1) ∑0.5×[ p( )一 ( )] FV 一!= b2 ∑[ p( ) 一 ( ) ] 图4坡口对接类型焊缝激光条纹图像 焊缝沟槽区图形面积由式(2)计算.焊缝沟槽区 择这样的特征进行提取容易受到干扰,可靠性存在 问题.基于上述讨论,本文提出选择焊缝沟槽中心点 作为特征点.提取算法如下: 首先对图像预处理提取出的激光条纹中心线进 行平滑滤波,去除条纹曲线上由于工件表面焊渣杂 质、反光等引起的噪声干扰,如图5所示. 图5焊缝图像条纹中心线 条纹的主直线是条纹中心线在水平方向的渐 近线;主直线与条纹沟槽区域曲线可以大致构成一 个封闭图形.通过将条纹中心线上点的坐标映射到 直线方程参数空间,利用Hough变换求取主直线方 程参数[1 .从条纹曲线沟槽底部开始,分别沿条纹 两侧方向搜索,当条纹曲线上的点与主直线距离小 于临界值时,得到边界点(b )、(b ),如图6所示. 主直线 界点 \ //b ) ’ 条纹中心线 沟槽区域 ‘ 图6焊缝图像特征点提取 沟槽区图形的中心点坐标可由条纹曲线与主 直线方程计算,如式(1).其中,F ,F 是特征点的 坐标;i,yD(i),yv(i)分别是条纹中心线和主直线上 对应点的横、纵坐标.提取出的沟槽图形中心点即是 坡口对接类焊缝结构光图像的特征点. 图形面积信息反馈给跟踪系统,用来调节机器人的 焊接填充速度等参数. 旦 S一∑i×[ p( )一Y ( )] (2) 一61 2.2直接对接类焊缝 直接对接类焊缝没有预留坡口,是直接将工件 的被焊面对接进行焊接的焊缝.这类焊缝的图像特 点是,焊缝缝隙比较小(只有工件的配合间隙),激光 条纹无明显变形,只在焊缝缝隙处有小的间断点.有 时在间隙点下方由于底板反光而出现亮斑 或由于 工件底部中空而没有底板反光,如图7所示. ● 图7直接对接类型焊缝激光条纹图像 对于直接对接类焊缝,因为条纹曲线无明显转 折点,所以传统的条纹转折点提取方法已经不适用 了.为了准确提取出焊缝图像特征点,我们选取焊缝 条纹间隙点作为特征进行提取.提取算法如下: 首先对图像预处理提取出的激光条纹中心线进 行Hough变换,得到条纹主直线向量: — z+q. 以条纹直线为中心,在 —px+q±Aq包含区 域内的列方向上进行灰度累加投影,得到灰度投影 曲线并进行滤波,如图8所示. 对灰度投影曲线用数据窗进行滑动遍历,计算 ..JI..j . ’_r『 . . ” 。 上I l I I I 0 1o0 2o0 3o0 4【x】 5o0 6o0 图8条纹区域灰度投影曲线 维普资讯 http://www.cqvip.com

第6期 李原,徐德等:焊缝跟踪视觉传感器中图像多类型特征选择与提取 2679 数据窗内各点坐标的方差D 』一∑(5J— —E) .坐 标方差反映了灰度投影曲线在该区域的波动程度, 所以方差曲线最大时数据窗的位置即是焊缝间隙的 大致位置.如图9所示,方差曲线在灰度投影曲线的 间隙附近形成尖峰,对应激光条纹曲线间隙位置. 1 J 址. UII【JI lJ-l_l l JJIIl~jII 0 l00 200 300 400 bOO ouu 图9灰度投影的方差曲线 在确定的焊缝间隙的位置小邻域[ 一△ , + △ ]进行搜索,灰度曲线上的极小值位置则对应焊缝 间隙特征点的横坐标. 将特征点横坐标X代人条纹主直线方程,计算 出条纹图像特征点的纵坐标Y. 2.3左、右搭接类焊缝 搭接类型焊缝是由一个工件叠加到另一工件上 形成的阶梯状类型焊缝,依搭接类型不同可分为左 搭接和右搭接,如图10所示. 图10左右搭接类型焊缝激光条纹图像 它的图像特点是,激光条纹在焊缝附近形成阶 跃跳变,我们选择条纹跳变底部作为焊缝图像特征 进行提取.因为曲线的二阶导数能够反映曲线局部 曲率大小,体现了曲线的转折性,所以采取求取二阶 导数函数极大值的方法来提取焊缝条纹的阶跃拐 点,提取算法如下: 首先对图像预处理提取出的激光条纹中心线进 行平滑滤波,去除条纹曲线上由于工件表面焊渣杂 质、反光等引起的干扰,如图l1所示. 对条纹中心线计算二阶导数曲线,如图12示. 二阶导数绝对值的极值点位置即对应条纹曲 线的转折点.其中极小值点对应条纹曲线阶跃处的 底部,极大值点对应曲线阶跃处的顶部. 判断、提取二阶导数曲线的极值点位置,代人条 纹曲线得到特征点坐标. 图11搭接焊缝激光条纹中心线(滤波后) IJ 图12激光条纹中心线二阶导数曲线 3实验结果与分析 对三种典型类型的焊缝结构光图像,按照上述 方法进行了图像处理和特征提取实验,实验结果见 图13(图中箭头所指为提取出的焊缝图像特征). 图a 、b 、C 为坡口对接类焊缝的反色原始图 像,az、bz、Cz为相应特征提取结果.从图中可以看 出,在图像存在较大的高亮反光干扰的情况下,选择 焊缝沟槽中心作为图像特征,仍然被正确提取出来, 说明图像特征的选择是可靠的. 图d 、e 为直接对接类焊缝的反色原始图像及 特征提取结果,图dz、e2为灰度投影曲线,图d。、e。 为灰度投影的方差曲线.对于这种直接对接类焊缝 的图像特征不明显的情况,通过本文方法仍然可以 正确提取特征. 图f 、g 为左右搭接类焊缝的反色原始图像及 特征提取结果,图fz、gz为条纹中心线,图f。、g。为 中心线的二阶导数曲线.通过检测二阶导数曲线极 值点位置,图像特征被提取出来. 由实验结果可以看出,应用上述方法,对不同类 型的焊缝结构光图像特征进行了正确提取,说明了 本文提出的特征选择与提取方法的有效性. 4结 论 本文针对焊缝跟踪系统中常见的三种典型焊缝 接头结构,提出了相应的焊缝结构光图像的特征选 择与提取方法.首先,通过自适应分割等预处理提取 出焊缝激光条纹中心线.对于坡口对接类焊缝图像, 检测焊缝沟槽区域边界形状,选择提取图形中心点 作为图像特征;对于直接对接类焊缝图像,通过检测 焊缝区域像素灰度累加曲线,确定焊缝条纹缺口,提 维普资讯 http://www.cqvip.com

2680 传感技术学报 2006生 (a1) (a2) (b1) (b2) 4Ooo 3Ooo ∞一《 s ’ (c1) l0000 J 8ooO 6Ooo 2Ooo I lO00 l’.  ..1。. O O loo 2oo 3oo 4oo 5oo 6oo 4000 2Ooo I .J L.L_.■JjJ一_ 1●且▲|1.J J- O 0 loo 2oo 3oo 4oo 500 6oo (d1) 3Ooo 25oo (d2) (d3) 20()0 l5oo .. ^●.I ^ . .lOoo 5oo ,_ VV 、 ’_L ’ I ’ , J . . . 。 . . O O loo 2oo 3oo 4oo 500 6OO (e1) (e3) 4oo 300 2oo loo O l9 l19 219 3l9 4l9 5l9 6l9 11................一 一 I ^ 一 V I (f1) (f2) 3 400 3oo 2 (f3) , l O —I 2oo loo 一l 2 ^ Ⅱ 『 l38 239 338 438 538 O l9 l19 219 3l9 419 5l9 6l9 —3 38 (g1) (g2) (g3) 图13实验结果 维普资讯 http://www.cqvip.com

第6期 李原,徐德等:焊缝跟踪视觉传感器中图像多类型特征选择与提取 2681 取出特征点;对于左、右搭接类焊缝图像,选择条纹曲 Technology,March 1996,143(2):85—9. 线阶跃点作为图像特征,计算条纹曲线二阶导数的极 [7]刘南生,袁荣喜,付继武等.基于埋弧焊V型坡i:i的三维视觉 值进行提取.针对不同类型的焊缝的激光结构光图 信息的提取及处理研究[J].南昌大学学报(工科版),2001, 23(4):1-5. 像,进行了图像处理和特征提取实验.实验结果表明, [8]HaugK,PristrehowGReducingDistortionsCaused bytheWeld— 对于不同类型的焊缝图像,在图像包含强反光等干扰 ign Arc in a Laser Stirpe Solsor System for Automatde Seam 下,本文提出的特征选择与提取方法能够可靠、准确 Tracikgn[C]}}Proceedignsofthe 1999 IEEEInternaitonalSympo— 地提取焊缝图像特征,验证了方法的有效性. sitrm onIndustiral Electronics,Blde(Slovenia):12—16. [9]徐德,赵晓光,涂志国等.基于结构光立体视觉的焊缝测量 参考文献: [J].焊接学报,2004,25(5):45—52. [1O]Xu D,Jiang Z M,Wagn L K,et a1.Features Extraction for [1]吴林,陈善本.智能化焊接技术[M].北京,国防工业出版社, Structured Light Image of Welding Seam with Arc and Splash 2oGn Disturbance[C]∥T_he Eighth International Conference on [2]岳宏,孙立新,李慨等.基于结构光焊缝跟踪系统的研究[J]. oCntrol,Automation,Robotics,and Vision(ICRACV 河北工业大学学报,1999,28(4):21-24. 2004),Kunming,China,December,2004:1559—1563. [3]宋,朱六妹,王伟等.视觉焊缝跟踪实时图像处理研究 [11]Li Y,Xu D,Tan^,L Robust Features Extraction for Struc— D].焊接技术,2003,32(1):10—12. tured Light Image of Welding Seam in Multi-pass Submerged [4]Kim J S,Son Y T,Cho H S,Koh K L A Robust Method for Arc Weldign[C]∥International Conference on Electronic Visual Seam Tracking System for Robotic Arc Welding[J]. Measure and Instrument(I(IEMI 2005),Beijing,China, Mechantronics,1996,6(2):363-368. 2005,6:613-619. [5]MikeWilson,The role of SeamTrackign inRoboticWeldign and [12]Duda R O,Har P E Use of the Hough Transformation tO Bondin ̄J].The Industrial Robot,2002,29(2):132—137. eDtect Lines and Curves in Pictures[J].Communications of [6] Wu J,Smith J S,Lugs J.we1d bead Placement System for the ACM,1972,15(1):ll一15. Multipass Weldign[J].IEE Proc.一Science,Measurement and (上接第2671页) 表3一发四收型与一发一收型双晶水膜探头水平分辨力比较 单位:nun 3 总 结 , 参考文献: 综上所述,我们自行研制开发的一发四收型双 Zhan Xianglin,et aL A Digital Portable Instrument for A-Scan 晶水膜探头通过多项试验测试验证,其特有的四接 Ultrasonic Flaw Inspection[C]II Proceedigns of the 5th World 收晶片的组合结构,使探头整体有效声束增大,探头 oCngress on Intelligent Control and Automation,2004,VolI 4:3644—3647. . 灵敏度均匀;提高了对近表面层缺陷的分辨力,减少 林书玉.超声换能器的原理及设计[M].科学出版社,2004: 了检测盲区,从而可探测较浅工件或工件表面层内 10-14. 的缺陷.与传统的一发一收型双晶探头相比,一发四 张广纯主编.金属材料的超声波探伤[c]∥冶金无损检测人 收型探头具有探头声束宽,定量精度高,探头水平分 员技术资格坚定委员会,2002:78. 辨力强,探伤速度快,效率高,耦合条件稳定,探伤灵 日本学术振兴会制钢第19委员会编,李靖,马羽宽等译校. 超声探伤法[M].广东科技出版社,1981:75. 敏度均匀等优势,并且在探测同宽度钢板时,使用一 全国锅炉压力容器无损检测人民资格考核委员会编.超声波 发四收型探头的数量比使用传统的一发一收型探头 探伤[M].劳动部锅炉压力容器安全杂志社,1995:87. 数量减少很多,从而提高了自动探伤的技术水平 这 北京市技术交流站编.超声波探伤原理及其应用[M].机械 种新型的双晶水膜探头与自动探伤技术结合,可大 工业出版社,1982:159. 大提高现今钢板质量检测的技术指标,进一步满足 胡建恺等.超声检测原理和方法[M].中国科学技术大学出版 社,1993:24—33. 了用户对产品的质量要求. 美国无损检测学会编.美国无损检测手册(超声卷)[M]上册. 世界图书出版公司,1996:335—336. [9]厚钢板超声波检验方法[M].中华人民共和国国家标准GB/T 2970—2004. I=I]

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- vipyiyao.com 版权所有 湘ICP备2023022495号-8

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务