劉源泂,薛海浪,岳澤宇,湯 勃
(1.武漢科技大學(xué)冶金裝備及其控制教育部重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430081;2.武漢科技大學(xué)機(jī)械傳動(dòng)與制造工程湖北省重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430081;3.江蘇鴻光桿塔有限公司設(shè)計(jì)部,江蘇 宜興 214200)
鋼結(jié)構(gòu)桿塔是電網(wǎng)輸電線(xiàn)路架設(shè)的重要部件,其中鋼管塔結(jié)構(gòu)以其外形美觀,體形系數(shù)小,易安裝等特點(diǎn)而應(yīng)用廣泛[1]。目前我國(guó)鋼管桿塔多段連接時(shí)一般采用有頸法蘭連接方式[2],生產(chǎn)制造時(shí)需將法蘭及其肋板焊接到塔身。鋼管塔尺寸規(guī)格多樣,塔身分為圓筒形、多邊形,沿法蘭圓周肋板數(shù)量多,支撐塔身轉(zhuǎn)動(dòng)的定位托輪旋轉(zhuǎn)定位誤差較大,故目前仍采用人工焊接,存在勞動(dòng)強(qiáng)度大,效率低等問(wèn)題。因此焊縫的實(shí)時(shí)定位是實(shí)現(xiàn)桿塔法蘭肋板自動(dòng)化焊接的首要問(wèn)題。
針對(duì)船身表面、大型管道、空間多類(lèi)型焊縫等復(fù)雜自動(dòng)焊接場(chǎng)合,定制開(kāi)發(fā)對(duì)應(yīng)視覺(jué)焊縫三維信息檢測(cè)方法,能有效得引導(dǎo)焊接機(jī)器人規(guī)劃焊接路徑[3]。一般視覺(jué)三維測(cè)量方法包括單目視覺(jué)、雙目立體視覺(jué)及結(jié)構(gòu)光視覺(jué)[4~5]等,其中結(jié)構(gòu)光視覺(jué)因其靈活、高效高精等特點(diǎn)在焊縫引導(dǎo)中應(yīng)用廣泛[6]。其研究重點(diǎn)主要集中于適應(yīng)具體任務(wù)的焊縫圖像獲取方法、特征提取算法及系統(tǒng)方法可靠性等方面,如采用分步定位光切法[7],對(duì)結(jié)構(gòu)光中心進(jìn)行直線(xiàn)擬合得到交點(diǎn)作為焊縫點(diǎn),實(shí)現(xiàn)單條筆直角焊縫的三維檢測(cè);針對(duì)船艙底部狹小空間焊縫設(shè)計(jì)基于旋轉(zhuǎn)電弧和激光視覺(jué)雙傳感方法[8],對(duì)平面不連續(xù)角焊縫和流水孔特征識(shí)別;光切法對(duì)三面體結(jié)構(gòu)的角焊縫掃描[9],運(yùn)用漸進(jìn)霍夫變換法確定圖片角點(diǎn)信息,坐標(biāo)轉(zhuǎn)換后反饋給焊接機(jī)器人;針對(duì)不同形狀的角焊縫設(shè)計(jì)自適應(yīng)線(xiàn)增長(zhǎng)算法[10],以增強(qiáng)三維識(shí)別的魯棒性等。
常用的結(jié)構(gòu)光方法硬件結(jié)構(gòu)緊湊,便于靈活布置,但多用于提取單條或連續(xù)焊縫;三維信息提取常用的雙目、多結(jié)構(gòu)光等視覺(jué)系統(tǒng)硬件結(jié)構(gòu)空間尺寸大、算法處理時(shí)間長(zhǎng)(受目標(biāo)結(jié)構(gòu)復(fù)雜性和精度影響)。而電力桿塔法蘭肋板數(shù)量多、空間小,焊縫識(shí)別需兼顧精度和效率,即同時(shí)識(shí)別多條焊縫信息,因此常規(guī)方法存在局限性。這里提出一種光切面掃描和基于三維點(diǎn)云處理的焊縫三維特征信息識(shí)別方法,首先標(biāo)定光切平面及測(cè)量模型,掃描目標(biāo)后反求得到空間點(diǎn)云集合,設(shè)計(jì)點(diǎn)云圖的面、線(xiàn)分割算法提取焊縫邊緣,實(shí)現(xiàn)同時(shí)多條焊縫的三維識(shí)別。
光切面三維測(cè)量模型采用激光三角法原理[11],將相機(jī)內(nèi)參與結(jié)構(gòu)光平面結(jié)構(gòu)參數(shù)相結(jié)合,如圖1 所示。其中相機(jī)坐標(biāo)系為Oc-XcYcZc,圖像坐標(biāo)系為O-xy,像素坐標(biāo)系為O-uv,世界坐標(biāo)系為Ow-XwYwZw。
圖1 光切面三維測(cè)量模型Fig.1 3D Measurement Model of Optical Section
由相機(jī)投影模型可知,對(duì)激光線(xiàn)上的任意一點(diǎn)P進(jìn)行三維重構(gòu),能獲得一條過(guò)點(diǎn)P及光心的一條射線(xiàn)OP,即該射線(xiàn)在相機(jī)坐標(biāo)系下的方程。若結(jié)構(gòu)光平面在相機(jī)坐標(biāo)系下的方程已知,則可聯(lián)立射線(xiàn)方程及結(jié)構(gòu)光平面方程,獲得該點(diǎn)在相機(jī)坐標(biāo)系下的唯一確定的三維坐標(biāo)。
由投影變換關(guān)系,相機(jī)坐標(biāo)系與像素坐標(biāo)系轉(zhuǎn)換關(guān)系為:
式中:dx—單位像素在X軸方向上物理尺寸;dy—單位像素在Y軸方向上物理尺寸;f—相機(jī)焦距;ZC—相機(jī)坐標(biāo)系下P點(diǎn)在Z軸上的坐標(biāo);(u0,v0)—圖像中心。
設(shè)在相機(jī)坐標(biāo)系下光平面方程為:
光平面上任意一點(diǎn)P在相機(jī)坐標(biāo)系下的坐標(biāo)為PC(xc,yc,zc),其在圖像坐標(biāo)系上的投影點(diǎn)為P(u,v),聯(lián)立相機(jī)投影模型與光平面方程:
由式(3)可得相機(jī)坐標(biāo)系下結(jié)構(gòu)光平面上任意一點(diǎn)的三維坐標(biāo)為:
其中,fx=f/dx、fy=f/dy。
通過(guò)相機(jī)坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換關(guān)系,可得世界坐標(biāo)系下的三維坐標(biāo),其轉(zhuǎn)換關(guān)系為:
式中:R—旋轉(zhuǎn)矩陣;T—平移矩陣。
由式(3)可知,已知圖像內(nèi)任意一點(diǎn)的坐標(biāo)時(shí),可通過(guò)射線(xiàn)方程和結(jié)構(gòu)光平面聯(lián)立得到相機(jī)坐標(biāo)系下坐標(biāo),由式(4)可得空間點(diǎn)實(shí)際坐標(biāo)。因此需要首先標(biāo)定求解結(jié)構(gòu)光平面方程、相機(jī)內(nèi)部和外部參數(shù)。
測(cè)量模型標(biāo)定求解兩個(gè)目的:(1)對(duì)相機(jī)進(jìn)行標(biāo)定,求解相機(jī)的內(nèi)外參;(2)對(duì)結(jié)構(gòu)光平面進(jìn)行標(biāo)定,求解光平面的方程。
2.2.1 標(biāo)定求解算法流程
常用的光平面標(biāo)定方法有拉絲法、鋸齒標(biāo)定法、基于交比不變法標(biāo)定等,其標(biāo)定重點(diǎn)在于獲取結(jié)構(gòu)光平面上多個(gè)非共線(xiàn)特征點(diǎn),通過(guò)投影模型轉(zhuǎn)換關(guān)系,將坐標(biāo)信息轉(zhuǎn)換到相機(jī)坐標(biāo)系進(jìn)行平面擬合。這里采用張友正標(biāo)定法和光平面求解的集成標(biāo)定[12],基于二維棋盤(pán)標(biāo)定板標(biāo)靶同時(shí)對(duì)相機(jī)及結(jié)構(gòu)光平面進(jìn)行標(biāo)定,即在標(biāo)定靶的同一位姿下采集不帶激光線(xiàn)的圖像和帶激光線(xiàn)的圖像,在完成相機(jī)內(nèi)外參標(biāo)定后,繼續(xù)對(duì)結(jié)構(gòu)光平面進(jìn)行標(biāo)定,實(shí)現(xiàn)了相機(jī)及光平面的集成標(biāo)定。
標(biāo)定步驟可簡(jiǎn)述為:
(1)基于張友正標(biāo)定法[13]求解相機(jī)內(nèi)參,獲得每幅圖像的外參信息;
(2)對(duì)每幅有激光條紋的棋盤(pán)標(biāo)定板圖像進(jìn)行角點(diǎn)提取,利用基于骨架細(xì)化的改進(jìn)灰度重心法[14~15]對(duì)結(jié)構(gòu)光中心的提??;
(3)計(jì)算圖像坐標(biāo)系下激光線(xiàn)與角點(diǎn)所成直線(xiàn)的交點(diǎn)坐標(biāo),根據(jù)交比不變?cè)恚?jì)算在棋盤(pán)格坐標(biāo)系下交點(diǎn)坐標(biāo);
(4)根據(jù)外參進(jìn)行特征點(diǎn)坐標(biāo)轉(zhuǎn)換,結(jié)合多幅圖像的交點(diǎn)信息,基于RANSAC(隨機(jī)抽樣一致)對(duì)結(jié)構(gòu)光平面進(jìn)行標(biāo)定。
2.2.2 標(biāo)定求解結(jié)果
搭建標(biāo)定實(shí)驗(yàn)平臺(tái),采用氧化鋁棋盤(pán)格標(biāo)定板(尺寸(120×90)mm,數(shù)目12×9,每格邊長(zhǎng)10mm),獲取20幅棋盤(pán)標(biāo)定板圖像,如圖2(a)所示。7幅有激光條紋的棋盤(pán)標(biāo)定板圖像,如圖2(b)所示。進(jìn)行標(biāo)定求解。
圖2 實(shí)驗(yàn)圖片F(xiàn)ig.2 Experimental Pictures
求得相機(jī)內(nèi)參A及畸變系數(shù)結(jié)果為:
光平面擬合結(jié)果,如圖3所示,按式(2)形式表示可得光平面的方程為:
圖3 光平面標(biāo)定結(jié)果Fig.3 The Result of Light Plane Calibration
通過(guò)高精度位移平臺(tái)將目標(biāo)平面提升不同高度,再利用標(biāo)定求解的測(cè)量模型測(cè)量,各平面間的誤差分析對(duì)比,如表1所示。
表1 誤差分析對(duì)比Tab.1 Error Analysis and Comparison
針對(duì)不同實(shí)際升高,對(duì)比測(cè)量模型得到的提升值,絕對(duì)誤差最大為+0.102mm,相對(duì)誤差最大1.46%,滿(mǎn)足焊縫識(shí)別精度要求。
搭建的實(shí)驗(yàn)平臺(tái),如圖4所示。主要包括工業(yè)相機(jī)、線(xiàn)激光、計(jì)算機(jī)及高精度位移平臺(tái)等,設(shè)備的具體參數(shù),如表2所示。
表2 實(shí)驗(yàn)設(shè)備參數(shù)Tab.2 Experimental Equipment Parameters
圖4 實(shí)驗(yàn)臺(tái)Fig.4 The Experimental Station
以亞克力板制作三維結(jié)構(gòu)實(shí)驗(yàn)板模擬電力桿塔法蘭肋板作為測(cè)量目標(biāo),進(jìn)行焊縫I、II的三維信息提取實(shí)驗(yàn),實(shí)驗(yàn)板的尺寸,如圖5所示。
圖5 實(shí)驗(yàn)板尺寸圖Fig.5 Dimension Image of Experimental Board
沿掃描方向?qū)σ苿?dòng)平臺(tái)步長(zhǎng)進(jìn)行標(biāo)定,設(shè)計(jì)基于平移矩陣的步長(zhǎng)標(biāo)定方法,其思路為:
(1)標(biāo)定板固定在移動(dòng)平臺(tái)上移動(dòng);
(2)相機(jī)按一定幀率采集圖像;
(3)標(biāo)定求解每幅圖像對(duì)應(yīng)的外部參數(shù),即外參矩陣中的平移矩陣為T(mén)i(i=1~n,n為圖像數(shù))。
(4)取標(biāo)定靶坐標(biāo)原點(diǎn)為參考點(diǎn),計(jì)算n幅圖像間各方向位移的平均值(式6)為重構(gòu)步長(zhǎng)。
結(jié)合移動(dòng)速度,相機(jī)幀率取1,連續(xù)拍攝52張圖像進(jìn)行標(biāo)定,計(jì)算結(jié)果為:
將實(shí)驗(yàn)板放于實(shí)驗(yàn)臺(tái),控制實(shí)驗(yàn)臺(tái)移動(dòng),設(shè)置相機(jī)采集幀率為1,對(duì)表面進(jìn)行光切面掃描并成像(共145幅)。
對(duì)每幅圖像結(jié)構(gòu)光中心提取,求解三維坐標(biāo),以求得步長(zhǎng)重構(gòu),得到實(shí)驗(yàn)板表面三維點(diǎn)云,導(dǎo)入MATLAB 中顯示,如圖6所示。點(diǎn)云數(shù)共26286個(gè),可看到三維結(jié)構(gòu)信息完整。
圖6 三維點(diǎn)云圖Fig.6 3D Point Cloud
實(shí)驗(yàn)板表面主要由三個(gè)平面組成,要識(shí)別出兩條焊縫,可先分割三個(gè)平面,然后進(jìn)行去噪及邊緣提取,以此獲得肋板表面的邊緣特征,最后設(shè)計(jì)點(diǎn)云篩選算法分離出焊縫點(diǎn),具體算法流程,如圖7所示。
圖7 焊縫特征提取流程Fig.7 Weld Feature Extraction Process
處理流程算法主要包括面分割、邊緣提取、焊縫提取三個(gè)部分:
(1)面分割
采用基于隨機(jī)采樣一致性判定迭代(RANSAC)的點(diǎn)云分割方法[16]對(duì)點(diǎn)云進(jìn)行分割:
①?gòu)目傸c(diǎn)云中隨機(jī)取部分點(diǎn)進(jìn)行平面擬合;
②計(jì)算其他點(diǎn)與擬合平面的距離,設(shè)定閾值判定是否為局內(nèi)點(diǎn);
③循環(huán)判定得到局內(nèi)點(diǎn),數(shù)量達(dá)到設(shè)定閾值時(shí)則輸出擬合平面參數(shù)。
(2)邊緣提取
針對(duì)面點(diǎn)云圖像特點(diǎn),采用基于法線(xiàn)及k鄰域搜索結(jié)合的點(diǎn)云邊緣提取算法[17]進(jìn)行點(diǎn)云的邊緣提取:
①選取k鄰域點(diǎn)作為小基準(zhǔn)平面,用最小二乘法擬合該基準(zhǔn)平面,設(shè)該基準(zhǔn)面方程為:
計(jì)算其殘差S最小時(shí)的各參數(shù):
分別對(duì)a1,a2,a3求偏導(dǎo),并令其等于0:
求得a1,a2,a3即為平面的參數(shù),法向量為(a1,a2,a3),各點(diǎn)形成的k鄰域的法線(xiàn)為n0,n1,…,nk-1,其中n0表示該點(diǎn)本身。
②各點(diǎn)法線(xiàn)量與k領(lǐng)域法向量的點(diǎn)積和模長(zhǎng)乘積分別為:
其中,i=1,2,…,k,則夾角可表示為:
對(duì)夾角從1到k排序,計(jì)算夾角均值及標(biāo)準(zhǔn)差:
③將標(biāo)準(zhǔn)差與閾值T作比較,偏差越大,說(shuō)明鄰域法線(xiàn)與該點(diǎn)法線(xiàn)偏差大,若大于閾值,則說(shuō)明該點(diǎn)在尖銳區(qū)域,認(rèn)定其為邊緣點(diǎn)。
(3)焊縫提取
針對(duì)焊縫點(diǎn)云集提取,這里提出一種基于統(tǒng)計(jì)濾波的點(diǎn)云篩選判定方法:假設(shè)肋板邊緣任意點(diǎn)云的坐標(biāo)為P(Xa,Ya,Za),已知焊縫所在位置為肋板與桿塔面與法蘭面的交線(xiàn),則可求得邊緣各點(diǎn)到各面的距離為:
式中:i=1,2,…,n,n—邊緣點(diǎn)云總數(shù);am,bm,cm,dm—平面參數(shù)。則該點(diǎn)的k鄰域點(diǎn)到指定平面的平均歐式距離為:
距離的標(biāo)準(zhǔn)差為:
若一個(gè)k領(lǐng)域點(diǎn)距指定面的平均距離大于m個(gè)標(biāo)準(zhǔn)差,則認(rèn)為該點(diǎn)不是焊縫特征點(diǎn),被剔除,遍歷完所有點(diǎn)后,便可得到焊縫特征點(diǎn)。
對(duì)原始點(diǎn)云進(jìn)行平面分割得到三個(gè)平面的點(diǎn)云圖及平面參數(shù),分割結(jié)果,如圖8所示。
圖8 點(diǎn)云平面分割效果圖Fig.8 The Result Images of Point Cloud Plane Segmentation
擬合后各平面方程參數(shù),如表3所示。
表3 平面方程參數(shù)Tab.3 Parameters of Plane Equation
平面分割后對(duì)平面Ⅲ(肋板面)進(jìn)行去噪及邊緣提取,取k=7、T=90°進(jìn)行去噪及邊緣提取,提取結(jié)果,如圖9所示。
圖9 平面Ⅲ去噪和邊緣提取效果Fig.9 The Effect of Plane ⅢDenoising and Edge Extraction
根據(jù)式(15),取k=7、m=2對(duì)兩條焊縫進(jìn)行特征提取結(jié)果,如圖10所示。
圖10 焊縫提取效果Fig.10 Weld Extraction Effect
其中焊縫I 上有效點(diǎn)的最小距離(0.73×10-3)mm,最大距離1.86mm,點(diǎn)數(shù)158個(gè);焊縫Ii上有效點(diǎn)的最小距離0.0234mm,最大距離1.91mm,點(diǎn)數(shù)108個(gè),且焊縫信息連續(xù),考慮到焊槍尺寸,提取結(jié)果滿(mǎn)足焊接要求。
用前文所述方法流程對(duì)實(shí)驗(yàn)板進(jìn)行掃描提取,實(shí)驗(yàn)圖片,如圖11所示。
圖11 光切實(shí)驗(yàn)圖像Fig.11 Experimental Image of Light Cutting
提取的焊縫點(diǎn)云圖像,如圖10所示。具體的數(shù)據(jù),如表4所示。
表4 點(diǎn)云統(tǒng)計(jì)數(shù)據(jù)Tab.4 Weld Point Cloud Statistics
由表4 可知,兩條焊縫在相機(jī)坐標(biāo)系下擬合長(zhǎng)度分別為74.03mm和62.20mm,實(shí)際長(zhǎng)度分別為75mm及63mm,絕對(duì)誤差均小于2mm,相對(duì)誤差均小于5%,滿(mǎn)足實(shí)際焊接±2mm 的精度要求。
這里針對(duì)電力鋼管塔法蘭肋板焊接的特點(diǎn),提出了基于光切面法的肋板焊縫三維重構(gòu)方法。采用集成標(biāo)定法對(duì)相機(jī)及結(jié)構(gòu)光平面進(jìn)行求解,運(yùn)用改進(jìn)的灰度重心法提高結(jié)構(gòu)光中心提取精度,并進(jìn)行三維測(cè)量及重構(gòu)實(shí)驗(yàn),基于點(diǎn)云處理方法得到被測(cè)焊縫的坐標(biāo)。
實(shí)驗(yàn)結(jié)果表明:這里方法可一次性提取兩條焊,兩條焊縫識(shí)別絕對(duì)誤差均小于2mm,相對(duì)誤差均小于5%,具有定位精度高,成本低、高效靈活等特點(diǎn),滿(mǎn)足實(shí)際焊接±2mm的精度要求。