劉興德,刁建超,盧添燁,周海宇
(吉林化工學(xué)院 信息與控制工程學(xué)院,吉林吉林,132022)
焊接機(jī)器人在惡劣的環(huán)境下依舊能夠高效率和高精度的完成工作,被大量應(yīng)用于汽車(chē)零部件生產(chǎn)、船體加工加工等各種機(jī)械制造業(yè)中,但隨著應(yīng)用范圍的變大,實(shí)際工作環(huán)境業(yè)在不斷的變化,當(dāng)焊接的物體或者環(huán)境發(fā)生變化時(shí),如果機(jī)器人未能及時(shí)的做出對(duì)應(yīng)的調(diào)整,就會(huì)導(dǎo)致焊縫焊接出現(xiàn)各種各樣的問(wèn)題,以及精度偏差、焊接質(zhì)量低下。為此,應(yīng)用一款適合的傳感器解決在線跟蹤問(wèn)題。激光視覺(jué)傳感器憑借其非接觸、速度快、精度高和抗干擾能力強(qiáng)等優(yōu)點(diǎn),而被廣泛應(yīng)用于機(jī)器人自動(dòng)化焊接領(lǐng)域。
本文提出了一種基于激光結(jié)構(gòu)光的焊縫特征信息提取方法,該方法通過(guò)激光器發(fā)射線狀的結(jié)構(gòu)光照射到焊接工件表面上,根據(jù)焊縫與光帶的位置關(guān)系產(chǎn)生光帶彎曲,通過(guò)相機(jī)成像后進(jìn)行圖像處理,提取焊縫特征信息。該方法能夠計(jì)算獲得準(zhǔn)確的二維數(shù)據(jù)和簡(jiǎn)單的三維數(shù)據(jù),能夠識(shí)別焊縫寬度、深度以及形狀等特征,具有較高的識(shí)別精度[1]。
為了獲得更清晰的激光圖像,本文設(shè)計(jì)的激光視覺(jué)傳感器包括COMS 相機(jī)、激光器、采集卡、減光鏡和濾光鏡等部分。在實(shí)際使用中,相機(jī)固定在焊槍上,激光器放置在相機(jī)前并與相機(jī)成一定夾角,使得激光器發(fā)射的光線水平射在焊縫上。為了獲得良好的激光圖像,在傳感器中加裝了濾光片和減光鏡,以過(guò)濾其他光譜和減少干擾。激光測(cè)量原理如圖1 所示。
圖1 激光視覺(jué)傳感器的原理
焊縫跟蹤系統(tǒng)包括視覺(jué)部分和跟蹤部分兩大部分。視覺(jué)部分由CMOS 相機(jī)和激光器等組成,能夠產(chǎn)生焊縫圖像,并通過(guò)圖像采集卡傳遞給工控機(jī)進(jìn)行圖像處理。跟蹤部分通過(guò)特定算法計(jì)算出焊縫在圖像中的特征點(diǎn),進(jìn)而求得焊槍與特征點(diǎn)的相對(duì)距離,從而操作機(jī)械臂實(shí)現(xiàn)焊接。當(dāng)發(fā)現(xiàn)實(shí)際焊接路徑與標(biāo)定路徑出現(xiàn)偏差時(shí),通過(guò)通信傳輸給機(jī)器人進(jìn)行相應(yīng)的糾偏,以實(shí)現(xiàn)實(shí)時(shí)跟蹤的目標(biāo)。焊縫跟蹤系統(tǒng)能夠?qū)崿F(xiàn)全部功能,提高焊接質(zhì)量和效率[2]。為了保證焊接的質(zhì)量和速度,在對(duì)提取到的圖像進(jìn)行處理就顯得尤為重要,圖像處理的結(jié)果直接影響到特征點(diǎn)的提取,本文將對(duì)焊縫條紋提取進(jìn)行重點(diǎn)講述。圖2 是完整的焊縫跟蹤系統(tǒng)的構(gòu)成圖。
焊縫圖像是從視覺(jué)傳感器中獲取的原始圖像,其中包含了焊縫的特征信息,但需要經(jīng)過(guò)進(jìn)一步的處理才能獲得焊縫偏差信息,以進(jìn)行焊縫跟蹤。圖像處理算法是實(shí)現(xiàn)焊縫跟蹤的重要步驟,主要包括預(yù)處理、激光條紋中心線提取和焊縫位置特征提取。由于焊接環(huán)境通常不理想,圖像容易受到周?chē)h(huán)境光、工件缺陷和CCD 特性等因素的影響,因此采集的圖像可能會(huì)有噪點(diǎn)。為了提取焊縫特征信息,需要對(duì)原始圖像進(jìn)行預(yù)處理,消除噪點(diǎn),并將包含焊縫特征的激光條紋與周?chē)尘胺蛛x[3]。
線激光視覺(jué)系統(tǒng)采集的焊縫初始圖像可能存在噪聲干擾和線激光條紋邊緣毛刺現(xiàn)象,同時(shí)焊縫在整幅圖像中占據(jù)較小比例。因此,直接在初始焊縫圖像上進(jìn)行圖像處理的任務(wù)量會(huì)很大。為了提高處理效率,本文采用感興趣區(qū)域提取法(ROI)對(duì)區(qū)域進(jìn)行重點(diǎn)提取,去除不必要的圖像信息,保留主要的圖像信息。每次焊接的起點(diǎn)都是在焊縫上,相機(jī)與機(jī)器人末端的相對(duì)位置保持不變,因此焊縫區(qū)域在整幅圖像中的位置也基本保持不變。在獲取處理后的圖像時(shí),直接利用預(yù)設(shè)的相對(duì)位置來(lái)獲取感興趣區(qū)域,并確保焊縫區(qū)域能完整地保留在ROI 中。通常選擇的ROI尺寸為激光彎曲段尺寸大小的5 倍,以確保焊縫區(qū)域能夠完整地保留在ROI 中。如圖3 所示,通過(guò)截取原圖來(lái)獲得大小為640×480 像素的ROI 區(qū)域,在后續(xù)的處理中需要使用ROI 中的坐標(biāo)來(lái)獲取原圖中的坐標(biāo)信息。圖3 是經(jīng)過(guò)ROI 提取后的圖像。
圖3
攝像機(jī)采集的圖像通常會(huì)受到各種類型的噪聲干擾,如果不對(duì)圖像進(jìn)行濾波算法的處理,這些噪聲點(diǎn)將會(huì)影響最終焊縫特征信息的提取。常用的前濾波方法包括中值濾波、高斯濾波和均值濾波,通常通過(guò)設(shè)置空間域掩模,在焊縫圖像的灰度值矩陣上遍歷掩模,通過(guò)線性或非線性運(yùn)算獲取掩模中心點(diǎn)的灰度值,并抑制圖像中的噪聲。
高斯濾波是一種常見(jiàn)的線性平滑濾波器,其主要思想是將圖像中每個(gè)像素的值,用其周?chē)袼刂档募訖?quán)平均數(shù)來(lái)代替。其中,權(quán)值是通過(guò)高斯函數(shù)計(jì)算得到的,離中心像素越遠(yuǎn)的像素點(diǎn)的權(quán)值越小,越接近中心像素的權(quán)值越大。這樣的權(quán)值分布使得高斯濾波器可以保留圖像中的邊緣信息,同時(shí)抑制噪聲。高斯濾波器的模板大小和標(biāo)準(zhǔn)差是其關(guān)鍵參數(shù),模板大小決定了平均值的計(jì)算范圍,標(biāo)準(zhǔn)差則決定了權(quán)值的分布范圍。通常情況下,標(biāo)準(zhǔn)差越大,濾波器的模板大小也越大,這樣可以更好地平滑圖像并減少噪聲,但同時(shí)也會(huì)降低圖像的細(xì)節(jié)和邊緣信息。高斯濾波器廣泛應(yīng)用于圖像處理的各個(gè)領(lǐng)域,如圖像去噪、邊緣檢測(cè)、圖像增強(qiáng)等,離散化之后的高斯濾波算法的權(quán)系數(shù)矩陣模板為:
二維高斯分布函數(shù)為:
其中,σ為標(biāo)準(zhǔn)差。經(jīng)過(guò)MATLAB 圖像處理后的圖像如圖4 所示。
圖4 高斯濾波后圖像
高斯濾波的優(yōu)點(diǎn):可以更好地保留圖像的邊緣和特征信息,同時(shí),還具有頻域上的優(yōu)點(diǎn),可以在保留圖像細(xì)節(jié)的同時(shí)消除高頻噪聲,提高圖像質(zhì)量。高斯濾波有效保留激光條紋的邊緣信息,因此,本文選擇高斯濾波進(jìn)行濾波處理。
圖像閾值算法,其原理是根據(jù)圖像的像素實(shí)際值,找一個(gè)合適的閾值。然后對(duì)圖像基于設(shè)定的閾值進(jìn)行分割成不同的區(qū)域。經(jīng)過(guò)圖像濾波去噪、焊縫初始圖像除去大部分不需要處理的區(qū)域和干擾焊縫特征點(diǎn)提取的噪聲,提取焊縫特征所需要的畸變激光條紋的灰度特征與背景板材的灰度特征差異不夠明顯。將灰度值小于閾值的背景板材區(qū)域的灰度值變?yōu)?0,將灰度值大于閾值的激光條紋區(qū)域的灰度值變?yōu)?55。其數(shù)學(xué)表達(dá)式為:
式中,f(x,y)為經(jīng)過(guò)預(yù)處理后的焊縫圖像像素灰度值,g(x,y)為焊縫圖像處理后的像素灰度值,T為確定的最佳分割范圍而算的的閾值。從上式可以看出,焊縫激光條紋提取的效果取決于分割閾值的數(shù)值,如果求得數(shù)值比理想的數(shù)值差別較大,會(huì)損失目標(biāo)區(qū)域的焊縫信息,數(shù)值確定較小,會(huì)在導(dǎo)致求取的目標(biāo)區(qū)域含有圖像噪聲。目前常用的有最大類間、類內(nèi)方差比法、迭代法類間、最大距離法等。
最大類間方差法,是一種圖像二值化處理中常用的自適應(yīng)閾值選取方法。其基本思想是,將圖像中的灰度級(jí)分為兩個(gè)部分,使得兩個(gè)部分之間的類間方差最大,即圖像的灰度級(jí)被分為前景和背景兩部分,使得前景和背景之間的類間方差最大,而前景和背景內(nèi)部的類內(nèi)方差最小,最大類間方差法在實(shí)際應(yīng)用中具有較高的準(zhǔn)確性和魯棒性。
具體實(shí)現(xiàn)步驟如下:
(1)對(duì)圖像的灰度級(jí)進(jìn)行直方圖統(tǒng)計(jì),并計(jì)算出每個(gè)灰度級(jí)出現(xiàn)的概率;
(2)從灰度級(jí)最小值開(kāi)始,計(jì)算每個(gè)灰度級(jí)處的類間方差;
(3)找到類間方差最大的灰度級(jí)作為閾值,將圖像進(jìn)行二值化處理。
算法原理:假設(shè)一幅圖像的大小為u?v 分別表示待處理圖像兩個(gè)不同方向上的像素總和,n 個(gè)灰度值為i 的像素在圖像中占有的概率表示為:
其中閾值暫取為T(mén),在 T 處將圖像分為 A 和 B 兩類,則B={0~T-1},C={T~255} 則圖像中A 和B 產(chǎn)生的概率PA和PB 分別為:
上述兩式PA+PB=1,并且A、B 兩類的灰度平均值μA和μB分別為:
根據(jù)以上各式,則A 和B 兩類間的方差 σ2(T):
通過(guò)算法原理可知,當(dāng)類間方差σ2取到最大值時(shí),灰度值T為最佳閾值。利用MATLAB 將上述算法進(jìn)行的閾值分割后的圖像,經(jīng)過(guò)上述處理后得到的圖像如圖5 所示。
圖5 最大類間方差法
經(jīng)歷過(guò)上述的圖像處理后,獲得了較為清晰地圖像焊縫光條,進(jìn)一步需要得到焊縫特征點(diǎn)的像素坐標(biāo),需要將特征點(diǎn)從激光中心線中提取出來(lái),這里需要對(duì)焊縫信息進(jìn)行分析,利用光在焊縫處產(chǎn)生彎曲的特點(diǎn)進(jìn)行焊縫特征點(diǎn)提取,而要準(zhǔn)確的提取到特征點(diǎn)需要先對(duì)激光中心線進(jìn)行提取。
3.4.1 灰度質(zhì)心法
灰度質(zhì)心法是一種常用于圖像處理的方法,用于計(jì)算圖像的重心,可以將其擴(kuò)展到計(jì)算輪廓的重心,從而得到輪廓的中心線.中心線可以通過(guò)以下步驟計(jì)算:
首先,通過(guò)閾值分割或邊緣檢測(cè)得到輪廓。對(duì)輪廓進(jìn)行細(xì)化,以便得到一個(gè)像素寬度的線。對(duì)于每個(gè)像素,計(jì)算其灰度質(zhì)心?;叶荣|(zhì)心是指該像素及其周?chē)袼氐幕叶戎蹬c其坐標(biāo)的乘積之和除以該像素及其周?chē)袼氐幕叶戎抵?。將所有灰度質(zhì)心連接起來(lái),即可得到中心線。
具體做法:沿著垂直激光線條的方向?qū)⒓す饩€圖上的第m 列坐標(biāo)設(shè)為(xm,yn),其中變量n=1.……,K,K 表示列光帶的截面寬度,取奇數(shù),計(jì)算公式如下:
其中m 為激光的帶寬變量,變化范圍依據(jù)圖像尺寸確定。下面是跟常用的幾種算法與灰度質(zhì)心法的效果圖,如圖6 所示灰度質(zhì)心法通過(guò)進(jìn)一步的去除偽極大值,消除階躍點(diǎn),穩(wěn)定性好,可以連接間斷點(diǎn),使中心線平滑連續(xù)。處理后的圖像如圖6 所示。
圖6 灰度質(zhì)心法提取到中心線
3.4.2 特征點(diǎn)提取
針對(duì)L 型板工件的V型坡口焊縫,其激光條紋基本上是由數(shù)個(gè)直線段構(gòu)成的,在直線段的相交點(diǎn)位置就是所需要尋找的焊縫特征點(diǎn),直線段的獲取可以通過(guò)最小二乘法進(jìn)行擬合,也可以通過(guò)霍夫變換等方式得到,不過(guò)霍夫變換方法計(jì)算過(guò)程比較復(fù)雜,同時(shí)需要花費(fèi)較長(zhǎng)的處理時(shí)間,不利于焊縫跟蹤的實(shí)時(shí)處理。對(duì)V 型坡口激光條紋圖像采用最小二乘法進(jìn)行直線擬合,可得到的特征點(diǎn)最終結(jié)果如圖7 所示。
圖7 焊縫特征點(diǎn)提取
為了驗(yàn)證圖像特征點(diǎn)提取的準(zhǔn)確性,利用示教器提取工件上3 條焊縫和它的固定點(diǎn)位之間的距離,記錄下兩兩之間的實(shí)際長(zhǎng)度,將它與經(jīng)過(guò)圖像處理后的特征點(diǎn)世界坐標(biāo)兩兩之間的距離長(zhǎng)度相比較,獲得平均誤差,計(jì)算該誤差為±0.15mm,滿足焊接的精度需要。如表1 所示。
表1 實(shí)際距離與實(shí)驗(yàn)距離下的焊縫長(zhǎng)度值