王春梅,黃風(fēng)山
(河北科技大學(xué) 電氣信息工程學(xué)院,石家莊 050054)
三坐標(biāo)測(cè)量機(jī)是制造業(yè)中的標(biāo)準(zhǔn)三維精密測(cè)量設(shè)備,研究能與CAD、CAM 等集成的智能三坐標(biāo)測(cè)量機(jī)已成為必然,也是近些年來(lái)國(guó)內(nèi)外測(cè)量領(lǐng)域的一大熱點(diǎn)[1]。其中,對(duì)零件位姿的自動(dòng)識(shí)別是三坐標(biāo)測(cè)量機(jī)智能化的一個(gè)重要標(biāo)志,快速獲取被測(cè)零件位姿信息,制導(dǎo)測(cè)量機(jī)測(cè)頭自動(dòng)快速找到被測(cè)零件,進(jìn)而建立起零件測(cè)量坐標(biāo)系,是智能三坐標(biāo)機(jī)測(cè)量過(guò)程的第一步。
被測(cè)零件在三坐標(biāo)測(cè)量機(jī)工作臺(tái)上位姿的自動(dòng)識(shí)別一般利用CCD 攝像機(jī)視覺(jué)系統(tǒng)來(lái)完成,需要三坐標(biāo)測(cè)量機(jī)自動(dòng)測(cè)量出被測(cè)零件上各特征點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo),特征點(diǎn)三維坐標(biāo)自動(dòng)測(cè)量研究方面,目前國(guó)內(nèi)外主要是利用計(jì)算機(jī)視覺(jué)系統(tǒng)來(lái)完成。
在單純的單目立體視覺(jué)坐標(biāo)測(cè)量方面,國(guó)內(nèi)外相關(guān)研究已很多,精度也達(dá)到十幾個(gè)微米,但在智能三坐標(biāo)測(cè)量零件位姿識(shí)別中三坐標(biāo)測(cè)量方面,精度達(dá)到1mm 就能滿足識(shí)別要求[1-2],相關(guān)研究還較少,比較有代表性是廈門(mén)大學(xué)的秦玉紅利用多傳感器集成獲取零件特征點(diǎn)三維坐標(biāo)[2],系統(tǒng)比較復(fù)雜,測(cè)量速度較慢。
針對(duì)以上情況,在智能三坐標(biāo)測(cè)量零件位姿識(shí)別中,本文提出了基于三坐標(biāo)測(cè)量機(jī)平動(dòng)的零件特征點(diǎn)坐標(biāo)單目立體視覺(jué)測(cè)量方法,充分利用三坐標(biāo)測(cè)量機(jī)高精度平移的特點(diǎn),實(shí)現(xiàn)單攝像機(jī)立體視覺(jué)測(cè)量,省去了雙攝像機(jī)之間相對(duì)位置的標(biāo)定,簡(jiǎn)化了視覺(jué)測(cè)量系統(tǒng),進(jìn)而快速準(zhǔn)確地得到零件特征點(diǎn)的三維坐標(biāo),這方面的研究國(guó)內(nèi)外文獻(xiàn)報(bào)道還很少。
智能三坐標(biāo)測(cè)量機(jī)識(shí)別被測(cè)零件的位姿,就是要確定三坐標(biāo)測(cè)量機(jī)機(jī)器坐標(biāo)系OwXwYwZw與CAD 零件坐標(biāo)系OlXlYlZl之間的旋轉(zhuǎn)矩陣R 和平移矩陣T,其數(shù)學(xué)模型如(1)式所示[2],進(jìn)而計(jì)算出被測(cè)零件的位姿參數(shù),視覺(jué)識(shí)別系統(tǒng)坐標(biāo)系如圖1 所示[3]。(1)式中的矩陣R 和T 分別有9 個(gè)旋轉(zhuǎn)參數(shù)和3 個(gè)平移參數(shù),共12 個(gè)未知量,由于1 個(gè)特征點(diǎn)在CAD 零件坐標(biāo)系和機(jī)器坐標(biāo)系中的坐標(biāo)帶入(1)式可產(chǎn)生3 個(gè)方程,所以在零件上要選取4 個(gè)以上特征點(diǎn)來(lái)求解。
圖1 攝像機(jī)標(biāo)定坐標(biāo)系
圖2 零件位姿視覺(jué)識(shí)別系統(tǒng)組成
其中,零件上各特征點(diǎn)在CAD 零件坐標(biāo)系中坐標(biāo)可從零件CAD 三維模型直接讀出[3];而各特征點(diǎn)在三坐標(biāo)測(cè)量機(jī)機(jī)器坐標(biāo)系中的對(duì)應(yīng)坐標(biāo)分兩步來(lái)完成,第一步是利用立體視覺(jué)方法,測(cè)量出各特征點(diǎn)在攝像機(jī)坐標(biāo)系OXYZ 中的三維坐標(biāo)[3];第二步利用視覺(jué)系統(tǒng)標(biāo)定時(shí)得到的機(jī)器坐標(biāo)系和攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣R'和平移矩陣T'[4],通過(guò)(2)式將第一步得到的各特征點(diǎn)在攝像機(jī)坐標(biāo)系中的三維坐標(biāo)轉(zhuǎn)換為在機(jī)器坐標(biāo)系下的三維坐標(biāo)。最后將零件上各特征點(diǎn)在CAD 零件坐標(biāo)系和機(jī)器坐標(biāo)系下對(duì)應(yīng)的坐標(biāo),帶入(1)式可計(jì)算出機(jī)器坐標(biāo)系與零件CAD 坐標(biāo)系之間的旋轉(zhuǎn)矩陣R 和平移矩陣T[4],進(jìn)而可得到被測(cè)零件在三坐標(biāo)測(cè)量機(jī)工作臺(tái)上的位姿參數(shù)。
由上述識(shí)別原理可知,智能三坐標(biāo)測(cè)量機(jī)零件位姿識(shí)別主要包括兩個(gè)方面的內(nèi)容,一是根據(jù)立體視覺(jué)原理,測(cè)得零件各特征點(diǎn)在攝像機(jī)坐標(biāo)系中的三維坐標(biāo);二是機(jī)器坐標(biāo)系和攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣R'和平移矩陣T'的標(biāo)定。后者是比較成熟的方法[4],不再重述。針對(duì)前者,本文提出了一種基于三坐標(biāo)測(cè)量機(jī)平動(dòng)的特征點(diǎn)三維坐標(biāo)單目立體視覺(jué)測(cè)量新方法,主要包括特征點(diǎn)成像、特征點(diǎn)像點(diǎn)提取和特征點(diǎn)在兩幅圖像中同名像點(diǎn)的匹配三部分。
圖3 單目立體測(cè)量
立體視覺(jué)測(cè)量可直接獲得零件特征點(diǎn)三維坐標(biāo)信息,包括雙目立體視覺(jué)測(cè)量和單目立體視覺(jué)測(cè)量[7],圖3 所示的平行光軸單目立體視覺(jué)系統(tǒng)是一種最簡(jiǎn)單的單目立體視覺(jué)系統(tǒng)[4],攝像機(jī)沿x 軸方向從位置A 移動(dòng)到位置B;在位置A、B 時(shí)攝像機(jī)的投影中心連線距離為基線距b,設(shè)空間任一點(diǎn)P(x,y,z),其在A、B 兩個(gè)位置的攝像機(jī)像平面上所成像點(diǎn)及其像面坐標(biāo)分別為P1(u1,v1)和P2(u2,v2),因攝像機(jī)是沿x 軸平移,所以V1=V2,則P 點(diǎn)對(duì)應(yīng)視差為D =u1-u2。由此可計(jì)算出特征點(diǎn)P 在A、B 兩個(gè)位置攝像機(jī)坐標(biāo)系下的三維坐標(biāo)[4],以A 位置攝像機(jī)坐標(biāo)系為例,x =b·u1/D,y=b·v1/D,z=b·f/D (3),因此,在準(zhǔn)確標(biāo)定左右兩攝像機(jī)之間的相對(duì)位置,即基線距b 后,對(duì)于空間任意一點(diǎn),只要能確定該點(diǎn)在兩幅圖像中的匹配同名像點(diǎn),就可以確定視差D,通過(guò)(3)式可計(jì)算出該點(diǎn)在A、B 兩個(gè)位置攝像機(jī)坐標(biāo)系中的三維坐標(biāo)。
根據(jù)平行光軸單目立體視覺(jué)系統(tǒng)測(cè)量原理,結(jié)合三坐標(biāo)測(cè)量機(jī)可高精度平移的特點(diǎn),本文提出了基于三坐標(biāo)測(cè)量機(jī)平動(dòng)的單目立體視覺(jué)坐標(biāo)測(cè)量方法,測(cè)量系統(tǒng)如圖2 所示?;€距b 可直接由三坐標(biāo)測(cè)量機(jī)測(cè)得,這樣既省去了基線距b 的標(biāo)定過(guò)程,提高了測(cè)量精度,又簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)。另外,在測(cè)量過(guò)程中根據(jù)實(shí)際情況,可精確調(diào)整基線距b,使系統(tǒng)具有很大的靈活性。
三坐標(biāo)測(cè)量機(jī)帶動(dòng)攝像機(jī),在兩個(gè)光軸相互平行的A、B 位置分別對(duì)被測(cè)零件拍攝一幅圖像,拍攝到的實(shí)驗(yàn)件原始圖像如圖4、圖5 所示,接著需要對(duì)原始圖像進(jìn)行圖像處理,得到零件圖像的邊緣,如圖6 所示,進(jìn)而提取圖像邊緣上像素點(diǎn)的像面坐標(biāo),如果對(duì)所有像素點(diǎn)都進(jìn)行相關(guān)計(jì)算,其計(jì)算量會(huì)非常大,也沒(méi)有必要。為了提高計(jì)算的準(zhǔn)確度和圖像處理速度,只選擇零件上一些特殊點(diǎn)作為特征點(diǎn),如角點(diǎn)、中心點(diǎn)和質(zhì)心點(diǎn)等[5],對(duì)這些特征點(diǎn)在左右兩幅中的對(duì)應(yīng)像點(diǎn)進(jìn)行提取,得其像面坐標(biāo),為每個(gè)目標(biāo)特征點(diǎn)在兩幅圖像中同名像點(diǎn)的匹配做好準(zhǔn)備。
針對(duì)本文采用的實(shí)驗(yàn)件特點(diǎn),選用角點(diǎn)作為特征點(diǎn),采用全局和局部曲率特性來(lái)定義和提取角點(diǎn)[5],提取結(jié)果如圖7 所示,打“* ”的點(diǎn)即為提取出的角點(diǎn)。
由(3)式可知,要得到特征點(diǎn)在攝像機(jī)坐標(biāo)系中的三維坐標(biāo),需要計(jì)算出每一特征點(diǎn)對(duì)應(yīng)的時(shí)差D,必須從左右兩幅圖像中提出的特征點(diǎn)像點(diǎn)中,找出與零件上每一特征點(diǎn)對(duì)應(yīng)的左右兩個(gè)像點(diǎn),即同一個(gè)特征點(diǎn)的兩個(gè)同名像點(diǎn)[6],這一過(guò)程就是特征點(diǎn)同名像點(diǎn)的立體匹配。立體匹配是立體視覺(jué)測(cè)量中最重要、最困難的問(wèn)題,本文利用三坐標(biāo)測(cè)量機(jī)帶動(dòng)攝像機(jī)精確平移并形成平行光軸立體視覺(jué)的特點(diǎn),提出了基于邊緣圖像質(zhì)心偏移的同名像點(diǎn)立體匹配方法。
基于邊緣圖像質(zhì)心偏移的同名像點(diǎn)匹配的原理如圖8 所示。由于攝像機(jī)在零件的正上方采集圖像,攝像機(jī)只在X 或Y 軸方向移動(dòng),沒(méi)有Z 軸方向的上下移動(dòng)或旋轉(zhuǎn),所以在兩個(gè)位置采集到的左右兩幅圖像既沒(méi)有尺度大小變化,也沒(méi)有旋轉(zhuǎn)的變化,右圖相對(duì)于左圖來(lái)說(shuō)只是相當(dāng)于把零件圖像區(qū)域(圖8 中的實(shí)線)在像面上平移了一段或距離,即左圖像上所有的像點(diǎn)都沿X 軸或Y 軸平移了一段或距離。根據(jù)圖像這一特點(diǎn),找到零件圖像上的一個(gè)基準(zhǔn)點(diǎn),即無(wú)論圖像經(jīng)怎樣變換(尺度、旋轉(zhuǎn)、平移),此點(diǎn)對(duì)應(yīng)的像點(diǎn)相對(duì)于零件整個(gè)圖像的位置關(guān)系都不會(huì)變,如零件圖像的質(zhì)心,所以提取出左右圖像各自的質(zhì)心O、O1的像面坐標(biāo),計(jì)算出OO1的X軸或Y 軸距離dx或dy(本文以dx為例),則左圖中的任一角點(diǎn)的像點(diǎn)P 與其右圖中的對(duì)應(yīng)點(diǎn)P1的距離也為dx。因此,立體匹配就轉(zhuǎn)化為尋找左右兩圖像中滿足像面距離為dx這一約束的每一個(gè)特征點(diǎn)的左右兩個(gè)像點(diǎn)。
具體方法是先計(jì)算兩圖像區(qū)域質(zhì)心點(diǎn)的像面坐標(biāo),得到兩質(zhì)心點(diǎn)偏移的距離dx;然后對(duì)應(yīng)于左圖像中每一特征點(diǎn)(本文以角點(diǎn)為例)的像點(diǎn),在右圖像中按從上往下,從左向右的順序遍歷尋找與其距離為dx的像點(diǎn),若符合此約束條件,則兩像點(diǎn)即為同名匹配像點(diǎn)。圖9 為此匹配方法的實(shí)驗(yàn)匹配結(jié)果,其中“* ”點(diǎn)為左右圖像區(qū)域的質(zhì)心點(diǎn),直線連接點(diǎn)為左右圖像中的同名匹配像點(diǎn),匹配精度可達(dá)到1 個(gè)像素,能滿足識(shí)別精度要求。
為了驗(yàn)證本文提出的基于三坐標(biāo)測(cè)量機(jī)平動(dòng)的特征點(diǎn)三維坐標(biāo)單目立體視覺(jué)測(cè)量方法的可行性,采用圖2所示的實(shí)驗(yàn)系統(tǒng)進(jìn)行了測(cè)量實(shí)驗(yàn)。CCD 攝像機(jī)的焦距為12mm,將其安裝在三坐標(biāo)測(cè)量機(jī)測(cè)座上,沿X 軸平移,在間隔10mm 的兩個(gè)位置各采集一幅圖像,即b=10 mm,用本文提出的方法測(cè)量出特征點(diǎn)在攝像機(jī)坐標(biāo)系中的三維坐標(biāo),如表1 第4 列數(shù)據(jù)所示;在此基礎(chǔ)上再計(jì)算出特征點(diǎn)在機(jī)器坐標(biāo)中的三維坐標(biāo),如表1 第5 列數(shù)據(jù)所示;同時(shí)用三坐標(biāo)測(cè)量機(jī)直接測(cè)量出實(shí)驗(yàn)件上各特征點(diǎn)在機(jī)器坐標(biāo)系中的三維坐標(biāo),如表1 第6 列數(shù)據(jù)所示,將以上兩種方法得到的特征點(diǎn)在機(jī)器坐標(biāo)系中的三維坐標(biāo)進(jìn)行比對(duì),以此來(lái)驗(yàn)證本文提出方法的可行性。被測(cè)零件的CAD 三維模型如圖10 所示,零件上各特征點(diǎn)在CAD 零件坐標(biāo)系下的坐標(biāo)值(單位為mm)、各特征點(diǎn)在左右圖像中的同名匹配像點(diǎn)的像面坐標(biāo)值(單位為pixel(像素))、各特征點(diǎn)在攝像機(jī)坐標(biāo)系和機(jī)器坐標(biāo)系下的三維坐標(biāo)值(單位為mm)如表1 所示。
特征點(diǎn)坐標(biāo)測(cè)量時(shí)間為1.818s,由表1 第5 列和第6 列數(shù)據(jù)可發(fā)現(xiàn),兩列對(duì)應(yīng)數(shù)據(jù)之差小于0.3mm,能滿足智能三坐標(biāo)測(cè)量機(jī)位姿中特征點(diǎn)坐標(biāo)測(cè)量精度1mm 的要求,進(jìn)而驗(yàn)證了本文提出的特征點(diǎn)三維坐標(biāo)單目立體視覺(jué)測(cè)量方法的可行性。
表1 實(shí)驗(yàn)數(shù)據(jù)
針對(duì)智能三坐標(biāo)測(cè)量機(jī)被測(cè)零件位姿快速準(zhǔn)確識(shí)別中的特征點(diǎn)坐標(biāo)自動(dòng)測(cè)量問(wèn)題,提出了一種基于三坐標(biāo)測(cè)量機(jī)平動(dòng)的單目立體視覺(jué)測(cè)量方法。以三坐標(biāo)測(cè)量機(jī)帶動(dòng)單個(gè)攝像機(jī)沿X 軸或Y 軸平移,在兩個(gè)不同位置分別拍攝被測(cè)零件的一幅圖像,實(shí)現(xiàn)了特征點(diǎn)的單目立體視覺(jué)坐標(biāo)測(cè)量,提出了基于邊緣圖像質(zhì)心偏移的特征點(diǎn)兩個(gè)同名像點(diǎn)的匹配方法,比對(duì)實(shí)驗(yàn)測(cè)得結(jié)果表明本文所提測(cè)量方法能滿足智能三坐標(biāo)測(cè)量機(jī)零件位姿識(shí)別要求。
[1]趙金才.坐標(biāo)測(cè)量系統(tǒng)零件信息提取與位姿自動(dòng)識(shí)別的研究[D].天津:天津大學(xué),2006.
[2]秦玉紅.三坐標(biāo)機(jī)柔性化測(cè)量系統(tǒng)關(guān)鍵技術(shù)研究[D].廈門(mén):廈門(mén)大學(xué),2009.
[3]黃風(fēng)山,錢(qián)惠芬. 三坐標(biāo)測(cè)量機(jī)驅(qū)動(dòng)的攝像機(jī)標(biāo)定技術(shù)[J].光學(xué)精密工程,2010,18(4):952-957.
[4]張曉玲,張寶峰,林玉池,等.基于光軸垂直雙目立體視覺(jué)系統(tǒng)的物體運(yùn)行姿態(tài)研究[J]. 光電子·激光,2010,20(11):1693-1697.
[5]黃風(fēng)山,王春梅.光筆式視覺(jué)坐標(biāo)測(cè)量中控制點(diǎn)光斑圖像的識(shí)別[J].光學(xué)精密工程,2007,15(4):587-591.
[6]Kun Wang. Adaptive stereo matching algorithm based on edge detection[A]. IEEE International Conference on Image Processing,2004(11):1345-1348.