畢德學,紀金剛,丁彥玉
(天津科技大學機械工程學院,天津 300222)
近些年由于雙目立體視覺相關算法的發(fā)展,利用相機對實際物體相關數(shù)據(jù)三維重建的研究大量涌現(xiàn),雙目系統(tǒng)可以實現(xiàn)自動、高效地獲取目標信息,近幾年來在生產(chǎn)中應用也越來越多[1]。雙目立體視覺測量系統(tǒng)在工業(yè)制造、科學研究等領域中已成為了一種不可或缺的基礎工具,其可以在不接觸目標物的前提下獲取物體的立體信息,具有測量精度高、實時性強、結(jié)構(gòu)簡單等顯著優(yōu)點[2-4]。
柔性塑膠防塵套,如圖1所示。其形狀為錐形波紋管形狀,根據(jù)型號不同,其長度為(50~250)mm。塑膠防塵套在鑄造完成后,將其切開,切開后橫截面上的波峰、波谷壁厚為工藝測量處,因塑膠防塵套為柔性材質(zhì)鑄造而成,即其切割出的截面是空間曲面,因此選用雙目測量系統(tǒng)進行測量。
圖1 塑膠防塵套工件Fig.1 Plastic Dustproof Sleeve Workpiece
該文章根據(jù)柔性塑膠防塵套模型樣式開發(fā)出一種專用雙目視覺測量系統(tǒng),該雙目系統(tǒng)結(jié)合PLC控制高精度滑臺,共同作用完成測量工作。首先是上位機對兩張照片內(nèi)的塑膠防塵套邊緣亞像素輪廓進行提取,將邊緣點坐標信息進行存儲,通過點坐標信息,動態(tài)截取圖像中的輪廓線,提取出輪廓中的波峰、波谷點位置信息,根據(jù)提取出的點坐標信息和高精度滑臺運動距離關系,將多對圖像進行圖像拼接,之后對工件的待測位置進行標定,提取出待測位置后,折射到單幅圖像相同位置進行壁厚測量,減少圖像拼接對精度影響的同時完成高精度測量工作。
相機選用??低?000萬像素CMOS 工業(yè)相機,鏡頭選用50mm焦距工業(yè)鏡頭,根據(jù)最佳工作距離300mm搭建系統(tǒng),相機的景深根據(jù)光圈大小變動,其景深范圍為(1~6)mm。該相機為大焦距、高精度相機,因此在使用該相機時,采用將鏡頭的光圈調(diào)小方法,使景深數(shù)值較大,調(diào)節(jié)相機的曝光時間,使拍攝的圖像清晰明顯。
該相機單目視野為(67×42)mm2,因測量要求,如圖2 所示。將右相機進行豎直放置,左相機與右相機成5°夾角放置方法,使其公共區(qū)間能達到(50×46)mm2滿足測量要求。
標定圖像方法采用張正友提出的棋盤標定法,通過雙目攝像機拍攝標定板獲取左、右目圖像,利用標定程序完成雙目相機的標定[5],得到相機的內(nèi)參參數(shù)和兩相機的相對位置關系,如表1所示。
表1 相機參數(shù)Tab.1 Parameters of Camera
雙目相機的圖像校正,除了可為求取雙目系統(tǒng)構(gòu)建一個非常簡單的幾何結(jié)構(gòu),還可使深度信息的獲取變得非常簡單。
該圖為校正后的雙目系統(tǒng)投影模型圖,如圖3所示。Pw為空間中一目標點,兩個相機的投影中心點為O1和O2,兩幅圖像中的主點分別為C1和C2,P1和P2為Pw在兩個相機坐標系上的投影點,Pw的深度值為該點到相機坐標系中的z坐標。
圖3 雙目視覺測量原理Fig.3 Principle of Binocular Vision Measurement
通過分析相似三角形O1O2Pw和P1P2Pw,可以推導出Pw的深度只取決于點P1和點P2的列坐標的差值。根據(jù)三角形的相似性,可得:
式中:f—相機主距;dw—點P1到C1與點P2到C2距離的總和,因主點坐標是以像素做單位,而dw的單位是世界坐標系單位,因而得求出兩個距離和之間的像素坐標差dp后通過像素坐標系的縮放系數(shù)s求出最終的dw數(shù)值。由圖3得出:
式中:c1、c2—點P1和點P2的列坐標;cc1、cc2—主點的列坐標。將上式整理可得:
由于式(4)中(cc1-cc2)為常量,對空間中任意一點都是定值,通過相機標定校正即可得出,所以深度信息只與兩點列坐標的差值即(c2-c1)有關。
因此準確地求得一個空間點的深度信息需將該點在兩幅校正后的圖像內(nèi)投影點準確求出[7],也就是說,兩幅圖像內(nèi)的投影點求取的誤差決定該點深度信息的精度。
標定完成后,通過標定出的相機參數(shù)和兩相機的相對位置關系,對相機參數(shù)進行校正處理,其校正后的相機內(nèi)參,如表2 所示。對標定板采集的圖像分別進行校正處理后,提取出標定板內(nèi)所有圓心的坐標,求出兩幅圖像中標定板相同圓心的橫坐標差值和標定板內(nèi)兩圓心空間距離。
表2 校正后相機參數(shù)Tab.2 Parameters of the Camera After Calibration
對以上兩個參數(shù)分析進而判斷標定精度,通過大量數(shù)據(jù)統(tǒng)計,橫坐標差值絕對值最大為0.2pixels,而理想條件下一空間點在兩幅校正圖像上的像素橫坐標相等;標定板內(nèi)相鄰兩個圓心之間的空間距離差最大為0.002mm,滿足檢測精度要求,如表3所示。
表3 左、右相機內(nèi)標定板同一圓心橫坐標差和相鄰圓心兩點距離Tab.3 Abscissa Difference of the Same Center of Circle and Distance Between Two Points of Adjacent Center of Camera Internal Calibration Plates
根據(jù)工件大小和雙目系統(tǒng)公共視野大小關系,該文章將切割后的工件分為(1~8)次拍照,通過此種方法可將工件全部測量區(qū)域拍攝完成。
首先,將切好后的工件放在氣缸夾爪上,如圖4所示。夾爪兩端的氣缸選用的是伸出式氣缸,左端氣缸初始位置為收縮狀態(tài),該氣缸氣壓為0.2MPa;右端氣缸初始位置為伸出狀態(tài),氣壓為0.07MPa。
圖4 夾取測量裝置圖Fig.4 Diagram of Clamp Measuring Device
當氣缸夾爪開始夾取時,位于左端收縮狀態(tài)的氣缸推出,將工件夾住,頂在右側(cè)伸出狀態(tài)氣缸上,因右側(cè)氣缸所受氣壓較小,會使右端氣缸彈性回收。
如此設置手爪的優(yōu)勢在于可以使夾爪的加持力保持為定量。夾爪模型圖,該模型圖設計仿照工件形狀設計而成,因工件為柔性工件,此設計在夾持工件時可以使工件在夾持時受力面積增大,使工件被夾持后變形較小,減少測量中因工件變形造成的誤差干擾,如圖5所示。
圖5 夾爪模型圖Fig.5 Gripper Model Diagram
夾爪夾持住工件后,由PLC控制高精度滑臺帶動工件運動到第一個拍照位置,滑臺到位后通過對相機外觸發(fā)進行拍照,拍照完成后,滑臺帶動工件運動到下一個拍照位,進行下一次拍照,循環(huán)往復,進行多次拍照,完成整體采圖工作。
因雙目系統(tǒng)的工作空間限制,無法將工件整體一次拍攝完成,因此采用對圖像拼接擴大集成成像范圍,如圖6所示。為了使系統(tǒng)運行效率達到生產(chǎn)要求且具有良好的精度,特征點的提取采用在每幅圖像中通過圖像預處理的方法找出圖像拼接特征點[8-9]。在連續(xù)拍攝的圖像中,通過預處理提取出工件的波谷點,在連續(xù)兩幅圖像中通過PLC控制的高精度滑臺運動距離與圖像像素成像關系,尋找出兩幅圖像中的同一個波谷點作為特征點,以此特征點作為連接點進行圖像拼接。
圖6 工件采集圖像Fig.6 Image Acquisition of Workpiece
圖像拼接具體過程如下:
(1)上位機使用canny算子對如圖6中的每組采集圖片內(nèi)的工件邊緣亞像素輪廓進行提取,將邊緣點坐標信息進行存儲。
(2)通過點坐標信息,動態(tài)截取圖像中的輪廓線,提取出每一組輪廓中的波谷點位置信息。
(3)根據(jù)提取出的波谷點坐標信息和PLC精確控制高精度滑臺運動距離關系,將兩幅圖像中同一特征點坐標信息進行匹配結(jié)合,通過提取出的特征點信息,使用基于特征點的匹配算法,完成整體圖像拼接工作,拼接圖像,如圖7所示。
圖7 圖像拼接之后的圖像Fig.7 Image After Mosaic
在雙目立體視覺系統(tǒng)中,立體匹配是一個關鍵技術(shù),它是通過兩個相機同時獲取同一個場景的左右兩幅圖像,尋求左右圖像內(nèi)點之間一一對應的關系,匹配兩個圖像上對應的點,從而根據(jù)對應點視差關系,求得空間坐標信息[10]。
而在該測量系統(tǒng)中,圖片環(huán)境中只有夾爪和工件,而按照兩個相機的安裝方式和選取的條形漫反射光源效果,左右相機在采集圖像中相同點的灰度值相差較大,對特征點的選取工作采用分別對單幅圖像特征進行提取的方法,將兩幅圖像提取出的兩個感興趣點作為同一特征點,通過式(1)求出每個提取點的深度信息,進而求取工件壁厚。具體過程如下:
(1)分別求出塑膠防塵套橫切面上兩端的邊緣輪廓線,使用canny 算子,對兩幅圖像進行邊緣亞像素提取,提取出邊緣輪廓線,將輪廓線上點的坐標信息記錄存儲。
(2)采用動態(tài)切割方法,分別對兩條輪廓線進行切割處理,切割出含有波峰、波谷的多段輪廓線,分別對兩幅圖像中的多段輪廓線進行極值提取,求出輪廓線中待測的所有波峰、波谷點。
(3)將求出的所有波峰、波谷點通過圖像拼接協(xié)議逐個投影到單幅圖像中其所在的坐標位置,以同一個波峰、波谷點在兩幅圖像中的縱坐標差值為視差,通過式(1)求取該點在空間中的深度信息,提取完成后通過空間點與點求距公式進行工件壁厚求取。
同一個工件的六次測量數(shù)據(jù),如表4 所示。測量系統(tǒng)測量10mm量塊的數(shù)據(jù)記錄,如表5所示。根據(jù)用該系統(tǒng)測量工件數(shù)據(jù)和用游標卡尺對工件的測量結(jié)果進行比較,并且通過對量塊測量數(shù)據(jù)分析得出,其絕對精度達到±0.05mm,并且通過大量實驗數(shù)據(jù)比較表明,該測量系統(tǒng)的重復性精度非常高,滿足測量要求。
表4 工件測量結(jié)果Tab.4 Measurement Results of Workpiece
表5 兩塊測量結(jié)果Tab.5 Measurement Results of Two Pieces
這里基于雙目立體視覺測量原理,主要研究如何用雙目立體視覺高精度測量柔性塑膠防塵套工件壁厚。主要闡述了對大焦距、高精度雙目相機的標定,相機校正與標定精度驗證,檢測方式,圖像拼接和測量點匹配等方面進行了研究。通過多次實驗大量實驗數(shù)據(jù)分析可知,該系統(tǒng)絕對精度達到±0.05mm,滿足測量要求。