劉 虹,王文祥,李維詩
(合肥工業(yè)大學 儀器科學與光電工程學院,合肥 230009) (*通信作者電子郵箱liuhong93@126.com)
三維掃描測頭精確跟蹤的攝影測量方法
劉 虹*,王文祥,李維詩
(合肥工業(yè)大學 儀器科學與光電工程學院,合肥 230009) (*通信作者電子郵箱liuhong93@126.com)
針對傳統(tǒng)三維掃描測量機器人依賴于機器人的定位精度從而難以實現高精度測量的問題,提出了一種三維掃描測頭精確跟蹤定位的攝影測量方法。首先,搭建由多個工業(yè)攝像機構成的測頭跟蹤系統(tǒng),并在機器人的掃描測頭上粘貼編碼標志點;然后,對攝像機進行高精度標定,求解出攝像機內外參數;其次,多攝像機同步采樣,對圖像中的標志點依據編碼原理進行匹配,并求出投影矩陣;最終,求解出編碼標志點在空間中的三維坐標,實現三維掃描測頭的跟蹤定位。實驗結果表明,標志點定位在距離上的平均誤差為0.293 mm,在角度上的平均誤差為0.136°,算法精度在合理范圍之內。采用該攝影測量方法可以提高掃描測頭的定位精度,從而實現高精度測量。
工業(yè)機器人;三維掃描測頭;編碼標志點;攝影測量;跟蹤
制造業(yè)的生產方式正發(fā)生著深刻變革,為了降低生產成本、提高生產效率,特別是提高產品質量,工業(yè)機器人在工業(yè)現場的大規(guī)模使用已成為大勢所趨。將三維掃描測頭安裝于工業(yè)機器人的手部,二者集成為一種自動化檢測系統(tǒng),本文將之稱為三維掃描測量機器人,這類系統(tǒng)在汽車、航空、航天制造等領域中復雜曲面類零件以及產品的在線檢測中已有應用。
傳統(tǒng)的三維掃描測量機器人主要由三維掃描測頭工業(yè)機器人構成,在測量過程中掃描測頭的位置和姿態(tài)由機器人確定,因此測量精度依賴于機器人的定位精度。工業(yè)機器人本身一般采用串聯開鏈式關節(jié)構型,其定位精度往往受到各種不確定因素的影響,比如機器人本身的慣性滯后、溫度變形和各零部件之間的擠壓變形等,這些因素導致的機器人定位誤差累加起來就會限制其在高精度領域上的應用,特別是在檢測領域的應用。研究表明,通過改善上述影響因素的方法來提高精度,作用十分有限[1]。
為了提高測量精度,目前三維掃描測量機器人一般采用測頭跟蹤系統(tǒng)。在測量過程中,機器人在程序的控制下帶動掃描測頭,根據規(guī)劃出的測量路徑在空間中運動,對被測工件進行掃描,測頭跟蹤系統(tǒng)同步測量掃描測頭的位置和姿態(tài),從而消除機器人對測量精度的影響。目前已有的激光跟蹤儀跟蹤系統(tǒng)[2]價格較高,而且容易出現遮擋,在測量復雜外形零件時一般需要多次轉站,不適合用于復雜曲面類零件的在線測量。本文研究一種基于攝影測量原理的測頭跟蹤系統(tǒng),在消除機器人對系統(tǒng)測量精度影響的同時,大幅提高測量范圍并降低遮擋現象出現的幾率。上述“遮擋”是指在測量過程中,跟蹤系統(tǒng)與掃描測頭之間出現遮擋物(包括操作人員),跟蹤系統(tǒng)無法“看見”掃描測頭,因而無法跟蹤掃描測頭的位姿。
數字工業(yè)攝影測量技術作為工業(yè)測量技術的重要組成部分,在大尺寸、高精度、現場環(huán)境越來越復雜的工業(yè)現場發(fā)揮越來越重要的作用。從20世紀60年代開始便有學者對近景攝影測量的相關理論、算法及硬件進行研究,并逐步將其應用到工業(yè)測量領域。到90年代,隨著計算機技術的快速發(fā)展和日益普及,工業(yè)攝影測量技術也有了長足的發(fā)展,并發(fā)展出攝像測量技術,用于動態(tài)測量。Hartley等[3]和Faugras[4]首先系統(tǒng)提出了基于多視圖像的三維重建方法,建立了統(tǒng)一的立體視覺理論。基于這種理論,雙目或者三目立體視覺可以看成攝影測量的一種特例。
本文基于多視圖像的三維重建方法,將攝影測量技術應用于掃描測頭的同步跟蹤:首先提出了一種適用于掃描測頭的點分布型編碼標志點方案,在此基礎上實現編碼標志點的中心定位和匹配;然后基于攝像機的內外參數求出投影矩陣,進而計算出匹配點的空間三維坐標。利用匹配點的空間三維坐標可以確定測頭的位置和姿態(tài),從而確定測頭在不同位姿采集的數據之間相對變換關系。
本文研究的三維掃描測量機器人整體結構示意圖如圖1所示,機器人本身有6個自由度,掃描測頭安裝在工業(yè)機器人手部,跟蹤系統(tǒng)由兩個及兩個以上高速工業(yè)攝像機構成。在掃描測頭的4個側面粘貼有編碼標志點,作為攝像機拍攝跟蹤測頭位姿的顯著標志。跟蹤系統(tǒng)的每個攝像機可以根據需要安裝在合適的位置,保證在測量過程中掃描測頭上至少一組編碼標志點都可以被至少兩個攝像機拍攝到。
在測量過程中,掃描測頭由其帶動在空間內作旋轉和平移運動,掃描測頭發(fā)出扇形激光束掃描復雜曲面類零部件。任意兩個攝像機同步拍攝的圖像經由三維重建算法處理,計算出掃描測頭在空間中的位置和姿態(tài)。采用多相機跟蹤系統(tǒng)一方面可以大幅提高測量范圍,另一方面也可以降低遮擋問題出現的幾率。理論上只要采用足夠多的攝像機并且安裝位置合理,測量范圍可以任意大而且沒有遮擋。
圖1 整體結構示意圖
為了能在圖像中提取出足夠的、準確的特征點,攝影測量通常要求被測物體表面具有豐富、明顯的紋理信息。但是,制造業(yè)中的零部件表面通常不滿足該條件,而且測量精度要求較高,利用表面紋理提取的特征點無法滿足精度要求。這種情況下,只能人為地在被測物體表面粘貼一些標志點,通過快速準確地識別這些標志點,達到獲取被測物體表面信息的目的。利用編碼標志點可以有效提高識別、匹配速率,便于自動檢測[5]。
2.1 編碼標志點設計
人工編碼標志點的種類很多,一般是根據被測物體的表面情況來選擇,而且隨著表面的尺寸和復雜度的增加,對編碼標志點的數量需求也越大。一般而言,編碼標志點有以下幾點設計原則:
1)有足夠的編碼容量。編碼容量是指一套編碼標志能夠包含的唯一編碼的個數。
2)唯一性。設計的編碼標志點所包含的信息必須具有唯一性。
3)射影變換不變性。拍攝是一個射影變換的過程,經過射影變化后必須仍然具備特定的編碼信息。
4)尺寸合適。標志點尺寸如果過大,不僅在布設時容易產生變形,而且會因為成像太大降低識別速率;尺寸過小,成像面積小,編碼信息難以識別,而且影響最終的測量精度。
5)易于從背景中分離。圖像處理的整個對象包括被測物體、編碼標志點和背景。在識別編碼標志點時首先要將圖像的背景濾除掉,所以標志點要與背景有較大的差別和對比度。
6)編碼標志點的設計應盡量簡單,以降低處理時間。
在掃描測量機器人應用中,掃描測頭跟蹤系統(tǒng)必須與掃頭同步采樣,并且在采樣間隔內完成三維重建,對編碼標志點識別速度和圖像分析處理時間都有非常高的要求,因此應遵循越簡單越好的原則。針對這種情況和編碼標志點設計的一般原則,本文設計了一種實用的點分布型編碼標志點,如圖2所示。
圖2 編碼標志點設計
該編碼標志點背景采用黑色,編碼標志由最多7個大小相同的高反光圓形標志點組成。編碼原理如圖2(a)所示,O、C、E、A、B為模板點,定義編碼標志的坐標系;M1和M2作為編碼點,分別位于直線OCE的兩側,其編碼容量為4,滿足掃描測頭四個側面的識別定位需要。采用這種方法,可以得到4個編碼圖案:1)沒有編碼點M1、M2,定義為圖案1,如圖2(b)所示;2)只有編碼點M1,定義為圖案2,如圖2(c)所示;3)只有編碼點M2,定義為圖案3,如圖2(d)所示;4)有編碼點M1、M2,定義為圖案4,如圖2(e)所示。
2.2 標志點特征匹配
圖像匹配是指將兩幅或多幅圖像中的同一像素點匹配起來,按照匹配原理可分為基于灰度值的匹配方法和基于特征的匹配方法[6],本文采用的是基于特征的編碼匹配算法。先將圖像的背景過濾,利用形態(tài)學的腐蝕和膨脹等對圖像預處理[7],使標志點從背景中提取出來并進行中心定位,再利用交比不變性將多幅圖像中的編碼特征匹配起來。
交比是射影幾何學中基本的射影不變量之一。A′、B′、C′、D′為一條直線上的任意四點,A、B、C、D為射影變換后對應的四點,交比不變性如圖3所示。
圖3 交比不變性
一維交比根據同一直線的四個點的距離來定義,A′、B′、C′、D′的交比為:
(1)
同理A、B、C、D的交比為:
(2)
在射影變換中點列的交比保持不變,即:
R(A′,B′,C′,D′)=R(A,B,C,D)
(3)
對于圖2所示編碼標志點中的模板點,A、B所在直線與O、C、E所在直線相交得到一個點。根據前述射影幾何學原理,該點與O、C、E的交比在不同圖像中不變。
利用該性質,提出如下匹配算法。
輸入:帶有編碼標志點圖案的圖像。
輸出:匹配好的同名點。
步驟1 確定初始點集合。給定一個距離因子k,對所有標志點(設其半徑為r)逐一搜索其周圍k*r內的所有標志點,若找到5個或5個以上標志點,則該標志點連同找到的標志點記為集合G,并繼續(xù)步驟2;否則繼續(xù)下一標志點。
步驟2 尋找點O、C、E,在標志點集合G中,搜索共線的三個點,若找到,則位于中間的點確定為點C,否則返回步驟1。由于O、C、E三點排列的方向性,點O和點E存在兩種可能性。
步驟3 尋找點A、B,并確定點O和點E。從G中剩余的點中,依據射影變換中交比不變性尋找點A、點B,并根據交比確定點O、點E。位于直線OCE左側的確定為點A,位于右側的確定為點B。
步驟4 尋找M1、M2點,并確定編碼圖案類型。在G中剩余的點中繼續(xù)搜索,若沒有其他的點,則記集合G為圖案1。若在直線OCE左側有一個點,則該點確定為M1,并記為圖案2。若在直線OCE右側有一個點,則該點確定為M2,并記為圖案3。若在直線OCE左右兩側分別有一個點,則左側的點確定為M1,右側的點確定為M2,并記為圖案4。
步驟5 同名點匹配。在多幅圖像中重復步驟1~4,并按照編碼圖案類型和各個標志點編號將同名點匹配起來。
利用圖像中的二維信息恢復其在世界坐標系下三維信息的過程稱為三維重建。在掃描測頭位姿跟蹤系統(tǒng)中,經由攝像機同步拍攝的多個圖像序列傳輸到計算機中進行相應的處理:首先,依據編碼方法匹配圖像中的標志點;然后,利用攝像機的內外參數求出投影矩陣;最終實現標志點的三維定位,得到掃描測頭在三維空間中的位置和姿態(tài),達到跟蹤定位的目的。
3.1 攝像機模型
數字攝影測量跟蹤系統(tǒng)采用攝像機采集圖像,其幾何基礎是針孔成像模型,該模型的特點是來自場景的光線均通過一個投影中心(光心)。如圖4所示,主要由光心Oc、光軸和成像平面組成,空間中一點(xm,ym,zm)成像于(u,v)點。
圖4 攝像機針孔成像模型
依據攝像機成像原理可以得到從世界坐標系到圖像像素坐標系的關系[8]:
(4)
其中:(u0,v0)為攝像機成像平面中心點的坐標,fu=f/dx,fv=f/dy,f是攝像機的焦距,dx和dy是每個像素在x和y方向的物理尺寸,K為攝像機內參數矩陣,旋轉矩陣R和平移矩陣T為攝像機外參數,P為投影矩陣。
3.2 與Kalman預測相結合的CAMShift目標跟蹤
CAMShift(Continuously Adaptive Mean-Shift)算法[9]即連續(xù)自適應均值漂移(MeanShift)算法,是以MeanShift算法為核心,實現圖像任一時刻的MeanShift迭代計算,再以此刻得到的目標窗口為下一時刻MeanShift算法搜索窗口初始值。它相比MeanShift算法的優(yōu)點是可以自適應跟蹤目標遠近大小的變化,自動調整搜索框的大小。
為提高目標跟蹤速度和降低在復雜環(huán)境下追蹤偽目標的概率,在CAMShift算法的基礎上加入對目標的軌跡預測,就顯得很有實際意義和應用價值。
卡爾曼(Kalman)濾波[10]是一種常用的遞歸濾波器,它能從一組有限的,包含高斯噪聲的,對物體位置的記錄序列中,預測出物體的位置坐標和速度。它的高效率體現在無需存儲大量的歷史數據,也可以最大化地利用當前的數據,即通過重復更新系統(tǒng)狀態(tài)模型,且只為下次更新保存模型。
Kalman預測器狀態(tài)方程為:
Xk=Ak,k-1Xk-1+Wk-1
(5)
觀測方程為:
Zk=HkXk+Vk
(6)
其中:Xk是系統(tǒng)狀態(tài)向量,Ak,k-1是狀態(tài)轉移矩陣,Wk-1是系統(tǒng)狀態(tài)的隨機干擾向量,Zk是觀測系統(tǒng)狀態(tài)向量,Hk是觀測矩陣,Vk是觀測噪聲向量。
本文基于OpenCV(Open Source Computer Vision)函數庫,采用Kalman濾波和CAMShift跟蹤相結合的方法,對工業(yè)機器人帶動掃描測頭掃描車門的視頻序列進行分析處理,計算出每一幀圖像中掃描測頭的位置并用白色方框框出,如圖5所示,該環(huán)節(jié)在圖像序列中標識出測頭完整的運動過程,便于進行后續(xù)提取其特征和三維定位等工作。
圖5 掃描測頭跟蹤
3.3 攝像機標定
在進行攝像機定標時,本文采用Zhang[11]提出的平面標定法,該方法對定標板在不同方向多次(三次以上)完整拍照,直接獲得相機的內參、畸變系數和外參。該標定方法簡單高效,而且克服了傳統(tǒng)定標法對設備要求高、操作繁瑣等缺點。本文攝像機內參數矩陣采用的是四參數模型:
(7)
3.4 投影矩陣及三維坐標求解
(8)
其中P、P′和K、K′分別為兩個攝像機的投影矩陣和內參數矩陣。
令M=(X,Y,Z,1)T是在世界坐標系上的任意一點,M點在兩幅圖像的成像點分別記為m=(x,y,1)T和m′=(x′,y′,1)T,則在每幅圖像中有m=PM,m′=P′M′成立,圖像點和三維空間點的投影關系[4]可以表示為:
(9)
其中:piT是矩陣P的i行,X為待求值三維空間坐標。
為了驗證本文的算法,構建了實驗系統(tǒng)。在工業(yè)機器人手部安裝了一個粘貼有四組編碼標志點圖案的長方體,模擬掃描測頭,由機器人帶動連續(xù)運動。
實驗中的攝像機分別在不同的方位采集圖像。在一次采樣中,第1個相機采集模擬掃描測頭圖像如圖6(a),由圖2可知,原圖像中包含圖案3和圖案4編碼標志點。經由背景濾除等圖像預處理和標志點中心定位得到處理后的圖像,局部放大如圖6(b)所示,在高反光標志點的中心標注出了黑色十字。對第2個相機采集的圖像進行相同處理,如圖7所示。然后通過編碼原理將兩幅圖像中的同名標志點匹配,最終重建出的標志點三維坐標如表1所示,其中O1、C1、E1、A1、B1、M1對應圖2(d)的編碼圖案3所示的標志點,O2、C2、E2、A2、B2,M1′和M2′對應圖2(e)的編碼圖案4所示的標志點。為了更好的可視化效果,基于OpenGL(Open Graphics Library)對重建的標志點進行三維空間顯示,渲染效果如圖8(a)所示,進一步采用最小二乘法擬合出相應的平面,并依據實物的先驗知識重構出模擬掃描測頭,如圖8(b)所示。
圖6 第1幅圖像
圖7 第2幅圖像
表1 編碼標志點三維坐標
圖8 三維重建結果
圖9給出了工業(yè)機器人帶動掃描測頭運動過程中9次采樣的重建結果,圖9(a)為第一次采樣的重建結果,圖9(b)為9次采樣的重建結果,在此基礎上得到機器人帶動掃描測頭的運動路徑。通過重建掃描測頭在三維空間中的位置和姿態(tài),可以確定測頭在不同位姿采集的數據之間相對變換關系。
為了驗證三維重建結果的精度,與圖10所示的采用德國ACION公司的DPA數字攝影三維測量系統(tǒng)重建的結果進行了分析比較。如表2所示,其中OE1、OE2分別表示編碼圖案3和圖案4中標志點O與標志點E之間的距離,O1O2表示圖案3與圖案4標志點O之間的距離,d1表示圖案3各標志點擬合后平面的平面度誤差,d2表示圖案4各標志點擬合后平面的平面度誤差,angle_12表示圖案3和圖案4兩擬合平面之間的夾角。表2為上述9次采樣重建結果和DPA三維測量系統(tǒng)重建結果相關參數的比較。實驗結果表明,標志點定位在距離上的平均誤差為0.293 mm,在角度上的平均誤差為0.136°,算法精度在合理范圍之內,驗證了攝影測量跟蹤系統(tǒng)在三維掃描測量機器人測頭定位中應用的可行性。
圖9 采樣重建結果
圖10 DPA系統(tǒng)重建結果
表2 三維重建結果誤差分析
本文提出了一種三維掃描測頭精確跟蹤定位的攝影測量方法,使得測量精度與工業(yè)機器人定位精度無關,可以提高掃描測頭的定位精度,從而實現高精度測量。在掃描測量機器人應用中,測頭跟蹤系統(tǒng)必須與掃描測頭同步采樣,并且在采樣間隔內完成標志點精確識別和三維定位,對編碼標志點識別速度和圖像分析處理時間都有非常高的要求,針對這種情況和編碼標志點設計的一般原則,本文設計了一種實用的點分布型編碼標志點,并基于交比不變性提出了相應的編碼標志點識別方法。然后利用事先高精度標定過的攝像機的內外參數求出投影矩陣,最終實現標志點三維定位。實驗結果表明:多次同步采樣重建出的編碼標志點三維定位結果誤差較小,算法精度滿足應用需要。
References)
[1] 王田苗,陶永.我國工業(yè)機器人技術現狀與產業(yè)化發(fā)展戰(zhàn)略[J].機械工程學報,2014,50(9):1-13.(WANG T M, TAO Y. Research status and industrialization development strategy of Chinese industrial robot [J]. Journal of Mechanical Engineering, 2014, 50(9): 1-13.)
[2] ACERO R, BRAU A, SANTOLARIA J, et al. Verification of an articulated arm coordinate measuring machine using a laser tracker as reference equipment and an indexed metrology platform [J]. Measurement, 2015, 69(1): 52-63.
[3] HARTLEY R, ZISSERMAN A. Multiple View Geometry In Com-puter Vision [M]. 2nd ed. Cambridge: Cambridge University Press, 2003: 239-323.
[4] FAUGERAS O. Three Dimensional Computer Vision [M]. Massachusetts: MIT Press, 1993: 187-205.
[5] 范生宏.工業(yè)數字攝影測量中人工標志的研究與應用[D].鄭州:信息工程大學,2006:47-52.(FAN S H. Study and application of artificial markers in industrial digital photogrammetry [D]. Zhengzhou: Information Engineering University, 2006: 47-52.)
[6] 賈棋,高新凱,羅鐘鉉,等.基于幾何關系約束的特征點匹配算法[J].計算機輔助設計與圖形學學報,2015,27(8):1388-1397.(JIA Q, GAO X K, LUO Z X, et al. Feature points matching based on geometric constraints [J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(8): 1388-1397.)
[7] 徐志平,鐘亦平,張世永.基于交叉視覺皮質模型二值圖像形態(tài)學算法[J].計算機輔助設計與圖形學學報,2007,19(8):991-994.(XU Z P, ZHONG Y P, ZHANG S Y. A binary image morphological processing algorithm based on intersecting cortical model [J]. Journal of Computer-Aided Design & Computer Graphics, 2007, 19(8): 991-994.)
[8] 佘彥杰.基于多幅圖像序列的三維重建[D].長春:吉林大學,2006:15-18.(SHE Y J. 3D reconstruction based on image sequences [D]. Changchun: Jilin University, 2006: 15-18.)
[9] 王晉疆,劉陽,吳明云.基于快速魯棒特征的CAMShift跟蹤算法[J].計算機應用,2013,33(2):499-502.(WANG J J, LIU Y, WU M Y. CAMShift tracking algorithm based on speed-up robust features [J]. Journal of Computer Applications, 2013, 33(2): 499-502.)
[10] 權義萍,金鑫,張蕾,等.基于Mean-Shift的卡爾曼粒子濾波車輛跟蹤算法研究[J].計算機應用與軟件,2014(9):236-239.(QUAN Y P, JIN X, ZHANG L, et al. On vehicle tracking algorithm using Mean-Shift-based Kalman particle filter [J]. Computer Applications and Software, 2014(9): 236-239.)
[11] ZHANG Z. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
[12] PAZOS S, HURTADO M, MURAVCHIK C H, et al. Projection matrix optimization for sparse signals in structured noise [J]. IEEE Transactions on Signal Processing, 2015, 63(15): 3902-3913.
This work is partially supported by the Independent Innovation Fund Project of Anhui Province (JZ2015QSJH0244), the Foshan Science and Technology Innovation Special Fund Project (2014IT100115).
LIUHong, born in 1993, M. S. candidate. Her research interests include machine vision, photogrammetry, image processing.
WANGWenxiang, born in 1993, M. S. candidate. His research interests include machine vision, photogrammetry.
LIWeishi, born in 1970, Ph. D., professor. His research interests include reverse engineering of complex shape detection, computer aided geometric design.
Photogrammetricmethodforaccuratetrackingof3Dscanningprobe
LIU Hong*, WANG Wenxiang, LI Weishi
(SchoolofInstrumentScienceandOpto-ElectronicsEngineering,HefeiUniversityofTechnology,HefeiAnhui230009,China)
For the traditional 3D robot scanners, the measuring precision is dependent on the positioning precision of the robot, and it is difficult to achieve high measuring precision. A photogrammetric method was proposed to track and position the 3D scanning probe accurately. First, a probe tracking system consisting of multiple industrial cameras was set up, and coded markers were pasted on the probe. Then, the camera was calibrated with high precision and interior and exterior parameters of the camera were obtained. Second, all cameras were synchronized, the markers in the image were matched according to the coding principle, and the projection matrix was obtained. Finally, the 3D coordinates of the markers in space were computed to track and position the probe. The experimental results show that the mean error of the marker position is 0.293 mm, the average angle error is 0.136°, and the accuracy of the algorithm is within reasonable range. The photogrammetric method can improve the positioning precision of the probe, so as to achieve high precision measurement.
industrial robot; 3D scanning probe; coded marker; photogrammetry; tracking
TP242.6; TP391.413
:A
2017- 01- 05;
:2015- 02- 24。
安徽省自主創(chuàng)新資金資助項目(JZ2015QSJH0244);佛山市科技創(chuàng)新專項資金資助項目(2014IT100115)。
劉虹(1993—),女,安徽淮北人,碩士研究生,主要研究方向:機器視覺、攝影測量、圖像處理; 王文祥(1993—),男,江蘇泗洪人,碩士研究生,主要研究方向:機器視覺、攝影測量; 李維詩(1970—),男,山東蓬萊人,教授,博士,主要研究方向:復雜外形檢測反求工程、計算機輔助幾何設計。
1001- 9081(2017)07- 2057- 05
10.11772/j.issn.1001- 9081.2017.07.2057