馮志豪,霍軍周,張海東,毋 振

(大連理工大學(xué)機械工程學(xué)院,遼寧大連 116024)

0 引言

隧道掘進機(TBM)是集掘進、排碴、襯砌等功能為一體的大型裝備,被廣泛應(yīng)用在鐵路、公路、引水工程和市政管道等領(lǐng)域。TBM在施工過程中存在著刀具消耗大、更換頻繁和換刀周期長等問題。目前換刀工作主要靠人工完成,而換刀作業(yè)環(huán)境惡劣,易出現(xiàn)安全事故,故機器換刀勢在必行。近年來,計算機視覺在人工智能領(lǐng)域迅猛發(fā)展,視覺測量技術(shù)被廣泛應(yīng)用于制造、施工、醫(yī)療等領(lǐng)域。在TBM機器換刀中,刀具系統(tǒng)的精確定位和準確測量是實現(xiàn)智能化換刀的關(guān)鍵,視覺測量技術(shù)可以較為方便地對目標進行定位、測量。然而,換刀倉內(nèi)工況環(huán)境差,濕度大、粉塵濃度高等惡劣條件會使相機有穩(wěn)定性、安全性的問題,因此換刀倉內(nèi)的相機需要加裝防爆玻璃保護罩。然而,在成像過程中,光線通過玻璃平面會使光線的傳播路徑發(fā)生變化,而傳統(tǒng)的針孔相機模型無法消除折射帶來的畸變。

針對相機在成像過程中因平面折射產(chǎn)生畸變的問題,國內(nèi)外學(xué)者進行了廣泛的研究。Y.H.Kwon等[1-3]完全忽略平面折射現(xiàn)象或把因平面折射帶來的圖像畸變看作鏡頭的畸變。J.P.Queiroz[4]等驗證了水下三維重建中若忽略折射的影響會造成很大的偏差。G.J.Zhang等[5]在測量過程中為了消除折射畸變的影響,將沒有畸變和有畸變的圖像點的坐標聯(lián)系起來,建立畸變的對照表,但并未提出通用的平面折射畸變模型。T.Treibitz[6]建立了相機光軸與折射面法向量平行的折射成像模型,對水下成像的相機參數(shù)的標定方法進行了優(yōu)化。A.Agrawal等[7]對多平面折射問題進行了研究,建立的多平面折射模型可以對折射的相關(guān)參數(shù)進行精確的標定,如:玻璃折射率、每個折射面的法向量以及相機光心距折射面的距離。W.J.Yang等[8]建立了非平行平面折射成像模型,并提出了折射面法向量的標定方法,但并未對折射畸變進行校正。M.C.Feng等[9]建立了平面折射成像模型,根據(jù)其幾何關(guān)系推導(dǎo)出光線在折射過程中的數(shù)學(xué)關(guān)系。X.Chen等[10]基于入射光線在雙目相機中的共面約束,提出了水下相機的標定方法,并優(yōu)化了相機標定的參數(shù)。Y.J.Chang[11]提出了一種水下三維重建模型,可以將折射畸變的影響用深度函數(shù)表示,但需要輔助設(shè)備測量相機的旋轉(zhuǎn)角度。湯興粲[12]提出了水下成像非線性模型,對圖像的折射畸變進行了校正,但其模型并未充分考慮物體景深對畸變的影響,精準性不足。趙柳月[13]和L.X.Huang[14]等提出了平面折射的畸變模型,但需要相機光軸與折射面法向量保持平行。上述學(xué)者大多研究折射環(huán)境下對相機參數(shù)的標定或折射面法向量的標定進行優(yōu)化,對折射畸變的校正也多假設(shè)相機光軸方向與折射面法向量平行,而且許多研究集中于水下視覺成像。

針對以上問題,提出了單目視覺系統(tǒng)在非平行平面折射下畸變校正模型,探討了單目視覺系統(tǒng)在非平行平面折射下的圖像畸變的校正問題,能更方便地提高相機在惡劣環(huán)境下的定位精度和測量精度。

1 基本原理

單目視覺系統(tǒng)在平面折射環(huán)境下進行二維測量時,因光線通過玻璃平面會使光線的傳播路徑發(fā)生兩次折射,導(dǎo)致圖像產(chǎn)生畸變。而在實際應(yīng)用中由于安裝誤差相機光軸方向與玻璃折射面法向量并不平行,平板玻璃的傾斜和玻璃折射率、厚度的影響都會使圖像點產(chǎn)生偏移,從而不適用于傳統(tǒng)的針孔相機模型。

針對以上問題,首先,提出相機旋轉(zhuǎn)的概念,基于羅德里格斯旋轉(zhuǎn)公式,真實相機與旋轉(zhuǎn)后的虛擬相機的圖像點一一映射,虛擬相機光軸與折射面法向量平行,可消除相機光軸與折射面法向量不平行導(dǎo)致圖像點偏移的問題。然后,用測距設(shè)備測得待測平面與相機之間的距離后,提出基于動態(tài)虛擬焦距的折射畸變校正模型,對折射畸變進行校正。

1.1 非平行平面折射相機旋轉(zhuǎn)模型

如圖1所示,相機光軸與折射面法向量存在一定的夾角,玻璃平面的傾斜可看作相機坐標系以旋轉(zhuǎn)軸向量為中心做旋轉(zhuǎn)運動。

圖1 相機光軸與折射面法向量不平行

已知相機光軸方向向量w和折射面法向量n,可求得旋轉(zhuǎn)軸的單位向量v為

(1)

旋轉(zhuǎn)的角度為

(2)

可看作真實相機坐標系繞旋轉(zhuǎn)軸v旋轉(zhuǎn),旋轉(zhuǎn)角度為λ,旋轉(zhuǎn)前后圖像點是一一對應(yīng)的關(guān)系。折射面法向量n的求取可參考文獻[8]提出的折射面法向量的標定方法求取,在此不做過多贅述。

首先,將真實相機的圖像點pz(uz,vz)轉(zhuǎn)換到虛擬相機坐標系中表達,由羅德里格斯公式可知:

p′=sinλ(v·pz1)+(1-cosλ)(v·pz1)·v+pz1cosλ

(3)

式中:pz1=[uz,vz,f]T;p′為pz在虛擬相機坐標系中的坐標,p′=[p1′,p2′,p3′]T;f為相機焦距。

在虛擬相機坐標系中,直線Opz與虛擬像平面的交點就是圖像點pz(u,v)在虛擬像平面上所對應(yīng)的圖像點px:

px=f[p1′/p3′p2′/p3′]

(4)

綜上,可以準確求得真實圖像點在虛擬相機坐標系中的圖像坐標,解決折射面法向量與相機光軸不平行的問題。

1.2 折射畸變校正模型

由上述的非平行平面折射相機旋轉(zhuǎn)模型對玻璃的傾斜進行校正后,可以認為相機的光軸方向與玻璃折射面法向量平行,平行時平面折射下成像的幾何關(guān)系如圖2所示。

(a)原始成像

(b)玻璃平面平移至物體前圖2 平面折射成像幾何關(guān)系

如圖2(a)所示,空間點P透過平板玻璃經(jīng)過2次折射,在成像平面上得到像點p(u,v),若沒有玻璃,空間點P直接成像在p1(u1,v1)點。由于玻璃的存在,成像點p和p1并不重合,p和p1之間的距離就是因玻璃折射產(chǎn)生的折射畸變。像點p與主點的距離為

(5)

式中(u0,v0)為相機主點坐標。

根據(jù)斯涅爾的折射定律可知,入射光線、折射光線和法線在同一平面內(nèi),光線從空氣到玻璃傳播時,空氣的折射率為1,其光線入射角θa、折射角θp和玻璃折射率np的關(guān)系滿足:

sinθa=npsinθp

(6)

由平面折射的相關(guān)知識可知,光線穿過玻璃,其方向并不發(fā)生改變,只在折射平面內(nèi)做偏移,由于平面折射的這個特性,可知平板玻璃與相機的距離并不影響成像的位置,如圖2(b)所示。根據(jù)圖2的幾何關(guān)系,可以獲得以下公式:

(7)

(8)

(9)

式中:m為AB之間的距離,mm;d為玻璃板厚度,mm;β為無玻璃時光線與光軸的夾角,(°);z為景物深度,mm;c為空間點P距光軸平面的距離,mm。

根據(jù)式(6)～式(9),可得:

(10)

如圖3所示,保持圖像點p的坐標不變,將折射畸變以焦距的變化來體現(xiàn),p2為在虛擬焦距f2的像平面上的圖像點。

圖3 平面折射成像畸變校正模型

根據(jù)圖3的幾何關(guān)系,可以獲得以下公式:

f2=f1+f

(11)

tanθa=r/f

(12)

tanβ=r/f2

(13)

式中:f為相機真實焦距,mm;f2為相機虛擬焦距,mm;f1為相機虛擬焦距與真實焦距的差值,mm;r為像點p與相機主點之間的距離,mm。

由式(11)～式(13),可得:

(14)

由式(10)和式(14)可得:

(15)

經(jīng)整理,可得:

(16)

玻璃板厚度d、玻璃折射率np和景物深度z均為已知,入射角θa可由式(5)和式(12)求得,將其代入式(16)便可求得f2,便可得p2點在相機坐標系下的坐標。如圖3所示,p1為直線Op2與成像面的交點,在相機坐標系下p2=(u,v,f2),p1=(u1,v1,f),則可得:

(17)

則u1=uf/f2,v1=vf/f2。

2 實驗結(jié)果與分析

2.1 實驗裝置

如圖4所示,在實驗室搭建了非平行平面折射圖像畸變校正的實驗裝置,裝置由康耐視工業(yè)相機、K9光學(xué)玻璃、玻璃夾、相機支架、升降平臺和標定板移動平臺組成。相機鏡頭焦距為12.5 mm,圖像分辨率為1 280 pixel×1 024 pixel。K9光學(xué)玻璃的厚度為20 mm,折射率為1.543 7,標定板與相機的距離為650 mm。軟件運行在MATLAB R2020a環(huán)境下,使用張正友標定法對相機進行標定,相機標定參數(shù)如下:相機焦距(fx,fy)=(2 438.4,2 438.5),主點坐標(u0,v0)=(643.778,500.971 4),畸變系數(shù)kc=(-0.407 9,0.428 7)。在實驗驗證中,保持標定板姿態(tài)不變,拍攝2張圖片,一次直接成像,一次透過玻璃成像,然后對有玻璃的圖片的圖像坐標進行校正,校正后的圖像坐標和無玻璃時的圖像坐標進行對比,從而驗證模型的準確性,共做2組實驗進行驗證。

圖4 實驗裝置

2.2 數(shù)據(jù)處理

圖5(a)、圖5(c)為實驗1、實驗2無玻璃時拍攝的棋盤格圖像及采集的角點,圖5(b)、圖5(d)為實驗1、實驗2有玻璃時拍攝的棋盤格圖像及采集的角點?；诜瞧叫衅矫嬲凵湎鄼C旋轉(zhuǎn)模型,對折射面法向量與光軸的不平行進行校正,由文獻[8]求得的2組實驗的玻璃折射面的法向量分別為n1=(-0.167 9,-0.038 8,0.986),n2=(0.124,0.026 6,0.994 1)。

(a)實驗1無玻璃

(b)實驗1有玻璃

(c)實驗2無玻璃

(d)實驗2有玻璃

圖6(a)為實驗1有玻璃時旋轉(zhuǎn)校正前后的圖像點坐標,圖6(b)為實驗2有玻璃時旋轉(zhuǎn)校正前后的圖像點坐標。從圖6可以看出,若忽略折射面法向量與相機光軸不平行這個重要因素,使用傳統(tǒng)的針孔相機模型進行定位和測量,會有很大的誤差。

(a)實驗1

(b)實驗2圖6 有玻璃時相機旋轉(zhuǎn)前后的圖像點對比

基于非平行平面折射相機旋轉(zhuǎn)模型將圖像點的坐標進行旋轉(zhuǎn)校正后,通過折射畸變校正模型對圖像點進行校正。圖7為圖像點校正前后的圖像偏差對比,校正前圖像偏差的均方根誤差分別為6.837 9 pixel,4.788 6 pixel,經(jīng)校正后的圖像偏差的均方根誤差分別為2.141 2 pixel,1.301 6 pixel,從圖7可以看出,校正后的圖像偏差極大降低。

(a)實驗1

(b)實驗2圖7 校正前后的圖像偏差

為了驗證校正后的測量誤差,對校正前后的線段LAB,LAC,LAD(如圖8所示)的測量結(jié)果與真實值進行對比,其結(jié)果如表1所示。

圖8 測量的線段位置

表1 校正前后測量結(jié)果對比 mm

2.3 實驗結(jié)果與分析

由實驗結(jié)果可知,經(jīng)折射畸變校正模型校正后的圖像點,無論是其定位精度還是其測量精度都有明顯提高。校正前的圖像偏差的均方根誤差分別為6.837 9 pixel、4.788 6 pixel,校正后的圖像偏差的均方根誤差分別為2.141 2 pixel、1.301 6 pixel。校正后的圖像偏差的均方根誤差分別降低了68.69%、72.82%。對于視覺測量中的測量誤差來說,未校正時的最大絕對誤差為2.456 8 mm,校正后的最大絕對誤差為0.758 2 mm,而相對誤差由未校正的1%左右降低到校正后的0.5%以下。實驗結(jié)果表明本模型對非平行平面折射下視覺測量的定位精度和測量精度的提高有著良好的效果。

3 結(jié)束語

針對相機在防爆玻璃保護罩下因光線折射造成的圖像畸變問題,本文提出了非平行平面折射畸變校正模型,通過該模型對圖像點進行校正,并做實驗對其校正后的定位精度和測量精度進行了分析。實驗結(jié)果表明:校正后圖像偏差的均方根誤差分別降低了68.69%、72.82%,校正后測量的絕對誤差低于1 mm,相對誤差低于0.5%,校正后的定位精度和測量精度均有明顯提高,對相機在惡劣環(huán)境下的使用有著極強的實用價值。