馬子領(lǐng),王建中
(1.北京理工大學(xué) 爆炸科學(xué)與技術(shù)國家重點實驗室,北京100081;2.華北水利水電學(xué)院 機(jī)械學(xué)院,河南 鄭州450011)
作戰(zhàn)機(jī)器人主要用于戰(zhàn)場偵察、巡邏和攻擊,偵察系統(tǒng)是其重要組成部分,目前偵察系統(tǒng)大多利用單攝像機(jī)+云臺旋轉(zhuǎn)、多攝像機(jī)+圖像拼接以及魚眼透鏡+普通攝像機(jī)等。然而這些方法由于圖像處理計算量太大導(dǎo)致實時性較差。
全景成像技術(shù)由于能獲得360°的大視場,在機(jī)器人、計算機(jī)視覺和虛擬現(xiàn)實等領(lǐng)域發(fā)揮重要的作用,圖像拼接[1]、魚眼透鏡[2]和折反射透鏡[3]是實現(xiàn)全景成像的主要方法。圖像拼接方法原始數(shù)據(jù)量大,拼接算法復(fù)雜,一般只能實現(xiàn)非實時的柱面全景成像。魚眼鏡頭方法要得到無畸變的全景圖像必須經(jīng)過校正運算,實時性差,而且系統(tǒng)昂貴。折反射成像方法由于沒有掃描部件、設(shè)計柔性好、成本低、無拼接直接獲得360°大視場等[4]優(yōu)點,近年來獲得較快發(fā)展。
本文從城市作戰(zhàn)環(huán)境的實際需求出發(fā),研究基于折反射成像的作戰(zhàn)機(jī)器人全景偵察技術(shù)。在滿足實時性的前提下,使目標(biāo)場景投影到CCD 成像面時占有的有效像素盡可能多。實現(xiàn)這個目標(biāo)有2 種途徑: 1)選用大尺寸高像素CCD 攝像機(jī),2)通過折反射成像系統(tǒng)設(shè)計充分利用CCD 攝像機(jī)的有效像素。由于生產(chǎn)工藝水平所限,CCD 尺寸不可能太大,且越大成本越高;另外像素越高,數(shù)據(jù)量就越大,會導(dǎo)致后期處理難度加大。為此本文研究第2 個途徑。
綜合考慮應(yīng)用需求和各種光學(xué)折反射鏡面的成像特點[5],本文選用雙曲面形的光學(xué)折反射鏡面。系統(tǒng)由一個雙曲面反射鏡和一個普通攝像機(jī)組成,其簡化模型如圖1所示。由于雙曲面折反射全景成像系統(tǒng)滿足單視點成像條件[6-7],將攝像機(jī)透視中心置于雙曲面反射鏡的焦點F2,則會聚于另一焦點F1的光線經(jīng)雙曲面反射后必會聚于攝像機(jī)透視中心,焦點F1稱為全景系統(tǒng)的透視中心。
圖1 成像系統(tǒng)示意圖Fig.1 Sketch of imaging system
設(shè)雙曲面反射鏡的寬度為D,反射鏡上邊緣距攝像機(jī)透視中心的高度為H,雙曲面兩焦點的距離為2d,入射光線L1與z 軸負(fù)方向的夾角為α( 亦即系統(tǒng)視場角),入射光線L1經(jīng)反射鏡反射后的光線與z軸的夾角為β( 亦即攝像機(jī)視場角),入射光線L2經(jīng)過反射鏡面的最邊緣點P( D/2,H)、其亦決定了系統(tǒng)最大視場角αmax和攝像機(jī)最大視場角βmax,攝像機(jī)的焦距為f,Rmax為CCD 成像面有效像素上最大圓的半徑、亦即入射光線L2在CCD 成像面上的投影點到CCD 成像面中心( O)的距離。
由于雙曲面反射鏡面為旋轉(zhuǎn)對稱結(jié)構(gòu),只須在xF2z 平面內(nèi)進(jìn)行分析。設(shè)雙曲線方程為
最邊緣點P 的坐標(biāo)為( D/2,H),即
由圖1可知
由(1)式~(3)式可得
在αmax處,攝像機(jī)有最大視場角βmax,且有
設(shè)入射角為α 的光線與雙曲面的交點為Q( xq,zq),則
由(7)式、(8)式可得
聯(lián)合(1)式、(9)式、(10)式可得
聯(lián)合(11)式、(12)式可得
設(shè)直立目標(biāo)( 如圖1所示)的高度為ht、寬度為wt,至鏡頭的距離為dt,目標(biāo)下邊緣與焦點F1相平行,即目標(biāo)一端的視場角為α1=90°.假定dt遠(yuǎn)大于目標(biāo)的高度和寬度,則目標(biāo)所占的系統(tǒng)視場角范圍為Δα,可由
計算,于是可得目標(biāo)上邊緣處的視場角
根據(jù)(13)式可計算出目標(biāo)所占的相應(yīng)的攝像機(jī)視場角范圍Δβ,即[β1,β2]( β2、β1分別為目標(biāo)上、下邊緣處光線經(jīng)反射鏡反射后與z 軸的夾角),從而可計算目標(biāo)所成像的高度h't和寬度w't( 如圖2所示,2 個圓環(huán)中間的環(huán)帶是圖1所示系統(tǒng)生成圓環(huán)狀全景圖的有效區(qū)域,區(qū)域ABCD 即為圖1中目標(biāo)所成的像為目標(biāo)的上邊緣,為目標(biāo)的下邊緣到的距離即為高度h't,到的距離即為寬度w't),由圖1所示的反射光線、目標(biāo)成像點到CCD 成像面中心的距離、焦距之間的關(guān)系易知
圖2 目標(biāo)成像示意圖Fig.2 Sketch of target imaging
根據(jù)幾何比例關(guān)系,顯然,目標(biāo)的寬度wt在以全景系統(tǒng)的透視中心F1為中心的圓周上所占的比與目標(biāo)所成像的寬度w't在以CCD 成像面中心( O)為中心的圓周上所占的比相等,另外由于dt遠(yuǎn)大于目標(biāo)的高度和寬度,因此可將目標(biāo)所成的像近似認(rèn)為高為h't和寬為w't的矩形,則可推導(dǎo)出
令攝像機(jī)CCD 的單位像素大小為U,于是可得目標(biāo)成像面積所擁有的像素數(shù)
同樣大小和距離的目標(biāo)在CCD 成像面上占有的像素數(shù)S 越多,目標(biāo)的分辨率越高。
由于所偵察目標(biāo)的距離遠(yuǎn)近不一,故假定能偵察到較遠(yuǎn)距離的目標(biāo),則有效系統(tǒng)視場角集中在90°附近,另外系統(tǒng)視場角在[0°,120°]范圍內(nèi)時反射鏡厚度與最大系統(tǒng)視場角接近成線性變化[6],故設(shè)定最大視場角αmax=95°.
選用2/3 英寸靶面的方形CCD 圖像傳感器,可計算出Rmax=3.77 mm.根據(jù)普通攝像機(jī)的外形尺寸初選反射鏡口徑D=50 mm,由( 6)式可知f 和H成正比關(guān)系。根據(jù)普通定焦鏡頭的焦距情況,取f在4~75 mm 范圍內(nèi)變化,可得到H 的變化范圍約為27~497 mm.欲使系統(tǒng)結(jié)構(gòu)緊湊,H 應(yīng)小些,因此f 就應(yīng)選小些。再根據(jù)(4)式、(5)式,由αmax、D 及H可得到一組( a,b)值,從而可繪制一族雙曲線( 即一族雙曲面反射鏡面的型線)。分別取f=4,8,12,16,25,75 mm 繪制雙曲線,如圖3所示,其縱橫坐標(biāo)比例相同。為便于比較各反射鏡的形狀,對各雙曲線的縱坐標(biāo)做了調(diào)整,使它們的兩端點重合。
設(shè)T 為反射鏡的厚度,由圖1可知
由圖3可知,每個f 值對應(yīng)一條雙曲線,也就對應(yīng)一個T 值,從而得到f 和T 的關(guān)系,如圖4所示??梢姰?dāng)f 小于20 mm 時,厚度的變化對f 值的影響不大,這意味著鏡子的加工誤差可以在允許的范圍內(nèi)稍大,從而有效降低加工成本。
圖3 焦距f 取各值時的雙曲線Fig.3 Hyperbolic curves with various focus f
圖4 焦距f 和厚度T 的關(guān)系Fig.4 Relation between focus f and thickness T
對任一條雙曲線,以x 為自變量,由( 11)式、(12)式可得一組( α,β)值,然后以α、β 為橫縱坐標(biāo)繪圖,如圖5所示??梢奻 越小,αmax=90°附近曲線斜率越大,β 變化范圍就越大。相應(yīng)地,在視場角90°附近的目標(biāo)場景投影到CCD 成像面上時占有的有效像素就越多,于是分辨率就越高,目標(biāo)也越清晰。
假定有效視場α 的范圍為[80°,95°],對任一f值,由( 11)式可以計算出α=80°時xq的值,再由(12)式可計算出β 的值,令與此時β 相應(yīng)的CCD成像面上的半徑為Rmin,則與有效視場α 相對應(yīng)的有效像素寬度
圖5 焦距f 取各值時α 和β 的關(guān)系Fig.5 Relation between α and β in different focus f
從而得到焦距f 與有效像素寬度Re的關(guān)系,如圖6所示??梢奻 越小,有效像素就越多。
圖6 焦距f 與有效像素寬度Re 的關(guān)系Fig.6 Relation between focus f and effective pixel width Re
圖7 觀測距離dt 與分辨率SFig.7 Resolution S vs.distance dt
對任一f 值,由(6)式知D 和H 的比為一定值,將其比例關(guān)系式代入(4)式、(5)式可知a、b 都與D成正比,且a 與b 的比也為一定值,再將a、b 關(guān)于D的比例關(guān)系式代入( 13)式可消去D,于是得出tan( β)只與tan( α)一一對應(yīng),而與D 無關(guān),即當(dāng)f 一定時,D 的變化不改變有效像素寬度Re的大小。因此,反射鏡口徑D 可根據(jù)外形尺寸需要自由選擇。
選擇f=12 mm.假定CCD 的像素大小為6.45 μm×6.45 μm,目標(biāo)高度為1.7 m,寬度為0.5 m,根據(jù)(18)式可得系統(tǒng)的觀測距離與分辨率之間的關(guān)系,如圖7所示。
根據(jù)上述假定參數(shù)設(shè)計的仿真系統(tǒng)獲得的全景圖如圖8所示,圖9為其展開后的全景圖,圖10為圖9的局部放大圖。對比美國里海大學(xué)實驗室設(shè)計的全景視覺環(huán)境感知系統(tǒng)的實驗結(jié)果( 50 m 遠(yuǎn)處的人在圖像上的大小為16個像素,城市街道環(huán)境中的正確識別和跟蹤率達(dá)90%以上),本系統(tǒng)對100 m遠(yuǎn)處所假定大小的目標(biāo)在CCD 上成24 個像素大小的像( 如圖10所示,目標(biāo)為24 個像素的矩形,其右邊是24 個像素大小的人),因此由圖7可知,在較佳圖像分辨率和設(shè)備分辨率下,該系統(tǒng)能偵察到超過100 m 遠(yuǎn)的目標(biāo)。
圖8 全景圖Fig.8 Panoramic image
圖9 展開全景圖Fig.9 Unwarped panoramic image
圖10 24 個像素大小的人和假定目標(biāo)Fig.10 Target and people with 24 pixels
本文建立了基于雙曲面折反射全景成像方式的作戰(zhàn)機(jī)器人偵察系統(tǒng)模型,通過對模型相關(guān)參數(shù)的分析和定量參數(shù)下的仿真實驗,給出了偵察系統(tǒng)設(shè)計的參數(shù)選擇依據(jù)。由仿真結(jié)果可以看出,當(dāng)攝像機(jī)焦距較小時,系統(tǒng)可以觀測更遠(yuǎn)的目標(biāo),這與單獨用攝像機(jī)觀測時焦距越長看得越遠(yuǎn)剛好相反。最后依據(jù)仿真結(jié)果確定一具體系統(tǒng),對一假定的具體目標(biāo)進(jìn)行了觀測距離與分辨率關(guān)系的仿真,并給出了實驗結(jié)果予以驗證,結(jié)果表明該系統(tǒng)可以實現(xiàn)對較遠(yuǎn)距離全景目標(biāo)的偵察。
References)
[1] Bao P,Xu D.Panoramic image mosaics via complex wavelet pyramid[C].Piscataway:IEEE,1998,5:4614-4619.
[2] Kumler J,Baner M.Fisheye lens designs and their relative proformance[C].San Diego:SPIE,2000,4093: 360-369.
[3] Baker S,Nayar S K.A theory of catadioptric image formation[C].Bombay:IEEE,1998: 35-42.
[4] 肖瀟,楊國光.全景成像技術(shù)的現(xiàn)狀和進(jìn)展[J].光學(xué)儀器,2007,29(4):84-89.XIAO Xiao,YANG Guo-guang.A present and development of panoramic imaging technique[J].Optical Instruments,2007,29(4): 84-89.( in Chinese)
[5] 丁艷.全方位視覺技術(shù)的綜述[J].科技信息,2007,34:564-565.DING Yan.Summarize of omnidirectional vision[J].Science &Technology Information,2007,34:564-565.( in Chinese)
[6] 曾吉勇,蘇顯渝.雙曲面折反射全景成像系統(tǒng)[J].光學(xué)學(xué)報,2003,23(9):1138-1142.ZENG Ji-yong,SU Xian-yu.Hyperboloidal catadioptric omnidirectional imaging system[J].Acta Optica Sinica,2003,23(9):1138-1142.( in Chinese)
[7] Baker S,Nayar S K.A theory of single-viewpoint catadioptric image formation[J].International Jounal of Computer Vision,1999,35(2): 175-196.