欽桂勤, 張永生, 黃桂平, 范亞兵, 陳 錚
(1.信息工程大學,河南鄭州 450001; 2.華北水利水電大學,河南鄭州 450011;3.61363部隊,陜西西安 710054; 4.66444部隊,北京 100042)
水下攝影測量共線理論與相機標定方法
欽桂勤1, 張永生1, 黃桂平2, 范亞兵3, 陳 錚4
(1.信息工程大學,河南鄭州 450001; 2.華北水利水電大學,河南鄭州 450011;3.61363部隊,陜西西安 710054; 4.66444部隊,北京 100042)
基于攝影光學理論,分析了相機在空氣中和水下成像基點位置關系,提出水下攝影三點共線理論,并推導出相機在水下主距變化模型;分析了相機水下攝影視場和畸變大小的變化,設計了水下攝影測量相機標定方法;最后通過水下攝影試驗標定,驗證了水下攝影三點共線理論的正確性和水下相機標定方法的實用性。
計量學;水下攝影測量;三點共線理論;水下相機標定;相機主距;基點位置
水下攝影測量是雙介質(zhì)攝影測量的一種,屬于一種非常規(guī)攝影測量[1,2]。傳統(tǒng)觀點認為,雙介質(zhì)攝影測量中,鏡頭的攝影中心位置同單介質(zhì)攝影時相同,只是由物點發(fā)出的光線在界面處發(fā)生折射,從而導致物點、攝影中心和相應像點三點不再共線[1~9]。雙介質(zhì)攝影測量的這種折射理論,對于被測物和相機不在同一介質(zhì)中(如在水面上對水下物體進行攝影)的情況是合理的,許多學者對此作了大量的研究[2~5]。對于攝影相機和被測物均在水下的測量,對此感興趣的學者們也從折射的角度出發(fā)進行了大量的研究[6~9]。水下攝影測量成像系統(tǒng)與空氣中成像系統(tǒng)不完全相同,目前有水下專用可與水直接接觸的測量相機(鏡頭前有一塊防水光學玻璃),也有將常規(guī)測量相機密封在相機防護裝備中,因此相機水下防護裝備也成為水下成像系統(tǒng)的一個組成部分[10]。關于水下相機標定方法,目前國內(nèi)文獻提到不多[11];國外Fraser和Fryer的文章中提到采用解析鉛垂線法和自檢校方法[6],Lavest提出可以通過水上標定的結果預測水下相機標定參數(shù)的初值[9]。
本文從攝影光學理論出發(fā),詳細分析了相機在空氣中和水下成像特點以及成像系統(tǒng)基點位置關系,推導出“水下攝影三點共線”理論和主距變化關系;對相機水下攝影視場和畸變進行研究,總結出水下攝影測量相機標定模型和方法;最后通過試驗對水下攝影測量相機進行標定,試驗結果驗證了本文提出的“水下攝影三點共線”理論的正確性和水下相機標定方法的實用性。
相機在水下成像過程同在空氣中相似,但相機在水下成像時,由于物方空間介質(zhì)與像方空間介質(zhì)不一樣,因此不能完全利用空氣中相機成像模型和數(shù)據(jù)對水下攝影進行處理。
2.1 相機水下成像系統(tǒng)基點位置關系
成像光學系統(tǒng)的特性不僅與構成該系統(tǒng)的各個透鏡組的結構有關,還與該光學系統(tǒng)的物方和像方所處介質(zhì)的折射率有關[12,13]。當透鏡結構一定時,成像光學系統(tǒng)基點位置和焦距(相關術語名稱參看文獻[13])與物方空間和像方空間的折射率有關。相機在空氣中攝影,也就是常規(guī)攝影,節(jié)點J(J′)與相應主點S(S′)重合,物鏡的主點具有節(jié)點的特性——過主點的共軛光線彼此平行,物方焦距f和像方焦距f′大小相等[12,13],如圖1所示。當相機位于水下攝影時,節(jié)點與相應主點不重合,但是過節(jié)點的共軛光線仍然彼此平行,物方焦距和像方焦距大小不相等,如圖2所示。
圖1 空氣中成像系統(tǒng)的基點位置關系
2.2 相機水下成像系統(tǒng)焦距變化
相機在水下進行攝影時,鏡頭前通常存在一平面殼窗玻璃,無論鏡頭在空氣中還是在水中,鏡頭的像方焦距不變。因為從無窮遠處平行透鏡光軸的光線垂直于殼窗表面入射,如圖3(a),而垂直入射光不偏折,所以光線通過殼窗不變。因此無論鏡頭在空氣中還是在水中,像方焦點f′位置不變,像方主平面H′和像主點S′位置也不會發(fā)生改變,因此鏡頭的像方焦距f′大小也不變,同空氣中一樣大小。
圖2 水中成像系統(tǒng)的基點位置關系
但是相機在水中同在空氣中其物方焦點和物方主平面將會發(fā)生變化。因為像方從無窮遠處沿透鏡光軸的光線平行進入透鏡,并以傾斜的角度通過殼窗玻璃,如圖3(b)。殼窗玻璃左邊物方空間在水中和在空氣中時,將會產(chǎn)生不同的效果。如果物方仍然為空氣,物方焦點仍然在原處,圖3(b)中虛線交點處(忽略殼窗平面玻璃的光學作用[10,11,14]);如果物方為水,經(jīng)過鏡頭出射的光線在殼窗處會再次發(fā)生折射進入水中,其光線將會明顯相對空氣中發(fā)生折射。物方焦點將向物體方向離開原空氣中焦點的位置,而物方主點將會向像方空間離開原空氣中主點的位置。
圖3 鏡頭在水中焦點和主點位置變化
同一相機浸入水中和置于空氣中,所構成的成像系統(tǒng)的參數(shù)滿足下面的關系[12,13]:
式中:fa、f′a為相機在空氣中的物方焦距和像方焦距;fw、f′w為同一相機在水中的物方焦距和像方焦距;nw為水相對空氣的折射率。
相機鏡頭與殼窗玻璃構成的光學系統(tǒng),其像方焦距、像方主點位置與物方空間折射率無關,即該成像系統(tǒng)在空氣中的像方焦距、像方主點與在水中相等;但物方焦距、物方主點位置、物方節(jié)點和像方節(jié)點位置均與空氣中不同。水下相機在空氣中構成的光學系統(tǒng)對應主點和節(jié)點重合,在水下構成的光學系統(tǒng)對應主點和節(jié)點不重合。
2.3 水下攝影測量“三點共線”理論
攝影物鏡成像時,物點發(fā)出許多光線,相應像點是這些光線相交的結果。如圖4,物點A發(fā)出許多光線,經(jīng)攝影物鏡會聚后成像于a點。在這些光線中有一條光線通過節(jié)點,它由物點發(fā)出向物方節(jié)點方向投射,再經(jīng)像方節(jié)點沿平行于入射方向射出,過節(jié)點的光線方向不會發(fā)生改變[13]。攝影測量中“三點共線”理論就是利用過節(jié)點的光線通過針孔成像模型建立物鏡成像時的物像位置關系。如圖5(a),A1、A2為物點,a1、a2為其對應的像點,P為像平面,J、J′為前節(jié)點和后節(jié)點,該圖中物點和對應像點間的幾何位置關系通過過節(jié)點的光線來表示。
圖4 攝影物鏡成像光線
圖5 過節(jié)點的光線表示的物像關系
如果將圖5(a)中像方節(jié)點連同像平面一起平移到物方節(jié)點,使像方節(jié)點與物方節(jié)點重合,當作一個點看待,那么物點、像點和節(jié)點都在一條直線上,類似于針孔成像,重合的節(jié)點為投影中心,也就是鏡頭中心。此時物點、像點和投影中心三點共線,這就是常規(guī)攝影測量中的經(jīng)典“三點共線”理論[1,15,16]。
常規(guī)攝影時,物鏡的節(jié)點正好與其對應主點重合,綜合圖1中節(jié)點和主點位置關系以及圖5中節(jié)點關系,可以得到“重合的主點就是攝影中心”的推論。在實際攝影測量中,更多地稱攝影物鏡的主點為鏡頭中心[1,15],因為常規(guī)攝影測量主要是指空氣中攝影測量。
水下攝影測量的成像幾何關系仍然可以利用針孔成像模型來描述,水下攝影測量的投影中心位置,為攝影物鏡在水中構成的光學系統(tǒng)兩節(jié)點的等效;像點仍然為物點和投影中心的連線與像平面的交點;物點和對應的像點以及投影中心三點共線;但水下攝影測量的投影中心與主點不重合[16]。
2.4 相機水下成像系統(tǒng)主距變化
大多數(shù)攝影測量,如航空攝影測量、近景攝影測量,成像位置可近似認為在透鏡像方焦平面上,即相機鏡頭的像平面聚焦在焦平面[12,13]上。常規(guī)攝影測量中,當物體在鏡頭前10倍焦距以外,成像位置就可近似認為在透鏡像方焦平面上。因此在近景攝影測量(包括水下攝影)中,一般可以將相機的像距近似看成投影中心(兩節(jié)點的等效點)到像方焦點的距離,又稱作相機主距。由文獻[13]中牛頓公式可知,相機在空氣中構成的光學系統(tǒng)主距f0a可近似為:
相機在水中構成的光學系統(tǒng)主距f0w為:
這里主距和焦距的符號只表示大小,不表示方向。綜合式(1)~式(4)可得:
從而可得出同一攝影物鏡水下攝影時相機主距近似等于空氣中攝影主距與水的折射率的乘積,標準狀況下水的折射率為1.333。水下攝影相機標定過程中,可以通過這種關系獲取相機主距的初值,后面的試驗將驗證該推導的合理性。
相機浸入水中成像系統(tǒng)主距發(fā)生變化,也必然導致相機在水下視場發(fā)生變化。相機的像平面尺寸(CCD大小未變)沒有發(fā)生變化,因此同一相機在水中的視場顯然比在空氣中?。?],如圖6所示。
假設水中和空氣中成像沒有任何畸變或者對畸變進行了改正,則同一物體的影像尺寸在水中應是空氣中的1.333倍,即
式中:u為空氣介質(zhì)中某點的影像值,du為對應點的畸變改正值;同樣uw為水中某點的影像值,duw為對應點的畸變改正值。
圖6 空氣中和水中相機視場變化
相機在水下成像也存在畸變,水下影像的畸變并不影響一般的水下觀察任務,但對于水下測量或精確定位導航,則必須對水下影像畸變的系統(tǒng)誤差進行校正。
4.1 相機標定數(shù)學模型
前面分析表明,水下攝影時,物方點(X,Y,Z)、鏡頭中心(XS,YS,ZS)(水下攝影時,攝影中心位置為節(jié)點J和J′的等效,與主點不重合,本文按常規(guī)方式以主點表示投影中心)和相應像點(x,y)三點共線,它們滿足共線條件方程。事實上由于各種干擾因素的存在,使得像點在焦平面上相對其理論位置存在偏差(Δx,Δy),實際像點偏差的共線條件方程式為[11]:
無論是常規(guī)攝影還是水下攝影,實際像點的偏差具有一定的規(guī)律性和重復性,是成像過程中諸多干擾因素影響的結果,如像機鏡頭的畸變、攝影材料的系統(tǒng)變形以及采用的內(nèi)方位元素不準確等。而且這些像點坐標誤差成系統(tǒng)性,故稱之為像點的系統(tǒng)誤差。原則上講,像點的系統(tǒng)誤差是像點坐標的函數(shù),由于這種函數(shù)關系很難得知,所以存在許多不同的選擇方案??梢詮囊鹣到y(tǒng)誤差的物理因素出發(fā),也可以用一般的數(shù)學模型去擬合[11]。
本文采用最常見的10參數(shù)模型建立像點系統(tǒng)誤差,包含了徑向畸變、偏心畸變、像平面畸變和內(nèi)方位元素誤差的影響,可寫成如下矩陣形式[11]:
式中:V為像點坐標殘差;X1、X2和X3分別為外方位元素、物方點坐標和內(nèi)部參數(shù),X1、X2、A1、A2和L的值參見文獻[11],X3和A3分別為:
X3即為待標定的參數(shù),共有10個未知數(shù),故將式(8)~式(10)稱為數(shù)字像機標定的10參數(shù)模型,在實際應用中可以根據(jù)精度需要選擇全部或部分參數(shù)進行標定。
4.2 水下攝影測量相機標定方法
水下攝影相機標定的方法和步驟與空氣中相似,但在具體實現(xiàn)時,水下攝影相機標定存在以下特點:(1)試驗場布置困難,需要布設在水下;(2)攝影設備必須能夠在水下操作,設備狀態(tài)應和具體攝影測量時一致;(3)水下攝影過程較空氣中困難、復雜。
相機標定場和測量目標不在同一地點時,會帶來很大的麻煩??紤]到以上因素,水下相機標定最好能夠在線標定,而且在每次測量過程中都能進行自檢校。本文采用光束法自標定對水下攝影相機進行標定,并且采用了水下相機主距與空氣中相機主距的關系,根據(jù)空氣中的相機標定結果對水下攝影相機主距賦初值。
光束法自標定對水下攝影相機標定的步驟:(1)在空氣中對水下攝影設備進行光束法自標定;(2)水下攝影相機主距初值的計算;(3)獲取水下控制架的影像數(shù)據(jù);(4)利用物點對應不同影像上像點的關系建立像機標定的10參數(shù)模型,利用光束法平差進行解算。
非線性系統(tǒng)的最優(yōu)解對初值很敏感,光束法自標定時必須考慮相機內(nèi)參數(shù)的初值。無論在水上或水下,一般將畸變參數(shù)初值設為零,主點坐標初值也設為(0,0);空氣中相機主距初值設為其焦距值(鏡頭出廠標示值),水下相機主距初值設為空氣中標定值的1.333倍。
利用水下攝影測量共線理論與相機水下標定方法,對室內(nèi)活動三維控制架進行3種不同的試驗。(1)直接用尼康D700相機在空氣中對控制架進行攝影測量;(2)將該相機安裝到相機防護罩中在空氣中對控制架進行攝影測量;(3)將該相機安裝到相機防護罩中在水下對控制架進行攝影測量。每種試驗獲取3組數(shù)據(jù),所有測量結果均用光束法自標定方法計算得到。
5.1 試驗環(huán)境
三維控制架采用鋁合金材料制成,其結構如圖7(a),尺寸為0.8 m×0.5 m×0.5 m,中間有多個支架加固,可以認為是剛性的,即該天線放在水上和水下的形態(tài)一樣,理論上不發(fā)生形變。
在控制架三個相互平行的平面上共布設了78個反光標志,標志點坐標采用專業(yè)測量相機INCA3獲取影像數(shù)據(jù),并通過美國GSI公司的工業(yè)攝影測量系統(tǒng)V-STARS測出這些標志點的三維坐標,其測量精度優(yōu)于0.03 mm[17]。因此將INCA3相機測量的標志點作為后續(xù)外部檢核精度的控制點。
試驗采用尼康D700相機,如圖7(c);鏡頭為尼康AF尼克爾21 mm/2.8D,其視場角為81°×60°。相機防護罩為水下攝影測量專門研制的“水下精密攝影測量防水箱系統(tǒng)”[10],防水箱玻璃窗口采用的是5 mm厚的K9玻璃,安裝時讓相機的鏡頭剛好貼緊石英硅玻璃,同時相機閃光燈也透過石英硅玻璃窗口,如圖7(d)。
拍攝過程中相機設置是固定的,即相機焦距、光圈系數(shù)、曝光時間在水下和空氣中設置不變,但閃光燈輸出強度水下設置較水上大。
空氣中相機標定在室內(nèi)一平地面上,水中相機標定試驗在塑料大桶中進行,桶高1.85 m,內(nèi)徑1.55 m,桶中水的深度為1.5 m,圖7(b)所示。
5.2 試驗過程
步驟(1):直接用相機對空氣中控制架進行攝影,分別在7個攝站位置對控制架共拍攝了23張像片,攝站位置示意如圖7(f)。再用同樣方法重復拍攝2組數(shù)據(jù)。
步驟(2):將相機安裝到相機防護罩中在空氣中對控制架進行攝影,攝站位置和姿態(tài)基本同步驟(1),共拍攝3組數(shù)據(jù)。
圖7 水下攝影試驗相關圖片
步驟(3):將控制架放入桶底,向桶中注水,水位到達1.5 m即可,這樣可以保證最小攝影距離為0.8m。利用上述步驟(2)中安裝好的成像設備,對水下控制架進行攝影,采取同步驟(1)中類似的位置和姿態(tài)共拍攝23張像片。注意水中拍攝像片時,將緊貼鏡頭一面的防護裝備沒入水中2~6 cm,保證鏡頭在水下,如圖7(e),拍攝3組數(shù)據(jù)。
5.3 試驗數(shù)據(jù)處理
利用10參數(shù)模型根據(jù)光束法自標定算法計算出空氣中相機參數(shù);根據(jù)空氣中相機標定的主距值,利用相機水下和空氣中主距關系,獲取水下相機主距初值,再通過10參數(shù)模型獲取水下相機參數(shù)。
每個試驗中有3組數(shù)據(jù),任選一組試驗數(shù)據(jù)列入表中。重復精度為每個試驗中任選兩組數(shù)據(jù)解算出的標志點坐標與第3組數(shù)據(jù)解算的結果差值的均方根。因此,每個試驗中有2組重復精度,表中任列出一組作為代表。測量精度為通過本試驗獲取的控制架反光標志點坐標與在水上通過INCA3相機其測量值之間差值的均方根,每個試驗有3組值,表中任列出1組作為代表。
5.4 試驗結果與分析
3種試驗自標定結果見表1。從表1可以看出,在空氣中,相機安裝防護罩,相機內(nèi)參數(shù)會發(fā)生變化,但是相機主距值只發(fā)生微小變化,這是由相機本身的穩(wěn)定性和防護罩的影響造成的。相機安裝上防護罩后,其測量精度降低,這主要是由于加裝防護罩后攝影系統(tǒng)的結構變復雜、穩(wěn)定性降低所致。
表1 相機光束法自標定結果mm
水中相機主距的標定值(29.3 mm)為空氣中加防護罩(22.0mm)的1.332倍,幾乎等于水的折射率(1.333),充分驗證了文中推導的主距變化關系。相機在水中測量精度(0.096 7mm)同空氣中加裝防護罩后測量精度(0.099 4 mm)接近,從而也驗證了本文提出的水下攝影測量共線理論的正確性。
由于水對光的影響和水下攝影環(huán)境的不同,在水下獲取的影像質(zhì)量比空氣中差一些,因此水下測量精度應該比空氣中略低,但本試驗結果卻相反。分析原因,這是由于相機在水下主距增大導致測量精度提高的緣故。同樣測量條件下,理論上相機焦距越大,其測量精度越高。從而可以這樣推論,只要減小或消除相機防護罩對測量精度的影響并保證水下成像質(zhì)量,同等條件下對同一物體測量,水下測量精度可以超過水上測量精度。本文推導的水下攝影測量共線理論,只適用于整個物方空間均在水下的攝影測量,不包括物方空間一部分在空氣里另一部分在水下的情況。另外相機在水下,只需鏡頭的最前端沒入水中即可,水下攝影測量“三點共線”理論成立。
[1] 王之卓.攝影測量原理[M].北京:測繪出版社,1979.340-345.
[2] 邵錫惠.軍事工程攝影測量[M].北京:解放軍出版社,1991.206-211.
[3] 王有年,韓玲,王云.水下近景攝影測量試驗研究[J].測繪學報,1988,17(3):217-224.
[4] 單杰.雙介質(zhì)攝影測量的相對定向[J].解放軍測繪學院學報,1993,(3):38-44.
[5] 常本義.雙介質(zhì)攝影測量基本公式[J].測繪學報,1991,20(4):288-294.
[6] Fryer JG,F(xiàn)raser C S.On the calibration of underwater cameras[J].Photogrammetricrecord,1986,12(67):73-85.
[7] Telem G,F(xiàn)ilin S.Photogrammetric modeling of underwater environments[J].ISPRSJournalof PhotogrammetryandRemoteSensing,2010,65(5),433-444.
[8] LIR X,LI H H,ZOU Wei H,etal.Quantitative Photogrammetric Analysis of Digital Underwater Video Imagery[J].IEEEJournalofOceanicEngineering,1997,22(2):364-375.
[9] Lavest JM,Rives G,Lapreste JT.Underwater Camera Calibration[J].ComputerVision—ECCV2000,2000,1843:654-668.
[10] 欽桂勤,范亞兵,蔣理興.一種淺水攝影測量水下相機的防護裝置[J].測繪科學,36(4):131-133.
[11] 欽桂勤.模擬失重環(huán)境星載天線型面水下攝影測量技術研究[D].鄭州:解放軍信息工程大學,2011.
[12] 沙占祥.攝影鏡頭的性能與選擇[M].北京:中國攝影出版社,2004.65-69.
[13] 郁道銀,談恒英.工程光學[M].北京:機械工業(yè)出版社,2002.14-34.
[14] 默頓斯L E.水中攝影學[M].北京:科學出版社,1979.109-112.
[15] 江延川.解析攝影測量學[M].鄭州:測繪學院,1991.1-27.
[16] 欽桂勤,黃桂平,張永生.雙介質(zhì)攝影測量共線理論研究[J].測繪學報,2011,40(3):351-358..
[17] 欽桂勤,黃桂平,盧成靜.V-STARS數(shù)字攝影三坐標測量系統(tǒng)的精度測試及應用[J].計量學報,2008,29(4A):200-203.
Collinearity Theory and the Camera Calibration Method of Underwater Photogramm etry
QIN Gui-qin1, ZHANG Yong-sheng1, HUANG Gui-ping2, FAN Ya-bing3, CHEN Zheng4
(1.Information Engineering University,Zhengzhou,Henan 450001,China;
2.North China University ofWater Resources and Electric Power,Zhengzhou,Henan 450011,China;
3.Troops 61363,Xi'an,Shaanxi710054,China; 4.Troops 66444,Beijing 100042,China)
With a brief introduction of optical theory of photogrammetry,the relation of the location of datum marks is described in camera lens system between air and underwater.The collinearity theory of underwater photogrammetry is proposed,and the variety of principal distance of underwater camera is illustrated.After the analysis of distortion and view of underwater photography,the camera underwater calibration method is described.One calibration test on underwater camera was done.The results indicate that the collinearity theory of underwater photogrammetry is right and themethod of underwater camera calibration is suitable.
Metrology;Underwater photogrammetry;Collinearity theory of three points;Camera underwater calibration;Principal distance of camera;Location of datum marks
TB96
A
1000-1158(2014)02-0133-06
10.3969/j.issn.1000-1158.2014.02.08
2011-03-09;
2013-12-02
國家863計劃(2008AA042410)
欽桂勤(1977-),女,湖北隨州人,信息工程大學講師,博士,主要從事視覺測量及傳感器技術研究。qinguiqin@sohu.com