解則曉 余江姝

摘要：針對雙目視覺系統(tǒng)進(jìn)行水下拍攝測量時存在的測量誤差較大、局限性強(qiáng)等問題，提出了一種基于光線追蹤法的水下雙目視覺系統(tǒng)測量模型，實(shí)驗(yàn)結(jié)果表明，利用上述測量模型對水下處于30個不同位姿的被測物上的標(biāo)準(zhǔn)距離進(jìn)行重建，測量誤差平均值為-0.04197mm，最大誤差為0.2673mm，與空氣中雙目視覺系統(tǒng)測量精度相當(dāng)。

關(guān)鍵詞：機(jī)器視覺;水下雙目視覺;水下攝像機(jī)標(biāo)定;平面折射幾何

中圖分類號：TP391.41? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）20-0198-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Abstract： In order to improve the accuracy of underwater measurement based on stereo vision system，a measurement model of underwater stereo vision system is proposed based on refraction light path. The experimental results show that the above measurement model is used to reconstruct the standard distances of 30 underwater objects in different positions. On this basis， the proposed measurement model of underwater binocular vision system is applied to measure the standard distances between calibration points on underwater targets. The average measurement error is -0.04197mm， the maximum error is 0.2673mm， and the binocular vision system in the air is used to measure the standard distances between calibration points on underwater targets. The measurement accuracy is comparable.

Key words： machine vision; underwater stereo vision; underwater camera calibration and measument; Flat refractive geometry

1 引言

隨著全球經(jīng)濟(jì)的發(fā)展和人們活動范圍的擴(kuò)大，對海洋資源和海洋能源的需求不斷增加，對海洋環(huán)境的了解亟待提高。攝像機(jī)被作為聲學(xué)傳感器的補(bǔ)充在海洋地質(zhì)勘測、考古和AUV自主導(dǎo)航[1]等方面都有巨大應(yīng)用潛力在水下場景中，攝像機(jī)通常被密封在帶有玻璃窗的防水罩中，攝像機(jī)透過平面玻璃觀察水下環(huán)境，此時被測物反射的光線會經(jīng)過水，玻璃防水罩和空氣三種介質(zhì)進(jìn)入相機(jī)鏡頭。由于三種介質(zhì)的密度不同，傳播的光線在玻璃防水罩的上下表面會發(fā)生兩次折射，使得傳統(tǒng)成像模型不再適用，基于此而推導(dǎo)得到的陸上雙目視覺測量系統(tǒng)的數(shù)學(xué)模型也不再成立。針對此問題，文獻(xiàn)[2-3] 用將相機(jī)成像平面后移即對攝像機(jī)焦距線性加倍的方法，來近似折射帶來的變化，但由于折射造成的成像點(diǎn)的誤差是隨折射角的變化而變化的，是非線性的，并不能用線性關(guān)系很好的表現(xiàn)。文獻(xiàn)[4-6]將折射帶來的影響用鏡頭的高次畸變來代替，即通過對鏡頭高次畸變系數(shù)的計算，來補(bǔ)償折射帶來的水下圖像的畸變，但對于與鏡頭遠(yuǎn)近不一的被測物，不同的距離應(yīng)對應(yīng)不同的高次畸變系數(shù)，所以此方法精度對景深較為敏感，有一定局限性。由于上述對折射近似方法的局限性，目前考慮光線折射的物理過程的水下相機(jī)成像模型的建模與相關(guān)參數(shù)的標(biāo)定成為國內(nèi)外研究的熱點(diǎn)[7-8]。本文提出了一種基于光線追蹤法的水下雙目視覺系統(tǒng)測量模型，并利用上述測量模型對水下標(biāo)準(zhǔn)距離進(jìn)行重建恢復(fù)，其測量精度與空氣中雙目視覺系統(tǒng)測量精度相當(dāng)，有效克服了折射對視覺系統(tǒng)的影響。

2 系統(tǒng)結(jié)構(gòu)圖

攝像機(jī)被應(yīng)用到水下場景中，一般都被密封在帶有平面玻璃的防水罩內(nèi)，攝像機(jī)通過平面玻璃觀察水下被測物，本文通過將被測物放置在帶有平面玻璃的水箱內(nèi)，雙目攝像機(jī)放置在水箱外側(cè)的方式來模擬相機(jī)被密封在帶有平面玻璃防水罩內(nèi)的拍攝形式，系統(tǒng)結(jié)構(gòu)圖如圖1所示。

設(shè)水下有任意一被觀測點(diǎn)[P]，以[P]在左攝像機(jī)下的成像為例，對其折射光路進(jìn)行分析，[ocl]為左攝像機(jī)光心，[PL0]為[P]經(jīng)平面玻璃防水罩折射后在左攝像機(jī)像面上的成像點(diǎn)，[PL1]、[PL2]分別為[P]點(diǎn)的左折射光路與平面玻璃防水罩內(nèi)、外側(cè)表面交點(diǎn)，[vL0]、[vL1]、[vL2]分別為折射光路[oclPL1-PL1PL2-PL2P]各個光路段對應(yīng)光線的方向向量;[n]為平面玻璃防水罩的法向量，即折射平面的法向量，[dl]為平面玻璃防水罩內(nèi)表面到左光心的距離，[dg]為平面玻璃防水罩的厚度，[μ1]、[μ1]、[μ2]為空氣、玻璃和水的相對折射率。

設(shè)成像點(diǎn)[PL0]經(jīng)鏡頭畸變補(bǔ)償后像面坐標(biāo)系下坐標(biāo)為[[Xl，Yl]]，則其對應(yīng)的入射光線[oclPL0]在左攝像機(jī)坐標(biāo)系下的方向向量為其中[nl]為平面玻璃防水罩的法向量在左攝像機(jī)坐標(biāo)系下的值，[ocl=[0，0，0]T][PL1=[xL1，yL1，zL1]T]為點(diǎn)[ocl]、[PL1]在左攝像機(jī)坐標(biāo)系下坐標(biāo)值。

根據(jù)折射定律以及光線追蹤法，設(shè)折射前、后光線方向向量分別為[vi]、[vi+1]，且折射平面法向量為[nl]，則可將折射后光線方向向量表示如下其中[Pcl]為水下被觀測點(diǎn)[P]在左攝像機(jī)坐標(biāo)系下的三維坐標(biāo)值。

相類似的，對右攝像機(jī)成像光路進(jìn)行分析，可得成像點(diǎn)[PR0]對應(yīng)的入射光線[ocrPR0]在右攝像機(jī)坐標(biāo)系下的方向向量為又兩攝像機(jī)坐標(biāo)系間旋轉(zhuǎn)矩陣為[Rrl]、平移向量為[trl]，則[RrlvR0]即為方向向量[vR0]在左攝像機(jī)坐標(biāo)系下的坐標(biāo)值，將其帶入式（4），即可得經(jīng)玻璃上、下表面折射后光線[PR1PR2]、[PL2P]在左攝像機(jī)下的方向向量[vR1]、[vR2]。

且有折射光路與平面玻璃防水罩上、下表面的交點(diǎn)[PR1、PR2]在左攝像機(jī)坐標(biāo)系下坐標(biāo)為聯(lián)立上述兩方程求交點(diǎn)，即可求解得[λwl]、[λwr]，由式（13）即可得到水下被觀測點(diǎn)[P]在左攝像機(jī)坐標(biāo)系下的坐標(biāo)值[Pcl]。再利用式攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系[R]、[T]，即可得到[P]在世界坐標(biāo)系下的坐標(biāo)，但由于實(shí)際采集圖片過程中噪聲的存在或系統(tǒng)誤差的存在，上述兩光線可能相互異面，若兩光線異面，求解兩異面直線公垂線的中點(diǎn)，就其近似為待求的空間點(diǎn)[P]。

4 實(shí)驗(yàn)與結(jié)論

為了驗(yàn)證所提出方法的可靠性，進(jìn)行模型參數(shù)標(biāo)定和水下靶標(biāo)上標(biāo)準(zhǔn)距離測量實(shí)驗(yàn)。水下雙目視覺系統(tǒng)實(shí)驗(yàn)臺如圖3所示，雙目攝像機(jī)前水箱玻璃相當(dāng)玻璃防水罩的折射平面，用此來模擬相機(jī)被密封在平面玻璃防水罩內(nèi)的拍攝情況。實(shí)驗(yàn)所用的立體視覺系統(tǒng)選用Watec公司生產(chǎn)的WAT-902B模擬攝像機(jī)，該攝像機(jī)分辨率為752pixel（H）×582pixel（V），像元尺寸為8.6?m（H）×8.3?m（V）;鏡頭選用Computar公司生產(chǎn)焦距為8mm的百萬像素級的工業(yè)鏡頭0814-M，并選用Euresys公司的Picolo Pro2采集卡對模擬相機(jī)圖像進(jìn)行采集。所用標(biāo)定靶標(biāo)為如圖4所示的水箱內(nèi)的圓點(diǎn)形靶標(biāo)，靶標(biāo)行、列方向上每兩個標(biāo)記點(diǎn)圓心的標(biāo)準(zhǔn)距離為25mm。

利用本文算法重建得到的水下30個姿態(tài)下靶標(biāo)上標(biāo)定點(diǎn)水下的三維信息后，對靶標(biāo)上距離最遠(yuǎn)的大圓圓形標(biāo)記點(diǎn)圓心間的150mm標(biāo)準(zhǔn)長度進(jìn)行恢復(fù)，測量平均誤差為-0.04197mm，最大誤差為0.2673mm，且此時對應(yīng)的靶標(biāo)傾斜角較大。而再用本文系統(tǒng)對空氣中靶標(biāo)上150mm的長度進(jìn)行測量時，測量平均誤差為0.03107mm，最大誤差為0.1579mm。

參考文獻(xiàn)：

[1] Jordt A， K?ser K， Koch R. Refractive 3D reconstruction on underwater images[J]. Methods in Oceanography， 2016， 15-16： 90-113.

[2] Ferreira R.， Costeira J.P.， Santos J.A. （2005） Stereo Reconstruction of a Submerged Scene. In： Marques J.S.， Pérez de la Blanca N.， Pina P. （eds） Pattern Recognition and Image Analysis. IbPRIA 2005. Lecture Notes in Computer Science， vol 3522. Springer， Berlin， Heidelberg.

[3] Lavest J.M.， Rives G.， Lapresté J.T. （2000） Underwater Camera Calibration. In： Vernon D. （eds） Computer Vision - ECCV 2000. ECCV 2000[C]. Lecture Notes in Computer Science， vol 1843. Springer， Berlin， Heidelberg.

[4] Shortis M R， Harvey E S.? Design and Calibration of an Underwater Stereo-video System for theMonitoring of Marine Fauna Populations[J]. International Archives Photogrammetry and Remote Sensing，1998，32（5）：792-799.

[5] Shortis M R， Harvey E S.? Design and Calibration of an Underwater Stereo-video System for theMonitoring of Marine Fauna Populations[J]. International Archives Photogrammetry and Remote Sensing，1998，32（5）：792-799.

[6] Lavest J，Rives G，Lapreste J. Underwater Camera Calibration[J]. Lecture Notes in Computer Science，2000：654-668.

[7] Agrawal A， Ramalingam S， Taguchi Y， et al. A Theory of Multi-layer Flat Refractive Geometry[C]// IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2012：3346-3353.

[8] ?uczyński T， Pfingsthorn M， Birk A. The Pinax-model for accurate and efficient refraction correction of underwater cameras in flat-pane housings[J]. Ocean Engineering， 2017， 133： 9-22.

【通聯(lián)編輯：梁書】