張洪龍 陳 濤 莊培欽 周志盛 宋 展 焦國華 喬 宇
1(中國科學(xué)院深圳先進技術(shù)研究院 深圳市虛擬現(xiàn)實與人機交互重點實驗室 深圳 518055)
2(中國科學(xué)院大學(xué)深圳先進技術(shù)學(xué)院 深圳 518055)
作為海洋研究的一項基礎(chǔ)技術(shù),水下視覺測量技術(shù)已經(jīng)得到眾多研究者的關(guān)注。國外的研究者較早展開了水下測量方面的研究,國內(nèi)起步稍晚,但也取得了豐碩的研究成果。如中國研制的“蛟龍?zhí)枴鄙顫摍C器人、中國科學(xué)院沈陽自動化研究所的水下機器人、加拿大的 Sea-wolf3水下機器人和日本的“海溝號”水下機器人等,這些水下設(shè)備無一例外地搭載了視覺設(shè)備,并構(gòu)建視覺測量系統(tǒng)。
目前使用的水下探測技術(shù)主要有水聲學(xué)和水光學(xué)兩大類。其中,水光學(xué)中水下視覺技術(shù)發(fā)展晚于其他水下探測技術(shù),但由于其低成本、高精度、高分辨率等優(yōu)良特點受到研究者的青睞。國內(nèi)外學(xué)者對此展開了深入的探索和研究。光在水下有獨特的傳播特性,海水對 0.47~0.58μm 波段內(nèi)藍綠光的衰減比其他短波長的光衰減要小得多[1]。光波在水中會被吸收,也會發(fā)生散射,因此光波在水中的衰減相當(dāng)快,且衰減程度和傳播距離呈指數(shù)關(guān)系。由于水下環(huán)境復(fù)雜,存在水對光的散射和吸收、水體自身的流動、水中的懸浮顆粒以及各種浮游生物等因素的干擾,水下光源會衰減直至消失,這是水下成像需要考慮并解決的關(guān)鍵問題之一。光在不同水質(zhì)的傳播特性對成像品質(zhì)有較大影響。很多學(xué)者研究了不同水質(zhì)(如泳池、水族箱、近海海水等)中相機的成像情況,結(jié)論是在渾濁度低、照明度適中的環(huán)境下,視覺測量能夠取得更高的精度[2-4]。
本文針對水下三維測量的需求,搭建了水下雙目立體視覺系統(tǒng),對水下光線散射、折射、吸收等問題展開討論,并對在空氣、池塘、近海等不同環(huán)境中的相機成像、雙目相機標(biāo)定、系統(tǒng)測量等問題進行了研究。實驗結(jié)果表明,在水下環(huán)境中,系統(tǒng)成像距離高達 8m,有效測量范圍為0.5~4.5m,測量誤差小于 2cm。實驗驗證了成像模型、立體標(biāo)定、測量模型等方法的可靠性,水下測量結(jié)果符合預(yù)期的技術(shù)指標(biāo)。
針對水質(zhì)的差異、水上成像與水下成像的區(qū)別,水下視覺測量主要從圖像增強、相機標(biāo)定、畸變模型等方面著手對現(xiàn)有水上測量模型進行了改進。視覺測量完全依賴于圖像質(zhì)量的高低,圖像復(fù)原成了圖像預(yù)處理的首選操作。Sanchez-Ferreira 等[5-7]研究中首先進行圖像復(fù)原,然后再進行后續(xù)標(biāo)定、匹配、測量等操作并得到了預(yù)期的測量結(jié)果。
相機標(biāo)定是視覺測量中的關(guān)鍵步驟之一,水下視覺測量的標(biāo)定需要考慮光在水下的傳播特性。Li 等[8]基于張氏標(biāo)定法[9],結(jié)合 Jean-Yves Bouguet 滅點標(biāo)定方法[10],建立了綜合考慮徑向畸變和切向畸變的水下相機非線性數(shù)學(xué)模型,獲取了更高精度的參數(shù)和平均誤差更小的重投影誤差。由于水的流動性較強,流動過程中的水可能導(dǎo)致圖像運動模糊、光路變化等問題,從而得到錯誤的測量結(jié)果。Pang 等[11]針對靜態(tài)水池和動態(tài)水流環(huán)境分別采用不同的標(biāo)定方法,在兩種狀態(tài)下均得到了有效的標(biāo)定參數(shù)和測量結(jié)果,但是水流變化多端,無法預(yù)測,因此面對不同運動狀態(tài)下的水流采用不同的標(biāo)定方法適用場景有限。隨著研究的深入,研究成果也逐步落地,越來越多基于雙目視覺的水下三維重建、水下跟蹤定位、水下目標(biāo)檢測識別等應(yīng)用層出不窮。Massot-Campos 等[12]對比了結(jié)構(gòu)光和雙目立體視覺在水下環(huán)境下的三維重建,也有研究者將雙目視覺應(yīng)用于水下洞穴、水底地形的探測和三維重建[13,14]。
潛水、捕魚、測繪等水下活動日漸頻繁,水下目標(biāo)實時跟蹤監(jiān)控的應(yīng)用也日趨成熟,如潛水人員位姿監(jiān)測、魚群監(jiān)測、珊瑚礁監(jiān)測等。Xu等[15]建立基于混合高斯模型的目標(biāo)識別模型,提取目標(biāo)圖像中的特征點進行匹配,從而獲得目標(biāo)的位置和朝向。Chavez 等[16]將雙目視覺應(yīng)用于水下環(huán)境中場景或物體的三維點云,并結(jié)合LSTM-RNN 監(jiān)測算法實時監(jiān)測潛水人員姿態(tài),確保潛水人員生命安全。
水下機器人廣泛應(yīng)用于水下測繪、海洋資源勘探、海洋生物探測等方面,而自主水下機器人則需要更多外部信息輔助自身的定位、導(dǎo)航、運動控制。Carrasco 等[17]使用雙目視覺構(gòu)建了SLAM 系統(tǒng),并且取得了優(yōu)于 IMU 和 GPS 的定位、導(dǎo)航和控制效果。水下機器人的伺服控制大多依賴于視覺定位,研究者將雙目視覺技術(shù)應(yīng)用于水下機器人的研制,目的是獲取水下目標(biāo)的位置、姿態(tài),控制機械臂對目標(biāo)進行抓取[18-21]。
Bruno 等[22]將雙目視覺和結(jié)構(gòu)光技術(shù)結(jié)合,構(gòu)建了用于水下近場三維重建的測量系統(tǒng)(如珊瑚礁監(jiān)控、水下遺址建模);并且研究了不同渾濁度的水下環(huán)境中的重建問題。調(diào)研結(jié)果表明,結(jié)構(gòu)光能有效克服高渾濁水質(zhì)中的強散射、強吸收問題,獲得高質(zhì)量的三維重建結(jié)果。
綜上所述,基于雙目視覺的水上視覺測量技術(shù)基礎(chǔ)研究涉及范圍較廣。由于雙目測量具有準確、高效的特點,雙目測量技術(shù)已經(jīng)應(yīng)用到水下三維重建、水下目標(biāo)檢測、水下定位導(dǎo)航等各個方面。盡管水下雙目視覺得到了廣泛而又深入的研究,但由于水下成像特性導(dǎo)致圖像質(zhì)量下降、模型退化的問題還沒有得到完全解決。
相機通常使用針孔相機模型表征相機的成像過程。如圖1所示,使用帶有小孔的板遮擋在成像平面與物體之間,屏幕上會形成物的倒像。其中,像的大小會隨遮擋板的前后移動而變化。針孔相機模型表達為:
其中,f 為小孔到成像平面的距離;Z 為相機到物體的距離;X 為物體的長度;x 為成像平面上物體的長度。
圖1 針孔相機模型Fig.1Pin-hold camera model
為了更好地描述物體三維信息到圖像的轉(zhuǎn)換過程,采用如圖2所示的世界坐標(biāo)系、相機坐標(biāo)系、圖像像素坐標(biāo)系和圖像物理坐標(biāo)系來簡化復(fù)雜的轉(zhuǎn)換過程。其中,世界坐標(biāo)系是自由確定的三維空間坐標(biāo)系。在實際應(yīng)用中,世界坐標(biāo)系通常與相機坐標(biāo)系一致。相機坐標(biāo)系中 Xc和 Yc平行于成像平面,Zc與成像平面垂直。圖像像素坐標(biāo)系是以圖像本身左上角為原點的一個平面坐標(biāo)系,uv 值分別代表像素坐標(biāo)值,即像素所在圖像中的行數(shù)和列數(shù),單位是像素。圖像物理坐標(biāo)系是以相機光軸和成像平面垂直相交的點為原點的平面坐標(biāo)系,xy 軸(單位是毫米)分別與像素坐標(biāo)系的 uv 軸平行。
實現(xiàn)世界坐標(biāo)系到圖像像素坐標(biāo)系的轉(zhuǎn)換就是建立空間三維點到圖像二維點之間的聯(lián)系。世界坐標(biāo)系上的一點 P(Xw,Yw,Zw) 轉(zhuǎn)換到相機坐標(biāo)系上的點 P(Xc,Yc,Zc) 可通過坐標(biāo)系旋轉(zhuǎn)和平移實現(xiàn),轉(zhuǎn)換模型如公式(2)所示。
其中,R 為一個 3×3的旋轉(zhuǎn)矩陣;T 為平移向量;0=[0 0 0]。
相機坐標(biāo)系上一點 Pc(Xc,Yc,Zc) 可通過針孔模型變換到圖像坐標(biāo)系上一點 pI(x,y)。其中,x、y 的計算方式分別如公式(3)、(4)所示。
使用齊次坐標(biāo)系和矩陣可以表示為:
其中,fx、fy為相機的等效焦距。綜上所有變換,從世界坐標(biāo)系中一點 P(Xw,Yw,Zw) 到圖像坐標(biāo)系中一點 p(u,v) 的坐標(biāo)轉(zhuǎn)換關(guān)系可表示為:
其中,M1為相機內(nèi)參數(shù)(fx,fy,cx,cy,dx,dy),dx、dy分別表示 x 和 y 方向上單個像素的物理長度;M2為相機外參數(shù),包含參數(shù)旋轉(zhuǎn)矩陣 R 和平移向量 T。
立體視覺中理想的相機排列關(guān)系是成像平面前向?qū)?,光軸平行。圖3為立體視覺模型,兩個相機固定在同一軸線上,相機的基線距離為b。f 表示相機焦距;P(Xw,Yw,Zw) 表示場景中的一點;pl(xl,yl) 表示 P 投影到左相機圖像上的點;pr(xr,yr) 表示 P 投影到右相機圖像上的點。圖像立體校正之后可得 yl=y(tǒng)r,(xl-xr) 就是 P 點在左、右圖像上的視差。
圖2 坐標(biāo)系之間的轉(zhuǎn)換Fig.2Transformation between coordinate system
圖3 立體視覺模型Fig.3Stereo vision model
在立體視覺模型中,除了標(biāo)定獲取每個相機的內(nèi)外參數(shù),還需要獲取兩個相機之間的位置關(guān)系。在單個相機的標(biāo)定過程中,可以獲得左、右相機與世界坐標(biāo)系之間轉(zhuǎn)換關(guān)系(外參數(shù))。左相機的外參數(shù)為旋轉(zhuǎn)矩陣 Rl和平移向量 Tl,假設(shè)左相機的外參數(shù)為旋轉(zhuǎn)矩陣 Rr和平移向量 Tr。因此,假設(shè)世界坐標(biāo)系中一個點 P 在 x 軸上的坐標(biāo)是 xw,xl和 xr分別表示點 P 在左、右相機坐標(biāo)系 X 軸上的坐標(biāo),可以得到:
由此,左、右相機的位置關(guān)系可以通過 R0和 T0表達為:
光在水下傳播與空氣傳播存在差異,Mcglamery[23]和 Jaffe[24]對水下成像做了細致的研究。圖4所示為 Jaffe[24]文中提出的水下環(huán)境中的光線傳播模型,提出了水下圖像光量由直接反射光、前向散射光和后向散射光三種光分量疊加生成的觀點。其中,直接反射光經(jīng)過物體對光線的反射和水的吸收后到達成像平面的光分量;前向散射光是物體反射后的光經(jīng)過水中懸浮物和水的吸收后到達成像平面的光分量;后向散射光是光源發(fā)出的光經(jīng)過水中懸浮物和水的吸收到達成像平面的光分量。
圖4 水下環(huán)境中的光線傳播[24]Fig.4Light propagation in underwater environment[24]
在水下使用相機時,將相機放置在密封防水罩中,由于防水罩與水、防水罩與空氣傳輸介質(zhì)差異,光線從水中進入防水罩時會發(fā)生折射,光線從防水罩進入空氣中時也會發(fā)生折射。由于光線在防水罩處發(fā)生兩次折射,且防水罩厚度較薄(可忽略不計),因此將水中的成像過程簡化為如圖5所示。其中,防水罩所在平面與相機成像平面平行,世界坐標(biāo)系下一點P(Xw,Yw,Zw) 反射的光線與防水罩相交于點 O(xr,yr,zr),光線在 O點發(fā)生折射,通過鏡頭最后在成像平面 p(u,v) 點成像。假設(shè)防水罩表面與成像平面平行,防水罩到相機鏡頭的距離為 d,相機焦距為 f,(αw,βw,γw)T和(αa,βa,γa)T分別為入射光線發(fā)生折射前后的方向向量,分別為光線在空氣、水中與光軸的夾角,如果折射平面與相機光軸垂直,那么光軸在相機坐標(biāo)系下的方向向量為(0,0,1)T。
光線折射前、后方向向量之間的關(guān)系表示為:
其中,k1和 k2可根據(jù) Snell 定律和角度轉(zhuǎn)換關(guān)系[25]求得。
因此,將(10)、(11)代入(9)整理簡化后,光線折射前后光線方向向量之間的關(guān)系表示為:
假設(shè)(xu,yu)T是成像點在相機坐標(biāo)系下的二維物理坐標(biāo),入射光線發(fā)生折射后的方向向量可表示為:
由此入射光線折射前的方向向量,與成像點二維物理坐標(biāo)之間的關(guān)系為:
物體在相機坐標(biāo)系下的三維坐標(biāo)可表示為:
其中,(xr,yr,zr)T表示入射光線與折射平面的交點。在相機坐標(biāo)系下的坐標(biāo)為:
其中,d 為防水罩到相機鏡頭的距離。
通過聯(lián)立公式(12)~(16)可得公式(17),即加了防水罩的相機在水下拍攝的成像過程,光線傳播從水介質(zhì)到玻璃防水罩介質(zhì)發(fā)生一次折射,從玻璃防水罩到空氣介質(zhì)中發(fā)生一次折射。由于防水罩較薄,且在玻璃防水罩上發(fā)生兩次折射,所以玻璃防水罩的折射影響可以忽略。
實驗中采用 SV-16HR 水下彩色相機、Easier CAP USB 圖像采集卡、LED 補光燈、信號傳輸線纜、電源轉(zhuǎn)換器、固定支架等設(shè)備搭建雙目測量系統(tǒng),實驗裝置實物組成如圖6所示。其中,相機工作電壓為 5V;LED 補光燈工作電壓為 12V;圖像采集卡的工作電壓為 5V,圖像分辨率為 640×480像素,采集幀率為 30幀/秒;信號傳輸線纜長 10m;電源轉(zhuǎn)換器提供 12V 電壓輸出。圖7為本系統(tǒng)在泳池中測試的現(xiàn)場情況。
圖6 實驗裝置組成部分Fig.6Experimental facility parts
圖8為水下相機在 4種不同環(huán)境中采集的圖像。分別為實驗室(無水環(huán)境)、泳池、池塘、近海海水 4種不同環(huán)境下目標(biāo)物體距離相機約為 1m 時的成像情況。
由于水質(zhì)問題引起的成像差異顯而易見,池塘和近海海水水質(zhì)太差,目標(biāo)成像距離較短,立體視覺測量相關(guān)實驗沒有完成。圖9和圖10分別為水上(實驗室)和水下(泳池)環(huán)境中測量目標(biāo)距相機不同距離的成像結(jié)果。
采用 6×4(10.9cm)尺寸的棋盤格標(biāo)定板對相機的內(nèi)外參數(shù)進行標(biāo)定。由于池塘和近海海水中成像效果不佳,在此僅提供實驗室和泳池中的相機標(biāo)定實驗結(jié)果。
圖7 泳池現(xiàn)場測試情況Fig.7Measurement experiment in the pool
圖8 不同水質(zhì)中的成像情況Fig.8Images in the different underwater environment
圖9 水下測量目標(biāo)在不同距離處的成像結(jié)果Fig.9Imaging results of underwater target at the different distance
圖10 水上測量目標(biāo)在不同距離處的成像結(jié)果Fig.10Imaging results of lab’s target at the different distance
使用立體視覺測量裝置采集棋盤格在相機前方不同角度、不同傾斜度的圖像共 20幅,而后通過本文第 2部分介紹的模型進行計算,得到兩個相機與每幅圖像上棋盤格之間的位置關(guān)系,從而確定兩個相機之間的位置關(guān)系,最終確定立體視覺測量系統(tǒng)的內(nèi)外參數(shù)。整個標(biāo)定過程包括原始圖像采集、棋盤格角點提取、單目標(biāo)定、立體標(biāo)定等步驟。圖11(a)為在泳池中采集的 16幅不同的標(biāo)定板圖像,圖11(b)為 16幅標(biāo)定板圖像的角點提取結(jié)果。圖12(a)、(b)分別為實驗室采集的 16幅標(biāo)定板圖像及其角點提取結(jié)果。
圖11 水下原始圖像與棋盤格角點提取(右相機)Fig.11Underwater original images and corner extraction results(right camera)
圖12 水上原始圖像與棋盤格角點提取(右相機)Fig.12Lab’s target original images and corner extraction results(right camera)
表1中所呈現(xiàn)的數(shù)據(jù)是兩種環(huán)境中獲得的相機標(biāo)定結(jié)果。水上標(biāo)定得到的參數(shù)與水下標(biāo)定得到的參數(shù)存在較大差異,由此可知,直接使用水上標(biāo)定的參數(shù)進行水下測量是不可行的。從標(biāo)定結(jié)果中選取相機的內(nèi)外參數(shù)應(yīng)用于圖像畸變校正和立體校正,校正結(jié)果如圖13所示。圖13(a)、(b)分別為水上和水下環(huán)境中的校正圖像。為了方便觀察,圖像中添加了對齊線,如圖13中所標(biāo)注的 pl、pr為同一目標(biāo)位置分別在左、右校正圖像上的成像點,pl、pr位于左、右校正圖像的同一條對齊線上。
表1 相機標(biāo)定結(jié)果Table 1Result of camera calibration
本文采用的誤差測量方法是,先測量標(biāo)定板n 個角點的空間位置,然后計算相鄰兩個角點之間的距離 di,相鄰角點之間的實際距離為 10.9cm(即棋盤格單個方格的邊長),分別通過公式(22)、(23)計算最大誤差和平均誤差。
在測量裝置前方,以不同位置、不同角度和不同距離放置棋盤格標(biāo)定板,測量棋盤格標(biāo)定板上每個角點的空間位置,并計算測量誤差。圖14為在水下、水上環(huán)境中得到的測量誤差。從誤差測量結(jié)果中可以得到,當(dāng)測量距離小于 3.8m時,測量誤差小于 1cm;當(dāng)測量距離為 3.8~4.5m時,測量誤差小于 2cm;當(dāng)測量距離為 5m 時,系統(tǒng)的最大誤差已經(jīng)大于 2cm。隨著測量距離的增大,誤差迅速增大,且水上測量誤差上升趨勢比水下測量誤差更明顯。由于本系統(tǒng)水下相機所采集的圖像分辨率僅為 640×480像素,在測量距離增加的情況下,標(biāo)定板在圖像中的成像區(qū)域減少,標(biāo)定板角點提取難度加大,角點誤提取導(dǎo)致角點誤匹配的數(shù)量增加,從而導(dǎo)致隨著測量距離的增加,測量誤差迅速增加。水上和水下環(huán)境中的誤差測量曲線相差不大,說明水下成像理論的加入以及水下標(biāo)定方法的加持,使水下雙目視覺系統(tǒng)達到了與水上測量可媲美的測量結(jié)果,從而表明本文方法的有效性。結(jié)果表明,本系統(tǒng)在誤差小于 2cm 的情況下,有效測量范圍是0.5~4.5m。
圖13 立體校正圖Fig.13Stereo rectified image pair
由上述成像實驗、標(biāo)定實驗和誤差測量實驗得到了雙目測量系統(tǒng)的成像距離、標(biāo)定參數(shù)、有效測量距離和測量誤差,結(jié)果如表 2所示。由于池塘和近海海水成像距離受限,其測量范圍和測量誤差未能進行正常測量。在保證測量誤差不大于 2cm 的情況下,雙目測量系統(tǒng)的測量指標(biāo)如表 2所示。
圖14 誤差測量結(jié)果Fig.14Analysis of measurement error
表2 本系統(tǒng)在各環(huán)境下的測量指標(biāo)Table 2Measurement performance of the system
如圖15(a)所示,六角螺絲刀實際長度為17.2cm。如圖15(b)所示,在泳池中距離相機3.2m 處,測量的六角螺絲刀長度為 17.5cm,與實際長度相差 0.3cm。如圖15(c)所示,在水上(實驗室)距離相機 1.1m 處,測量的六角螺絲刀長度為 17.9cm,與實際長度相差 0.7cm。水下測量結(jié)果與水上測量結(jié)果相差 0.4cm。
如圖16(a)所示,標(biāo)定板距離相機 2.4m處,五個方格的長度測量結(jié)果為 54.9cm,與方格實際長度(54.5cm)相差 0.4cm。如圖16(b)所示,在水上(實驗室)標(biāo)定板距離相機 2.9m 處,五個方格的長度測量結(jié)果為 55.9cm,與實際長度相差 1.4cm。水下測量結(jié)果與水上測量結(jié)果相差 1cm。
圖15 六角螺絲刀長度測量結(jié)果Fig.15Measurement result of the length of hexagonal screwdriver
圖16 標(biāo)定板長度測量結(jié)果Fig.16Measurement result of the length of the checkerboard
圖17(a)為泡沫游泳圈內(nèi)徑和外徑的實際距離:外徑為 60cm,內(nèi)徑為 39cm。如圖17(b)所示,泡沫游泳圈在水下距離相機 4.4m 處,泳圈外徑測量結(jié)果是 59.78cm,與其實際長度相差0.22cm。
6.3節(jié)中所展示的六角螺絲刀、標(biāo)定板測量實驗結(jié)果表明,在測量誤差允許的范圍內(nèi),本系統(tǒng)在水上和水下均能獲得準確的測量結(jié)果;而根據(jù)泳圈的水下測量結(jié)果與泳圈實際長度進行對比,測量誤差僅 0.22cm,進一步驗證了本系統(tǒng)水下測量結(jié)果的可靠性。
雖然水下測量相關(guān)工作已有不少的研究成果,但這些工作使用不同的相機,在不同的測試環(huán)境下,采用不同的測量原理,對水下物體進行三維測量或者三維重建。由于實際實驗過程中的差異,不同工作呈現(xiàn)的測量效果差異較大。表 3展示了一些具有代表性的水下三維測量工作,Sanchez-Ferreira 等[5]使用的相機分辨率為800×480像素,在實驗室環(huán)境中進行實驗,實驗結(jié)果中多數(shù)測量點的誤差在 0.6cm 左右,由于相機視場受限,某些測量點的誤差達到了 10cm。Bruno 等[22]使用高分辨(3872×2592像素)相機搭建雙目視覺系統(tǒng),并使用結(jié)構(gòu)光作為圖像匹配特征,在實驗室水池中(3m×2m×0.7m)使用不同水質(zhì)的水進行物體三維重建實驗。結(jié)果顯示,在空氣中的重建結(jié)果最佳,隨著水質(zhì)渾濁度的增加,結(jié)構(gòu)光在水中被散射和吸收的光分量增加,三維重建得到的點云越來越稀疏。這表明,結(jié)構(gòu)光在水下環(huán)境中的散射和吸收會增加基于結(jié)構(gòu)光的三維重建方法的局限性。Massot-Campos等[12]結(jié)合了單目結(jié)構(gòu)光方法與雙目立體視覺方法:雙目視覺設(shè)備是 PGR Bumblebee 2立體相機,該設(shè)備由兩個 1024×768像素的彩色相機組成,單目結(jié)構(gòu)光設(shè)備由一個激光投射器和一個1920×1440像素的相機組成。在 4m×3m×2m的水池中進行了實驗,分別使用兩套設(shè)備對同一場景進行三維重建,并對重建出來的兩組點云進行配準。通過對比發(fā)現(xiàn),雙目設(shè)備能夠獲取更多、更全面的點云,但是缺少細節(jié);而單目結(jié)構(gòu)光設(shè)備能夠獲取更為精確的細節(jié)部分,但只能獲取有限數(shù)量的點云且缺少物體表面的顏色。
圖17 泡沫游泳圈外徑測量結(jié)果Fig.17Measurement result of the external diameter of the buoy
表3 與其他方法的對比Table 3Comparison with related work
綜上,基于雙目結(jié)構(gòu)光測量原理的系統(tǒng)測量誤差較小,但由于結(jié)構(gòu)光在水下環(huán)境中的散射和吸收導(dǎo)致其測量范圍受限;基于傳統(tǒng)雙目結(jié)構(gòu)光的系統(tǒng)測量誤差較大,但測量范圍較廣。本文采用的水下標(biāo)定與折射補償相結(jié)合的標(biāo)定方法,不受結(jié)構(gòu)光投射范圍受限的影響,從而大大降低了雙目立體視覺系統(tǒng)的測量誤差,增大了系統(tǒng)的有效測量范圍。
本文介紹了一種水下幾何測量的方法,搭建了一套水下立體視覺測量系統(tǒng),水上、水下兩種環(huán)境均可使用。相機水上成像距離 10m,水下成像距離 8m,測量范圍為 0.5~4.5m,測量誤差小于 2cm。對不同的水質(zhì)環(huán)境進行了對比實驗,并采用不同的圖像預(yù)處理方法克服了水下光源不足、光照不均勻、水質(zhì)惡劣等問題。最終得到了在不同水質(zhì)下均能良好工作的三維測量系統(tǒng),具有較高的實用價值。本文從水下成像出發(fā),以傳統(tǒng)雙目視覺測量技術(shù)為基礎(chǔ),對水下雙目測量技術(shù)進行探索,探討了水下與水上標(biāo)定的差異,是對水下視覺測量技術(shù)的一次有益探索。在誤差允許的情況下,水上與水下測量實驗都達到了預(yù)期目標(biāo)。盡管實驗結(jié)果滿足了當(dāng)前需求,但在系統(tǒng)搭建和實驗過程中暴露了很多亟待解決的問題。未來研究中,將著手并解決以下幾個問題:提高成像品質(zhì)、改進相機模型、減少立體匹配誤差、去除噪聲干擾引起的標(biāo)定誤差、弱化標(biāo)定過程中人為抖動引起的圖像模糊。另外,因現(xiàn)提供的三維信息僅提供指定點的測量結(jié)果,將考慮對相機可視范圍內(nèi)的物體做完整的三維重建,并將該技術(shù)擴展到水下設(shè)備三維建模、水下地形測繪、水下機器人導(dǎo)航等應(yīng)用領(lǐng)域。
參 考 文 獻
[1]Zhang ZY,Zhou SH.Analysis of key technology and the applications of underwater target detection by LASER [J].Journal of Xidian University(Nature Science),2001,28(6): 797-801.
[2]Cabarle LE,Sybingco E,Dadios E.Underwater distance ranging implemented through a stereo vision system [C]//International Conference on Humanoid,Nanotechnology,Information Technology,Communication and Control,Environment and Management,2016: 1-6.
[3]Lin YH,Shou KP,Huang LJ.The initial study of LLS-based binocular stereo-vision system on underwater 3D image reconstruction in the laboratory [J].Journal of Marine Science and Technology,2017,22(3): 1-20.
[4]Shen J,Sun HY,Wang HB,et al.A binocular vision system for underwater target detection [J].Applied Mechanics and Materials,2013,347-350: 883-890.
[5]Sanchez-Ferreira C,Mori JY,Farias MCQ,et al.A real-time stereo vision system for distance measurement and underwater image restoration[J].Journal of the Brazilian Society of Mechanical Science and Engineering,2016,38(7): 1-11.
[6]Sanchez-Ferreira C,Mori JY,Llanos CH,et al.Development of a stereo vision measurement architecture for an underwater robot [C]//The IEEE 4th Latin American Symposium on Circuits and Systems,2013: 1-4.
[7]Kumar NP,Mukundappa BL,Ramakanth Kumar P.Design & development of autonomous system to build 3D model underwater objects using stereo vision technique [J].International Journal of Advances in Engineering and Technology,2011,1(4): 1-4.
[8]Li GL,Huang WY,Liu QS,et al.Improved Zhang’s calibration method and experiments for underwater binocular stereo-vision [J].Acta Optica Sinica,2014,34(12): 219-224.
[9]Zhang ZZ.A flexible new technique for camera calibration [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.
[10]Bouguet JY,Perina P.Camera calibration from points and lines in dual-space geometry [C]//European Conference on Computer Vision,1998: 2-6.
[11]Pang YJ,Wang D,Huang H,et al.Research on underwater binocular camera calibration and distortion analysis in current disturbance [J].Applied Mechanics and Materials,2014,548-549:688-692.
[12]Massot-Campos M,Oliver-Codina G,Kemal H,et al.Structured light and stereo vision for underwater 3D reconstruction [C]//Oceans 2015-Genova,2015.[13]Weidner N,Rahman S,Li AQ,et al.Underwater cave mapping using stereo vision [C]//IEEE International Conference on Robotics and Automation,2017: 5709-5715.
[14]Wu YL,Rui N,He B.3D reconstruction model of underwater environment in stereo vision system [C]//Oceans 2013-San Diego,2014: 1-4.
[15]Xu J,Chen X,Song X,et al.Target recognition and location based on binocular vision system of UUV[C]//The 34th Chinese Control Conference(CCC),2015: 3959-3963.
[16]Chavez AG,Mueller CA,Birk A,et al.Stereo-vison based diver pose estimation using LSTM recurrent neural networks for AUV navigation guidance [C]//Oceans 2017-Aderdeen,2017: 1-7.
[17]Carrasco PLN,Bonin-Font F,Massot-Campos M,et al.Stereo-vision graph-SLAM for robust navigation of the AUV SPARUS II [C]//IFAC Workshop on Navigaation,2015: 200-205.
[18]Hallset JO.A vision system for an autonomous underwater vehicle [C]//The 11th IAPR International Conference on Pattern Recognition,1992: 320-323.
[19]Ishibashi S.The stereo vision system for an underwater vehicle [C]//Oceans 2009-Europe,2009: 1-6.
[20]Rizzini DL,Kallasi F,Aleotti J,et al.Integration of a stereo vision system into autonomous underwater vehicle for pipe manipulation tasks [J].Computers and Electrical Engineering,2016,58(C): 560-571.
[21]Chen YJ,Zhu KW,Yao-Zheng GE,et al.Binocular based locating system for underwater [J].Journal of Mechanical and Electrical Engineering,2011,28(5): 567-573.
[22]Bruno F,Bianco G,Muzzupappa M,et al.Experimentation of structured light and stereo vision for underwater 3D reconstruction [J].Isprs Journal of Photogrammetry and Remote Sensing,2011,66(4): 508-518.
[23]Mcglamery BL.A computer model for underwater camera systems [C]//International Society for Optics and Photonics,1980: 221-231.
[24]Jaffe JS.Computer modeling and the design of optimal underwater imaging systems [J].IEEE Journal of Oceanic Engineering,1990,15(2): 101-111.
[25]Gooch JW.Snell’s law [M]//Encyclopedic Dictionary of Polymers.Springer New York,2011:673-673.