曹又文 ,劉慶省 ,魏自浩 ,張喜林 ,孫治雷 ,盧澤宇,3 ,郭金家*

(1.中國海洋大學(xué) 物理與光電工程學(xué)院,山東 青島,266100;2.青島海洋地質(zhì)研究所 自然資源部天然氣水合物重點實驗室,山東 青島,266237;3.青島海洋科技中心,山東 青島,266237)

0 引言

海洋蘊藏著豐富的資源,海洋資源的開發(fā)利用對人類的生存與發(fā)展具有著重要意義。近年來,光學(xué)三維成像技術(shù)在海洋礦產(chǎn)資源勘查和極端環(huán)境探測中逐漸受到重視,主要包括距離選通法[1]、結(jié)構(gòu)光法[2]、激光雷達(dá)法[3]、立體視覺法[4]和運動恢復(fù)結(jié)構(gòu)(structure from motion,SFM)法[5]等。從水下應(yīng)用狀況來看,對于海底地形地貌精細(xì)測繪,使用單目光學(xué)相機搭載于水下移動平臺以獲取海底的光學(xué)影像資料仍是目前的主流方式。相較于雙目或多個光學(xué)相機而言,單目相機在實際探測過程中成本較低、易于使用,且不需要特別校準(zhǔn)。

借助一些外部輔助設(shè)備和圖像處理方法,單目相機可以間接實現(xiàn)成像目標(biāo)的三維重建,基于單目相機的光學(xué)三維重建方法可分為主動式和被動式2 種[6]。其中主動式三維重建常使用激光作為照明光源,而被動式三維重建采用的是普通白光照明光源。被動式三維重建方法可進一步分為2 種,一是使用預(yù)先校準(zhǔn)的設(shè)備,將2 個或多個相機放置在目標(biāo)物體周圍固定位置,這種方法在水下尤其是在深海中實施比較困難;另一種是SFM方法,該方法使用1 部相機從不同方向拍攝同一場景的連續(xù)照片,不需要地理參考目標(biāo)和額外的硬件支持,利用重疊圖片上的二維特征集合來恢復(fù)三維相機運動和三維場景結(jié)構(gòu)。因其可以通過低廉的成本獲得高分辨率的地形數(shù)據(jù),已被廣泛應(yīng)用于各種地理測繪中,如監(jiān)測沙丘移動和海灘變化[7]、冰川動力學(xué)分析測繪[8]、河流地形[9]、滑坡測繪[10]及土壤侵蝕[11]等。

在海洋環(huán)境中,SFM 方法常被用于從自主水下航行器(autonomous undersea vehicle,AUV)或水下遙控航行器(remotely operated vehicle,ROV)上獲取的視頻數(shù)據(jù)來進行高分辨率海底三維重建,如Robert 等[12]基于ROV 獲取的視頻影像資料,使用SFM 方法對海底峽谷的懸崖進行精細(xì)刻畫,重建了非常細(xì)膩的地形圖,并利用這些數(shù)據(jù)進一步調(diào)查了深海珊瑚和冷水珊瑚的分布;Teague 等[13]采用ROV 單目相機的視頻資料,對希臘米洛斯島古喬里灣周圍的淺層熱液噴口進行了三維重建,開展了不同范圍的底棲生物棲息地的調(diào)查;Wright等[14]構(gòu)建的SeaArray 攝影測量系統(tǒng)對水下考古遺址進行了測繪評估,通過與實時運動學(xué)標(biāo)記方法、手工地圖繪制方法的比較,驗證了SFM 方法在水下場景測繪中的高效性與準(zhǔn)確性,典型的測繪結(jié)果表明SFM 模型的水下測繪精度可達(dá)5 cm左右;Burns 等[15]則將SFM 方法與地理空間軟件相結(jié)合,用于夏威夷群島珊瑚礁的三維建模,并通過其與珊瑚活體的對比,分析了珊瑚生態(tài)系統(tǒng)的健康狀態(tài)。上述研究中SFM 算法的實現(xiàn)大都基于商業(yè)化圖像處理軟件Agisoft PhotoScan,封閉的軟件環(huán)境限制了SFM 算法改進優(yōu)化的可能性。

隨著國內(nèi)水下運載平臺的快速發(fā)展,基于單目相機的海底調(diào)查研究已有很多報道,但目前多采用視頻圖像拼接,即通過多幅圖像獲得更大范圍的二維圖像,如在我國南海北部冷泉區(qū)“探索4500”AUV 通過搭載光學(xué)相機拍攝了一系列海底圖像,經(jīng)過處理后獲得了全景高分辨率地圖[16]。然而,基于單目相機的三維重建報道較少,文中針對單目相機獲取的海底光學(xué)圖像,開展了圖像增強和三維重建方法研究,完成了深海微地形地貌和生物生態(tài)、礦物巖石等信息的三維重建,支撐了我國水合物礦區(qū)的精細(xì)調(diào)查工作。

1 基于單目相機的三維重建方法

1.1 單目成像系統(tǒng)

文中選用4K 工業(yè)相機進行成像,采用互補金屬氧化物半導(dǎo)體(complementary metal-oxide semiconductor,CMOS)作為傳感器,分辨率為3 840×2 160,最大幀率為25 fps,可以較為穩(wěn)定清晰地獲取目標(biāo)的實時圖像信息。相機封裝在圓柱形鋁合金防水艙內(nèi),前端裝有15 mm 厚度的石英透明窗片以便透過光線。防水艙厚度10 mm,與石英窗片以鎖緊蓋和密封圈連接,后端通過水密線纜進行密封與數(shù)據(jù)傳輸,在下水前接受相當(dāng)于最大工作深度2 000 m 水壓的打壓測試,以保證系統(tǒng)的水密性與耐壓性。

系統(tǒng)搭載于“FCV 3000”ROV,基于“海洋地質(zhì)九號”深?？疾齑M行了深海原位測試,獲得了大量攜帶海底地形地貌信息的視頻圖像資料,覆蓋了陸坡區(qū)海底存在的一系列典型地形地貌。在海底工作時,將系統(tǒng)固定于ROV 前端,并通過水密線纜連接ROV 實現(xiàn)供電與通信,當(dāng)ROV 到達(dá)海底后,控制其在距離海底大約5 m 的高度進行水平移動,掃過下方目標(biāo)物,連續(xù)獲取圖像并存儲。系統(tǒng)海上現(xiàn)場工作照片如圖1 所示。

圖1 搭載在ROV 上的單目相機Fig.1 Monocular camera mounted on ROV

1.2 水下圖像預(yù)處理方法

受海水、水中有機物和懸浮顆粒物等吸收和散射的影響,通常基于光學(xué)相機獲取的海底圖像具有亮度小、能見度差、對比度低及模糊等特征。為了得到高質(zhì)量的海底圖像,需要將圖像進行預(yù)處理增強。文中針對海底光學(xué)成像的特點,使用了白平衡、伽馬校正和瑞利分布函數(shù)拉伸圖像相結(jié)合的圖像增強算法,首先對圖像進行白平衡,之后進行伽馬校正,調(diào)整各個顏色通道圖像強度因子,最后再由三通道組成,流程如圖2 所示。

圖2 圖像增強流程圖Fig.2 Flowchart of image enhancement

基于傳統(tǒng)的圖像增強方法對光學(xué)圖像進行了分析,包括直方圖均衡化(histogram equalization,HE)、限制對比度自適應(yīng)直方圖均衡化(contrast limited adaptive histogram equalization,CLAHE)、單尺度Retinex(single-scale retinex,SSR)和多尺度Retinex(multi-scale retinex,MSR)算法,如圖3 所示。分析表明,傳統(tǒng)的圖像增強方法只對照明相對較好的場景有效,并不適用于質(zhì)量較差的圖像,不能有效地提升對比度。文中方法在對比度和顏色方面都能起到顯著增強的效果,能夠最大程度保留原始圖像特征的基礎(chǔ)上,增強圖像中的細(xì)節(jié),并有效解決圖像顏色衰退的問題。

圖3 不同增強方法預(yù)處理后的圖像Fig.3 Images after preprocessing with different enhancement methods

1.3 SFM 方法

基于SFM 的海底成像系統(tǒng)工作模式如圖4 所示,SFM 原理是收集相機在不同位置下獲得的圖像序列,通過求解圖像序列間的幾何約束關(guān)系,再利用算法重建出被測區(qū)域的三維信息。SFM 方法與其他被動重建方法相比,并不依賴于成像設(shè)備的位置和方向信息,可以自動確定相機內(nèi)部幾何、位置和方向,而不需要預(yù)先定義。

圖4 基于SFM 的海底成像示意圖Fig.4 SFM-based seafloor imaging

SFM 分全局式和增量式2 類。全局式SFM是先求得每幅圖像的相對位姿,再通過三角測量獲得場景點,最后進行一次捆集調(diào)整,效率較高但魯棒性較差。增量式SFM 是在三角測量、求解相機位置和姿態(tài)后進行局部捆集調(diào)整,隨著圖像數(shù)量的增加,調(diào)整后累積誤差也會逐漸增加,導(dǎo)致重建后的相機姿態(tài)與實際不符,并且每次都需進行捆集調(diào)整,較為耗時。由于海底圖像資料較大,拆分出的圖像數(shù)量多達(dá)上百張,對運算效率、精度和誤差累積都有較高的要求,因此文中采用全局式SFM 進行三維重建,流程如圖5 所示。

圖5 全局式SFM 三維重建流程Fig.5 3D reconstruction by global SFM

首先對輸入圖像序列逐一檢測特征點,并進行特征符賦予,對相鄰圖像間進行匹配,保留滿足幾何約束的最佳匹配,恢復(fù)相機內(nèi)參和外參,使用三角測量法得到三維坐標(biāo),通過捆集調(diào)整進行優(yōu)化,最后利用重建算法獲得三維重建模型。

1.4 三維重建方法

1.4.1 稀疏三維重建

SFM 三維重建主要步驟如下: 1) 提取單個特征圖像;2) 求解每個圖像對應(yīng)的特征匹配和幾何關(guān)系;3) 初始化重建。根據(jù)對極幾何模型中的基礎(chǔ)矩陣與本征矩陣,依次對相鄰兩張圖像進行重建,求解得到圖像的位姿,2 個圖像之間的公共點作為構(gòu)建點云的輸入。如果圖像中有一組三維點和相應(yīng)的二維投影,則校準(zhǔn)相機姿態(tài),以便記錄新的點并加入到模型當(dāng)中,在這個過程中通過三角化來確定匹配點的三維位置。然而,由于連續(xù)不斷添加新的點集,累積產(chǎn)生的誤差會越來越大,所以采用捆集調(diào)整算法,優(yōu)化每個視圖的三維結(jié)構(gòu)和相機運動,使重投影誤差最小化。最后通過重復(fù)捆集調(diào)整算法進行迭代,將計算出的三維坐標(biāo)值與閾值比較,當(dāng)大于閾值時判斷為誤差點并刪除。

文中所用的數(shù)據(jù)是我國海域海底精細(xì)調(diào)查中,利用單目成像系統(tǒng)拍攝到的海底視頻流,三維重建圖像數(shù)據(jù)集由視頻流中拆分的若干圖像序列組成,如圖6 所示。利用圖中實測數(shù)據(jù)進行三維重建得到的結(jié)果如圖7 所示?？梢钥闯霁@得的海底稀疏點云只反映了大致輪廓,目標(biāo)物體表面不清晰,不能夠具象地體現(xiàn)出海底地形特征,點云表面存在大量的空洞。

圖6 視頻流中拆分出的部分圖像數(shù)據(jù)集Fig.6 Partial image dataset split from video stream

圖7 海底稀疏點云Fig.7 Sparse point cloud of seafloor

1.4.2 密集點云重建

由于SFM 在檢查2 幅圖像的對應(yīng)關(guān)系點時只取了紋理點,忽略了局部極大值周圍的點,導(dǎo)致存在較多空洞,因此,需要對稀疏點云數(shù)據(jù)進行稠密擴充。文中采用基于面片的多視圖密集重建(patchbased multi-view stereo,PMVS)算法[17],對不規(guī)則物體以及目標(biāo)對象的細(xì)節(jié)特征進行空間深度的估計和融合,以達(dá)到密集點云重建的目的。PMVS 算法通過構(gòu)建具有方向的矩形面片集擬合出三維物體表面的局部切面,不需要對邊界外包進行初始化,具備自動檢測和剔除異常點的能力。海底稠密點云重建結(jié)果如圖8 所示。

圖8 海底稠密點云Fig.8 Dense point cloud of seafloor

1.4.3 泊松表面重建

泊松表面重建(Poisson surface reconstruction,PSR)是將點云的重建問題轉(zhuǎn)化為求解空間內(nèi)的泊松方程[18]。通常計算幾何學(xué)中常用的Delaunay 三角網(wǎng)和其對偶的沃羅諾伊圖,對處理的點云質(zhì)量有一定要求,遇到含噪聲的點云往往需要先去噪后再進行重構(gòu)。與之相比,PSR 將離散的點云信息轉(zhuǎn)化到一個連續(xù)表面函數(shù)上,構(gòu)造出水密隱式表面,使得對夾雜的噪聲不那么敏感。由于PSR容易在非封閉的數(shù)據(jù)中產(chǎn)生不規(guī)則的偽曲面,影響曲面效果,因此,文中通過引入屏蔽因子來約束重建過程,以減少法向量的估計。根據(jù)SFM 算法生成的點云數(shù)據(jù)及圖像RGB(red,green,blue)數(shù)據(jù),通過開放圖形庫(open graphics library,OpenGL)完成紋理映射,結(jié)合相機參數(shù)和光學(xué)圖像,將圖像轉(zhuǎn)換為紋理素材,估算點云模型的法向量并進行貼圖,PSR 及其紋理映射如圖9 所示。

圖9 泊松表面重建及紋理映射圖Fig.9 Poisson surface reconstruction and texture mapping map

1.5 重建結(jié)果分析

表1 為三維重建的相關(guān)參數(shù)。根據(jù)密集點云重建的過程,對不同區(qū)域進行點云參數(shù)分析。由圖10 可以看出,稀疏點云分布不均勻,只能大概反應(yīng)表面輪廓,使用稀疏點云構(gòu)建的平面會出現(xiàn)大部分的殘缺,且連接不夠平滑;通過密集點云重建后,雖然會忽視部分孤立的點云,但是主要點云周圍的點云集數(shù)量增多,優(yōu)化了點云的分布。

表1 重建結(jié)果相關(guān)參數(shù)Table 1 Relevant parameters for reconstruction results

圖10 稀疏點云到密集點云的重建結(jié)果對比Fig.10 Comparison of reconstruction results from sparse to dense point clouds

將點云數(shù)據(jù)分別應(yīng)用于PSR、Delaunay 三角剖分與添加屏蔽因子的PSR 以比較重建效果,如圖11 所示。由于海底成像的特殊環(huán)境,無法有效地從各個方面捕捉目標(biāo)的表面,在點云密度分布不均勻的情況下,Delaunay 三角剖分更容易出現(xiàn)拉伸或者孔洞現(xiàn)象,相比之下,PSR 一類的算法生成的曲面模型表面較為光滑。

圖11 點云數(shù)據(jù)應(yīng)用于不同重建方法的結(jié)果對比Fig.11 Comparison of results of point cloud data applied to different reconstruction methods

根據(jù)Hausdorff 距離來評估不同算法的重建效果,指標(biāo)如表2 所示?？梢钥闯?基于Delaunay 的三維重建總體指標(biāo)高于傳統(tǒng)PSR 算法,重建所需時間也更短。而添加屏蔽因子的PSR 算法的指標(biāo)比Delaunay 和傳統(tǒng)PSR 更低,在圖中也表現(xiàn)出對物體表面顆粒度以及粗糙程度反映更加細(xì)膩,進一步表明該重建算法的建模質(zhì)量更高。

表2 不同算法的三維重建評估指標(biāo)Table 2 3D reconstruction evaluation indexes for different algorithms

2 海底典型區(qū)域三維重建

我國海域蘊含著豐富的天然氣水合物資源。近年來,不斷發(fā)現(xiàn)的天然氣水合物富集區(qū)[19]和相關(guān)的冷泉流體、生物群落、泥火山、底辟、麻坑、碳酸鹽結(jié)核結(jié)殼以及基巖出露等[20],已成為我國水合物產(chǎn)業(yè)化的主要基地。為此,利用文中建立的基于單目相機的深海微地形地貌高精度三維重建方法,在我國南海和東部海域水合物富集區(qū)和冷泉發(fā)育區(qū)進行了實地應(yīng)用,取得了一系列高精度的探測結(jié)果,對研究區(qū)域地形地貌、生物生態(tài)和特殊地質(zhì)現(xiàn)象的調(diào)查研究提供了重要的支撐材料,也驗證了文中方法在深海探測過程中的科學(xué)性和可行性。

2.1 南海水合物勘探區(qū)沙波區(qū)

在我國南海天然氣水合物勘探階段,為詳細(xì)了解水合物遠(yuǎn)景區(qū)的地形地貌,基于SFM 方法獲取了調(diào)查區(qū)海底環(huán)境的三維重建結(jié)果,如圖12 所示(其中,下部的①～⑤為上圖對應(yīng)區(qū)域的局部放大圖)。從圖中可以看出,南海水合物遠(yuǎn)景區(qū)沙波的分布主要集中在上陸坡地區(qū)。在空間上,沙波規(guī)模向下陸坡方向總體減小。從形態(tài)上,沙波總體表現(xiàn)出黑白相間,其中白色為有孔蟲砂,黑色為沙波被鐵錳覆蓋的部分,由此表明該地區(qū)沙波的形成經(jīng)歷了較漫長的地質(zhì)過程。這是由于南海上陸坡地區(qū)底流作用較強,特別是內(nèi)波對該地區(qū)沉積地貌具有強烈的改造作用。據(jù)此推斷,調(diào)查區(qū)的沙波主要是在強烈的內(nèi)波沖刷和改造作用下形成,由于東沙地區(qū)火山活動活躍,造成這些沙波后期被鐵錳氧化物所覆蓋,形成了當(dāng)前黑白相間的狀態(tài)。

圖12 沙波區(qū)的三維重建結(jié)果Fig.12 3D reconstruction result of sand wave area

2.2 南海冷泉碳酸鹽結(jié)核、結(jié)殼發(fā)育區(qū)

圖13 展示了南海冷泉碳酸鹽結(jié)核發(fā)育區(qū)的三維重建結(jié)果,可以看出海底冷泉碳酸鹽結(jié)核非常發(fā)育,并棲息著一些典型的底棲大生物,構(gòu)成了較好的海底生態(tài)系統(tǒng)(其中,下部的①～②為上圖對應(yīng)區(qū)域的局部放大圖)。利用ROV 探測追蹤,該區(qū)面積可達(dá)數(shù)平方千米以上,表明該處曾經(jīng)發(fā)生了大規(guī)模的甲烷泄漏事件。當(dāng)海底甲烷發(fā)生泄漏后,絕大多數(shù)甲烷通過硫酸鹽驅(qū)動的甲烷厭氧氧化反應(yīng)被固定在海底。因此能有效減緩海洋碳泄漏對環(huán)境的影響,避免海水酸化和生物物種受損等負(fù)面影響。通過對海底地形地貌進行三維重建還原,有助于精確判斷冷泉碳酸鹽結(jié)核和底棲生物的賦存狀態(tài)及規(guī)模,探索海底冷泉碳酸巖成因和總量等關(guān)鍵問題。

圖13 碳酸鹽結(jié)核發(fā)育區(qū)的三維重建結(jié)果Fig.13 3D reconstruction result of carbonate nodule growth area

在南海海域冷泉碳酸鹽巖結(jié)殼區(qū)也開展了研究調(diào)查,獲取光學(xué)影像資料后開展了三維重建,如圖14 所示(其中,下部的①～③為上圖對應(yīng)區(qū)域的局部放大圖)。結(jié)果發(fā)現(xiàn)相對于結(jié)核區(qū),該結(jié)殼區(qū)海底較為平坦,同時底棲生物缺乏,黑色的鐵和錳沉淀并不發(fā)育,表明該結(jié)殼形成不久或仍在增生。但在某些區(qū)域仍會出現(xiàn)單獨的黑色結(jié)核,表明結(jié)核和結(jié)殼的形成并非同一期次。

圖14 碳酸鹽結(jié)殼發(fā)育區(qū)的三維重建結(jié)果Fig.14 3D reconstruction result of carbonate crust growth area

2.3 東部海域冷泉區(qū)

除了在我國南海開展調(diào)查,也對我國東部海域重點區(qū)海底冷泉系統(tǒng)進行了探測和重建,以進行2 個海域冷泉活動的對比研究。通過重建結(jié)果首先發(fā)現(xiàn),該區(qū)域是一個典型海底活動冷泉,具有海底冷泉所有要素,是不可多得的科學(xué)研究區(qū)。另外,該冷泉區(qū)賦存有大量碳酸鹽巖,主要形狀有結(jié)殼狀、結(jié)核狀、角礫狀和大量巖石堆積成丘狀,如圖15 所示(其中,下部的①～④為上圖對應(yīng)區(qū)域的局部放大圖)。這些碳酸鹽巖礦物主要是由于強烈的甲烷滲漏所致,甲烷流體為化能自養(yǎng)生命群落帶來了豐富的食物和能量來源,支撐了繁盛的生態(tài)系統(tǒng)。借助于文中重建的高精度三維地形地貌圖,可以更加清晰地識別出該區(qū)域內(nèi)存在的典型底棲生物,包括管狀蠕蟲海蛇尾、蛤類、海星和?？?這更加證實了該區(qū)域在地質(zhì)歷史時期內(nèi)存在的強烈甲烷滲漏。

圖15 冷泉區(qū)的三維重建結(jié)果Fig.15 3D reconstruction result of cold spring area

利用聲學(xué)手段可以探測到冷泉流體形成的火焰狀異常,通過該異常信號定位冷泉區(qū)域,但是在聲學(xué)圖像中無法識別出生物和巖石等信息。文中方法獲取的海底冷泉區(qū)高精度地形地貌圖,可以在不同旋轉(zhuǎn)視角下呈現(xiàn),如圖16 所示,與聲學(xué)地形圖相比,精度更高,更符合人類視覺,對未來進行深海極端環(huán)境的快速、精細(xì)探測,開展深海水合物賦存區(qū)地形地貌、極端生命群落生態(tài)以及冷泉碳酸鹽巖形成機理研究,評價資源量和環(huán)境影響,提供了重要的技術(shù)方法支撐。

圖16 不同旋轉(zhuǎn)視角下的三維重建結(jié)果展示Fig.16 3D reconstruction result under different rotating views

3 結(jié)束語

文中針對深海微地形地貌高精度三維重建需求,搭建了ROV 深海光學(xué)單目成像系統(tǒng),針對獲取的深海典型區(qū)域內(nèi)的海底光學(xué)圖像,開展了海底圖像增強和基于SFM 的三維重建方法研究。并在重點海域水合物賦存區(qū)進行了驗證,精細(xì)地刻畫出了區(qū)域內(nèi)的微地形地貌特征、生物生態(tài)以及礦體特征等信息,結(jié)果表明,該方法為深海典型勘探區(qū)域的海底微地形地貌高精度三維重建提供了實用的技術(shù)方案。

后續(xù)將進一步使用標(biāo)準(zhǔn)物體進行系統(tǒng)精度測試評估,并采用點云分割與配準(zhǔn)等點云處理算法來更好地對獲取到的三維信息進行展示與分析。同時,也考慮將激光線掃描獲取的點云形式的海底三維灰度信息和單目相機獲取的光學(xué)數(shù)據(jù)進行聯(lián)合研究,促使深度信息與色彩信息的融合,進而提高海底三維重建的精度。