劉 濤，王寧寧，張 熠，艾尚茂

一種水下運(yùn)動物體三維軌跡視覺測量方法

劉 濤1，王寧寧1，張 熠1，艾尚茂2

(1. 哈爾濱工程大學(xué)自動化學(xué)院，黑龍江 哈爾濱 150001；2.哈爾濱工程大學(xué)船舶工程學(xué)院，黑龍江 哈爾濱 150001)

針對海洋工程中采用的設(shè)備深海懸垂法安裝過程，采用多攝像頭視頻運(yùn)動分析方法計算水下三維運(yùn)動軌跡可用于指導(dǎo)海洋工程的結(jié)構(gòu)安裝和分析設(shè)備水下運(yùn)動特征。水下視頻和圖像的處理獲取面臨著諸多挑戰(zhàn)，首先由于水下環(huán)境懸浮物和顆粒較多，光在水下發(fā)生了散射，使水下圖像發(fā)生了退化；其次水下視頻運(yùn)動分析遇到的一個主要障礙是光線的折射引起的圖像誤差。由于光在水、玻璃、空氣不同介質(zhì)間發(fā)生折射，光路發(fā)生彎曲，陸地上的攝像機(jī)成像模型在水中不再適用，需要提出新的水下攝像機(jī)成像模型。本文引入帶光線折射的水下攝像機(jī)成像模型，研究水下攝像機(jī)的內(nèi)參數(shù)和外參數(shù)標(biāo)定方法，利用固定布置的3個水下攝像機(jī)拍攝的目標(biāo)水下運(yùn)動視頻來計算水下目標(biāo)的軌跡。該方法適用于水池環(huán)境下水下物體大范圍運(yùn)動，可以得到較為精確的軌跡，并得到了實驗驗證。

水下攝像機(jī)標(biāo)定；三維軌跡；視覺測量

近年來，隨著海洋工程裝備的不斷發(fā)展，海洋目標(biāo)探測的需求越來越成為研究熱點。本文為模擬某大型海底油氣生產(chǎn)裝備基于深海懸垂法的安裝過程，研究不同布置參數(shù)下安裝階段設(shè)備運(yùn)動特征，在水池環(huán)境開展相關(guān)模型水下三維運(yùn)動軌跡測量試驗工作，采用多個水下攝像頭拍攝運(yùn)動視頻計算獲得目標(biāo)的運(yùn)動軌跡。水下視覺成像是針對水下環(huán)境探測的一種有效手段，陸地上的目標(biāo)運(yùn)動分析已經(jīng)取得了極大進(jìn)展，但在水下目標(biāo)運(yùn)動分析仍然面臨很多困難。例如水下環(huán)境懸浮物和顆粒較多，光在水下發(fā)生了散射，使水下圖像發(fā)生了退化，另外一個主要的障礙是光線的折射引起的圖像誤差。

國內(nèi)外很多學(xué)者對水下運(yùn)動的分析展開了研究。例如，PSYCHARAKIS等[1]預(yù)先制作校準(zhǔn)框架，基于若干標(biāo)記物并使用DLT[2]方程來獲得其3D坐標(biāo)進(jìn)而進(jìn)行三維的游泳分析，但DLT算法中未考慮折射的坐標(biāo)系。KWON[3]提出將折射和DLT方法同時考慮，即基于Snell定律考慮折射后用于計算折射點的像素坐標(biāo)。ALEXANDRI和DIAMANT[4]提出了自主水下航行器 (autonomous underwater vehicle, AUV)采用慣性導(dǎo)航系統(tǒng)(inertial navigation system, INS)以及后期同時建圖和定位(simultaneous localization and mapping, SLAM)方法，但該方法需要依靠很多外部環(huán)境成像來提供所需要的“節(jié)點”。這些方法在水下作業(yè)時具有很大的局限性。

本文提出利用多個水下攝像頭拍攝目標(biāo)的視頻序列計算三維軌跡，分析了水下不同介質(zhì)間折射的現(xiàn)象，結(jié)合水下攝像機(jī)成像模型[5]以及同射變換原理，通過拍攝的視頻序列求取物體的運(yùn)動軌跡。

1 水下攝像機(jī)標(biāo)定

1.1 水下攝像機(jī)成像模型

水下攝像機(jī)標(biāo)定技術(shù)是水下視覺測量的關(guān)鍵技術(shù)。由于水下光的折射和散射，水下攝像機(jī)的成像模型已經(jīng)不符合針孔成像模型。攝像機(jī)在水下拍攝物體時，散射會影響其成像效果，在獲取物體水下運(yùn)動數(shù)據(jù)集之后，本文利用圖像復(fù)原和圖像增強(qiáng)的手段，對受損圖像和點擴(kuò)展函數(shù)進(jìn)行空間域上的退卷積計算來修復(fù)圖像[6]，方便后期對數(shù)據(jù)集做處理，達(dá)到了預(yù)期的效果。由于散射并不影響物體的物理成像模型，但折射卻改變了物體在陸地上的成像模型，因此在陸地上研究視覺的方法不宜使用，需要提出新的成像模型。TREIBITZ等[7]分析了折射對攝像機(jī)標(biāo)定的影響，當(dāng)界面遠(yuǎn)端的光線向后延伸到相機(jī)時，其不會相交于1個點，而是形成1個焦散面(不符合單視點相機(jī)模型)，如圖1所示。所以空氣中的攝像機(jī)標(biāo)定方法不再適用，需要建立攝像機(jī)在水下的成像模型。

圖1 水下非單視點相機(jī)模型

1.2 水下攝像機(jī)內(nèi)參數(shù)標(biāo)定

空氣中的攝像機(jī)內(nèi)參數(shù)標(biāo)定技術(shù)已經(jīng)十分成熟?，F(xiàn)有的標(biāo)定方法有TSAI[8]的標(biāo)定、ZHANG[9]標(biāo)定法。本文采用的水下攝像機(jī)，其具有高清信號、低視頻延遲和以太網(wǎng)傳輸?shù)奶攸c。外殼材料為316L不銹鋼，玻璃密封攝像頭，在海水中耐壓、耐腐蝕能力強(qiáng)。其參數(shù)如下：

(1) 分辨率。2592×1964，幀速率為64 fps。

(2) 像元尺寸。水平方向為5 mm，垂直方向也為5 mm。

(3) 傳感器尺寸及快門曝光方式。傳感器CMOS尺寸為1/1.8英寸，快門曝光方式為全局。

(4) 接口方式。攝像機(jī)采用網(wǎng)絡(luò)接口，拍攝的圖片與視頻通過局域網(wǎng)傳至電腦。

攝像機(jī)內(nèi)參數(shù)本身只與攝像機(jī)自身的屬性有關(guān)，不會因為拍攝環(huán)境在水下或者空氣中而改變。本文先采用ZHANG[9]標(biāo)定法對3個攝像機(jī)分別進(jìn)行空氣中的相機(jī)參數(shù)標(biāo)定。標(biāo)定采用的棋盤格圖像如圖2所示。

圖2 空氣中棋盤格圖像

矩陣為攝像機(jī)的內(nèi)參數(shù)矩陣，其相機(jī)1標(biāo)定的結(jié)果為

考慮到水的折射，物體點在水下圖像的位置并不是真正的位置，如圖3所示。

由于光的折射，成像模型中的焦距發(fā)生了明顯的變化。圖3中給出了水下光線折射的模型，真實的焦距為。反向延長折射后的光線，與光軸相交，得到虛擬成像平面和虛擬焦距′?？諝庵姓鎸嵐饩€與光軸的夾角為，空氣中虛擬的光線與光軸的夾角為′，對于成像平面任意點則有

根據(jù)LAVEST等[10]對透鏡在2種折射率不同的介質(zhì)中間成像模型的推導(dǎo)，圖像必須被放大為2種介質(zhì)之間折射率的倍數(shù)，即

本文采用ZHANG[9]標(biāo)定法的標(biāo)定程序?qū)ι鲜鏊聰z像機(jī)內(nèi)參數(shù)標(biāo)定理論進(jìn)行實驗驗證，在水下分別采集每個攝像機(jī)的12張棋盤格圖像作為標(biāo)定程序的輸入，標(biāo)定采用的棋盤格水下圖像如圖4所示。

圖4 水下棋盤格圖像

對3個攝像機(jī)分別標(biāo)定，其攝像機(jī)1標(biāo)定結(jié)果為

攝像機(jī)1空氣中和水下標(biāo)定結(jié)果比較見表1和表2。

表1 焦距比較

表2 主點坐標(biāo)比較

驗證上述結(jié)論，可運(yùn)用ZHANG[9]標(biāo)定法標(biāo)定水下及空氣中圖片，標(biāo)定出水下圖片的水平和垂直方向的焦距是空氣中的1.33倍，這個數(shù)恰好是水對空氣的折射率。而主點坐標(biāo)2種情況下基本一致，均約等于分辨率的一半。

1.3 水下攝像機(jī)的外參數(shù)標(biāo)定

圖5 水下光線模型

經(jīng)過水下攝像機(jī)外參數(shù)轉(zhuǎn)換的任意三維世界坐標(biāo)系的點也在折射平面上，即

給定攝像機(jī)前后兩幀對應(yīng)的8個點，將上述方程展開，可以得到如下線性方程，即

水下攝像機(jī)拍攝視頻序列之后，利用圖像處理的方法將視頻序列截取為以幀為單位的圖片集，選取其中3個位置如圖6所示。

圖6 視頻序列物體部分位置

利用上述方法，可求得圖6中的3個位置攝像機(jī)外參見表3。

表3 不同位置對應(yīng)的攝像機(jī)外參

為了驗證水下攝像機(jī)標(biāo)定方法的可行性，本文用同樣的數(shù)據(jù)，根據(jù)中國海洋大學(xué)解則曉等[12]提出的水下成像模型對攝像機(jī)進(jìn)行了標(biāo)定，并計算得到2種方法的重投影誤差。重投影誤差指的是真實三維空間點在圖像平面上的投影(即圖像上的像素點)和重投影(即利用標(biāo)定數(shù)據(jù)計算得到的虛擬像素點)的差值。對某個特定的位置，累加每個角點在圖像平面上真實和虛擬坐標(biāo)之差，最后除以累加角點的總數(shù)便可得到此位置的重投影誤差。為了說明問題，選取了5個位置的數(shù)據(jù)分別計算不同方法的重投影誤差值(設(shè)本文提出的方法為方法1，解則曉等[12]提出的方法為方法2)，得到誤差折線圖對比如圖7所示。由圖7可知，本文方法精確性得到了明顯的改善。

圖7 重投影誤差對比

2 三維軌跡計算

本文方法可以方便地求出水下攝像機(jī)的內(nèi)參數(shù)和每一幀圖片所對應(yīng)的外參數(shù)(旋轉(zhuǎn)矩陣(1,2,3)和平移向量)，進(jìn)而利用成像模型同射變換原理，可以很方便、高效地確定每一幀圖片目標(biāo)點的坐標(biāo)。每一幀圖片都可看作先利用物體正對著攝像機(jī)的棋盤格平面進(jìn)行標(biāo)定，得到內(nèi)參和外參，并由此建立世界坐標(biāo)系Oxyz，相對應(yīng)地，其棋盤格平面坐標(biāo)系為Oxy(設(shè)z默認(rèn)值為0)。由此得出目標(biāo)點在世界坐標(biāo)系與像平面坐標(biāo)系下坐標(biāo)的對應(yīng)關(guān)系，即

對式(17)和式(18)兩邊取?？傻?/p>

已知“目標(biāo)點”的像素坐標(biāo)便可通過以上算法求得其攝像機(jī)坐標(biāo)系坐標(biāo)，通過圖像靶標(biāo)的角點提取可以在每一幀圖片上找到同一“像素點” (目標(biāo)點)，將其視為上述談?wù)摰摹澳繕?biāo)點”，便可求出每一幀圖片此目標(biāo)點所對應(yīng)的攝像機(jī)坐標(biāo)系下坐標(biāo)，最后形成三維軌跡。

3 水下實驗及結(jié)果分析

物體運(yùn)動分為完整懸垂下放試驗(初始階段近似垂直下落，受安裝纜及水作用)和垂直下落階段試驗(懸垂單擺下落運(yùn)動)。由于單個攝像機(jī)視野較小，物體運(yùn)動軌跡跨度較大，故單個攝像機(jī)無法拍攝完整的運(yùn)動軌跡。為了解決這一問題，本實驗使用了3個水下攝像機(jī)將整個軌跡分成了3段，通過合理布置其各自的位置，可以滿足完整拍攝運(yùn)動軌跡的目的。為更好地檢測水下運(yùn)動物體圖像角點特征，在物體四周粘貼棋盤方格。試驗時，攝像機(jī)距離初始目標(biāo)距離約為5 m，試驗水池水深為10 m。

3.1 單個相機(jī)所測軌跡

相機(jī)1部分時刻位置(圖8)及三維軌跡(圖9)。

圖8 相機(jī)1物體部分時刻位置

圖9 相機(jī)1所測物體軌跡

相機(jī)2部分時刻位置(圖10)及三維軌跡(圖11)。

相機(jī)3部分時刻位置(圖12)及三維軌跡(圖13)。

圖10 相機(jī)2物體部分時刻位置

圖11 相機(jī)2所測物體軌跡

圖12 相機(jī)3物體部分時刻位置

圖13 相機(jī)3所測物體軌跡

3.2 合成軌跡

水下作業(yè)布置相機(jī)位置時，保證3個相機(jī)視野兩兩有重合的部分，其視野重合相機(jī)模型如圖14所示。

圖14 相機(jī)視野重合模型

圖14設(shè)點在相機(jī)1坐標(biāo)系和相機(jī)2坐標(biāo)系下的坐標(biāo)分別為(1,1,1)和(2,2,2)，則有下式成立

由旋轉(zhuǎn)矩陣的正定性及若干個重合點的坐標(biāo)，即可計算出旋轉(zhuǎn)矩陣及平移向量。故可由式(23)將相機(jī)1和相機(jī)2的軌跡合并到同一攝像機(jī)坐標(biāo)系下，同理，亦可將相機(jī)3的軌跡合并到同一攝像機(jī)坐標(biāo)系下。合并軌跡如圖15所示。由圖15可知，在軌跡的周圍有些許偏移點，原因是在物體運(yùn)動的過程中，可能發(fā)生了翻轉(zhuǎn)或者大幅度轉(zhuǎn)動，造成了攝像機(jī)拍攝的目標(biāo)物體為另外一個靶標(biāo)面，因此，計算出代表物體的三維點有些偏離。

3.3 誤差分析

目前商用的視頻運(yùn)動分析軟件比較成熟，為了定量分析本實驗結(jié)果的真實性，本文將實驗結(jié)果與專業(yè)的運(yùn)動視頻分析軟件TEMA計算出的軌跡作比較。以TEMA軟件計算出的坐標(biāo)為真實值，以本文所述方法計算出的坐標(biāo)為計算值得誤差分析見表4。但TEMA軟件需要引入折射產(chǎn)生的攝像機(jī)標(biāo)定模型參數(shù)才可以進(jìn)行水下運(yùn)動視頻分析，操作比較復(fù)雜，難以在實際水下工程中應(yīng)用。本文提出計算機(jī)視覺的方法相比較簡單，易于實現(xiàn)且精度較高。

表4 坐標(biāo)誤差分析

4 結(jié)束語

本文通過對水下特殊環(huán)境的分析，利用修正的水下攝像機(jī)成像模型，進(jìn)行了水下攝像機(jī)的內(nèi)外參數(shù)標(biāo)定，提出并實現(xiàn)了一種基于多攝像機(jī)計算水下運(yùn)動物體三維軌跡的算法。本文實驗解決了無法拍攝大范圍物體運(yùn)動軌跡的困難，利用多個水下攝像機(jī)同時拍攝物體運(yùn)動，提出配準(zhǔn)多個攝像機(jī)所拍攝到軌跡的算法，最終得到水下大范圍物體運(yùn)動的配準(zhǔn)后完整軌跡。實驗結(jié)果表明，基于引入折射的水下攝像機(jī)建模，在水下環(huán)境中能夠較為準(zhǔn)確地獲取運(yùn)動物體的軌跡數(shù)據(jù)，為海洋工程設(shè)備的施工提供了一定的參考依據(jù)。

[1] PSYCHARAKIS S G, SANDERS R, MILL F. A calibration frame for 3D swimming analysis [C]// ISBS-Conference Proceedings Archive. New York: IEEE Press, 2005: 901-904.

[2] PUIG L, BASTANLAR Y, STURM P, et al. Calibration of central catadioptric cameras using a DLT-like approach [J]. International Journal of Computer Vision, 2011, 93(1): 101-114.

[3] KWON Y. A camera calibration algorithm for the underwater motion analysis [C]//ISBS-Conference Proceedings Archive. New York: IEEE Press, 1999: 257-260.

[4] ALEXANDRI T, DIAMANT R. A reverse bearings only target motion analysis for autonomous underwater vehicle navigation [J]. IEEE Transactions on Mobile Computing, 2019, 18(3): 494-506.

[5] STOCKMAN G, SHAPIRO L G. Computer vision [M]. 2nd ed. 北京: 電子工業(yè)出版社, 2017: 2-15.

[6] SCHETTINI R, CORCHS S. Underwater image processing: State of the art of restoration and image enhancement methods [J]. EURASIP Journal on Advances in Signal Processing, 2010(1): 1-15.

[7] TREIBITZ T, SCHECHNER Y, KUNZ C, et al. Flat refractive geometry [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1): 51-65.

[8] TSAI R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses [J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344.

[9] ZHANG Z. A Flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[10] LAVEST J M, RIVES G, LAPRESTé J T. Dry camera calibration for underwater applications [J]. Machine Vision and Applications, 2003, 13(5-6): 245-253.

[11] AGRAWAL A, RAMALINGAM S, TAGUCHI Y, et al. A theory of multi-layer flat refractive geometry [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 3346-3353.

[12] 解則曉, 李緒勇, 辛少輝, 等. 水下線結(jié)構(gòu)光自掃描三維測量技術(shù)[J]. 中國激光, 2010, 37(8): 2010.

[13] ZHOU F, ZHANG G. Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations [J]. Image and Vision Computing, 2005, 23(1): 59-67.

Three-Dimensional Trajectory Visual Measurement Method for Underwater Moving Objects

LIU Tao1, WANG Ning-ning1, ZHANG Yi1, AI Shang-mao2

(1. College of Automation, Harbin Engineering University, Harbin Heilongjiang 150001, China;2. College of Shipbuilding Engineering, Harbin Engineering University, Harbin Heilongjiang 150001, China)

Aiming at the deep sea equipment suspension installation used in marine engineering, the multi-camera video motion analysis method is used to calculate the underwater three-dimensional motion trajectory, guiding the structural installation of the ocean engineering and analyzing the underwater motion features of the equipment. The processing of underwater video and image acquisition are facing a number of challenges. Firstly, due to the large amount of suspended matter and particles in the underwater environment, the light is scattered under water, which causes the underwater image to degenerate. Secondly, a major obstacle which underwater video motion analysis encounters is the image error caused by the refraction of light. Since the light is refracted among different media like water, glass and air, and the optical path is curved, the camera imaging model on land is no longer suitable for water use and a new underwater camera imaging model is called for. With a focus on the internal parameter and external parameter calibration method of underwater cameras, this study proposes an algorithm for calculating the three-dimensional trajectory of underwater moving objects and introduces an underwater camera imaging model with ray refraction. The underwater target motion video which is photographed by three underwater cameras fixedly arranged is proposed to calculate the 3D trajectory of the underwater target. This method is suitable for large-scale movement of underwater objects in a pool environment, and a relatively accurate trajectory can thus be obtained. The proposed method for measuring the underwater target motion trajectory is experimentally verified in the pool environment.

underwater camera calibration; three-dimensional trajectory; visual measurement

TP 391

10.11996/JG.j.2095-302X.2019050908

A

2095-302X(2019)05-0908-07

2019-05-05；

2019-07-22

國家自然科學(xué)基金項目(51409059)；黑龍江省博士后科研啟動金項目(LBH-Q16066)；中央高校基本科研業(yè)務(wù)費專項(3072019CF0409)

劉 濤(1979-)，男，遼寧法庫人，講師，博士，碩士生導(dǎo)師。主要研究方向為水下視覺探測與無人系統(tǒng)控制等。E-mail：liutao@hrbeu.edu.cn