李　強，張莉軍，劉建新

（1.河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022；2.宿遷市普元軟件科技有限公司，宿遷223800）

基于視頻的船舶航道三維動態(tài)呈現(xiàn)系統(tǒng)設(shè)計?

李強，張莉軍，劉建新

（1.河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022；2.宿遷市普元軟件科技有限公司，宿遷223800）

針對現(xiàn)有船舶航道三維呈現(xiàn)系統(tǒng)在實時性和動態(tài)交互性方面的不足，提出了一種基于視頻的船舶航道三維動態(tài)呈現(xiàn)系統(tǒng)構(gòu)建方法。首先，建立靜態(tài)航道場景的三維模型和船舶模型庫；其次，基于視頻檢測運動船舶并跟蹤提取其動態(tài)信息；最后，根據(jù)所得的船舶動態(tài)信息，將三維靜態(tài)場景模型與運動船舶模型融合，實現(xiàn)三維虛擬場景對視頻場景的實時仿真。該系統(tǒng)應(yīng)用于閘室段，以皂河二線段閘室為例，可以很好地模擬視頻中的場景和船舶運動，具有較好的實時性和交互性。

船舶跟蹤；目標(biāo)定位；模型融合；實時仿真；攝像機標(biāo)定；交互

1　引　言

虛擬現(xiàn)實技術(shù)（Virtual Reality，VR），是近些年來新發(fā)展起來的“人—機”交互技術(shù)，它廣泛應(yīng)用于軍事航天、交通運輸、室內(nèi)設(shè)計、工業(yè)制造、教育醫(yī)療等領(lǐng)域。這種仿真的本質(zhì)是，通過計算機來生成非常接近真實的三維甚至是多維環(huán)境，同時用戶可以通過鍵盤、鼠標(biāo)等輸入設(shè)備來操縱。虛擬現(xiàn)實技術(shù)在交通監(jiān)控及仿真中的應(yīng)用具有十分重要的現(xiàn)實意義。目前在水運上，智能化、集成化、可視化系統(tǒng)尚處于起步階段，隨著計算機圖形學(xué)、虛擬現(xiàn)實、計算機視覺等技術(shù)的逐漸發(fā)展，對運河閘口運營監(jiān)管提出了實時、直觀、三維真實呈現(xiàn)等管控需求，但現(xiàn)有的三維呈現(xiàn)系統(tǒng)并不能同時滿足實時呈現(xiàn)和動態(tài)交互。

在船舶運動仿真方面，海軍工程大學(xué)李文魁［1］通過MATLAB編程開發(fā)了船舶運動控制實時仿真平臺，可實現(xiàn)多種海況下的船舶仿真實驗，并以曲線的形式顯示仿真過程中的航跡航向等信息。廈門大學(xué)何金花［2］用Creator建立了船舶的三維模型，在Vega中對船舶運動進行了實時交互控制，效果良好。集美大學(xué)周世波［3］結(jié)合GIS基礎(chǔ)地形數(shù)據(jù)，基于Creator和Vega構(gòu)建了湄洲灣LNG船舶監(jiān)管方案仿真系統(tǒng)，并采用了軸向包圍盒AABB進行船舶的碰撞檢測。武漢理工大學(xué)嚴(yán)忠貞［4］研究了內(nèi)河在航船舶的動態(tài)跟蹤和軌跡融合，采用了基于改進相鄰幀差法和Hu不變矩特征的運動目標(biāo)識別方法，提出了一種自適應(yīng)帶寬的Mean－shift目標(biāo)跟蹤算法。然而現(xiàn)有系統(tǒng)在船舶的動態(tài)信息和三維靜態(tài)場景的融合方面鮮有涉及，在實時性和動態(tài)交互性方面也有待進一步改進。

針對上述問題，面向航道的閘室段，提出一種基于視頻的船舶航道三維動態(tài)呈現(xiàn)系統(tǒng)構(gòu)建方法。在通過視頻檢測到船舶進入航道以后，加載對應(yīng)的船舶模型；跟蹤提取出船舶的位置和速度等動態(tài)信息；再將靜態(tài)模型和船舶的動態(tài)信息在三維場景中融合，實現(xiàn)實時動態(tài)呈現(xiàn)。該系統(tǒng)易實施、成本低、有利于提高船舶的監(jiān)管效率，為水運提供了一種便捷的管理方式。

2　系統(tǒng)框架

系統(tǒng)采用VS2010作為開發(fā)平臺，使用3dsMax實現(xiàn)三維模型的建模，OpenCV和OSG分別進行圖像處理部分與三維模型融合部分的設(shè)計。設(shè)計目標(biāo)是通過檢測和跟蹤視頻中的運動船舶，得到船舶的動態(tài)信息，然后將三維虛擬模型和船舶的動態(tài)信息融合，仿真船舶在視頻中的運動。仿真的船舶運動過程反映了船舶的實際運動過程，用戶可以實時的對航道閘口段中的船舶運動過程進行監(jiān)管。按照解決問題的邏輯過程，本文將系統(tǒng)分為初始化模塊、圖像處理模塊和模型融合模塊，并按照這三個模塊設(shè)計整個基于視頻的船舶船閘三維動態(tài)呈現(xiàn)系統(tǒng)。圖1所示為系統(tǒng)設(shè)計流程圖。

圖1　系統(tǒng)設(shè)計流程圖

（1）初始化模塊

初始化部分主要包括模型建立、視頻數(shù)據(jù)和攝像機標(biāo)定。模型建立是通過3dsmax軟件建立對應(yīng)的航道模型和船舶模型庫，并對船舶進行分類；視頻數(shù)據(jù)由皂河二線下游閘室段一處固定攝像頭事先采集獲得；獲取攝像機的位置信息與傾斜角度，由攝像機標(biāo)定計算出攝像機內(nèi)參數(shù)，為二維像素坐標(biāo)值轉(zhuǎn)化為三維坐標(biāo)值做準(zhǔn)備。

（2）圖像處理模塊

根據(jù)初始化模塊采集的視頻數(shù)據(jù)先進行背景建模，由背景減法分割圖像，在船舶可能進入航道的初始位置設(shè)置感興趣區(qū)域，對所獲檢測船舶的團塊處理和篩選，當(dāng)檢測到有運動船舶進入航道時發(fā)出加載船舶模型的指令，并同時截取船舶的部分感興趣區(qū)域作為初始化跟蹤模板，由改進的camshift算法進行船舶的實時跟蹤，每隔一定幀數(shù)返回中心點的坐標(biāo)，傳遞給三維融合模塊。

（3）三維融合模塊

由圖像處理模塊返回的中心點坐標(biāo)，結(jié)合攝像機標(biāo)定所得的攝像機內(nèi)參數(shù)，由單目測距模型轉(zhuǎn)化為三維模型中的坐標(biāo)，從而對三維虛擬船舶進行定位，場景實時更新，同時實現(xiàn)對三維場景的交互。

3　主要功能模塊

系統(tǒng)的主要功能模塊包括圖像處理模塊和三維融合模塊。其中，在圖像處理模塊中，運動分割和特征提取、位置跟蹤是其中的關(guān)鍵子模塊，前者主要負(fù)責(zé)船舶的檢測和分割，后者負(fù)責(zé)船舶的實時跟蹤；在三維融合模塊中，三維虛擬模型定位和更新位置與姿態(tài)屬于關(guān)鍵子模塊，實現(xiàn)船舶位置在三維模型中的實時定位與更新。

3.1運動目標(biāo)檢測和分割

運動目標(biāo)檢測是處理視頻數(shù)據(jù)的第一步，關(guān)系到后續(xù)的船舶跟蹤和三維模型的加載。當(dāng)船舶進入航道時，需要及時檢測到運動船舶并將指令傳遞給三維融合模塊以加載對應(yīng)的船舶模型。采用背景減法［5］從視頻圖像中分離出前景內(nèi)容以識別運動船舶，首先用平均背景法建立背景模型，然后將當(dāng)前圖像與背景圖像作差運算并采用Otsu算法［6］對圖像二值化，最后，篩選團塊從而分割得到運動目標(biāo)。如圖2為運動目標(biāo)檢測和分割流程圖，圖3為運動船舶檢測效果圖。

圖2　運動目標(biāo)檢測和分割流程圖

圖3　運動船舶檢測效果圖

3.2運動船舶的camshift自動跟蹤

Camshift是一種實時跟蹤算法，該算法是基于目標(biāo)顏色特征通過迭代算法進行目標(biāo)定位，其準(zhǔn)確性和魯棒性比較好。使用camshift算法需先將RGB顏色空間轉(zhuǎn)化為HSV顏色空間，再利用H分量的直方圖建立顏色概率模型。在跟蹤過程中，對視頻圖像處理區(qū)域中的每一個像素，通過查詢目標(biāo)的色彩直方圖模型，可以得到該像素為目標(biāo)像素的概率，圖像處理區(qū)域之外的其他區(qū)域作為概率為0的區(qū)域。

由于camshift算法是利用區(qū)域內(nèi)的顏色信息對目標(biāo)進行跟蹤，因此就有此算法的缺陷，即當(dāng)區(qū)域內(nèi)目標(biāo)顏色與背景顏色相同時會導(dǎo)致區(qū)域發(fā)散甚至跟蹤失敗。利用背景差分法先提取目標(biāo)區(qū)域再進行camshift算法跟蹤，可有效解決此問題。如圖4為改進的camshift跟蹤［7－8］流程圖，圖5為camshift跟蹤圖，此處選取船尾部分作為感興趣區(qū)域，每隔20幀返回搜索中心的坐標(biāo)。

圖4　camshift跟蹤流程圖

結(jié)合所用皂河二線下游閘室段一處特定攝像頭位置和角度特點，由于需要在船舶剛進入航道時加載船舶模型，隨即對船舶的位置進行實時跟蹤，即檢測到船舶時便截取船舶前端作為模板進行跟蹤。隨著視頻的進行，船舶向遠(yuǎn)離攝像頭方向運動，前端逐漸受視角限制，會導(dǎo)致效果變差直至跟蹤失敗。為解決此問題，采用了多模板設(shè)計，對每個模板的窗口大小設(shè)定閾值，當(dāng)窗口的大小值小于閾值時，在原模板基礎(chǔ)上自動截取相鄰的下一段感興趣區(qū)域做模板，從而保證對船舶的跟蹤具有較好的精度。這種情況下，在后續(xù)計算位置時，需考慮模板間的距離差，從而對位置進行調(diào)整。

圖5　camshift跟蹤圖

3.3三維虛擬模型定位與更新

三維虛擬模型定位與更新包括攝像機標(biāo)定、單目測距模型及船舶位置更新三部分，通過攝像機標(biāo)定可獲取攝像頭內(nèi)外參數(shù)，單目測距模型用來進行船舶的位置計算，最終在三維模型中實現(xiàn)船舶定位與位置更新。

3.3.1攝像機標(biāo)定

攝像機標(biāo)定是指建立攝像機成像幾何模型，描述空間坐標(biāo)系中物體點同它在圖像平面上像素點之間對應(yīng)關(guān)系的過程。攝像機標(biāo)定的目的是確定幾何模型參數(shù)即攝像機參數(shù)。利用標(biāo)定的結(jié)果可以計算空間點與像素點之間的轉(zhuǎn)換關(guān)系。攝像機的內(nèi)參數(shù)主要是其內(nèi)部光學(xué)和幾何特性的描述，外參數(shù)是攝像機與世界坐標(biāo)系的相對位置。本文采用張正友標(biāo)定算法［9－10］獲得攝像機內(nèi)參數(shù)。

張正友標(biāo)定算法是目前應(yīng)用最廣泛、技術(shù)相對成熟的一種基于二維靶標(biāo)的標(biāo)定方法。標(biāo)定使用的靶標(biāo)選用黑白相間的類似棋盤的2D平面圖形，在標(biāo)定時將世界坐標(biāo)系建立在靶標(biāo)上，以棋盤所在的平面為世界坐標(biāo)系平面，這樣根據(jù)制定好的棋盤方格大小就能夠知道靶標(biāo)上角點的坐標(biāo)值。使用張正友標(biāo)定算法能夠快速、有效的建立起世界坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系。

3.3.2單目測距模型

目前，基于視頻的測距技術(shù)分為單目測距、雙目測距和多目測距。單目測距［11－15］只有一個攝像頭，約束條件比雙目測距低，具有可用性更強，操作簡單和成本低等優(yōu)點。本文中采用單目視覺測距，基于小孔模型，忽略攝像機的畸變，通過二維圖像與三維空間的轉(zhuǎn)換，建立測距公式，求取視頻內(nèi)船舶距離參考點的距離。圖6為單目測距的幾何模型。

圖6　單目測距幾何模型

如圖6所示，M點為攝像機投影點，O′為圖像中的某點，圖中OO′=f，u0，v0，fx，fy為攝像機標(biāo)定所得內(nèi)參，O′（u0，v0），光軸與地面夾角為α，攝像機高度H，由模型得β=α－γ，ΔOPQ－ΔOP′Q′，可得測距公式為：

由上述測距公式，可測得船舶相對于攝像機投影點的垂直和水平距離。在三維虛擬模型中事先確定攝像機的位置，即可相對準(zhǔn)確的獲得船舶在對應(yīng)時刻位于三維模型中的位置。

3.3.3船舶位置更新

在圖像處理模塊，檢測到船舶運動之后，每隔一定幀數(shù)（10或20幀），計算船舶的位置變化，當(dāng)檢測到船舶運動時，發(fā)出船舶位置更新指令，并將返回的位置及計算的速度參數(shù)傳遞給三維矩陣變換節(jié)點（osg：：MatrixTransform）。三維融合模塊接收到船舶位置更新指令后，通過設(shè)置矩陣變換節(jié)點參數(shù)，即可完成場景中船舶模型的平移、旋轉(zhuǎn)等操作，進而更新船舶的位置。OSG場景的組織結(jié)構(gòu)圖如圖7所示。

圖7　OSG場景組織結(jié)構(gòu)圖

4　系統(tǒng)實現(xiàn)

系統(tǒng)采用MFC制作界面，界面分為三個部分：水運圖顯示區(qū)、視頻顯示區(qū)和三維模型顯示區(qū)。水運圖顯示區(qū)顯示江蘇省主要水運分布圖，視頻顯示區(qū)顯示攝像頭捕捉的視頻文件，三維模型顯示區(qū)顯示航道模型、周圍場景模型和后續(xù)加載的船舶模型。以宿遷段、皂河二線下游閘室某處攝像頭為例，通過鼠標(biāo)點選選取該水運段，在選取該水運段后加載此處視頻及其對應(yīng)的三維航道模型；檢測到船舶進入航道以后，再加載對應(yīng)的船舶模型。

系統(tǒng)采用三線程設(shè)計：UI線程、圖像處理線程和OSG線程。圖像處理線程負(fù)責(zé)更新視頻、傳遞添加模型及更新模型位置指令，OSG線程負(fù)責(zé)三維虛擬場景的實時更新，UI線程負(fù)責(zé)處理UI事件。圖8所示為系統(tǒng)線程圖，圖9所示為系統(tǒng)的區(qū)域分布圖。

圖8　系統(tǒng)線程圖

圖9　系統(tǒng)區(qū)域分布圖

圖10為系統(tǒng)在前后不同時刻的界面圖。在選取對應(yīng)航道后，即加載視頻文件和場景的對應(yīng)航道模型，界面如圖9所示；當(dāng)有船只進入航道，檢測到船舶，系統(tǒng)提示檢測到船只，對應(yīng)圖10（a）；隨即對船舶進行跟蹤，圖10（b）和10（c）對應(yīng)船舶的前后某時刻跟蹤狀態(tài)，三維模型區(qū)域的虛擬船舶隨著視頻中船舶的位置變化而運動；圖10（d）對應(yīng)視頻結(jié)束時系統(tǒng)的界面，系統(tǒng)提示視頻結(jié)束。

5　結(jié)束語

在MFC框架下，結(jié)合OpenCV和OSG提出了一種基于視頻的船舶航道三維實時動態(tài)呈現(xiàn)系統(tǒng)的構(gòu)建方法。該方法通過運動船舶的檢測與跟蹤，將船舶在二維圖像的像素位置輸出并通過攝像機標(biāo)定技術(shù)轉(zhuǎn)化為三維模型中的位置信息，最終將靜態(tài)的航道船舶模型與船舶的動態(tài)信息融合為三維場景輸出。通過對皂河二線下游的一段視頻驗證，該系統(tǒng)可以較好和較準(zhǔn)確的還原視頻中船舶的運動，相比于現(xiàn)有的船舶航道三維顯示系統(tǒng)，不僅基本滿足了實時性要求，且具有很好的交互性。系統(tǒng)目前僅適用于閘室段，在閘室外的復(fù)雜場景下有待于進一步研究和改善。

圖10　系統(tǒng)不同時刻界面圖

［1］李文魁，陳永冰，田蔚風(fēng)，等.基于MATLAB的船舶運動控制實時仿真研究［J］.系統(tǒng)仿真學(xué)報，2007，19（19）：4424－4427.LI WK，CHEN YB，TIAN WF，et al.Real－time simulation of ship motion control based on MATLAB［J］.Journal of System Simulation，2007，19（19）：4424－4427.

［2］何金花.船舶運動建模及虛擬現(xiàn)實技術(shù)的實現(xiàn)［D］.福建：廈門大學(xué)，2007.HE JH.The realization of the ship motion modeling and virtual reality technology［D］.Xiamen university in 2007.

［3］周世波，熊振南.湄洲灣LNG船舶監(jiān)管方案仿真系統(tǒng)設(shè)計與實現(xiàn)［J］.上海海事大學(xué)學(xué)報，2009，30（4）：52－56.ZHOU SB，XIONG ZN.Design and implementation of Meizhou bay LNG ship regulatory scheme simulation system［J］.Journal of Shanghai maritime university，2009，30（4）：52－56.

［4］嚴(yán)忠貞.內(nèi)河在航船舶動態(tài)跟蹤和航跡融合方法研究［D］.武漢：武漢理工大學(xué)，2013.Yan ZZ.The method research of the navigation of ship dynamic tracing and track fusion in the inland waterway［D］.Wuhan university of technology，2013.

［5］楊陽.基于視頻的運動目標(biāo)檢測和跟蹤技術(shù)［D］.浙江：浙江大學(xué)，2014.Yang Y.Moving target detection and tracking based on video technology［D］.Zhejiang university，2014.

［6］汪海洋，潘德爐，夏德深.二維Otsu自適應(yīng)閾值選取算法的快速實現(xiàn)［J］.自動化學(xué)報，2007，33（9）：968－970.WANG HY，PAN DL，XIA DS.A Fast Algorithm for Two－dimensional Otsu Adaptive Threshold Algorithm［J］.Acta Automatica Sinica，2007，33（9）：968－970.

［7］趙文倩，匡遜君，李明富.基于改進的Camshift運動目標(biāo)跟蹤算法的研究［J］.信息技術(shù)，2012（7）：165－169. ZHAO WQ，KUANG XJ，LI MF.The research of Moving target tracking algorithm based on improved camshift［J］.Journal of information technology，2012（7）：165－169.

［8］左軍毅，梁彥，潘泉，等.基于多個顏色分布模型的Camshift跟蹤算法［J］.自動化學(xué)報，2008，34（7）：736－742.ZUO JY，LIANG Y，PAN Q，et al.Camshift tracking algorithm based on multiple color distribution model［J］.Journal of automation，2008，34（7）：736－742.

［9］ZHANG ZY.A flexible new technique for camera calibration［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2000，22（11）：1330－1334.

［10］ZHANG ZY.Flexible camera calibration by viewing a planefromunknownorientations［C］.／／Computer Vision，1999.The Proceedings of the Seventh IEEE International Conference on.IEEE，1999（1）：666－673.

［11］王士明.基于計算機視覺的車輛單目測距系統(tǒng)研究［D］.天津：天津大學(xué)，2012.WANG SM.The research of vehicles from single visual system based on computer vision［D］.Tianjin university，2012.

［12］ZHU SP，QIANG XF.Study on monocular vision method used for camera positioning［J］.Acta Optica Sinica，2001，21（3）：339－343.

［13］HUANG GP，LI GY，YE SH.Evolution for monocular vision measurement［J］.Acta Metrologica Sinica，2004，25（4）：314－317.

［14］GUO L，XU YC，LI KQ，et al.Study on real－time distance detection based on monocular vision technique［J］.Journal of Image and Graphics，2006，11（1）：74－81.

［15］LIU BR，XIE Y，YANG YM，et al.A self－localization method with monocular vision for autonomous soccer robot［C］.／／Industrial Technology，2005.ICIT 2005.IEEEInternationalConferenceon.IEEE，2005：888－892.

Design of 3D Ship and Channel Dynamic Rendering System Based on Video

Li Qiang，Zhang Lijun，Liu Jianxin
（1.College of Internet of Things Engineering，Hohai University，Changzhou 213022，China；2.Puyuan Software Technology Co.，Ltd，Suqian 223800，China）

In view of the defects of existing 3D ship rendering system in real－time and dynamic interactive，a method，based on video，is presented to construct the 3D ship and channel dynamic rendering system.First of all，a static 3D channel scene model and ship model library are established；Secondly，based on the video，the movement of ship is detected，and extract the dynamic information is tracked.Finally，according to the ship dynamic information obtained，enable the 3D static scene model and the motion of ship model integration and realize the 3D virtual scene real－time simulation of video scene.This system，applied in lock chamber and using ZaoHe second－line section of the lock chamber as an example，performs simulation in the video scene and ship motion well and has good interactive and controllability.

Ship Tracking；Target Location；Model Integration；Real－time Simulation；Camera Calibration；Interact

10.3969／j.issn.1002－2279.2016.01.016

TP391.9

A

1002－2279（2016）01－0062－06

?江蘇省經(jīng)信委項目（2013HB1403）；常州市科技支撐項目（CE20140008）

李強（1989－），男，安徽省蚌埠市人，碩士研究生，主研方向：虛擬現(xiàn)實。

2015－05－21