鄭亞波，王涌，郭海亮

（1. 海軍大連艦艇學(xué)院 航海系，遼寧 大連 116018；2. 海軍大連艦艇學(xué)院 訓(xùn)練部，遼寧 大連 116018）

基于柱狀全景圖的電子對(duì)景圖展示系統(tǒng)研究

鄭亞波1，王涌1，郭海亮2

（1. 海軍大連艦艇學(xué)院 航海系，遼寧 大連 116018；2. 海軍大連艦艇學(xué)院 訓(xùn)練部，遼寧 大連 116018）

傳統(tǒng)對(duì)景圖精度和清晰度不高，真實(shí)感和交互感不強(qiáng)。針對(duì)這些不足，提出一種電子對(duì)景圖制作與展示的新方法。該方法基于柱狀全景圖，通過圖像匹配和融合等圖像處理手段實(shí)現(xiàn)對(duì)景圖的無(wú)縫拼接，運(yùn)用VS2010 開發(fā)的全景瀏覽器，可展示 3D 視覺效果，實(shí)現(xiàn)交互式操作。實(shí)驗(yàn)表明該方法能取得較好的視覺效果，真實(shí)感強(qiáng)。

柱面投影；電子對(duì)景圖；圖像拼接；全景瀏覽

0　引　言

對(duì)景圖是陸地和海上物標(biāo)與船舶相對(duì)位置的縮影，它可有效幫助航海人員辨別復(fù)雜海區(qū)目標(biāo)相對(duì)位置、識(shí)別航門水道和轉(zhuǎn)向目標(biāo)，從而保證船舶的航行安全。當(dāng)前使用的對(duì)景圖主要通過 2種手段獲取海上素描和現(xiàn)場(chǎng)拍照。海上素描便于組織實(shí)施，使用的器材較簡(jiǎn)單，是制作對(duì)景圖的重要手段，但素描對(duì)景圖對(duì)制圖人員繪畫功底和艦艇的運(yùn)動(dòng)狀態(tài)要求較高，繪制時(shí)間長(zhǎng)，繪制的對(duì)景圖精度和清晰度不高?，F(xiàn)場(chǎng)拍照對(duì)景圖對(duì)拍攝人員和艦艇運(yùn)動(dòng)狀態(tài)要求低，制作速度快，目標(biāo)相對(duì)位置準(zhǔn)確，圖像清晰直觀，精確度高，真實(shí)感強(qiáng)，可見，現(xiàn)場(chǎng)拍照對(duì)景圖是對(duì)景圖發(fā)展的趨勢(shì)。但目前現(xiàn)場(chǎng)拍照對(duì)景圖也存在一些問題，如圖幅不夠廣，不能反映整個(gè)海區(qū)全貌，數(shù)量有限，不方便查看和調(diào)閱等，而全景技術(shù)正好可以解決這些問題。

全景技術(shù)是近年來(lái)發(fā)展起來(lái)的一種基于圖像的繪制技術(shù)，它具有繪制速度快，場(chǎng)景顯示逼真度高，導(dǎo)覽性和交互性強(qiáng)、可展示 3D 效果，用戶“沉浸”感強(qiáng)，對(duì)計(jì)算機(jī)硬件要求不高等優(yōu)點(diǎn)。全景技術(shù)可為用戶提供超大視野的實(shí)景圖片和360° 視角的虛擬漫游，可讓用戶在瀏覽全景時(shí)體驗(yàn)到身臨其境的真實(shí)感和交互感。

本文將全景技術(shù)運(yùn)用到對(duì)景圖的制作和使用中，建立了柱面全景圖模型，描述了電子對(duì)景圖制作技術(shù)的基本原理和步驟，設(shè)計(jì)并實(shí)現(xiàn)了海區(qū)場(chǎng)景的瀏覽，真實(shí)再現(xiàn)了海區(qū)陸標(biāo)的基本情況。

1　柱面全景圖模型

全景圖像依據(jù)其投影平面的形式不同可分為球面全景圖、立方體全景圖和柱面全景圖，柱面全景圖雖不能達(dá)到球面和立方體全景圖完整地反映整個(gè)視點(diǎn)空間的顯示效果，但它也具備以下顯著優(yōu)勢(shì)：

1）數(shù)據(jù)采集相對(duì)容易，所需設(shè)備相對(duì)簡(jiǎn)單，一般普通的相機(jī)和三角架即可滿足拍攝要求；

2）圖像合成算法和投影算法難度較小，處理時(shí)間較短；

3）柱面全景圖可展開為矩形圖像，能以圖像格式進(jìn)行存儲(chǔ)，方便調(diào)用和訪問。

雖然柱面全景圖只能展現(xiàn)垂直方向上小于 180°，水平方向上 360° 的局部環(huán)視場(chǎng)景，但航海上使用的對(duì)景圖只關(guān)注海面附近島嶼、助航標(biāo)志、危險(xiǎn)物等物標(biāo)信息，并不需要天空和海面信息，因此，柱面全景圖即可較好地表達(dá)出海區(qū)環(huán)視環(huán)境，能夠滿足對(duì)景圖制作的基本要求。本文主要探討用圓柱面作為映射表面的海區(qū)場(chǎng)景圖像的拼接與展示。

所謂的柱面全景圖是指將采用定點(diǎn)旋轉(zhuǎn)拍攝方式獲取的一組具有重疊區(qū)域的連續(xù)環(huán)視圖像序列拼合在一起所形成的全景圖。拍攝得到的圖像序列是海區(qū)場(chǎng)景在不同視角方向所對(duì)應(yīng)的視平面上的二維投影，如圖1（a）所示，它們具有一部分重疊區(qū)域，但并不在同一投影平面上，投影存在一定的夾角，若直接對(duì)這些圖像進(jìn)行拼接無(wú)法滿足全景視覺一致性要求，且增加了圖像匹配的難度，不能達(dá)到較好的拼接效果，甚至拼合圖像在重疊區(qū)域會(huì)發(fā)生局部扭曲現(xiàn)象，無(wú)法滿足實(shí)際場(chǎng)景中各對(duì)象間的幾何關(guān)系。因此，在拼接前需進(jìn)行柱面投影變換，即將待拼接的圖像分別投影到一個(gè)以固定視點(diǎn)為中心的假想圓柱面上，使現(xiàn)實(shí)世界中相同的景物在不同的局部圖像中相同，對(duì)投影后的柱面圖像進(jìn)行拼接才能得到?jīng)]有畸變的柱面全景圖像。

1.1柱面投影模型

平面圖和柱面投影圖的關(guān)系如圖1所示，圖中虛線部分為原始平面圖像在圓柱面上的投影圖像，以圓柱中心 O 為坐標(biāo)原點(diǎn)建立三維空間坐標(biāo)系，該點(diǎn)也是投影中心和觀測(cè)者的視點(diǎn)，圓柱的半徑為相機(jī)的焦距R，原始圖像的寬度和高度均為W、H，水平視角為α，平面圖上的任一點(diǎn) Q0（x0，y0）在柱面上投影點(diǎn) Q的二維圖像坐標(biāo)為（x，y），二者之間的轉(zhuǎn)換關(guān)系為［1-2］：

圖1　柱面投影變換Fig. 1　Cylindrical projection

1.2柱面反投影模型

在進(jìn)行場(chǎng)景漫游時(shí)，為使場(chǎng)景具備較強(qiáng)的真實(shí)感和交互感，需按照用戶的輸入改變觀察方向和焦距，將柱面全景圖實(shí)時(shí)地映射到與用戶觀察方向相同的視平面上，并在屏幕上顯示出來(lái)，這一過程通過柱面反投影來(lái)實(shí)現(xiàn)。柱面反投影是全景圖瀏覽技術(shù)的核心，是柱面投影的逆過程，用戶在全景視點(diǎn)瀏覽時(shí)，系統(tǒng)需要不斷地對(duì)全景圖某個(gè)局部進(jìn)行反投影運(yùn)算。根據(jù)柱面投影變換公式可推導(dǎo)出柱面反投影變換公式如下［2］：

2　全景圖制作流程

全景圖的制作一般包括圖像獲取、圖像投影和圖像拼接 3個(gè)步驟。圖像拼接是最為關(guān)鍵的一個(gè)環(huán)節(jié)，拼接效果將直接影響到全景圖的質(zhì)量。圖像拼接一般可分為：圖像預(yù)處理、圖像匹配和圖像融合 3個(gè)步驟。圖像預(yù)處理是指對(duì)待拼接的 2 幅圖像進(jìn)行幾何畸變的消除和圖像噪聲的抑制。在采集海區(qū)柱面全景圖的圖像序列時(shí)，由于拍攝環(huán)境較為標(biāo)準(zhǔn)，不易產(chǎn)生較大的幾何畸變和嚴(yán)重的噪聲，因此可根據(jù)具體情況省去這一步驟。

2.1圖像匹配

圖像匹配是指提取出 2 幅待匹配圖像中的匹配信息，利用獲得的匹配信息找到適合待匹配圖像的最佳匹配，使 2 幅圖像能夠準(zhǔn)確對(duì)齊。圖像匹配是圖像拼接最為重要的一個(gè)環(huán)節(jié)，圖像匹配成功與否直接影響著圖像拼接的效果好壞。

圖像配準(zhǔn)方法大致可以分為兩類：基于區(qū)域的配準(zhǔn)方法和基于特征的配準(zhǔn)方法［3-4］?；谔卣鞯呐錅?zhǔn)方法應(yīng)用較為廣泛，它具有計(jì)算量小、匹配精度高、受光照變化影響較小、抗干擾能力較強(qiáng)等優(yōu)點(diǎn)。根據(jù)提取圖像特征的不同，基于特征的配準(zhǔn)方法又可分為基于點(diǎn)特征的配準(zhǔn)方法、基于線特征的配準(zhǔn)方法和基于面特征的配準(zhǔn)方法，其中基于點(diǎn)特征的配準(zhǔn)方法應(yīng)用最為廣泛。

基于點(diǎn)特征的配準(zhǔn)方法一般要經(jīng)過 4個(gè)步驟［5-6］：1）在相鄰 2 幅圖像上提取特征點(diǎn)

目前，特征點(diǎn)提取方法有很多，如：Harris 算法、SUSAN 算法和SIFT 算法等。其中，David G. Lowe 提出的 SIFT 算法對(duì)尺度變化、視角變化、光照變化、噪聲等都有很強(qiáng)的魯棒性，非常適宜復(fù)雜多變海區(qū)環(huán)境條件下所采集的場(chǎng)景圖像特征點(diǎn)的提取，因此，本文采用 SIFT 算法進(jìn)行圖像序列特征點(diǎn)的提取。

SIFT 算法在進(jìn)行特征點(diǎn)提取時(shí)首先構(gòu)建尺度空間，在圖像二維平面空間和高斯差分（DOG）尺度空間中同時(shí)檢測(cè)局部極值，以確定候選特征點(diǎn)，再對(duì)候選特征點(diǎn)進(jìn)行精確定位，通過對(duì)尺度空間 DOG 函數(shù)的曲線擬合去除不穩(wěn)定的極值點(diǎn)，通過設(shè)置閥值確定關(guān)鍵點(diǎn)，利用 Hessian 矩陣剔除邊緣響應(yīng)點(diǎn)。

2）利用一組參數(shù)對(duì)特征點(diǎn)進(jìn)行描述，生成圖像特征點(diǎn)描述符

為了增強(qiáng)匹配的穩(wěn)健性，降低噪聲干擾，對(duì)每個(gè)關(guān)鍵點(diǎn)使用 16個(gè)種子點(diǎn)來(lái)描述，最終形成 128 維的SIFT 描述符。這種描述符具有尺度和旋轉(zhuǎn)不變性的優(yōu)點(diǎn)，能夠準(zhǔn)確地提取尺度和視角差異較大的相鄰圖像間的特征點(diǎn)。

3）對(duì)特征點(diǎn)的參數(shù)進(jìn)行匹配，找出 2 幅圖像中相同特征點(diǎn)的對(duì)應(yīng)關(guān)系

特征點(diǎn)的匹配通過計(jì)算特征點(diǎn)描述符間的歐式距離來(lái)實(shí)現(xiàn)，生成特征點(diǎn)描述符后，通過計(jì)算 2 幅圖像之間特征點(diǎn)描述符的歐式距離，可得 2 幅圖像的匹配程度，通過設(shè)定匹配度閥值，即可得到相同特征點(diǎn)的對(duì)應(yīng)關(guān)系。

4）進(jìn)行圖像配準(zhǔn)

首先通過匹配點(diǎn)對(duì)求解圖像間的初始變換矩陣，為了提高圖像配準(zhǔn)的精度，再采用 RANSAC 算法對(duì)圖像初始變換矩陣進(jìn)行求解與精煉，最終得出精確的變換矩陣。

2.2圖像融合

由于受到拍攝時(shí)光照差異和相機(jī)微小抖動(dòng)等因素的影響，相鄰 2 幅圖像在拍攝過程中必然存在著一定的差異。若直接將存在差異的 2 幅圖像進(jìn)行拼接，拼接的邊界就會(huì)產(chǎn)生一條分界線，導(dǎo)致圖像過渡不平滑自然。要解決這一問題就需對(duì)圖像序列進(jìn)行圖像融合處理，減小或消除相鄰圖像所存在的差異，去掉圖像間的拼接縫隙，以使邊界平滑過渡，讓整幅柱面全景圖看起來(lái)像是在同一時(shí)刻、同一光照條件下拍攝的場(chǎng)景。

目前，圖像融合技術(shù)發(fā)展的比較成熟，主要方法有直接平均法、加權(quán)平均法、中值濾波法、基于塔形分解的圖像融合方法和多分辨率樣條技術(shù)融合法等［7-8］，本文采用加權(quán)平均法進(jìn)行圖像融合。

該算法將重疊區(qū)域相鄰 2 張圖像像素點(diǎn)的灰度值按一定的權(quán)值相加，結(jié)果即為全景圖像對(duì)應(yīng)像素點(diǎn)的灰度值，其公式為［3-9］：

其中：Image_L和Image_R 為重疊區(qū)域中的某一點(diǎn)在左右 2 幅圖像中的灰度值 d1，d2為重疊區(qū)域中的某一點(diǎn)到重疊區(qū)域左、右邊界的距離

3　電子對(duì)景圖展示系統(tǒng)的具體實(shí)現(xiàn)

3.1全景圖制作

通過手持相機(jī)定焦旋轉(zhuǎn)采集同一海區(qū)場(chǎng)景的圖像序列進(jìn)行實(shí)驗(yàn)，相鄰圖像間保持 20%～30%的重疊區(qū)域，圖2為采集的某海區(qū)的圖像序列，圖3為拼接后該海區(qū)的電子對(duì)景圖，可以看出利用本文方法可以實(shí)現(xiàn)相鄰圖像的平滑無(wú)縫拼接，拼接后的圖像視野范圍得到了很大的擴(kuò)展。相較圖4的素描對(duì)景圖，電子對(duì)景圖展現(xiàn)的場(chǎng)景更加精細(xì)準(zhǔn)確，真實(shí)感更強(qiáng)。

圖2　原始海區(qū)圖像序列Fig. 2　Original image sequence of sea area

圖3　電子對(duì)景圖Fig. 3　Electronic front view

圖4　素描對(duì)景圖Fig. 4　Sketch front view

3.2全景瀏覽與交互的實(shí)現(xiàn)

海區(qū)全景圖拼接完畢后，還必須要有全景瀏覽器才能實(shí)現(xiàn)交互式的全景瀏覽。在瀏覽柱面全景圖時(shí)，根據(jù)人體視覺特性，視場(chǎng)中顯示的應(yīng)是一幅幅隨著觀察角度連續(xù)變化的平面圖像。本文采用 VS2010 開發(fā)出一個(gè)全景瀏覽器，可實(shí)現(xiàn)實(shí)時(shí)交互式海區(qū)場(chǎng)景瀏覽。如圖5所示，瀏覽器導(dǎo)入 JPG 格式的電子對(duì)景圖后，根據(jù)用戶視線方向和焦距在全景圖中截取相應(yīng)的區(qū)域圖像，調(diào)用反投影算法將這部分圖像呈現(xiàn)到瀏覽器的顯示窗口上。當(dāng)用戶用鼠標(biāo)進(jìn)行左移、右移、仰視、俯視操作時(shí)，可從多視角展現(xiàn)航經(jīng)海區(qū)的情況，當(dāng)用戶用鼠標(biāo)進(jìn)行放大、縮小操作時(shí)，可在不同距離上顯示海區(qū)情況?？s小時(shí)展現(xiàn)海區(qū)概況，視域較廣，放大時(shí)展現(xiàn)島嶼、助航標(biāo)志的細(xì)節(jié)信息，相對(duì)圖4的素描對(duì)景圖來(lái)說，展現(xiàn)的細(xì)節(jié)更加細(xì)膩。

圖5　電子對(duì)景圖展示系統(tǒng)Fig. 5　Electronic front view display system

4　結(jié)　語(yǔ)

基于柱狀全景圖的電子對(duì)景圖展示系統(tǒng)為航海人員瀏覽虛擬海區(qū)環(huán)境提供了一種全新的方式，可有效解決目前航海上對(duì)景圖制作和使用過程中存在的諸多問題。該系統(tǒng)具備視角多樣、視域廣闊、真實(shí)逼真、交互性強(qiáng)的優(yōu)點(diǎn)，可讓航海人員身臨其境的處于虛擬海區(qū)環(huán)境中，在觀看逼真的海區(qū)實(shí)景圖像同時(shí)，完成交互功能，從而使航海人員可以更加快速、準(zhǔn)確地了解海區(qū)情況和辨認(rèn)海區(qū)陸標(biāo)。

［1］黃有群， 付裕， 馬廣焜. 基于RANSAC算法的柱面全景圖拼接方法［J］. 沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)， 2008， 30（4）： 461-465. HUANG You-qun， FU Yu， MA Guang-kun. Cylindrical panoramic image stitching method based on RANSAC algorithm［J］. Journal of Shenyang University of Technology， 2008， 30（4）：461-465.

［2］王少波. 基于手持拍攝方式的柱面全景圖的自動(dòng)識(shí)別和生成［D］. 上海： 上海大學(xué)， 2009. WANG Shao-bo. Automatic recognition and production of cylindrical panorama by handheld shooting［D］. Shanghai： Shanghai University， 2009.

［3］BROWN L G. A survey of image registration techniques［J］. ACM Computing Surveys， 1992， 24（4）： 325-376.

［4］ZITOVá B， FLUSSER J. Image registration methods： a survey［J］. Image and Vision Computing， 2003， 21（11）：977-1000.

［5］李寒， 牛紀(jì)楨， 郭禾. 基于特征點(diǎn)的全自動(dòng)無(wú)縫圖像拼接方法［J］. 計(jì)算機(jī)工程與設(shè)計(jì)， 2007， 28（9）： 2083-2085. LI Han， NIU Ji-zhen， GUO He. Automatic seamless image mosaic method based on feature points［J］. Computer Engineering and Design， 2007， 28（9）： 2083-2085.

［6］崔漢國(guó)， 張星， 劉曉成. 一種改進(jìn)的全景圖生成算法［J］. 海軍工程大學(xué)學(xué)報(bào)， 2006， 18（2）： 33-36， 58. CUI Han-guo， ZHANG Xing， LIU Xiao-cheng. An improved algorithm to build panorama［J］. Journal of Naval University of Engineering， 2006， 18（2）： 33-36， 58.

［7］張曉亮， 李麗. 全景圖拼接技術(shù)研究及應(yīng)用［J］. 現(xiàn)代計(jì)算機(jī)，2011（16）： 27-29. ZHANG Xiao-liang， LI Li. Research and application of the panorama stitching technology［J］. Modern Computer， 2011（16）：27-29.

［8］趙向陽(yáng)， 杜利民. 一種全自動(dòng)穩(wěn)健的圖像拼接融合算法［J］. 中國(guó)圖象圖形學(xué)報(bào)， 2004， 9（4）： 417-422. ZHAO Xiang-yang， DU Li-min. An automatic and robust image mosaic algorithm［J］. Journal of Image and Graphics， 2004，9（4）： 417-422.

［9］楊建菊. 基于全景圖的虛擬校園漫游系統(tǒng)研究與設(shè)計(jì)［J］. 凱里學(xué)院學(xué)報(bào)， 2010， 28（3）： 92-94. YANG Jian-ju. Research and design on panorama-based virtual campus walkthrough system［J］. Journal of Kaili University，2010， 28（3）： 92-64.

Research on electronic front view display system based on cylindrical panorama

ZHENG Ya-bo1， WANG Yong1， GUO Hai-Liang2
（1. Department of Navigation， Dalian Naval Academy， Dalian 116018， China；2 Department. of Training， Dalian Naval Academy， Dalian 116018， China）

Traditional front view can't display with a high precision and definition， and can't provide a strong sense of reality and interaction currently， aiming at those shortages， a new electronic front view making and display technique is proposed. This technique is based on cylindrical panorama， it adopts image processing method to realize the electronic front view mosaic smoothly， and uses VS2010 to empolder a panorama browser， this browser can display 3D visual effect and realize interactive operation. Experimental results show that this technique can provide a good visual experience and a strong sense of reality for seamen.

cylindrical projection；electronic front view；image mosaic；panorama browse

TP391.4

A

1672-7619（2016）09-0122-04

10.3404/j.issn.1672-7619.2016.09.25

2015-11-25；

2016-01-19

國(guó)家自然科學(xué)基金資助項(xiàng)目（61273262）；遼寧省自然科學(xué)基金資助項(xiàng)目（2015020086）；2015年度海軍大連艦艇學(xué)院科研發(fā)展基金資助軍事學(xué)術(shù)項(xiàng)目（2015JSXS021）；2015年度海軍大連艦艇學(xué)院科研發(fā)展基金資助項(xiàng)目2015年度海軍大連艦艇學(xué)院科研發(fā)展基金

鄭亞波（1985-），男，碩士，講師，研究方向?yàn)檐娛潞胶Ｒ约八媾炌?zhàn)斗航海工作、圖形圖像處理。