鄭亞波,王　科,郭海亮

(海軍大連艦艇學(xué)院,遼寧大連　116018)

?

基于圖像拼接技術(shù)的電子對(duì)景圖制作技術(shù)*

鄭亞波,王科,郭海亮

(海軍大連艦艇學(xué)院,遼寧大連116018)

摘要:針對(duì)當(dāng)前對(duì)景圖制作存在的問(wèn)題,提出了一種基于圖像拼接技術(shù)的電子對(duì)景圖的制作技術(shù),該技術(shù)采用SIFT算法提取海區(qū)圖像的特征點(diǎn),使用RANSAC算法對(duì)特征點(diǎn)進(jìn)行精確提純,最后使用加權(quán)平均法實(shí)現(xiàn)圖像的平滑過(guò)渡。實(shí)驗(yàn)表明該技術(shù)可實(shí)現(xiàn)海區(qū)圖像的無(wú)縫拼接,真實(shí)感強(qiáng)。

關(guān)鍵詞:圖像拼接;電子對(duì)景圖;SIFT算法;RANSAC算法;加權(quán)平均法

陸標(biāo)定位和導(dǎo)航是保證船舶沿岸航行安全的主要手段之一,也是航海人員必備技能之一,而正確地識(shí)別島岸物標(biāo)則是準(zhǔn)確定位和導(dǎo)航的前提。對(duì)景圖作為陸地和海上物標(biāo)與船舶相對(duì)位置的縮影,可以有效地幫助航海人員辨別復(fù)雜海區(qū)目標(biāo)相對(duì)位置、識(shí)別航向水道和轉(zhuǎn)向目標(biāo),從而保證船舶的航行安全。

目前,許多國(guó)家的海圖和《航路指南》等航海資料中都插有對(duì)景圖,這為船舶安全航行提供了非常有利的條件,但在實(shí)際使用中也暴露出一些問(wèn)題,如:對(duì)景圖的數(shù)量有限,清晰度不夠高,圖幅不夠廣,展現(xiàn)的細(xì)節(jié)不夠多等,而全景圖拼接技術(shù)正好可以解決這些問(wèn)題。

全景圖拼接技術(shù)是將數(shù)張有重疊部分的圖像拼接成一幅大型的無(wú)縫高分辨率圖像的技術(shù),目前全景圖像已經(jīng)成為計(jì)算機(jī)仿真、計(jì)算機(jī)視覺(jué)模擬、圖像處理和計(jì)算機(jī)特效以及虛擬現(xiàn)實(shí)研究中的熱點(diǎn)和關(guān)鍵技術(shù),在地質(zhì)勘測(cè)、軍事偵查、航空航天以及視頻會(huì)議等多個(gè)領(lǐng)域發(fā)揮著重要作用。全景視圖可提供一種在虛擬場(chǎng)景中交互式瀏覽的感覺(jué),為用戶(hù)提供了極大的觀察自由度,用戶(hù)可在場(chǎng)景之間自由切換漫游,使之可從不同的觀察點(diǎn)和方向了解環(huán)境。

本文首先介紹對(duì)景圖制作技術(shù)的現(xiàn)狀,針對(duì)其存在的不足,提出了基于圖像拼接技術(shù)的新型電子對(duì)景圖概念,然后對(duì)電子對(duì)景圖制作技術(shù)的原理和步驟進(jìn)行描述,實(shí)現(xiàn)了海圖景象的真實(shí)重現(xiàn)。

1對(duì)景圖制作技術(shù)現(xiàn)狀

當(dāng)前,國(guó)內(nèi)外所使用的對(duì)景圖主要通過(guò)兩種手段獲取:一是海上素描,二是現(xiàn)場(chǎng)拍照。海上素描便于組織實(shí)施,使用的器材較簡(jiǎn)單,是制作對(duì)景圖的重要手段,目前,中版航海資料中的對(duì)景圖大多是素描圖。但素描對(duì)景圖對(duì)制圖人員繪畫(huà)功底和船舶的運(yùn)動(dòng)狀態(tài)要求較高,繪制花費(fèi)時(shí)間長(zhǎng),繪制的對(duì)景圖并不清晰直觀,精度和清晰度不足。因此,國(guó)外的航海圖書(shū)資料更多采用現(xiàn)場(chǎng)拍照對(duì)景圖?，F(xiàn)場(chǎng)拍照對(duì)景圖對(duì)拍攝人員和船舶運(yùn)動(dòng)狀態(tài)要求低,制作速度快,目標(biāo)相對(duì)位置準(zhǔn)確,圖像清晰直觀,精確度高,真實(shí)感強(qiáng),可見(jiàn),現(xiàn)場(chǎng)拍照對(duì)景圖是航海對(duì)景圖發(fā)展的趨勢(shì)。但目前國(guó)內(nèi)外的現(xiàn)場(chǎng)拍照對(duì)景圖只是一些顯著助航標(biāo)志、建筑物等的單幅照片,展現(xiàn)的海域不夠廣闊,不能反映整個(gè)海區(qū)的景觀全貌,且這些對(duì)景圖以出版物的形式發(fā)行,受版面限制涵蓋的范圍有限,不方便查看和調(diào)閱。因此,研究視域較大的新型電子對(duì)景圖制作技術(shù)對(duì)于船舶航行安全具有重要的實(shí)際意義。

2圖像拼接原理

全景圖通常是將反映各自投影平面的相互重疊圖像映射到幾何體表面上后,再對(duì)投影圖像進(jìn)行無(wú)縫拼接而成的。根據(jù)所映射的幾何體不同,全景圖可分為球面全景圖、立方體全景圖和圓柱面全景圖。球面和立方體全景圖能夠完整地反映整個(gè)視點(diǎn)空間,展現(xiàn)的信息比較全面,但在圖像合成算法和投影算法等方面難度較大,處理時(shí)間過(guò)長(zhǎng)。柱面全景圖雖只能反映視點(diǎn)附近局部空間信息,但其算法相對(duì)簡(jiǎn)單,數(shù)據(jù)采集相對(duì)容易,且柱面全景圖可直接展開(kāi)成矩形圖像,查看調(diào)閱方便。由于航海上使用的對(duì)景圖只關(guān)注海面附近島嶼、助航標(biāo)志、危險(xiǎn)物等物標(biāo)信息,并不需要天空和海面信息,因此,柱面全景圖可較好地表達(dá)出海區(qū)環(huán)視環(huán)境,能夠滿足對(duì)景圖制作的基本要求,且實(shí)現(xiàn)起來(lái)相對(duì)容易。

電子對(duì)景圖的拼接分為圖像獲取、圖像配準(zhǔn)和圖像融合三個(gè)步驟。

2.1海區(qū)圖像獲取

目前,獲得圖像序列的方法有很多,考慮到經(jīng)濟(jì)性和拍攝條件的限制,本文采用回轉(zhuǎn)連續(xù)拍攝法獲取圖像素材,即:拍攝者手持相機(jī),采用定點(diǎn)旋轉(zhuǎn)的拍攝方式獲取圖像數(shù)據(jù)。該方法僅需一臺(tái)單反數(shù)碼照相機(jī),方便實(shí)用。拍攝時(shí)有以下要求:

1)定焦按序列拍攝,相鄰圖像間應(yīng)有重疊區(qū)域,且不宜過(guò)大或過(guò)小,過(guò)大會(huì)導(dǎo)致匹配特征點(diǎn)過(guò)多,計(jì)算量過(guò)大,過(guò)小會(huì)導(dǎo)致無(wú)法進(jìn)行準(zhǔn)確的匹配,理想的重疊區(qū)域?yàn)閱螐垐D像寬度的20%-30%;

2)盡量縮短拍攝時(shí)間間隔,拍攝者所處的船舶航速不能太快,最好靜止,否則視點(diǎn)位置變化過(guò)大,會(huì)增大拼接難度,甚至出現(xiàn)“鬼影”現(xiàn)象;

3)盡量避免圖片素材中出現(xiàn)動(dòng)態(tài)物體(例如:航行的船舶),以免拼接時(shí)出現(xiàn)“鬼影”現(xiàn)象;

4)如無(wú)法避免動(dòng)態(tài)物體,應(yīng)當(dāng)縮短拍攝時(shí)間間隔,并控制動(dòng)態(tài)物體在重疊區(qū)域之外;

5)圖片素材要盡量以水天線為中線,避免錯(cuò)落起伏。

一方面，對(duì)于中型水電站來(lái)說(shuō)，調(diào)度系統(tǒng)以及遠(yuǎn)程監(jiān)控設(shè)計(jì)比較復(fù)雜，如果為梯度開(kāi)發(fā)的水電站，需要組成水電站無(wú)人值班梯級(jí)調(diào)度系統(tǒng)，并要保證監(jiān)控網(wǎng)運(yùn)行的可靠性與穩(wěn)定性。監(jiān)控系統(tǒng)的設(shè)計(jì)可以選擇雙星型以太網(wǎng)或者環(huán)形以太網(wǎng)，以水電站運(yùn)行規(guī)模為基礎(chǔ)，配置工作站、視頻工作站以及各種服務(wù)器等，一般情況下可以選擇用LED顯示屏或者是DLP數(shù)字拼接墻等。另外應(yīng)該選擇用2根光纖通訊通道來(lái)保證通訊的可靠性。另一方面，對(duì)于小型水電站監(jiān)控系統(tǒng)的設(shè)計(jì)，為了實(shí)現(xiàn)經(jīng)濟(jì)性原則，可以選擇雙以太網(wǎng)或者單環(huán)形以太網(wǎng)組成，并以水電站實(shí)際需求配置相關(guān)設(shè)備，同樣選擇用2根光纖通訊通道，或者是在保證通訊可靠性的情況下選擇其他通道[3]。

2.2圖像配準(zhǔn)

圖像配準(zhǔn)是圖像拼接的關(guān)鍵技術(shù),目前,圖像配準(zhǔn)技術(shù)有很多,而基于圖像特征的配準(zhǔn)方法由于具有適用范圍廣,拼接效果好,計(jì)算量小等優(yōu)點(diǎn),得到了廣泛的應(yīng)用,該方法首先在相鄰兩幅圖像提取特征點(diǎn),通過(guò)相似性度量找到匹配的特征點(diǎn)對(duì),然后匹配得到圖像空間坐標(biāo)變換參數(shù),最后進(jìn)行圖像配準(zhǔn)。其中,特征點(diǎn)提取和匹配是配準(zhǔn)技術(shù)的核心。

2.2.1特征點(diǎn)提取

船舶和拍攝位置的變化會(huì)導(dǎo)致輸入的海區(qū)圖像序列在視角和尺度上存在噪聲,為了克服噪聲干擾,本文采用SIFT算法進(jìn)行圖像序列特征點(diǎn)的提取[1]。

SIFT(尺度不變特征變換匹配)算法是一種基于不變量技術(shù)的特征描述算法[2-4],可在空間域和尺度域上同時(shí)進(jìn)行特征點(diǎn)的計(jì)算和提取,所提取的圖像局部特征不僅對(duì)平移、縮放、旋轉(zhuǎn)變換具有不變性,而且對(duì)視角變化、光照變化、仿射變形、加性噪聲等影響也具有較高的容忍度,能夠正確地提取尺度和視角變化較大的圖像序列中的特征點(diǎn),非常適宜海上復(fù)雜環(huán)境中所拍攝圖像的特征點(diǎn)提取。

SIFT算法可在視角、光照等條件產(chǎn)生變化的情況下查找圖像間的不變性特征,并識(shí)別出圖像間的相同特征,利用統(tǒng)計(jì)法對(duì)這些不變量進(jìn)行分析,并從多方面進(jìn)行限制與篩選,進(jìn)而在選擇候選特征點(diǎn)時(shí)充分根據(jù)配準(zhǔn)的需要提取出穩(wěn)定的特征描述。

SIFT提取特征點(diǎn)一般包括以下4個(gè)步驟[5]:

1)構(gòu)建高斯差分(DOG)金字塔,進(jìn)行尺度空間上極值檢測(cè),確定候選特征點(diǎn);

2)對(duì)候選特征點(diǎn)進(jìn)行進(jìn)一步檢驗(yàn),通過(guò)曲線擬合去除低對(duì)比度的特征點(diǎn)和不穩(wěn)定的邊緣特征點(diǎn),精確定位關(guān)鍵點(diǎn);

4)用128維的向量(包括位置、尺度、方向等信息)表示每個(gè)特征點(diǎn),生成用于圖像特征點(diǎn)匹配的圖像特征點(diǎn)描述符。

2.2.2特征點(diǎn)匹配

提取特征點(diǎn)之后,可通過(guò)計(jì)算相鄰兩幅圖片之間特征點(diǎn)的歐氏距離進(jìn)行特征點(diǎn)匹配。具體過(guò)程是:在待配準(zhǔn)的圖像上選取一個(gè)點(diǎn),從參考圖像中選取與該點(diǎn)歐氏距離最近的前兩個(gè)特征點(diǎn),然后計(jì)算出其歐氏距離的比值,若該比值小于設(shè)定的匹配度閾值,則認(rèn)為匹配成功。

2.2.3圖像配準(zhǔn)

運(yùn)用SIFT算法可以獲取2幅圖像的粗匹配點(diǎn)對(duì),抽取粗匹配點(diǎn)對(duì)經(jīng)過(guò)齊次坐標(biāo)變換,可得到變換矩陣的公式。但由于SIFT算法并不能實(shí)現(xiàn)精確匹配,粗匹配點(diǎn)對(duì)中存在誤匹配點(diǎn)對(duì),在誤匹配的情況下得到的變換矩陣往往不穩(wěn)定。因此,為了提高圖像配準(zhǔn)的精度,本文利用容錯(cuò)能力很強(qiáng)的RANSAC算法進(jìn)行檢錯(cuò),剔除誤配點(diǎn)對(duì), 通過(guò)反復(fù)迭代對(duì)圖像變換矩陣進(jìn)行求解與精煉。

2.3圖像融合

根據(jù)相鄰圖像間的變換矩陣,可以對(duì)相應(yīng)圖像進(jìn)行變換以確定圖像間的重疊區(qū)域,從而實(shí)現(xiàn)圖像的拼接。但由于相鄰圖像在亮度和色差上有差異,并且普通數(shù)碼相機(jī)拍攝的海區(qū)照片邊緣往往存在失真現(xiàn)象,導(dǎo)致了全景圖中相鄰兩幅圖像間會(huì)出現(xiàn)很明顯的邊界,影響拼接圖像的質(zhì)量,因此,必須對(duì)拼接后的圖像進(jìn)行融合,使相鄰圖像重疊區(qū)域過(guò)渡得更加自然、平滑。目前,解決這一問(wèn)題的方法有直接平均法、加權(quán)平均法、中值濾波法、基于塔形分解的圖像融合方法和多分辨率樣條技術(shù)融合法等[6-7],本文采用加權(quán)平均法進(jìn)行圖像融合。

3實(shí)驗(yàn)結(jié)果

圖1　原始海區(qū)圖像序列

圖2　局部拼接效果圖

圖3　電子對(duì)景圖

圖4　素描對(duì)景圖

圖5　局部放大圖

實(shí)驗(yàn)選取8張通過(guò)回轉(zhuǎn)連續(xù)拍攝法拍攝的某海區(qū)的場(chǎng)景照片進(jìn)行實(shí)驗(yàn),每張照片原始的像素為5184×3456。圖1為利用數(shù)碼相機(jī)在某海區(qū)拍攝的海區(qū)景物圖像序列,圖2為前兩張圖像的拼接效果圖,可以看出利用本文方法可以實(shí)現(xiàn)相鄰圖像的平滑無(wú)縫拼接。圖3為拼接后該海區(qū)的電子對(duì)景圖,拼接后的圖像視野范圍得到了很大的擴(kuò)展。實(shí)驗(yàn)表明電子對(duì)景圖可以從多方位、多距離、多視角展現(xiàn)航經(jīng)海區(qū)的陸標(biāo)、助航標(biāo)志、礙航物等情況,具備視角多樣,視域廣闊的優(yōu)點(diǎn),相較圖4的素描對(duì)景圖,電子對(duì)景圖展現(xiàn)的場(chǎng)景更加精細(xì),層次感更強(qiáng)。如圖5為將電子對(duì)景圖方框部分放大后某個(gè)島嶼的圖像,可見(jiàn)電子對(duì)景圖所展現(xiàn)的島嶼、助航標(biāo)志的細(xì)節(jié)信息更顯細(xì)膩詳盡,具有真實(shí)逼真的優(yōu)點(diǎn),可為航海人員帶來(lái)全方位、身臨其境的感受,從而使航海人員可以更加快速、準(zhǔn)確地了解海區(qū)情況。

4結(jié)束語(yǔ)

本文提出了一種基于圖像拼接技術(shù)的電子對(duì)景圖制作方法。通過(guò)采用實(shí)景場(chǎng)景拍攝和全景拼接技術(shù)將航行海區(qū)的陸標(biāo)以全景圖的形式展現(xiàn)出來(lái),真實(shí)感強(qiáng),相較傳統(tǒng)的對(duì)景圖,具備視角多樣,視域廣闊，圖像逼真，細(xì)節(jié)細(xì)膩，數(shù)據(jù)量小等優(yōu)點(diǎn),可為航海人員帶來(lái)全方位的真實(shí)感受。電子對(duì)景圖制作技術(shù)對(duì)硬件要求低,開(kāi)發(fā)周期短,開(kāi)發(fā)成本低,推廣使用簡(jiǎn)單,經(jīng)濟(jì)性非常好。

參考文獻(xiàn):

[1]宗巖,王陽(yáng)萍,劉萍. 改進(jìn)的基于特征點(diǎn)的圖像拼接融合算法[J].蘭州交通大學(xué)學(xué)報(bào),2012,31(1):89-92.

[2]Brown M,Lowe D. Recognizing Panorama[C]∥Proc. of the 9th International Conference on Computer Vision, Nice, France:[s.n.].2003:218-225.

[3]Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004, 60(2):91-110.

[4]張煒,劉偉,普杰信. 一種基于SIFT和區(qū)域選擇的圖像拼接方法[J]. 微電子學(xué)與計(jì)算機(jī),2010,27(6):205-207.

[5]郝飛,陳文藝. 基于特征點(diǎn)匹配的圖像拼接方法[J]. 西安郵電學(xué)院學(xué)報(bào),2012,17(1):87-91.

[6]張曉亮,李麗. 全景圖拼接技術(shù)研究及應(yīng)用[J]. 現(xiàn)代計(jì)算機(jī),2011，16(8):27-29.

[7]趙向陽(yáng),杜利民. 一種全自動(dòng)穩(wěn)健的圖像拼接融合算法[J]. 中國(guó)圖象圖形學(xué)報(bào),2004，9(4):417-422.

Electronic Front View Making Technique Based on Image Mosaic Technique

ZHENG Ya-bo, WANG Ke, GUO Hai-liang

(Dalian Naval Academy, Dalian 116018, China)

Abstract:Aimming at the making problems of the front view currently, a new electronic front view making technique based on image mosaic technique is proposed. This technique adopts SIFT algorithm to extract feature points and RANSAC algorithm to filter those feature points exactly. Finally the method of weighted mean is used to realize images transition smoothly. Experimental results show that the electronic front view making technique can realize the sea area images mosaic smoothly and provide a strong sense of reality for seamen.

Key words:image mosaic; electronic front view; SIFT algorithm; RANSAC algorithm; method of weighted mean

中圖分類(lèi)號(hào):TN966；E992.2

文獻(xiàn)標(biāo)志碼:A

DOI:10.3969/j.issn.1673-3819.2016.02.025

作者簡(jiǎn)介：鄭亞波(1985-),男,湖北襄陽(yáng)人,碩士研究生,助教,研究方向?yàn)檐娛潞胶Ｒ约八媾炌?zhàn)斗。郭海亮(1984-)，男，本科。

*基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目(61273262)；遼寧省自然科學(xué)基金項(xiàng)目(2015020086)；2015年度海軍大連艦艇學(xué)院科研發(fā)展基金資助軍事學(xué)術(shù)項(xiàng)目

收稿日期：2016-01-08

文章編號(hào)：1673-3819(2016)02-0120-03

修回日期： 2016-02-16

王科(1979-)，男，講師。