薛 純，彭 博

(中國(guó)海洋大學(xué) 信息科學(xué)與工程學(xué)院，山東 青島 266100)

?

基于改進(jìn)SIFT特征的水下圖像拼接技術(shù)研究

薛 純，彭 博

(中國(guó)海洋大學(xué) 信息科學(xué)與工程學(xué)院，山東 青島 266100)

針對(duì)水下圖像存在顏色失真、對(duì)比度較低等問(wèn)題，而傳統(tǒng)的圖像拼接算法直接用于水下圖像拼接是不奏效的，文中選用暗通道先驗(yàn)去霧算法來(lái)對(duì)水下圖像進(jìn)行增強(qiáng)，再運(yùn)用白平衡算法來(lái)校正水下圖像的顏色，并用主觀評(píng)價(jià)和客觀評(píng)價(jià)來(lái)判斷預(yù)處理的好壞。然后，選取尺度不變特征變換(SIFT)算法來(lái)進(jìn)行特征點(diǎn)的提取。由于水下圖像紋理信息較豐富，因此在進(jìn)行特征點(diǎn)描述時(shí)添加圖像的紋理信息，使其能夠進(jìn)行更精確的特征點(diǎn)描述。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法能夠降低誤匹配率，改善水下圖像拼接效果。

預(yù)處理；特征點(diǎn)；尺度不變特征變換；誤匹配率

0 引言

圖像拼接技術(shù)包括預(yù)處理、圖像配準(zhǔn)和圖像融合。在圖像拼接中最重要的一步則是尋找特征點(diǎn)，而早在20 世紀(jì) 70 年代末學(xué)者們就開(kāi)始了有關(guān)圖像特征的研究，1977 年，Moravec提出了點(diǎn)特征這個(gè)概念，當(dāng)時(shí)他稱特征點(diǎn)為“興趣點(diǎn)”[1]。 1988年，Harris就提出了Harris興趣點(diǎn)檢測(cè)器[2]。1996 年，Lindeberg[3]提出了極具影響力的尺度空間理論，這個(gè)理論的出現(xiàn)對(duì)局部特征的研究具有十分重要的意義。在眾多特征提取的算法中，SIFT算法是較為經(jīng)典的算法。自1999年，LOWE D G提出尺度不變特征變換(Scale Invariant Feature Transform, SIFT)特征檢測(cè)算法以來(lái)[4]，有眾多的學(xué)者對(duì)其進(jìn)行了改進(jìn)。2004年，SUKTHANKAR R[5]等人提出利用主成分分析方法(PCA)對(duì)SIFT特征描述符進(jìn)行降維。該算法減少了數(shù)據(jù)量，節(jié)約了整個(gè)匹配算法的運(yùn)行時(shí)間。2005年，Mikolajczyk 和 Schmid提出了一種SIFT變體的描述子GLOH[6]，使用對(duì)數(shù)極坐標(biāo)分級(jí)結(jié)構(gòu)替代Lowe使用的四象限。2006年，Bay等人提出了基于快速魯棒性特征檢測(cè)(Speeded Up Robust Feature, SURF)的算法[7]。SURF特征將高斯核近似為一個(gè)方波濾波，SURF金字塔僅僅用作特征點(diǎn)的檢測(cè)[8]。

經(jīng)過(guò)幾十年的發(fā)展，圖像拼接技術(shù)已趨于成熟。然而應(yīng)用于水下的圖像拼接技術(shù)仍有很大的發(fā)展空間。隨著海洋強(qiáng)國(guó)戰(zhàn)略的提出，我國(guó)越來(lái)越重視對(duì)海洋的開(kāi)發(fā)和研究。運(yùn)用拼接技術(shù)解決水下圖像視角有限的問(wèn)題，從而獲取大幅度、高分辨率、寬視角的海洋圖像，這對(duì)于探索海洋和推動(dòng)海洋科學(xué)的發(fā)展有著重大意義。本文在預(yù)處理時(shí)，對(duì)水下圖像進(jìn)行顏色校正和增強(qiáng)，使其更好地進(jìn)行特征點(diǎn)的提取和配準(zhǔn)。然后，運(yùn)用SIFT算法來(lái)提取水下圖像特征并針對(duì)水下圖像特征對(duì)其描述子進(jìn)行改進(jìn)，以提高拼接的精度。

1 圖像的獲取

本次實(shí)驗(yàn)圖像的獲取是在近海岸完成的。實(shí)驗(yàn)的主要器材有：標(biāo)準(zhǔn)分辨率板、自制目標(biāo)物、光源、單目雙目攝像頭等。通過(guò)改變攝像頭拍攝方式，分別用平移和旋轉(zhuǎn)拍攝，來(lái)獲得不同拍攝方式得到的水下圖像。通過(guò)分別使用單目和雙目攝像頭進(jìn)行實(shí)驗(yàn)，探索不同攝像頭對(duì)水下圖像拼接的影響。同時(shí)，在實(shí)驗(yàn)過(guò)程中，應(yīng)該注意以下幾個(gè)問(wèn)題：

(1)由于是水下實(shí)驗(yàn)，要克服水中的浮力和水流的影響，選擇較為平緩水流的區(qū)域來(lái)進(jìn)行實(shí)驗(yàn)。

(2)要盡量保證所選物體要在同一個(gè)平面上，可以使各個(gè)物體之間通過(guò)木棍固定住。

(3)本文設(shè)計(jì)的實(shí)驗(yàn)都是假設(shè)沒(méi)有運(yùn)動(dòng)物體存在于兩幅圖像之間的重疊區(qū)域。

(4)由于考慮到實(shí)驗(yàn)的可操作性，盡量選擇近海進(jìn)行實(shí)驗(yàn)。具體實(shí)驗(yàn)的深度，要實(shí)地考察海水的能見(jiàn)度及實(shí)際情況進(jìn)行確定。

在本次實(shí)驗(yàn)中所使用的圖像采取的攝像頭是適用于水下的多CCD攝像頭進(jìn)行拍攝。同時(shí)量化重疊區(qū)域，得到多種不同重疊比例，多種不同拍攝角度，不同攝像頭的水下圖像拼接圖像，模擬了真實(shí)的水下圖像拍攝的方式，同時(shí)為下一步的圖像拼接以及算法正確性可用性的驗(yàn)證打下堅(jiān)實(shí)基礎(chǔ)。

2 圖像的預(yù)處理

在傳統(tǒng)的圖像拼接過(guò)程中，有很多預(yù)處理的方法，而圖像預(yù)處理的目的是為了進(jìn)行圖像幾何畸變的校正和對(duì)圖像噪聲的抑制。常見(jiàn)的噪聲有高斯噪聲和椒鹽噪聲等，而常用的預(yù)處理方法有中值濾波和均值濾波等手段。但是對(duì)于水下圖像來(lái)說(shuō)，由于受到嚴(yán)重的吸收和散射作用的影響，使得獲得的水下圖像存在顏色失真(圖像偏藍(lán)或偏綠色)，并呈現(xiàn)一層霧狀效果，對(duì)比度和清晰度較低，噪聲較多。其預(yù)處理的重點(diǎn)應(yīng)該是對(duì)水下圖像進(jìn)行去霧和顏色的恢復(fù)。因此本文對(duì)多幅水下圖像通過(guò)用暗原色先驗(yàn)去霧算法來(lái)對(duì)水下圖像去霧，再運(yùn)用白平衡算法來(lái)校正水下圖像的顏色。通過(guò)50名實(shí)驗(yàn)者人眼主觀評(píng)價(jià)多幅圖像處理前后的好壞，并對(duì)多幅處理前后的照片分別進(jìn)行特征點(diǎn)檢測(cè)。則預(yù)處理前后評(píng)價(jià)結(jié)果如表1。

表1 處理前后圖像質(zhì)量比較

由表1可得，經(jīng)預(yù)處理后的圖像獲得更多的特征點(diǎn)，同時(shí)主觀評(píng)價(jià)也更好。

3 圖像特征點(diǎn)提取與描述

3.1 圖像特征點(diǎn)的提取

圖像的特征點(diǎn)是指在一幅圖像中比較明顯的點(diǎn)，通常是圖像暗處的亮點(diǎn)、亮處的暗點(diǎn)、角點(diǎn)及一些不易隨光照旋轉(zhuǎn)尺度等因素變換的點(diǎn)。而在圖像拼接過(guò)程中，圖像特征點(diǎn)的提取是最為關(guān)鍵的一個(gè)環(huán)節(jié)。在眾多的圖像特征點(diǎn)的提取算法中，SIFT算法是較為優(yōu)秀的一個(gè)，主要是因?yàn)樗哂幸韵聨讉€(gè)特點(diǎn)：

(1)穩(wěn)定性，通過(guò)SIFT算法選取的特征是圖像的局部特征，它具有尺度不變性，同時(shí)對(duì)光照、旋轉(zhuǎn)、亮度也具有一定的穩(wěn)定性。

(2)結(jié)合性，通過(guò)SIFT算法進(jìn)行特征點(diǎn)描述時(shí)，形成了特征點(diǎn)描述向量，將特征點(diǎn)的表達(dá)用128維的向量來(lái)表示，易與其他形式的向量結(jié)合。

(3)實(shí)時(shí)性，經(jīng)過(guò)優(yōu)化的SIFT算法有較快的速度。

而正是由于水下圖像的多變性，由于水流的影響，在實(shí)際應(yīng)用中，在水下圖像拍攝時(shí)，攝像頭的方向和角度是不易控制的，因此會(huì)存在圖像旋轉(zhuǎn)角度等多種因素。同時(shí)，高速度的處理更適用于實(shí)時(shí)水下圖像拼接。因此，本文選用SIFT算法來(lái)進(jìn)行提取特征點(diǎn)。

3.2 特征點(diǎn)的描述

由于傳統(tǒng)的SIFT算法在進(jìn)行特征點(diǎn)描述時(shí)，僅僅考慮其128維的領(lǐng)域梯度信息，這對(duì)于紋理豐富的水下圖像顯然是不夠的，因此可以運(yùn)用SIFT算法的可結(jié)合性，添加特征描述子的紋理信息，得到一個(gè)更高維度的向量來(lái)描述特征點(diǎn)。具體的實(shí)施步驟如下：

設(shè)F(x,y,σ,θ)i為通過(guò) SIFT 算法得到的某一特征點(diǎn)，其中(x,y)為Fi在原始圖像上的位置坐標(biāo),σ和θ分別為Fi的空間尺度因子和主方向。則原始的特征點(diǎn)能夠得到一個(gè)128維的向量。

以該特征點(diǎn)為中心，計(jì)算其10×10鄰域內(nèi)所有點(diǎn)的LBP值，從理論上來(lái)說(shuō)，其鄰域越靠近中心特征點(diǎn)，其對(duì)中心點(diǎn)的貢獻(xiàn)越大，因此對(duì)計(jì)算后的LBP值進(jìn)行高斯加權(quán)，組成一個(gè)一維向量,記為Ti,則：

Ti=[w1*lbp1,w2*lbp2,…,w100*lbp100]

為了消除光照變化的影響,則把Ti進(jìn)行歸一化處理。由原始的128維SIFT局部特征向量Ti和得到的100維向量構(gòu)成新的228維的描述子。

4 圖像的配準(zhǔn)與融合

本文在獲得特征點(diǎn)之后通過(guò)相似性度量進(jìn)行圖像配準(zhǔn)，在獲得兩幅待拼接圖像的空間變換關(guān)系之后，進(jìn)行圖像的融合。圖像融合有幾種常用的技術(shù)，如直接融合法、中值濾波融合法、多分辨率樣條技術(shù)融合方法等，本文采用中值濾波融合法對(duì)待拼接的水下圖像進(jìn)行融合，從而克服光照的不連續(xù)性而造成的影響。

5 結(jié)論

圖1為經(jīng)過(guò)實(shí)驗(yàn)獲取的兩幅待拼接圖像。圖2是未針對(duì)水下圖像進(jìn)行預(yù)處理，直接用傳統(tǒng)的SIFT算法獲得的拼接圖。圖3是對(duì)原圖進(jìn)行暗原色去霧和白噪聲算法，然后通過(guò)添加特征點(diǎn)的紋理信息來(lái)改進(jìn)SIFT描述子得到的拼接圖。實(shí)驗(yàn)結(jié)果表明，直接運(yùn)用傳統(tǒng)的拼接SIFT算法,拼接效果較差，拼接處存在明顯的圖像錯(cuò)位。而改進(jìn)后的拼接算法，校正了圖像顏色，降低了誤匹配率，拼接處無(wú)明顯錯(cuò)位，拼接效果較好。整個(gè)拼接流程相對(duì)于傳統(tǒng)的水上SIFT算法的拼接來(lái)說(shuō)，更具有針對(duì)性，拼接效果更好。

圖1 待拼接原圖

圖2 傳統(tǒng)SIFT算法水下拼接圖

圖3 改進(jìn)后的水下拼接圖

[1] MORAVEC H P.Towards automatic visual bbstacle avoidance[C].

Proceedings of the 5th International Joint Conference on Artificial Intelligence, 1977: 584.

[2] HARRIS C, STEPHENS M. A combined corner and edge detector[C].Alvey Vision Conference, 1988: 147-151.

[3] LINDEBERG T. Edge detection and ridge detection with automatic scale selection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1996: 465-470.

[4] LOWE D G. Object recognition from local scale-invariant features[C].Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999, 2: 1150-1157.

[5] KE Y, SUKTHANKAR R. PCA-SIFT: a more distinctive representation for local image descriptors[C]. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004, 2: 506-513.

[6] MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[7] BAY H, TUYTELAARS T, VANGOOL L. SURF: speeded up robust features[C].European Conference on Computer Vision, Springer Berlin Heidelberg, 2006: 404-417.

[8] 馬林偉, 朱國(guó)魂.改進(jìn)SURF算法的圖像拼接算法研究[J]. 微型機(jī)與應(yīng)用, 2014, 33(24): 45-47.

Underwater image mosaicking technologies based on the improved SIFT algorithm

Xue Chun, Peng Bo

(College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China)

The traditional image stitching algorithms are always uneffective to underwater images because of the distortion and the low contrast. In this paper, we use the dark channel prior algorithm to enhance the underwater images, and then use the white balance algorithm to correct the color. The subjective evaluation and objective evaluation can be used to judge the quality of preprocessing image. Next, we use the original Scale Invariant Feature Transform (SIFT) algorithm to detect feature points. Underwater images contain rich texture information, texture features are added when the feature point description is carried out, so that it can perform more accurate features description. The experimental results show that the improved algorithm can reduce the mismatch ratio and improve the stitching effect of underwater images.

preprocessing; features; scale invariant feature transform; mismatch ratio

TP391

A

10.19358/j.issn.1674- 7720.2017.11.013

薛純，彭博.基于改進(jìn)SIFT特征的水下圖像拼接技術(shù)研究[J].微型機(jī)與應(yīng)用，2017,36(11)：44-46.

2017-01-15)

薛純(1992-)，女，碩士研究生，主要研究方向：水下圖像處理。

彭博(1992-)，男，碩士研究生，主要研究方向：圖像質(zhì)量評(píng)價(jià)。