諶 頏

( 廣東技術(shù)師范學(xué)院)

基于SIFT特征檢測的圖像拼接*

諶 頏

( 廣東技術(shù)師范學(xué)院)

針對圖像拼接方法中存在的特征提取精度低，以及拼接后存在的拼接裂縫和“GHOST”現(xiàn)象等問題，基于SIFT特征檢測的圖像拼接.通過采用圖像特征點(diǎn)提取和匹配有較強(qiáng)的穩(wěn)定性和精確度的SIFT特征檢測算法，且通過采用較低復(fù)雜度的動態(tài)規(guī)劃算法找到最佳縫合線，最后對拼接后的圖像通過泊松融合進(jìn)行平滑處理來完成圖像的拼接，并采用自行拍攝的圖像進(jìn)行仿真實(shí)驗(yàn).仿真實(shí)驗(yàn)結(jié)果表明，基于SIFT特征檢測的圖像拼接方法具有較高的穩(wěn)定性和特征提取精度，同時具有較低的特征點(diǎn)提取誤差，并對圖像拼接中存在的拼接裂縫和“GHOST”現(xiàn)象有很好的抑制作用.

SIFT算法；圖像拼接；動態(tài)規(guī)劃算法；泊松融合

0 引言

圖像通過拼接可以展現(xiàn)更加生動和豐富的信息，且圖像拼接的技術(shù)的好壞將直接影響用戶的體驗(yàn)感.圖像配準(zhǔn)和圖像融合是圖像拼接的兩個關(guān)鍵技術(shù)，但是目前圖像拼接方法中存在的特征提取精度低，以及拼接后存在的拼接裂縫和“GHOST”現(xiàn)象等問題，目前現(xiàn)有的特征點(diǎn)提取和匹配算法中SIFT[1](Scale Invariant Feature Transform)算法具有較好的穩(wěn)定性和精確性，SURF[2](Speeded Up Robust Features)、ORB(Oriented FAST and Rotated BRIEF)等算法實(shí)時性相比SIFT算法有所提升，但是其精確度和穩(wěn)定性相比SIFT算法很低[3].在對拼接后的圖像進(jìn)行處理時，若通過梯度差和色彩強(qiáng)度差構(gòu)建縫合線準(zhǔn)則式，運(yùn)用Dijkstra算法尋找縫合線并對圖像的曝光差異進(jìn)行補(bǔ)償，并在融合時使用多分辨率樣條算法[4]，但Dijkstra算法相對復(fù)雜且多分辨率樣條會使合成后的圖像噪聲較大.

為解決上述問題，該文提出基于改進(jìn)ORB特征檢測的多視角圖像拼接，通過采用圖像特征點(diǎn)提取和匹配有較強(qiáng)的穩(wěn)定性和精確度的SIFT特征檢測算法，提高了特征點(diǎn)提取和匹配的魯棒性，從而滿足了圖像拼接對穩(wěn)定性和精確度的要求，在尋找最佳縫合線時使用復(fù)雜度相對較低的動態(tài)規(guī)劃算法，最后采用泊松融合算法對拼接后的圖像進(jìn)行平滑處理.

1 SIFT特征檢測

該文主要檢測了目標(biāo)跟蹤中目標(biāo)圖形的特征點(diǎn)，并用于后面的匹配.該文采用SIFT特征提取算法進(jìn)行特征點(diǎn)提取與匹配.

1.1特征點(diǎn)檢測

1.2特征點(diǎn)描述

圖1 檢測方向

2 基于SIFT特征檢測的圖像拼接

在完成SIFT特征檢測之后，需要對SIFT特征點(diǎn)進(jìn)行匹配，然后對無匹配點(diǎn)采用RANSAC算法去除后采用Dijkstra算法尋找兩幅圖像間的最佳縫合線，最后采用泊松融合算法對拼接后的圖像進(jìn)行平滑處理，從而完成對圖像的拼接.

2.1特征點(diǎn)匹配

對目標(biāo)跟蹤的區(qū)域進(jìn)行SIFT特征點(diǎn)匹配，首先要保證高質(zhì)量特征點(diǎn)[9]有足夠的數(shù)量，且判斷依據(jù)是：

(4)

2.2最佳縫合線的尋找

在特征點(diǎn)提取和匹配之后，可知兩幀圖像間的交疊區(qū)域并搜索最佳縫合線，若進(jìn)行拼接可能會因?yàn)楣饩€和移動等原因使得圖像模糊，造成“GHOST”現(xiàn)象的出現(xiàn)，使得多視角圖像拼接的效果較差.與傳統(tǒng)運(yùn)用運(yùn)動估計方法實(shí)現(xiàn)運(yùn)動物體跟蹤的方法不同[14].該文在拼接時通過找出一條最佳縫合線，并在該線的兩邊取一幀圖像的內(nèi)容填充，來抑制“GHOST”現(xiàn)象發(fā)生.

動態(tài)規(guī)劃算法是一種基于Bellman最優(yōu)化原理，處理決策問題的優(yōu)化算法：一個最優(yōu)策略的子策略，對于它的初態(tài)和終態(tài)而言也必是最優(yōu)的.如圖2所示，最佳路線NM上有一點(diǎn)P，則PM也是最佳路線.

圖2 最佳縫合線

在運(yùn)用動態(tài)規(guī)劃算法時，假設(shè)共有n階段，則ri(Si,Xi)為第i階段決策的數(shù)量指標(biāo)，i階段起點(diǎn)是Si，i階段終點(diǎn)和i+1階段的起點(diǎn)為Xi，則動態(tài)規(guī)劃就是求解值E

E=opt[r1(S1,X1)*…*rn(Sn,Xn)]

(5)

其中，“*”為運(yùn)算符號，opt為max或min，.在求解最短路徑時，為了使各階段相加和最小，opt取min，“*”取“+”.借鑒動態(tài)規(guī)劃的思想，將上式作為求解策略指標(biāo)值的準(zhǔn)則式.首先從重疊區(qū)域的第一行出發(fā)，然后在該行上建立以每一個像素為起點(diǎn)的縫合線，最終找出最佳縫合線.具體步驟為：(1)初始化；(2)向下擴(kuò)展計算過縫合線強(qiáng)度的一行，到最后一行為止；(3)從所得的所有縫合線的集合中選取強(qiáng)度值最小的為最佳縫合線.具體如圖3所示.

圖3 動態(tài)規(guī)劃示意圖

2.3圖像融合

圖像融合就是將配準(zhǔn)后的圖像根據(jù)對準(zhǔn)位置進(jìn)行合并，并消除色彩的不連續(xù)性和噪聲對圖像的影響.常用的融合方法[15]有：(1)多分辨樣條法；(2)加權(quán)平均法；(3)泊松融合法.多分辨率樣條法由于涉及到高斯塔和拉普拉斯塔的構(gòu)造問題，它是一種顏色融合方法，其具有計算量大、費(fèi)時等缺點(diǎn).加權(quán)平均法較簡單，但易造成明顯的拼接縫.泊松融合在選擇融合區(qū)域時簡單且方便，融合以源圖像塊內(nèi)的梯度場作為指導(dǎo)，將融合邊界上源圖像和目標(biāo)圖像的差異平滑的擴(kuò)散到融合圖像塊中，使得融合后的圖像塊融入到目標(biāo)圖像中時達(dá)到無縫的效果，且其色調(diào)和光照與目標(biāo)圖像保持一致.因此，該文采用泊松融合算法對拼接后的圖像進(jìn)行平滑處理.

3 實(shí)驗(yàn)結(jié)果與分析

該文通過拍攝圖像設(shè)備拍攝多圖像，在一臺裝有Windows 7操作系統(tǒng)的PC機(jī)上進(jìn)行實(shí)驗(yàn)，通過VisualStudio 2013和OpenCV2.4.9的平臺下采用C++編程語言進(jìn)行仿真實(shí)驗(yàn).該文的具體實(shí)驗(yàn)平臺見表1.

表1 實(shí)驗(yàn)平臺

(1) 圖像采用拍攝圖像設(shè)備拍攝的圖像進(jìn)行實(shí)驗(yàn)，進(jìn)行實(shí)驗(yàn)圖像的像素為1024*768px，具體實(shí)驗(yàn)結(jié)果如圖4所示，其中圖(a)為原始的圖像，圖(b)為SIFT算法特征檢測結(jié)果，圖(c)為Hamming距離匹配結(jié)果，圖(d)為RASANC算法去除誤匹配點(diǎn)結(jié)果，圖(e)為求取最佳縫合線的結(jié)果，圖(f)為泊松融合平滑處理后的結(jié)果.

圖4 圖像拼接實(shí)驗(yàn)結(jié)果

(2)實(shí)驗(yàn)證明改進(jìn)SIFT算法在提取特征點(diǎn)時誤差較低，具有較高的特征提取精度.SIFT提取特征點(diǎn)間的誤差相比較SURF算法和ORB算法的結(jié)果見表2.其中，RMSE為已知特征點(diǎn)坐標(biāo)與檢測出的特征點(diǎn)坐標(biāo)間的整體均方根誤差，x與y向的均方根誤差分別為RMSEx與RMSEy.

表2 各算法提取特征點(diǎn)誤差比較

仿真實(shí)驗(yàn)結(jié)果表明，該文提出的基于SIFT特征檢測的圖像拼接方法具有較高的穩(wěn)定性和特征提取精度，同時具有較低的特征點(diǎn)提取誤差，并對圖像拼接中存在的拼接裂縫和“GHOST”現(xiàn)象有很好的抑制作用.

4 結(jié)論及展望

目前圖像拼接方法中存在的特征提取精度低，以及拼接后存在的拼接裂縫和“GHOST”現(xiàn)象等問題，該文提出基于SIFT特征檢測的圖像拼接.通過采用圖像特征點(diǎn)提取和匹配有較強(qiáng)的穩(wěn)定性和精確度的SIFT特征檢測算法，且通過采用較低復(fù)雜度的動態(tài)規(guī)劃算法找到最佳縫合線，最后對拼接后的圖像通過泊松融合進(jìn)行平滑處理來完成圖像的拼接，并采用自行拍攝的圖像進(jìn)行仿真實(shí)驗(yàn).仿真實(shí)驗(yàn)結(jié)果表明，該文提出的基于SIFT特征檢測的圖像拼接方法具有較高的穩(wěn)定性和特征提取精度，同時具有較低的特征點(diǎn)提取誤差，并對圖像拼接中存在的拼接裂縫和“GHOST”現(xiàn)象有很好的抑制作用.

[1] Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors [C].Proceedings of the 2004 IEEE Computer Society Cinference on Computer Vision and Pattern Recognition.2004:506-513.

[2] Bay H,Tuytelaars T,Van Gool L.SURF:Speeded up robust features [C].European Conference on Computer Vision.2006:404-417.

[3] 索春寶,楊東清,劉云鵬.多種角度比較SIFT、SURF、BRISK、ORB、FREAK算法[J].北京測繪,2014(4):22-26.

[4] Alec Mills，Gregory Dudek.Image stitching with dynamic elements [J].Image and Vision Computing,2009,27(10):1593-1602.

[5] 梁群仙,許宏麗.一種基于點(diǎn)云數(shù)據(jù)的快速曲面重構(gòu)方法[J].計算機(jī)工程,2013,39(2):237-240.

[6] 藺海峰,馬宇峰,宋濤.基于SIFT特征目標(biāo)跟蹤算法研究[J].Acta Automatica Sinica,2010,36(8):1204-1208.

[7] 單好民.一種改進(jìn)的壓縮感知信號重建算法在WSN中的研究[J].計算機(jī)測量與控制,2015,23(11):3766-3768.

[8] 陽建中,陳慧蓉,胡俐蕊.基于SIFT特征檢測和三次插值樣條的快速曲面重構(gòu)算法[J].計算機(jī)測量與控制,2017,25(1):185-187.

[9] 周見光,石剛,馬小虎.增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的虛擬交互方法[J].計算機(jī)工程,2012,38(1):251-252.

[10] 張志禹,劉耀陽.基于SURF與光流法的增強(qiáng)現(xiàn)實(shí)跟蹤注冊[J].計算機(jī)工程與應(yīng)用,2015,51(3):166-170.

[11] Lowe D G,Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[12] 趙新燦,張燕.基于圖形處理器的增強(qiáng)現(xiàn)實(shí)自然特征注冊算法[J].南京理工大學(xué)學(xué)報：自然科學(xué)版,2011,35(4):448-452.

[13] Rabin J,Delon J,Gousseau Y,et al.MAC-RANSAC:a robust algorithm for the recognition of multiple objects[J].Proceedings Ofdptv,2010:051.

[14] Peter M，Charles V S，David E T.Robust computer vision:an interdisciplinary challenge[J].Computer Vision and Image Understanding,2000:78,1-7.

[15] 黃立勤,陳財金.全景圖拼接中圖像融合算法的研究[J].電子與信息學(xué)報,2014,36(6):1292-1298.

Abstract:In view of the low precision of feature extraction,the stitching cracks and the “GHOST” phenomenon existing in the image mosaic method,an image mosaic method based on SIFT feature detection is proposed in this paper.By using the image feature extraction and matching of SIFT feature detection algorithm with stronger robustness and accuracy,and by using the dynamic programming algorithm with low complexity,the best suture line is found,at the end,the stitched image is smoothed by the Poisson fusion to complete image stitching,and the image of their own shooting simulation.Simulation results show that the stability and accuracy of feature extraction method for image mosaic based on feature detection with high SIFT is proposed,also which have the characteristics of low point extraction error,good inhibition effect on splicing cracks existed in image mosaic and the phenomenon of “GHOST”.

Keywords:SIFT algorithm; Image stitching; Dynamic programming algorithm; Poisson Fusion

(責(zé)任編輯：季春陽)

ImageStitchingBasedonSIFTFeatureDetection

Chen Hang

(Guangdong Polytechnic Normal University)

TP391.9

A

1000-5617(2017)02-0075-05

2017-02-02

*廣東高校特色創(chuàng)新類項(xiàng)目(2015KTSCX184)；企業(yè)委托項(xiàng)目“圖像識別定位軟件攻關(guān)項(xiàng)目”(2016HKJ042801)；廣東省本科高校教學(xué)質(zhì)量與教學(xué)改革工程立項(xiàng)建設(shè)項(xiàng)目(2015SZL08);廣東省高校優(yōu)秀青年創(chuàng)新人才培養(yǎng)計劃資助項(xiàng)目(2013LYM_0110)