丁一

(無錫城市職業(yè)技術學院,江蘇無錫 214000)

0 前言

隨著移動電話、無人機等在攝影攝像軟硬件方面不斷升級,人們可以隨時隨地的拍攝自己喜歡的作品,拍照技術方面的不足也逐漸被軟硬件設備以及圖像處理算法所彌補。當人們用移動設備對某一場景(如建筑或風景等)進行拍照,但是當沒有可能一次性將需要的所有照片拍攝下來的時候,往往會采用從某一個方向依次拍攝幾張圖,將希望記錄的信息依次拍攝。然而,圖像處理技術可以有方法將記錄的圖像拼接成一張大圖。通俗的說,圖像拼接技術就是講不同時間不同視點不同設備獲取的有所重疊的不同的圖像拼接成一幅大型的寬闊視野的場景的圖像。因為眾所周知的原因,全景相機或者廣角鏡頭價格昂貴,有些鏡頭還有一些失真的情況發(fā)生?？紤]到高分辨率和寬視角等需求之后制作的場景圖,利用計算機算法進行圖像拼接這一技術就逐漸發(fā)展并開始完善起來了。圖像拼接技術已經(jīng)在遙感圖像處理、醫(yī)學圖像處理和分析、無人機拍攝拼接、虛擬現(xiàn)實等領域都有非常廣泛的應用。圖像拼接是一個很復雜的過程,由一系列圖像處理算法所構(gòu)成。這些算法的幾個基礎模塊分別為：根據(jù)給定圖像或圖集發(fā)現(xiàn)和尋找特征點實現(xiàn)特征匹配、通過圖像的匹配特征計算結(jié)果變換結(jié)構(gòu)并實現(xiàn)圖像映射、針對疊加后的圖像找到并對齊特征點、通過圖像切割的方式自動選取拼接方式、根據(jù)策略選擇并實現(xiàn)融合方式、設置閾值參數(shù)。當然,如果采用的是不同的相機,因為采用了不同的參數(shù),會導致不同的結(jié)果,這個方面也是需要考慮的。

加速穩(wěn)健特征算法即SURF是Bay,H.等在2006年LNCS上發(fā)表了的算法。該算法可以算作一個SIFT的加速版算法。與SIFT近似,兩種算法都是通過對圖像提取特征從而實現(xiàn)特征點的獲取和匹配。SIFT在構(gòu)建幾何尺度空間的時候針對算法使用DoG對LoG進行近似,而SURF使用boxfilter對LoG進行近似,之后使用積分圖像進行卷積運算。兩種算法在特征提取來實現(xiàn)圖像的特征點匹配方面都具有幾何及物理方面的不變性,而且在噪點等方面也具有很好的容錯性。相對于SURF,SIFT在計算128維度特征的歐氏距離即算數(shù)平方根運算方面有些耗費時間,SURF的DoH使用每個像素的Hessian矩陣行列近似構(gòu)成并獲取尺度和位置等特征信息。

1 算法應用案例

佘建國等在基于ORB和改進RANSAC算法的圖像拼接技術[1]中,為解決圖像拼接技術問題,在特征點提純?yōu)榻鉀Q所有特征點提純迭代運算導致拼接效率低的問題,采用了ORB算法進行提取特征點,并采用RANSAC算法提高匹配速度。在進行匹配之前,使用空間一致性檢測提純減少特征點抽樣數(shù)量,從而縮短了匹配的時間。從而提高了匹配的精度和速度。廖勇等在基于FAST特征檢測和FLANN特征點匹配算法的隧道展布圖拼接方法研究[2]中,采取FAST特征檢測算法以及FLANN特征點匹配進行圖像拼接,文章針對兩次獲得圖像進行分析,針對不同多個相機在等距離同時和同步拍攝半張圖像之后進行拼接。采用FAST算法進行特征點檢測提高了特征點檢測速度,FLANN特征點匹配算法提高了特征點匹配效率。實驗表明可以快速準確地拼接出結(jié)果。楊志芳等在基于改進SURF算法的圖像拼接技術研究[3]中,提出了通過改進的k-d樹最近鄰查找算法將圖像的特征點匹配,利用加權(quán)融合算法進行圖像拼接之后得到更好更快的實驗結(jié)果。

本文提出了SURF算法為基礎,通過RANSAC對特征點的篩選,利用各自算法的優(yōu)勢,將圖像拼接以達到獲取更高分辨率圖像的目的。SURF算法獲取到特征點,并獲取到特征點的匹配之后,結(jié)合隨機抽樣一致性RANSAC算法調(diào)整采樣概率對特征點進行篩選,實現(xiàn)圖片配準并將一幅圖復制到另一幅圖的相應位置,將結(jié)果中重疊邊界部分優(yōu)化并實現(xiàn)圖像拼接。特征提取如sift、surf、harris角點、ORB都是著名的匹配算法,各有優(yōu)勢,本文使用SURF算法進行拼接,其在SIFT基礎上速度有了很大的提升精確度和穩(wěn)定性雖然略有不及,然綜合能力還是符合圖像拼接的需求。經(jīng)過特征點匹配之后,利用RANSAC篩選出可靠有效的特征點,過濾到不符合要求的點,從而使得匹配更精確。經(jīng)過圖像拷貝之后,將拼接不自然的地方進行圖像融合,使得光學方面的光和色澤過度更加自然,這里面匹配的時候盡量選取兩幅靜態(tài)圖片,對于圖片中有人走動的現(xiàn)象還不能得到很好的處理。

1.1 特征點提取和匹配

加速穩(wěn)健特征SURF幾何方面的不變特征而且計算效率也比較高,進行灰度轉(zhuǎn)換之后的圖像計算海塞hessian矩陣的閾值,獲取特征點描述以便于通過FLANN算法獲取匹配特征。

1.2 特征點篩選與圖像配準

針對上一步取得的特征點求得變換矩陣,通過RANSAC算法篩選出更可靠的匹配點使得匹配點更精確。通過透視變換矩陣輸出映射矩陣,以篩選出特征點以實現(xiàn)圖像配準。

1.3 圖像直接拷貝拼接

通過配準之后取得的特征點,進行圖像復制和拼接,提前計算拼接后圖的大小,選擇最后的點作為拼接圖的長度。將兩幅圖根據(jù)特征點對接拼接。

1.4 圖像拼接后融合處理

經(jīng)過上一步的拼接操作,拼接接縫部分并不會太自然,在交界處光學特征過度的不會很好,比如亮度和色澤方面,采用加權(quán)融合的方法,在重疊部分按照一定像素值加權(quán)融合由前一幅圖逐步過渡到后一幅圖。

2 圖像拼接算法應用實驗

圖像拼接算法實現(xiàn)復雜,代碼量也不少。根據(jù)圖像間的變換矩陣可以確定圖像的重疊區(qū)域,通過特征點將一幅圖的重疊區(qū)域映射到另一幅圖形成新圖。由于圖像之間相機曝光參數(shù)會有所不同,拼接過程中難免出現(xiàn)明暗等光學上的變化。在縫合線上做加權(quán)融合處理,圖像重疊區(qū)域灰度由兩幅圖的對應點灰度通過加權(quán)平均得到。有以上兩張圖需要拼接,如圖1所示,從圖1可以看出兩張圖有共同的可以參照的部分,這也是圖像拼接的基本要素。根據(jù)圖1的圖片進行灰度化處理之后,根據(jù)SURF算法進行特征點提取和匹配,經(jīng)過FLANN算法獲取的匹配的特征,采用RANSAC算法篩選出特征點實現(xiàn)圖像特征點優(yōu)化,獲得更精確地匹配結(jié)果。圖像經(jīng)過處理之后獲取的特征點和匹配結(jié)果如圖2所示。經(jīng)過以上特征點經(jīng)過圖像拷貝以及拼接,將圖像過度的部分融合處理,加權(quán)之后的結(jié)果顯示圖像拼接結(jié)果更加自然,如圖3所示。

圖1 圖像拼接參照圖片F(xiàn)ig.1 Image stitching reference picture

圖2 特征點和匹配示例Fig.2 Feature points and matching examples

圖3 圖像拼接結(jié)果Fig.3 Image stitching result

3 結(jié)論

本文通過針對圖像拼接這有應用層面對SURF算法和RANSAC的改進,彌補了傳統(tǒng)圖像拼接技術在速度和精確度上的不足,為解決單張照片視野不足分辨率不夠等問題,通過實現(xiàn)多張圖像拼接這一技術彌補了以上缺陷。首先解決的是特征點匹配算法的準確度和速度,利用SURF算法尋找特征點采用FLANN匹配和RANSAC校準之后,消除錯誤匹配的噪點,在幾幅圖拼接之后將拼接不自然的地方進行去裂縫等處理進行圖像融合。實驗數(shù)據(jù)實現(xiàn)了期望的圖像拼接效果,但兩幅圖片針對同一參照物出現(xiàn)移動的物體拼接會出現(xiàn)重影,這方面還不能很好的處理,在今后的進一步研究中會進一步探討這方面的問題,以及考慮室內(nèi)等復雜局面的圖像拼接技術實現(xiàn)算法。