姜小會 陳清奎　何強(qiáng)　欒飛　董志強(qiáng)

摘要：針對圖像間因存在旋轉(zhuǎn)以及采集圖像時光線強(qiáng)度的差異等現(xiàn)象而導(dǎo)致的拼接效果不理想和拼接速度慢的問題，作者提出了一種基于SIFT和改進(jìn)RANSAC的穩(wěn)健圖像拼接算法，具體包括SIFT特征提取、圖像配準(zhǔn)以及圖像的加權(quán)平均融合等步驟。其中，該文重點(diǎn)研究了圖像配準(zhǔn)這一階段，此階段包括圖像的初始匹配和精確配準(zhǔn)兩步，實(shí)驗(yàn)證明該拼接算法不僅可以很好的拼接存在平移、旋轉(zhuǎn)、尺度縮放、視角以及光照變化的圖像，而且較之傳統(tǒng)的RANSAC算法，改進(jìn)的RANSAC算法迭代次數(shù)變少了并且運(yùn)行時間也減少了，拼接效率得到了明顯的提高。

關(guān)鍵詞：圖像拼接；SIFT算法；圖像配準(zhǔn)；改進(jìn)RANSAC算法；圖像融合

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）01-0127-03

A Steady Image Stitching Algorithm Based on SIFT and Improved RANSAC

JIANG Xiao-hui， CHEN Qing-kui， HE Qiang， LUAN Fei， DONG Zhi-qiang

（School of Mechanical and Electrical Engineering， Shandong Jianzhu University， Jinan 250101， China）

Abstract： Taking into account the problem of poor effect and slow matching in image mosaic caused by phenomena such as the rotation and the differences in light intensity， a steady image stitching algorithm based on SIFT and improved RANSAC is proposed， specifically including SIFT feature extraction， image registration and the weighted average image fusion. Among them， the paper focuses on the image registration at this stage， this phase includes an initial matching and accurate alignment. Experimental results show that the proposed image mosaic method can not only yield good results for images with overlap region that existence translation， rotation， image scaling， image viewing angle and illumination changes， and compared with the original RANSAC algorithm， the improved method has lower computational complexity， less stitching time， and splicing efficiency has been significantly improved.

Key words： image mosaic； SIFT； image registration； RANSAC； image fusion

近年來，計(jì)算機(jī)視覺已作為重點(diǎn)研究的領(lǐng)域之一，而其中的圖像拼接技術(shù)受到了人們的廣泛關(guān)注。圖像拼接就是將同一場景拍攝到的一組相互關(guān)聯(lián)的圖像序列通過配準(zhǔn)與融合，并最終拼接為一幅完整的、寬視角的、分辨率較高的新圖像。

圖像配準(zhǔn)[1]作為圖像拼接技術(shù)的關(guān)鍵與核心，它是依據(jù)兩幅圖像重疊區(qū)域的一致性求解出圖像間的幾何變換模型，即將一幅圖像經(jīng)幾何模型變換到另一幅圖像的坐標(biāo)平面上并將圖像的重疊區(qū)域?qū)?zhǔn)。目前，基于特征[2]的圖像配準(zhǔn)方法是研究的主要趨勢，該方法是通過對特征屬性的直接比較來實(shí)現(xiàn)的，即通過兩幅圖像的特征來判斷它們之間的相似程度，該方法不僅計(jì)算量較小，而且具有仿射不變性與穩(wěn)定性等優(yōu)點(diǎn)。因此，該文選用特征配準(zhǔn)中的SIFT算法來實(shí)現(xiàn)特征點(diǎn)的提取與匹配。

在圖像的配準(zhǔn)階段，人們常采用RANSAC隨機(jī)采樣一致性算法[3]來計(jì)算幾何變換矩陣，但是傳統(tǒng)的RANSAC算法因迭代次數(shù)多而導(dǎo)致計(jì)算效率低，而且當(dāng)匹配點(diǎn)對的“內(nèi)點(diǎn)”（正確匹配點(diǎn)對）所占比例較小時，也將會對拼接算法的效率產(chǎn)生直接的影響。針對上述缺點(diǎn)，該文提出了一種改進(jìn)的RANSAC算法，能快速而精確的估算變換矩陣。首先使用SIFT算法提取出特征點(diǎn)并對特征點(diǎn)對進(jìn)行初始匹配，然后采用改進(jìn)的RANSAC算法對初始匹配點(diǎn)對提純，利用提純后的正確匹配點(diǎn)對估算出變換矩陣并進(jìn)行配準(zhǔn)，最后使用加權(quán)平均法[4]對圖像進(jìn)行融合并最終完成圖像的拼接。

1 特征點(diǎn)提取

SIFT（Scale Invariant Feature transform，尺度不變特征變換）算法[5][6]最早是由David G.Lowe在1999年提出，并于2004年對其總結(jié)并加以完善。SIFT算法提取出的特征不僅對圖像的平移、旋轉(zhuǎn)、尺度縮放具有不變性，而且對圖像所受到的光照、投影與仿射的變化具有一定的魯棒性。

1.1 尺度空間的建立

尺度空間理論是將原始圖像與不同尺度因子的高斯核函數(shù)進(jìn)行卷積以生成多個層次高斯金字塔，而特征點(diǎn)的檢測就在所生成的高斯金字塔上完成。

對于一幅二維圖像[I（x，y）]，在不同尺度下該圖像的尺度空間函數(shù)可以定義為：

[Lx，y，σ=Gx，y，σ*I（x，y）] （1）

其中[Gx，y，σ]為二維高斯核函數(shù)表示為：

[Gx，y，σ=12πσ2e-（x2+y2）2σ2] （2）

式中：[（x，y）]表示圖像I上像素點(diǎn)的位置；*為卷積符號；[σ]為尺度空間因子。

同時，將高斯差分尺度空間表示為：

[Dx，y，σ=Gx，y，kσ-Gx，y，σ*Ix，y=Lx，y，kσ-L（x，y，σ）] （3）

1.2 尺度空間極值點(diǎn)檢測

在高斯差分尺度空間上檢測到局部極值點(diǎn)，待檢測的每個采樣點(diǎn)要與其所有臨近點(diǎn)進(jìn)行比較，待檢測的特征點(diǎn)總共需要與26個點(diǎn)（其中包括它同尺度的8個相鄰點(diǎn)以及上下相鄰尺度所對應(yīng)的2*9個點(diǎn)）進(jìn)行比較，這樣可以確保檢測到的點(diǎn)在尺度空間與二維圖像空間都是極值點(diǎn)。

1.3 精確定位局部極值點(diǎn)

精確定位極值點(diǎn)包括去除低對比度的特征點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)。我們可以將尺度空間圖像看作一個曲面，根據(jù)特征點(diǎn)周圍的像素點(diǎn)的梯度分布狀況，通過擬合三維二次函數(shù)來精確確定特征點(diǎn)的尺度和位置，以使特征點(diǎn)達(dá)到亞像素級精度。

1.4 生成特征向量描述符

通過式（4）和（5）計(jì)算以特征點(diǎn)為中心半徑為R的鄰域內(nèi)的每個點(diǎn)的梯度模值[mx，y]及方向[θx，y]：

[mx，y=（Lx+1，y-Lx-1，y）2+（Lx，y+1-Lx，y-1）2] （4）

[ θx，y=tan-1（Lx，y+1-Lx，y-1Lx+1，y-Lx-1，y）] （5）

以特征點(diǎn)為中心的領(lǐng)域窗口內(nèi)進(jìn)行采樣，并利用梯度方向直方圖統(tǒng)計(jì)出特征點(diǎn)鄰域內(nèi)的梯度方向。在梯度方向直方圖中，極值表示該特征點(diǎn)鄰域內(nèi)的梯度方向，將方向直方圖中的最大值作為該特征點(diǎn)的主方向，并將大于直方圖最大值的80%的極值保留下來作為該特征點(diǎn)的輔方向。當(dāng)每個特征點(diǎn)的尺度、位置及方向確定后，以特征點(diǎn)為中心取16[×]16的矩形窗口區(qū)域，此區(qū)域中一個特征點(diǎn)由4[×]4個種子點(diǎn)組成，且每個種子點(diǎn)有8個梯度方向向量，即，每個特征點(diǎn)可以用一個4[×]4[×]8=128維的特征向量來精確的描述。

2 圖像配準(zhǔn)

2.1 圖像間幾何變換關(guān)系

由于同一場景不同視角的兩幅圖像間具有一一對應(yīng)的幾何關(guān)系，因此要將一幅圖像變換到另一幅圖像的坐標(biāo)平面之中可以通過一個幾何變換模型實(shí)現(xiàn)。假設(shè)基準(zhǔn)圖像和配準(zhǔn)圖像上的對應(yīng)點(diǎn)分別為[M（x，y）]和[M'（x，y）]，那么它們之間的對應(yīng)關(guān)系可以用8參數(shù)的投影變換模型（用齊次坐標(biāo)表示）來描述，即：

[x'iy'i1=Hxiyi1=h1h4h7h2h5h8h3h61xiyi1] （6）

式中：[（x'i，y'i，1）]和[（xi，yi，1）]分別為[M'（x，y）] 和[M（x，y）]上第i個點(diǎn)的齊次坐標(biāo)表示；這里的變換矩陣H有8個自由度，理論上只需4對特征點(diǎn)就可以估算出變換矩陣H，通過解線性方程組可得到變換矩陣H的各個參數(shù)，即可將配準(zhǔn)圖像上的各個點(diǎn)歸一化到基準(zhǔn)圖像坐標(biāo)系中，并采用最近鄰特征點(diǎn)歐氏距離與次近鄰特征點(diǎn)歐氏距離的比值對特征點(diǎn)對進(jìn)行初始匹配。

2.2 改進(jìn)的RANSAC算法

匹配特征點(diǎn)對中存在的不準(zhǔn)確的匹配點(diǎn)，會對圖像間幾何變換模型的求解結(jié)有很大的果影響，為了提高配準(zhǔn)的速度和準(zhǔn)確度，該文采用改進(jìn)的RANSAC算法去除所存在的不準(zhǔn)確匹配點(diǎn)。具體步驟為：

1） 獲取總的匹配特征點(diǎn)對數(shù)目M，根據(jù)公式[N=log （1-pn）log [1-（1-a）m]]確定隨機(jī)采樣次數(shù)N，其中[pn]=0.95，m=4，a為數(shù)據(jù)錯誤率。

2） 在M組匹配點(diǎn)對中，利用分塊技術(shù)隨機(jī)抽取6個不同的塊并在這6塊中隨機(jī)選取6個特征點(diǎn)對，將其作為一個樣本[Qi（Qi1，Qi2，Qi3，Qi4，Qi5，Qi6）] 。

3） 在樣本[Qi]中隨機(jī)抽取4對特征點(diǎn)對，并用線性方程組求出臨時的變換矩陣[Hi]（[Hi1，Hi2，Hi3，Hi4，Hi5，Hi6，Hi7，Hi8，1]）。

4） 檢測另外2對特征點(diǎn)對是否都為初始變換矩陣H內(nèi)點(diǎn)集中的點(diǎn)，計(jì)算[di2（x，y）=d2（HQ，Q'）] （i=1，2，3，4，5，6）。若這2對特征點(diǎn)都滿足[di2

5） 將[Hi]視為候選變換矩陣，計(jì)算其他的（M-6） 對特征點(diǎn)對到變換矩陣[Hi]距離，找到并記錄下內(nèi)點(diǎn)集[Si]中的所有內(nèi)點(diǎn)的數(shù)目c以及變換矩陣[Hi]。

6） 判斷c是否大于C=（1-a）M。若條件成立，則用[Si]重新計(jì)算變換矩陣[Hi]，否則，返回第2步。

7） 經(jīng)過N次迭代隨機(jī)抽樣后，使用最大內(nèi)點(diǎn)集S計(jì)算最佳變換矩陣H（[H1，H2，H3，H4，H5，H6，H7，H8，]1），結(jié)束算法。

在隨機(jī)采樣的過程當(dāng)中可能會出現(xiàn)隨機(jī)選取的6個特征點(diǎn)距離很近的現(xiàn)象，這將導(dǎo)致求解出的變換模型既不穩(wěn)定也不準(zhǔn)確，為此，該文引入了平均分塊這一技術(shù)[7]。具體過程如下：首先記錄所有特征點(diǎn)中橫坐標(biāo)和縱坐標(biāo)的最大值與最小值，再將所有特征點(diǎn)所在的區(qū)域均勻的分為6*6塊。第二，在目標(biāo)圖像所分得的6*6塊中隨機(jī)抽取6個不同的塊；第三，在隨機(jī)抽取的6個塊中每塊隨機(jī)選取一個點(diǎn)并在參考圖像中找到與之相對應(yīng)的匹配點(diǎn)，就得到了6對分布較為均勻的特征點(diǎn)對。因此，用這樣6對分布比較均勻的特征點(diǎn)計(jì)算出來的變換矩陣H相對會更穩(wěn)定和準(zhǔn)確。

3 實(shí)驗(yàn)結(jié)果與分析

為了使所提出的基于特征點(diǎn)的圖像拼接算法得到有效的驗(yàn)證，該文采用普通的數(shù)碼相機(jī)拍攝來自不同視角的兩幅圖像。實(shí)驗(yàn)平臺為：Intel Core i3、3.30GHz、內(nèi)存2GB、win7操作系統(tǒng)、MATLAB R2012b編程。

本文選用分辨率大小為640*480的2幅實(shí)驗(yàn)室內(nèi)的圖像進(jìn)行圖像的拼接如圖2所示，使用MATLAB R2012b編程軟件作10次拼接測試，實(shí)驗(yàn)流程如圖1所示，最終拼接圖像如圖4所示。

（a）SIFT特征提取與匹配 （b）改進(jìn)RANSAC提純

通過測試計(jì)算出這兩幅圖像的關(guān)鍵特征點(diǎn)數(shù)、匹配點(diǎn)對數(shù)及平均拼接時間，待拼接圖像1和圖像2的關(guān)鍵特征點(diǎn)個數(shù)分別為1146和1306個，初始匹配特征點(diǎn)對為548對，RANSAC提純后的匹配點(diǎn)對為505對，改進(jìn)RANSAC提純的匹配點(diǎn)對為483對，改進(jìn)前后的平均拼接時間分別為4.13809s和3.17006s。

實(shí)驗(yàn)結(jié)果表明：采用預(yù)檢測即改進(jìn)的RANSAC算法有效去除了粗匹配點(diǎn)對中所存在的誤匹配點(diǎn)，并提高了正確匹配點(diǎn)對的概率，使得該算法的迭代次數(shù)減少。因此采用改進(jìn)的RANSAC算法在減少圖像拼接所用時間的同時提高了拼接的速度，不僅拼接效率得到了提高而且拼接效果也較好。

4 結(jié)束語

本文研究了一種基于SIFT和改進(jìn)RANSAC的穩(wěn)健圖像拼接算法。該算法首先使用SIFT算法提取出待拼接圖像的特征點(diǎn)；然后將提取出的特征點(diǎn)進(jìn)行特征匹配，其中使用了改進(jìn)的 RANSAC算法提純特征點(diǎn)對；最后采用簡單的加權(quán)平均法進(jìn)行圖像融合以得到最終的拼接圖像。SIFT算法保證了所要提取特征點(diǎn)位置的精確性及匹配的準(zhǔn)確性，改進(jìn)的RANSAC算法保證了所求取的變換矩陣的穩(wěn)健性，加權(quán)平均融合法保證了圖像重疊區(qū)域的平滑過渡，實(shí)現(xiàn)了圖像的無縫拼接。實(shí)驗(yàn)證明運(yùn)用本文方法進(jìn)行圖像拼接可以達(dá)到較好的效果。

參考文獻(xiàn)：

[1] 張琳，褚龍現(xiàn).基于全局拼接的航拍圖像拼接算法研究[J].計(jì)算機(jī)仿真，2012（04）：282-285+300.

[2] 阮芹，彭剛，李瑞等.基于特征點(diǎn)的圖像配準(zhǔn)與拼接技術(shù)研究[J].計(jì)算機(jī)與數(shù)字工程，2011，39（2）：141-144，183.

[3] Fischler M， Bolles R. Random sample consensus： A paradigm for model fitting with application to image analysis and automated cartography[J]. Communications of the ACM， 1981（24）： 381-395.

[4] 郝飛，陳文藝.基于特征點(diǎn)匹配的圖像拼接方法[J]. 西安郵電學(xué)院學(xué)報(bào)，2012，01：87-91.

[5] Lowe D G. Distinctive image features from scale-invariant key points. International Journal of Computer Vision， 2004， 60（2）： pp91-110.

[6] Lowe D G. Object recognition from local scale invariant features[C]//Proceeding of the Seventh International Conference on Computer Vision. Washington， DC：IEEE Computer Society， 1999：1150.

[7] 周定富，何明一，楊青，等.一種基于特征點(diǎn)的穩(wěn)健無縫圖像拼接算法[J].測控技術(shù)，2009，28（6）：32-36.