陳　月，趙　巖，王世剛

(吉林大學(xué) 通信工程學(xué)院，吉林 長(zhǎng)春 130012)

?

圖像局部特征自適應(yīng)的快速SIFT圖像拼接方法

陳月，趙巖*，王世剛

(吉林大學(xué) 通信工程學(xué)院，吉林 長(zhǎng)春 130012)

摘要：針對(duì)目前圖像拼接中計(jì)算量較大、實(shí)時(shí)性較差的問題，本文提出了一種圖像局部特征自適應(yīng)的快速尺度不變特征變換(SIFT)拼接方法。首先，對(duì)待拼接圖像分塊，確定圖像局部塊的特征類型；接著自適應(yīng)采用不同的簡(jiǎn)化方法提取各局部塊的特征點(diǎn)。然后，通過特征匹配求出變換矩陣，并結(jié)合RANSAC算法去除偽匹配對(duì)。最后，通過圖像融合得到最終的拼接圖像。文中使用提出的方法對(duì)3組待拼接圖像進(jìn)行實(shí)驗(yàn)。從實(shí)驗(yàn)結(jié)果可以看出：與標(biāo)準(zhǔn)拼接方法相比，本文改進(jìn)方法的計(jì)算速度提升了30%～45%。因此，這種方法能夠在保證圖像拼接質(zhì)量的前提下，有效提高圖像拼接的效率，克服圖像拼接中計(jì)算復(fù)雜度高的問題，在實(shí)際圖像拼接中具有一定的應(yīng)用價(jià)值。

關(guān)鍵詞:圖像拼接；尺度不變特征變換；局部特征自適應(yīng)；特征類型

1引言

圖像拼接是圖像處理的基本問題之一，它是指將多幅存在部分重疊的圖像序列進(jìn)行空間匹配對(duì)準(zhǔn), 經(jīng)融合后形成一幅包含圖像序列信息的寬視角、高清晰的新圖像[1-5]。圖像拼接技術(shù)在計(jì)算機(jī)視覺、虛擬現(xiàn)實(shí)、遙感圖像處理、視頻監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用[6-8]。

1996年，微軟研究院的Richard Szeliski提出了基于運(yùn)動(dòng)模型的全景圖拼接算法[9]。之后，Shmuel Peleg提出了靈活性更高的圖像拼接模型，該模型具有一定的自適應(yīng)性，并將圖像做條帶化處理后進(jìn)行多重投影[10]。2007年，Brown等人提出了利用尺度不變特征提取算法進(jìn)行自動(dòng)圖像拼接[11]。2012年，Mahesh使用Harris探測(cè)特征點(diǎn)，提出了基于特征的圖像拼接方法[12]。圖像拼接中最重要的一個(gè)步驟就是特征提取，特征提取算法的好壞將直接決定拼接的質(zhì)量和效率。SIFT[13-16]算法所提取出的特征對(duì)于圖像亮度變化、尺度縮放、角度旋轉(zhuǎn)等都能夠保持不變，同時(shí)在仿射變換、視角變化以及噪聲干擾的情況下也能夠保持一定的穩(wěn)定性，在眾多的檢測(cè)子算法中，它被公認(rèn)為是比較有效且穩(wěn)定的方法[17]，因此SIFT一直是圖像拼接方法中常用的特征提取方法。

然而，目前基于SIFT的圖像拼接過程由于提取特征點(diǎn)數(shù)目較多、匹配耗時(shí)長(zhǎng)、計(jì)算量較大等而導(dǎo)致了實(shí)時(shí)性差的問題。因此，本文提出了一種圖像局部特征自適應(yīng)的快速SIFT圖像拼接方法，這種方法根據(jù)圖像局部特征類型，自適應(yīng)選擇簡(jiǎn)化方法進(jìn)行快速特征點(diǎn)提取，然后通過特征匹配獲得待拼接圖像的投影變換矩陣，最后得到拼接結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠有效降低整體圖像拼接過程的時(shí)間。

2基于SIFT的圖像拼接

圖像拼接的關(guān)鍵步驟為獲取待拼接圖像的特征點(diǎn)，找到兩幅圖像的對(duì)應(yīng)特征點(diǎn)，并利用這些點(diǎn)計(jì)算圖像間的投影變換矩陣，最后將圖像變換到一個(gè)坐標(biāo)系完成圖像的融合和拼接?；赟IFT的圖像拼接流程如圖1所示。

圖1　圖像拼接流程圖 Fig.1　Block diagram of image stitching

SIFT算法[13]由于其自身的魯棒特性，多年來一直是特征提取的經(jīng)典算法。其算法主要包括以下4個(gè)步驟：

(1)構(gòu)建尺度空間，對(duì)圖像建立高斯金字塔和高斯差分金字塔，檢測(cè)極值，得到候選特征點(diǎn)。

(2)上面過程得到的極值點(diǎn)是在離散空間內(nèi)搜索的，并且離散空間經(jīng)過了降采樣的處理，導(dǎo)致得到的候選特征點(diǎn)并非真正的特征點(diǎn)。所以使用擬合函數(shù)，精確得到連續(xù)空間上特征點(diǎn)的位置、尺度。

(3)計(jì)算特征點(diǎn)鄰域像素梯度的大小和方向，并用直方圖統(tǒng)計(jì)，獲得特征點(diǎn)的主方向及輔方向。

(4)通過以上步驟得到了特征點(diǎn)位置、尺度以及方向信息。利用特征點(diǎn)鄰域范圍內(nèi)像素的梯度信息，將以特征點(diǎn)為中心的窗口分為4×4=16個(gè)種子點(diǎn)，每個(gè)種子點(diǎn)計(jì)算8個(gè)方向梯度信息，得到128維的特征向量來描述此特征點(diǎn)，最終建立圖像的特征點(diǎn)描述符。

3改進(jìn)的快速SIFT圖像拼接

雖然基于SIFT的圖像拼接方法在圖像處理領(lǐng)域被廣泛應(yīng)用[18-21]，具有優(yōu)良特性，但是過程中提取出的特征點(diǎn)數(shù)目較多，使用128維向量來描述特征點(diǎn)計(jì)算量過大，實(shí)時(shí)性能無法保證，因此也限制了它的實(shí)際應(yīng)用?；谝陨蠁栴}，本文提出改進(jìn)方法，在不影響最終拼接效果的前提下，提升整體拼接過程的速度。

圖2　改進(jìn)的拼接方法流程圖 Fig.2　Flowchart of improved image stitching method

改進(jìn)方法拼接流程如圖2所示，其中虛線框內(nèi)為主要改進(jìn)部分。首先，將待拼接圖像分塊，借助方差描述圖像局部的復(fù)雜度，根據(jù)圖像各局部塊的復(fù)雜度統(tǒng)計(jì)值確定閾值，并根據(jù)灰度直方圖判斷各圖像局部塊所需使用的灰度級(jí)個(gè)數(shù)。接著對(duì)于不同復(fù)雜度的圖像局部塊，根據(jù)各自的特點(diǎn)自適應(yīng)進(jìn)行SIFT特征點(diǎn)檢測(cè)的簡(jiǎn)化操作。然后使用提取出的SIFT特征點(diǎn)實(shí)現(xiàn)特征匹配，并且應(yīng)用RANSAC算法去除誤匹配點(diǎn)。最后，得到待拼接圖像間的投影變換矩陣進(jìn)行拼接，并且對(duì)拼接縫隙融合得到最終拼接結(jié)果。

3.1確定圖像的局部特征類型

首先對(duì)圖像進(jìn)行分塊，確定圖像局部特征類型。具體操作過程如下：將待拼接圖像劃分為若干塊子區(qū)域，分別計(jì)算每個(gè)子區(qū)域的方差和灰度直方圖。灰度直方圖中某一灰度值處包含單一較窄尖峰，表示這一子塊內(nèi)的灰度值基本不變，子塊是平坦的，判定為平坦區(qū)，子塊對(duì)應(yīng)方差記為T1；若灰度直方圖尖峰對(duì)應(yīng)橫坐標(biāo)包含的位置長(zhǎng)度為2個(gè)灰度值，表示這一子塊主要有兩個(gè)灰度值，用兩個(gè)灰度級(jí)表示，判定為邊緣區(qū)，子塊對(duì)應(yīng)方差記為T2；若灰度直方圖尖峰對(duì)應(yīng)橫坐標(biāo)包含的位置長(zhǎng)度為3～15個(gè)灰度值時(shí)，用16個(gè)灰度級(jí)表示，判定為紋理區(qū)，子塊對(duì)應(yīng)方差記為T3；其余子塊圖像的灰度級(jí)均按原來的256個(gè)灰度級(jí)表示，判定為細(xì)節(jié)區(qū)。通過上述過程同時(shí)得到了圖像局部特征類型區(qū)分的復(fù)雜度閾值T1、T2、T3。

3.2自適應(yīng)特征檢測(cè)

(1)平坦區(qū)

對(duì)圖像局部復(fù)雜度區(qū)分后，對(duì)于局部特征平坦的圖像塊，特征信息不明顯，因此無需進(jìn)行特征點(diǎn)的提取，同時(shí)節(jié)省了時(shí)間開銷。

(2)邊緣區(qū)

對(duì)于局部特征判定為邊緣區(qū)的圖像塊，將其轉(zhuǎn)化為二值圖像。因?yàn)槎祱D像本身表示的輪廓更能反映圖像的內(nèi)容，同時(shí)對(duì)圖像進(jìn)行二值化處理也使圖像中的數(shù)據(jù)量大大減少。另外二值化處理過程類似于高斯模糊的過程，作用都是去除圖像細(xì)節(jié)，這樣通過二值處理后的圖像無需進(jìn)行SIFT算法中的高斯模糊過程，從而節(jié)省了時(shí)間。

邊緣區(qū)特征的提取主要是利用高斯尺度空間的信息。在之前的Corner檢測(cè)子算法[22]中，高斯尺度空間的信息是用來描繪特征點(diǎn)局部鄰域關(guān)系很有價(jià)值的特征。由于DoG金字塔是由高斯金字塔中相鄰兩層圖像相減得到的，所以高斯尺度空間同樣具有較多信息量。因此對(duì)于具有兩個(gè)灰度級(jí)的邊緣區(qū)圖像塊，僅需在高斯尺度空間內(nèi)提取差分特征信息以及Hessian矩陣的相關(guān)信息，高斯尺度空間特征如表1所示。其特征提取具體過程如下：首先對(duì)圖像塊進(jìn)行二值化處理，然后建立高斯金字塔，無需進(jìn)行高斯模糊，在高斯尺度空間中提取差分特征信息，然后再進(jìn)行后續(xù)的特征點(diǎn)極值定位[13]等操作。

表1　高斯尺度空間特征

(3)紋理區(qū)

對(duì)于判定為紋理區(qū)的圖像塊，為了加快計(jì)算速度，在進(jìn)行特征描述符表示時(shí)，將以特征點(diǎn)為中心的大小為8×8的窗口分成4個(gè)小塊，每個(gè)小塊大小為4×4，最終產(chǎn)生4個(gè)種子點(diǎn)，并計(jì)算每個(gè)種子點(diǎn)的梯度方向，對(duì)應(yīng)8個(gè)方向的方向信息，即最后產(chǎn)生4×8=32維的SIFT特征向量。

(4)細(xì)節(jié)區(qū)

對(duì)于圖像局部特征判定為細(xì)節(jié)區(qū)的圖像塊則按照傳統(tǒng)的SIFT算法[13]進(jìn)行特征點(diǎn)提取，每個(gè)特征點(diǎn)得到128維的SIFT特征向量。

3.3特征匹配

在對(duì)SIFT算法的應(yīng)用中，SIFT特征點(diǎn)的匹配一直是圖像拼接過程中至關(guān)重要的步驟。通常使用距離比值法來獲得兩幅圖像間的匹配點(diǎn)對(duì)。

本文采用了歐氏距離作為兩幅圖像特征點(diǎn)的相似性判定度量，使用基于BBF(Best Bin First)的k-d樹搜索算法尋找特征點(diǎn)的最近鄰和次近鄰。假設(shè)要找到目標(biāo)圖像中點(diǎn)p1的匹配點(diǎn),計(jì)算其與參考圖像中最近鄰點(diǎn)(記為q1)和次近鄰點(diǎn)(記為q2)的歐式距離,分別記為D11和D12。其中特征點(diǎn)間的歐氏距離可由式(1)計(jì)算得出。若距離比D11/D12小于某個(gè)閾值TH,則認(rèn)為p1和q1為一對(duì)合格的匹配點(diǎn)對(duì)，否則p1無匹配點(diǎn)。

(1)

式中，p1i和p2i分別為SIFT特征點(diǎn)p1、p2特征向量中的元素。

但這樣得到的匹配點(diǎn)對(duì)通常包含誤匹配點(diǎn)對(duì)，所以利用RANSAC算法對(duì)匹配點(diǎn)對(duì)進(jìn)行篩選，得到兩幅圖像間準(zhǔn)確的投影變換矩陣。

3.4圖像融合

使用得到的投影變換矩陣就可以對(duì)兩幅圖像進(jìn)行相應(yīng)的變換，確定圖像的重疊部分然后直接拼接，但是這種直接疊加像素點(diǎn)灰度值的拼接所得到的效果有限，通常會(huì)在拼接重合處留有接縫、鬼影等影響視覺的痕跡。為了優(yōu)化拼接縫隙、得到理想的拼接效果，本文采用加權(quán)平滑算法對(duì)拼接后的圖像進(jìn)行處理，從而消除拼接縫隙等對(duì)圖像的影響。

該算法通過其權(quán)值由0 到1 逐漸變化, 可以實(shí)現(xiàn)融合圖像的平滑過渡. 其中f1(x,y)和f2(x,y)分別代表待拼接的兩幅圖像,f(x,y)代表拼接完成的圖像,則加權(quán)平滑融合可表示為：

(2)

式中，w1和w2表示權(quán)值, 且w1+w2=1,運(yùn)算過程中w1由1 變到0,w2由0 變到1,從而能夠?qū)崿F(xiàn)兩幅圖像的平滑過渡。

4實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文所提出方法的有效性，在Windows XP操作系統(tǒng)下利用VS2010和Opencv2.3.1庫進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)分別采用文獻(xiàn)[11]方法和本文改進(jìn)方法對(duì)3組具有平移、旋轉(zhuǎn)以及仿射變換關(guān)系的圖像對(duì)進(jìn)行拼接。圖3為3組拼接所用的原始圖像，是由數(shù)碼相機(jī)拍攝采集的3組相互間有一定比例重疊的圖像，大小分別為297 pixel×216 pixel、309 pixel×225 pixel、308 pixel×401 pixel。圖4為圖3(a) 和圖3(b)拼接的結(jié)果圖。

圖3　3組待拼接原始圖像 Fig.3　Three groups of images to be stitched

圖4　使用本文方法的拼接結(jié)果 Fig.4　Stitching results using proposed method

從圖4中可以看到，本文方法對(duì)于平移、旋轉(zhuǎn)以及仿射變換的圖像對(duì)能夠正確拼接，并且拼接效果很好。其中以圖3(c) building圖像為例，文獻(xiàn)[11]方法和本文改進(jìn)方法在特征點(diǎn)提取階段的比較如表2所示?？梢钥吹?，由于本文改進(jìn)方法在特征點(diǎn)提取階段局部特征自適應(yīng)的簡(jiǎn)化，得到的特征點(diǎn)個(gè)數(shù)和特征點(diǎn)提取時(shí)間都有所降低。另外，文獻(xiàn)[11]方法和本文改進(jìn)方法所計(jì)算出的投影變換矩陣H1、H2分別為：

(3)

(4)

可以發(fā)現(xiàn)，兩個(gè)投影變換矩陣幾乎相同，說明雖然本文改進(jìn)方法由于簡(jiǎn)化導(dǎo)致了特征點(diǎn)個(gè)數(shù)的減少，但是得到的有效匹配點(diǎn)對(duì)仍然可以正確計(jì)算出變換矩陣，進(jìn)而實(shí)現(xiàn)準(zhǔn)確拼接并保證較好的拼接質(zhì)量。圖5為兩種方法得到的拼接效果圖對(duì)比，可以看到改進(jìn)方法的拼接效果和文獻(xiàn)[11]方法拼接效果一致，并未產(chǎn)生拼接誤差。

圖5　兩種方法拼接效果圖對(duì)比 Fig.5　Comparison of stitching effect by two methods

表3列出了文獻(xiàn)[11]方法和本文改進(jìn)方法對(duì)圖3所示的3組待拼接圖像整體拼接時(shí)間比較的結(jié)果，其中拼接時(shí)間為特征點(diǎn)提取、特征匹配以及圖像融合過程的時(shí)間總和。從表3中可以看出：本文改進(jìn)方法相比文獻(xiàn)[11]方法在整個(gè)圖像拼接過程中的計(jì)算速度分別提升了30%～45%，在保證良好的圖像拼接質(zhì)量的前提下，不同程度地降低了圖像拼接的時(shí)間，有效提高了最終圖像拼接的效率。

表3文獻(xiàn)[11]方法與本文改進(jìn)方法的拼接時(shí)間(單位：秒)

Tab.3 Stitching time of method in Ref. [11] and the proposed method　　　(Unit:s)

5結(jié)論

本文通過對(duì)基于SIFT的圖像拼接方法的深入研究和分析，在其基礎(chǔ)上提出了一種圖像局部特征自適應(yīng)的快速SIFT圖像拼接方法。本文方法在提取特征點(diǎn)之前，首先分析圖像局部塊的特征類型，根據(jù)圖像局部特征的不同，自適應(yīng)選擇合適的簡(jiǎn)化方法提取SIFT特征點(diǎn)，有效完成了SIFT特征點(diǎn)的快速提取，對(duì)整體拼接過程速度的提升起到重要作用。從最后的3組實(shí)驗(yàn)結(jié)果可以看出：本文方法可以有效克服傳統(tǒng)圖像拼接方法中計(jì)算量大、效率低的缺點(diǎn)，其計(jì)算速度較文獻(xiàn)[11]方法提升了30%～45%，能夠在保證良好拼接質(zhì)量的前提下，有效提高圖像拼接的效率，具有一定的實(shí)時(shí)性，在實(shí)際圖像拼接中具有一定的應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1]李宏升,張健.基于小波粗糙集算法的圖像拼接研究[J].液晶與顯示,2014,29(2):298-303.

LI H SH,ZHANG J. Image mosaic research based on wavelet and rough set algorithm[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(2):298-303.(in Chinese)

[2]史光輝,楊威.用于圖像拼接的電視攝像光學(xué)系統(tǒng)[J].中國光學(xué),2014,7(4):638-643.

SHI G H,YANG W. Optical system used to compose images in television photograph[J].ChineseOptics,2014,7(4):638-643.(in Chinese)

[3]張?jiān)品?基于DSP的實(shí)時(shí)圖像拼接技術(shù)[J].液晶與顯示,2013,28(6):963-967.

ZHANG Y F. Real-Time image mosaic technology based on DSP[J].ChineseJ.LiquidCrystalsandDisplays,2013,28(6):963-967.(in Chinese)

[4]何賓,陶丹,彭勃.高實(shí)時(shí)性F-SIFT圖像拼接算法[J].紅外激光工程,2013,42(S2):440-444.

HE B,TAO D,PENG B. High real F-SIFT image stitching algorithm[J].InfraredandLaserEngineering,2013,42(S2):440-444.(in Chinese)

[5]李軍,吳潔明.一種改進(jìn)圖像拼接算法的仿真研究[J].計(jì)算機(jī)仿真,2012,29(2):273-313.

LI J,WU J M. Simulation study of an improved image stitching algorithm[J].ComputerSimulation,2012,29(2):273-313.(in Chinese)

[6]王新華,王曉坤.十億像素瞬態(tài)成像系統(tǒng)實(shí)時(shí)圖像拼接[J].中國光學(xué),2015,8(5):785-792.

WANG X H,WANG X K. Real time image mosaic of the transient gigapixel imaging system[J].ChineseOptics,2015,8(5):785-792.(in Chinese)

[7]王新華,黃瑋,歐陽繼紅.多探測(cè)器拼接成像系統(tǒng)實(shí)時(shí)圖像配準(zhǔn)[J].中國光學(xué),2015,8(2):211-219.

WANG X H，HUANG W，OUYANG J H. Real-time image registration of the multi-detectors mosaic imaging system[J].ChineseOptics,2015,8(2):211-219.( in Chinese)

[8]CHEN J W,FENG H J,PAN K C,etal.. An optimization method for registration and mosaicking of remote sensing images[J].Optik-InternationalJ.LightandElectronOptics,2014,125(2):697-703.

[9]SZELISKI R. Video mosaics for virtual environments[J].ComputerGraphicsandApplications,1996,16(2):22-30.

[10]PELEG S,ROUSSO B,RAV-ACHA A,etal.. Mosaicing on adaptive manifolds[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(10):1144-1154.

[11]BROWN M,LOWE D G. Automatic panoramic image stitching using invariant features[J].InternationalJ.ComputerVision,2007,74(1):59-73.

[12]MAHESH,SUBRAMANYAM M V. Automatic image mosaic system using steerable Harris corner detector[J].MachineVisionandImageProcessing,2012:87-91.

[13]LOWE D G. Distinctive image features from scale-invariant keypoints[J].InternationalJ.ComputerVision,2004,60(2):91-110.

[14]許佳佳.結(jié)合Harris與SIFT算子的圖像快速配準(zhǔn)算法[J].中國光學(xué),2015,8(4):574-581.

XU J J. Fast image registration method based on Harris and SIFT algorithm[J].ChineseOptics,2015,8(4):574-581.(in Chinese)

[15]劉立,彭復(fù)員,趙坤,等.采用簡(jiǎn)化SIFT算法實(shí)現(xiàn)快速圖像匹配[J].紅外與激光工程,2008,37(1):181-184.

LIU L,PENG F Y,ZHAO K,etal.. Simplified SIFT algorithm for fast image matching[J].InfraredandLaserEngineering，2008,37(1):181-184.( in Chinese)

[16]王睿,朱正丹.融合全局顏色信息的尺度不變特征變換[J].光學(xué) 精密工程,2015,23(1):295-301.

WANG R,ZHU ZH D. SIFT matching with color invariant characteristics and global context[J].Opt.PrecisionEng.,2015,23(1):295-301.( in Chinese)

[17]LUO J,GWUN O. A comparison of SIFT, PCA-SIFT and SURF[J].InternationalJ.ImageProcessing(IJIP),2009,3(4):143-152.

[18]ANNIS F,KARTHIK R,VAIDEHI V. Image stitching with combined moment invariants and SIFT features[J].ProcediaComputerScience,2013,19:420-427.

[19]王燦進(jìn),孫濤,陳娟.局部不變特征匹配的并行加速技術(shù)研究[J].液晶與顯示,2014,29(2):266-273.

WANG C J,SUN T,CHEN J. Speeding up local invariant feature matching using parallel technology[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(2):266-273.(in Chinese)

[20]韓冬松,何昕,魏仲慧,等.采用區(qū)域特征匹配的三維彈痕自動(dòng)配準(zhǔn)[J].液晶與顯示,2014,29(5):761-767.

HAN D S,HE X,WEI ZH H,etal.. Automatic registration of 3-D bullet marks by matching regional feature[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(5):761-767.(in Chinese)

[21]聶海濤,龍科慧,馬軍,等.采用改進(jìn)尺度不變特征變換在多變背景下實(shí)現(xiàn)快速目標(biāo)識(shí)別[J].光學(xué) 精密工程,2015,23(8):2349-2356.

NIE H T,LONG K H,MA J,etal.. Fast object recognition under multiple varying background using improved SIFT method[J].Opt.PrecisionEng.,2015,23(8):2349-2356.( in Chinese)

[22]HARRIS C,STEPHENS M. A combined corner and edge detector[C]. Proceedings 4th Alvey Vision Conference,1988,147-151.

收稿日期:2016-03-18；

修訂日期:2016-04-28

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目(No.61271315)

文章編號(hào)2095-1531(2016)04-0415-08

中圖分類號(hào)：TN919.8

文獻(xiàn)標(biāo)識(shí)碼:A

doi:10.3788/CO.20160904.0415

作者簡(jiǎn)介：

陳　月(1991—)，女，吉林長(zhǎng)春人，碩士研究生，2014年于吉林大學(xué)獲得學(xué)士學(xué)位，主要從事圖像拼接方面的研究。E-mail:chenyue14@mails.jlu.edu.cn

趙　巖(1971—)，女，吉林遼源人，教授，博士生導(dǎo)師，2003年于吉林大學(xué)獲得博士學(xué)位，主要從事圖像與視頻編碼和立體視頻處理方面的研究。E-mail:zhao_y@jlu.edu.cn

Fast image stitching method based on SIFT with adaptive local image feature

CHEN Yue, ZHAO Yan*, WANG Shi-gang

(CollegeofCommunicationEngineering,JilinUniversity,Changchun130012,China)*Correspondingauthor,E-mail:zhao_y@jlu.edu.cn

Abstract:Aiming at the massive calculation burden and poor real-time performance of the existing image stitching methods, a fast image stitching method based on fast Scale Invariant Feature Transform(SIFT) algorithm with adaptive local image feature is proposed in this paper. Firstly, the images are divided into blocks. And the feature types of thses local image blocks are determined. The feature points of the local image blocks are extracted using different simplified method adaptively. Secondly, we use feature matching to get the transform matrix and the RANSAC algorithm is applied to remove the wrong matching point pairs. Finally, the stitched image can be obtained by image blending. In this paper, three groups of to-be-stitched images are used to test the performance of the proposed method. Experimental results show that compared with the standard stitching algorithm, the calculation speed by the proposed method is increased by about 30%-45%. In conclusion, the proposed method improves the stitching efficiency and efficiently overcomes the shortcomings of heavy computation in the process of image stitching while it consistently guarantees the quality of stitched image. It has a certain application value in the actual image stitching.

Key words:image stitching;Scale Invariant Feature Transform(SIFT);adaptive local feature;feature type

Supported by National Natural Science Foundation of China(No.61271315)