王小平，王建勇，楊 塤

(重慶城市管理職業(yè)學(xué)院，重慶401331)

基于Sobel算子和改進(jìn)SURF算法的圖像拼接方法

王小平，王建勇，楊 塤

(重慶城市管理職業(yè)學(xué)院，重慶401331)

針對基于SIFT算法的圖像拼接算法計算量大、算法復(fù)雜、匹配效率低的問題，提出一種基于Sobel算子和改進(jìn)SURF算法的圖像拼接方法。首先采用Sobel算子快速檢測圖像興趣點，然后利用改進(jìn)的SURF算法進(jìn)行圖像匹配，采用隨機(jī)抽樣一致性算法消除錯誤匹配點。最后對圖像通過加權(quán)平均法進(jìn)行圖像融合，消除拼接縫隙。實驗結(jié)果表明，與基于SIFT算法的拼接方法相比，該方法具有較好的匹配精度，方法容易實現(xiàn)，且在匹配階段具有更好的匹配效率，同時能夠更好地處理拼接縫隙。

Sobel算子;改進(jìn)SURF;圖像匹配;圖像融合

數(shù)字圖像拼接是利用計算機(jī)技術(shù)將一組或多組具有重疊信息的圖像經(jīng)過匹配和融合過程，獲得單幅寬視角、廣視場的圖像。圖像拼接能夠剔除圖像中的冗余信息，壓縮圖像信息量的存儲，將真實世界更加客觀而形象地表現(xiàn)出來。該技術(shù)廣泛應(yīng)用于遙感測量、海底勘探、醫(yī)學(xué)圖像處理、邊防巡邏等領(lǐng)域，如2013年10月，臺風(fēng)“菲特”造成的浙江余姚地區(qū)水災(zāi)，通過無人機(jī)航拍，然后進(jìn)行圖像拼接，為政府從大局把控災(zāi)情，進(jìn)而及時救災(zāi)治害提供可靠依據(jù)，因此研究圖像拼接技術(shù)具有十分重要的意義。圖像拼接過程有3個主要步驟:圖像預(yù)處理、圖像匹配和圖像融合，其中圖像匹配是最重要的一個步驟［1］。文獻(xiàn)［2］提出一種新的基于多尺度的Harris角點配準(zhǔn)方法，該方法通過將圖像分塊進(jìn)行角點檢測，來避免圖像角點分布不均的問題，最后根據(jù)圖像特征點的最近鄰和次近鄰的歐氏距離進(jìn)行匹配對的確定，有較好的匹配效率和匹配精度。文獻(xiàn)［3］針對復(fù)制粘貼偽造圖像鑒定中傳統(tǒng)方法的鑒定方式耗時較長的不足，提出一種非對稱搜索的圖像盲檢測算法，該算法是基于SIFT特征所具有的較好的匹配性能對疑似區(qū)域進(jìn)行初步定位，使得檢測效率比傳統(tǒng)方法提高了1～2個數(shù)量級。SURF算法是對SIFT算法的改進(jìn)，比SIFT算法的匹配效率高出2～3倍左右，但其匹配精度較SIFT算法低［4］。

本文提出一種基于Sobel算子的圖像拼接方法，通過提取圖像特征點，采用改進(jìn)的SURF算法進(jìn)行圖像匹配，用隨機(jī)抽樣一致性算法消除錯誤匹配點，提高匹配計算速率和匹配準(zhǔn)確率，在圖像融合階段采用加權(quán)平均法，消除拼接縫隙。

1 圖像匹配

圖像匹配就是在不同影像設(shè)備采集的并且存在一定重疊部分的兩幅圖像中尋找到相重合的點，然后利用尋找到的空間變換完成圖像對齊操作的過程。根據(jù)匹配所利用信息的不同，圖像匹配方法大致可歸納為3類:基于灰度、基于特征和基于變換域的圖像匹配方法等［5］。

SURF［6］(Speeded-Up Robust Features)算法是Herbert Bay在2006年提出的一種基于特征的圖像匹配算法，該算法是在SIFT［7］算法的基礎(chǔ)上改進(jìn)而來的，SURF算法具有優(yōu)良的尺度、旋轉(zhuǎn)、光照不變性，計算速度優(yōu)勢是其最突出的性能。SURF算法比SIFT算法的優(yōu)勢在于匹配階段的快速匹配，本文借助SURF算法的思想，對檢測到的特征點采用改進(jìn)的SURF算法進(jìn)行描述。SURF算法的極值點檢測過程是通過對圖像構(gòu)造尺度空間，然后采用Hessian矩陣并使用積分圖像來進(jìn)行特征點的檢測，構(gòu)造尺度空間的目的是得到穩(wěn)定的特征點，而采用Sobel算子得到的極值點具有很好的穩(wěn)定性［8］。

1.1 特征點提取與描述子的生成

Sobel主要是通過以一個像素點為中心，對周圍一定范圍內(nèi)的像素值做加權(quán)處理，進(jìn)而判斷該點是否處于極值狀態(tài)，Sobel算子將處于極值狀態(tài)的像素點標(biāo)記為邊緣點。具體過程如下:

1)Sobel算子采用3×3的模板進(jìn)行卷積計算，其函數(shù)矩陣為

3)由Gx，Gy可以計算得出

然后將提前設(shè)定的閾值和G(x，y)相比，如果閾值小于G(x，y)，則該點為邊緣點。

圖像檢測完極值點后，接下來對檢測到的點采用本文改進(jìn)的SURF算法進(jìn)行描述子的生成，本文改進(jìn)的SURF描述子的生成分為以下幾個步驟進(jìn)行:

1)以求得的特征點為中心，對半徑為6σ的圓域內(nèi)的任一點，求它們在x和y方向上的haar小波響應(yīng)系數(shù)。

2)然后以一個半徑為起點，取50°的扇形區(qū)域為計算區(qū)域，然后令該扇形區(qū)域在圓域內(nèi)逆時針方向旋轉(zhuǎn)，每隔30°換一個位置，并分別對這個扇形區(qū)域內(nèi)x和y方向的haar小波系數(shù)的和進(jìn)行計算。

3)該系數(shù)和形成一個向量，總共有12個向量，確定這12個向量中模最大的一個向量，然后將此向量的方向作為特征點的主方向。

4)接下來，選取上文所檢測到的一個特征點，并以該點為中心，將坐標(biāo)系旋轉(zhuǎn)到主方向，并作一個邊長為20σ的正方形，將此正方形分為4×4的小區(qū)域，分別計算每一個小區(qū)域內(nèi)像素的x和y方向的haar小波系數(shù)，小波方形在計算時的邊長為5σ×5σ，方向和主方向一致。

5)將步驟4)求得的方形區(qū)域內(nèi)的每一像素點的x和y方向的haar小波系數(shù)進(jìn)行求和操作，分別得到dx和dy，然后將該區(qū)域的每一點像素的haar小波系數(shù)的絕對值求和，分別得到∑dx，∑dy。

6)每個區(qū)域內(nèi)得到一個向量v=［∑dx，∑dy，∑|dx|，∑|dy|］，總共有16個區(qū)域，所有的子區(qū)域的窗口向量構(gòu)成了該描述子，其維數(shù)大小為4×4×4=64。

1.2 匹配

在匹配過程中，本文相似性度量采用的是歐氏距離，即用最近距離與次近距離之比，若該比值小于某個設(shè)定閾值，則認(rèn)為是最佳匹配，否則拋棄;該閾值設(shè)置越大，則得到的匹配對數(shù)目越多，否則，得到的匹配對數(shù)目越少，本文所用的相似性判斷閾值取值為0.8。

1.3 消除錯誤匹配

由于匹配圖像的不唯一性，不同類型的圖像對應(yīng)的歐氏距離比的閾值設(shè)置也不同，因此同一個相似性度量，可能存在部分圖像錯誤匹配對較少，部分圖像出現(xiàn)大量的錯誤匹配對。本文采用隨機(jī)抽樣一致算法［9］進(jìn)行錯誤匹配對的去除。隨機(jī)抽樣一致性(Random Sample Consensus，RANSAC)是由Fishler和Bolles在1981年提出的一種估計數(shù)學(xué)模型參數(shù)的迭代算法，該算法的優(yōu)點是隨著模型迭代次數(shù)的增加，樣本空間的準(zhǔn)確對應(yīng)點所占的比率進(jìn)一步得到提高。

在RANSAC算法中，有3個參數(shù)對算法去除錯誤匹配對的性能有較大影響，這3個閾值分別是估計次數(shù)、判定內(nèi)外點距離的閾值以及判斷一致性集合大小的閾值。

通過不同的視角方向?qū)ν粋€場景采集圖像，所采集的兩圖像之間存在某種一一對應(yīng)關(guān)系［7］，并且兩圖像X(x，y，1)T和X'(x'，y'，1)T之間滿足如下的透視變換關(guān)系

式中:左右兩邊存在的比例關(guān)系用“～”來表示;矩陣H有8個具有旋轉(zhuǎn)不變性的獨立變量，并且其滿足的透視變換關(guān)系可表示為

由式(7)、式(8)可看出，兩幅圖像間的變換關(guān)系可以通過4個對應(yīng)的像素匹配對來求取。

2 圖像融合

由1.3節(jié)計算出的變換關(guān)系，可以對兩幅圖像進(jìn)行變換，從而確定圖像之間的重疊區(qū)域，將兩幅圖像的匹配點進(jìn)行對齊操作，可以初步實現(xiàn)圖像的拼接。但是圖像在采集獲取過程中，由于各種各樣的干擾和光照影響等因素，使得圖像存在一定程度的亮度變化，這種差異會導(dǎo)致拼接后的圖像在拼接縫隙處出現(xiàn)亮度變化，使圖像拼接質(zhì)量下降。因此，圖像對齊后存在的拼接縫隙需要進(jìn)一步的處理，處理拼接縫隙的方法很多，圖像融合方法是較常見和效果較好的一類方法。

本文采用加權(quán)平均融合法進(jìn)行圖像的融合操作，處理拼接產(chǎn)生的縫隙。加權(quán)平均融合法的主要思想是:首先對重疊區(qū)域的圖像灰度值進(jìn)行加權(quán)平均，按一定的權(quán)值對每個像素點灰度進(jìn)行平均，然后進(jìn)行疊加處理［10］。計算公式為

式中:d1和d2分別是第一幅圖像和第二幅圖像中重疊區(qū)域?qū)?yīng)像素的權(quán)值，并且滿足d1+d2=1，0＜d1＜1，0＜d2＜1。適當(dāng)?shù)剡x擇權(quán)值，可以使得重疊區(qū)域?qū)崿F(xiàn)平滑過渡，同時消除拼接痕跡。

3 實驗結(jié)果與分析

為驗證本文方法的有效性，采用配置為Pentium 2.80 GHz，內(nèi)存為2 Gbyte的臺式計算機(jī)，在Windows XP系統(tǒng)下采用MATLAB進(jìn)行仿真驗證。

為驗證本文方法對旋轉(zhuǎn)、縮放、仿射變換以及亮度變化的魯棒性，本文采用國外計算機(jī)視覺領(lǐng)域?qū)I(yè)用于匹配測試的圖像對本文算法的匹配性能進(jìn)行測試，如圖1所示。其中，圖1a存在較大程度的縮放、旋轉(zhuǎn)和仿射變換，圖1b存在較大幅度的旋轉(zhuǎn)和圖像模糊，a、b兩組圖像能夠較理想地對圖像的縮放、旋轉(zhuǎn)、仿射、模糊等情況進(jìn)行測試。

圖1 測試圖像

對上述測試圖像用本文改進(jìn)的SURF算法進(jìn)行匹配，首先對測試圖像進(jìn)行Sobel特征點提取，然后將提取的特征點采用改進(jìn)的SURF算法進(jìn)行64維描述子的構(gòu)建，接著采用歐氏距離作為相似性判斷準(zhǔn)則進(jìn)行相似性判斷，獲得初始匹配對，最后對初始匹配對進(jìn)行RANSAC提純，消除錯誤匹配對，結(jié)果如圖2所示。

圖2 匹配結(jié)果

經(jīng)過仿真驗證，本文方法有較好的匹配效果，在圖2a測試結(jié)果中，匹配145對，正確匹配138對，匹配準(zhǔn)確率達(dá)到95.17%;在圖2b測試結(jié)果中，匹配413對，正確匹配396對，匹配的準(zhǔn)確率達(dá)到95.88%。除此以外，本文分別用本文匹配方法、SIFT算法、PCA-SIFT算法及SURF算法對5組不同類型的圖像進(jìn)行測試，為較快對本文方法的有效性進(jìn)行檢驗，本文選取的5組圖像均為分辨率較小的圖像。

對實驗的匹配準(zhǔn)確率和匹配時間進(jìn)行統(tǒng)計，結(jié)果如表1所示。

表1 實驗數(shù)據(jù)統(tǒng)計

通過表1中的數(shù)據(jù)統(tǒng)計可以發(fā)現(xiàn)，在匹配準(zhǔn)確率方面，與PCA_SIFT算法、SURF算法相比，經(jīng)典的SIFT算法在圖像匹配中的匹配準(zhǔn)確率較高，高出后兩者的2%～6%;與SIFT算法相比，本文方法在匹配準(zhǔn)確率方面優(yōu)勢較為明顯，高于SIFT算法6%～9%。在匹配時間方面，SIFT算法的效率明顯低于PCA_SIFT算法與SURF算法，本文算法在匹配時間方面優(yōu)勢明顯，大約為SIFT算法匹配時間的60%，同時高于PCA_SIFT算法與SURF算法。

最后，對圖像進(jìn)行對齊操作以后，應(yīng)用加權(quán)平均融合法對圖像進(jìn)行融合處理，因為本文的圖像匹配階段，具有較好的匹配精度，因此，圖像拼接的效果十分理想。對圖像進(jìn)行加權(quán)平均融合后，較好地處理了圖像的拼接縫隙，達(dá)到較理想的拼接目的。拼接實驗結(jié)果如圖3所示。

圖3 圖像拼接結(jié)果

4 結(jié)束語

本文提出一種改進(jìn)的圖像拼接方法，對圖像拼接的關(guān)鍵——圖像匹配步驟進(jìn)行改進(jìn)，結(jié)合Sobel算子提取算法的突出檢測性能，通過改進(jìn)的SURF算法進(jìn)行描述子構(gòu)建，最后經(jīng)過匹配和融合將圖像進(jìn)行拼接，具有良好的匹配精度和匹配效率，尤其在圖像像素點數(shù)目較多的時候，能獲得更好的匹配性能;并且通過圖像融合，能夠很好地處理拼接縫隙，實現(xiàn)圖像快速精準(zhǔn)拼接。在遙感圖像拼接、地理信息勘測等高分辨率圖像處理領(lǐng)域具有一定的應(yīng)用價值。

［1］劉春曉，金劍秋，彭群生.利用大位移視圖的自動可信圖像修補(bǔ)［J］.中國圖象圖形學(xué)報，2013，18(3):351-357.

［2］常麗萍，冀小平，趙梁.分塊的基于Harris角點檢測的圖像配準(zhǔn)方法［J］.電視技術(shù)，2013，37(1):45-47.

［3］杜振龍，楊凡，李曉麗，等.利用SIFT特征的非對稱匹配圖像拼接盲檢測［J］.中國圖象圖形學(xué)報，2013，18(4):442-449.

［4］羅楠，孫權(quán)森，耿蕾蕾，等.一種擴(kuò)展SURF描述符及其在遙感圖像配準(zhǔn)中的應(yīng)用［J］.測繪學(xué)報，2013，42(3):383-388.

［5］謝輝，劉瀏，李建勛.基于局部結(jié)構(gòu)特征的紅外與可見光圖像匹配［J］.計算機(jī)工程，2012，38(15):230-233.

［6］BAY H，TUVTELLARST，GOOL L.SURF:speeded up robust features［C］//Proc.the European Conference on Computer Vision.［S.l.］: IEEE Press，2006:404-417.

［7］ LOWE D.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60(2):91-110.

［8］吳麗麗，余春艷.基于Sobel算子和Radon變換的車牌傾斜校正方法［J］.計算機(jī)應(yīng)用，2013，33(S1):220-222.

［9］FISHLER M，BOLLES R.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381-395.

［10］宋寶森，付永慶，宋海亮.一種消除圖像拼接痕跡的新方法［J］.計算機(jī)科學(xué)，2011，38(2):260-264.

Image Stitching M ethod Based on Sobel Operator and Im proved SURF Algorithm

WANG Xiaoping，WANG Jianyong，YANG Xun
(Chongqing City Management College，Chongqing 401331，China)

Aim at the problem of SIFT-based algorithm of image stitching algorithm intensive calculation and complicated algorithm，low efficiency of thematching problem，amethod based on Sobel operator and improved image stitching method SURF algorithm is presented.Firstly，detecting image points of interest quickly by Sobel operator，and then doing imagematching algorithm by the improved SURF algorithm，and eliminating the error consistencymatch point by random sampling.Finally，eliminating splicing gap of image fusion by weighted averagemethod.Experimental results show that，compared with the imagemosaic method of SIFT algorithm，thismethod is easy to implement，and has a bettermatch efficiency and precision，at the same time thismethod can handle the splicing gap much better.

Sobel operator;improved surf;imagematching;image fusion

TN949.6

A

王小平(1973— )，碩士，副教授，主要研究方向為通信系統(tǒng)、數(shù)字信號處理、嵌入式系統(tǒng)開發(fā)等，為本文通訊作者;

?? 雯

2014－04－09

【本文獻(xiàn)信息】王小平，王建勇，楊塤.基于Sobel算子和改進(jìn)SURF算法的圖像拼接方法［J］.電視技術(shù)，2014，38(13).

國家自然科學(xué)基金項目(61275099)

王建勇(1983— )，碩士，講師，主要研究方向為圖像處理、通信網(wǎng)等;

楊 塤(1983— )，女，碩士，講師，主要研究方向為數(shù)字信號處理、通信技術(shù)。