韓偉東,閔士桐

(東北大學(xué) 理學(xué)院,沈陽 110004)

圖像拼接研究已有數(shù)十年,拼接算法也較為成熟.近年來,關(guān)于灰度信息的方法研究也逐漸減少,現(xiàn)在提出關(guān)于彩色圖像的CSIFT[1](A SIFT Descriptor with Color Invariant Characteristics)算法,對(duì)于醫(yī)學(xué)圖像和遙感圖像拼接研究占了很大比例.利用Harris算子提取特征[2]時(shí),由于無法去除誤配點(diǎn)對(duì),Capel[3]在利用Harris算子提取特征點(diǎn)的同時(shí),引入RANSAC (Random Sample Consensus)[4]算法,去除由Harris提取的誤配點(diǎn)對(duì),進(jìn)一步提高精度.而Harris算法不能處理尺度變換圖像.Lowe在文獻(xiàn)[5]中提出SIFT (Scale Invariant Feature Transform)算法及改進(jìn).提取特征的算法還有點(diǎn)特征提取算子 (如Harris算子和改進(jìn)算子、Susan算子及其改進(jìn)算子[6])、線特征提取算子 (如LOG算子[7]、Canny算子及其改進(jìn)算子[8])和區(qū)域特征提取算子[9]等.2001年,EFROS提出了基于圖像渲染的紋理合成算法[10],進(jìn)行了對(duì)紋理渲染以及合成.2012年,Xu基于相對(duì)總變差模型的圖像結(jié)構(gòu)提取方法.本文將利用這種算法與圖像配準(zhǔn)算法相結(jié)合,處理紋理多、背景復(fù)雜的圖像拼接問題.

1 圖像配準(zhǔn)概念

相機(jī)將三維空間場(chǎng)景拍成二維是一種映射關(guān)系.拍攝時(shí),世界坐標(biāo)系 (Xw,Yw,Zw)、相機(jī)坐標(biāo)系 (XC,YC,ZC)、圖像坐標(biāo)系 (X,Y)三者關(guān)系[11]如圖1所示.

圖1 相機(jī)成像坐標(biāo)系

點(diǎn)由世界坐標(biāo)系到相機(jī)坐標(biāo)系,最后在投影到圖像平面上.圖像配準(zhǔn)就是對(duì)這種圖像變換的關(guān)系進(jìn)行求解,使得兩幅圖像上對(duì)應(yīng)像素點(diǎn)位置保持一致.對(duì)于參考圖像I1和帶配準(zhǔn)圖像I2,在點(diǎn) (x,y)處的灰度值可以分別表示為I1(x,y)和I2(x,y),則兩幅圖像可以表示為:

圖像配準(zhǔn)目的是找到映射T,使得將兩幅圖變換為同一坐標(biāo)系.

對(duì)圖像處理的配準(zhǔn)方法有如下3類:

1)基于圖像灰度信息的配準(zhǔn)方法

利用搜索算法找出時(shí)的相似度最有變換模型.基于圖像灰度信息的配準(zhǔn)方法一般可以分為3類:基于互相關(guān)法[12]、基于序貫相似度檢測(cè)匹配法[13]、基于互信息法[14].

2)基于變換域內(nèi)信息的配準(zhǔn)方法

利用傅立葉變換為基礎(chǔ)進(jìn)行頻域內(nèi)的配準(zhǔn).算法具有一定抵抗噪聲的魯棒性.

3)基于圖像特征信息的配準(zhǔn)方法

提取點(diǎn)、線、邊緣等特征信息,減少計(jì)算量、提高時(shí)間效率,對(duì)圖像的灰色變化有一定魯棒性.

2 圖像結(jié)構(gòu)信息的拼接算法 (SKM)

對(duì)于兩幅或多幅圖像進(jìn)行拼接時(shí),提取出的圖像特征點(diǎn)的好壞對(duì)圖像拼接具有巨大影響.

SIFT (Scale-Invariant Feature Transform)[1]算法是一種較好的局部特征提取算法.但是在存在較多的紋理結(jié)構(gòu)噪聲的圖像中,利用SIFT算法提取特征點(diǎn),會(huì)提取數(shù)量較大的特征點(diǎn),影響匹配的效率和準(zhǔn)確性.如圖2流程圖所示,本文引用RTV (Relative Total Variation)算法[15]提取圖像結(jié)構(gòu)信息,有效地去除圖像紋理噪聲.在此基礎(chǔ)上再對(duì)結(jié)構(gòu)圖像進(jìn)行SIFT特征的提取與匹配,然后利用RANSAC (RANdom SAmple Consensus)[4]算法對(duì)匹配進(jìn)行篩選,并將左右兩側(cè)的圖像進(jìn)行亮度調(diào)整.由SKM算法得到變換矩陣H,作用于兩幅原圖像,完成圖像的拼接.

圖2 SKM算法流程圖

2.1 基于總變差模型的圖像主結(jié)構(gòu)提取算法

圖像紋理的去除選用既有的基于相對(duì)總變差模型的紋理結(jié)構(gòu)提取方法 (RTV)[15],在圖像拼接之前對(duì)給定的兩幅照片進(jìn)行主結(jié)構(gòu)提取,然后進(jìn)行拼接.該算法較其之前的雙邊過濾等算法處理圖像的程度更強(qiáng),效果也更加明顯,可以充分保證對(duì)可能出現(xiàn)在紋理之上的特征點(diǎn)的過濾.

在此算法中,定義總變差量度:

其中,q屬于以像素p為中心的矩形區(qū)域R(P).Dx(p)和Dy(p)是x和y方向上對(duì)于像素p的圖像總變化,用來計(jì)算R(P)內(nèi)部的絕對(duì)空間差異.gp,q是加權(quán)函數(shù),表示為:

其中,σ控制窗口的空間尺度.在紋理突出的圖像中,表明圖像總變化的細(xì)節(jié)像素和的結(jié)構(gòu)像素變差量度 D 都對(duì)視覺顯著性有作用.

為了幫助區(qū)分突出的結(jié)構(gòu)和紋理元素,需要計(jì)算圖像固有的變化量,表示為:

L捕獲整體空間變化.因?yàn)榫头较蚨?一個(gè)像素的?S的符號(hào)可能是正的或負(fù)的,所以?S的符號(hào)取決于圖像中的顏色梯度是否一致.

由于一個(gè)局部圖像中的邊緣比復(fù)雜圖案的紋理能提供更多相近方向的漸變,算法假定在一個(gè)圖像中產(chǎn)生的L 包含的紋理通常小于圖像中包括結(jié)構(gòu)邊緣的紋理,即噪聲的變差要比圖像的自然變化產(chǎn)生的基本變差大.為進(jìn)一步增強(qiáng)紋理與結(jié)構(gòu)之間的對(duì)比 (尤其對(duì)于視覺上顯著的區(qū)域),將D 與L 組合形成一個(gè)更有效的紋理分解正則化器.從圖像中去除紋理的效果由正則化器引導(dǎo),該項(xiàng)稱為相對(duì)總變差 (RTV).目標(biāo)函數(shù)最終表示為:

其中,(Sp-Ip)2可使輸入和結(jié)果不會(huì)產(chǎn)生較大偏差.從圖像中去除紋理的效果由正則化器引導(dǎo),該項(xiàng)稱為相對(duì)總變差 (RTV).λ為權(quán)重.ε為一小量,從而使分母不為0.

通過求解該最小值來提取結(jié)構(gòu)圖像.以x方向?yàn)槔?

設(shè)

其中,Gσ為標(biāo)準(zhǔn)差為σ的Gaussian核函數(shù),*表示卷積.y方向討論類似.原目標(biāo)函數(shù)可以寫成矩陣形式:

其中,vS和vI分別代表S和I的兩個(gè)列向量,Cx和Cy是向前差分梯度算子的Toeplitz矩陣,Ux,Wx,Uy,Wy為對(duì)角矩陣,對(duì)角元素分別為Ux[i,i]=Uxi,Uy[i,i]=Uyi,Wx[i,i]=Wxi,Wy[i,i]=wyi.模型最終表示為:

在計(jì)算機(jī)程序中,RTV算法函數(shù)有兩個(gè)主要參數(shù)λ和ε.λ參數(shù)控制處理強(qiáng)度,取值范圍為 (0,0.05];ε參數(shù)控制最終結(jié)果的銳度,該值越小,結(jié)果圖像的銳度越高,取值范圍為 (0.001,0.03].

2.2 基于結(jié)構(gòu)信息的配準(zhǔn)算法

SIFT算法基于尺度空間理論[16],對(duì)于圖像的縮放、旋轉(zhuǎn)、仿射變換保持較好的穩(wěn)定性.SIFT算子可以在紋理較少的圖像中提取更多特征,具有良好的性質(zhì).但在較多紋理的圖像中,該算子將提取較多的特征點(diǎn).所以對(duì)于一般具有較多紋理噪聲的圖像,利用RTV算法對(duì)圖片紋理處理,再利用SIFT特征點(diǎn)的提取進(jìn)行匹配.通過由SKM算法得到的變換矩陣H作用于原始圖像,從而完成對(duì)圖像進(jìn)行拼接.

SIFT算法實(shí)現(xiàn)[17]如下:

1)構(gòu)建圖像的尺度空間

文獻(xiàn)[18,19]中Lindeberg等人證明Gaussian核是實(shí)現(xiàn)尺度變換的唯一線性變換核.圖像的尺度空間L(x,y,σ)可以定義為圖像I(x,y)與高斯核函數(shù)G(x,y,σ)的卷積,

其中,σ是尺度因子,σ越小,在視覺上圖像就越清晰,σ越大,圖像越模糊,表示卷積,(x,y)代表像素的位置.

為了在尺度空間中檢測(cè)到穩(wěn)定的特征值點(diǎn),采用高斯差分尺度空間 (DoG空間,即Difference of Gaussian scale-space),DoG算子定義為兩個(gè)相鄰尺度的Gaussian核間的差分,公式表示為:

其中,k表示兩個(gè)相鄰尺度空間倍數(shù)的常數(shù).

式(14)是由尺度歸一化的LoG (Laplace of Gaussian)函數(shù) σ2?2G近似得到,LoG算子的極值能夠產(chǎn)生穩(wěn)定的圖像特征.用DoG算子來代替尺度歸一化的LoG算子進(jìn)行極值檢測(cè),在實(shí)際計(jì)算過程中,將高斯金字塔 (如圖3)中每組圖像中的相鄰的上下兩幅圖像的像素值相減,得到高斯差分圖像.

圖3 高斯金字塔模型

如圖4,左邊的圖像是由初始圖像開始形成的高斯金字塔圖像,每一階的第一個(gè)圖像是由上一階的最后的高斯圖像進(jìn)行降采樣得到的.

2)空間極值點(diǎn)的檢測(cè)

對(duì)尺度空間DoG函數(shù)進(jìn)行曲線擬合 (子像素插值),利用DoG函數(shù)在尺度空間Taylor展開.

圖4 高斯差分圖像的形成

將修正因子代入,得到:

上式去除那些對(duì)比度較低的不穩(wěn)定極值點(diǎn).Lowe的試驗(yàn)顯示,所有取值小于0.04的極致點(diǎn)均可舍去.

DoG算子具有較強(qiáng)的邊緣響應(yīng)現(xiàn)象,一個(gè)較差的DoG算子的極值在橫跨邊緣的地方有較大的主曲率,而在垂直邊緣的方向有較小的主曲率.主曲率可由Hessian矩陣得到:

H的特征值α和β代表x和y方向的梯度:

D的主曲率和H的特征值成正比,其中α和β分別為矩陣H中的較大與小特征值.令α=γβ,則

當(dāng)γ越大時(shí),即在某一個(gè)方向的梯度值越大,而在另一個(gè)方向的梯度值越小,(γ+1)2/γ值越大,為了剔除這樣的邊緣響應(yīng)點(diǎn),需要設(shè)置一個(gè)閾值R(在Lowe的文章中,R取10),可通過如下公式來檢測(cè)判斷是否需要剔除極值點(diǎn),

3)特征點(diǎn)方向分配與描述向量的生成

為使算子具有旋轉(zhuǎn)不變性,利用特征點(diǎn)的鄰域像素梯度給分配一個(gè)方向參數(shù).對(duì)在DoG金字塔中求得的特征點(diǎn),求其所在的金字塔圖像中3σ鄰域內(nèi)像素點(diǎn)的梯度和方向分布,梯度的大小及方向?yàn)?

用一個(gè)梯度方向的直方圖進(jìn)行統(tǒng)計(jì),范圍0～360度,其中每10度一個(gè)柱.每個(gè)采樣點(diǎn)按照其梯度方向θ(x,y)加權(quán)統(tǒng)計(jì)到直方圖,權(quán)值為幅度m(x,y)和貢獻(xiàn)因子的乘積.貢獻(xiàn)因子是采樣點(diǎn)到關(guān)鍵點(diǎn)距離的量度,距離越大,貢獻(xiàn)因子越小.直方圖的峰值代表了該關(guān)鍵點(diǎn)處鄰域梯度的主方向.

接著將坐標(biāo)軸的方向旋轉(zhuǎn)為特征點(diǎn)的主方向,并以特征點(diǎn)為中心選取16×16的鄰域窗口,將窗口平均地劃分為16個(gè)4×4的區(qū)域,在區(qū)域內(nèi)求取8個(gè)分區(qū)的梯度直方圖,利用 Gaussian函數(shù)進(jìn)行加權(quán)處理,如圖5所示,得到一個(gè)16×8維的向量,最后將向量進(jìn)行歸一化處理,減少光照的影響,生成特征點(diǎn)的描述向量.

圖5 圖像描述算子的生成

圖5中左圖為特征描述子生成時(shí)其四分之一的像素的梯度方向,圓圈表示高斯加權(quán)的范圍,右圖為加權(quán)到8個(gè)方向后生成的描述子.

4)特征點(diǎn)匹配與篩選

以特征向量的歐氏距離作為特征點(diǎn)判定相似性的度量,取圖像中某個(gè)特征點(diǎn),找出與另一圖像中距離最近的兩個(gè)特征點(diǎn),如果最近距離與次近距離的比值小于某個(gè)閾時(shí)就接受這對(duì)匹配點(diǎn),閾值一般取0.4～0.6之間.閾值越小,求出的匹配點(diǎn)對(duì)越少,匹配的穩(wěn)定性越高.最后利RANSAC算法篩選匹配點(diǎn)[20-22],去掉匹配錯(cuò)誤的點(diǎn),提高匹配精度.利用這個(gè)模型測(cè)試所有數(shù)據(jù),并計(jì)算滿足這個(gè)模型數(shù)據(jù)點(diǎn)的個(gè)數(shù)與投影誤差 (即代價(jià)函數(shù)),選出最優(yōu)模型即代價(jià)函數(shù)最小.

具體步驟如下:

(1)從匹配點(diǎn)集中隨機(jī)選出4組匹配點(diǎn)對(duì).

(2)計(jì)算變換矩陣H:

其中,s是尺度參數(shù).

(3)通過變換矩陣H,對(duì)匹配點(diǎn)進(jìn)行變換,并設(shè)置誤差度量函數(shù),如果匹配點(diǎn)對(duì)變換后不超過誤差,則認(rèn)為是一致集中的元素,遍歷完所有點(diǎn)對(duì)后,返回一致集中的元素個(gè)數(shù).根據(jù)一致集中的元素個(gè)數(shù)判斷是否為最優(yōu),若是則更新最優(yōu)一致集.

(4)更新當(dāng)前的錯(cuò)誤概率,若大于允許的最小概率則重復(fù) (1)到 (3)迭代,知道小于最小概率時(shí)結(jié)束.

SIFT算法在特征匹配過程中,要對(duì)128維的特征描述向量進(jìn)行計(jì)算,匹配時(shí)計(jì)算量較大.特別是在紋理較多的圖像中,提取的特征點(diǎn)個(gè)數(shù)較多,計(jì)算量就更大了.而生活中的場(chǎng)景一般有較多紋理結(jié)構(gòu),所以利用基于結(jié)構(gòu)信息拼接算法(Structural Keypoint Matching,SKM),采用基于RTV的圖像主結(jié)構(gòu)提取算法來像的結(jié)構(gòu),并在提取的結(jié)構(gòu)圖像中進(jìn)行SIFT特征點(diǎn)的提取與匹配特征點(diǎn)的提取與匹配,這樣可以避免圖像中細(xì)致紋理噪聲在圖像特征提取過程的影響.

SIFT算法在求特征點(diǎn)時(shí),若提取了較多的特征點(diǎn),就會(huì)占據(jù)較多內(nèi)存空間來儲(chǔ)這些特征點(diǎn)描述向量,尤其是在高分辨率的圖像中,并且隨著提取特征點(diǎn)數(shù)量的增加會(huì)極大地增加特征點(diǎn)匹配時(shí)的計(jì)算量.而SKM算法提取圖像的主結(jié)構(gòu)后,去掉了紋理噪聲,會(huì)使特征點(diǎn)數(shù)減少,從而減少計(jì)算量.下面以圖6、圖7兩幅紗窗示意圖為例,介紹基于信息結(jié)構(gòu)的圖像拼接算法.

分別對(duì)圖6和圖7進(jìn)行主結(jié)構(gòu)提取,去除紋理.

如圖8所示,可以發(fā)現(xiàn)大部分細(xì)節(jié)紋理噪聲都被消去,并保留了圖像的主要結(jié)構(gòu)特征,同時(shí)對(duì)其進(jìn)行SIFT特征點(diǎn)的提取.

圖6 紗窗左側(cè)圖

圖7 紗窗右側(cè)圖

圖8 提取與匹配

最后根據(jù)特征點(diǎn)匹配的結(jié)果,求出圖像變換模型矩陣的參數(shù).通過仿射變換,以及得出的模型參數(shù)對(duì)圖像進(jìn)行變換和拼接,得到最終圖像,如圖9所示.

圖9 變換拼接圖

3 實(shí)驗(yàn)分析與討論

3.1 圖像去紋理效果分析

對(duì)圖像去除紋理可以使圖像的顏色變化趨于連續(xù),在物體和圖案的頂點(diǎn)處的特征點(diǎn)更容易識(shí)別,若進(jìn)行直接拼接,有些情況下會(huì)造成平行的特征點(diǎn)匹配,或者在某一小范圍區(qū)域出現(xiàn)大量特征點(diǎn)對(duì).這些特征點(diǎn)對(duì)后面的拼接過程起到的作用相當(dāng),因此即使去除一部分也不會(huì)對(duì)拼接造成困難.在進(jìn)行紋理去除后,上述現(xiàn)象有了明顯的改善,特征點(diǎn)較原來可減少一半以上.

由2.1的理論分析知,λ為比較特征差異的程度,λ增大時(shí),由該部分構(gòu)成的方程 (7)在求解時(shí)將更偏重于此項(xiàng),故λ可以簡(jiǎn)化看作為去紋理強(qiáng)度.

在實(shí)際應(yīng)用過程中,發(fā)現(xiàn)只需取較小的處理強(qiáng)度值λ即可將紗窗網(wǎng)格去除.另外,當(dāng)采用不同的λ值時(shí),該方法對(duì)圖像的特征點(diǎn)篩選作用也略有不同.

為了達(dá)到最好效果,即在保證圖像固有元素的完整性和可區(qū)分性的基礎(chǔ)之上,盡量少地保留特征點(diǎn),分別對(duì)λ值進(jìn)行了在0.1和0.01的數(shù)量級(jí)上的改動(dòng)(這里進(jìn)行的是逐步縮小區(qū)間的做法,需要大量試驗(yàn),只展示一組圖像,如圖10-圖12所示),最終發(fā)現(xiàn)只需λ值在(0,0.03]范圍時(shí),能夠得到較好效果,當(dāng)超過0.05時(shí),效果便不再顯著,且圖像清晰度會(huì)大幅下降.

圖10 RTV 算法測(cè)試圖 (λ=0.005,σ=2)

圖11 RTV 算法測(cè)試圖 (λ=0.01,σ=2)

圖12 RTV 算法測(cè)試圖 (λ=0.05,σ=2)

對(duì)于另一個(gè)參數(shù)銳度,在允許范圍內(nèi)更改其值,沒有發(fā)現(xiàn)拼接過程有很大變化.分析其原因,應(yīng)為銳度值與圖像的細(xì)致程度為正相關(guān),不能符合減少特征點(diǎn)的目標(biāo).

3.2 對(duì)虛影的處理結(jié)果分析

相對(duì)于RTV算法對(duì)紋理的去除及對(duì)后續(xù)拼接的影響,其對(duì)拼接產(chǎn)生的虛影的去除效果并不明顯.事實(shí)上,由于固有拼接方法在最后的拼接處理時(shí),將兩幅圖像的對(duì)應(yīng)像素做線性組合,這種連續(xù)變化的模糊像素與網(wǎng)格等有明顯特征的、與附近需保留的像素在RGB顏色數(shù)值上形成突躍的紋理有一定區(qū)別,不一定能被RTV算法的提取紋理結(jié)構(gòu)的系統(tǒng)所識(shí)別,因此處理效果較不明顯,但實(shí)驗(yàn)發(fā)現(xiàn)加強(qiáng)處理強(qiáng)度后同一色塊中的像素會(huì)相互影響進(jìn)而融為一體,故僅僅在相近顏色的像素被RTV處理之后,虛影有一定減弱的程度.

3.3 匹配率對(duì)比和SKM的算法評(píng)價(jià)

實(shí)驗(yàn)的結(jié)果中主要有下列參考值以評(píng)判幾種算法的性能:

(1)特征點(diǎn)數(shù)

特征點(diǎn)是拼接圖像的基礎(chǔ).特征點(diǎn)的數(shù)量與計(jì)算量、準(zhǔn)確度等后續(xù)要素都密切相關(guān),保證特征點(diǎn)數(shù)在合理范圍內(nèi),是算法的首要目標(biāo).

(2)圖像匹配率

圖像配準(zhǔn)后對(duì)配準(zhǔn)的圖像進(jìn)行圖像拼接,根據(jù)特征點(diǎn)的匹配率來評(píng)價(jià)拼接圖像的效果.匹配率越高,說明算法的對(duì)特征點(diǎn)的利用程度越強(qiáng),算法的運(yùn)行更加高效而浪費(fèi)的數(shù)據(jù)資源越少.

下面由兩組實(shí)驗(yàn)測(cè)試SKM算法與經(jīng)典特征點(diǎn)算法的各個(gè)參數(shù)之間的對(duì)比和實(shí)驗(yàn)效果.

第一組測(cè)試中,如圖13、圖14所示,以紋理較多的墻面和地磚為實(shí)驗(yàn),測(cè)試SKM算法和經(jīng)典算法下特征點(diǎn)數(shù)及匹配率.如表1所示.

圖13 經(jīng)典算法下的特征點(diǎn)匹配圖像

圖14 SKM算法下的特征點(diǎn)匹配圖像

表1 兩種算法對(duì)第一組測(cè)試圖像配準(zhǔn)的性能比較

由表1可以看出,SKM算法所確定的特征點(diǎn)僅為經(jīng)典算法的60%-70%,在運(yùn)算次數(shù)與其平方成正比的匹配過程中,該特質(zhì)有效減少了特征點(diǎn)匹配時(shí)的計(jì)算量,由于去噪作用,對(duì)拼接產(chǎn)生干擾的特征點(diǎn)被篩去,進(jìn)而匹配率也有所提升.通過對(duì)比可知,SKM算法的特征點(diǎn)配對(duì)數(shù)要比經(jīng)典算法少很多,而特征點(diǎn)的匹配效果還是很好的.

通過類似的一些圖像配準(zhǔn)實(shí)驗(yàn),很容易發(fā)現(xiàn),在紋理較多的圖像中,SKM算法的效率比經(jīng)典算法的效率要高,且保證了配準(zhǔn)的確性性.甚至在背景十分復(fù)雜的圖像中,SKM算法的優(yōu)勢(shì)更加明顯.

4 實(shí)驗(yàn)結(jié)果對(duì)比與分析

實(shí)驗(yàn)采用了紗窗、涂鴉墻、籃球場(chǎng)網(wǎng)圖、馬路等背景復(fù)雜且噪聲較多的圖像作為研究對(duì)象.在導(dǎo)入圖像之后,立即對(duì)圖像做去紋理的處理.由于處理后的輸出為兩個(gè)圖像矩陣,需將其再轉(zhuǎn)化為圖像格式.經(jīng)此步后轉(zhuǎn)而進(jìn)行圖像拼接處理.

在圖像處理過后,利用SKM算法算出變換矩陣H,由此得到最終輸出結(jié)果,完成拼接并顯示圖片.

4.1 圖像數(shù)據(jù)來源

飾演的所有測(cè)試圖像均由由VivoX21A手機(jī)拍攝,由于當(dāng)圖像的尺寸較大 (如1373×7373)時(shí),程序處理時(shí)間過長(zhǎng),可能由于速度浮動(dòng)和而無法比較且未知因素出現(xiàn)幾率增加,所以在進(jìn)行實(shí)驗(yàn)前在盡可能保證圖像質(zhì)量的情況下對(duì)圖像進(jìn)行了縮放處理,縮小后圖像大小為500×500.

4.2 實(shí)驗(yàn)環(huán)境

硬件環(huán)境:運(yùn)行實(shí)驗(yàn)的計(jì)算機(jī)CPU型號(hào)為Intel (R)Core (TM)i5-6300HQ CPU @ 2.30 GHz,內(nèi)存為8.00 GB(2133 MHz).

軟件環(huán)境:操作系統(tǒng)為 Microsoft Windows 10專業(yè)版 (64位),程序運(yùn)行平臺(tái)為MatlabR2016a,部分代碼來源于Lowe的siftDemoV4[5].

4.3 實(shí)驗(yàn)結(jié)果對(duì)比和分析

1)在第一組實(shí)驗(yàn)中,我們采用了馬路街道圖 (如圖15,圖16所示),場(chǎng)景元素較多且分布復(fù)雜,還有些元素兩張圖僅出現(xiàn)一次,給拼接造成了難度.

圖15 左側(cè)街道圖

在表2中,反映了圖17中(上側(cè)圖是經(jīng)典算法的特征點(diǎn)匹配圖,下側(cè)是SKM算法的特征點(diǎn)匹配圖)經(jīng)典算法與SKM算法特征點(diǎn)數(shù)量以及匹配率.可以看出SKM算法的特征點(diǎn)配對(duì)數(shù)要比經(jīng)典算法少很多,而且特征點(diǎn)的匹配率還高.

如圖18,圖19所示,經(jīng)典算法拼接時(shí),由于特征點(diǎn)匹配過多,拼接又不能顧及所有特征,故出現(xiàn)較大偏差,如圖中信號(hào)燈處和斑馬線處.去噪后,此兩處的拼接均大幅提高,斑馬線處基本無斷層.可見SKM拼接對(duì)圖像特征的取舍與對(duì)重點(diǎn)拼接位置的聚焦作用.

圖16 右側(cè)街道圖

表2 街道

圖17 經(jīng)典算法和SKM算法特征點(diǎn)匹配圖

圖18 經(jīng)典算法下測(cè)試結(jié)果圖1

2)在第二組測(cè)試中,測(cè)試了兩幅不同角度的涂鴉墻,如圖20所示.

圖19 SKM算法下測(cè)試結(jié)果圖1

圖20 不同角度的涂鴉圖

在涂鴉的圖片中存在大量的紋理,故作為典型案例測(cè)試.表3中將SKM算法與經(jīng)典算法相比較,在這組實(shí)驗(yàn)中,SKM算法減少大量特征點(diǎn)數(shù).將兩幅圖像進(jìn)行配準(zhǔn),提高了準(zhǔn)確度.

表3 墻

結(jié)果表明,直接拼接中的效果圖能夠大致吻合,但在拼接處有極窄的縱向圖像帶并沒有顯示出來.而在去噪拼接中有效的避免了這一現(xiàn)象,并且右下方黑色形狀的邊界拼接的更加光滑,其上方的紋理也顯示的較為完整,如圖21,圖22所示.

圖21 經(jīng)典算法下測(cè)試結(jié)果圖

3)第三組實(shí)驗(yàn),以籃球場(chǎng)為背景圖像進(jìn)行拼接,如圖23所示.兩種算法實(shí)驗(yàn)結(jié)果如圖24所示.

圖22 SKM算法下測(cè)試結(jié)果圖

圖23 籃球場(chǎng)圖

圖24 籃球場(chǎng)拼接結(jié)果圖

在最后一組實(shí)驗(yàn)中,籃球場(chǎng)圍欄的紋理在整個(gè)圖像范圍內(nèi)都很相似,對(duì)提取特征略有影響,從數(shù)據(jù)上看可以證實(shí)這一點(diǎn).去噪后特征點(diǎn)數(shù)明顯降低,且拼接邊界也有可見的優(yōu)化效果.如表4所示,雖然SKM從特征點(diǎn)匹配率上表現(xiàn)稍差,但減少對(duì)特征點(diǎn)的計(jì)算量的效果突出,算法仍具有一定的可取性.

表4 籃球場(chǎng)

5 總結(jié)

通過多次圖像配準(zhǔn)實(shí)驗(yàn),可以發(fā)現(xiàn),SKM算法的效率比經(jīng)典算法效率要高,且保證了配準(zhǔn)的準(zhǔn)確性.SIFT特征點(diǎn)提取是一種較成熟的算法,但對(duì)于多紋理的圖像拼接時(shí),耗時(shí)較長(zhǎng).本文提出的SKM算法將基于相關(guān)總變差模型的圖像主結(jié)構(gòu)提取算法與基于SIFT特征點(diǎn)提取算法相融合.實(shí)驗(yàn)表明,SKM算法在紋理較多的圖像中進(jìn)行配準(zhǔn)時(shí),繼承了經(jīng)典算法的穩(wěn)定性,適用于紋理較多的圖像,并且在紋理較多的圖像配準(zhǔn)過程中相比于經(jīng)典算法而言有著更高效率.而日常拍攝的景物圖像中紋理結(jié)構(gòu)不少,尤其是對(duì)于紋理結(jié)構(gòu)特別多的圖像,SKM算法具有較好的性質(zhì).