洪鵬程，唐 垚，任 重

(西安郵電大學(xué) 通信與信息工程學(xué)院，西安 710121)

0 引 言

圖像拼接技術(shù)是將兩幅有部分重疊的圖像拼接成一幅視角更廣并且無拼接縫的圖像，以獲得更豐富、更精準(zhǔn)的場景信息[1]。該技術(shù)通常被應(yīng)用于監(jiān)控安防、醫(yī)療圖像診斷、圖像識別與探測等區(qū)域，具有非常重要的研究意義與價值。

圖像拼接過程中，配準(zhǔn)的方法一般分為兩種。一種是計算圖像灰度值匹配的方法。這種圖像拼接算法簡單，直接計算待拼接圖像的像素灰度值來進(jìn)行匹配，實現(xiàn)較為容易，但是穩(wěn)定性差，對光照度變化較敏感。另一種是基于特征的匹配方法[2-3]，該方法具有較好的穩(wěn)定性，能夠更好地克服圖像的光照度、旋轉(zhuǎn)、尺度等變化的影響，是目前適用性較強的一種圖像拼接方法[4-5]。

為了獲得更好的配準(zhǔn)結(jié)果，近年來的研究熱點主要集中在SIFT(Scale-invariant Feature Transform)算法上，但是其算法匹配速度較慢。文獻(xiàn)[6]在SIFT的基礎(chǔ)上進(jìn)行改進(jìn)，提出了SURF(Speeded Up Robust Features)算法，替代了傳統(tǒng)的SIFT運算來提取特征，再通過快速雙向匹配進(jìn)行圖像配準(zhǔn)。雖然改進(jìn)的SURF算法在一定程度上提高了運行速度，但是視角變換角度過大時匹配精度較低。文獻(xiàn)[7-8]對傳統(tǒng)的 SURF算法進(jìn)行改進(jìn)，在擁有匹配速度的同時提高了匹配正確率，但是在一些極限場景下效果并不理想。近幾年常用的配準(zhǔn)方法中，SIFT算法對圖像匹配正確率較高[9-10]，但是由于該算法對大量特征點都進(jìn)行計算，導(dǎo)致算法耗時過長。SURF算法比SIFT算法在匹配耗時上具有明顯的提升[11-13]，但是在匹配正確率方面較低，從而導(dǎo)致拼接效果不佳。

基于以上分析，本文提出了基于SURF描述符的圖像拼接方法。通過改進(jìn)SURF算法，提出分割圓形區(qū)域構(gòu)建描述符，通過降低特征描述符整體的維度提高算法的運行速率，減少特征點匹配耗時。并使用區(qū)域歸一化灰度均值和韋伯局部描述符得到新的擴(kuò)展描述符，使其具有更多的灰度信息和邊緣細(xì)節(jié)信息[14]，提高了特征匹配的精確度，使其具有更好的穩(wěn)定性和魯棒性[15-16]。最后通過改進(jìn)的RANSAC(Random Sample Consensus)算法[17]，從不斷增大的最佳對應(yīng)點集合中進(jìn)行采樣，把每一個模塊中的誤匹配點剔除，提高精度，從而優(yōu)化匹配效果[18]。

1 SURF算法

1.1 特征點定位

在SURF算法中，先計算海森(Hessian)矩陣行列式，求出其近似值，并構(gòu)建高斯金字塔圖像，得到尺度空間。 然后采用盒式濾波器技術(shù)來近似高斯函數(shù)的二階微商，結(jié)合積分圖像來提高構(gòu)建尺度空間的速度，再對盒式濾波器的尺度進(jìn)行改變，以構(gòu)造高斯圖像金字塔，使用海森(Hessian)矩陣行列式判別式進(jìn)行特征點篩選，若其行列式的值大于設(shè)置的閾值，則該像素點被標(biāo)定為備選特征點。最后在尺度空間和圖像空間中使用差值法來精確定位特征點。

1.2 確定特征點主方向

以精確定位的特征點為中心、6尺度為半徑的圓，計算該區(qū)域內(nèi)的Haar小波響應(yīng)，并根據(jù)距離給這些小波響應(yīng)進(jìn)行賦值高斯權(quán)重系數(shù)，在圓形鄰域內(nèi)做一個60°的扇形區(qū)域，統(tǒng)計其扇形區(qū)域內(nèi)小波響應(yīng)的總和，然后轉(zhuǎn)動扇形區(qū)域，再統(tǒng)計小波特征總和，得到最大的方向即為特征點主方向。

1.3 構(gòu)造特征描述子

在選取的特征點周圍選取一個正方形，邊長為20尺度，將其劃分為16個區(qū)域(邊長為5尺度)，每個區(qū)域統(tǒng)計25個像素的垂直方向(垂直方向值之和、垂直方向絕對值之和)和水平方向(水平方向值之和、水平方向絕對值之和)的Haar小波特征，這樣每一個區(qū)域有4個值，則每個正方形區(qū)域就有64維，即每一個特征描述子由64維特征矢量組成。

2 SURF分割圓形區(qū)域算法

2.1 分割圓形區(qū)域構(gòu)建描述符

由上節(jié)可以看出，由于經(jīng)典的SURF算法采用矩形特征區(qū)域進(jìn)行特征描述符的計算，其缺點是，當(dāng)特征點主方向確定時計算過程會出現(xiàn)誤差，如圖1(a)所示。假設(shè)需要圖像旋轉(zhuǎn)到(x1,y1)的位置，但是由于主方向角度產(chǎn)生誤差的原因，實際圖像只能旋轉(zhuǎn)到(x2,y2)的位置，這樣就會有一部分區(qū)域不重疊，原本需要統(tǒng)計的區(qū)域就會被忽略掉，而不需要統(tǒng)計的區(qū)域就會被統(tǒng)計到，以至于產(chǎn)生較大的誤差。相對比之下，采用圓形區(qū)域可以很好地解決這類問題，當(dāng)主方向存在誤差時，圓形區(qū)域旋轉(zhuǎn)前后所覆蓋的像素點是一致的，如圖1(b)所示。本文把圓形的直徑選作正方形的邊長，就相當(dāng)于去除掉正方形外圍受干擾的區(qū)域，使得其旋轉(zhuǎn)后的整體相似性增強。

圖1 方形和圓形區(qū)域比較

由于圓形區(qū)域具有嚴(yán)格的旋轉(zhuǎn)不變性，本文提出了一種分割圓形區(qū)域，把圓形區(qū)域分割成扇形區(qū)域，這樣可以把各個扇形內(nèi)的采樣點，從中心向四周各個方向進(jìn)行覆蓋操作。然后，在分割出的扇形區(qū)域構(gòu)建特征點，作為局部匹配特征。這樣，在進(jìn)行旋轉(zhuǎn)操作時能有效避免復(fù)雜的計算量，從而提高算法的速度。具體做法如下：

(1)建立直角坐標(biāo)系，以特征點為原點，分別對圓形區(qū)域進(jìn)行8尺度、16尺度、32尺度劃分。由于劃分尺度增加，重疊的區(qū)域增加，算法運算速度逐漸降低，為了使算法具有更好的速率，所以取8尺度為半徑的圓形區(qū)域，根據(jù)像素點和原點主方向的夾角，可以均勻地劃分為8個扇形模塊，如圖2所示。

圖2 基于圓形分割的描述符

(2)計算這8個扇形模塊主方向x方向和y方向的Haar小波響應(yīng)x′和y′，并進(jìn)行小波變換，將所有變換之后的值進(jìn)行累加，得到一個新的數(shù)值。每一個扇形模塊可以構(gòu)成4維向量，以1號扇形模塊形成8個向量編號為1～8號向量，2號扇形模塊形成9～16號向量，3號扇形模塊形成17～24號向量，4號扇形模塊形成25～32號向量，形成32維描述符。

(3)對每個扇形模塊像素的梯度進(jìn)行高斯加權(quán)，這樣能得到每一個像素點周邊像素的平均值，以降低外圍點的噪聲對邊緣特征值的影響。高斯加權(quán)系數(shù)為

(1)

式中：(x,y)和(x0,y0)為所求圖像區(qū)域中像素點和中心點在待描述圖像區(qū)域中的坐標(biāo)，θ0為選定的常數(shù)。這樣，每一個像素特征點都被賦予高斯加權(quán)系數(shù)。

2.2 區(qū)域歸一化的灰度均值描述符

在SURF算法中，由于特征點的構(gòu)造是Haar小波響應(yīng)的值，導(dǎo)致兩幅需要配準(zhǔn)的圖像灰度信息差異較大，匹配效果不佳，而本文在描述符的基礎(chǔ)上進(jìn)行擴(kuò)展，采用區(qū)域歸一化灰度均值算法，這種方法可以有效克服光照對配準(zhǔn)的影響。具體做法如下：

首先，計算出分割之后的8個扇形區(qū)域的灰度值，統(tǒng)計出每一個像素點的最大灰度值Gmax和最小灰度Gmin，再使用式(2)計算出區(qū)域歸一化的值：

(2)

式中：G為原始灰度值。

同時，在圖像區(qū)域中，對每一個興趣點分配高斯加權(quán)系數(shù)，計算其與特征點的距離，若距離越遠(yuǎn)，則加權(quán)系數(shù)越小，相應(yīng)貢獻(xiàn)就越小，反之對描述符的貢獻(xiàn)越大。

最后，分別計算8個扇區(qū)內(nèi)的區(qū)域歸一化后的灰度值的均值，組成特征向量，作為本文特征描述符的擴(kuò)展。

2.3 韋伯局部描述符

為了更好地利用圖像的細(xì)節(jié)信息，以增強算法的穩(wěn)健性和魯棒性，本文提出了將韋伯局部描述符用于特征描述符的擴(kuò)展的方法。韋伯局部描述符能有效地描述圖像局部細(xì)節(jié)信息，更好地提升算法的穩(wěn)定性。韋伯局部描述符包含差分激勵算子和方向算子。計算除邊緣像素點外的每個像素點的差分激勵算子和方向算子，并以其二維分布直方圖來共同表征圖像的紋理細(xì)節(jié)信息。

(1)差分激勵算子

差分激勵反應(yīng)局部窗內(nèi)灰度變化的強度信息。通過計算局部窗內(nèi)鄰域像素點的灰度差值和中心像素點灰度值的比值U(xc)，再使用反正切變換將分布在[-P,+∞]范圍內(nèi)U(xc)映射到區(qū)間(-π/2,π/2)內(nèi)，差分激勵ξ(xc)的計算式為

(3)

式中：xc和xi(i=0,1,…,P-1)分別表示中心像素點和鄰域像素點的灰度值，P表示鄰域像素點個數(shù)。

(2)方向算子

方向算子反映了局部窗內(nèi)灰度變化的空間分布信息，通過局部窗內(nèi)水平方向與垂直方向上鄰域像素點的灰度值比值的反正切變換來描述。其公式為

(4)

式中：DV和DH分別表垂直方向和水平方向中心像素點和鄰域像素點的灰度差異。

(3)韋伯局部描述符直方圖

韋伯局部描述符采用均勻量化技術(shù)，將方向γ(xc)均勻量化為T個方向，將差分激勵均勻地劃分為M個頻段，分別把圖像中的高頻、中頻和低頻信息做變換，再將劃分的每個頻段上差分激勵均勻地量化為N格，形成一個T×C=T×(M×N)的二維直方圖，并通過量化編碼將二維轉(zhuǎn)化成一維向量，用于表示圖像的紋理細(xì)節(jié)信息。

2.4 特征點匹配

采用以上方法能夠得到一個新的描述符，該描述符既能有效克服光照度變化，也能精準(zhǔn)地利用邊緣細(xì)節(jié)信息，使得本文的圖像拼接更具穩(wěn)健性。最后在進(jìn)行特征點匹配階段，取待配準(zhǔn)圖像的特征點，并找到其與參考圖像中歐式距離最近的前兩個特征點，在這兩個特征點中，如果最近距離除以次近距離得到的比率小于閾值T=0.7(一般采用0.6～0.8)，則認(rèn)為兩點為正確匹配點對，遍歷所有特征點，得到全部匹配點對。再使用改進(jìn)的RANSAC算法消除誤匹配點對，以獲得精確的匹配點對。

2.5 圖像拼接及融合

兩幅圖像拼接時，通常會有明顯位移、旋轉(zhuǎn)和光照度變化等情況。為實現(xiàn)圖像無縫拼接，本文采用投影變換的方法，在得到兩幅圖像變換關(guān)系之后，通過圖像特征點匹配和改進(jìn)的RANSAC算法，找到至少4對匹配點，反算出3×3的單應(yīng)矩陣H。將待配準(zhǔn)圖像I′通過單應(yīng)矩陣H進(jìn)行變換后與待參考圖像I進(jìn)行疊加，即將兩幅圖像變換到同一個坐標(biāo)系上，這樣就可以把兩幅圖像拼接起來。

(5)

式中：(x′,y′)和(x,y)分別為待配準(zhǔn)圖像I′和參考圖像I的匹配點對。

考慮到拼接之后的圖像具有明顯的拼接縫，需要利用漸入漸出加權(quán)平均法對拼接縫進(jìn)行均勻過渡，達(dá)到無縫拼接的圖像。設(shè)I1(x,y)和I2(x,y)分別為參考圖像和待配準(zhǔn)圖像的像素灰度值，I(x,y)為融合后的像素灰度值，則漸入漸出加權(quán)平均法的公式如下：

(6)

式中：k1、k2為權(quán)值，且k1+k2=1。通常k1=i/w，i∈(0,w)，w為重疊區(qū)域的寬度。

綜上所述，圖像拼接算法流程如圖3所示。

圖3 算法流程

3 實驗結(jié)果與分析

為了驗證本文方法的有效性和可靠性，選擇了3組圖像來進(jìn)行試驗。針對這3組圖像，分別使用經(jīng)典的SURF算法、改進(jìn)的SURF算法和本文算法進(jìn)行拼接。

3.1 實驗環(huán)境

本文算法運行環(huán)境如下：CPU為Intel core i5-3450，主頻為3.3 GHz，內(nèi)存為4 GB的PC機(jī)，64位Win7操作系統(tǒng)，在Visual Studio 2015上采用VC++編程軟件實現(xiàn)。

3.2 算法驗證及分析

3.2.1 運算時間

使用分割圓形區(qū)域構(gòu)建描述符算法，減少特征匹配耗時，提高運行速度。對圖4所示圖像進(jìn)行測試。

圖4 不同場景下拍攝

本文算法與經(jīng)典的SURF算法和改進(jìn)的SURF算法(文獻(xiàn)[8]的方法)在匹配耗時情況下進(jìn)行了比較，結(jié)果如表1所示。

表1 運算時間

從表1可以看出，本文算法比經(jīng)典的SURF算法和改進(jìn)的SURF算法耗時更少，其中經(jīng)典的SURF算法則降低了提取特征點的數(shù)量，提高了匹配速率，而改進(jìn)的SURF算法采集的特征點相對較多，導(dǎo)致匹配耗時較長。本文算法在提取特征點上對改進(jìn)的SURF算法進(jìn)行優(yōu)化，在此基礎(chǔ)上使用分割圓形區(qū)域構(gòu)建描述符進(jìn)行降維，很大程度上減少了特征描述符提取和匹配時間，因此本文算法具有速度優(yōu)勢。

3.2.2 匹配正確率

為了在匹配速率的優(yōu)勢上，確保匹配正確率，本文使用區(qū)域歸一化的灰度均值，克服光照對配準(zhǔn)點的影響，得到精度更高的特征點。然后使用韋伯局部描述符算法，增加圖像的細(xì)節(jié)信息，使兩幅圖像的特征點配準(zhǔn)更精確，并提高整體算法的穩(wěn)定性。對圖4所示圖像進(jìn)行特征點匹配測試，由于特征點匹配較多，為了能直觀地反應(yīng)匹配效果，只顯示50對匹配點，結(jié)果如圖5所示，可以看出兩幅圖之間的匹配點對是非常精準(zhǔn)的。

圖5 不同場景的匹配

對本文算法與經(jīng)典的SURF算法和改進(jìn)的SURF算法的匹配正確率進(jìn)行比較，結(jié)果如表2所示。

表2 匹配正確率(正確匹配點對/匹配點對)

從表2可以看出，經(jīng)典的SURF算法在旋轉(zhuǎn)、視角變化、光照方面性能較差，提取出的特征點較少并且匹配正確率低，匹配效果較差。改進(jìn)的SURF算法相對提高了匹配正確率，但是效果不太突出。而本文算法由于加入?yún)^(qū)域歸一化的灰度均值與韋伯局部描述的細(xì)節(jié)紋理信息，得到新的描述符更具穩(wěn)健性，所以匹配正確率要高于改進(jìn)的SURF算法，對旋轉(zhuǎn)、視角變換、光照變化均有顯著提高，所以匹配效果更好。

綜合表1和表2可以得出，傳統(tǒng)的SURF算法在匹配效果上較差，但是匹配速率較高，能滿足一些需求，而改進(jìn)的SURF在經(jīng)典的SURF基礎(chǔ)上雖然提高的匹配正確率，進(jìn)而提高了匹配效果，但是在匹配速率上有明顯滑落。本文算法兼顧了以上兩種算法的優(yōu)點，既提高了匹配正確率，也相應(yīng)提高了匹配速率。

3.3 拼接實驗結(jié)果對比

利用SURF算法、改進(jìn)的SURF算法和本文算法，分別對圖4中的圖像進(jìn)行拼接和融合，拼接效果如圖6～8所示。為了保證更好的視覺效果，拼接圖均為裁剪邊緣之后的圖像，裁剪掉的部分不影響算法之間的對比。

圖6 對圖4(a) 的拼接算法結(jié)果對比

圖7 對圖4(b) 的拼接算法結(jié)果對比

圖8 對圖4(c) 的拼接算法結(jié)果對比

從圖6～8可以看出，改進(jìn)的SURF算法出現(xiàn)了明顯的拼接縫，亮度不均勻，而采用本文算法，實現(xiàn)了亮度變化均勻、無明顯拼接縫、保真度高的圖像拼接。由圖8可以看出，改進(jìn)的SURF算法對旋轉(zhuǎn)的圖像進(jìn)行拼接，出現(xiàn)了圖像扭曲的現(xiàn)象，而本文算法可以把旋轉(zhuǎn)的兩幅圖像矯正成無扭曲的拼接圖像。

4 結(jié) 論

本文提出了一種基于SURF分割圓形區(qū)域的圖像拼接方法，采用圓形區(qū)域的特征描述符提取方法提高了算法的運行速度和匹配效率。針對經(jīng)典的SURF和改進(jìn)的SURF算法存在旋轉(zhuǎn)及光照變化配準(zhǔn)效果差的問題，提出了區(qū)域歸一化的灰度均值和韋伯局部描述符算法，更充分地利用圖像的細(xì)節(jié)信息，使該算法具有更高的效率。本文算法兼顧了經(jīng)典SURF算法和改進(jìn)的SURF算法的優(yōu)點，既提升了圖像的匹配準(zhǔn)確性，也提高了圖像匹配的速率。

實驗結(jié)果表明，本文的圖像拼接方法相較于改進(jìn)的SURF算法的拼接技術(shù)更具適用性，是一種既能滿足實時性要求又具備匹配精確度高的圖像拼接新方法。