張露

（銅陵職業(yè)技術(shù)學(xué)院 電氣工程系，安徽 銅陵 244000）

某些情況下單個(gè)圖像傳感器不能一次采集一幅完整的圖像，而是經(jīng)過(guò)多次采集，然后對(duì)多次采集圖像的重合部分進(jìn)行拼接和融合后得到一幅完整圖像；或者在同一時(shí)刻使用不同的圖像傳感器采集不同角度的圖像，然后再進(jìn)行圖像拼接獲得完整圖像。圖像拼接的應(yīng)用領(lǐng)域非常廣泛，比如醫(yī)學(xué)、智能交通、虛擬現(xiàn)實(shí)等。圖像拼接融合主要有圖像配準(zhǔn)、圖像拼接和融合兩部分組成[1]，而圖像配準(zhǔn)目前主要有灰度信息配準(zhǔn)[2]、特征配準(zhǔn)[3]和變換域配準(zhǔn)[4]三種方法。特征匹配法具有較快的計(jì)算速度和較高的魯棒性，還具有較大的適用范圍[1]。其中SIFT 算法[5]是特征點(diǎn)匹配算法中的經(jīng)典算法，但由于SIFT 采用DOG 進(jìn)行特征提取，所以增加了相應(yīng)運(yùn)算時(shí)間，降低了運(yùn)行效率[6]。SURF 算法是H.Bay 等人提出，SURF 保持了SIFT 算法優(yōu)良性能，主要改進(jìn)了特征點(diǎn)提取和降低了特征向量描述維數(shù)，使計(jì)算速度得到提高。文獻(xiàn)[7-10]利用SURF 及其改進(jìn)算法應(yīng)用于圖像拼接，其中文獻(xiàn)[7]針對(duì)航拍圖像的拼接，文獻(xiàn)[8]是針對(duì)文物碎片圖像的拼接。文獻(xiàn)[9,10]通過(guò)對(duì)由SURF 算法提取出的特征點(diǎn)匹配算法進(jìn)行改進(jìn)，提高匹配精度，減少時(shí)間。

需要拼接的兩幅圖像間的重合部分提取出的特征點(diǎn)在幾何關(guān)系上應(yīng)該是匹配特征點(diǎn)對(duì)所在的直線(xiàn)間是平行或近似平行關(guān)系，兩點(diǎn)間的距離相等或近似相等[11]，幾乎不存在旋轉(zhuǎn)或縮放的變換，所以利用這種特性，本文提出具有幾何約束的SURF 的圖像拼接方法。

1 SURF 算法原理分析

1.1 特征點(diǎn)提取

SURF 采用的是Hessian 矩陣行列式近似值圖像。在尺度σ 上，圖像某個(gè)像素點(diǎn) ( , )P x y 的Hessian 矩陣定義為

其中， Lxx, Lxy,Lyy為高斯濾波后圖像g (σ )在各個(gè)方向的二階導(dǎo)數(shù)。為了找出圖像中的特征點(diǎn)，需要對(duì)原圖進(jìn)行變換，該變換圖就是由原圖每個(gè)像素的 Hessian 矩陣行列式的近似值構(gòu)成的。行列式值為：det( H ) = LxxLyy- L2xy，Bay 等人提出二階高斯濾波由方框?yàn)V波來(lái)近似代替，用積分圖像來(lái)加速卷積以提高效率[10]。 Lxx, Lxy,Lyy由方框?yàn)V波器表示后，記為 Dxx, Dyy,Dxy，則Hessian 矩陣行列式為

det( H ) = DxxDyy- (0.9 Dxy)2

將經(jīng)過(guò)Hessian 矩陣處理過(guò)的每個(gè)像素點(diǎn)與其三維領(lǐng)域的26 個(gè)點(diǎn)進(jìn)行大小比較，保留這26 個(gè)點(diǎn)中的最大值或者作為初步特征點(diǎn)。

1.2 特征點(diǎn)描述與匹配

通過(guò)統(tǒng)計(jì)haar 小波特征，來(lái)確定特征點(diǎn)主方向。σ 為特征點(diǎn)所在尺度，找到以特征點(diǎn)為圓心，以6σ為半徑的圓內(nèi)60°扇形內(nèi)的所有點(diǎn)，對(duì)這些點(diǎn)在x 和y 方向上的haar 小波特征和做統(tǒng)計(jì)。以一定步長(zhǎng)旋轉(zhuǎn)60°扇形，統(tǒng)計(jì)扇形內(nèi)haar 小波特征值，找到最大值所在扇形方向，即為特征點(diǎn)主方向。

最后進(jìn)行特征點(diǎn)匹配，SURF 的匹配度通過(guò)特征點(diǎn)間的歐式距離來(lái)確定，距離越小匹配度越好。

2 具有幾何約束的改進(jìn)算法

獲得兩幅待拼接圖像匹配特征點(diǎn)，還要經(jīng)過(guò)RANSAC 算法去除誤匹配點(diǎn)，而線(xiàn)內(nèi)點(diǎn)和原始數(shù)據(jù)量之間的比例決定著RANSAC 的迭代時(shí)間，若兩者之間的比率降低時(shí)會(huì)使得迭代次數(shù)明顯增加，所以使算法的整體效率受到嚴(yán)重影響。因此根據(jù)待拼接的兩幅圖像間的確定幾何關(guān)系建立幾何約束，對(duì)檢測(cè)到的匹配特征點(diǎn)如果滿(mǎn)足幾何約束則保留否則剔除，然后再經(jīng)過(guò)RANSAC 算法進(jìn)一步消除匹配和求解變換矩陣[11]。

假設(shè)待拼接的兩幅圖像I1(x,y)和I2(x,y)的初匹配特征點(diǎn)集分別為

P1={P1[i]|i=1,2,…,n}和P2={P2[j]|j=1,2,…,n}

當(dāng)i=j 時(shí)P1[i]和P2[j]是對(duì)應(yīng)的匹配點(diǎn)對(duì)。兩幅圖像的幾何約束關(guān)系如下[11]：

（1）兩幅待拼接圖像對(duì)應(yīng)的匹配點(diǎn)對(duì)所在直線(xiàn)的斜率應(yīng)該相對(duì)或近似相等;

（2）兩幅待拼接圖像對(duì)應(yīng)匹配點(diǎn)對(duì)之間的歐式距離應(yīng)該相對(duì)或近似相等。

考慮到斜率和距離近似相等的情況，在實(shí)際計(jì)算過(guò)程中，設(shè)置斜率基準(zhǔn)值和距離基準(zhǔn)值，分別為k 和d。當(dāng)滿(mǎn)足斜率基準(zhǔn)值與ki差的絕對(duì)值小于其閾值 Δk ，且距離基準(zhǔn)值與 di差的絕對(duì)值小于其閾值 Δ d時(shí)，保留該匹配的特征點(diǎn)對(duì)，否則剔除。約束條件用表達(dá)式表示為： C = (|k - ki|≤ Δ k )&&(|d - di|≤ Δ d)，( i = 1,2, ???, n)。對(duì)于基準(zhǔn)值的確定，使用計(jì)算得到的斜率和距離值的中間值，所以先將計(jì)算的值按升序排列，考慮到特征點(diǎn)可能是奇數(shù)也可能是偶數(shù)，具體表達(dá)式如下所示：

距離基準(zhǔn)值的確定與斜率一致。閾值 kΔ 和 dΔ 根據(jù)文獻(xiàn)[11]和多次實(shí)驗(yàn)的結(jié)果取值分別為0.1 和10。圖像拼接的整個(gè)算法流程如圖1 所示。

圖1 算法流程框圖

3 圖像融合

根據(jù)求出的特征點(diǎn)對(duì)兩幅圖像進(jìn)行拼接，但由于圖像之間的光照和幾何矯正等出現(xiàn)的差異可能導(dǎo)致融合會(huì)出現(xiàn)明顯的拼接接縫。為了拼接后的圖像在邊界部分拼接痕跡不明顯且能夠過(guò)度自然，本文采用文獻(xiàn)[1,12]提到的漸入漸出融合算法，該算法具有較好的消除拼接接縫，使圖像過(guò)度更加自然。與傳統(tǒng)加權(quán)融合算法比較，該融合算法的權(quán)重d 與像素點(diǎn)位置的變化成線(xiàn)性關(guān)系，權(quán)重d 的關(guān)系式如下所示：

其中，j, L, R 分別表示像素點(diǎn)列數(shù)、重疊區(qū)域左右邊界。兩幅拼接圖像 f1( x , y ) 和 f2( x , y)，融合后的圖像為f ( x , y )，其表示為

其中， d1,d2表示權(quán)重，d1由式(1)求出，且滿(mǎn)足關(guān)系 d1+ d2= 1和 d1, d2∈ (0,1)，由此可消除拼接接縫。

4 實(shí)驗(yàn)與結(jié)果分析

計(jì)算機(jī)CPU 主頻為2.2 GHz，內(nèi)存為4 G，WIN10 操作系統(tǒng)，實(shí)驗(yàn)軟件為Matlab R2015b。選擇手機(jī)拍攝的100 組待拼接融合的圖像，圖像大小均為像素600×450，統(tǒng)計(jì)這100 組待拼接融合圖像采用原算法和改進(jìn)算法后的正確率。由于受篇幅的限制選擇5 組統(tǒng)計(jì)兩種算法進(jìn)入RANSAC 算法之前的特征點(diǎn)對(duì)數(shù)，以及剔除誤匹配特征點(diǎn)前后RANSAC 的運(yùn)行時(shí)間，5 組待拼接圖像如圖2(a)～(e)所示。由于實(shí)際每次運(yùn)行時(shí)間存在一定差別，所以對(duì)每組拼接圖像運(yùn)行5 次求平均值，每組統(tǒng)計(jì)情況如表1 所示。對(duì)100 組待拼接圖像處理結(jié)果為改進(jìn)前正確拼接為79 組，改進(jìn)后正確拼接為91 組，即正確率分別為79%和91%。從正確率來(lái)看改進(jìn)后的算法明顯高于改進(jìn)前。從表1 看出，改進(jìn)后的算法特征點(diǎn)個(gè)數(shù)比改進(jìn)前大幅減少，RANSAC 算法運(yùn)行時(shí)間也因匹配特征點(diǎn)的減少而減少，提高了圖像拼接融合的效率。5組拼接后的圖像如圖3(a)～(e)所示。

表1 算法改進(jìn)前后統(tǒng)計(jì)對(duì)比

圖3 拼接結(jié)果

5 結(jié)束語(yǔ)

采用配準(zhǔn)法對(duì)兩幅圖像進(jìn)行拼接，配準(zhǔn)的特征點(diǎn)采用SURF 提取。利用待拼接的兩幅圖像的重疊部分匹配的特征點(diǎn)對(duì)所在直線(xiàn)的斜率、及各特征點(diǎn)對(duì)之間的距離相等或近似相等的特點(diǎn)。本文對(duì)由SURF 算法得到的特征點(diǎn)對(duì)利用上述約束關(guān)系，剔除掉誤匹配點(diǎn)。特征點(diǎn)對(duì)的減少，使后續(xù)RASAC 算法執(zhí)行時(shí)間縮短，且提高了算法的拼接正確率。最后對(duì)拼接的圖像使用漸入漸出融合算法消除拼接接縫。最后通過(guò)實(shí)驗(yàn)驗(yàn)證了改進(jìn)算法不僅提高了執(zhí)行效率，還提高拼接正確率。