周高磊，黃敏青

（四川大學計算機學院，成都610065）

0 引言

現(xiàn)實生活中，人們對大場景圖像的獲取通常有兩種途徑。第一種為單個攝像頭利用調整焦距的方式變換拍攝場景大小，采用這種方式的一個缺點就是場景的細節(jié)往往不能滿足需求。第二種為通過圖像拼接的方法，將多個攝像頭采集到的具有重疊區(qū)域的圖像拼接起來獲得一幅大場景的圖像，該方式能得到場景信息更豐富的圖像。因此圖像拼接算法的研究有非常重要的現(xiàn)實意義。

目前大部分關于圖像拼接算法的研究都是基于圖像配準與圖像融合。圖像配準是對兩幅具有一定重合區(qū)域的圖像進行幾何變換關系的匹配，把兩幅圖像變換到相同坐標系，實現(xiàn)圖像重疊區(qū)域的對齊。學者提出了多種圖像配準方法，但大體上可以分為以下幾類。第一種：基于圖像灰度值的配準。該方法通過計算待配準圖像之間相同尺寸區(qū)域的相似性度量來實現(xiàn)配準；第二種：基于頻率域的匹配[4]。將待配準圖像變換到頻域再進行匹配；第三種：基于特征點的提取與匹配。該方法首先提取圖像中的特征點，然后利用良好的匹配特征點對計算單應性變換矩陣，從而實現(xiàn)圖像配準。前兩種方法有其不足與局限性，而基于特征點的匹配方法具有良好的效果和魯棒性，所以該方法得到了廣泛的應用和發(fā)展。

Lowe 于2004 年提出了SIFT（Scale Invariant Features Transform）[1]特征點提取算法。該算法在Dog 金字塔的基礎上進行特征點的定位，然后為每個特征點指定主方向，通過統(tǒng)計梯度直方圖來為每個特征點建立128 維的描述子。Dog 金字塔的引入和主方向的選取使其提取的特征點具有尺度不變性、旋轉不變性，而它的缺點就是計算量大。為了降低特征點提取過程計算量，2006 年，Bay 等人提出了SURF[2]算法。SURF 使用不同尺度的盒濾波器與圖像卷積來構建圖像金字塔，從而使特征點檢測的運算具有并行性。在提取特征描述子上，SURF 算法通過統(tǒng)計一定區(qū)域內Harr 小波響應獲取主方向，然后給每個特征點建立64 維的描述子，描述子維度遠低于SIFT。因此，SURF 算法計算速度更快，性能更加穩(wěn)定，同時其生成的描述子具有良好的區(qū)分性。因此本文的特征點提取方法將采用SURF。

圖像拼接中融合方法通常有：加權融合、最優(yōu)拼接縫融合[9]、多頻帶融合[3]。加權融合方法及其變種簡單易于實現(xiàn)，可以使重疊區(qū)域融合過度自然，在大多數場景下其性能不亞于復雜的融合算法。多頻帶融合（multi blend）的目的也是為了使重疊區(qū)域過度自然、無明顯縫隙，其思想是：在圖像的不同分辨率下采用不同的權值進行融合，最后將各個分辨率下的結果綜合。其拼接效果良好，但與加權法相比較，增加了時間復雜度。最優(yōu)接縫融合是在尋找重合區(qū)域最佳接縫的基礎上進行融合，最優(yōu)接縫與其他融合方法的配合可以帶來很好的效果。但接縫尋找過程帶來的時間消耗與其提升的拼接效果之間需要一定權衡。本文將使用的漸入漸出融合方法是加權融合方法的一個變種，該方法可以使重疊區(qū)域融合過度自然，拼接效果能很好地滿足要求。

1 圖像配準

圖像配準是拼接過程的第一步。為提高配準效率，本文使用SURF 算法提取特征點，并且提取特征點過程只在重合區(qū)域進行。特征點匹配階段使用暴力枚舉匹配算法，該方法穩(wěn)定可靠。通過對重疊區(qū)域進一步分塊，匹配過程只在各對應分塊之間進行，這樣可以降低特征點匹配的搜索空間大小，加快匹配過程。特征點匹配完成后，利用RANSAC 方法計算出最優(yōu)的單應性矩陣，完成配準。

1.1 SURF特征提取

SURF 算法中文名為“加速魯棒性特征”。SURF 特征檢測的步驟：

（1）尺度空間的極值檢測：搜索所有尺度空間上的圖像，通過Hessian 矩陣來識別潛在的興趣點。

（2）過濾特征點，并進行精確定位。

（3）主特征方向賦值：統(tǒng)計特征點圓形鄰域內的Harr 小波特征。在60 度扇形內，每次將60 度扇形區(qū)域旋轉0.2 弧度進行統(tǒng)計，將值最大的那個扇形的方向作為該特征點的主方向。

（4）生成特征點描述符：在特征點主方向周圍的鄰域內，取4×4 個小矩形區(qū)域，統(tǒng)計每個小區(qū)域的Harr特征，每個區(qū)域計算出一個4 維的特征向量。因此，每個SURF 特征點由一個64 維的特征向量作為描述子。

為使提取的特征點具有尺度不變性，SURF 算法首先要對圖像進行高斯濾波，其公式如下：

等號右邊為高斯函數與原圖像的卷積，σ 為模糊系數。高斯函數應用不同的σ 構成了所需要的尺度空間。濾波以后構建Hessian 矩陣，構建Hessian 矩陣的目的是為了生成穩(wěn)定的邊緣點，為特征提取做準備。經過濾波后的Hessian 矩陣表達式如下：

從公式（2）可以得出hessian 矩陣的行列式值為如下公式：為了提高運算速度，SURF 算法使用盒式濾波器來替代高斯濾波器。但是為了平衡因使用盒式濾波器近似所帶來的誤差，需要在Lxy上乘一個加權系數ω。此時的H 矩陣行列式值表達式為：

SURF 特征點的定位過程和SIFT 算法一致，將經過Hessian 矩陣處理的每個像素點與其圖像域和尺度域的所有相鄰點進行比較，找出潛在的極值點，這些點就是侯選特征點。

SURF 算法中，在特征點的圓形鄰域內統(tǒng)計60 度扇形內所有點的水平、垂直Harr 小波特征總和。然后扇形以0.2 弧度大小的間隔進行旋轉，再次統(tǒng)計該區(qū)域內Harr 小波特征值。最后將值最大的那個扇形的方向作為該特征點的主方向。

計算出主特征方向后，在特征點周圍以主方向為準的一個邊長為20σ的正方形框，將其分為4×4 個子區(qū)域，分別在每個子區(qū)域內選取25 個像素，計算其水平方向與垂直方向的Haar 小波特征。至此，每個子區(qū)域得到一個4 維描述符向量，每一維分別表示水平和垂直方向Harr 小波響應之和、水平方向絕對值之和以及垂直方向絕對值之和。所以SURF 特征描述子的維度為64 維。小波響應的光照不變性賦予了SURF 特征描述子對光照變化不敏感的特性。

1.2 特征點局部提取與分塊匹配

為提高配準過程的效率，本文提出的改進配準思想基于只提取待拼接圖像重疊區(qū)域特征點，以及特征點匹配時對重疊區(qū)域再次分塊以加速匹配過程。兩相機位置固定的拼接場景下，如圖1，其重疊區(qū)域可以從拍攝出的圖像大致確定。

假設待拼接圖像為Ileft和Iright。其中兩圖像重疊區(qū)域的大小占原圖像的。提取兩幅圖像全局的特征點所需要的時間為T1。則只提取兩幅圖像重疊區(qū)域特征點理論上所帶來的時間消耗tlocal為如下公式：

圖1 相機位置示意圖

提取出兩幅圖像重疊區(qū)域的特征點之后，采用暴力枚舉匹配算法對兩幅圖像特征點進行匹配。根據該匹配算法的特點，對重疊區(qū)域進一步分塊，如圖2。對應塊之間進行匹配，可以縮小特征點匹配的搜索空間。假設不對重疊區(qū)域分塊的情況下，特征點匹配過程的耗時為T2。假設重疊區(qū)域分為n 塊，左圖Ileft中每一塊內含有的潛在特征點個數為l1,l2,…,ln；右圖Iright中每一塊內含有的潛在特征點個數為r1,r2,…,rn。假設n 為2，此時tpart為如下公式：

圖2 待配準圖像分塊示意圖

從上述兩個公式很容易地看出，一般情況下改進后的配準方法可以很大程度地提高配準效率。極端情況下分塊之間的特征點分布非常不均勻，有的特別少，有的特別多。此時雖然分塊的配準不能加速匹配過程，但局部的特征點提取還是會起到提高效率的作用。

1.3 RANSAC剔除誤匹配計算單應性變換

因為特征點匹配過程存在誤匹配點，可能會給單應性變換矩陣計算帶來誤差。而使用RANSAC[5]算法可以達到提純匹配特征點對，計算出良好單應性矩陣的目的。單應性變換模型是圖像拼接中使用的經典模型。待拼接圖像對應點之間的幾何變換關系可以由以下公式表示：

RANSAC 算法剔除誤匹配點，同時計算出最優(yōu)單應性變換矩陣的流程如下：

（1）根據單應性變換模型所需參數數量在數據集中隨機采樣樣本。

（2）根據1 中采樣到的數據點計算出單應性變換矩陣H。

（3）將所有的數據樣本代入2 中求出模型參數H，若某樣本對誤差小于一定閾值則視為內點。計算出內點在總數據中所占的比率。如果該比率大于設定閾值，則接受此時的參數H。再利用所有內點重新計算更準確的H。

（4）若內點所占比率小于設定閾值，重復步驟（1）-（3）。

利用RANSAC 算法進行模型估算，可以得到一個盡可能滿足樣本集中大部分樣本對的變換模型。多次隨機采樣初始點的方法，有效消除了誤匹配特征點對給模型估計帶來的影響，保證了模型參數的準確性。

2 圖像融合

為了保證拼接質量，使融合后的重疊區(qū)域無明顯縫隙、且過度自然，在拼接的最后一步本文采用了漸入漸出加權融合算法。根據待融合像素點距重疊區(qū)域左邊界的距離，不斷改變左右兩幅圖之間像素點融合時的加權因子，以實現(xiàn)拼接后的圖像重疊區(qū)域內像素值光滑變化。該融合方法可以由以下公式表示：

其中I1，I2為待拼接圖像，I 為拼接后的圖像。加權因子α=w，其中w 為重疊區(qū)域的橫坐標寬度，wd為重疊區(qū)域像素點距重疊區(qū)左邊界的橫坐標距離。可以看出α 的變化范圍從0 到1。

3 實驗結果與分析

為了驗證本文改進算法的可行性與有效性，對多組圖像進行實驗，拼接效果和速度與OpenCV 拼接算法進行對比。算法實現(xiàn)使用OpenCV 4.1.0，運行環(huán)境為Windows10+VS2019 ，計算機配置為Intel Core i5 3.2GHz 和8GB RAM。其中配準過程重疊區(qū)域大小為原圖的1/3，重疊區(qū)域分塊數量n 的大小取2。

圖3 為第一組待拼接圖像white car 的左圖和右圖；圖4 為第二組待拼接圖像houses 的左圖和右圖。

圖3 white car左右圖

圖4 houses左右圖

圖5 為OpenCV 拼接后的效果圖。圖6 為本文算法拼接后的效果圖。

圖5 OpenCV拼接效果

表1 為重疊區(qū)特征點分塊匹配與非分塊匹配的時間消耗對比，以white car 為例。其中Hessian 矩陣的閾值決定提取到特征點的數量，值越大提取到的特征點越少。表2 為本文拼接算法耗時與OpenCV 拼接算法的耗時對比。

表1 重疊區(qū)特征點分塊匹配與非分塊匹配的時間消耗（ms）

表2 本文拼接算法與OpenCV 拼接算法時間消耗（ms）

由表1 可以看出分塊匹配的方法相較于非分塊的方法效率上的提升是明顯的。每一分塊的特征點只與另一圖像中其對應塊的特征點之間匹配，縮小了暴力枚舉匹配的搜索空間，因此效率有很大的提升。圖像拼接算法尚無客觀的評價指標，只有通過人為主觀的評價。從表2 與圖5、圖6 結合來看，本文提出的拼接算法在提高效率的同時還具有良好的拼接效果。

4 結語

本文針對固定相機平臺下直接應用現(xiàn)有圖像拼接算法存在的效率問題展開研究，在現(xiàn)有圖像配準方法上提出改進。首先在圖像特征點提取部分采用了魯棒性和運算效率較優(yōu)的具有旋轉尺度，以及光照不變性的SURF 算法。提取特征點時根據固定平臺的重合區(qū)域特點，在達到配準要求并降低時間消耗的目的下，本文算法只提取圖像的局部特征點。特征點配準階段對重合區(qū)域進行分塊，達到減小特征空間搜索的范圍，進而縮短了匹配用時。融合階段采用漸入漸出加權法使融合重疊區(qū)域時像素值平滑過渡。實驗表明本文算法不僅具有較高的拼接效率，拼接效果也能滿足實際需求。