湯 強

(安徽新華學院 信息工程學院， 安徽 合肥 230088)

0 引 言

近年來，虛擬現(xiàn)實(VR)技術(shù)發(fā)展的風生水起，各大軟硬件生產(chǎn)制作商都踏入這個領(lǐng)域，看好VR的未來。虛擬現(xiàn)實強調(diào)用戶的體驗感，利用計算機相關(guān)技術(shù)構(gòu)造出一個虛擬場景，而當使用者進入到這個虛擬場景后，能否達到置身其中的真實感覺，很大一部分取決于場景搭建的是否有足夠的真實感。現(xiàn)階段對于場景的搭建主要有兩種方法，一種是利用軟件來構(gòu)造一個現(xiàn)實中完全不存在的場景，比如用Unity3D搭建一個宇宙飛船內(nèi)部的場景;另一種是利用高清相機進行現(xiàn)實采集照片，然后拼接成一個完整的場景，比如谷歌地圖里的街景。文中討論的就是第二種場景的搭建，利用SIFT算法對照片進行拼接來構(gòu)成場景，但為了提高拼接的實時性和效果，對尺度空間結(jié)構(gòu)進行了改進。

1 圖像拼接技術(shù)流程及算法評價

1.1 圖像拼接技術(shù)算法及流程

目前比較主流的圖像拼接技術(shù)是基于特征點的匹配，該方法相比較其他圖像匹配方法具有以下優(yōu)點：

1)計算量小。利用特征點來進行圖像匹配的技術(shù)就是在特征空間中通過計算找到兩幅圖像的特征點并進行匹配，然后得出對應的變換模型[1]，因此計算速度很快，計算量小。

2)魯棒性好。特征點匹配是利用特征點在特征空間上對圖像進行匹配的技術(shù)[2]，所以避免了噪聲對匹配效果的影響具有更好的魯棒性。

3)對幾何的形變不敏感?；谔卣鼽c的圖像匹配技術(shù)因為是在特征空間進行點的匹配，所以即使當圖像發(fā)生幾何形變時，對圖像拼接的影響也會很小。

一個完整的場景拼接步驟是首先利用高清相機拍攝出待拼接的場景圖片，然后對這些圖片進行預處理，提取特征點，再進行匹配，最后進行融合和相應的亮度處理，然后將拼接好的完整圖像輸出。

圖1 圖像拼接流程

1.2 圖像拼接算法評價標準

圖像拼接算法將直接影響到圖像拼接最后呈現(xiàn)出的效果的完整性、真實性，是否有拼接痕跡。對于不同的算法，人們在評判其好壞時，一般從兩個方面去評價，一是精確度，二是速度。所謂精確度，指的是該算法可以對兩幅甚至更多幅圖像進行精準的拼接，所得到的圖像拼接痕跡非常小。而速度是指利用該算法拼接圖像所耗費的時間的長短。但這兩個評價要求其實又是自相矛盾的，因為如果希望對圖像進行精準拼接，那么就必然要求提高特征的獨特性，因此需要對特征進行更復雜的描述，同時也需要引進更多的特征點,從而進一步提高拼接質(zhì)量。這樣處理的代價就是會極大地提高算法的復雜性，并且會帶來運行時間過長的弊端，特別是對于實時系統(tǒng)來說，這將會成為更加嚴重的問題。因為對于算法優(yōu)劣的評價并不能一概而論，而是要根據(jù)算法應用的場景，不同的場景下對算法的需求也會有不同的標準。但是在速度和精確度之間找到平衡，仍然是大多數(shù)算法追求的目標。

2 基于尺度空間的SIFT配準

2.1 圖像配準技術(shù)

在圖像拼接技術(shù)中，圖像配準是一個基礎(chǔ)工作，但同時也是拼接流程中的關(guān)鍵性工作，它直接影響到拼接之后圖像所呈現(xiàn)出來的效果。而利用特征點進行圖像配準是近幾年圖像拼接領(lǐng)域里的一個熱門技術(shù)，該配準算法首先是對待拼接圖像進行特征點檢測，然后對檢測到的特征點進行描述，再將描述一致的特征點進行匹配，最后再通過算法對誤匹配的特征點進行消除。在這幾個步驟中，關(guān)鍵的一步是特征點檢測，它將直接影響后續(xù)的特征點匹配和誤匹配率，例如大家熟悉的Harris角點檢測算法[3]。但該方法有一個弊端，就是當待檢測的圖像如果發(fā)生了圖像尺度變化，并且變化幅度比較大，那么該算法在檢測過程中會出現(xiàn)很大的誤差，忽略很多特征點的檢測，因此在圖像特征不變性這一點上，很難得到保證。針對該問題，David Lowe于1999年提出了SIFT算子，并在2004年正式提出了SIFT特征[4]，該特征是圖像在尺度空間時的局部特征，當圖像發(fā)生平移、旋轉(zhuǎn)或者縮放這些變化時，該特征在尺度空間上卻仍然可以保持不變，并且該特征對視角變換和噪聲也有一定程度的穩(wěn)定性[5]，所以是一種匹配能力較強的算法。

2.2 SIFT算法性能分析

SIFT算法性能分析實驗圖如圖2所示。

圖2 SIFT算法性能分析實驗圖

以圖2(300*400)為例，進行了SIFT算法檢測特征子，共實驗20次，并對實驗過程中的關(guān)鍵步驟進行計時，然后進行平均計算，結(jié)果見表1。

表1 SIFT匹配算法關(guān)鍵步驟用時表

通過表1可以發(fā)現(xiàn)，在SIFT匹配算法關(guān)鍵步驟中，用時最多的是特征點檢測和計算特征向量，分別占到了36.75%和48.06%。

這是因為在進行特征點檢測時，SIFT匹配算法會對尺度空間和高斯差分尺度空間進行計算，很明顯，當高斯金字塔階數(shù)和層數(shù)增多，SIFT算法的計算量就會增大[6]，同時，計算的像素點的數(shù)量也會增多，那么就會使算法的計算速度進一步降低。

3 尺度空間構(gòu)造結(jié)構(gòu)的改進

利用SIFT算法構(gòu)造高斯金字塔時，一般選擇的是四階五層，在構(gòu)造過程中要注意，通常會將原始圖像進行放大，然后作為第一階的第一層，這樣做的目的是為了能夠得到更多的特征點，并假設(shè)該層的空間尺度因子為σ[7]。同時,假設(shè)同一階中相鄰兩層的尺度空間比例因子為k，那么第二層的尺度空間因子為kσ，第三層為k2σ，第四層為k3σ，第五層為k4σ。當繼續(xù)構(gòu)建高斯金字塔第二階時，第一層選擇的是第一階的第三層，所以第二階第一層尺度空間因子為k2σ，第二層為k3σ，第三層為k4σ，第四層為k5σ，第五層為k6σ。構(gòu)建第三階和第四階也按照同樣的方法。具體如圖3所示。

位于宜興的木構(gòu)農(nóng)房綠色改良技術(shù)集成與示范項目，隸屬于鄭州大學主持的“十二五”國家科技支撐計劃課題“傳統(tǒng)農(nóng)房建造技術(shù)改良與應用”（2015BAL03B03）。項目運用現(xiàn)代木結(jié)構(gòu)技術(shù)，改善傳統(tǒng)木構(gòu)民居在結(jié)構(gòu)安全、房屋節(jié)能、居住舒適度、建造方式等問題。筆者在鄭州大學研究生在讀期間有幸參與了項目設(shè)計建造的全過程。

圖3 高斯金字塔構(gòu)造圖

既然四階五層的高斯金字塔導致了計算量增多和計算速度下降，那么可以嘗試減少階數(shù)和層數(shù)，例如構(gòu)建一個三階四層的高斯金字塔來進行驗證。

當高斯金字塔的階數(shù)和層數(shù)都減少后，先通過下面一個簡單的分析，看看對算法的計算量和計算速度有什么影響。

假設(shè)m為高斯金字塔的階數(shù)，n為高斯金字塔的層數(shù)，Ci,j為第i階j層的特征點數(shù)目，那么這樣一個高斯金字塔的特征點總的數(shù)量為[8]。

通過上述公式容易知道，當高斯金字塔的階數(shù)和層數(shù)減少后，整個高斯金字塔的特征點的總數(shù)必然會減少，而特征點數(shù)量的減少，雖然會減少算法的計算量，提高計算速度，但必然會影響圖片拼接的質(zhì)量和效果。以圖2作為實驗用圖，通過實驗得出特征點分布，當取三階四層時，得到了81個特征點，而取四階五層時，可以得到102個特征點。因此，當高斯金字塔由四階五層減少到三階四層時，特征點數(shù)量減少了，那么兩幅圖像的匹配點的對數(shù)也會相應減少，在一定程度上影響投影變換矩陣的精確計算和圖片的拼接效果。為了解決這個問題，文中將采用RANSAC算法對匹配點進行提純的方法，降低因為高斯金字塔階數(shù)和層數(shù)的減少帶來的精度的缺失，同時提高拼接后圖片所呈現(xiàn)出的效果和質(zhì)量。

3.1 改進的實驗效果和分析

本次實驗選擇兩幅圖像作為拼接對象，如圖4所示。

(a) 待配準圖 (b) 參考圖

3.2 構(gòu)造高斯金字塔

構(gòu)造高斯金字塔一般分為兩個步驟:

1)為了降低圖像噪聲和細節(jié)層次，通常采取高斯模糊來對圖像進行處理;

2)降低原始圖像的采樣點，即我們常說的降采樣處理。

文中將圖4(288*400)構(gòu)造成三階四層的高斯金字塔，以第一階為例，顯示結(jié)果如圖5所示。

圖5 高斯金字塔第一階(三階四層)

由圖5可以看出，階數(shù)和層數(shù)越高，圖像越模糊，越底層圖像越清楚。這是因為在圖像處理軟件中，為了降低圖像的噪聲及細節(jié)層次，采用高斯模糊這樣的處理方式。其次，我們發(fā)現(xiàn)在高斯金字塔的每一階都有7幅圖像，即七層，但按照理論來說，每一層一幅圖像，一階有四層，那就應該是4幅圖像，但實際情況為什么是7幅？其原因在于當對圖像進行極值比較檢測特征點時，每一階的首層和末層這兩層的圖像是無法進行極值比較的，而多出來的3幅圖像其實是利用了高斯模糊在每一階的頂層產(chǎn)生的，目的是為了保證尺度變化的連續(xù)性[8]，這樣，每一階的圖像數(shù)量就變成了7幅，層數(shù)也就是七層。

3.3 構(gòu)造高斯差分金字塔

在構(gòu)造好的高斯金字塔的基礎(chǔ)上，可以著手構(gòu)造高斯差分金字塔，其實構(gòu)造高斯金字塔的目的就是為了構(gòu)造高斯差分金字塔。高斯差分金字塔的第一階第一層是由高斯金字塔的第一階第二層減去第一層得到的，每一層的差分圖像都由此推導出，這些差分圖像就構(gòu)成了我們常見的高斯差分金字塔，因此，這就是高斯差分金字塔為什么每一階都比高斯金字塔少一層的原因。結(jié)果如圖6所示(以第一階為例)。

圖6 高斯差分金字塔第一階(三階四層)

3.4 特征點檢測

通過對原始圖像分別構(gòu)造的三階四層金字塔和四階五層金字塔進行特征點檢測和所花費時間進行對比，得到相關(guān)數(shù)據(jù)見表2。

表2 兩組圖像特征點檢測與耗時表

通過表2可以看出，當高斯金字塔由四階五層減少為三階四層時，特征點檢測所消耗的時間減少了，因此算法的實時性得到了一定的提高。

3.5 特征點初始匹配(粗匹配)

所謂初始匹配，即粗匹配，是指利用NN法粗匹配后獲得的匹配點對[6]。

當對高斯金字塔為三階四層的圖像進行粗匹配時，得到匹配的特征點對數(shù)為24對，而當高斯金字塔增加階數(shù)和層數(shù)變成四階五層時,對兩幅圖像進行粗匹配，由于特征點數(shù)目增加了，所以得到匹配的特征點對數(shù)為29對。而在之前已經(jīng)介紹過了，當匹配點對數(shù)減少后，會對投影變換矩陣的精確計算帶來一定的影響。因此，為了降低特征點減少帶來的匹配精確度上的損失，提高圖像匹配的效果，引入了RANSAC算法來對匹配后的特征點進行提純。

3.6 匹配點提純

在上述粗匹配所得到的匹配點對里，可能會存在著一些誤匹配點對，這是因為圖像背景在某些位置存在著一定的相似性。因此需要對匹配點進行提純，所謂的提純，就是在已經(jīng)匹配的特征點里找出正確的匹配點對，去除誤匹配的特征點。而提純常用的算法就是RANSAC算法，該算法是對模型參數(shù)進行估算的一種數(shù)學方法，主要是通過計算含有異常數(shù)據(jù)的樣本數(shù)據(jù)集，得出該樣本數(shù)據(jù)集的數(shù)學模型參數(shù)[8]，然后根據(jù)該模型得到最終有效的樣本數(shù)據(jù)的一種算法。根據(jù)該算法分別對三階四層和四階五層的粗匹配后包含誤匹配的匹配點對進行計算，從而得到精確的匹配點對。

通過對三階四層和四階五層進行精匹配后得到的數(shù)據(jù)見表3。

表3 特征點匹配對數(shù)和誤匹配率

通過表3可以發(fā)現(xiàn)，當減少了階數(shù)和層數(shù)后，誤匹配率反而降低了，這是因為圖像的特征點主要集中在高斯金字塔的底層，當高斯金字塔的階數(shù)和層數(shù)在不斷提高，圖像也在不斷地進行著高斯模糊，因此,各階層圖像的像素值很少變化甚至是沒有變化，造成了層數(shù)和階數(shù)越高，圖像的相似度就越高，而特征點檢測本質(zhì)是基于特征變化盡可能多的點。因而盡管可以檢測到極值點，但這樣的匹配點對有極大的可能成為誤匹配點對。

3.7 圖像融合

當高斯金字塔分別為三階四層和四階五層時，使用常見的重疊區(qū)線性過渡法[9]進行圖像拼接，具體效果如圖7和圖8所示。

圖7 三階四層拼接效果圖

圖8 四階五層拼接效果圖

從圖7和圖8兩幅效果圖來看，高斯金字塔分別為三階四層和四階五層，拼接出來的效果無明顯差別。拼接所耗費的時間見表4。

表4 兩組圖像拼接耗時對比表

通過表4可以看出，高斯金字塔由四階五層降低為三階四層后，拼接圖像的時間降低了16.03%。

4 結(jié) 語

在圖像配準階段，針對SIFT特征點檢測耗時較多的問題，提出了修改高斯金字塔的空間尺度結(jié)構(gòu)，并針對改進后的高斯金字塔和傳統(tǒng)的高斯金字塔在圖像拼接過程中所消耗的時間和拼接效果的比較，證明了改進后圖像拼接質(zhì)量并沒有降低，但拼接速度卻比沒改進前更加快了。但文中實驗只是基于兩幅圖像的拼接，對于多圖像拼接問題并沒有分析，這也是不足之處。

參考文獻：

[1] 余懷,楊文.一種無人機航拍影像快速特征提取與匹配算法[J].電子與信息學報，2016，38(3):509-516.

[2] 李玉峰,李廣澤,谷紹湖,等.基于區(qū)域分塊與尺度不變特征變換的圖像拼接算法[J].光學精密工程，2016，24(5):1197-1205.

[3] 張斌.巡航機器人的圖像拼接系統(tǒng)研究與實現(xiàn)[D].成都:西南科技大學,2015.

[4] 李秀華,劉國銳.一種改進的SIFT特征匹配算法[J].長春工業(yè)大學學報,2017,38(1):58-61.

[5] 李丹,孫海濤,王海莉.一種改進的SIFT圖像立體匹配算法[J].西南交通大學學報,2015,50(3):490-495.

[6] 秦佳,楊建峰,薛彬,等.基于向量相似度匹配準則的圖像配準與拼接[J].微電子學與計算機,2013,30(6):22-25.

[7] 趙宏宋,潘地林.基于SIFT和函數(shù)強制改正算法的圖像拼接研究[J].電腦知識與技術(shù),2014,10(14):3372-3375.

[8] 歐陽寧,翟紫伶,首照宇,等.基于圖切割的多頻帶融合圖像拼接[J].微電子學與計算機,2013,30(7):107-110.

[9] 趙毅力,武仲科，張雁,等.基于圖結(jié)構(gòu)的全景圖自動識別與拼接技術(shù)[J].計算機工程與技術(shù),2013,34(6):2067-2070.