李明亮， 侯英竹

(1.河北地質(zhì)大學信息工程學院， 石家莊 050031； 2.智能傳感物聯(lián)網(wǎng)技術(shù)河北省工程研究中心， 石家莊 050031)

計算機科學與技術(shù)日新月異，構(gòu)建全景圖像成為了研究熱點，目前全景圖像已在醫(yī)用影像處理、虛擬現(xiàn)實、圖像遙感技術(shù)等方面有較為成熟的應用[1]。由于設(shè)備有限，只能夠得到清晰度較高的局部圖像或者清晰度較低的全景圖像。目前研究發(fā)現(xiàn)將清晰度較高的局部圖像進行無縫拼接可以得到清晰度較高的全景圖像，研究一種拼接效果好、拼接效率高的圖像拼接算法尤為必要[2]。

圖像存在噪聲，在圖像拼接之前需要進行圖像預處理，Mallat建立了小波變換快速算法并應用于圖像的分解與重構(gòu)，提出了利用小波變換模極大值原理進行信號去噪[3-4]。圖像拼接的關(guān)鍵是準確快速找到待拼接圖像的重疊部分，最常用的方法有像素查詢、塊匹配、特征提取等[5-6]。將待拼接圖像重疊部分進行融合完成圖像拼接[7]。尺度不變特征轉(zhuǎn)換(scale invariant feature transform，SIFT)算法[8]和加速魯棒特征(speed-up robust features，SURF)算法[9]的實現(xiàn)原理相似，其中SURF算法比SIFT算法構(gòu)建線性的尺度空間的速度快[10]，SIFT算法與SURF算法有較強的魯棒性，但構(gòu)建的線性尺度空間丟失圖像細節(jié)信息[11-12]。導向快速與旋轉(zhuǎn)簡短(oriented fast and rotated brief, ORB)算法為了使其更加具有方向性,使用一個不具備旋轉(zhuǎn)與尺度不變性的二進制描述符對該特征點的位置進行描述,計算速度快[13-14]。文獻[15]首次提出了一種通過利用rBRIEF(rotated BRIEF) 的描述子對特征點提取二進制描述符,其利用這個特征點的一個主方向決定二進制描述符的位置,得到一個具有非線性和尺度不變的二進制描述符。RANSAC算法[16]能夠消除大部分不相互匹配的特征點[17],提升了相互匹配的精度[18]。以上研究雖然在一定條件下大大提升了ORB算法的圖像匹配精度,但對于圖像在相位變化復雜的情況下,仍無法解決圖像匹配精度低的問題。Aslantas進行了圖像融合實驗，結(jié)果表明拉普拉斯金字塔圖像融合[19-20]效果更顯著。

在現(xiàn)有特征提取及特征點匹配算法的基礎(chǔ)上，現(xiàn)研究SIFT算法、SURF算法、ORB算法，使得圖像特征匹配速度更快、精度更高，研究RANSAC算法與拉普拉斯金字塔圖像融合算法，使得圖像拼接更加精確。提出一種ORB算法、RANSAC算法與拉普拉斯金字塔圖像融合算法組合的圖像拼接算法，以期達到圖像拼接速度更快、精度更高及無損無痕的效果。

1 利用小波變換對圖像進行預處理

小波變換將圖像的數(shù)據(jù)信息進行時間和頻率的局部變換，可同時在時域和頻率中對圖像數(shù)據(jù)進行多尺度聯(lián)合分析，所以采用Harr小波函數(shù)對圖像進行分解，既保留了圖像特征，又降低了噪聲對圖像特征提取的干擾，提高了圖像匹配的精度，進而提高了圖像拼接的精度。

Harr小波函數(shù)的數(shù)學定義為

(1)

尺度函數(shù)為

(2)

對于待拼接圖像，分別在水平和垂直方向通過Harr小波函數(shù)實現(xiàn)一級小波變換分解。圖1為經(jīng)過一級小波變換行分解和列分解后子圖像的劃分。

小波變換的重構(gòu)算法對分解后的小波系數(shù)進行逆變換重構(gòu)圖像，得到下一步進行特征提取的圖像。

LL子帶表示圖像的近似；HL子帶表示圖像的水平方向特性；LH 子帶表示圖像的垂直方向特性；HH子帶表示圖像的對角特性圖1 圖像一級小波分解與重構(gòu)過程Fig.1 Image first order wavelet decomposition and reconstruction process

2 ORB算法

ORB算法采用rBRIEF(rotated BRIEF) 描述子對特征點提取二進制描述符，其利用特征點的主方向來決定二進制描述符的方向。

選取一個S×S大小的像素塊p，p經(jīng)過平滑處理，令像素塊中心處的灰度值為p(x)，則二值測試準則τ定義為

(3)

在特征點周圍選取n個點，坐標為(xi,yi)，通過二值測試準則進行比較，得到具有旋轉(zhuǎn)不變性質(zhì)的n維二進制特征描述符，表達式為

(4)

定義一個2×n階矩陣S為

(5)

特征點主方向θ對應的旋轉(zhuǎn)矩陣Rθ為

(6)

將矩陣S進行旋轉(zhuǎn)變換得到新的矩陣Sθ為

(7)

二進制描述符為

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(8)

3 特征點匹配

3.1 特征點粗匹配

運用ORB算法完成特征提取后，接著利用正反雙向匹配算法進行特征點粗匹配。

正反雙向匹配算法步驟如下。

步驟1在圖像G1中隨機選取一個特征點h，計算特征點h與待拼接圖像G2中各個特征點之間的漢明距離q。

步驟2從待拼接圖像G2各個特征點中選取與特征點h漢明距離最近的兩個特征點，即最近點h1和次近點h2。

步驟3設(shè)h與h1之間的漢明距離為L1,h與h2之間的漢明距離為L2，若L1/L2>0.7，則表示特征點h和h1是一對匹配點。

步驟4根據(jù)步驟3規(guī)則計算得到圖像G1中的特征點相應的匹配點對集為C1。同上，計算得到圖像G2中的特征點相應的匹配點對集為C2。對比集合C1中的匹配點對與集合C2的匹配點對，若相同則保留，否則剔除。

3.2 特征點精匹配

經(jīng)過粗匹配后的特征點對中有時候可能會出現(xiàn)有錯誤的匹配點對,會大大降低最終拼接精度,因此使用RANSAC算法提純了匹配點對。

RANSAC算法步驟如下。

步驟1隨機選取4組匹配點對(保證這4組匹配點對不共線)并用最小二乘法求解單應矩陣H。

步驟2計算根據(jù)H變換得到的特征點與粗匹配得到的特征點之間的歐氏距離，設(shè)定閾值選取匹配點對集合I。

步驟3歐氏距離在設(shè)定閾值內(nèi)的匹配點對加入匹配點對集合I。每次迭代更新匹配點對集合I和迭代次數(shù)K，確定迭代次數(shù)K使得置信概率更高。置信概率為隨機抽取K次，至少出現(xiàn)一次4組匹配點對都正確的概率，設(shè)特征點集包含正確數(shù)據(jù)的百分比為n，置信概率為1-(1-8n)K。

步驟4計算匹配點對集合I對應的變換矩陣H，即最終的圖像變換模型。

4 圖像融合

直接進行圖像拼接，拼接處存在裂痕，利用拉普拉斯金字塔融合算法進行圖像融合完成無縫拼接。

拉普拉斯金字塔融合算法步驟如下。

步驟1搭建高斯金字塔。

(9)

式(9)中：l為金字塔的層數(shù)；(m,n)和(i,j)為圖像大小的參數(shù)；Gl(i,j)為第l層高斯金字塔圖像；Gl-1(2i+m,2j+n)為第l-1層高斯金字塔圖像；w(m,n)=h(m)h(n)為高斯卷積核。

(10)

步驟2高斯金字塔內(nèi)的相鄰層相減，得到拉普拉斯金字塔。

拉普拉斯金字塔表達式為

Ll=Gl-pyrUp(Gl+1)

(11)

式(11)中：l為金字塔的層數(shù)；Gl為第l層高斯金字塔圖像；Gl+1為第l+1層高斯金字塔圖像；Ll為第l層拉普拉斯金字塔圖像；pyrUp()為對圖像進行上采樣函數(shù)。

步驟3拉普拉斯金字塔由底層逐層向上相加，得到融合圖像。

5 圖像拼接

進行圖像拼接的過程中存在計算量大、運行時間長、提取錯誤匹配點對的問題，為了提高圖像拼接的速度與精度,提出了改進的算法。

圖像拼接的步驟如下。

步驟1輸入待拼接的圖像。

步驟2利用小波變換對圖像進行預處理。

步驟3利用ORB算法選取圖像特征點并匹配。

步驟4利用RANSAC算法剔除錯誤匹配點對。

步驟5利用拉普拉斯金字塔算法進行圖像融合。

步驟6輸出拼接完成的全景圖像。

算法流程如圖2所示。

圖2 改進的算法流程圖Fig.2 Improved algorithm flow chart

6 實驗結(jié)果分析

6.1 實驗1：特征匹配結(jié)果對比

選取4組圖像分別利用SIFT算法、SURF算法、ORB算法及本文算法進行特征匹配實驗。

表1進行了不同算法提取的特征數(shù)量對比，表2進行了不同算法特征提取時間對比，在windows10系統(tǒng)、內(nèi)存8 GB計算機PyCharm軟件下測試出來，利用Python中的time.time( )函數(shù)計算運行時間。

表1 不同方法提取特征數(shù)量對比Table 1 Comparison of the number of features extracted by different methods

表2 不同方法提取特征時間對比Table 2 Time comparison of feature extraction by different methods

選取圖3作為實驗圖像，在空域上進行特征匹配的結(jié)果如圖4所示，其中，SIFT算法特征匹配結(jié)果如圖4(a)所示，SURF算法特征匹配結(jié)果如圖4(b)所示，ORB算法特征匹配結(jié)果如圖4(c)所示，基于ORB和RANSAC組合的圖像拼接算法特征匹配結(jié)果如圖4(d)所示。

由表1不同方法提取特征數(shù)量對比可知，SIFT算法比SURF和ORB算法提取特征數(shù)量要少得多。而基于ORB和RANSAC組合的圖像拼接算法比SIFT算法提取特征數(shù)量有減少，但是不明顯，分析是因為選取拼接的圖像簡單、特征點較少。由表2不同方法提取特征時間對比可知，同等條件下，SIFT算法比SURF和ORB算法提取特征時間要少。本文算法將圖像通過小波變換進行預處理減小了特征提取的工作量，比SIFT算法提取特征時間也有減少，本文算法提取特征點平均耗時為0.309s，用時約為SIFT算法的84.7%、SURF算法的36.4%、ORB算法的64.9%。最后，結(jié)合圖4的匹配結(jié)果來看，圖4(c)中匹配點對最少，圖4(a)、圖4(b)、圖4(c)中的錯誤匹配點對較多，圖4(d)中有較多的匹配點對并且錯誤匹配點對最少，因此基于ORB和RANSAC組合的圖像拼接算法特征點匹配精度高。

圖3 實驗圖像Fig.3 Experimental image

圖4 圖像特征匹配實驗Fig.4 Image feature matching experiment

6.2 實驗2：圖像粗匹配對比

實驗2將特征點暴力匹配實驗和特征點粗匹配實驗進行對比，在空域上進行特征點粗匹配的結(jié)果如圖5所示，圖5(b)中的錯誤匹配點對比圖5(a)中的錯誤匹配點對少，特征匹配的準確率更高。

6.3 實驗3：圖像精匹配對比

實驗3將特征點粗匹配和特征點精匹配實驗進行對比，在空域上進行特征點精匹配的結(jié)果如圖6所示，圖6(a)中存在錯誤匹配點對，圖6(b)中不存在錯誤匹配點對，特征匹配的準確率進一步提高。

6.4 實驗4：不同提取特征算法特征點匹配實驗對比

所用的實驗圖像為hpatches數(shù)據(jù)庫中的boat、bird、Beyus、azzola、apprentices、abstract共6組圖像，主要針對不同提取特征方法對不同視角圖像進行特征點匹配實驗對比，統(tǒng)計特征點匹配對數(shù)與運行時間，其中時間在windows10系統(tǒng)、內(nèi)存8 GB計算機PyCharm軟件下測試出來，利用Python中的time.time()函數(shù)計算運行時間，從每組圖像選取兩幅存在視角差異的圖像進行實驗，如圖7所示。結(jié)果如表3～表8所示。

圖5 圖像粗匹配對比實驗Fig.5 Image rough matching contrast experiment

圖6 圖像精匹配對比實驗Fig.6 Image precision matching contrast experiment

表3 不同提取特征方法進行特征點暴力匹配數(shù)量對比Table 3 Logarithmic comparison of feature point violence matching by different feature extraction methods

圖7 hpatches數(shù)據(jù)庫視角差異圖Fig.7 View difference diagram of hpatches database

表4 不同提取特征方法進行特征點粗匹配數(shù)量對比Table 4 Logarithmic comparison of feature points rough matching of by different feature extraction methods

表5 不同提取特征方法進行特征點精匹配數(shù)量對比Table 5 Logarithmic comparison of feature point precision matching by different feature extraction methods

表6 不同提取特征方法進行特征點暴力匹配時間對比Table 6 The violence matching time of feature points comparison with different feature extraction methods

表7 不同提取特征方法進行特征點粗匹配時間對比Table 7 The rough matching time of feature points comparison with different feature extraction methods

表8 不同提取特征方法進行特征點精匹配時間對比Table 8 The precision matching time of feature points comparison with different feature extraction methods

由表3不同提取特征方法進行特征點暴力匹配對數(shù)數(shù)量對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進行特征點暴力匹配對數(shù)數(shù)量少。由表4不同提取特征方法進行特征點粗匹配對數(shù)數(shù)量對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進行特征點粗匹配對數(shù)數(shù)量少。由表5不同提取特征方法進行特征點精匹配對數(shù)數(shù)量對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進行特征點精匹配對數(shù)數(shù)量少。由表6不同提取特征方法進行特征點暴力匹配時間對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進行特征點暴力匹配時間少。由表7不同提取特征方法進行特征點粗匹配時間對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進行特征點粗匹配時間少。由表8不同提取特征方法進行特征點精匹配時間對比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進行特征點精匹配時間少。實驗結(jié)果表明ORB算法進行特征點匹配時間短。

6.5 實驗5：圖像融合實驗對比

實驗5進行圖像融合實驗對比，結(jié)果如圖8所示，圖8(a)為圖像拼接結(jié)果，其中圖像拼接處存在明顯的裂痕，圖8(b)為圖像融合結(jié)果，圖像拼接處裂痕不明顯。

從圖8(a)、圖8(b)可以看到，圖像拼接之后拼接處有明顯裂痕。利用拉普拉斯金字塔算法進行圖像融合之后獲得的圖像拼接處裂痕不明顯，因此，基于ORB和RANSAC組合的圖像拼接算法具有較好的拼接效果。

圖8 圖像融合實驗Fig.8 Image fusion experiment

7 結(jié)論

根據(jù)圖像拼接精度高、速度快的要求，介紹了圖像拼接的流程，提出了對圖像拼接的算法進行改進的想法，然后研究了基于小波變換的圖像預處理、ORB算法、優(yōu)化圖像匹配的RANSAC算法以及拉普拉斯金字塔融合算法，得到了改進的圖像拼接算法，最后進行實驗。實驗結(jié)果表明：提出的基于ORB和RANSAC組合的圖像拼接算法對選取的圖像進行提取特征平均耗時約為SIFT算法的84.7%、SURF算法的36.4%、ORB算法的64.9%，圖像特征匹配精度提高，圖像特征匹配時間縮短，消除圖像拼接處裂痕，是一種優(yōu)質(zhì)的圖像拼接算法。