西安鐵一中國(guó)際合作學(xué)校 李思潼

0 引言

在日常生活當(dāng)中，我們時(shí)常遇到不能近距離大幅度拍攝畫(huà)面，而遠(yuǎn)距離拍得的圖像又不甚清晰，分辨率低的苦惱。在市面銷(xiāo)售解決這一問(wèn)題的魚(yú)眼鏡頭，廣角，超廣角式鏡頭又太過(guò)專(zhuān)業(yè)，操作復(fù)雜并且價(jià)格相對(duì)較為昂貴，不適合普通人使用。即使是現(xiàn)在手機(jī)具備的全景式拍照功能，其拍得的圖片通常會(huì)變形且過(guò)小，從而無(wú)法展示圖像應(yīng)有的細(xì)節(jié)。因此圖像拼接技術(shù)應(yīng)運(yùn)而生。

圖像拼接技術(shù)通過(guò)融合圖片，解決了分辨率過(guò)低，變形等問(wèn)題。圖像拼接能夠?qū)⑵胀ㄏ鄼C(jī)或手機(jī)拍攝的具有重疊部分的圖像進(jìn)行自動(dòng)拼接，實(shí)現(xiàn)全景圖像的效果，操作簡(jiǎn)便且成本低廉，更貼近大眾用戶，具有廣泛的實(shí)際研究前景和實(shí)用意義。

1 圖像拼接系統(tǒng)流程

本文所設(shè)計(jì)的圖像拼接系統(tǒng)可分為四個(gè)模塊：圖像獲取、圖像預(yù)處理、圖像配準(zhǔn)和圖像融合。首先是圖像獲取模塊，該模塊首先要加載需要拼接圖像的張數(shù)和需要拼接的幾張圖像的路徑，運(yùn)用Opencv讀取源圖像。接下來(lái)對(duì)象進(jìn)行預(yù)處理，包括對(duì)待拼接圖像進(jìn)行去除噪聲，畸形矯正和去除無(wú)關(guān)信息等。然后將預(yù)處理后的圖像輸出到圖像配準(zhǔn)模塊進(jìn)行匹配。在圖像配準(zhǔn)模塊，首先是基于尺度不變特征轉(zhuǎn)換（Scale-Invariant FeatureTransform,SIFT）算法對(duì)待匹配的圖像提取局部特征，然后對(duì)這些特征點(diǎn)進(jìn)行配準(zhǔn)。最后在圖像配準(zhǔn)的基礎(chǔ)上對(duì)圖像進(jìn)行融合。圖像融合即需要找到要拼接的圖像的重疊區(qū)域，然后選擇合適的圖像融合算法將它們?nèi)诤显谝黄?。本文中選擇了像素加權(quán)平均融合算法來(lái)融合待融合的圖像，得到質(zhì)量較好的拼接圖像。該系統(tǒng)的整體工作流程圖如圖1所示。

2 圖像預(yù)處理

一般情況下，我們獲取和傳輸圖像的過(guò)程中或多或少會(huì)受到一些人為或者非人為因素的干擾。比如攝像者技術(shù)水平限制，拍照時(shí)光照條件不佳等情況。因此我們一般要對(duì)原始拍攝的圖像進(jìn)行預(yù)處理。圖像預(yù)處理的目的是優(yōu)化圖像，包括去除一些噪聲，畸形矯正，和圖像增強(qiáng)等操作，這樣可以更方便對(duì)后續(xù)圖像進(jìn)行處理。

圖1 圖像拼接系統(tǒng)工作流程圖

接下來(lái)結(jié)束圖像拼接系統(tǒng)圖像預(yù)處理部分常用的圖像去噪方法。幾乎所有的數(shù)字圖像處理系統(tǒng)都有圖像去噪這一步，去噪效果的好壞直接決定了整個(gè)系統(tǒng)是否能夠順利完成。作為圖像預(yù)處理中不可或缺的一步，圖像去噪有種多種典型方法。相機(jī)拍得的圖像常會(huì)有高斯、加性和“椒鹽”三種噪聲，其中高斯噪聲是由于相機(jī)等圖像獲取裝置內(nèi)部的阻性器件造成的，它的概率密度函數(shù)符合高斯分布；加性噪聲不能全部消除，但可以通過(guò)算法減輕影響；“椒鹽”噪聲就是在一副黑圖像隨機(jī)分布了一些白點(diǎn)或者一副白圖像上的隨機(jī)分布有一些黑點(diǎn)，從而影響圖像的質(zhì)量。

針對(duì)我們要拼接的圖像情況，可以采取以下一種或多種方法組合進(jìn)行去除噪聲：均值濾波：這種方法是將每一個(gè)像素點(diǎn)的灰度級(jí)用它的鄰域的像素點(diǎn)灰度級(jí)平均值代替。這種濾波方法可以有效抑制加性噪聲，減弱尖銳點(diǎn)等，但同時(shí)也可能會(huì)帶來(lái)邊緣模糊的問(wèn)題。中值濾波：該濾波方法是先將中心點(diǎn)像素及其鄰域像素的灰度級(jí)排序，然后將排序后的中間值灰度級(jí)代替中心像素點(diǎn)的灰度級(jí)。該方法也能減弱加性噪聲，且同時(shí)能夠較好地保留圖像邊緣和細(xì)節(jié)部分。中值濾波器在去除脈沖噪聲有著獨(dú)特的效果和優(yōu)勢(shì)。高斯濾波：這種濾波方法是用設(shè)計(jì)好的高斯核與圖像進(jìn)行依次卷積，依次更新圖像的像素值。高斯濾波可以平滑圖像達(dá)到去除圖像噪聲的目的，同時(shí)也會(huì)模糊圖像。

3 圖像配準(zhǔn)

待拼接的圖像進(jìn)行預(yù)處理后，我們接下來(lái)要對(duì)圖像進(jìn)行匹配。圖像匹配是基于局部特征提取的圖像拼接系統(tǒng)中尤為重要的一步，其匹配的結(jié)果將直接影響后續(xù)圖像融合的準(zhǔn)確度。我們的圖像配準(zhǔn)部分分為局部特征點(diǎn)提取、局部特征點(diǎn)匹配和RANSAC精匹配三部分。

3.1 局部特征點(diǎn)提取

圖像批準(zhǔn)的第一步是提取圖像的局部特征。本文采用的是基于SIFT算法的SIFT特征點(diǎn)提取。SIFT(Scale-Invariant FeatureTransform)特征檢測(cè)方法是由David Low于2004年提出。SIFT特征算子具有對(duì)旋轉(zhuǎn)、尺度縮放和亮度變化能保持極強(qiáng)的穩(wěn)定性，甚至對(duì)噪聲也保持一定程度的不變性。

基于SIFT算法提取圖像的局部特征分為以下四步：1）檢測(cè)圖像尺度空間的極值，初步選出圖像關(guān)鍵點(diǎn)的位置;2)特征點(diǎn)精定位，在上一步確定的候選關(guān)鍵點(diǎn)擬合一個(gè)精確的模型進(jìn)一步篩選出關(guān)鍵點(diǎn)；3）確定每一個(gè)關(guān)鍵點(diǎn)的方向信息；4）對(duì)這些特征點(diǎn)生成相應(yīng)的特征描述符。

3.2 局部特征點(diǎn)匹配

局部特征點(diǎn)匹配是將兩幅待拼接的圖像用上述方法提取的SIFT特征進(jìn)行向量化，并求取兩幅圖像的SIFT特征向量的歐式距離，從而進(jìn)行匹配。

在求得兩幅圖像的局部特征向量后，我們先選取待拼接圖像1的某一個(gè)關(guān)鍵點(diǎn)，再根據(jù)公式1求出在圖像2中與該關(guān)鍵點(diǎn)歐氏距離最近的關(guān)鍵點(diǎn)。依次循環(huán)求出所有匹配的關(guān)鍵點(diǎn)從而得到基于SIFT特征的待拼接圖像粗匹配結(jié)果。

3.3 RANSAC精匹配

步驟3.2中得到的匹配結(jié)果可能會(huì)存在誤匹配的情況，要是將粗匹配的結(jié)果直接用來(lái)做融合操作會(huì)影響圖像的拼接效果。因此需要對(duì)上一步粗匹配的結(jié)果進(jìn)行精匹配，我們采用基于RANSAC的方法進(jìn)行精匹配。

精匹配的方法可描述為：假設(shè)我們總共有N對(duì)粗匹配的關(guān)鍵點(diǎn)，這些關(guān)鍵點(diǎn)對(duì)大部分都符合一個(gè)模型，描述這個(gè)模型的所有參數(shù)至少需要n（n＜N）對(duì)關(guān)鍵點(diǎn)才能求出。

篩選出誤匹配的關(guān)鍵點(diǎn)對(duì)方法如下：（1）在N對(duì)粗匹配關(guān)鍵點(diǎn)中隨機(jī)選取n對(duì)關(guān)鍵點(diǎn)；（2）用選出來(lái)的N對(duì)關(guān)鍵點(diǎn)計(jì)算出一個(gè)模型M；（3）求出剩下的N-n對(duì)關(guān)鍵點(diǎn)與模型M之間的距離，記下在我們?cè)O(shè)置的誤差允許范圍內(nèi)的關(guān)鍵點(diǎn)對(duì)數(shù)count。重復(fù)以上三個(gè)步驟若干次后，我們把得到count值最大的模型當(dāng)作我們要求的模型，在N對(duì)關(guān)鍵點(diǎn)中這count對(duì)關(guān)鍵點(diǎn)當(dāng)作是我們精匹配的結(jié)果，而另外的N-count對(duì)關(guān)鍵點(diǎn)就當(dāng)成是粗匹配過(guò)程誤匹配的結(jié)果。

4 圖像融合

在完成圖像的匹配后，我們要對(duì)圖像進(jìn)行融合以完成拼接過(guò)程。首先我們要確定圖像的重合區(qū)域，然后保留各自獨(dú)立的區(qū)域，最后取重合的區(qū)域然后拼接在一起。但是拼接的結(jié)果很容易出現(xiàn)一些縫隙，使得圖像看起來(lái)不是那么自然。所以需要我們采用優(yōu)秀的融合算法使得拼接的結(jié)果看起來(lái)滿足人們的審美，看起來(lái)更為自然。圖像融合通常需要我們?cè)谛盘?hào)級(jí)、像素級(jí)或者特征級(jí)上對(duì)圖像進(jìn)行融合。融合算法通常有基于顏色差值、像素加權(quán)平均和多分辨率樣條技術(shù)等幾種方法。本文選擇了像素加權(quán)平均融合算法來(lái)進(jìn)行圖像融合。

如公式2所示，f1(x,y)是圖像1的像素，f2(x,y)是圖像2的像素。我們將各自獨(dú)立的圖像區(qū)域保留，在重疊區(qū)域，我們合理選擇w1和w2的值，有效的消除拼縫，實(shí)現(xiàn)拼接處圖像的平滑過(guò)渡。最后實(shí)現(xiàn)的圖像拼接效果如圖1所示。

5 結(jié)束語(yǔ)

本文實(shí)現(xiàn)了一種基于局部特征提取的圖像拼接系統(tǒng)，可以快速完成對(duì)多幅圖像的拼接。該系統(tǒng)有如下優(yōu)點(diǎn)：采取SIFT算法對(duì)待拼接圖像進(jìn)行局部特征提取，運(yùn)用SIFT尺度不變性等優(yōu)勢(shì)有效降低關(guān)鍵點(diǎn)的誤匹配概率；運(yùn)用RANSAC算法進(jìn)行精匹配，進(jìn)一步提高匹配正確率；應(yīng)用加權(quán)平均融合算法有效減少拼接縫隙，使得拼接后的圖像看起來(lái)既光滑無(wú)縫又顯得自然。同時(shí)本系統(tǒng)也有一些缺陷，比如在待拼接的圖像質(zhì)量比較差包括曝光不合理、對(duì)比度較低等情況，拼接的效果將不是很理想，這也為下一步完善系統(tǒng)指明了改進(jìn)方向。