文偉東, 張 明

(上海海事大學(xué) 信息工程學(xué)院, 上海 201306)

基于SIFT算法的全景圖像拼接技術(shù)研究①

文偉東, 張 明

(上海海事大學(xué) 信息工程學(xué)院, 上海 201306)

全景圖像拼接技術(shù)即通過(guò)將部分重疊區(qū)域的圖像合成以描述某個(gè)場(chǎng)景信息的360度圓形圖像. 引用一種新型的基于SIFT(尺度不變特征變換)特征匹配的圖像排序算法, 實(shí)現(xiàn)圖像的有序排列, 針對(duì)圖像拼接存在的誤匹配點(diǎn)較多、耗時(shí)較長(zhǎng)等問(wèn)題, 結(jié)合FAST算法進(jìn)行特征點(diǎn)提取, 接著針對(duì)相鄰有序圖像間的亮度差異采用自動(dòng)校正操作,削弱了相鄰圖像間的亮度差異, 并結(jié)合改進(jìn)的Ransac算法剔除誤匹配點(diǎn)對(duì), 最后用加權(quán)平衡算法實(shí)現(xiàn)圖像的快速融合. 實(shí)驗(yàn)結(jié)果表明該優(yōu)化排序算法穩(wěn)定、高效.

全景圖像拼接; 圖像排序; 自動(dòng)校正; 加權(quán)平衡; 融合

圖像拼接技術(shù)作為一大研究熱點(diǎn), 主要用于計(jì)算機(jī)視覺(jué)和數(shù)字圖像處理領(lǐng)域. 圖像拼接技術(shù)即是將同一場(chǎng)景下的兩個(gè)或多個(gè)重疊圖像通過(guò)一系列數(shù)字圖像技術(shù)處理[1], 并且可以獲得包含所有原始圖像信息的新的全景圖像. 近年來(lái), 該技術(shù)被廣泛應(yīng)用于航天, 醫(yī)學(xué),虛擬現(xiàn)實(shí)和日常生活等許多領(lǐng)域. 圖像配準(zhǔn)即是找到兩個(gè)或更多個(gè)圖像的重疊部分, 并建立圖像之間的關(guān)系.圖像配準(zhǔn)算法可以大致分為兩種類型[2], 一種是基于圖像特征的圖像配準(zhǔn), 另一種是基于區(qū)域的圖像配準(zhǔn).

基于特征的圖像配準(zhǔn)通過(guò)使用圖像中匹配的局部不變特征來(lái)確定圖像之間的幾何變換關(guān)系. 1977年Moravec提出了角點(diǎn)特征和稱為“興趣點(diǎn)”的概念. 他通過(guò)灰度自相關(guān)函數(shù)來(lái)思考該像素和其領(lǐng)域像素的相似性. 1988年, Harris改進(jìn)了Moravec角, 并提出了Harris角點(diǎn)檢測(cè)算法. 繼lindeberg提出了尺度空間理論之后, Mikolajczyk和Schmid提出了具有尺度不變特征的Harris-Laplacian檢測(cè)算子和Harris-Affine檢測(cè)算子. 2000年, Lowe[3]提出了高效SIFT(尺度不變特征變換)局部特征, 成為局部特征研究領(lǐng)域的里程碑.

文中引用一種基于SIFT特征提取的新型圖像排序算法. 在該方法中, 匹配特征首先通過(guò)計(jì)算一個(gè)圖像和其它圖像之間的匹配點(diǎn)的數(shù)量來(lái)獲得最近的圖像, 并逐一計(jì)算, 以最終獲得精確的圖像順序, 同時(shí)結(jié)合了高效的FAST算法獲取高斯金字塔圖像中的特征點(diǎn)對(duì), 從而提升算法的運(yùn)行效率; 接著針對(duì)有序相鄰圖像間的亮度差異, 實(shí)行相鄰圖像的亮度差異校正操作, 同時(shí)結(jié)合改進(jìn)地Ransac[4]算法剔除錯(cuò)誤匹配點(diǎn)對(duì), 最后用加權(quán)平衡算法實(shí)現(xiàn)圖像的快速融合. 最終實(shí)現(xiàn)高質(zhì)量、穩(wěn)定的全景圖像.

1 特征點(diǎn)提取

1.1 SIFT特征點(diǎn)提取

1999年, David G. Lowe教授總結(jié)了現(xiàn)有的基于不變技術(shù)的特征檢測(cè)方法, 并在此基礎(chǔ)上提出尺度不變特征變換SIFT-圖像局部特征描述算子. SIFT基于尺度空間, 并且保持對(duì)圖像變換的不變性, 例如縮放, 旋轉(zhuǎn)和仿射變換. 并于2004年得到進(jìn)一步改進(jìn).

SIFT特征提取和匹配的過(guò)程主要包括四個(gè)部分:SIFT特征檢測(cè), SIFT特征描述, SIFT特征匹配和匹配點(diǎn)提純. 具體步驟如圖1所示.

圖1 SIFT特征檢測(cè)和匹配的流程圖

SIFT特征提取的過(guò)程按如下順序: 極值檢測(cè), 精確定位特征點(diǎn)位置, 計(jì)算特征點(diǎn)的主方向以及特征描述符生成.

SIFT算法通過(guò)在不同尺度空間上尋找關(guān)鍵點(diǎn), 高斯模糊是獲取尺度空間的理論支撐[5], 即依據(jù)高斯模板和原圖像做卷積運(yùn)算, 實(shí)現(xiàn)模糊圖像. N維空間的正態(tài)分布表示為:

假設(shè)二維高斯模板大小視為m×n, 那么可得出模板上的元素(x, y)映射的高斯值計(jì)算公式為:

1.2 基于SIFT特征匹配的圖像排序算法

針對(duì)自動(dòng)排序存在的問(wèn)題, 如待拼接的圖像需要按順序輸入等, 研究人員提出了各種圖像排序算法. 本文基于SIFT特征匹配引入一種新型圖像排序算法[6]. 該算法可以實(shí)現(xiàn)圖像排序, 并且不需要任何手動(dòng)干預(yù).

I1, I2分別代表兩張圖像. 首先依次提取I1和I2的SIFT特征, 然后進(jìn)行特征匹配. 在理想條件下, 只要I1和I2有重疊區(qū)域, 便可以獲取SIFT特征匹配點(diǎn)對(duì). 如果沒(méi)有, 則無(wú)法獲取SIFT特征匹配點(diǎn)對(duì). 根據(jù)這個(gè)分析, 本文引入一種基于SIFT特征匹配的圖像排序的算法, 設(shè)有圖像集, 集合R=NULL; 圖像的SIFT特征點(diǎn)集, P是存儲(chǔ)圖像匹配點(diǎn)對(duì)集合的向量, P=NULL. 具體算法步驟如下:

1) 從集合S中隨機(jī)選一張圖片Im, 1≤m≤n

2) A=1

3) 如果IA屬于R, 則令I(lǐng)m和IA的匹配點(diǎn)對(duì)集PA=NULL. 否則, 對(duì)Im和IA進(jìn)行配準(zhǔn), 即對(duì)tm和tA進(jìn)行SIFT特征匹配, 得到匹配點(diǎn)對(duì)集合PA; P=P+PA

4) A=A+1 如果A＞n, 轉(zhuǎn)到步驟5, 否則轉(zhuǎn)到步驟3

5) 計(jì)算集合P中Pi的元素個(gè)數(shù)di, 1≤i≤n, 得到

6) 找出集合D中的最大值dk, 1≤k≤n, Im的最佳匹配圖像是Ik, 將Ik加入集合R中, 即R=R+Ik

7) 使m=k, 更新n的值, n=n-1

8) 如果n=1, 跳到步驟9, 否則跳到步驟2

9) R=R+(S-R), 算法終止

由以上算法輸出的R即是圖像集序列, 該集合中的圖像在空間場(chǎng)景中有序排列, 能夠直接用于全景圖像拼接.

2 特征點(diǎn)匹配

SIFT算法雖具備旋轉(zhuǎn)不變、光照不變、尺度不變等很多優(yōu)勢(shì), 但該算法也存在如計(jì)算復(fù)雜度高、誤匹配點(diǎn)較多等缺點(diǎn), 影響了全景圖像拼接的真實(shí)性, 本文在以下幾點(diǎn)進(jìn)行改進(jìn). 結(jié)合FAST算法依據(jù)高斯差分金字塔圖像來(lái)實(shí)施特征點(diǎn)提取, 增強(qiáng)算法的運(yùn)行效率, 針對(duì)相鄰圖像間的亮度差異, 采用圖像亮度差異自動(dòng)校正操作, 便于特征點(diǎn)匹配; 同時(shí)采用改進(jìn)的RANSAC算法剔除誤匹配點(diǎn)對(duì), 實(shí)現(xiàn)更好的圖像融合.

2.1 結(jié)合FAST算法提取特征點(diǎn)

特征點(diǎn)檢測(cè)是圖像拼接技術(shù)的第一步, 對(duì)整個(gè)算法執(zhí)行效率起著關(guān)鍵的作用. 傳統(tǒng)SIFT算法首先建立好高斯金字塔, 接著采取極值點(diǎn)檢測(cè)、關(guān)鍵點(diǎn)定位等方法, 復(fù)雜度較強(qiáng). 而FAST算法作為公認(rèn)的快速特征點(diǎn)檢測(cè)法, 通過(guò)計(jì)算某像素點(diǎn)和周圍像素點(diǎn)的灰度差,從而出該像素點(diǎn)是不是極值點(diǎn), 大大降低了復(fù)雜性, 提高了算法的執(zhí)行效率.

文中在SIFT圖像匹配技術(shù)中結(jié)合FAST算法, 最初隨機(jī)選取某個(gè)像素點(diǎn)P, 接著構(gòu)造半徑為3的圓, 比較圓周上選取的16個(gè)像素點(diǎn), 如果像素值中存在四分之三滿足公式4, 即P被視為角點(diǎn). 圓周上任一點(diǎn)的灰度值視為Ix, P點(diǎn)的灰度值即為Ip, 已知的閾值常數(shù)t. 式中: 滿足界定前提的像素?cái)?shù)量N, 當(dāng)N超過(guò)給定閾值, 即P視為一個(gè)特征點(diǎn).

對(duì)現(xiàn)有高斯差分金字塔圖像結(jié)合FAST算法特征提取的主要過(guò)程如下:

1) 計(jì)算中心的點(diǎn)P像素值與圓周邊緣1到9編號(hào)的像素點(diǎn)存在的灰度差值, 判斷兩個(gè)值的絕對(duì)值大小是否超過(guò)給定閾值t, 如果都大于即P視為候選特征點(diǎn), 繼續(xù)下一步計(jì)算.

2) 進(jìn)一步計(jì)算點(diǎn)P的像素值和圓周邊緣上標(biāo)有點(diǎn)5和點(diǎn)13像素點(diǎn)存在的灰度差值, 如果點(diǎn)1、9、5、13滿足四分之三即至少三個(gè)點(diǎn)差值大于給定閾值t或小于它的相反數(shù)-t, 即該點(diǎn)視為候選特征點(diǎn), 繼續(xù)下一步計(jì)算.

3) 反復(fù)執(zhí)行步驟1、2, 遵循準(zhǔn)則檢測(cè)完圓周邊緣上16個(gè)像素點(diǎn).

圖2為FAST特征點(diǎn)檢測(cè)的模板圖.

圖2 FAST特征點(diǎn)檢測(cè)模板圖

2.2 圖像亮度差異自動(dòng)校正

由于主觀因素, 采集的原始圖像會(huì)出現(xiàn)不同程度亮度差異, 故在特征點(diǎn)檢測(cè)原始圖像之前先進(jìn)行圖像亮度差異調(diào)整[7], 使得左右兩幅圖像亮度漸進(jìn)一致, 從而獲得更有效的特征點(diǎn), 同時(shí)能改善拼接痕跡, 實(shí)現(xiàn)更好融合效果.

根據(jù)前面圖像排序算法確定出的相鄰圖像的重疊區(qū)域, 通過(guò)重疊區(qū)域的像素均值削弱拍攝時(shí)帶來(lái)的亮度差異, 過(guò)程如下:

分別計(jì)算兩幅相鄰圖像重疊處的像素均值, 記為I1和I2, 即得到公共均值:

依據(jù)公共均值來(lái)調(diào)節(jié)I1和I2的亮度差異, 如下式所示:

經(jīng)調(diào)節(jié)后, 待拼接圖像的亮度整體保持一致, 接著按照特征點(diǎn)檢測(cè)與匹配操作, 實(shí)現(xiàn)高效提取角點(diǎn)、降低誤匹配率、圖像效果更清晰.

2.3 改進(jìn)的Ransac算法剔除誤匹配點(diǎn)對(duì)

特征點(diǎn)提取后, 即需確定相鄰兩幅圖像之間特征點(diǎn)對(duì)應(yīng)關(guān)系—特征點(diǎn)匹配. 本文通過(guò)歸一化相關(guān)法(NCC)[8], 其相關(guān)系數(shù)理論如下:

式中: μ1, μ2代表相關(guān)窗口的像素灰度平均值. 根據(jù)最大相關(guān)性雙向搜索圖像1、2, 當(dāng)特征點(diǎn)彼此重合時(shí), 即認(rèn)為是一對(duì)匹配點(diǎn), 通過(guò)該方法搜索直到所有的匹配點(diǎn)對(duì)被找到. 不難發(fā)現(xiàn)該算法獲取的匹配點(diǎn)對(duì)存在部分“偽點(diǎn)對(duì)”, 需通過(guò)Ransac(隨機(jī)一致性算法)對(duì)以上獲取的匹配點(diǎn)對(duì)進(jìn)行過(guò)濾, 提高匹配精確率.

傳統(tǒng)的Ransac算法在外點(diǎn)較多時(shí)會(huì)構(gòu)造錯(cuò)誤模型,本文的Ransac算法在執(zhí)行之前首先判斷特征點(diǎn)的方向是否相同, 提升匹配點(diǎn)對(duì)的準(zhǔn)確率; 同時(shí)運(yùn)用臨時(shí)模型預(yù)檢測(cè)方法以提高算法的執(zhí)行效率. Ransac算法的基本思想: 對(duì)象樣本通常包含正常數(shù)據(jù)以及因種種原因生成的異常數(shù)據(jù), 正確的模型通常由正常數(shù)據(jù)建立, 異常數(shù)據(jù)較此模型往往偏離較遠(yuǎn), Ransac算法使用迭代方式估計(jì)數(shù)學(xué)模型參數(shù)以獲取有效樣本數(shù), 本文實(shí)現(xiàn)算法步驟如下:

1) 計(jì)算所有匹配對(duì)中特征點(diǎn)方向差, 接著建立位于0到360間含有36個(gè)區(qū)的直方圖, 即每個(gè)區(qū)為10°, 統(tǒng)計(jì)每區(qū)存在的匹配點(diǎn)對(duì)數(shù)量, 選取最大區(qū)匹配點(diǎn)對(duì)為候選匹配點(diǎn)對(duì).

2) 依據(jù)以上得到的匹配點(diǎn)對(duì)中選取5對(duì)匹配點(diǎn), 再?gòu)闹须S機(jī)選取4對(duì)線性估計(jì)變換矩陣H, 找到臨時(shí)模型,繼而檢驗(yàn)另外一對(duì)是否在模型上, 如不在即放棄重選, 否則作為候選模型并繼續(xù)尋找其支撐點(diǎn)集. 如公式(8)所示:

3) 計(jì)算所有匹配點(diǎn)對(duì)離H的垂直距離d, 依據(jù)d<閾值t判斷所有匹配點(diǎn)對(duì)的內(nèi)點(diǎn)對(duì), 多次實(shí)驗(yàn)對(duì)比得出閾值取值越小越穩(wěn)定, 當(dāng)所有匹配點(diǎn)對(duì)中正確匹配點(diǎn)對(duì)數(shù)的比例不少于93%時(shí), 即認(rèn)為最佳匹配集合.

4) 重復(fù)以上步驟, 直到內(nèi)點(diǎn)對(duì)集合最大, 記下H, 即為所求矩陣.

3 圖像融合

通常圖像有序拼接之后會(huì)存在明顯縫隙, 因此還需做融合處理[9]. 本文采用加權(quán)平衡算法, 其主要理論:引入漸進(jìn)因子, 范圍在(0, 1)之間. 生成加權(quán)平均[10], 式(9): f11、f22、fw分別為基準(zhǔn)圖像、待匹配圖像及融合后圖像.

圖3 權(quán)值計(jì)算方法

4.2 全景圖像拼接實(shí)現(xiàn)

圖4是6張無(wú)序圖像, 這些圖像從左至右、從上之下分別I1～I(xiàn)6.

圖4 無(wú)序的圖片

使用1.2節(jié)中基于SIFT特征匹配的圖像排列算法,6張圖像的計(jì)算結(jié)果如表1所示.

表1 基于SIFT特征圖像排序算法過(guò)程

在表1中, 交叉點(diǎn)處數(shù)字表示兩圖像之間匹配點(diǎn)數(shù)量. 根據(jù)R中最后一列和最后一行結(jié)果, 可得到排序后圖像, 實(shí)現(xiàn)了圖像有序排列.

為了驗(yàn)證優(yōu)化后算法的高效性, 隨機(jī)選取排序后相鄰兩張圖像進(jìn)行實(shí)驗(yàn), 其中兩幅圖像之間特征點(diǎn)的連線即一組匹配對(duì), 如圖5(a)和5(b)分別用于拼接的左右原始圖像, 圖6(a)和圖6(b)則代表原始的SIFT算法和改進(jìn)優(yōu)化后算法通過(guò)特征點(diǎn)配準(zhǔn)所得實(shí)驗(yàn)結(jié)果, 圖6(c)和7(d)則為最后得到的兩幅圖像的拼接效果.

以上實(shí)驗(yàn)具體運(yùn)行結(jié)果如表2所示, 每次實(shí)驗(yàn)數(shù)據(jù)為重復(fù)五次實(shí)驗(yàn)得到的數(shù)據(jù)均值.

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)說(shuō)明

為了驗(yàn)證改進(jìn)后算法的可行性, 實(shí)驗(yàn)環(huán)境硬件如

圖5 拼接實(shí)驗(yàn)原始圖

圖6 原始算法和優(yōu)化算法匹配效果

表2 正常實(shí)驗(yàn)下的拼接數(shù)據(jù)

從表2中的實(shí)驗(yàn)數(shù)據(jù)可以得出結(jié)論: 表2中算法改進(jìn)前后完成匹配的時(shí)間分別是2.75 s和1.35 s, 效率進(jìn)一步提升. 原因在于改進(jìn)后的算法避免了原SIFT算法對(duì)每層高斯差分金字塔采取特征點(diǎn)提取造成的運(yùn)算時(shí)間較長(zhǎng)問(wèn)題, 取而代之的是FAST檢測(cè)算法相結(jié)合, 快速完成特征點(diǎn)檢測(cè), 進(jìn)一步提高算法效率.

同時(shí)改進(jìn)后的算法減少了誤匹配率, 由之前SIFT算法正確匹配率的89%提升到93.9%, 獲取到的匹配點(diǎn)對(duì)分別為52對(duì)和32對(duì), 即改進(jìn)后算法獲取到的匹配點(diǎn)對(duì)數(shù)較少, 從圖6(a)可以很明顯的看到誤匹配點(diǎn)對(duì), 而圖6(b)將誤匹配點(diǎn)對(duì)進(jìn)一步剔除; 原因在于Ransac算法在建立正確判斷模型之前采取了特征點(diǎn)對(duì)方向特征的判斷操作, 同時(shí)運(yùn)用臨時(shí)模型預(yù)檢測(cè)思想, 從而剔除誤匹配點(diǎn)對(duì), 同時(shí)從圖6(c)和圖6(d)對(duì)比可看出改進(jìn)后算法因減少了誤匹配點(diǎn)對(duì), 從而避免對(duì)應(yīng)圖像關(guān)系錯(cuò)位,即拼接圖像無(wú)明顯條紋、褶皺, 拼接效果更真實(shí).

依據(jù)改進(jìn)后的算法進(jìn)行特征點(diǎn)匹配后, 進(jìn)一步根據(jù)加權(quán)平衡算法實(shí)現(xiàn)圖像的快速融合, 最終實(shí)現(xiàn)圖像的全景拼接, 效果圖如圖7.

圖7 最終拼接全景圖

5 結(jié)論

針對(duì)全景圖像拼接在實(shí)際應(yīng)用中存在的復(fù)雜性和誤匹配點(diǎn)對(duì)較多問(wèn)題, 本文引入一種新型的基于SIFT特征提取的全景圖像自動(dòng)排序算法, 實(shí)現(xiàn)了圖像全景拼接, 充分體現(xiàn)了該算法的自動(dòng)性和適用性. 結(jié)合高效的FAST算法獲取高斯金字塔圖像中特征點(diǎn)對(duì), 從而提升算法運(yùn)行效率; 在特征點(diǎn)提取之前先調(diào)節(jié)圖像的亮度差異, 保證圖像視覺(jué)的一致性, 體現(xiàn)了圖像的真實(shí)性,同時(shí)通過(guò)改進(jìn)的RANSAC算法剔除了大量誤匹配點(diǎn)對(duì),提升了算法的精確度. 最終根據(jù)加權(quán)平衡算法實(shí)現(xiàn)圖像的快速融合. 實(shí)驗(yàn)表明, 本文的算法優(yōu)化在清晰度、準(zhǔn)確度、效率和自動(dòng)化程度方面均有較大提高.

1侯舒維, 郭寶龍. 一種圖像自動(dòng)拼接的快速算法. 計(jì)算機(jī)工程, 2005, 31(15): 70–72.

2楊占龍, 郭寶龍. 基于興趣點(diǎn)偽澤尼克矩的圖像拼接. 中國(guó)激光, 2007, 34(11): 1548–1552.

3張朝偉, 周焰, 吳思勵(lì), 等. 基于SIFT特征匹配的監(jiān)控圖像自動(dòng)拼接. 計(jì)算機(jī)應(yīng)用, 2008, 28(1): 191–194.

4常青, 張斌, 邵金玲. 基于SIFT和RANSAC的特征圖像匹配方法. 華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2012, 38(6): 747–751.

5閆志, 王黎明, 陳平. 基于多目標(biāo)優(yōu)化的SIFT特征匹配算法. 現(xiàn)代電子技術(shù), 2010, 33(12): 99–102.

6李曉娟. 圖像拼接技術(shù)研究[碩士學(xué)位論文]. 西安: 西安電子科技大學(xué), 2007.

7王蕾. 圖像配準(zhǔn)技術(shù)及應(yīng)用研究[碩士學(xué)位論文]. 西安: 西安電子科技大學(xué), 2007.

8Xu PF, Zhang L, Yang KY, et al. Nested-SIFT for efficient image matching and retrieval. IEEE MultiMedia, 2013,20(3): 34–36. [doi: 10.1109/MMUL.2013.18]

9Zhao WJ, Gong SR, Liu Q, et al. An Auto-sorting arithmetic for image sequence used in image mosaics. Journal of Image and Graphics, 2007, 12(10): 1861–1864.

10Lowe DG. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004,60(2): 91–110. [doi: 10.1023/B:VISI.0000029664.99615.94]

Research on Panoramic Image Mosaic Technology Based on SIFT Algorithm

WEN Wei-Dong, ZHANG Ming
(Information Engineering College, Shanghai Maritime University, Shanghai 201306, China)

Panoramic image mosaic technology is a 360-degree circular image that combines the images of some overlapping areas to describe a particular scene. In this paper, a novel image sorting algorithm based on SIFT (Scale Invariant Feature Transform) feature matching is proposed to achieve the orderly arrangement of images. Aiming at the problem that the image mosaic has many mismatch points and takes a long time,the FAST algorithm is used to extract feature points. And then, an auto-correcting operation is adopted for the brightness difference between the adjacent ordered images to reduce the brightness difference, and the modified Ransac algorithm is used to eliminate the mismatching points. Finally, the Weighted Equalization Algorithm is used to realize the Fast fusion of the image. The experimental results show that the algorithm is stable and efficient.

panoramic image stitching; image sorting; automatic calibration; weighted balance; fusion

文偉東,張明.基于SIFT算法的全景圖像拼接技術(shù)研究.計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(7):227–231. http://www.c-s-a.org.cn/1003-3254/5899.html

2016-11-20; 收到修改稿時(shí)間: 2017-01-16