劉學(xué)超
(淮北職業(yè)技術(shù)學(xué)院計算機系,安徽 淮北 235000)
圖像拼接技術(shù)是目前計算機圖形學(xué)的一個重要研究方向,在數(shù)字圖像處理方面起著至關(guān)重要的作用。在軍事國防、地質(zhì)勘測、工業(yè)生產(chǎn)、醫(yī)學(xué)等領(lǐng)域一直存在圖像可視范圍與分辨率之間的矛盾。圖像拼接技術(shù)可以很好的解決這一問題,它把采用不同設(shè)備在不同時間、角度拍攝的對象進行重疊拼接,以形成一個合乎感觀效果的大場景,在保證圖像頻率的情況下,擴大成像范圍。[1]因此,深入剖析圖像拼接技術(shù)有著非常重要的現(xiàn)實意義。
圖像拼接大體上由以下幾個部分組成:
圖1 圖像拼接技術(shù)算法流程圖
根據(jù)拍攝焦距和角度利用普通相機獲取的圖像可分為以下兩種:旋轉(zhuǎn)拍攝和平移拍攝。[2]旋轉(zhuǎn)拍攝是將相機固定于三腳架上,拍攝時,相機繞三角腳軸旋轉(zhuǎn),拍攝一張旋轉(zhuǎn)一定角度。這種方法要求拍攝時相鄰兩張照片中要有重疊部分,重疊部分為30%-50%效果最好而且可以更加方便后期的處理。平移拍攝是指焦距固定,相機在平行于拍攝對象的滑軌上平移拍攝,這種方法拍攝的照片物體與相機的距離直接影響最后的拼接效果,而且最終的全景圖效果也不如采用旋轉(zhuǎn)拍攝的方法。
這一階段的主要工作就是將拍攝獲取的彩色圖轉(zhuǎn)換為灰度圖。RGB色彩系統(tǒng)是最常用最廣泛的顏色系統(tǒng),通過相機采集到的圖像大多是以RGB顏色模型來表達,但這種顏色信息在后期的操作中既不能提高像素匹配效果而且操作起來也不方便,因此在圖像的灰度空間中進行操作。一般情況下,在彩色圖像中每個像素點用3個字節(jié)來存儲,每個字節(jié)對應(yīng)一個RGB分量,在轉(zhuǎn)換之后,用一個字節(jié)來表示該點的灰度值。數(shù)值越大,亮度越高,相反則亮度越低即越黑??梢杂霉?對彩色圖像進行灰度化處理。
假定彩色圖像的一個像素點為g(a,b)的RGB分量值分別為函數(shù)gR(a,b)、gG(a,b)、gB(a,b),則該像素點的灰度值F(a,b)表示為:
將不同設(shè)備、不同角度和時間獲取的圖像變換到同一坐標(biāo)系下,在像素層上得到最佳匹配的過程。比較常用的是基于特征的圖像匹配方法,首先根據(jù)輪廓、曲線或特征點等從圖像上提取最佳的特征信息,剔除非匹配特征點,求取信息轉(zhuǎn)換參數(shù),最后把兩幅或更多的圖像按照求取的轉(zhuǎn)換關(guān)系進行拼接。[3]這種拼接方法計算量小,適用范圍廣,是拼接技術(shù)的主流方向。
圖像匹配之后,要對圖像進行縫合。也就是說對拼接的邊界進行處理,使得圖像過度平滑、自然,無突兀感。保證不因拼接處理而損壞原始圖像。
SIFT全稱是Scale Invariant Feature Transform,中文全稱為尺度不變特征變換。
為了使特征點具有更好的穩(wěn)定性,在圖像的二維空間和尺度空間中檢測局部極值,將其作為特征點。
2.1.1 尺度空間極值點檢測
在保證尺度不變性的前提下,為了初步獲得特征點在二維空間和尺度空間的坐標(biāo),特征點的檢測在多尺度空間中進行。首先采用不同尺度的高斯核函數(shù)G(x,y,σ)對原圖進行濾波,生成多尺度空間,使用高斯函數(shù)進行卷積運算,對圖像進行預(yù)處理。再使用差分高斯算子 D(x,y,σ)對圖像使用不同的采樣距離建立金字塔模型。[4]可表示為:
這里k是常數(shù),計算圖像上的點在每一尺度下DoG算子的響應(yīng)值,將結(jié)果連接起來形成特征尺度軌跡曲線。
2.1.2 關(guān)鍵點的精確定位
得到侯選關(guān)鍵點之后,接下來就是具體關(guān)鍵點的曲率、位置等相關(guān)信息。將尺度空間函數(shù)D(x,y,σ)在局部極值點 (x0,y0,σ0)處進行Taylor展開。各偏導(dǎo)數(shù)為相鄰采樣點之差。將得到的Taylor展開式賦為0得到一個三元二次方程。其方程的解X就是關(guān)鍵點的精確位置。由于DoG算子對圖像邊緣響應(yīng)靈敏,在這些特征點中,還是存在少數(shù)低對比度和少量噪聲的響應(yīng)點,通過Hessian矩陣來分析極值的鄰域結(jié)構(gòu),剔除這些邊緣響應(yīng)點,提高抗噪能力。
2.1.3 關(guān)鍵點的主方向分配
首先,求出特征點 (x,y)鄰域內(nèi)每個像素點的指定方向,統(tǒng)計鄰域內(nèi)所有方向的梯度幅度,作出相應(yīng)的梯度方向直方圖。取值范圍從0~360度,采樣點的梯點與高斯函數(shù)做乘法運算后加入直方圖,將直方圖中最大值作為特征點的方向。如圖2所示:
圖2 梯度方向直方圖確定主梯度方向
前面提到通過尺度空間局部值極檢測得到SIFT侯選點之后,將尺度空間函數(shù)D(x,y,σ)在局部極值點 (x0,y0,σ0)處進行Taylor展開將那些對比度比較低的關(guān)鍵點過濾掉。如果D(x)<T,T為灰度差閾值,表示能檢測到的最小對比度,它直接決定了提取的關(guān)鍵點的數(shù)量。[5]T取值越小,檢測點就越少;T取值越大,檢測的點就越多,由此產(chǎn)生的漏檢和誤檢的可能性也就越大。因此,對于灰度顏色比較豐富的圖像來說,使用固定的灰度閾值差會影響匹配效果。
針對上述問題,這里對閾值T進行改進,使其具有自適應(yīng)性。算法思想如下:計算每個像素的高斯窗口中極值點與鄰域像點的灰度差Ti,得到灰度差直方圖。T0作為迭代初始,表示為:
使用迭代法,每進行一次迭代就進行一次判斷,如果Ti+1-Ti=0,則運算停止。Ti即為所求的灰度差閾值T,所得到的T值是根據(jù)每個區(qū)域內(nèi)的灰度差運算所得,可以更好的對不同灰色對比度進行判斷檢測,由此使關(guān)鍵點的定位更加精準(zhǔn)。
使用匹配率來進行比較,迭代次數(shù)為10次,為了提高數(shù)據(jù)的可信度,選取了200幅圖像加以驗證,統(tǒng)計計算平均值,結(jié)果如下所示。
表1 SIFT 特征算法改進前后的比較
表2 SIFT特征算法改進前后的正確率比較
從表中數(shù)據(jù)可以看出,改進后SIFT特征算法能夠保持特征點間匹配距離變化,幾近恒定值,這使得在進行相似度判斷時,閾值的確定更加容易,提高匹配的準(zhǔn)確精度,具有良好的性能。
[1]李躍,彭宇行.一種基于模板匹配的電路照片拼接方法[J].中國圖像圖形學(xué)報,2011,6(3):301-306
[2]張素.一種基于小波分解的多圖像拼接技術(shù)[J].西北工業(yè)大學(xué)學(xué)報,2010,3(1):101 -103
[3]孫家廣.計算機圖形學(xué)[M].北京:清華大學(xué)出版社,1998:245-247
[4]胡禮教.基于角度特征的KLT跟蹤全圖圖像拼接算法[J].系統(tǒng)仿真學(xué)報,2007,19(8):48-52
[5]李寒.基于特征點的全自動無縫圖像拼接方法[J].計算機工程與設(shè)計.2007,28(1):23-28