陳 杭, 杜小平, 夏魯瑞, 程相正
(1.裝備學院 研究生管理大隊,北京101416; 2.裝備學院 航天指揮系,北京101416;3.裝備學院 航天裝備系,北京101416)
圖像配準技術(shù)是近年來發(fā)展較為迅速的圖像處理技術(shù)之一,是圖像拼接、融合等處理中不可缺少的前期處理步驟。圖像配準是指對取自不同時間、不同傳感器或者不同視角對同一景物的2幅或多幅圖像進行匹配、疊加的過程[1]。根據(jù)目前的研究情況,可將配準算法分為基于灰度的配準算法和基于特征的配準算法2大類[2]。基于特征的配準方法是通過提取2幅或多幅圖像的共同特征信息而實現(xiàn)的,計算量比基于灰度的算法小,更適用于不同傳感器不同波段圖像之間的配準。對于多光譜圖像配準也可分為2類:一類是對多源圖像配準;另一類是同類傳感器的高光譜圖像配準[3]66。文獻[3-6]利用提取特征點和灰度相關(guān)算法進行同名點匹配,得到較好的配準圖像;文獻[7]提出了基于輪廓相似性測度的圖像配準方法,適用于輪廓特征比較豐富的圖像進行配準。另外,一些學者成功地將已成熟的算法,如遺傳算法和最小二乘法應(yīng)用到圖像配準中去[8-9],并取得了滿意的結(jié)果。本文根據(jù)高光譜圖像的特點,提出一種基于特征的高光譜高空間分辨率圖像配準算法。在高光譜圖像各波段中選取紋理信息清晰的一個波段作為待配準圖像,而相應(yīng)的高空間分辨率圖像作為參考圖像進行配準研究。利用Forstner算子對待配準圖像和參考圖像進行特征提取,再對特征點進行匹配形成控制點對,最后經(jīng)仿射變換實現(xiàn)2幅圖像的配準。根據(jù)高光譜圖像的特性[10],每一波段的配準都可以使用上述的控制點及仿射變換,最終實現(xiàn)高光譜圖像的配準。
常用的特征點提取算子有Moravec算子、SUSAN算 子、Harris算 子 和Forstner算 子等[11]。其中Forstner算子具有檢測效率高、定位準確和抗噪聲能力強等特點[12],所以本文采用Forstner算子來提取圖像中的特征點,再從這些特征點中選取配準控制點。Forstner算子的基本思想是:通過對各個像素的Robert梯度和以此像素點為中心的一個窗口的協(xié)方差矩陣的計算,在圖像中尋找一個盡可能小且接近圓的誤差橢圓點作為圖像的特征點[3]67。
基于Forstner算子的灰度圖像特征提取原理圖如圖1所示,通常用下列3步完成。
1)計算圖像中像素點(x,y)4個方向的灰度差分絕對值d1,d2,d3,d4及其均值M。
式中Mmean表示求均值。通過式(2)可求出M,同時給定一個閾值T(通常取4.5,根據(jù)不同情況可以取不同的閾值),若M>T,則認為該個像素點是一個初選點。
2)從初選點中利用誤差橢圓度q和閾值的比較選擇備選點。
式中:N是以初選點(x,y)為中心的3像素×3像素大小的窗口的協(xié)方差矩陣;Ddet(N)表示N的行列式;Ttr(N)表示N的跡,即矩陣主對角線元素的代數(shù)和;gu=gx,y-gx+1,y+1和gv=gx+1,ygx,y+1是像素點(x,y)的Roberts梯度。
對于給定的閾值Tq(一般取1.0~1.5),若q>Tq,則認為該初選點為備選特征點,并保存到Q中。
3)選取Q中誤差橢圓圓度值最大的前幾個點作為圖像的最終特征點。
圖1 Forstner特征提取原理示意圖
由于高光譜圖像與高分辨率圖像的空間分辨率相差較大,對于參考圖像和待配準圖像中提取的特征點,無論是數(shù)量還是位置都會大有不同。為了從這些特征點中尋找出對應(yīng)的控制點(同名像素點),這里提出2種方法進行尋找:一是利用人工進行控制點對篩選,然后再計算這些控制點對的互相關(guān)系數(shù),當互相關(guān)系數(shù)大于設(shè)定閾值時則認為是可用控制點對;二是利用改進的基于灰度相關(guān)的匹配算法,在待配準圖像上直接計算所有的特征點相似度,相似度最大的特征點則被認為是控制點對。
方法1 假設(shè)參考圖像和待配準圖像中的對應(yīng)特征點分別是X(x,y)和Y(x,y),則方法1中的互相關(guān)系數(shù)(cross-correlation)表示為
式中:∑X表示特征點X(x,y)在圖像對應(yīng)領(lǐng)域的像素灰度值之和;∑Y表示特征點Y(x,y)在圖像對應(yīng)領(lǐng)域的像素灰度值之和;∑XY表示2幅圖像中對應(yīng)像素的灰度值的乘積。
對于每一個參考圖像中的特征點,計算其與待配準圖像中手工選取出來的特征點的互相關(guān)系數(shù),當互相關(guān)系數(shù)的值大于設(shè)定閾值時認為是一對控制點。這里的閾值選取也可以改為選取最大值。此方法通過加入手工選取的環(huán)節(jié),大大降低了匹配的計算量,同時提高正確匹配率。
方法2 假設(shè)參考圖像和待配準圖像中的對應(yīng)特征點分別是I(x,y)和J(x,y)。分別在參考圖像和待配準圖像上對選取的特征點進行相似度匹配搜索。首先把參考圖像某個特征點周圍一個領(lǐng)域的窗口作為模板,然后在所有待配準圖像以特征點為中心的窗口中計算出與之相似度最大的窗口,并認為此窗口的中心點就是需要尋找的同名特征點。其中,相似度定義如下:
式中:I(x,y)和J(x,y)分別是指參考圖像和待配準圖像;m和n是模板的尺寸,通常可認為是方形窗口。
前2節(jié)中,通過對參考圖像和待配準圖像特征點的提取和同名像素點的匹配,得到了若干數(shù)量的控制點對。建立2幅圖像之間的變換關(guān)系,參考圖像和待配準圖像的仿射變換模型為:
把選取的控制點對作為已知點,本文采用最小二乘法精確求解式(7)仿射變換的6個參數(shù),最后通過二次線性插值得到配準的圖像。
實驗圖像采用高光譜相機和高分辨率相機地面成像實驗數(shù)據(jù)。高光譜相機具體參數(shù)如表1所示。
表1 高光譜相機基本參數(shù)表
如圖2所示,本文選取中心波長為550nm的高光譜灰度圖像和相同位置拍攝的高分辨率圖像進行實驗,其他參數(shù)如下:成像距離約為30m,高分圖像分辨率為4 928像素×3 264像素,高光譜相機成像通道數(shù)為520,試驗時間為2012年9月,實驗地點為裝備學院。
圖2 實驗原始圖像
圖像配準流程圖如圖3所示。
圖3 配準算法流程圖
算法步驟:
1)利用Forstner算子分別對參考圖像和待配準圖像進行特征點提取,需要說明的是圖4中的實驗結(jié)果是選取不同的閾值并且舍棄了備選特征點的實驗圖,圖中白框標出的點為提取的特征點;
2)分別用1.2節(jié)中提出的2個方法對步驟1)中提取的特征點進行匹配,選取控制點對,通過對比2個匹配方法提取的控制點對,最終選取合適的控制點對;
3)建立2幅圖像的仿射關(guān)系,采用最小二乘法精確計算仿射參數(shù);
4)通過二次線性插值法得到最終配準圖像,如圖5所示。
圖4 Forstner算子對參考圖像和待配準圖像提取特征點
圖5 配準圖像
為驗證實驗結(jié)果的可用性,對配準圖像和高分辨率圖像進行圖像融合實驗(圖6、圖7),引入結(jié)構(gòu)相似度指數(shù)測量系統(tǒng)(structural similarity index measurement system,SSIM)對實驗結(jié)果進行定量分析。SSIM是一種衡量2幅圖像相似度的新指標,其值越大越好,最大為1。結(jié)構(gòu)相似度指數(shù)是從圖像組成的角度將結(jié)構(gòu)信息定義為獨立于亮度、對比度的,反映場景中物體結(jié)構(gòu)屬性,并將失真建模為亮度、對比度和結(jié)構(gòu)相似度的組合。用均值作為亮度的估計,標準差作為對比度的估計,協(xié)方差作為結(jié)構(gòu)相似度的度量[13]。
實驗首先使用Laplcian金字塔融合方法對整幅圖像進行融合,然后用第二代Bandelet算法對局部裝甲車模型進行融合,通過融合實驗驗證本文提出的配準算法。融合實驗一中,圖像融合前后與高分辨率圖像的SSIM數(shù)值相比,數(shù)值從0.225 5提高到0.698 0;融合實驗二中,圖像融合前后與高分辨率圖像的SSIM數(shù)值相比,數(shù)值從0.174 5提高到0.783 1。融合實驗驗證結(jié)果充分表明了本文配準算法的有效性和可用性。
圖6 配準圖像與高分辨率圖像融合實驗一
圖7 配準圖像與高分辨率圖像融合實驗二
從實驗分析可以看出:本文提出的方法可以很好地解決高光譜相機和高分辨率相機所獲取圖像之間的匹配問題,為后續(xù)的高光譜高分辨率圖像融合實驗提供有效的技術(shù)支持?;诳刂泣c的配準方法非常適用于高光譜圖像,因為不同波段的圖像可以共用相同的控制點,故能很好地解決高光譜圖像處理中對每個波段圖像都要分析處理的弊端。
本文針對高光譜圖像融合處理,提出了一種改進的基于控制點的高光譜高分辨率圖像配準算法。該方法利用Forstner算子對不同類型傳感器所獲取的圖像進行特征點提取,在其中第1種特征點匹配方法中加入了人工篩選的環(huán)節(jié),減小了計算量。通過實地獲取實驗數(shù)據(jù)的仿真實驗,結(jié)果證明了該配準方法的有效性,利用配準實驗結(jié)果進行高光譜高分辨率圖像的融合實驗,得到了令人滿意的結(jié)果,為后續(xù)的高光譜融合研究提供了有效的技術(shù)支持。
(
)
[1]金星,馬艷華,舒嶸.遙感圖像的圖像配準方法[J].紅外,2004,38(9):23-30.
[2]王蕾.圖像配準技術(shù)及研究[D].西安:西安電子科技大學,2007:9-15.
[3]黃立賢,沈志學,張大勇,等.基于控制點的多光譜圖像自動配準研究[J].光電技術(shù)應(yīng)用,2011,26(6):66-67.
[4]ORDUYILMAZ A.Automated image registration and mosaicking for multi-sensor images acquired by a miniature unmanned aerial vehicle platform[D].Starkville,Mississippi,USA:Mississippi State University,2006:22-27.
[5]CHU Chengzan,YAN Dongmei,WANG Chao,et al.Study on Spot5 remote sensing imagery automatic registration methods based on texture feature points[J].Remote Sensing of the Environment,2008,7123(11):0B1-7.
[6]范大昭,任玉川,賈博,等.一種基于點特征的高精度圖像配準方法[J].GIS技術(shù)應(yīng)用,2007,10(5):66-70.
[7]胡濤,郭寶平,郭軒,等.基于輪廓特征的圖像配準[J].光電工程,2009,36(11):118-127.
[8]郭海濤,劉智,張保明.基于遺傳算法的快速影像匹配技術(shù)的研究[J].測繪學院學報,2001,18(S1):20-22.
[9]熊華興,錢曾波,王任享.遺傳算法和最小二乘法相結(jié)合的遙感圖像子像素匹配[J].測繪學報,2001,30(1):54-59.
[10]童慶禧,張兵,鄭蘭芬.高光譜遙感:原理、技術(shù)與應(yīng)用[M].北京:高等教育出版社,2006:334-339.
[11]徐麗燕,王靜,邱軍,等.基于特征點的多光譜遙感圖像配準[J].計算機科學,2011,38(7):280-282.
[12]蔡志峰,盧漢清,JAEGER M.用混合彈性模型解決圖像變形匹配問題[J].中國圖形圖像學報,2003,8(7):753-758.
[13]WANG Z,BOVIK A,SHEIKH H,et al.Image quality assessment:from error visibility to structural similarity[J].Transaction on Image Processing,2004,13(4):600-612.