董張玉,趙 萍,劉殿偉,王宗明,湯旭光,劉婧怡
(1.中國(guó)科學(xué)院東北地理與農(nóng)業(yè)生態(tài)研究所,長(zhǎng)春 130012;2.中國(guó)科學(xué)院研究生院,北京 100049;3.安徽師范大學(xué)GIS重點(diǎn)實(shí)驗(yàn)室,蕪湖 241003;4.合肥工業(yè)大學(xué)資源與環(huán)境工程學(xué)院,合肥 230009;5.中國(guó)地質(zhì)大學(xué)信息工程學(xué)院,武漢 430074)
一種改進(jìn)的小波變換融合方法及其效果評(píng)價(jià)
董張玉1,2,趙 萍3,4,劉殿偉1,王宗明1,湯旭光1,2,劉婧怡5
(1.中國(guó)科學(xué)院東北地理與農(nóng)業(yè)生態(tài)研究所,長(zhǎng)春 130012;2.中國(guó)科學(xué)院研究生院,北京 100049;3.安徽師范大學(xué)GIS重點(diǎn)實(shí)驗(yàn)室,蕪湖 241003;4.合肥工業(yè)大學(xué)資源與環(huán)境工程學(xué)院,合肥 230009;5.中國(guó)地質(zhì)大學(xué)信息工程學(xué)院,武漢 430074)
針對(duì)傳統(tǒng)小波變換融合方法易導(dǎo)致空間紋理信息丟失的缺陷,結(jié)合局部方差和局部差異加權(quán)算法的優(yōu)點(diǎn),提出了一種基于局部算法改進(jìn)的小波變換融合方法。采用該方法對(duì)IKONOS多光譜與全色波段圖像進(jìn)行融合實(shí)驗(yàn),分別從基于視覺效果、數(shù)理統(tǒng)計(jì)以及面向?qū)ο蠓诸惥?個(gè)方面分析評(píng)價(jià)該方法的融合效果。結(jié)果表明:改進(jìn)的融合方法綜合了小波變換和局部算法的優(yōu)點(diǎn),顯著地改善了圖像的融合效果,是一種高效的圖像融合方法。應(yīng)用該方法融合后圖像的方差由原來的98.28提高到164.32,信息熵由5.30增加到7.85,平均梯度從1.972提高到8.807,圖像分類精度提高了10.24%。
圖像融合;局部算法;小波變換;面向?qū)ο蠓诸?/p>
隨著現(xiàn)代傳感器及其相關(guān)技術(shù)的不斷發(fā)展,遙感獲取數(shù)據(jù)的能力不斷增強(qiáng),為人們提供了大量不同特性的數(shù)據(jù)。但當(dāng)前遙感信息的分析處理技術(shù)和利用程度還相對(duì)滯后,致使豐富的遙感數(shù)據(jù)仍無法滿足應(yīng)用的需求[1-3]。遙感圖像融合技術(shù)為人們對(duì)圖像的處理、分析與應(yīng)用提供了全新的途徑,成為遙感圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)[4-7]。
遙感圖像融合主要包括像素級(jí)融合(如PCA變換、HIS 變換、金字塔、小波變換融合[8-9]等)、特征級(jí)融合(如貝葉斯、D-S理論融合等)和決策級(jí)融合(模糊理論、神經(jīng)網(wǎng)絡(luò)等)3種。其中,小波變換以其多尺度分析特征已成為圖像融合最熱門的方法之一,許多學(xué)者[10-12]對(duì)該方法及其改進(jìn)方法進(jìn)行了實(shí)驗(yàn)研究,但多數(shù)研究采用的是不同頻率信息之間的替換,沒有從根本上改善融合規(guī)則,顯示出基于小波變換圖像融合算法存在信息丟失嚴(yán)重的缺陷。本文結(jié)合能較好體現(xiàn)圖像細(xì)節(jié)紋理的局部方差算法和能很好保留圖像低頻信息的局部差異加權(quán)法的特性,采用局部算法改進(jìn)傳統(tǒng)的小波變換融合方法,實(shí)現(xiàn)融合規(guī)則的優(yōu)化,彌補(bǔ)了因小波變換導(dǎo)致的圖像融合信息丟失嚴(yán)重的缺陷,并從視覺效果、數(shù)理統(tǒng)計(jì)及面向?qū)ο蠓诸惥?方面對(duì)融合結(jié)果進(jìn)行了評(píng)價(jià)。
局部方差與局部差異加權(quán)算法在圖像增強(qiáng)中應(yīng)用比較廣泛。其中,局部方差算法能較好地體現(xiàn)圖像的細(xì)節(jié)信息;局部差異加權(quán)運(yùn)算則能較好地保留圖像的低頻信息。
局部方差算法主要用于處理高頻信息,它以其自身鮮明的特征在灰度拉伸、圖像分割及邊緣增強(qiáng)等領(lǐng)域得到了深入應(yīng)用。計(jì)算方法及流程為:
首先,確定一個(gè)適當(dāng)大小的移動(dòng)運(yùn)算窗口,計(jì)算窗口內(nèi)像元的方差(Var),并按照從左到右、從上到下的順序依次計(jì)算高頻信息影像內(nèi)每一個(gè)窗口像元的方差值,并通過運(yùn)算確定最低閾值。計(jì)算公式為
式中:Xi,j為第i行j列的像元亮度值;M,N 分別為圖像的行、列數(shù);為像元亮度均值。
然后,將待融合的2幅圖像(A,B)對(duì)應(yīng)窗口內(nèi)的方差值進(jìn)行比較,按照選取規(guī)則,取出最大的方差值作為融合后高頻分量對(duì)應(yīng)窗口的中心像元值,即依次類推,最后得到高頻分量[13]。式(2)中:F(X,Y)為融合結(jié)果圖像的高頻分量像元值;A(X,Y),B(X,Y)分別為2個(gè)待融合圖像A和B高頻分量的像元值[14]。
局部差異加權(quán)是針對(duì)分解后低頻信息的一種算法。在圖像融合領(lǐng)域應(yīng)用的算法(本文選擇7像元×7像元窗口進(jìn)行運(yùn)算)為
式中:A,B分別表示待融合的2幅圖像;avgAB(x,y)表示以(x,y)為中心像元的局部差異平均值。當(dāng)avgAB(x,y)超過閾值時(shí),按照
確定像元的灰度值。式(4)中:A(x,y),B(x,y)分別表示多光譜和全色圖像低頻部分的像元灰度值;I'(x,y)為計(jì)算后得到的圖像像元灰度值;α,β為2個(gè)常量系數(shù),α表示計(jì)算得到的灰度值的可信度,其值在(0,1]范圍內(nèi),由具體的應(yīng)用決定;β表示針對(duì)α值而補(bǔ)充的灰度值,若取α=1,則β=0,表示對(duì)計(jì)算得到的灰度值完全信任,這也是后面實(shí)驗(yàn)中所采用的值;a,b為權(quán)值,決定圖像A,B信息在結(jié)果圖像中所占的比重,它們的值則由式(1)計(jì)算得到的局部差異值決定。經(jīng)過這一處理后,即得到新的I分量低頻部分。若avgAB(x,y)未超過閾值,則直接取 A(x,y)的對(duì)應(yīng)像元值,取 α =1,a=1,β =0,b=0[15]。
首先,利用PCA變換增強(qiáng)圖像的空間紋理信息;其次,應(yīng)用小波變換對(duì)圖像高低頻信息分解(可以細(xì)化到每一個(gè)細(xì)節(jié)信息,避免了傳統(tǒng)替代中可能忽視某些細(xì)節(jié)信息的缺點(diǎn));最后,利用局部算法(局部方差和局部差異加權(quán))對(duì)多光譜與全色圖像的高、低頻信息進(jìn)行融合處理,并采用小波逆變換得到最終融合結(jié)果圖像。其中,局部方差用于處理高頻信息,局部差異加權(quán)用于處理低頻信息。局部算法可以很好地改善傳統(tǒng)小波分解后直接替換帶來的信息丟失現(xiàn)象,也避免了分解過程中出現(xiàn)的斑塊效應(yīng),因此,通過新方法的運(yùn)算可以獲得一幅高質(zhì)量的融合圖像。具體流程如圖1所示。
圖1 改進(jìn)算法的圖像融合流程Fig.1 Flow chart of improved algorithm for image fusion
本研究使用的數(shù)據(jù)包括IKONOS多光譜、全色波段遙感數(shù)據(jù),地形圖、土地利用調(diào)查數(shù)據(jù),以及利用GPS獲得的實(shí)測(cè)數(shù)據(jù)等。
以2003年獲取的安徽省蕪湖市IKONOS多光譜和全色波段圖像為遙感數(shù)據(jù)源。圖像覆蓋區(qū)域?yàn)榘不諑煼洞髮W(xué)赭山校區(qū),圖像大小為698像元×680像元。為便于對(duì)分類結(jié)果精度進(jìn)行評(píng)價(jià),根據(jù)圖像區(qū)域的土地利用現(xiàn)狀圖集以及野外實(shí)地考察資料,按照B4(R)B3(G)B2(B)波段組合對(duì)原始IKONOS多光譜圖像進(jìn)行彩色合成。采用多項(xiàng)式糾正法對(duì)原始圖像進(jìn)行幾何精糾正,用線性內(nèi)插法進(jìn)行重采樣,使得原始待融合圖像的像元大小一致。
數(shù)據(jù)預(yù)處理基于ERDAS和ENVI軟件完成。圖像融合和統(tǒng)計(jì)分析評(píng)價(jià)的各種算法分別在Matlab7.0和IDL6.4中實(shí)現(xiàn);面向?qū)ο蠓诸惣捌渚仍u(píng)價(jià)通過eCognition8.6結(jié)合GPS實(shí)地采樣點(diǎn)完成。原始圖像和幾種融合方法的效果對(duì)比如圖2所示。
圖2 原始及融合圖像Fig.2 IKONOS original and fusion images
為了充分評(píng)價(jià)改進(jìn)算法的融合效果,從基于視覺效果的定性分析、數(shù)理統(tǒng)計(jì)的定量分析以及面向?qū)ο蠓诸惥?個(gè)方面對(duì)融合效果進(jìn)行評(píng)價(jià)[16]。
1)從色彩上來看,各種方法融合后的圖像均存在一定的光譜扭曲現(xiàn)象。但應(yīng)用局部改進(jìn)融合算法的扭曲度最小(圖2(f)),尤其是對(duì)植被和居民點(diǎn)的光譜扭曲程度較低,其色彩幾乎與原始圖像的一致;其次為小波變換融合(圖2(d)),其居民點(diǎn)、道路的光譜信息保留效果好,雖然植被信息有所扭曲,但和原始圖像基本接近,變化較小;基于PCA變換的融合圖像(圖2(c))視覺效果最差。
2)從清晰度和空間可分辨力來看,圖2(c),(d),(e),(f)的圖像均比原始IKONOS多光譜圖像(圖2(b))清晰,空間可分辨力更強(qiáng)。從圖像上居民點(diǎn)及道路的清晰度可以明顯看出,基于局部算法改進(jìn)小波變換的融合圖像(圖2(f))效果最好,信息最豐富、最清晰;其次為小波變換融合(圖2(d))及其與PCA相結(jié)合融合圖像(圖2(e)),信息增強(qiáng)較好;基于PCA變換的融合圖像視覺效果最差(圖2(c))。
選擇均值、方差、信息熵、相關(guān)系數(shù)以及清晰度作為評(píng)價(jià)指標(biāo),對(duì)IKONOS多光譜與全色圖像融合結(jié)果的評(píng)價(jià)如表1所示。
表1 IKONOS多光譜與全色圖像融合評(píng)價(jià)參數(shù)①Tab.1 Evaluation parameters of IKONOS image fusion
從表1分析可知:
1)均值反映的是圖像的亮度信息,均值越接近128,圖像的亮度越適中,效果越好。基于局部改進(jìn)算法的均值為126.14,圖像的亮度信息最適中;其次為PCA和小波變換方法;小波變換與PCA變換相結(jié)合融合的效果最差。
2)方差和信息熵則表現(xiàn)圖像的信息量,其值越大,信息越豐富。融合后圖像的方差和信息熵均大于原始多光譜圖像,表明采用融合算法獲得的圖像比原始多光譜圖像信息豐富,達(dá)到了圖像增強(qiáng)的效果?;诰植扛倪M(jìn)算法的方差和信息熵分別為164.32和7.85,在各行數(shù)據(jù)中值最大,說明局部改進(jìn)算法的信息增強(qiáng)效果最好;PCA與小波變換相結(jié)合的方法次之,保留了原始2幅圖像的大部分信息;其次為小波變換方法;基于PCA變換融合圖像的方差和信息熵分別為106.72和5.82,說明效果較差。
3)相關(guān)系數(shù)表示圖像的光譜扭曲程度,相關(guān)系數(shù)越大,光譜扭曲越小。表1中基于局部改進(jìn)算法的相關(guān)系數(shù)最大(0.86),說明其對(duì)原始圖像的光譜扭曲最小;基于小波變換融合方法次之,相關(guān)系數(shù)值為0.83,接近局部改進(jìn)算法,因此光譜保留效果也較好;PCA變換的值最小,說明光譜扭曲最大。與基于視覺效果的定性分析結(jié)果一致。
4)平均梯度是反映圖像的清晰程度,值越高,圖像越清晰。表1數(shù)據(jù)顯示,基于局部改進(jìn)算法將原始圖像清晰度值由1.97提高到8.81,說明該算法所獲得的融合結(jié)果圖像最清晰;其次為基于小波及其改進(jìn)算法,圖像的清晰度較好;傳統(tǒng)的PCA變換方法清晰度為4.30,改善效果較差。
用基于面向?qū)ο蟮膱D像分類方法對(duì)融合前后的IKONOS圖像進(jìn)行分類處理,通過對(duì)分類精度評(píng)價(jià),進(jìn)一步比較和分析各融合方法的優(yōu)缺點(diǎn)。面向?qū)ο蟮膱D像分類主要包括2步:①圖像的尺度分割;②分類規(guī)則的建立。為了提高評(píng)價(jià)的效果,文中選擇同一分割尺度和分類規(guī)則對(duì)原始圖像和融合圖像進(jìn)行分類。分類結(jié)果如圖3所示。
圖3 面向?qū)ο蟮姆诸惤Y(jié)果Fig.3 Object-oriented classification results
對(duì)分類結(jié)果均從總精度以及Kappa系數(shù)角度進(jìn)行評(píng)價(jià),結(jié)果如表2所示。
表2 幾種融合圖像的分類精度評(píng)價(jià)Tab.2 Precision evaluation of fusion images
從表2可以看出,局部改進(jìn)算法的分類效果最好,將圖像的分類總精度從原始的79.54%提高到了89.78%,Kappa 從原來的0.796 提高到了 0.904。融合方法對(duì)圖像分類精度的改善效果從高到低依次是:局部改進(jìn)算法、小波變換與PCA相結(jié)合法、小波變換法和PCA變換法。這與前述的定性、定量評(píng)價(jià)結(jié)果相一致。其中,小波變換及其與PCA相結(jié)合的方法分類精度相差不大,而局部算法在小波變換的基礎(chǔ)上有明顯改善。
綜合以上3種評(píng)價(jià)結(jié)果,文中提出的“基于局部算法改進(jìn)小波變換的圖像融合算法”效果較好,改善了傳統(tǒng)小波變換方法信息丟失的缺陷,對(duì)小波變換與PCA相結(jié)合的方法做了進(jìn)一步改進(jìn),達(dá)到了改善融合效果的目的。
1)結(jié)合局部算法與小波變換各自的優(yōu)點(diǎn),提出了一種“改進(jìn)的小波變換圖像融合算法”,以彌補(bǔ)傳統(tǒng)方法融合效果的不足,并分別用PCA、小波變換、PCA與小波變換相結(jié)合等方法與其進(jìn)行對(duì)比實(shí)驗(yàn)。綜合以上分析,無論從空間信息增強(qiáng),還是從光譜信息保留上,基于局部算法改進(jìn)小波變換的融合方法效果最好,提高了圖像融合中的空間信息增強(qiáng)與光譜信息保留的協(xié)調(diào)性;其次為小波變換與PCA相結(jié)合的方法,傳統(tǒng)的PCA變換方法效果最差。
2)采用面向?qū)ο蠓诸惥仍u(píng)價(jià)幾種圖像融合方法的效果,改進(jìn)了基于視覺效果人為因素大、數(shù)理統(tǒng)計(jì)評(píng)價(jià)受指標(biāo)限制的缺點(diǎn),其評(píng)價(jià)結(jié)果圖像可直接面向應(yīng)用。
3)文中提出的融合算法及其效果評(píng)價(jià)方法,只是對(duì)現(xiàn)有圖像融合研究做了相關(guān)改進(jìn),但就方法而言,僅僅是從融合規(guī)則方面提出了一種新的小波融合算法,如何結(jié)合神經(jīng)網(wǎng)絡(luò)、數(shù)學(xué)形態(tài)學(xué)及專家系統(tǒng)等理論的優(yōu)點(diǎn),采用特征級(jí)和決策級(jí)的方法實(shí)現(xiàn)圖像的高效融合,還有待進(jìn)一步探索。
[1]賈永紅.多源遙感影像數(shù)據(jù)融合技術(shù)[M].北京:測(cè)繪出版社,2005:3-10.Jia Y H.Multi- source Remote Sensing Image Data Fusion Technology[M].Beijing:Science Press,2005:3 -10(in Chinese).
[2]Zhang J X.Multi- source Remote Sensing Data Fusion:Status and Trends[J].International Journal of Image and Data Fusion,2010,1(1):5-24.
[3]Tupin F,Bloch I,Maitre H.A First Step Toward Automatic Interpretation of SAR Images Using Evidential Fusion of Several Structure Detectors[J].IEEE Trans Geosci Remote Sensing,1999,37(3):1327-1343.
[4]孫家柄,劉繼琳,李 軍.多源遙感影像融合[J].遙感學(xué)報(bào),1998,2(1):47 -49.Sun J B,Liu J L,Li J.Multi- source Remote Sensing Image Data Fusion[J].Journal of Remote Sensing,1998,2(1):47 - 49(in Chinese with English Abstract).
[5]牟鳳云,朱博勤,賀華中.基于小波變換的多源遙感數(shù)據(jù)融合方法研究[J].國(guó)土資源遙感,2003(4):30-34.Mou F Y,Zhu B Q,He H Z.Research on the Fusion of Multisource Remotely Sensed Data Based on Wavelet Transform[J].Remote Sensing for Land and Resources,2003(4):30 - 34(in Chinese with English Abstract).
[6]Chen Y,Xue Z Y,Blum R S.Theoretical Analysis of an Information - based Quality Measure for Image Fusion[J].Information Fusion,2008,9(2):161 -175.
[7]Maslov I V,Gertner I.Multi- sensor Fusion:An Evolutionary Algorithm Approach[J].Information Fusion,2006,7(3):304 –330.
[8]賈永紅,李德仁,孫家柄,等.四種IHS變換用于SAR與TM影像復(fù)合的比較[J].遙感學(xué)報(bào),1998,2(2):103 -106.Jia Y H,Li D R,Sun J B,et al.Comparison of HIS Transformation for Integrating SAR and TM Images[J].Journal of Remote Sensing,1998,2(2):103 -106(in Chinese with English Abstract).
[9]Li S T,Wang Y N,James T,et al.Using the Discrete Wavelet Frame Transform to Merge Landsat TM and SPOT Panchromatic Images[J].Information Fusion,2002,3(1):17 -23.
[10]Li H,Manjunath B S,Mttra S K.Multi- sensor Image Fusion Using the Wavelet Transform[J].Graphical Models and Image Processing,1994,57(3):235 -246.
[11]李 軍,周月琴,李德仁.小波變換用于高分辨率全色影像與多光譜影像的融合研究[J].遙感學(xué)報(bào),1999,3(2):116 -121.Li J,Zhou Y Q,Li D R.Fusion of High - resolution Panchromatic and Multi- spectral Images by Using Wavelet Transform[J].Journal of Remote Sensing,1999,3(2):116 - 121(in Chinese with English Abstract).
[12]Zhang Y,Hong G.An IHS and Wavelet Integrated Approach to Improve Pan-sharpening Visual Quality of Natural Color IKONOS and QuickBird Images[J].Information Fusion,2005,6(3):225 -234.
[13]強(qiáng)贊霞,彭嘉雄,王洪群.基于小波變換局部方差的遙感圖像融合[J].華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,2003,31(6):89 -91.Qiang Z X,Peng J X,Wang H Q.Remote Sensing Image Fusion Based on Local Deviation of Wavelet Transform[J].J Huazhong Univ of Sci& Tech:Nature Science Version,2003,31(6):89 -91(in Chinese with English Abstract).
[14]詹 翔,周 焰.一種基于局部方差的霧天圖像增強(qiáng)方法[J].計(jì)算機(jī)應(yīng)用,2007,27(2):510 -512.Zhan X,Zhou Y.Algorithm Based on Local Variance to Enhance Contrast of Fog - degraded Image[J].Journal of Computer Applications,2007,27(2):510 - 512(in Chinese with English Abstract).
[15]胡曉東,沈占鋒,王衛(wèi)紅,等.基于局部差異加權(quán)的遙感影像融合方法研究[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2008,33(11):1162-1165.Hu X D,Shen Z F,Wang W H,et al.A New Method Based on Local Difference Powering for Remote Sensing Image Fusion[J].Geomatics and Information Science of Wuhan University,2008,33(11):1162-1165(in Chinese with English Abstract).
[16]徐 佳,關(guān)澤群,何秀鳳,等.基于傳感器光譜特性的全色與多光譜圖像融合[J].遙感學(xué)報(bào),2009,13(1):97 -102.Xu J,Guan Z Q,He X F,et al.Novemethod for Merging Panchromatic and Multi-spectral Images Based on Sensor Spectral Response[J].Journal of Remote Sensing,2009,13(1):97 -102(in Chinese with English Abstract).
An Improved Wavelet Transformation Image Fusion Method and Evaluation of Its Fusion Result
DONG Zhang - yu1,2,ZHAO Ping3,4,LIU Dian - wei1,WANG Zong - ming1,TANG Xu - guang1,2,LIU jing - yi5
(1.Northeast Institute of Geography and Agricultural Ecology,Changchun 130012,China;2.Graduate University of Chinese Academy of Science,Beijing 100049,China;3.College of Territorial Resources and Tourism,Anhui Normal University,Wuhu 241003,China;4.College of Resources and Environmental Engineering,Hefei University of Technology,Hefei 230009,China;5.College of Information Engineering,China University of Geosciences,Wuhan 430074,China)
On the basis of a summary and analysis of wavelet transformation remote sensing image fusion method,in combination with the advantages of local variance and partial differential weighted criterion,and in the light of the deficiencies of wavelet transform method in enhancing space texture information,this paper has proposed an improved wavelet transformation remote sensing image fusion algorithm.With IKONOS multi-spectral and panchromatic as fusion experiments data,the new algorithm fusion effect was comprehensively evaluated from the subjective,the objective and the object- oriented classification accuracy.The results show that the improved algorithm combined with advantages of the wavelet transform and local algorithm is quite satisfactory.It greatly remedies the defects of traditional wavelet fusion method in remote sensing image texture information loss and serves as a kind of efficient remote sensing image fusion method.With the utilization of the new image fusion method,the remote sensing image variance is raised from the original 98.28 to 164.32,the information entropy increases from 5.30 to 7.85,the average gradient rises from 1.972 to 8.807,and the image classification accuracy increases by 10.24%.
image fusion;partial algorithm;wavelet transformation;object-oriented classification
TP 75
A
1001-070X(2012)03-0044-06
2011-10-13;
2011-12-01
國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃項(xiàng)目課題(編號(hào):2009CB421103)、中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)子課題(編號(hào):XDA05050101)及國(guó)家水體污染控制與治理科技重大專項(xiàng)課題(編號(hào):2012ZX07207-004)共同資助。
10.6046/gtzyyg.2012.03.09
董張玉(1986-),男,博士研究生,主要從事遙感圖像處理、信號(hào)融合以及遙感在濕地恢復(fù)決策中應(yīng)用等方面的研究。E-mail:dzyhh1988@126.com。
(責(zé)任編輯:刁淑娟)