陳 磊，楊風暴，王志社，紀利娥

(中北大學信息與通信工程學院，山西太原030051)

1 引言

近年來，隨著航天技術的迅猛發(fā)展，SAR(合成孔徑雷達)越來越受到人們的關注，SAR能夠穿透云層和雨區(qū)，具有全天時、全天候的工作特性，而且SAR還可以深入地表、穿透植被，改變 SAR的波長可以得到植被上層甚至地下的圖像信息［1］。SAR通過物體的幾何特性和介電特性得到圖像信息，由于不同目標的微波反射特性受頻率、反射角和極化方式的影響而不同，使得在SAR圖像上呈現較多的地物紋理特征［2］。而可見光圖像對目標的物理和化學屬性更為敏感，所以圖像主要反映不同地物的輪廓和光譜信息。因此將SAR圖像與可見光圖像進行融合，充分利用兩者的互補信息，在保持圖像紋理信息的同時，盡可能地增加光譜信息，以便于后續(xù)的目標識別等。

SAR與可見光圖像融合算法，目前主要是基于灰度調制和多分辨率融合框架的。文獻［3］提出基于灰度調制的融合方法，將可見光圖像經IHS變換提取的I分量與SAR低頻信息的比率進行調制，以加入SAR圖像的紋理細節(jié)信息。該方法在比率調制時有可能會使計算值超出顯示的動態(tài)范圍，引起失真。文獻［4］、［5］通過小波變換對SAR和可見光圖像進行融合，對分解后的低頻成分簡單的加權平均或直接取SAR圖像的低頻。該方法充分利用了SAR圖像紋理信息和可見光的光譜信息的互補性，但低頻加權系數的選取過于隨機。文獻［6］、［7］提出鄰域特征自適應加權對低頻進行融合，從一定程度上克服了低頻加權系數的隨機選擇，但是由于統計特性各自具有不同的取值范圍，可能導致某個統計特性完全掩蓋了其他特性的特征。而且上述方法獲得的融合圖像往往是在某些特性上強于單一圖像，不能保證在圖像的目標分類和識別上取得良好的效果。因此，本文面向圖像分類，在NSCT融合框架下利用遺傳算法搜索最優(yōu)的低頻加權系數對SAR和可見光圖像進行融合，這樣既避免了低頻加權系數選擇的隨機性，且通過遺傳算法對足夠多的樣本進行訓練又使融合圖像具有良好的分類效果。為方便起見，本文所用可見光圖像為灰度可見光圖像，SAR圖像經過相干斑噪聲抑制，并與可見光圖像嚴格配準。

2 SAR圖像分類

目前，SAR圖像處理的研究熱點主要集中在提高圖像質量、特征提取、目標分類和識別等，其中目標分類對于目標的解譯起了至關重要的作用［8］。SAR圖像的分類特征包括灰度特征和紋理特征，從SAR圖像的成像特性上來看，具有相同或相近后向散射特性的不同目標在SAR圖像上表現為相同或相近的灰度值，這就使得僅利用灰度值對SAR圖像進行分類不可能取得良好的效果。本文結合文獻［9］～［12］、［15］提出一種結合局域灰度均值和四種紋理特征的分類方法，實驗結果證明，能夠取得較好的分類效果。

2.1 基于灰度共生矩陣的紋理特征提取

灰度共生矩陣反映圖像灰度關于方向、相鄰間隔、變化幅度等綜合信息，是分析圖像局部特征和排列規(guī)律的基礎。灰度共生矩陣的建立方法是:設圖像某一區(qū)域有N個灰度值，則對應該區(qū)域的灰度共生矩陣是一個 N×N階矩陣，在矩陣中位置(i，j)(1，…i，N;1…j，N)處元素是從灰度i的像元離開某個固定位置δ=(DX，DY)像元為j這種現象出現的概率［11］。

Haralick［12－14］提出了由灰度共生矩陣計算出的14個統計量來表征圖像的紋理特征，隨后Baraldi［13］通過大量實驗驗證，對于SAR圖像來說，這14中統計量中的熵、同質區(qū)、非相似度和角二階矩對圖像分類效果最好，其計算方法如下:

式中，P( i，j)表示灰度共生矩陣在(i，j)處的值，本文計算每一像元在其鄰域內的4個灰度共生矩陣，并取這四個灰度共生矩陣的平均值作為局部圖像該像元位置的灰度共生矩陣，通過式(1)～(4)計算其紋理特征。

2.2 圖像分類算法

設 f( i，j)為圖像在(i，j)處的灰度值，w 為一個n×n的窗口，則在窗口w內圖像灰度區(qū)域均值為:

本文結合每一像元處的四個紋理特征即熵、同質區(qū)、非相似度、角二階矩和灰度特征局域灰度均值，組成一個新的特征向量，利用K均值聚類算法對圖像進行分類，具體算法如下:

(1)以每個像元為中心，取5×5的窗口，計算這個窗口圖像的四個方向灰度共生矩陣的均值作為該像元的灰度共生矩陣，根據公式(1)～(4)計算紋理特征。

(2)利用公式(5)，計算以每個像元為中心的5×5窗口內的灰度局域均值作為圖像的灰度特征。

(3)將步驟(1)和(2)中計算的紋理特征和灰度特征組合成像元的特征向量。

(4)對所有像元的特征向量進行K均值聚類，得到最終的分類結果。

為驗證分類算法的有效性，采用文獻［11］中的SAR圖像進行仿真，結果如圖1所示。

可以看出本文SAR圖像分類算法能夠取得良好的效果。

圖1 SAR圖像分類實驗

3 圖像融合

3.1 NSCT 變換

目前基于多尺度變換的融合算法成為圖像融合的研究熱點，常用的多尺度變換方法有小波變換，曲波變換，輪廓波變換和NSCT等。NSCT作為最近發(fā)展起來的一種多尺度變換方法，其不僅具有小波變換的多尺度和時頻局部特性，同時也具有高度的方向性和各向異性，能很好的“捕捉”二維圖像的幾何結構，而且NSCT還避免了輪廓波變換的上采樣和下采樣操作，使得NSCT分解得到的子帶圖像與源圖像大小相同，從而容易找到各子帶圖像間的對應關系，有利于制定融合規(guī)則，因此這里采用NSCT對SAR和可見光圖像進行融合。

3.2 遺傳算法

遺傳算法是通過模擬生物進化過程來探索最優(yōu)解，即通過選擇與與染色體之間的交叉變異來完成，本文中采用遺傳算法獲得最優(yōu)的低頻加權融合系數。

設用NSCT對已配準的SAR和可見光圖像進行分解，分解層數為j且每層的分解方向為k，則得到各自的分解系數和，其中 LS表示SAR圖像分解后的低頻系數，表示 SAR 圖像分解后第j層第k方向的高頻系數。則融合后的低頻系數為:

式中，LF表示融合后的低頻系數;α為加權系數，遺傳算法的主要任務就在［0，1］區(qū)間內搜索最優(yōu)的α使得融合后的圖像分類效果最好。圖2是遺傳算法流程圖。

圖2 遺傳算法流程圖

確定適應度函數是遺傳算法最優(yōu)化搜索的核心，適應度函數是根據待解決問題的目標函數確定的，用于區(qū)分群體中個體好壞的標準，是算法演化過程的驅動力，也是進行自然選擇的唯一依據。這里以圖像的分類精度K作為適應度函數，K的計算為:在圖像中隨機選取N個點，查閱資料和相關數據確定其所屬類別，通過上面的分類算法對圖像進行分類，得到這N個樣本點中被正確分類的點數n，則分類精度為:

所以用遺傳算法搜尋最優(yōu)α的具體實現步驟為:

第一步生成初始種群，這里采用實數編碼，染色體長度設為16位，在［0，1］范圍內隨機均勻分布的種群 {α1，α2，…，αN}，N為種群規(guī)模，本文采用N=60，選擇優(yōu)化的過程就是從這N個染色體中選擇出1個，使得融合后的圖像分類精度最大化。

第二步確定遺傳算子，遺傳算子主要包括選擇算子、交叉算子和變異算子。選擇是一個復制的過程，它根據每一個個體的適應度即融合后圖像的分類精度，按照從大到小的順序選擇出M個(M＜N)作為母體進行交叉操作。交叉是模擬有性繁殖的基因重組操作，它對選擇出的每一個個體，以一定的交叉概率Pc交換它們之間的部分基因。變異是模擬基因突變的操作，它以一定的變異概率Pm改變某一個或某一些基因位上的基因值。本文中M=40，Pc=0.8，Pm=0.03。

第三步終止檢驗，當適應度達到最大值或設定的循環(huán)次數T到達時，滿足終止準則，則輸出種群中具有最大適應度的個體作為最優(yōu)解，終止計算，否則返回第二步。

3.3 融合算法

圖像融合算法的具體步驟如下:

(1)分別對SAR和可見光圖像進行NSCT分解，分別得到各自的低頻系數圖像和高頻系數圖像。

(2)采用一定的融合規(guī)則融合SAR和可見光圖像的低頻系數和高頻系數，得到融合的低頻和高頻系數圖像。

(3)NSCT逆變換，得到最終的融合圖像。

其中(2)融合規(guī)則的確定是算法的核心，低頻系數的融合規(guī)則采用如式(6)的加權平均，利用上面的遺傳算法來確定加權系數。

由于空間頻率能反應窗口內灰度變化的趨勢，空間頻率較大者對應著一些突變，如圖像的邊緣、紋理等重要信息，因此高頻系數選擇以空間頻率為度量標準，選擇兩個窗口內空間頻率較大的作為融合圖像的高頻信息:

式中，SFS表示SAR圖像高頻系數中以(m，n)為中心的窗口內的空間頻率;表示 SAR 圖像分解的第j層第k方向在點(m，n)處的高頻系數。圖像區(qū)域F的空間頻率SF的計算為:

式中，RF表示行頻率，定義為:

CF表示列頻率，定義為:

M是圖像區(qū)域F的行數，N是圖像區(qū)域F的列數。

4 融合實驗及其分析

這里與文獻［6］所用方法得到的融合圖像進行分類效果對比，圖3為圖像融合試驗結果。圖3(a)是分辨率為3 m的可見光源圖像，含有豐富的光譜信息。圖3(b)是分辨率為10m的SAR圖像，兩幅圖像經過配準后尺寸大小為292×278。圖3(c)是文獻［6］方法得到的SAR與可見光融合圖。圖3(d)為本文方法得到的融合圖像。在圖像中每類隨機選取50個樣本共計150個，通過與土地利用現狀及部分現有資料進行分析，確定樣本的所屬類別，并通過公式(7)得到圖像的分類精度，表1為計算結果。

圖3 圖像融合試驗結果

由表1可以看出，使用本文算法得到融合圖像的分類精度達到84%，比文獻［6］算法有了很大的提高。由此可見，本文算法能夠取得較好的融合分類效果。

表1 融合圖像分類精度

5 結論

由于SAR和可見光圖像反映的地物特征不同，將其進行融合不僅有利于人的視覺觀察，對于后續(xù)的圖像識別等也具有重要作用。本文基于NSCT變換，利用遺傳算法選取低頻圖像的加權系數，直接面向圖像分類，使得融合圖像能夠具有良好的分類效果，更加有利于后續(xù)的圖像識別等。在本文方法中，分類算法的選取至關重要，如何得到一種更加快速、有效的分類算法，進一步提高融合效果還有待深入研究。

［1］ Cheng Jian.Research on the algorithm of SAR and optimal image fusion［D］.Nanjing:Nanjing University of Aeronautics and Astronautics，2008.(in Chinese)程堅.SAR與可見光圖像融合算法研究［D］.南京:南京航空航天大學，2008.

［2］ Jin Xing，Li Huihui，Shi Pili.SAR and multispectral image fusion algorithm based on pulse coupled neural networks and non-subsampled Contourlet transform［J］.Journal of Image and Graphics，2012，17(9):1188 －1195.(in Chinese)金星，李暉暉，時丕麗.非下采樣 Contourlet變換與脈沖耦合神經網絡相結合的SAR與多光譜圖像融合［J］.中國圖象圖形學報，2012，17(9):1188 －1195.

［3］ AIParone L，Faeheris L，Baronti S，et al.Fusion of multispectral and SAR images by intensity modulation［C］.The 7th International Conference on Information Fusion，2004:637－643.

［4］ Lu YaNing，Guo Lei，Li Huihui.Remote sensing image fusion using edge information and features of SAR image based on curvelet transform［J］.Acta Photonica Sinica，2012，41(9):1118 －1123.(in Chinese)路雅寧，郭雷，李暉暉.結合邊緣信息和圖像特征信息的曲波域遙感圖像融合［J］.光子學報，2012，41(9):1118－1123.

［5］ Dipti Patra，Bagadi Kala Praveen.A new method for multi sensor image fusion of remotely sensed images［C］.2010 International Conference on Industrial Electronics，Control and Robotics，2010:206 －210.

［6］ Zhai Juntao，Na Yan.Fusion algorithm of multispectral and panchromatic images based on Un-subsampled contourlet transform［J］.Laser ＆ Infrared，2008，38(3):282 －284.(in Chinese)翟軍濤，那彥.基于NSCT的多光譜和全色圖像的融合［J］.激光與紅外，2008，38(3):282 －284.

［7］ Liu Zhenhua，Zhang Bing，Yu Wenzhen.Image fusion algorithm of SAR image and other source images［J］.Modern Radar，2007，29(2):56 －59.(in Chinese)劉振華，張冰，于文震.SAR圖像與其他源圖像融合算法［J］.現代雷達，2007，29(2):56 －59.

［8］ Liu Songtao，Shen Tongshen，Yang Shaoqin.Evaluation methods on effect of image fusion for target recognition［J］.Laser＆ Infrared，2007，37(7):593 －597.(in Chinese)劉松濤，沈同圣，楊紹清.面向目標識別的圖像融合效果評價方法［J］.激光與紅外，2007，37(7):593 －597.

［9］ Yuan Lihai，Song Jianshe，Xue Wentong.SAR image classification using grey and texture features［J］.Electronics Optics ＆ Control，2007，14(4):58 －62.(in Chinese)袁禮海，宋建社，薛文通.利用灰度和紋理特征的SAR圖像分類研究［J］.電光與控制，2007，14(4):58 －62.

［10］ Krzysztof Kulpa，Mateusz Malanowski，et al.Radar and optical images fusion using stripmap SAR data with multilook processing［J］.Intl Journal of Electronics And Telecommunications ，2011，57(1):37 －42.

［11］ Hu Zhaoling，Li Haiquan，Du Peijun.Study on the extraction of texture features and its application in classifying SAR images［J］.Journal of China University of Mining ＆Technology，2009，38(3):422 －427.(in Chinese)胡召玲，李海權，杜培軍.SAR圖像紋理特征提取與分類研究［J］.中國礦業(yè)大學學報，2009，38(3):422－427.

［12］ Wang Shixi.Research on the key technologies for target classification in SAR imagery［D］.Changsha:National U-niversity of Defense Technology，2008.(in Chinese)王世晞.面向SAR圖像目標分類的關鍵技術研究［D］.長沙:國防科技大學，2008.

［13］ Xue Xiaorong，Zeng Qiming，Zhao Rongchun.A fast method of SAR image classification［J］.Computer Science，2007，34(5):222 －224.(in Chinese)薛笑榮，曾琪明，趙榮椿.一種快速的SAR圖像分類方法［J］.計算機科學，2007，34(5):222 －224.

［14］ HARALICK R，SHANMU G K，DINSTEIN I.Texture features for image classification［J］.IEEE Transactions on Systems Man Cybernet，1973，3(6):610 －621.

［15］ Baraldi A，Parmiggian F.An investigation of the texture characteristics associated with gray level Co-occurrence matrix statistical parameters［J］.IEEE Transaction on Geoscienceand RemoteSensing，1995，33(2):293－303.