劉志明

(湖北第二師范學院計算機學院，湖北 武漢 430205)

1.引言

近年來，隨著軟硬件技術的發(fā)展及人類社會生產的發(fā)展，數(shù)字圖像融合在技術、算法、應用等領域都有了較大的變化，多源、多維、多尺度、多時空、復雜環(huán)境等方面的因素及某些應用要求更高的處理效率催生了新的處理技術，如并行處理技術、計算智能的仿生學、固件化專業(yè)處理設備等。

在深入討論之前，先對數(shù)字圖像融合作簡要介紹。數(shù)字圖像融合是將2個或2個以上的傳感器在同一時間或不同時間獲取的關于某個具體場景的圖像或者圖像序列信息加以綜合，生成一個新的有關此場景的解釋，而這個場景是從單一傳感器獲取的信息中無法得到的[1，2，3]。數(shù)字圖像融合的目的是減少不確定性。上述定義在現(xiàn)代得到進一步加強，從單一場景到多場景，從靜態(tài)到動態(tài)。數(shù)字圖像融合技術廣泛應用于遙感影像處理、圖像分析、機器視覺等領域。

數(shù)字圖像融合的作用主要有：隱寫加密[4，5]、去噪[6]、圖像增強[7，8]、特征提取[9]、目標識別與跟蹤[10]、三維重構[11]等方面。

2.數(shù)字圖像融合技術動向

鑒于數(shù)字圖像融合的不同數(shù)據(jù)基礎及不同應用目的，可對其進行簡單的層次劃分：信號、像素、特征、決策。

在信號級數(shù)字圖像融合研究方面，技術相對成熟，主要從處理效率方面有較大的改進，逐步從通用到專用，從軟件到固件，針對特定領域應用的專用數(shù)字圖像融合預處理設備表現(xiàn)出更好的性能。

像素級數(shù)字圖像融合有著較廣泛的應用需求，多源多尺度多時空遙感影像融合、圖像拼接、隱寫加密等多方面的應用需求，促使新技術的不斷引入。首先，在遙感影像處理方面，由于多源多尺度多時空高光譜遙感影像海量數(shù)據(jù)的廣泛應用，超光譜圖像壓縮算法、多視角圖像配準技術、多分辨小波變換、并行圖像處理技術被深度引入，同時也促進了海量數(shù)據(jù)的存取和檢索技術的發(fā)展。其次，在圖像拼接方面，要將具有重疊區(qū)域的多幅數(shù)字圖像或多幀視頻圖像通過數(shù)字配準和融合，獲得單幅寬視場圖像或動態(tài)全景圖，需要處理圖像間平移、縮放、旋轉等多種幾何失真及色度亮度不一致、部分模糊、圖像拍攝視點差異、場景中的運動物體等?；趨^(qū)域的拼接算法主要有基于空間的像素匹配算法及基于頻域的拼接算法。另外，在數(shù)字隱寫方面，較有代表性的空域LSB隱寫算法和頻域JPEG圖像隱寫算法及相應的隱寫分析算法研究方面都有了較大的發(fā)展，Jpeg-steg、F5等算法在隱藏圖像的抗視覺懷疑性、隱藏信息的抗檢測性、魯棒性、防容量估計性等方面都有較好的表現(xiàn)。

特征級數(shù)字圖像融合屬于中間層次，處理過程可歸結為：對來自不同傳感器或相同傳感器不同時段獲取的原始信息進行特征提取，再對提取的多個特征信息進行綜合分析和處理，以獲取目標狀態(tài)融合數(shù)據(jù)或目標特性融合數(shù)據(jù)。特征提取基于圖像分析，在圖像分割、目標表達和描述、紋理分析、形狀分析及運動分析等方面都存在較大的發(fā)展空間。在軍事應用中主要用于軍事目標的檢測、定位、跟蹤和識別，民用則非常廣泛，如工業(yè)生產中的故障檢測、天氣變化、農作物分布及收成、OCR(Optical Character Recognition)、人的身份識別、交通監(jiān)管、遠程診斷、礦產資源調查、城市熱島效應分析等。在特征級數(shù)字圖像融合技術方面，大量引入的統(tǒng)計學習算法及仿生算法使得特征級數(shù)字圖像融合技術成果非常豐富：貝葉斯估計、信息熵、表決、加權平均、聚類分析、支持向量機[15]、模糊邏輯[16]、神經網絡[17]、微粒群算法[18]等方法。

決策級數(shù)字圖像融合必須和具體的應用相結合，層次最高，數(shù)據(jù)量最小，在決策知識表達方面還需進一步研究。

3.數(shù)字圖像融合研究熱點及問題

在軍事領域，IR ATR（Infrared imaging automatic target recognition）、基于二維成像聲納的水下運動目標三維運動軌跡測量、動態(tài)目標跟蹤、水下自主機器人(ROV)及多目標定位技術等為主要研究熱點。

IR ATR在精確武器系統(tǒng)有著廣泛的應用，要求工作幀頻高、信號動態(tài)范圍大、實時性強、處理精度高和具有高度的靈活性，但紅外成像圖像細節(jié)模糊不清、傳輸過程中易受到噪聲的污染，嚴重影響后續(xù)目標檢測、匹配的精度，另外，其復雜背景低、信噪比小、目標還容易受到虛假目標及隨機干擾的影響，還存在進一步研究的必要。

水下運動目標三維運動軌跡測量有內測和外測兩種方法，內測是在運動目標自身內部安裝速度、姿態(tài)等相關傳感器來感知運動目標的運動過程中的狀態(tài)信息，可同步提取并處理，但對敵方移動軍事目標大多只能采用外測，以光學和聲學成像系統(tǒng)對運動目標進行軌跡測量。基于光學的測量設備的測量效果受環(huán)境影響較大，特別是水體的渾濁度，主動高分辨成像聲納能較好地解決惡劣環(huán)境的負面影響。高分辨的三維成像聲納實現(xiàn)的技術環(huán)境不成熟，多部二維高分辨聲納成像是現(xiàn)階段采用較多的技術，實時高速處理二維高分辨聲納圖像、超分辨率重建及相關的水下多目標定位、ROV等都是有待于今后進一步深入研究的問題。

在醫(yī)學領域，腦部磁共振成像 (Magnetic Resonance Imaging，MRI)與單光子發(fā)射計算機斷層成像(Single Photon Em ission Computed Tomography，SPECT)的融合、CT圖像分析、人體病理部位的三維重建在輔助醫(yī)學診斷及治療過程中的應用日益廣泛和深入。在預處理、配準、特征提取、融合過程中所使用的算法對其它領域的應用也具有借鑒價值。另外，基于ITK和VTK的二次開發(fā)使得醫(yī)學圖像分割、三維重建更加方便快捷。近幾年在中醫(yī)辨證和人體體表特征的相關性研究也逐步深入，但離臨床應用還存在一定的距離。

在工農業(yè)生產領域，水下及特殊環(huán)境下的自主機器人視覺是代表數(shù)字圖像融合技術應用的前沿方向之一，與軍事領域應用研究部分重疊，值得進一步關注。此外，ICT(Industrial Computed Tomography)無損檢測技術通過射線掃描物體獲得投影數(shù)據(jù)，進一步重建物體斷面圖像和體數(shù)據(jù)，較適合分析復雜封閉的檢測對象，關鍵問題是特征提取，MSG（Multiscale Geometric Analysis）是繼小波分析之后對高維數(shù)據(jù)進行有效分析的工具，工業(yè)CT體數(shù)據(jù)面特征的提取包括兩種思路：一種是先將CT體數(shù)據(jù)按某個方向進行切片劃分，再對每張切片進行線特征的提取，最后由線特征堆砌出面特征；另一種是直接對CT體數(shù)據(jù)進行面特征的提取，這方面存在的主要問題是找到合適的方式描述工業(yè)CT體數(shù)據(jù)面特征。其它工業(yè)應用如工業(yè)流水線監(jiān)控過程的連續(xù)幀圖像分析、故障診斷等方面的研究則異彩紛呈，由于其分析與故障表征模型的專用性，在數(shù)據(jù)預處理、分析、特征提取等階段所采取的處理方式也各不相同，但努力的方向都是一樣的：準確、實時，在這方面也還存在期待解決的問題：能否構建通用的特征表示模型，算法是否有并行的解決方案等。在農業(yè)生產方面，多源多時空多尺度遙感影像融合技術在農作物長勢分析、收成預測、水土保持、病蟲害信息提取等方面都有豐富的研究成果，隨著超光譜遙感影像數(shù)據(jù)的廣泛使用所產生的海量數(shù)據(jù)處理技術應用需求更加迫切。超光譜數(shù)據(jù)壓縮、特征提取、并行計算、海量數(shù)據(jù)存取及檢索方法方面還有較多的改進空間。

其它領域應用如電力設施在線監(jiān)控、交通監(jiān)控、礦業(yè)資源及林業(yè)資源調查、礦體三維可視化、礦區(qū)環(huán)境監(jiān)測、礦區(qū)開發(fā)現(xiàn)狀動態(tài)監(jiān)測、地質災害監(jiān)測及危險性評價也都是近年來的研究熱點。

4.數(shù)字圖像融合算法

數(shù)字圖像融合算法種類繁多，在信號級、像素級、特征級及決策級圖像融合過程中都有著豐富的研究成果，本文僅就其中關鍵過程做簡要評述。

先討論洗配準問題，像素級圖像融合的四個步驟：預處理、變換、綜合及反變換（也即是重構圖像）。在預處理階段中的配準處理算法SIFT及SURF都有著較強的匹配能力，可以處理兩幅圖像之間發(fā)生的平移、旋轉、放射變換情況下的匹配問題，但在多模態(tài)遙感影像配準中特征匹配正確率極低，如何有效地引入邊緣、輪廓信息提高匹配正確率及速度期待解決。像素級數(shù)字圖像融合方法從PCA、IHS到金字塔算法、多分辨小波變換方法，到現(xiàn)階段智能算法的深度引入，如 KBNNF（know ledge-based neural network fusion）、SVM、PSO、模擬退火算法等，目的是盡可能利用多源多時空影像中提取的特征進行配準，減少配準過程中的人工交互干預。

其次在去噪過程中，基于小波變換的去噪方法被廣泛應用。此外，由于Bandelet變換它能對圖像局部方向進行最優(yōu)逼近，可選擇效果較好的半軟閾值函數(shù)。還有Directionlet基函數(shù)的方向與圖像中各向異性目標匹配時，對圖像的逼近效果較好，不匹配時則退化為小波，逼近效果很差，可通過自適應地尋找圖像的主要方向，構造Directionlet變換的采樣矩陣，使Directionlet的變換方向和隊列方向盡量與圖像的主要方向一致，能夠自適應地捕捉圖像中的各向異性特征。隨著多分辨率概念的提出及Contourlet變換的發(fā)展，可對目標多個極化強度圖像分別利用Contourlet變換進行多尺度、多方向分解，從而得到含有低頻系數(shù)的子圖和一系列具有不同分辨率和不同方向的高頻系數(shù)的子圖，再為每個方向的高頻子帶系數(shù)進行區(qū)域差異信息的測量，最后對得到的融合系數(shù)進行Contourlet逆變換，重構圖像。

最后就模糊圖像融合、仿生計算及并行圖像處理做簡要評價。在數(shù)字圖像融合的智能融合算法中引入模糊集合、模糊關系及模糊邏輯和推理，便產生了相應的模糊圖像融合智能算法：模糊聚類、模糊模式識別、模糊神經網絡、模糊專家系統(tǒng)、模糊綜合評判、模糊決策等。另外，由于計算智能中的仿生學發(fā)展迅猛，仿生過程算法（模擬進化計算、遺傳算法）、仿生結構算法（人工神經網絡）、仿生行為算法（Fuzzy邏輯與Fuzzy推理）在圖像融合中應用日益廣泛和深入。而并行圖像處理技術則主要應實時圖像分析的需要而發(fā)展的，也必將更深遠地影響數(shù)字圖像處理及應用的深度和廣度。

5.總結

數(shù)字圖像融合技術及其應用涵蓋的內容較多，本文只就其中主要的技術和關鍵的應用做出分析和評價，代表著數(shù)字圖像融合技術的發(fā)展前沿，也希望在未來的工作中在某些方面有所超越。

[1]覃征，鮑復民等.數(shù)字圖像融合[M].西安：西安交通大學出版社，2004.

[2]M aiter H，Bloch I.Image Fusion.Vistas in Astronomy，1997，41(3)：329-335.

[3]Taxt T，Solberg A H S.Information Fusion in Remote Sensing.Vistas in Astronomy，1997，41(3)：337-342.

[4]Moulin P.The Role of Information Theory in Watermarking and its Application to Image Watermarking.SignalProcessing，2001，81：1121-1139

[5]Ettinger j.Steganalysis，Game Equilibria.Information Hiding.Lecture Notes in Computer Science，1525.Springer-Verlag，1998：319-328.

[6]Liu Dan-Dan，Tang Chun-Rui，Detail enhance FRIT de-noisy method based on energy delamination.1st International Congress on Image and Signal Processing，CISP 2008.PP357-361.

[7]Kuan Shen，YumeiWen，Yufang Cai.Efficient x-ray image enhancement algorithm using image fusion[J]，Journal of X-RAY Science and Technology，2009，17(3)：207-221.

[8]CaiW L，Chen SC，Zhang DQ.Fastand robust fuzzy c-means cluster algorithms incorporating local information for image enhance-mentation.Pattern Recognition，2007，40(3)：825-833.

[9]F.A.Andalo，P.A.V.Miranda，R.Da S.Torres，A.X.Falcao.Shape feature extraction and description based on tensor scale[J].Pattern Recognition.Volume 43，Issue 1，2010.1：26-36.

[10]Yong Deng，X iaoyan Su，Dong Wang，Q i Li.Target recognition based on fuzzy dempster data fusion method.Defence Science Journal.2010，Vol60，No 5.

[11]N ina Jahrling，KlausBecker，Cornelia Schonbauer，F(xiàn)rank Schnorrer，Hans-U lrich Dodt.Three-Dimensional Reconstruction and Segmentation of IntactDrosophilaby U ltram icroscopy.Front SystNuerosci.2010.4.

[12]Hill.P.R，Bull.D.R，Canagarajah.C.N.Image fusion using a new framework for complex wavelet transforms[C].IEEEConference on Image Processing.Italy：Genova，2005，2：1338.

[13]章毓晉.圖像工程（中冊）圖像分析[M].北京：清華大學出版社，2005.

[14]Braunl，T.等.并行圖像處理[M].李俊山等譯.西安：西安交通大學出版社，2003.

[15]Zheng Sheng，ShiWenzhong，Liu Jianguo，Tian Jin Wen.Remote Sensing Image Fusion Using Multiscal Mapped LS-SVM.Transactions on Geoscience&Remote Sensing.Volume 46，Issue 5，2008.5.Pages：1313-1322.

[16]Singh，Harpreet Reet，Raj，Jyoti，Karu Gulsheen，Meitzler Thomas J.Image fusion using fuzzy logic and applications.Fuzzy Systems.Volume：1，2004.Pages：337-340.

[17]W eiHuang，Zhongliang Jing.Multi-focus image fusion using pulse coupled neuralnetwork.Pattern Recognition Letters.Volume 28，Issue 9，1 July 2007，Pages：1123～1132.

[18]N iu，Yi-feng.Shen，Lin-Cheng.The Optimal Multi-objective Optim ization Using PSO in Blind Color Image Fusion.Multimedia and U-biquitousEngineering.2007.8.Page(s)：970-975.

[19]王新洲，史文中，王樹良.模糊空間信息處理[M].武漢：武漢大學出版社.2003.

[20]Jiaqian Yu，Haibin Duan.Artificial Bee Colony approach to information granulation-based fuzzy radialbasis function neuralnetworks for image fusion.Optik-International Journal for Lightand Electron Optics，2012.