賈紫婷

摘 ?要： 隨著計算機技術的高速發(fā)展，基于PCNN（脈沖耦合神經(jīng)網(wǎng)絡）的圖像融合算法越來越多樣化。針對用PCNN進行圖像融合時找不到落腳點的問題，提出了兩類常用的融合算法，分別是基于PCNN與多尺度變換相結合、減少PCNN計算復雜度的融合算法。文章對這兩類算法進行了分析與總結，列舉了這兩類方法可以改進的具體方向，為接下來的創(chuàng)新工作指明了方向，并對未來的研究方向進行了展望。

關鍵詞： 脈沖耦合神經(jīng)網(wǎng)絡; 圖像融合; 多尺度變換; 計算復雜度

中圖分類號：TP391 ? ? ? ? ?文獻標識碼：A ? ? 文章編號：1006-8228（2020）06-01-04

Abstract： With the rapid development of computer technology， image fusion algorithms based on PCNN （Pulse Coupled Neural Network） are becoming more and more diversified. Aiming at the problem that a foothold and starting point is hard to be found when using PCNN based image fusion algorithm， two types of common fusion algorithms are proposed， and they are the algorithm combined PCNN with multi-scale transformation and the algorithm reduced the computational complexity of PCNN respectively. These two types of algorithms are analyzed and summarized in this paper， and the specific directions that these two types of methods can be improved are listed， which points out the direction for the following innovation work and looks forward to the future research direction.

Key words： Pulse Coupled Neural Network; image fusion; multi-scale transformation; computational complexity

0 引言

隨著網(wǎng)絡技術的日益更新，大眾的生活、生產(chǎn)水平都步入了新臺階，跨入了新階段。近幾年，在計算機技術和微電子技術為主的信息技術高速發(fā)展的大背景下，以采集和傳輸圖像信息為目的的傳感器系統(tǒng)逐漸成為人們關注的焦點[1]。因此傳感器在各個方面都得到了廣泛的應用，特別是軍事和民用方面。

傳感器的大量面世，大大促進了數(shù)據(jù)信息收集工作的進度，但是不同類型的傳感器性能不同，采集到的信息也各有差異。

假設用多種不同類型的傳感器收集同一副圖片的信息，收集到的結果可能存在一些相似部分和不同部分，而這些不同部分可以相互補充，從而更詳盡的表達這幅圖像的信息。接下來的問題就是如何適當?shù)某ハ嗨撇糠郑行У谋Ａ艋パa部分，這正是信息融合技術研究的內(nèi)容。

信息融合這個概念在20世紀70年代就出現(xiàn)過，20世紀90年代被正式提出。其中多源圖像融合是信息融合技術的一個重要分支。多源圖像融合的最終目標是使融合后的圖像獲取最大限度源圖像的互補信息，消除重復部分，從而得到更完整、準確的源圖像的信息。多源圖像融合算法的基本思想是通過設計一種較優(yōu)的融合算法，使融合出來的新圖像能盡可能的利用源圖像互補信息，減少冗余，從而獲得對某一場景或目標更加全面、精準的理解。融合后圖像的優(yōu)勢在于可以消除單一源圖像在信息表達上的局限性，為后續(xù)的圖像處理提供更為完整、準確的圖像信息。

目前多源圖像融合主要涵蓋以下幾個方面：多聚焦圖像融合、遙感圖像融合、紅外與可見光圖像融合、雷達圖像融合及醫(yī)學圖像融合等。多源圖像融合涉及到多領域，包括軍事領域和民用領域，如智能機器人[2]、交通管理[3]、遙感[4]、醫(yī)學診斷[5]及視頻監(jiān)控[6]等。

1 圖像融合算法

為了得到盡可能優(yōu)的融合圖像，廣大學者致力于研究圖像融合算法。目前圖像融合算法主要在三個層次上開展，分別是像素級、特征級和決策級。

1.1 像素級圖像融合

像素級圖像融合在融合層次上屬于最底層的融合方法，該方法是直接對原始圖像數(shù)據(jù)進行操作。這種融合方式能夠?qū)⒛繕藞D像進行更為準確、全面和可靠的融合。像素級圖像融合結果和后兩個層次相比包含的細節(jié)信息更多，能使觀察者更好的對圖像進行分析和理解。目前像素級圖像融合方式應用范圍最廣，也為特征級和決策級融合奠定了扎實的基礎?；谙袼丶壍娜诤纤惴ㄓ址譃榭臻g域和變換域。其中空間域的融合方法有加權平均法和主成份分析法等。變換域的融合方法主要有基于多尺度分解的方法等。

1.2 特征級圖像融合

特征級圖像融合在融合層次上屬于中間層次的融合。這種融合方式的原理是先從源圖像中提取有用特征，再對提取到的特征進行綜合分析和處理，在保證融合所需信息的前提下，對輸入信息進行篩選，這樣不但對信息量進行了有效的壓縮，而且大大提高了融合速度。特征級圖像融合包含聚類分析法、神經(jīng)網(wǎng)絡法、信息熵法等。

1.3 決策級圖像融合

決策級圖像融合在融合層次上屬于最高層次的融合。這種融合方式的原理是：首先對源圖像進行預處理及特征提取和分類，在這基礎上獲得對同一目標的初步判決結論，再對初步?jīng)Q策進行融合處理，得到最終的聯(lián)合判決。決策級圖像融合的缺點是：圖像預處理代價高，利用源圖像的初步判決結論進行最終的聯(lián)合判決，會造成原始圖像信息的嚴重丟失。

圖像融合算法基于以上的三種層次各有優(yōu)缺點，這三類算法不僅能夠獨立的進行融合，而且可以相互結合進行融合，前一級融合的結果可以作為后一級融合的輸入信息。在實際應用中，要根據(jù)對融合圖像的具體要求選擇恰當?shù)娜诤戏绞剑垣@得最佳的融合效果。

2 基于PCNN的圖像融合方法

如今人們對圖像融合方法的研究集中在像素級和特征級上，研究者使用最多的就是基于脈沖耦合神經(jīng)網(wǎng)絡（Pulse Coupled Neural Networks，PCNN）的融合方法。

通過查閱大量文獻資料，了解了近期學者們基于PCNN圖像融合技術的研究進展。其中，宋斌等人使用稀疏表示與Dual-PCNN相結合來融合圖像[7];Li M，Cai W等將清晰度作為融合時不同圖像塊系數(shù)的權重，結果表示，對于正在移動的物體，或者是沒有得到精確配準的源圖像，融合效果相當不錯[8];王艷等[9]將非下采樣Contourlet和自適應PCNN相結合來融合圖像;2005年Li W，Zhu XF等[10]人，首次將PCNN與小波包結合起來進行融合圖像;Miao QG，Wang BS等[11]人將PCNN用于多聚焦圖像融合，為了使β值實現(xiàn)自適應設置，使用像素的清晰度作為PCNN的連接強度，通過對比待融合區(qū)域的銳度來融合圖像。同年，Miao QG等[12]人又發(fā)表了將像素的對比度作為PCNN的連接強度進行圖像融合的文章。結果證明，這種算法效果較好;文獻[13]中作者對PCNN中的參數(shù)進行了自適應設置完成了圖像融合;Qu XB，Yan JW等人提出了區(qū)域點火強度（Regional Firing Intensity，RFI）的概念，并將之應用到PCNN模型中，通過RFI的大小來選取離散小波變換后得到的系數(shù)[14];Wang ZB等[15]首次提出了一種雙通道PCNN模型，該方法顯著地提高了融合后圖像的質(zhì)量;文獻[16]研究了Contourlet變換與PCNN相結合的融合方法;文獻[17]中使用圖像塊的拉普拉斯能量來表示PCNN的外部刺激從而實現(xiàn)參數(shù)的自適應;文獻[18]將非下采樣Contourlet變換和PCNN相結合來融合孔徑雷達圖像。

由于PCNN具有全局耦合性，可以使融合圖像從源圖像中充分地提取出圖像特征，以盡可能減少兩幅圖像之間的差異，所以很多學者應用PCNN進行圖像融合。如今，學者們基于PCNN圖像融合方法的研究較多的專注于以下兩類。

2.1 基于PCNN與多尺度變換相結合的融合方法

第一類，將PCNN與多尺度變換相結合來進行融合。近期，多尺度分解技術成為研究熱點，大多數(shù)學者將PCNN與各種多尺度分解技術相結合來融合圖像。如：文獻[19]中將NSCT（Non-subsampled Contourlet Transform，非下采樣輪廓波變換）與PCNN相結合來融合圖像;文獻[20]研究了PCNN和小波變換相結合的融合算法;此外，文獻[21]中將Shearlet變換與PCNN相結合融合圖像。

在多尺度變換中首先被提出的是金字塔變換，但是基于金字塔法的融合效果并不理想。由于金字塔分解后各分解層之間具有相關性，而且金字塔分解后的信息是冗余的，這嚴重影響了融合效果;這時，小波變換漸漸盛行起來，因此其代替了金字塔變換被應用到圖像融合中。小波變換能夠通過伸縮和平移對圖像進行多尺度分解，其具有較好的空頻局域性。之所以會代替金字塔變換，是因為小波分解不僅是非冗余的而且具有方向性，應用到圖像融合中效果可觀。但隨著時間的推移，小波變換的缺陷也逐漸暴露出來，二維離散小波僅能將圖像分解成三個方向的高通子帶，忽略了其他方向的信息;近年來，隨著曲波變換和輪廓波變換的提出，這兩種變換也在圖像融合領域取得了不錯的效果。曲波變換在小波變換的基礎上對圖像在很多方向上展開分解，但其引入了下采樣操作，導致偽吉布斯現(xiàn)象的產(chǎn)生;非下采樣輪廓波變換繼承了輪廓波變換的多尺度、多方向以及良好的空域和頻域局部特性，遺棄了輪廓波變換中的下采樣操作。NSCT的出現(xiàn)大大縮小了偽吉布斯現(xiàn)象出現(xiàn)的概率，能夠更好的表示圖像的細節(jié)，但該方法計算起來較為繁瑣;非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）具有更高的方向靈敏度和較低的計算復雜度，這些優(yōu)點使得其更適用于圖像處理。近期，一些新的變換也被提出來，致力于研究改進的多尺度變換是一個創(chuàng)新的要點。

2.2 減少PCNN計算復雜度的融合方法

另一類，圖像融合算法主要研究方向是怎樣可以盡可能地減少PCNN的計算復雜度，這類課題一般分為兩種，一種是改進PCNN模型中參數(shù)的設置方式，盡可能使參數(shù)的設置實現(xiàn)自適應，另一種是簡化PCNN模型。

以PCNN模型中參數(shù)的自適應化來說，PCNN現(xiàn)有理論不能較好地解釋該模型中參數(shù)怎么樣設置將會導致什么樣的應用效果，且PCNN中參數(shù)較為繁多，傳統(tǒng)的方法是參數(shù)要依靠人工設置并按照實驗效果一直調(diào)整，調(diào)參工作十分繁瑣。于是該模型中參數(shù)的自適應性成為許多學者的研究對象。參數(shù)自適應化的研究方向大致分為兩種，一種是重要參數(shù)自適應化例如連接強度，另一種是網(wǎng)絡迭代次數(shù)的自適應化。如：Randy Paul Broussard等使用梯度下降法將參數(shù)自適化[22];馬義德教授等將PCNN與遺傳算法相結合來使參數(shù)得到自適應[23];張志宏等人引入了信息曲線，優(yōu)化了衰減系數(shù)[24];由于PCNN模型對亮度、對比度敏感的特性，馬義德等利用誤差反向傳播學習準則使PCNN得到自適應，從而減少亮度、對比度對圖像識別精度的影響[25];苗啟廣等人提出了一種自適應PCNN的融合算法，該方法得到的融合結果更加符合人眼的視覺特性[26];李美麗、李言俊等人針對以往基于脈沖偶合神經(jīng)網(wǎng)絡的融合算法中每個神經(jīng)元的連接強度都是取相同常數(shù)這一問題，分別利用像素的標準差和拉普拉斯能量特征作為對應神經(jīng)元的連接強度來實現(xiàn)PCNN的自適應[27];趙峙江等人引用灰度信息量直方圖，使得PCNN中衰減參數(shù)實現(xiàn)自適應[28];針對PCNN模型中參數(shù)的設置仍需要依靠經(jīng)驗和手工這一問題，在文獻[29]中，于江波等人制定了PCNN模型中各參數(shù)確定的準則，將按照這些準則設置參數(shù)的PCNN模型應用到眼底圖像處理中，處理效果可以和人工選取參數(shù)相比擬，魯棒性較強。對于PCNN中網(wǎng)絡迭代次數(shù)的自適應化，其目的就是讓系統(tǒng)自動確定迭代多少次，而不是依靠人工設定。就目前來說，使迭代次數(shù)實現(xiàn)自適應化這類算法中較為突出的理論性研究成果較少。

另一類是對PCNN模型的簡化改進研究。由于PCNN模型中需要進行多次卷積操作，而且其擁有非線性的網(wǎng)絡和并行的特性，所以PCNN的運行效率并不高，因此對該模型進行簡化改進至關重要。目前基于PCNN的簡化模型主要有交叉皮層模型（Intersecting Cortical Model， ICM）、脈沖發(fā)放皮層模型（Spiking Cortical Model，SCM）模型和連接突觸計算網(wǎng)絡（Linking Synaptic Computation Network，LSCN）模型。

對于以上兩類的算法可以單獨進行融合，也可以互相結合進行計算。

3 結束語

本文在查閱了大量中英文參考文獻后，總結概括了圖像融合的三個層次，詳盡列舉了近期發(fā)表的關于圖像融合的算法?？偨Y出了可以從兩個方向?qū)赑CNN圖像融合進行改進。分別是基于PCNN與多尺度變換相結合，和減少PCNN計算復雜度，其中減少PCNN計算復雜度又可以從兩方面入手，分別是使PCNN模型中參數(shù)實現(xiàn)自適應，其中包括該模型中的關鍵參數(shù)與迭代次數(shù)，和簡化PCNN模型提出新模型。

對于本文提出了兩個方向，接下來需要對它們進行深入研究，尋找每個方向的創(chuàng)新點，從而得出較優(yōu)的融合圖像。

參考文獻（References）：

[1] L. Wald. Some terms of reference in data fusion[J]. IEEETransactions on ?Geoscience and Remote Sensing，1999.37（3）：1190-1193

[2] M. Nada. Sensors and data fusion[M]. Vienna， Austria，2009：1-490

[3] D. J. Mirota， M. Ishii， G. D. Hager. Vision-based navigationin image-guided interventions[J]. Annual Review of Biomedical Engineering，2011.13：297-319

[4] B. Luo. Decision-based fusion for pansharpening ofremote sensing images[J]. IEEE Geoscience and Remote Sensing Letters，2013.10： 19-23

[5] Z. B. Wang， Y. D. Ma. Medical image fusion usingm-PCNN[J]. Information Fusion，2008.9：176-185

[6] D. ?M. ?Tsai， ?S. ?C. ?Lai. ?Independent ?componentanalysis-based ?background ?subtraction ?for indoor surveillance[J]. IEEE Transactions on Image Processing，2009.18（1）：158-167

[7] 宋斌，吳樂華，唐曉杰等.采用DCT稀疏表示與Dual-PCNN的圖像融合算法[J].紅外技術，2015.4：283-288

[8] Li M， Cai W， Tan Z. Pulse coupled neural network basedimage fusion[J].ADVANCES IN NEURAL NETWORKS-ISNN 2005，PT 2，PROCEEDINGS，2005.3497：741-746

[9] 王艷，楊艷春，黨建武等.非下采樣Contourlet變換域內(nèi)結合模糊邏輯和自適應脈沖耦合神經(jīng)網(wǎng)絡的圖像融合[J].激光與光電子學進展，2019.56（10）.

[10] Li W， Zhu X F. A new image fusion algorithm based onwavelet packet analysis and PCNN[C]//International Conference on Machine Learning and Cybernetics. IEEE，2005.9：5297-5301

[11] Miao Q. A novel adaptive multi-focus image fusionalgorithm based on PCNN and sharpness[J]. Proceedings of SPIE-The International Society for Optical Engineering，2005.5778：704-712

[12] Miao Q， Wang B. A Novel Image Fusion Algorithmbased on PCNN and Contrast[C]// International Conference on Communications，Circuits and Systems Proceedings. IEEE，2006：543-547

[13] Li M， Cai W， Tan Z. A region-based multi-sensor imagefusion scheme using pulse-coupled neural network[J]. Pattern Recognition Letters，2006.27（16）：1948-1956

[14] Qu X， Yan J， et al. Multi-focus Image Fusion AlgorithmBased on Regional Firing Characteristic of Pulse Coupled Neural Networks[D].IEEE，2009.

[15] Wang Z， Ma Y. Dual-channel PCNN and Its Applicationin the Field of Image Fusion[C]// International Conference on Natural Computation. IEEE，2007：755-759

[16] Liu S P， Fang Y. Infrared image fusion algorithm basedon contourlet transform and improved pulse coupled neural network[J].Journal of Infrared & Millimeter Waves，2007.26（3）：217-221

[17] Huang W， Jing Z. Multi-focus image fusion using pulsecoupled neural network[J].Pattern Recognition Letters，2007.28（9）：1123-1132

[18] Min W， Peng D， Yang S. Fusion of Multi-band SARImages Based on Nonsubsampled Contourlet and PCNN[C]// International Conference on Natural Computation.IEEE，2008：529-533

[19] 楊艷春，王曉明，黨建武.基于NSCT與區(qū)域點火PCNN的醫(yī)學圖像融合方法[J].系統(tǒng)仿真學報，2014.2：50-54

[20] 楊艷春，黨建武，王陽萍.基于提升小波變換與自適應PCNN的醫(yī)學圖像融合方法[J].計算機輔助設計與圖形學學報，2012.4：70-75

[21] 王朝暉，王佳琪，趙德功等.基于Shearlet與改進PCNN的圖像融合[J].激光與紅外，2012.2：99-102

[22] Broussard R P. Physiologically-Based Vision ModelingApplications and Gradient Descent-Based Parameter Adaptation of Pulse Coupled Neural Networks[C]// Air Force Institute of Technology，1997.

[23] 馬義德，齊春亮.基于遺傳算法的脈沖耦合神經(jīng)網(wǎng)絡自動系統(tǒng)的研究[J].系統(tǒng)仿真學報，2006.18（3）：722-725

[24] 張志宏，馬光勝.PCNN模型參數(shù)優(yōu)化與多閾值圖像分割[J].哈爾濱工業(yè)大學學報，2009.3：240-242

[25] 馬義德，ZHAN Kun，齊春亮.自適應脈沖耦合神經(jīng)網(wǎng)絡在圖像處理中應用[J].系統(tǒng)仿真學報，2008.20（11）：2897-2900

[26] 苗啟廣，王寶樹.一種自適應PCNN多聚焦圖像融合新方法[J].電子與信息學報，2006.28（3）：466-470

[27] 李美麗，李言俊，王紅梅等.基于自適應脈沖耦合神經(jīng)網(wǎng)絡圖像融合新算法[J].光電子·激光，2010.5：779-782

[28] 趙峙江，趙春暉，張志宏.一種新的PCNN模型參數(shù)估算方法[J].電子學報，2007.35（5）：996-1000

[29] 于江波，陳后金，王巍等.脈沖耦合神經(jīng)網(wǎng)絡在圖像處理中的參數(shù)確定[J].電子學報，2008.36（1）：81-85