李桃 侯紅英 王德賢 西華師范大學(xué)計(jì)算機(jī)學(xué)院

數(shù)字圖像融合研究綜述

李桃 侯紅英 王德賢 西華師范大學(xué)計(jì)算機(jī)學(xué)院

本文首先了介紹了圖像融合的定義、特點(diǎn)、應(yīng)用狀況，然后重點(diǎn)介紹了在基于PCNN模型的圖像融合研究中存在的問題，接著闡述了圖像融合技術(shù)取得的進(jìn)步，最后指出了圖像融合技術(shù)潛在的研究方向。

圖像融合 應(yīng)用情況 PCNN 研究方向

隨著傳感技術(shù)的飛速發(fā)展，人們獲取的圖像也越來越多，但是分析和處理這些圖像的效率遠(yuǎn)遠(yuǎn)落后于圖像數(shù)量增加的速率。圖像融合技術(shù)提供了一種從一系列圖像中整合冗余和補(bǔ)充信息的有效方法。

圖像融合的目的是為了提高信息的可用性，從而得到更準(zhǔn)確，更可靠的信息，對(duì)圖像進(jìn)行更全面的描述。

1 圖像融合的定義

圖像融合是將兩個(gè)或多個(gè)源圖像進(jìn)行融合，以形成一個(gè)新的，更清晰、更可靠的圖像，所得到的圖像將比任何輸入圖像的信息量更豐富，也更適合于視覺感知或計(jì)算機(jī)處理。圖像融合使用一定的算法，融合后將產(chǎn)生包含源圖像最佳方面的圖像。

圖像融合可以分為兩大類：估計(jì)融合和圖像融合，并且隨著應(yīng)用領(lǐng)域的不同而有所差別。

圖像的融合處理通?？梢栽谌齻€(gè)層次上進(jìn)行：像素級(jí)、特征級(jí)和決策級(jí)。

當(dāng)源圖像是從相同的傳感器獲取時(shí)，圖像融合通常被稱為多灶性的融合，多視角的融合，或多時(shí)相融合。多聚焦融合是指在不同長度焦點(diǎn)的情況下進(jìn)行反復(fù)的融合圖像。多視角的融合是指從不同的角度融合圖像。多時(shí)相融合是指采取不同的時(shí)間來檢測圖像之間的變化或把未在預(yù)期時(shí)間內(nèi)拍攝的對(duì)象合成逼真的圖像。

當(dāng)源圖像（如可見光和紅外線，CT和核磁共振，全色和多光譜衛(wèi)星圖像，這些圖像都屬于多模態(tài)圖像）是從不同的傳感器獲取時(shí)，圖像融合通常被稱為多傳感器融合。在醫(yī)學(xué)成像中，它被用來融合CT、MRI或PET圖像。同時(shí)，在遙感和天文學(xué)中，多傳感器融合通過融合來源于兩個(gè)傳感器的圖像來實(shí)現(xiàn)高空間和光譜分辨率。

2 圖像融合的特點(diǎn)

（一）消除了不同傳感器之間的數(shù)據(jù)冗余

（二）增強(qiáng)了圖像數(shù)據(jù)的可靠性

（三）擴(kuò)展了系統(tǒng)的覆蓋范圍

（四）保證系統(tǒng)在各種運(yùn)行情況下的性能

（五）使探測性能變得更好

（六）容錯(cuò)性好，性能穩(wěn)定

（七）降低了對(duì)單個(gè)傳感器的性能要求

3 應(yīng)用情況

由于融合后的圖像整合了無法從單一來源圖像獲得的各種不同的信息數(shù)據(jù)，因此圖像融合是一種分析和充分利用大容量源圖像的有效的方法。圖像融合在某些應(yīng)用領(lǐng)域中扮演著重要的角色，例如醫(yī)學(xué)治療、攝影、遙感、軍事、安全、監(jiān)視、視頻監(jiān)控、計(jì)算機(jī)視覺等。

4 PCNN圖像融合研究中存在的問題

近年來，圖像融合的重要性新技術(shù)（如主成分分析，多尺度分析和各種變換方法）逐漸開始應(yīng)用于圖像融合。例如，采用多尺度分析方法可以取得良好的圖像融合性能。作為一種新型的人工神經(jīng)網(wǎng)絡(luò)，脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）產(chǎn)生后不久便在圖像融合中被應(yīng)用起來。例如，布魯薩爾和羅杰斯在1996首次在圖像融合應(yīng)用PCNN。隨后，許多基于PCNN的圖像融合算法被迅速的提出，越來越多的研究人員開始研究基于PCNN的圖像融合。

PCNN是一個(gè)單層、二維，由若干個(gè)整合-激發(fā)神經(jīng)元相連接的神經(jīng)網(wǎng)絡(luò)。這是一個(gè)無需任何訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。PCNN具有發(fā)放脈沖同步、穩(wěn)定性、波的形成與傳播等特性，這是其他神經(jīng)網(wǎng)絡(luò)所沒有的，由于PCNN的這些優(yōu)勢，它被廣泛應(yīng)用于數(shù)字圖像處理中。

基于PCNN的圖像融合在空間域和變換域中被得到了很好的應(yīng)用。大多數(shù)PCNN方法是通過計(jì)算機(jī)程序仿真實(shí)現(xiàn)的。然而，很少有研究人員試圖在硬件平臺(tái)上設(shè)計(jì)和實(shí)現(xiàn)PCNN圖像融合。

雖然近年來已經(jīng)對(duì)PCNN模型做了大量研究，但目前的研究還存在許多問題。首先，PCNN有待進(jìn)一步研究，許多潛在特征應(yīng)該被更深入的探索，對(duì)PCNN的研究是提高其應(yīng)用效果的關(guān)鍵。其次，我們更應(yīng)該注意修改后的PCNN模型的合理性，也就是說，當(dāng)我們打算修改PCNN模型，我們是否應(yīng)該遵循一些規(guī)則？例如，哪一部分可以改變？哪一部分不能改變？但從現(xiàn)有的參考文獻(xiàn)中，我們發(fā)現(xiàn)許多研究人員是根據(jù)自己的意愿來修改PCNN模型。研究者修改PCNN模型時(shí)，除了考慮良好的融合結(jié)果，還應(yīng)該考慮到許多其他因素。最后，雖然近年來基于PCNN的圖像融合框架已經(jīng)基本保持穩(wěn)定，然而，我們應(yīng)該在未來探索更有效的框架。

5 圖像融合取得的進(jìn)步

我們已經(jīng)在圖像融合領(lǐng)域取得了許多重大的進(jìn)展，如最佳融合規(guī)則、分布式融合和傳感器管理。綜合優(yōu)化方法是一個(gè)很有前景的方法，它已被應(yīng)用于最優(yōu)分布式融合，它可以推廣線性融合規(guī)則，為融合規(guī)則提供統(tǒng)一的框架，還為最優(yōu)融合方法提供了一種替代方法。此外，信息融合也已被應(yīng)用到其他應(yīng)用程序，即衛(wèi)星姿態(tài)估計(jì)與視覺目標(biāo)跟蹤。

6 圖像融合潛在的研究方向

現(xiàn)在一些新的算法已經(jīng)被應(yīng)用在圖像融合領(lǐng)域，如稀疏表示，小波家族體系和壓縮感知。然而，一些實(shí)現(xiàn)高融合性能的方法需要大量的存儲(chǔ)空間和計(jì)算時(shí)間。因此，未來潛在的研究方向可能是是減少計(jì)算復(fù)雜度或內(nèi)存要求。更確切的說，未來人們的注意力會(huì)集中在如何保證圖像融合效率和計(jì)算效率之間的平衡。

此外，圖像融合也可以被看作是一個(gè)動(dòng)態(tài)過程。應(yīng)該注意的是，時(shí)間穩(wěn)定性和一致性的問題仍然是一個(gè)具有挑戰(zhàn)性的話題。此外，我們還沒有從理論與實(shí)踐的角度上探討動(dòng)態(tài)融合性能。

[1]尚政國.多分辨率分析及其在圖像處理中的應(yīng)用研究[D].哈爾濱：哈爾濱工程大學(xué)，2008:15-16

[2]王輝全.帶鋼多源圖像融合方法的研究[D].沈陽：東北大學(xué)，2011:28-29

[3]ZhongLiang Jing，Han Pan，YanYuan Qin.Current progress of information fusion in China[J].Chin.Sci. Bull，2013，58(36): 4533-4540

[4]Zhaobin Wang，Shuai Wang，Ying Zhu，Yide Ma.Review of Image Fusion Based on Pulse-Coupled Neural Network[J].Archives of Computational Methods in Engineering，2016，23(4):659 671

[5]潘現(xiàn)甫.圖像融合技術(shù)研究[D].北京：北京理工大學(xué)，2016:70-71

[6]姜志.基于PCNN和NSCT變換的圖像融合算法[D].浙江：浙江理工大學(xué)，2014：21

西華師范大學(xué)國家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目；項(xiàng)目編號(hào)：201510638047。

李桃（1991—），男，漢族，四川簡陽市人，學(xué)生，理學(xué)碩士，單位：西華師范大學(xué)計(jì)算機(jī)學(xué)院計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)，研究方向：圖像處理。