姜兆禎 韓裕生 任帥軍 張延厚

（1.陸軍炮兵防空兵學(xué)院信息工程系 合肥 230031）（2.偏振光成像探測(cè)技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室 合肥 230031）

1 引言

偏振圖像可以獲得目標(biāo)與背景的粗糙度、含水量、物質(zhì)理化及紋理特征等信息，對(duì)其進(jìn)行解析融合處理，可快速識(shí)別復(fù)雜背景中的目標(biāo)［1］。金字塔變換是早期用于圖像融合領(lǐng)域的算法，福州大學(xué)葉銀芳［2］等針對(duì)紅外/被動(dòng)毫米波圖像提出一種基于拉普拉斯金字塔的融合方法，提高了多元傳感器獲得信息的利用率。但是金字塔因?yàn)樽陨碓硇缘膯栴}，導(dǎo)致其分解變換得到的子帶之間存在相關(guān)性。為克服金字塔變換融合方法穩(wěn)定性的不足，王遠(yuǎn)軍［3］等利用小波變換對(duì)醫(yī)學(xué)圖像的融合進(jìn)行改良，既增加了目標(biāo)的對(duì)比度同時(shí)抑制了背景噪聲。但小波變換的缺點(diǎn)之一就是分解效率低下，所以朱達(dá)榮等［4］在小波變換之后選擇利用多尺度分解采用非下采樣輪廓波變換，對(duì)偏振圖像進(jìn)行融合處理，該算法提升了融合效率，減少了耗時(shí)，但在最后融合高頻和低頻子帶過程中細(xì)節(jié)損失較多。為解決上述問題，本文利用雙通道PCNN模型將強(qiáng)度參量與偏振度參量融合，實(shí)驗(yàn)結(jié)果表明本算法相對(duì)其他傳統(tǒng)算法能夠保留目標(biāo)更多輪廓邊緣細(xì)節(jié)信息，可以將目標(biāo)有效信息從復(fù)雜環(huán)境背景中快速識(shí)別出來。

2 PCNN的工作原理

本文采用的PCNN模型（Pulse Coupled Neural Network）具有生物學(xué)背景，因?yàn)槠涿}沖調(diào)制和耦合連接特性而在圖像處理領(lǐng)域得到廣泛應(yīng)用［5］。圖1為該模型的基本結(jié)構(gòu)［6］。

圖1 PCNN神經(jīng)元模型

PCNN模型主要組成部分有信號(hào)接收、調(diào)制耦合以及脈沖發(fā)生。第一部分主要包括輸入和反饋兩個(gè)通道：Aij和Bij，Aij負(fù)責(zé)接收網(wǎng)絡(luò)內(nèi)其他單元傳遞的信息Ykl，而Bij負(fù)責(zé)接收外部激勵(lì)信息Sij。第二部分的作用主要是調(diào)制輸入信號(hào)，并根據(jù)信號(hào)數(shù)值大小判斷能否產(chǎn)生脈沖，數(shù)學(xué)公式如下：

式中n代表迭代次數(shù)，V代表輸入電勢(shì)，α代表衰減時(shí)間常數(shù)值，β表示耦合鏈接系數(shù)，W和M表示傳遞信息的強(qiáng)弱程度，Uij為脈沖產(chǎn)生器閾值，Eij表示門限。當(dāng)閾值大于門限時(shí)，神經(jīng)元點(diǎn)火；當(dāng)閾值小于門限時(shí)，不產(chǎn)生脈沖。

在本文的融合算法中，代表著某個(gè)像素的神經(jīng)元被點(diǎn)火后，將引起該像素鄰域內(nèi)具有相近灰度的其他像素神經(jīng)元產(chǎn)生脈沖點(diǎn)火。而通過網(wǎng)絡(luò)內(nèi)各單元之間的耦合作用，可以減少偏振圖像處理中的輪廓邊緣以及細(xì)節(jié)信息損失［7］。

3 融合算法

3.1 算法創(chuàng)新點(diǎn)

針對(duì)單通道模型計(jì)算量繁多復(fù)雜的問題，本文在將單通道PCNN模型改進(jìn)到雙通道模型，有效地提高了融合效率。新模型的數(shù)學(xué)公式有些許變動(dòng)：

此外在PCNN模型中存在很多具有不同意義的參數(shù)，各參數(shù)的取值大小將直接決定最終實(shí)驗(yàn)結(jié)果效果好壞與否。

神經(jīng)網(wǎng)絡(luò)模型中最關(guān)鍵的參數(shù)之一就是神經(jīng)元的鏈接強(qiáng)度，它可以在很大程度上影響著最終的脈沖激發(fā)和調(diào)制結(jié)果。目前PCNN模型中鏈接系數(shù)的選擇多為人工經(jīng)驗(yàn)值［8］，針對(duì)這點(diǎn)，本文將鏈接系數(shù)由固定值改為隨區(qū)域特征自適應(yīng)調(diào)整，這樣可以保證融合圖像實(shí)驗(yàn)結(jié)果更為清晰，細(xì)節(jié)保留效果更好。

像素的平均梯度（AG）可以表示圖像的細(xì)節(jié)和紋理變換特征［9］。偏振圖像的清晰度與其對(duì)應(yīng)的平均梯度成正比。因此，本文采用AG作為模型的鏈接系數(shù)。若H(i，j)表示M×N區(qū)域窗口內(nèi)的中心像素點(diǎn)，則區(qū)域窗口內(nèi)像素的AG表示為

將鏈接系數(shù)設(shè)置為對(duì)應(yīng)區(qū)域像素的平均梯度，可以反映圖像的清晰度，從而可以通過鏈接強(qiáng)度直接判斷圖像邊緣的保留程度。利用平均梯度作為鏈接強(qiáng)度的選取依據(jù)，可以抵消由區(qū)域加窗引起的圖像細(xì)節(jié)丟失、邊界輪廓模糊問題。為進(jìn)一步減弱區(qū)域窗口對(duì)融合結(jié)果的不良影響，本算法將模型的輸入項(xiàng)設(shè)置為偏振圖像區(qū)域像素的空間頻率?？臻g頻率（SF）表示圖像灰度值的總體活躍程度［10］，與平均梯度類似，空間頻率的數(shù)值與偏振圖像的清晰度也是正相關(guān)。偏振圖像的空間頻率定義為

式中，M×N表示區(qū)域矩形窗尺寸大小。在本算法AG以及SF的計(jì)算過程中，M×N都取中心像素點(diǎn)3×3鄰域區(qū)域。

3.2 算法實(shí)現(xiàn)步驟

本文融合算法實(shí)現(xiàn)步驟如下：

1）在改進(jìn)PCNN模型中輸入待融合源圖像（強(qiáng)度圖與偏振度圖像），激勵(lì)神經(jīng)元點(diǎn)火，產(chǎn)生脈沖；

2）分別對(duì)強(qiáng)度圖與偏振度圖像中H(i，j)區(qū)域的點(diǎn)火次數(shù)進(jìn)行計(jì)算；

3）利用空間頻率SF激勵(lì)PCNN神經(jīng)元，以平均梯度作為鏈接強(qiáng)度系數(shù)，來決定決策圖，確定融合系數(shù)；

4）根據(jù)融合系數(shù)重構(gòu)得到最終強(qiáng)度圖與偏振度圖像融合結(jié)果。

4 偏振圖像融合實(shí)驗(yàn)

為驗(yàn)證上述方法，本文采用Matlab對(duì)強(qiáng)度圖和偏振度圖進(jìn)行了融合處理實(shí)驗(yàn)。采用的筆記本電腦處理器為Inter（R）Core（TM）i7-4710HQ CPU@2.50GHz，軟件版本為Matlab R2016a。數(shù)據(jù)為本實(shí)驗(yàn)室做外場(chǎng)試驗(yàn)時(shí)像元耦合相機(jī)拍攝所得，像素都為640×512。

對(duì)源圖像分別運(yùn)用主成分分析、拉普拉斯金字塔變換、小波變換和本文所述四種融合算法進(jìn)行融合處理，最后同時(shí)運(yùn)用主觀和客觀評(píng)價(jià)指標(biāo)對(duì)四種算法的融合結(jié)果進(jìn)行比較分析。

4.1 融合圖像質(zhì)量客觀評(píng)價(jià)指標(biāo)

為了使融合效果更有說服力，本文在采用主觀肉眼觀察實(shí)驗(yàn)結(jié)果之余，結(jié)合客觀評(píng)價(jià)指標(biāo)對(duì)最終融合結(jié)果進(jìn)行綜合評(píng)價(jià)，以定值、定量的形式給出結(jié)果［11］。擬打算采用平均梯度、圖像信息熵、空間頻率和標(biāo)準(zhǔn)差四個(gè)指標(biāo)來對(duì)融合結(jié)果進(jìn)行評(píng)估。

1）平均梯度

上文已有介紹，此處不加以重復(fù)。

2）信息熵

信息熵是計(jì)算圖像所含信息量的指標(biāo)［12］。圖像的信息熵（EN）定義為

式中，Z表示圖像的灰度值，Zi表示相應(yīng)灰度的概率大小。

3）空間頻率

上文已有介紹，不加以重復(fù)。

4）標(biāo)準(zhǔn)差

標(biāo)準(zhǔn)差是度量圖像信息豐富程度的一個(gè)指標(biāo)［13］。圖像的標(biāo)準(zhǔn)差定義為

式中，H(i，j)表示單像素灰度值；Hˉ表示灰度平均值。

4.2 實(shí)驗(yàn)結(jié)果與分析

對(duì)源圖像采用本文算法及其他三種常見算法進(jìn)行融合處理所得結(jié)果如下所示。圖2、圖3、圖4分別為第一、二、三組源圖像與融合結(jié)果圖。其中每組圖中的圖（a）、圖（b）為源圖像，圖（c）為拉普拉斯金字塔算法融合結(jié)果，圖（d）為PCA法融合結(jié)果，圖（e）為小波變換算法融合結(jié)果，圖（f）則為本文算法融合結(jié)果。

圖2 第一組源圖像和融合結(jié)果圖

圖3 第二組源圖像和融合結(jié)果圖

圖4 第三組源圖像和融合結(jié)果圖

在公園人物的融合結(jié)果中，PCA法丟失了部分小細(xì)節(jié)，而本文算法結(jié)果可以有效從復(fù)雜背景中突顯出人物的動(dòng)作及位置信息。拉普拉斯金字塔融合算法結(jié)果有明顯的信息丟失。小波變換算法效果和拉普拉斯金字塔效果類似。肉眼觀察，不論是艦船、汽車還是人物，本文算法融合結(jié)果中的目標(biāo)特征明顯，區(qū)域細(xì)節(jié)更加連貫完整，邊緣輪廓分明，相比于其他三種算法有著更好的視覺效果。

分別計(jì)算三組圖片的以上客觀評(píng)價(jià)指標(biāo)，得到數(shù)值大小如表1、表2和表3所示，將表中每個(gè)指標(biāo)的最優(yōu)值加粗顯示。從表中數(shù)據(jù)可以看出，本文融合算法所得到的結(jié)果具有最佳的平均梯度、最大的信息熵、最好的空間頻率值以及最大的標(biāo)準(zhǔn)差。

表1 圖2中各融合方法評(píng)價(jià)指標(biāo)

表2 圖3中各融合方法評(píng)價(jià)指標(biāo)

表3 圖4中各融合方法評(píng)價(jià)指標(biāo)

5 結(jié)語(yǔ)

為更好利用偏振圖像的強(qiáng)度和偏振度信息，本文基于雙通道PCNN模型對(duì)兩種源圖像實(shí)施融合處理。雙通道的PCNN模型有效減小了圖像融合過程中的計(jì)算量，提高了融合效率。此外，采用偏振圖像的區(qū)域像素空間頻率作為模型輸入項(xiàng)，同時(shí)將鏈接系數(shù)由固定值改為隨圖像區(qū)域窗口內(nèi)像素平均梯度變化自適應(yīng)調(diào)整，可有效減少源圖像的邊緣信息損失，增加紋理細(xì)節(jié)的保留度，以獲得最佳的融合圖像。通過實(shí)驗(yàn)比較分析本文算法與主成分分析算法、拉普拉斯金字塔算法以及小波變換算法，最終的客觀評(píng)價(jià)指標(biāo)證明本文所述算法確實(shí)要優(yōu)于其他幾種融合算法。