張嘉瑛, 賀興時, 于青林
(1.西安工程大學,西安 710000; 2.湯普森河大學數(shù)學與統(tǒng)計學系,加拿大 甘露市 V2C 0C8)
德國科學家ECKHORN等[1]通過對貓視覺皮層結果的模擬發(fā)現(xiàn)了利用脈沖神經網(wǎng)絡的脈沖發(fā)放特性可以很快地找到圖像當中的同質區(qū)域,更好地處理圖像的分割、去噪、匹配和融合,提出了脈沖耦合神經網(wǎng)絡(Pulse Coupled Neural Network,PCNN),并將其廣泛應用于圖像分割領域。然而,分割結果的質量取決于PCNN參數(shù)的取值。參數(shù)的適當值只能手動調整或通過大量的訓練來估計,限制了PCNN的進一步發(fā)展。研究者們試圖解決這個問題,KUNTIMAD等[2]分析了在獲得對象和背景的強度范圍后進行完美圖像分割的連接強度的最小值和最大值;基于連接強度的原理,KARVONEN[3]根據(jù)從訓練合成孔徑雷達圖像中獲得的段的分布信息計算了連接強度的特定值;STEWART等[4]提出了一種多值圖像分割區(qū)域——PCNN區(qū)域,但需要手動設置時變動態(tài)閾值E,并將強度與增量常數(shù)聯(lián)系起來;由BI等[5]介紹的方法根據(jù)空間和灰度特征自適應地確定了權重矩陣和連接強度,但通過經驗設置了動態(tài)閾值E的振幅和衰減常數(shù);此外,YONEKAWA等[6]自動調整了連接強度和指數(shù)衰減系數(shù),但需要多次反復試驗。
如何依據(jù)圖像信息調整神經元連接系數(shù)與觸發(fā)閾值來提升分割性能,避免圖像的過(欠)分割是PCNN研究的重要問題。LI等[7]提出了一種基于免疫算法的新型PCNN參數(shù)自動決策算法,實現(xiàn)了PCNN的參數(shù)自適應調整;程述立等[8]用多種智能優(yōu)化算法優(yōu)化最大類間方差,再結合PCNN對圖像進行分割;XU等[9]提出基于ACO算法的自適應PCNN及其在醫(yī)學圖像分割中的應用。但是目前提出的PCNN方法不能有效地抑制紅外噪聲,當它們直接應用于紅外行人分割時,通常會導致行人目標邊緣模糊,為解決該問題,提出了基于多尺度PCNN紅外行人圖像的自適應分割算法。在簡化的PCNN模型中引入尺度空間,使得模型具有尺度性與方向性,加強了中心神經元與最優(yōu)方向上周邊神經元的聯(lián)系,同時利用PSO算法尋找關鍵參數(shù)的最優(yōu)值,有效地結合了PSO算法、尺度空間與PCNN各自的優(yōu)勢,使其實現(xiàn)關鍵參數(shù)的智能尋優(yōu),得到最優(yōu)的參數(shù)組合,將分割結果與其他分割方法進行定性和定量比較,驗證了本文的方法。
簡化的PCNN模型[10]中單脈沖耦合神經元的結構分為接收、調制和脈沖發(fā)生器3部分,其數(shù)學表達式為
Fi j(n)=Ii j
(1)
Li j(n)=∑Wi jklYkl(n-1)
(2)
Ui j(n)=Fi j(1+βLi j(n))
(3)
θi j(n)=exp(-αE)θi j(n-1)+VEYi j(n-1)
(4)
(5)
式中:Fi j(n)為第i,j個神經元的反饋輸入;Ii j為外部輸入刺激信號(即圖像矩陣中各個像素的灰度值);Li j(n)為耦合連接輸入;Wi jkl為連接矩陣;Ykl(n-1)為(n-1)次迭代時神經元的輸出;Ui j(n)為內部活動項;θi j(n)為動態(tài)閾值;Yi j(n)為神經網(wǎng)絡的輸出;β為連接系數(shù);αE為閾值衰減系數(shù);VE為閾值放大系數(shù)。
改變PCNN的參數(shù)可調整PCNN的運行行為。其中連接系數(shù)β、閾值衰減系數(shù)αE、閾值放大系數(shù)VE、連接矩陣這4個關鍵參數(shù)對分割結果產生較大影響。
(6)
χid(t+1)=χid(t)+?id(t+1)
(7)
(8)
高斯核尺度空間的基本思想[12-13]是:建立引入尺度參數(shù)的高斯核函數(shù),并與圖像進行卷積,通過改變核函數(shù)的參數(shù)可得到圖像在不同尺度下的空間表示序列。將圖像I(x,y)的高斯尺度空間定義為L(x,y,p),尺度參數(shù)p=σ2,p≥0,σ為高斯核G(x,y,p)的標準差,則該尺度空間可由高斯核G(x,y,p)與I(x,y)卷積得到
(9)
式中:
(10)
通過定性分析可以得出:隨著σ的增大(減少),尺度參數(shù)p也隨之增大(減少),導致尺度空間各尺度圖像的模糊程度逐漸增大(減少),這樣就能夠模擬目標由近(遠)到遠(近)時的尺度變化情況,本文采用二維高斯核函數(shù)實現(xiàn)尺度空間的變換。
本文提出的自適應高斯核尺度空間-脈沖耦合神經網(wǎng)絡(Adaptive Gaussian Kernel scale space-Pulse Coupled Neural Network,AGK-PCNN)模型是利用PSO算法對關鍵參數(shù)進行尋優(yōu),并利用高斯核函數(shù)替代傳統(tǒng)PCNN模型中通過智能算法動態(tài)改變權值實現(xiàn)圖像分割的算法。AGK-PCNN模型中單個神經元的結構如圖1所示。
圖1 AGK-PCNN模型神經元結構Fig.1 Neuron structure of AGK-PCNN model
局部紅外噪聲由高斯噪聲、泊松噪聲、乘法噪聲和椒鹽噪聲組成[14],考慮到這些噪聲的特征,從各向異性高斯核[15]中學習構造權重矩陣,在該各向異性高斯核濾波器中起到兩個作用:1) 降低整幅圖像的噪聲;2) 保留原始圖像中邊緣、角、小尺度特征等重要結構,而非邊緣區(qū)域。從而建立如下數(shù)學模型
Fi j(n)=Ii j
(11)
(12)
{(x,y)∣x=1,2,…,k;y=1,2,…,l}
(13)
(14)
Ui j(n)=Fi j(1+βLi j(n))
(15)
θi j(n)=exp(-αE)θi j(n-1)+VEYi j(n-1)
(16)
(17)
在輸入部分中,輸入Fi j(n)的權重矩陣G起著重要作用,可以將鄰域的灰度信息傳遞到中心神經元像素,并進一步表達紅外圖像的局部特征。因此,可以利用權重矩陣G來配合簡化的PCNN增強局部信息和抑制局部紅外噪聲。所以利用PCNN模型的權重矩陣消除了紅外圖像的噪聲,并保留了行人的幾何特征。式(11)~(17)中,連接矩陣Wijkl用高斯核函數(shù)代替。在傳統(tǒng)的PCNN模型中沒有反映尺度變化的參數(shù),對圖像分割時主要通過設定連接矩陣Wijkl的大小,在AGK-PCNN模型當中引入高斯核函數(shù)代替連接矩陣Wijkl,使得模型具有了尺度特性,控制中心神經元受周圍神經元影響的范圍和權重,從而實現(xiàn)尺度變化的功能。
適應度函數(shù)作為優(yōu)化算法中重要的一部分,影響著分割結果。熵能夠反映目標包含的信息量的大小,熵越大,說明包含的信息量越大。因此選取分割后圖像的熵作為適應度函數(shù),其算式為
H=-p1×lbp1-p0×lbp0
(18)
式中,p0和p1分別為PCNN輸出圖像Y(n)中像素為0和1的概率。
AGK-PCNN模型中,通過PSO算法對參數(shù)β,αE,VE以及加入高斯核的連接強度λ和方差σ2進行優(yōu)化,找到最佳參數(shù)數(shù)值,從而實現(xiàn)對紅外行人圖像的分割。算法的具體分割流程如下。
2) 將紅外行人圖像作為輸入圖像輸入到AGK-PCNN中,由PSO算法初始化的隨機參數(shù)對AGK-PCNN中的參數(shù)進行設定。
3) 通過PSO算法對式(18)的適應度函數(shù)進行優(yōu)化,適應度函數(shù)為紅外行人圖像經過AGK-PCNN處理后進行信息熵值計算的結果,通過式(6)~(8)來進行參數(shù)空間的尋優(yōu),通過比較輸出的適應度函數(shù)值與上一次迭代得到的適應度函數(shù)值,保留局部最優(yōu)的參數(shù)。
4) 當算法達到設置的容忍度或者達到最大迭代次數(shù)時,輸出此時的最優(yōu)參數(shù)作為全局最優(yōu)適應度函數(shù)值和最優(yōu)參數(shù)值,否則重復進行3)和4)。
5) 將AGK-PCNN的參數(shù)設置為優(yōu)化算法得到的最優(yōu)參數(shù)值,進行紅外行人圖像分割。
6) 對分割圖像進行中值濾波,用來處理數(shù)量較少的稀疏噪點。
7) 輸出最終紅外行人圖像分割結果,算法結束。
圖像分割的流程如圖2所示。
圖2 基于PSO的AGK-PCNN圖像分割流程Fig.2 AGK-PCNN image segmentation process based on PSO
為了驗證本文算法,選取幾組紅外行人圖像[16]分別采用:自適應高斯閾值分割方法[17],最大類間方差(OTSU)分割方法[18],結合高斯濾波OTSU分割方法,SCM(一種簡化參數(shù)的PCNN,參數(shù)由文獻[19]給出)分割方法,基于粒子群算法的PCNN(PSO-PCNN)[20],基于哈里斯鷹算法的PCNN(HHO-PCNN)[21],基于遺傳算法的PCNN(GA-PCNN)[10]與AGK-PCNN分割方法進行實驗對比,隨機選取了6組不同的紅外行人圖像進行測試,其分割結果如圖3所示。
如圖3所示,通過視覺觀測可知,原始紅外行人圖像噪聲極大且背景與行人亮度對比度低,實驗結果顯示,自適應高斯閾值分割方法、OTSU方法、結合高斯濾波的OTSU方法等傳統(tǒng)的分割方法在處理圖像時難以應對這類紅外行人分割問題,而本文方法可有效地濾除噪點,加強目標行人的觀測亮度,得到的分割效果顯著優(yōu)于傳統(tǒng)方法。由圖3可以看出,本文算法的紅外行人圖像分割十分接近參考真值,達到了很好的分割效果。在第1個參考圖像中,行人與背景幾乎混雜在一起,但本文算法在對行人的提取效果上依舊優(yōu)于其他算法,在極端情況下不會出現(xiàn)目標觀測不到的情況。
注:每個子圖從左至右紅外圖像編號分別為IMG_00005,IMG_00007,IMG_00011,IMG_00015,IMG_00017,IMG_00022
另外,本文算法與PSO-PCNN,HHO-PCNN,GA-PCNN的不同之處主要是本文的自適應多尺度PCNN模型在參數(shù)優(yōu)化階段結合了多尺度理論使得圖像具有尺度特性,能夠顯著消除紅外圖像的噪聲且提升行人區(qū)域的連接強度,從圖3中可以看到,本文算法獲得了更清晰的分割邊界。
為了對本文算法進行定量評價,采用了IoU與Dice作為評價標準。IoU(Intersection over Union)是對象類別分割問題的標準性能度量。給定一組圖像,IoU度量給出了在該組圖像中存在的對象的預測區(qū)域與地面實況區(qū)域之間的相似性,可以定義為
(19)
式中,PT,PF,NF分別為真陽性、假陽性和假陰性計數(shù)。表1是利用IoU得分對實驗圖片的定量比較,得分最高值為1,得分越高,越接近參考真值。
Dice系數(shù)是一種集合相似度度量函數(shù),通常用于計算兩個樣本的相似度(取值范圍為 [0,1]),即
(20)
式中:PT為目標區(qū)域與分割部分重合的部分;PF為分割結果中非目標區(qū)域的部分;NF為目標區(qū)域中分割部分不包含的部分。表2為Dice對比結果,Dice值越接近于1,分割效果越好。
像素準確率是預測正確的結果占總樣本的百分比,表達式為
(21)
準確率能夠判斷總的正確率,能夠作為一種很好的指標來衡量結果。
從表1和表2中可以看出,本文算法在所有進行實驗的紅外行人圖像上IoU,Dice得分均為最高,在表3像素準確率的計算中,本文的AGK-PCNN模型的值在幾組實驗當中,計算結果都高于其他模型,表明分割的準確率也有所提升。這種定量結果與人眼的視覺效果是一致的。在視覺效果上,一些常用的經典分割方法對這種紅外行人圖像很難達到好的效果。
表1 不同方法對紅外行人圖像分割結果的IoU得分
表2 不同方法對紅外行人圖像分割結果的Dice得分
表3 不同方法對紅外行人圖像分割結果的像素準確率
從圖3實驗結果中可以得出,對噪點直接進行高斯濾波難以達到好的效果,例如OTSU和結合高斯濾波的OTSU分割方法,其所起作用反而使得小目標難以識別,造成更大的分割困難,而SCM分割方法也對紅外圖像難以取得好的適應性,對比PSO-PCNN等可知,結合自適應高斯核參數(shù)調整的算法能達到更好的行人分割效果。本文算法采用智能算法快速尋優(yōu),結合多尺度空間理論,解決了在不同尺度情形下圖像行人的精細分割和圖像噪聲情況的適應程度,達到了良好的自適應圖像分割效果。
針對現(xiàn)有紅外圖像分割算法難以通用以及存在設置參數(shù)困難的問題,提出了一種紅外行人圖像分割的AGK-PCNN算法。該算法有效結合多尺度空間的特性和PCNN模型的特點,并在此基礎上利用PSO算法實現(xiàn)參數(shù)自適應選擇優(yōu)化,達到了更好的紅外圖像自適應分割效果。與經典的分割算法相比,本文算法在視覺效果和客觀指標上均取得了顯著的改進,是一種有效的紅外行人圖像分割算法。