高 媛程 橙秦品樂王麗芳

(1.中北大學 大數(shù)據(jù)學院，太原 030051； 2.山西省生物醫(yī)學成像與影像大數(shù)據(jù)重點實驗室(中北大學),太原 030051；3.北京航天測控技術有限公司,北京 100040)

0 引言

對貓[1-2]和豚鼠[3]等小型哺乳動物視覺皮質的研究結果表明，皮質神經(jīng)元在類似刺激下可以同步脈沖。?？嘶舳鞯热颂岢隽艘环N鏈接域模型來模擬這種機制，并將其應用于圖像處理[4]。由于連續(xù)時間具有相當大的非線性，約翰遜修等人[5-6]改了?？嘶舳鞯纳窠?jīng)元模型，提出了一種用于圖像處理的脈沖耦合神經(jīng)網(wǎng)絡(PCNN)。與多層神經(jīng)網(wǎng)絡(如循環(huán)神經(jīng)網(wǎng)絡[7])不同，PCNN是一種單層網(wǎng)絡，類似于Hopfield神經(jīng)網(wǎng)絡[8]和Cohen-Grossberg神經(jīng)網(wǎng)絡[9-10]。此外，PCNN中的一個神經(jīng)元與鄰近的神經(jīng)元(如細胞神經(jīng)網(wǎng)絡[11])局部相連。據(jù)認PCNN可以在迭代過程中將圖像中的每個像素編碼成一系列脈沖，并基于強度相似性和空間接近性，利用歸一化方法對像素進行分組。因此，PCNN對貓和豚鼠等小型哺乳動物視覺皮質的研究結果表明，皮質神經(jīng)元在類似刺激下可以同步脈沖。?？嘶舳鞯?。提出了一種鏈接域模型來模擬這種機制，并將其應用于圖像處理。由于連續(xù)時間具有相當大的非線性，約翰遜修改了埃克霍恩的 神經(jīng)元模型，提出了一種用于圖像處理的脈沖耦合神經(jīng)網(wǎng)絡(PCNN)。與多層神經(jīng)網(wǎng)絡(如循環(huán)神經(jīng)網(wǎng)絡)不同，PCNN是一種單層網(wǎng)絡，類似于Hopfield神經(jīng)網(wǎng)絡和Cohen-Grossberg神經(jīng)網(wǎng)絡。此外，PCNN中的一個神經(jīng)元與鄰近的神經(jīng)元(如細胞神經(jīng)網(wǎng)絡)局部相連。認為PCNN可以在迭代過程中將圖像中的每個像素編碼成一系列脈沖，并基于強度相似性和空間接近性，利用歸一化方法對像素進行分組。因此，PCNN適用于圖像分割[12-16]、圖像融合[17-20]特征提取[21-42]等圖像處理。

特別是，它是一個非線性系統(tǒng)[25]，不僅適用于神經(jīng)網(wǎng)絡，而且適用于每個神經(jīng)元。然而，作為輸出反饋[26]，圖像處理中神經(jīng)元之間的脈沖耦合是通過使用幾乎固定的局部突觸來實現(xiàn)的，并且不考慮隨機系統(tǒng)[7-11,27-30]中存在的隨機時滯。選擇合適的PCNN神經(jīng)元參數(shù)是獲得更好的圖像處理性能的關鍵，它直接依賴于對PCNN神經(jīng)元正確的理解和對其工作方式的有效分析。文獻[31]在假定神經(jīng)內部狀態(tài)是固定的前提下對脈沖周期進行了分析，得到了一個穩(wěn)定的周期。通過嚴格的數(shù)學分析，文獻[32-33]證明了PCNN神經(jīng)元與真實生物細胞的一致性。Bressloff和Coombes[34]對強耦合神經(jīng)元的動態(tài)行為進行了研究，發(fā)現(xiàn)隨著耦合強度的增加，神經(jīng)元的穩(wěn)定階段將不穩(wěn)定。Burkitt等人[35]研究了神經(jīng)元群同步行為和平均刺激之間的聯(lián)系，注意到在這些工作中對PCNN的分析是持續(xù)進行的并且基于一些假設。此外，在離散時間內，Yu等人[36]研究神經(jīng)元如何改變固定脈沖周期條件的閾值，推導了被動神經(jīng)元脈沖的時間相位和周期[37]，得到了不完全的解析公式。分析了簡化后的神經(jīng)網(wǎng)絡的神經(jīng)脈沖周期和捕獲特性[38]。假設反饋衰減系數(shù)和動態(tài)閾值相同，則推導出脈沖周期[39]。然而，這些分析并沒有考慮PCNN內部狀態(tài)和閾值之間的邏輯比較所產生的整數(shù)轉換的量化效應。因此，這些分析結果總是不準確的。

本文對無源PCNN神經(jīng)元在離散時間內的脈沖周期進行了分析，得到了無源脈沖周期的解析估計。其主要貢獻是：1)通過定義比較比率而不是PCNN中的邏輯比較，給出了一個近似準確的被動PCNN神經(jīng)元的估計被動周期；2)分析并證明了估計被動周期和實際被動周期之間的誤差；3)推導了神經(jīng)元開始脈沖的初始階段，并給出了一個穩(wěn)定的初始階段。脈沖周期；4)給出了一些實驗實例來驗證對PCNN的分析。

本文的其余部分組織如下。在第二節(jié)中，我們回顧了PCNN以及如何改變被動PCNN神經(jīng)元的內部狀態(tài)。然后在第三節(jié)中對被動脈沖周期進行了詳細的分析。在第4節(jié)中執(zhí)行了一些驗證我們的分析的示例。最后，結論顯示在第5節(jié)。

2 脈沖耦合神經(jīng)網(wǎng)絡

PCNN中的神經(jīng)元由兩個通道組成。與此不同的是，F(xiàn)通道不僅接收來自鄰近區(qū)域的耦合脈沖Y，還接收外部刺激S，而L通道只接收耦合脈沖。此外，在微分方程[30,40]的描述中，兩個通道的輸出在每次迭代時都呈指數(shù)衰減。

F(n)=VFY(n-1)?W+F(n-1)e-αF+S

(1)

L(n)=VLY(n-1)?M+L(n-1)e-αL

(2)

其中:n是神經(jīng)元的當前迭代；VF和αF分別是F通道的大小和衰減系數(shù)，類似VL和αL于L；W和M分別表示F和L相鄰的局部突觸。然后使用兩個通道輸出進行調制以產生內部狀態(tài)，然后:

U(n)=F(n)[1+βL(n)]

(3)

其中:β表示連接強度。

當滿足內部狀態(tài)和動態(tài)閾值的邏輯比較時，PCNN中的脈沖發(fā)生器將輸出一個脈沖。

(4)

其中:θ(n)是動態(tài)閾值，如下所示:

θ(n)=e-αθ(n-1)+VθY(n-1)

(5)

具有系數(shù)αθ的動態(tài)閾值在迭代中也呈指數(shù)衰減。然而，一旦神經(jīng)元脈沖，因為有一個大幅度的Vθ，閾值將急劇增加。

PCNN中的神經(jīng)元在相鄰脈沖和外界刺激的耦合作用下，將持續(xù)地脈沖，但由于外界刺激的存在，只接受外界刺激的神經(jīng)元也能持續(xù)地脈沖。為了區(qū)分這兩種情況，我們分別將前、后兩種情況下的神經(jīng)元稱為主動神經(jīng)元和被動神經(jīng)元，分別描述相鄰兩種情況下耦合脈沖的存在和缺失。值得注意的是，上述PCNN不考慮隨機時滯或隨機噪聲等隨機因素，如以下某些隨機系統(tǒng)[7-11,25-30,40]。

假設1:PCNN神經(jīng)元中L的初始狀態(tài)為零，即L(0)=0。

U(n)=F(n)

(6)

其L通道輸出為:

F(n)=F(n-1)e-αF+S

(7)

從式(7)開始，我們可以將式(6)改寫為:

U(n)=U(n-1)e-αF+S

(8)

結論1：被動神經(jīng)元只呈現(xiàn)一個接受外源性刺激的通道，可以用式(4)、(5)和(8)來描述。

假設2：被動神經(jīng)元內部狀態(tài)的初始狀態(tài)為零，即U(0)=0。

論點1：假設2下，被動神經(jīng)元的內部狀態(tài)滿足：

證明：從假設2和式(8)，我們得到：

U(1)=S

U(2)=F(1)e-αF+S=S(1+e-αF)

類似的，n=3,4,5,...

這就完成了證明。

3 被動脈沖周期分析

被動脈沖周期是反映PCNN中被動神經(jīng)元的脈沖頻率如何隨外界刺激的不同和神經(jīng)參數(shù)的不同而變化的，也可以揭示神經(jīng)元如何工作。為了方便、準確地分析下一節(jié)中被動神經(jīng)元的脈沖周期，在定義1給出了被動脈沖周期。

定義1. 將nm和nm+1表示為時間階段，此時被動神經(jīng)元分別在迭代期間m和m+1時間點進行脈沖 。 所以在nm+1處的被動脈沖周期可表示為：

T(nm+1)=nm+1-nm

(9)

3.1 實際被動脈沖周期

假設一個PCNN神經(jīng)元分別在nm和nm+1處脈沖。從(5)開始，我們有：

θ(nm+1)=θ(nm+1)e-(nm+1-nm-1)αθ=[θ(nm)e-αθ+Vθ]e-(nm+1-nm-1)αθ

從式(4)考慮到U(nm+1)≈θ(nm+1)，我們得到：

T(nm+1)=nm+1-nm=

(10)

另一方面，利用式(4)中U(n)和θ(n)之間的邏輯比較來確定神經(jīng)元是否脈沖，導致難以進一步分析式(9)。因此，我們現(xiàn)在定義：

θ(nm)=δU(nm)

(11)

其中，δ∈(0,1)稱為動態(tài)比較比，用來描述迭代中U(n)和θ(n)之間的線性差異。然后式(6)可以改寫為使用式(9)：

(12)

3.2 估計被動脈沖周期

雖然式(11)中的動態(tài)比較比δ在0～1之間，但我們可以在假設1和論點2下得到更精確的動態(tài)范圍。

論點2：比較比δ滿足：

證明：從式(4)和式(5)中可以得出，神經(jīng)元的內部狀態(tài)與動態(tài)閾值之間的關系滿足以下約束條件:

U(nm)>θ(nm)

(13a)

U(nm-1)<θ(nm-1)

(13b)

從式(13a)和式(11)我們很容易得出：

δ<1

(14)

因為：

U(nm)=U(nm-1)e-αF+S

根據(jù)式(8)，和從(5)改寫的：

θ(nm)=θ(nm-1)e-αθ，我們把(13-b)重寫為U(nm)-S<θ(nm)eαθ-αF

鑒于式(11)，我們有：

(15)

使用論點1簡化式(15)，然后得到：

(16)

因此，式(14)和(16)完成證明。

推論1. 在論點2和一些w.r.t.nm約束下，我們可以進一步接近更精確的δ動態(tài)范圍：

1)0<δ<1，為nm≥1;

3)e-αθ<δ<1，為nm→+∞

結論2：從推論1可以看出，隨著nm的增加，δ的下限從0增加到e-αθ。

如果存在ns?+∞時，被動神經(jīng)元開始周期性地脈沖，由于相同的脈沖周期和結論2，在ns和隨后的脈沖迭代時的動態(tài)比較比δ′將接近于在+∞時的動態(tài)比較比。因此，我們可以反過來選擇δ=e-αθ在nm→+∞處的下限作為其他脈沖周期穩(wěn)定的脈沖迭代的 估計動態(tài)比較比。此外，由于ns更接近nt，nt

(17)

然后利用定理1進一步計算估計的無源脈沖周期。

定理1：被動神經(jīng)元的估計被動脈沖周期滿足：

其中：

證明：從論點1，我們有：

(18)

(19)

通過使用式(18)和(19)簡化式(17)，我們很容易得到：

其中：

推論2：在定理1的假設下，估計的被動脈沖周期將接近一個穩(wěn)定周期：

nm→∞時

從推論2可以看出，隨著nm的增加，被動神經(jīng)元的被動脈沖周期估計值趨于穩(wěn)定。在實踐中，估計的被動脈沖周期將穩(wěn)定在nm?+∞，這將在第3.4中得到證明。

3.3 估計脈沖周期和實際脈沖周期之間的誤差

定理2：估計脈沖周期和實際脈沖周期之間的誤差滿足:

TE(nm+1)-T(nm+1)=ε∈{s|s=-1,0}

(20)

δ≥e-αθ時

證明：定義一個以δ作為自變量的函數(shù)：

(21)

由于f(δ)是單調遞增的，證明w.r.t.(20)可轉換為證明以下不等式:

ε1=f(1)-f(e-αθ)<1

(22)

因此得到：

f(1)-[f(e-αθ)]={s|s=0,1}

(23)

基于式(12)和定理1,在滿足δ≥e-αθ時我們有:

ε=TE(nm+1)-T(nm+1)=[f(e-αθ)]-[f(δ)]?

[f(e-?θ)]-[f(1)]≤ε≤0

從式(23),我們得到:

ε∈{s|s=-1,0},δ≥e-αθ

3.4 具有穩(wěn)定脈沖周期的初始相位

定理3. 假設2，PCNN中的神經(jīng)元在以下式子或之后會以穩(wěn)定周期TE脈沖:

Ns∈{n|n=N1,N1+1,...,N1+TE-1}

對于N1∈R+N2?R+

(24a)

Ns∈{n|n=N2+1,N2+2,...,N2+TE}

對于N1?R+N2∈R+

(24b)

其中:

μ=S(e(TE-1)αθ-e-2αθ)-Vθ(1-e-αF)

η=Se-2αθ(eTEαθ-1)-Vθ(1-e-αF)

證明：根據(jù)定理2和推論1，一個具有穩(wěn)定被動周期TE的神經(jīng)元脈沖，其必要和充分條件是:

TE(nm+1)-TE=0

(25a)

(25b)

對于(25a)，我們有:

?Se(TE-1)αθ≥γSe-2αθ+λVθ

(26)

其中:

考慮到nm=nm+1-TE，式(26)的右邊可以表示為:

然后(26) 可以寫為:

Vθ(1-e-αF)≤Se(TE-1)αθ(1-e-nm+1αF)-Se-2αθ(1-e-(nm+1-TE)αF)?

Vθ(1-e-αF)≤Se(TE-1)αθ-Se-2αθ-Se(TE-1)αθe-nm+1αF+

Se-2αθe-(nm+1-TE)αF?e-nm+1αFS(e(TE-1)αθ-eTEαF-2αθ)≤

S(e(TE-1)αθ-e-2αθ)-Vθ(1-e-αF)

其中:

μ=S(e(TE-1)αθ-e-2αθ)-V(1-e-αF)

假設nm+1是一個正整數(shù)，那么:

nm + 1≥N1

(27)

其中:

(28)

這意味著在式(23)中，被動神經(jīng)元在N1或之后會以穩(wěn)定周期TE脈沖。

同樣地，對于(25a), 我們有:

Se(TE-2)αθ<γSe-2αθ+λVθ?Vθ(1-e-αF)>

Se(TE-2)αθ(1-e-nm+1αF)-Se-2αθ(1-e-(nm+1-TE)αF)

?Vθ(1-e-αF)>Se(TE-2)αθ-Se-2αθ-

Se(TE-2)αθe-nm+1αF+Se-2αθe-(nm+1-TE)αF

?e-nm+1αFS(e(TE-2)αθ-eTEαF-2αθ)>

S(e(TE-2)αθ-e-2αθ)-Vθ(1-e-αF)

其中:

η=Se-2αθ(eTEαθ-1)-Vθ(1-e-αF)

然后得到:

nm+1≤N2

(29)

其中:

(30)

注意到式(28)可能導致負整數(shù)或復數(shù)，即N1?R+，而N2是正整數(shù)，即N2∈R+。這意味著被動神經(jīng)元不能從N1開始以穩(wěn)定時間TE脈沖；換句話說，在N2之后，神經(jīng)元將以TE周期性脈沖。因此，具有TE的初始相位滿足:

Ns∈{n|n=N2+1,N2+2,...,N2+TE}

在N1?R+N2∈R+

同樣，當N1為正整數(shù)時，式(30)中的N2也可以是負整數(shù)或復數(shù)。即，N1∈R+。也就是說，被動神經(jīng)元可以從:

Ns∈{n|n=N1,N1+1,...,N1+TE-1}

在N1∈R+N2?R+

結論3:根據(jù)定理3，有一個理想的初始相位Ns?+∞，從中被動神經(jīng)元可以開始周期性地脈沖。

結論4:根據(jù)推論2，利用期望的初始相位Ns，被動PCNN神經(jīng)元的迭代可以依次分為兩個時間階段：非周期和周期階段。

根據(jù)定理1和推論2，如果αF→+∞，估計的被動脈沖周期及其穩(wěn)定周期將是:

(31)

此外，當αF→+∞時，定理3中N1和N2將是負整數(shù)或復數(shù)，這樣由于迭代中只存在周期性相位，被動神經(jīng)元將從一開始就周期性地脈沖。實際上，在這種情況下，被動神經(jīng)元的F通道輸出將固定為外部刺激S。因此，在一些修正版本中[19,21-22,24]，通過將F通道簡化為外部激勵，將PCNN簡化，顯然，修正版本的PCNN在迭代中只保持周期性階段。

4 實驗分析

本節(jié)通過數(shù)值模擬驗證了理論結果的有效性，用式(4)～(5)和(7)描述了PCNN中的被動神經(jīng)元。因此，在下面的示例中設置5個參數(shù)，即αF,αθ,Vθ,S和θ(0)。

圖1 例1中αθ=0.05的動態(tài)比較比

圖2 例1中的實際和估計被動脈沖周期αθ=0.05

例1. 神經(jīng)參數(shù)αF=0.03，αθ=0.05，Vθ=8，S=0.4，θ(0)=0.2。在圖1中，除了第二個脈沖迭代外，所有脈沖迭代的動態(tài)比較比大于δ=e-αθ=0.95123，作為動態(tài)比較比的最大下限。根據(jù)定理2，實際被動脈沖周期T(n)和估計被動脈沖周期TE(n)之間的誤差ε在-1～0之間。事實上，這一事實如圖2所示。此外，根據(jù)定理2和3的計算，穩(wěn)定被動脈沖周期TE為16，N1=103，N2是一個復數(shù)。從圖2可以看出，被動神經(jīng)元可以在Ns=109時開始與TE一起脈沖，這也滿足定理3中的(24a)。

在期望的時間相位Ns之后，圖2中的實際被動周期呈現(xiàn)絕對誤差，在前后周期之間為1。因此，在這種情況下，雖然估計被動脈沖周期在Ns后是穩(wěn)定的，但實際被動脈沖周期僅在Ns后接近穩(wěn)定。然而，如果我們選擇αθ=0.06，如圖3所示，神經(jīng)元將在隨后的期望初始階段以TE=14完全周期性地脈沖。

例2. 假設神經(jīng)參數(shù)為αF=0.03，αθ=0.029，Vθ=8，S=0.4，θ(0)=0.4，根據(jù)定理3可以產生正N1=23和負N2=-13，穩(wěn)定脈沖周期TE為推論2的16。注意，根據(jù)定理3，除了第一個周期，即使第二個和第三個動態(tài)比較比低于圖5中動態(tài)比較比的最大下限，也可以在圖4中達成一致。此外，根據(jù)圖4和定理3正確地給出了初始相位。

例3. 將參數(shù)設置為αF=0.05，αθ=0.03，Vθ=8，S=0.4，θ(0)=0.4，這樣根據(jù)定理3得到N1是復數(shù)，N2=66。圖6所示的結果服從定理2和3。TE(n)和T(n)之間的誤差為-1或0，但由于圖7中e-αθ=0.97045的值較低，因此第一個周期的誤差為2。

例4. 參數(shù)為αF=0.03，αθ=0.02858，Vθ=8，S=0.4，θ(0)=0.2，由此得出推論2和定理3的TE=17，N1=-61，N2=164。顯然，根據(jù)論點2和推論1得到的圖9所示的動態(tài)比較比，不僅是推論2的估計穩(wěn)定周期TE，定理2的估計被動周期和實際被動周期之間的誤差，而且定理3的初始相位Ns∈[165,181]與圖8所示的結果吻合得很好。

圖3 例1中的實際和估計被動脈沖周期αθ=0.06

圖4 例2中的實際和估計被動脈沖周期

圖6 例3中的實際和估計被動脈沖周期

圖7 例3中的動態(tài)比較比

圖8 例4中的實際和估計被動脈沖周期

圖9 例4中的動態(tài)比較比

例5. 與其他隨機系統(tǒng)[29]一樣，PCNN中的隨機噪聲也會對外部刺激產生干擾，為了研究隨機噪聲對被動神經(jīng)元被動脈沖周期的穩(wěn)定性，我們設置了與例3相同的參數(shù)，而外部刺激則是由不同信噪比的高斯白噪聲(SNR)產生的。由圖10所示的結果可知，當被動神經(jīng)元的外部刺激不受干擾或受較小噪聲(如SNR=20或30)的干擾時，在經(jīng)過一些迭代后，被動神經(jīng)元可以產生一個幾乎穩(wěn)定的真實被動脈沖周期，且這些周期之間的絕對差最多為1(見圖10)。然而，當外部刺激受到較大噪聲(如SNR=10)的干擾時，實際被動脈沖周期在任何迭代中都不穩(wěn)定。因此，對于較小噪聲，被動PCNN神經(jīng)元將周期性地在周期性相位中脈沖，而對于較大噪聲，神經(jīng)元將在所有相位中非周期性地脈沖。

圖10 例5中具有不同隨機噪聲的實際被動脈沖周期

5 結論

本文研究了離散PCNN中被動神經(jīng)元的被動脈沖周期。通過定義的動態(tài)比較比，而不是神經(jīng)內狀態(tài)與動態(tài)閾值之間的邏輯比較，給出了一個近似準確的被動脈沖周期公式，使得估計和實際被動脈沖周期之間的誤差為-1或0。此外，由于被動神經(jīng)元沒有穩(wěn)定周期，因此估計了一個初始階段，從中被動神經(jīng)元可以在這個穩(wěn)定周期內開始周期性脈沖。文中給出了一些例子，并與被動神經(jīng)元的相關分析結果相一致。