胡鑫+葉青+郭庚山
摘 要: 針對傳統(tǒng)的ART2神經(jīng)網(wǎng)絡中對于主觀設置的警戒參數(shù)以及識別分類過程中產(chǎn)生模式漂移的問題,提出基于改進算法的ART2神經(jīng)網(wǎng)絡模型,用于解決分析模式識別問題。通過自組織,加權(quán),迭代等過程推導合理的警戒參數(shù)用于聚類運算,通過對ART2神經(jīng)網(wǎng)絡的權(quán)值訓練方面進行修正,減緩學習速率,降低模式漂移速度,近一步對聚類對象進行合理分類。實驗結(jié)果證明,該方法是可行的和有效的。
關(guān)鍵詞: ATR2神經(jīng)網(wǎng)絡; 警戒值; 模式漂移; 模式識別
中圖分類號: TN911?34 文獻標識碼: A 文章編號: 1004?373X(2014)18?0041?03
An improved algorithm based on ART2 neural network
HU Xin, YE Qing, GUO Geng?shan
(Changsha University of Science and Technology, Changsha 410114, China)
Abstract: Aiming at the problems of setting vigilance parameter and pattern drift produced in the process of classification identification of the traditional ART2 neural network, a new ART2 neural network model based on modified algorithm is presen?
ted in this article to solve problems concerning analysis of pattern identification. Reasonable vigilance parameter needed by clustering is deduced through the processing of self?organization, weighting and iteration. In order to conduct reasonable classification of clustering objects, the measures of slowing learning rate which can be realized by modifying the weight training of ART2 neural network to reduce the speed of pattern drifting should be taken. The experimental results have proved that the new model is of high validity and feasibility.
Keywords: ATR2 neural network; security value; pattern drift; pattern recognition
0 引 言
ART2神經(jīng)網(wǎng)絡的輸入為任意模擬輸入矢量,所以它有非常廣泛的應用范圍,通過對警戒值的調(diào)整,ART2神經(jīng)網(wǎng)絡可以對輸入的模擬矢量進行不同精度的分類。ART2是基于自適應諧振理論的一種自組織神經(jīng)網(wǎng)絡,通過競爭學習和自穩(wěn)機制原理實現(xiàn)分類,它主要是為了解決下列問題而提出的:設計一個學習系統(tǒng),同時擁有穩(wěn)定性和可塑性,即系統(tǒng)在不斷學習新知識的時候能保持原有的知識[1?2]。
迄今為止,基于ART網(wǎng)絡的模式分類方法有很大發(fā)展,其中具有代表性的就是S.Grossberg和A.carpenter提出的用于并行分類和自適應模式分類方法[3?4]。
傳統(tǒng)的自適應諧振神經(jīng)網(wǎng)絡也存在著一些缺陷,主要體現(xiàn)在:傳統(tǒng)的ART神經(jīng)網(wǎng)絡在網(wǎng)絡訓練前要給出警戒參數(shù),該警戒參數(shù)對于網(wǎng)絡聚類結(jié)果具有直接的影響。當警戒參數(shù)較高時,ART系統(tǒng)對模式的相似性要求就越高,類的劃分就越細,形成的類別就越多;當警戒參數(shù)較低時,網(wǎng)絡有較強的容錯能力,因此就產(chǎn)生較少的分類數(shù)目[5?6]。
由于傳統(tǒng)的ART2網(wǎng)絡在對輸入模式識別分類時,會產(chǎn)生模式漂移現(xiàn)象,從而無法實現(xiàn)更準確的分類。對部分權(quán)值的修正放慢學習速度,將改善模式漂移現(xiàn)象。
1 ART2神經(jīng)網(wǎng)絡的結(jié)構(gòu)和原理
1.1 ART2神經(jīng)網(wǎng)絡結(jié)構(gòu)
ART2系統(tǒng)由定向子系統(tǒng)OS和注意子系統(tǒng)AS構(gòu)成,注意子系統(tǒng)AS由感受層SL和反應層RL和控制增益GC組成,既有短時記憶[OS(t)]和[OR(t)],又有長時記憶,包括自低向上的長時記憶[Ω(SR)]和自頂向下的長時記憶[Ω(RS)]。作為神經(jīng)計算的模型,ART2系統(tǒng)是由人工神經(jīng)元形成的系統(tǒng)。感覺神經(jīng)元構(gòu)成了系統(tǒng)的感受層,而反應神經(jīng)元構(gòu)成了系統(tǒng)的反應層,ART2網(wǎng)絡的結(jié)構(gòu)如圖1所示。
圖1 ART2神經(jīng)網(wǎng)絡基本結(jié)構(gòu)
在系統(tǒng)中,各感覺神經(jīng)元之間的聯(lián)結(jié)關(guān)系包括:[Dab:SLa→SLb],[Dbc:SLb→SLc],[Dcd:SLc→SLd],[Dde:SLd→SLe],[Def:SLe→SLf],[Dda:SLd→SLa],[Dfc:SLf→SLc]。各子集[SLk(V(S)k)(k∈{a,b,c,d,e,f})]之間的聯(lián)結(jié)關(guān)系式對應元素之間的聯(lián)結(jié),因而,其聯(lián)結(jié)關(guān)系矩陣[Dij(i,j∈{a,b,c,d,e,f})]均為對角矩陣。
在感受層SL中,只有子集[SLa(V(s)a)]可以接受外部輸入信號[x],另外只有子集[SLe(V(S)e)]的狀態(tài)向量[OSe]能作為系統(tǒng)感受層SL的輸出,用于系統(tǒng)的反應層RL[3]。
1.2 ART2神經(jīng)網(wǎng)絡的工作原理
1.2.1 參數(shù)及聯(lián)結(jié)權(quán)值初始化
所有神經(jīng)元的輸出置0向量,計數(shù)器初始值為[C=0];SL層從下到上的長時記憶初始為:
[Ω(SR)=0.5(1-α3)·mnm]
RL層從上到下的長時記憶初始為:
[Ω(RS)=(0)mn]
各參數(shù)確定為:
[α1>0, α2>0,0<ε?1,0<α3<1,0<α4<1,0<ρ<1]
1.2.2 計算步驟
ART2網(wǎng)絡的運行按照如下的步驟進行:
(1) [SLa]運算:
[O(S)a=x+α1O(S)d]
(2) [SLb]運算:
[O(S)b=O(S)aε+O(S)a]
(3) [SLc]運算:
[O(S)c=f(O(S)b)+α2f(O(S)f)]
式中:[x>α3]時[f(x)=x],[x≤α3]時[f(x)=0]。
(4) [SLd]運算:
[O(S)d=O(S)cε+O(S)c]…
(5) [SLe]運算:
[O(S)e=O(S)d, C=0O(S)d+ω(RS)kα4, C>0]
(6) [SLf]運算:
[O(S)f=O(S)eε+O(S)e]
(7) SL測試:如果短時記憶[O(S)i(i∈a,b,c,d,e,f)]沒有達到穩(wěn)定狀態(tài),轉(zhuǎn)到步驟(11)。
(8) 計數(shù)和轉(zhuǎn)移:如果[C=0],轉(zhuǎn)到步驟(11)。
(9) OS運算:
[r=O(S)d+α4O(S)eε+O(S)d+α4O(S)e]
若[r<ρ]則[r=1],否則[r=0]。
(10) 復位操作:如果復位信號[r=1],則置[O(S)k=0],抑制[v(R)k]到ART2系統(tǒng)達到“諧振”狀態(tài),重置短時記憶[OS=0]和[C=0],轉(zhuǎn)到步驟(1);否則[r=0],轉(zhuǎn)向步驟(14)。
(11) RL運算:
[O(R)k=α4, ω(SR)TkO(S)e=maxω(SR)TiO(S)e0, 其他]
其中[O(R)k=α4] 的單元[v(R)k]記作競爭獲勝單元。
(12) 引發(fā)期待:[Ω(RS)T→ω(RS)k]。
(13) 計數(shù)和轉(zhuǎn)移:[C=C+1],轉(zhuǎn)向步驟(5) 。
(14) 諧振:[r=1]說明[x]與[ω(RS)k]匹配,ART2系統(tǒng)達到諧振狀態(tài),ART2快速學習機制啟動。
(15) 前饋學習:更新前饋聯(lián)結(jié)關(guān)系[Ω(SR)]的第[k]個列向量[ω(SR)k]:
[ω(SR)k=O(S)d1-α4]
(16) 反饋學習:更新反饋聯(lián)結(jié)關(guān)系[Ω(RS)]的第[k]個行向量[ω(RS)k]:
[ω(RS)k=O(S)d1-α4]
(17) 停機條件:若對于任意輸入[x],[Ω(RS)]和[Ω(SR)]都是穩(wěn)定的,ART2系統(tǒng)停止運行;否則刪除輸入模式,RL中所有被抑制的反應神經(jīng)元恢復起始,重置短時記憶[OR=0]和[OS=0],重置計數(shù)器[C=0]。
2 改進的ART2神經(jīng)網(wǎng)絡
在上述傳統(tǒng)的ART2神經(jīng)網(wǎng)絡算法中對于警戒值[ρ]的選擇是根據(jù)經(jīng)驗所得,這里提出了一種在神經(jīng)網(wǎng)絡計算前對[ρ]的選取算法。同時為了解決模式漂移的問題,對ART2神經(jīng)網(wǎng)絡中F2至p層和p層至F2層的權(quán)值進行修改,減緩學習速率,從而可以有效地減少模式漂移帶來的誤差[7]。
2.1 具體算法描述
(1) 設置警戒參數(shù)初值ρ,開始設置接近l,在初始聚類時,對于接近的輸人向量也會在這個過程進行融合,每個差異較大的輸入向量就會產(chǎn)生一個類別。
(2) 由于ART2模型的輸出端是一維陣列,可按神經(jīng)元模值將神經(jīng)元放置在x軸上,以模值大小順序?qū)敵鰧由窠?jīng)元的位置進行重新排列,以模值為判斷依據(jù),同時對自頂向下和自低向上權(quán)重矩陣進行調(diào)整。
(3) 在解決漂移模式問題中,模式漂移現(xiàn)象主要
原因是權(quán)值的修正方法不準確引起的,在傳統(tǒng)的ART2算法中,權(quán)值修正公式在每次輸入模式結(jié)束時,權(quán)值都近似等于[O(S)d1-α4],在學習新的模式之后容易遺忘已經(jīng)學過的輸入模式,權(quán)值總是向當前的輸入數(shù)據(jù)靠近。所以對ART2神經(jīng)網(wǎng)絡中F2至p層和p層至F2層的權(quán)值進行修改,減緩學習速率,修正后的權(quán)值為:
從F2層到p層的權(quán)值為:
[Ωnewji=Ωoldji+α(Οd-Ωoldji)];
從p層到F2層的權(quán)值為:
[Ωnewij=Ωoldij+α(Οd-Ωoldij)];
2.2 具體算法步驟
加入警戒值選擇和權(quán)值修改后的改進ART2神經(jīng)網(wǎng)絡算法如下:
(1) ρ=ρ-del ;del為警戒參數(shù)遞減值;
(2) 將第k次迭代神經(jīng)網(wǎng)絡輸出層的每一個神經(jīng)元代表的類別向量組成第k+1次迭代神經(jīng)網(wǎng)絡的輸入向量樣本集X(k+1);
(3) 按序輸入X(k)樣本集中每個向量,訓練的算法按照步驟(4)整個過程;
(4) 在傳統(tǒng)ART2神經(jīng)網(wǎng)絡學習中的對步驟(15),步驟(16)進行修改如下:
步驟(15) 前饋學習:更新前饋自適應聯(lián)結(jié)關(guān)系[Ω(SR)]的權(quán)值:
[Ωnewji=Ωoldji+α(Οd-Ωoldji)]
步驟(16) 反饋學習:更新反饋自適應聯(lián)結(jié)關(guān)系[Ω(RS)]的權(quán)值:
[Ωnewij=Ωoldij+α(Οd-Ωoldij)]停機條件不變。
3 實驗及其結(jié)果分析
為了驗證算法改進后的分類效果,對傳統(tǒng)ART?2神經(jīng)網(wǎng)絡算法和改進后的算法進行了實驗比較[8?10]。本文采用實際數(shù)據(jù)做為測試數(shù)據(jù)。實際數(shù)據(jù)采用來自美國加州Irvine大學信息與計算機科學系中所提供的Glass數(shù)據(jù)。Glass數(shù)據(jù)是在記錄玻璃所包含的化學元素情況,記錄中包含了處理過與非處理過的建筑用窗戶、處理過與非處理過的貨車窗戶、容器、餐具以及車燈共7種類別,而在G1ass數(shù)據(jù)中則有9種不同的化學元素,分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性,Glass數(shù)據(jù)集一共是214組。在不同用途的玻璃中化學元素的含量不同,如表1所示。
表1 不同用途的玻璃中化學元素的含量
在進行ART2神經(jīng)網(wǎng)絡的訓練時候,對于參數(shù)設為ρ=0.95,a=10,b=10,c=0.1,d=0.9,del=0.01。將神經(jīng)網(wǎng)絡程序運行結(jié)果, 與數(shù)據(jù)集中正確分類進行對比之后,發(fā)現(xiàn)以前ART2網(wǎng)絡由于模式漂移和警戒參數(shù)人工設置問題設置產(chǎn)生了10個分類,產(chǎn)生了較大分錯率。由改進的ART2網(wǎng)絡下運行結(jié)果顯示降低了這些問題的影響,只產(chǎn)生了8個分類,而且在每一類的分類中,改進后的神經(jīng)網(wǎng)絡可以更好地對每一組數(shù)據(jù)進行正確的分類。如表2所示。
表2 傳統(tǒng)神經(jīng)網(wǎng)絡和改進后神經(jīng)網(wǎng)絡的分類比較
4 結(jié) 語
針對本文中摘要提出的警戒值選取問題,在改進的ART2神經(jīng)網(wǎng)絡聚類算法中,利用以前警戒參數(shù)訓練神經(jīng)網(wǎng)絡結(jié)果的基礎上迭代,改變了神經(jīng)網(wǎng)絡主觀設定警戒參數(shù)的問題。針對模式漂移的問題,通過改進聯(lián)結(jié)權(quán)值,使改進后的ART2神經(jīng)網(wǎng)絡網(wǎng)絡減慢了學習速率,近而降低了模式漂移的速度。實驗證明,在改進選取警戒值和對聯(lián)結(jié)權(quán)值修改后的ART2神經(jīng)網(wǎng)絡更好地實現(xiàn)了聚類分類,同時提高了模式識別的精度。
參考文獻
[1] 陳國燦,高茂庭.ATR2神經(jīng)網(wǎng)絡的一種改進[J].計算機工程與應用,2013(4):2?3.
[2] 沈艷超,葉青.車輛特征提取和分類方法的研究[D].長沙:長沙理工大學,2010.
[3] 阮曉剛.神經(jīng)計算科學[M].北京:國防工業(yè)出版社,2006.
[4] CARPENTER G A, GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics, 1987, 26(l): 4920?4927.
[5] 錢曉東,王正歐.基于算法改進的ART2數(shù)據(jù)聚類方法研究[J].哈爾濱工業(yè)大學學報,2006(9):1549?1553.
[6] 錢曉東,王正歐.基于神經(jīng)網(wǎng)絡等技術(shù)的數(shù)據(jù)與文本聚分類研究[D].天津:天津大學,2005.
[7] 譚錦華,鄺獻濤.基于ART2神經(jīng)網(wǎng)絡與動態(tài)聚類的分類器[J].控制工程,2005(z1):68?70.
[8] 姚光順.ART?2神經(jīng)網(wǎng)絡的缺點及其改進[J].儀器儀表用戶,2008(2):117?118.
[9] 周潤景,張麗娜.基于Matlab與FUZZYTECH的模糊與神經(jīng)網(wǎng)絡設計[M].北京:電子工業(yè)出版社,2010(3):163?187.
[10] 賈鵬.引入遺忘機制的ART2改進模型[J].計算機工程與應用,2006(9):60?62.
[Ωnewij=Ωoldij+α(Οd-Ωoldij)]停機條件不變。
3 實驗及其結(jié)果分析
為了驗證算法改進后的分類效果,對傳統(tǒng)ART?2神經(jīng)網(wǎng)絡算法和改進后的算法進行了實驗比較[8?10]。本文采用實際數(shù)據(jù)做為測試數(shù)據(jù)。實際數(shù)據(jù)采用來自美國加州Irvine大學信息與計算機科學系中所提供的Glass數(shù)據(jù)。Glass數(shù)據(jù)是在記錄玻璃所包含的化學元素情況,記錄中包含了處理過與非處理過的建筑用窗戶、處理過與非處理過的貨車窗戶、容器、餐具以及車燈共7種類別,而在G1ass數(shù)據(jù)中則有9種不同的化學元素,分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性,Glass數(shù)據(jù)集一共是214組。在不同用途的玻璃中化學元素的含量不同,如表1所示。
表1 不同用途的玻璃中化學元素的含量
在進行ART2神經(jīng)網(wǎng)絡的訓練時候,對于參數(shù)設為ρ=0.95,a=10,b=10,c=0.1,d=0.9,del=0.01。將神經(jīng)網(wǎng)絡程序運行結(jié)果, 與數(shù)據(jù)集中正確分類進行對比之后,發(fā)現(xiàn)以前ART2網(wǎng)絡由于模式漂移和警戒參數(shù)人工設置問題設置產(chǎn)生了10個分類,產(chǎn)生了較大分錯率。由改進的ART2網(wǎng)絡下運行結(jié)果顯示降低了這些問題的影響,只產(chǎn)生了8個分類,而且在每一類的分類中,改進后的神經(jīng)網(wǎng)絡可以更好地對每一組數(shù)據(jù)進行正確的分類。如表2所示。
表2 傳統(tǒng)神經(jīng)網(wǎng)絡和改進后神經(jīng)網(wǎng)絡的分類比較
4 結(jié) 語
針對本文中摘要提出的警戒值選取問題,在改進的ART2神經(jīng)網(wǎng)絡聚類算法中,利用以前警戒參數(shù)訓練神經(jīng)網(wǎng)絡結(jié)果的基礎上迭代,改變了神經(jīng)網(wǎng)絡主觀設定警戒參數(shù)的問題。針對模式漂移的問題,通過改進聯(lián)結(jié)權(quán)值,使改進后的ART2神經(jīng)網(wǎng)絡網(wǎng)絡減慢了學習速率,近而降低了模式漂移的速度。實驗證明,在改進選取警戒值和對聯(lián)結(jié)權(quán)值修改后的ART2神經(jīng)網(wǎng)絡更好地實現(xiàn)了聚類分類,同時提高了模式識別的精度。
參考文獻
[1] 陳國燦,高茂庭.ATR2神經(jīng)網(wǎng)絡的一種改進[J].計算機工程與應用,2013(4):2?3.
[2] 沈艷超,葉青.車輛特征提取和分類方法的研究[D].長沙:長沙理工大學,2010.
[3] 阮曉剛.神經(jīng)計算科學[M].北京:國防工業(yè)出版社,2006.
[4] CARPENTER G A, GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics, 1987, 26(l): 4920?4927.
[5] 錢曉東,王正歐.基于算法改進的ART2數(shù)據(jù)聚類方法研究[J].哈爾濱工業(yè)大學學報,2006(9):1549?1553.
[6] 錢曉東,王正歐.基于神經(jīng)網(wǎng)絡等技術(shù)的數(shù)據(jù)與文本聚分類研究[D].天津:天津大學,2005.
[7] 譚錦華,鄺獻濤.基于ART2神經(jīng)網(wǎng)絡與動態(tài)聚類的分類器[J].控制工程,2005(z1):68?70.
[8] 姚光順.ART?2神經(jīng)網(wǎng)絡的缺點及其改進[J].儀器儀表用戶,2008(2):117?118.
[9] 周潤景,張麗娜.基于Matlab與FUZZYTECH的模糊與神經(jīng)網(wǎng)絡設計[M].北京:電子工業(yè)出版社,2010(3):163?187.
[10] 賈鵬.引入遺忘機制的ART2改進模型[J].計算機工程與應用,2006(9):60?62.
[Ωnewij=Ωoldij+α(Οd-Ωoldij)]停機條件不變。
3 實驗及其結(jié)果分析
為了驗證算法改進后的分類效果,對傳統(tǒng)ART?2神經(jīng)網(wǎng)絡算法和改進后的算法進行了實驗比較[8?10]。本文采用實際數(shù)據(jù)做為測試數(shù)據(jù)。實際數(shù)據(jù)采用來自美國加州Irvine大學信息與計算機科學系中所提供的Glass數(shù)據(jù)。Glass數(shù)據(jù)是在記錄玻璃所包含的化學元素情況,記錄中包含了處理過與非處理過的建筑用窗戶、處理過與非處理過的貨車窗戶、容器、餐具以及車燈共7種類別,而在G1ass數(shù)據(jù)中則有9種不同的化學元素,分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性,Glass數(shù)據(jù)集一共是214組。在不同用途的玻璃中化學元素的含量不同,如表1所示。
表1 不同用途的玻璃中化學元素的含量
在進行ART2神經(jīng)網(wǎng)絡的訓練時候,對于參數(shù)設為ρ=0.95,a=10,b=10,c=0.1,d=0.9,del=0.01。將神經(jīng)網(wǎng)絡程序運行結(jié)果, 與數(shù)據(jù)集中正確分類進行對比之后,發(fā)現(xiàn)以前ART2網(wǎng)絡由于模式漂移和警戒參數(shù)人工設置問題設置產(chǎn)生了10個分類,產(chǎn)生了較大分錯率。由改進的ART2網(wǎng)絡下運行結(jié)果顯示降低了這些問題的影響,只產(chǎn)生了8個分類,而且在每一類的分類中,改進后的神經(jīng)網(wǎng)絡可以更好地對每一組數(shù)據(jù)進行正確的分類。如表2所示。
表2 傳統(tǒng)神經(jīng)網(wǎng)絡和改進后神經(jīng)網(wǎng)絡的分類比較
4 結(jié) 語
針對本文中摘要提出的警戒值選取問題,在改進的ART2神經(jīng)網(wǎng)絡聚類算法中,利用以前警戒參數(shù)訓練神經(jīng)網(wǎng)絡結(jié)果的基礎上迭代,改變了神經(jīng)網(wǎng)絡主觀設定警戒參數(shù)的問題。針對模式漂移的問題,通過改進聯(lián)結(jié)權(quán)值,使改進后的ART2神經(jīng)網(wǎng)絡網(wǎng)絡減慢了學習速率,近而降低了模式漂移的速度。實驗證明,在改進選取警戒值和對聯(lián)結(jié)權(quán)值修改后的ART2神經(jīng)網(wǎng)絡更好地實現(xiàn)了聚類分類,同時提高了模式識別的精度。
參考文獻
[1] 陳國燦,高茂庭.ATR2神經(jīng)網(wǎng)絡的一種改進[J].計算機工程與應用,2013(4):2?3.
[2] 沈艷超,葉青.車輛特征提取和分類方法的研究[D].長沙:長沙理工大學,2010.
[3] 阮曉剛.神經(jīng)計算科學[M].北京:國防工業(yè)出版社,2006.
[4] CARPENTER G A, GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics, 1987, 26(l): 4920?4927.
[5] 錢曉東,王正歐.基于算法改進的ART2數(shù)據(jù)聚類方法研究[J].哈爾濱工業(yè)大學學報,2006(9):1549?1553.
[6] 錢曉東,王正歐.基于神經(jīng)網(wǎng)絡等技術(shù)的數(shù)據(jù)與文本聚分類研究[D].天津:天津大學,2005.
[7] 譚錦華,鄺獻濤.基于ART2神經(jīng)網(wǎng)絡與動態(tài)聚類的分類器[J].控制工程,2005(z1):68?70.
[8] 姚光順.ART?2神經(jīng)網(wǎng)絡的缺點及其改進[J].儀器儀表用戶,2008(2):117?118.
[9] 周潤景,張麗娜.基于Matlab與FUZZYTECH的模糊與神經(jīng)網(wǎng)絡設計[M].北京:電子工業(yè)出版社,2010(3):163?187.
[10] 賈鵬.引入遺忘機制的ART2改進模型[J].計算機工程與應用,2006(9):60?62.