南書(shū)坡+郭戰(zhàn)杰+程聰+韓利華

摘要：該文針對(duì)競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)在對(duì)訓(xùn)練樣本沒(méi)有明顯的分類(lèi)特征時(shí)不能準(zhǔn)確分類(lèi)的問(wèn)題，在已有的分類(lèi)算法基礎(chǔ)上，提出了一種改進(jìn)的分類(lèi)算法。該算法在競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，通過(guò)對(duì)訓(xùn)練樣本引入特征向量的方法，進(jìn)一步改善了分類(lèi)效果。實(shí)驗(yàn)結(jié)果表明，該算法在分類(lèi)過(guò)程中表現(xiàn)了良好的效果，不僅降低了訓(xùn)練誤差，還具有很好的分類(lèi)準(zhǔn)確率，表現(xiàn)出很好的學(xué)習(xí)效率，通過(guò)對(duì)比說(shuō)明該算法的有效性和優(yōu)越性。

關(guān)鍵詞：競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)；分類(lèi)；訓(xùn)練誤差；特征向量

文本分類(lèi)數(shù)是據(jù)挖掘的一個(gè)重要研究領(lǐng)域，國(guó)內(nèi)外的眾多學(xué)者已經(jīng)進(jìn)行了比較深入的研究，取得了不少研究成果。常見(jiàn)的文本分類(lèi)技術(shù)有最小距離方法、樸素貝葉斯方法、KNN方法、支持向量機(jī)方法（SVM）、模糊c均值（FCM）算法和等，現(xiàn)在有很多學(xué)者把神經(jīng)網(wǎng)絡(luò)的方法應(yīng)用到分類(lèi)算法中，在這些分類(lèi)算法中，神經(jīng)網(wǎng)絡(luò)的文本分類(lèi)更具有優(yōu)越的性能。袁飛云利用SOINN自動(dòng)產(chǎn)生聚類(lèi)數(shù)目和保留數(shù)據(jù)拓?fù)浣Y(jié)構(gòu)的兩項(xiàng)能力，尋找更有效的單詞和設(shè)計(jì)更有效的編碼方式，提出了基于自組織增量神經(jīng)網(wǎng)絡(luò)（SOINN）的碼書(shū)產(chǎn)生方法；申明金利用自組織特征映射神經(jīng)網(wǎng)絡(luò)（SOM）以無(wú)監(jiān)督方式進(jìn)行網(wǎng)絡(luò)訓(xùn)練，具有自組織功能的特點(diǎn)，利用自組織特征映射神經(jīng)網(wǎng)絡(luò)對(duì)不同產(chǎn)地金銀花進(jìn)行分類(lèi)；彭俊等將不同空氣質(zhì)量等級(jí)下的各空氣指標(biāo)作為原型模式，通過(guò)輸入樣本模式，利用競(jìng)爭(zhēng)網(wǎng)絡(luò)的競(jìng)爭(zhēng)特點(diǎn)得到勝者，以此得出空氣質(zhì)量等級(jí)；郝曉麗等通過(guò)篩選基于輪廓系數(shù)的優(yōu)秀樣木群，來(lái)尋找最佳初始聚類(lèi)中心，并將該改進(jìn)算法用于構(gòu)造徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)分類(lèi)器和快速有效地確定隱含層節(jié)點(diǎn)徑向基函數(shù)中心及函數(shù)的寬度，從而提高了分類(lèi)精度；孫進(jìn)進(jìn)利用神經(jīng)網(wǎng)絡(luò)技術(shù)中的自組織映射SOM）網(wǎng)絡(luò)對(duì)我國(guó)主要機(jī)場(chǎng)進(jìn)行聚類(lèi)分析評(píng)價(jià)，得出我國(guó)主要機(jī)場(chǎng)分為8層的主要結(jié)論；劉艷杰在非監(jiān)督的自組織映射神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了一定的改進(jìn)，構(gòu)建了有監(jiān)督的神經(jīng)網(wǎng)絡(luò)分類(lèi)模型；李楊將神經(jīng)網(wǎng)絡(luò)與群體智能算法、云計(jì)算相結(jié)合的方法，實(shí)現(xiàn)對(duì)不同規(guī)模農(nóng)業(yè)數(shù)據(jù)集的分類(lèi)，提出基于神經(jīng)網(wǎng)絡(luò)分類(lèi)器的設(shè)計(jì)與優(yōu)化方法。而競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的自組織、自適應(yīng)學(xué)習(xí)能力，進(jìn)一步拓寬了神經(jīng)網(wǎng)絡(luò)在模式分類(lèi)和識(shí)別方面的應(yīng)用。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)依靠神經(jīng)元之間的興奮、協(xié)調(diào)、抑制或競(jìng)爭(zhēng)的作用來(lái)進(jìn)行信息處理，可在訓(xùn)練中無(wú)監(jiān)督自組織學(xué)習(xí)，通過(guò)學(xué)習(xí)提取數(shù)據(jù)中的重要特征或內(nèi)在規(guī)律，進(jìn)而實(shí)現(xiàn)分類(lèi)分析的功能。

1競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的描述

1.1競(jìng)爭(zhēng)型網(wǎng)絡(luò)的結(jié)構(gòu)

競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，該網(wǎng)絡(luò)具有R維輸入和s個(gè)輸出，由前饋層和競(jìng)爭(zhēng)層組成。圖中的llndlstll模塊表示對(duì)輸入矢量P和神經(jīng)元權(quán)值矢量w之間的距離取負(fù)。該網(wǎng)絡(luò)的輸出層是競(jìng)爭(zhēng)層，圖中的模塊c表示競(jìng)爭(zhēng)傳遞函數(shù)，其輸出矢量由競(jìng)爭(zhēng)層各神經(jīng)元的輸出組成，這些輸出指明了原型模式與輸入向量的相互關(guān)系。競(jìng)爭(zhēng)過(guò)后只有一個(gè)神經(jīng)元有非零輸出，獲勝的神經(jīng)元指明輸入屬于哪類(lèi)（每個(gè)原型向量代表一個(gè)類(lèi)）。

1.2競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的原理

競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上，既不同于階層型的各層神經(jīng)元間非單向連接，也不同于全連接型。它有層次界限，一般是由輸入層和競(jìng)爭(zhēng)層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實(shí)現(xiàn)雙向全連接，沒(méi)有隱含層，有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間還存在橫向連接。在學(xué)習(xí)方法上，不是以網(wǎng)絡(luò)的誤差或能量函數(shù)的單調(diào)遞減作為算法準(zhǔn)則。而是依靠神經(jīng)元之間的興奮、協(xié)調(diào)、抑制、競(jìng)爭(zhēng)的作用來(lái)進(jìn)行信息處理，指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作。

網(wǎng)絡(luò)在剛開(kāi)始建立的時(shí)候，輸入層和輸出層之間的連接權(quán)值已經(jīng)開(kāi)始了，如果與競(jìng)爭(zhēng)層某一神經(jīng)元對(duì)應(yīng)的矢量子類(lèi)別屬于線(xiàn)性層某個(gè)神經(jīng)元所對(duì)應(yīng)的目標(biāo)類(lèi)別，則這兩個(gè)神經(jīng)元的連接權(quán)值為1，否則二者的連接權(quán)值為0，這樣的權(quán)值矩陣就實(shí)現(xiàn)了子類(lèi)別到目標(biāo)類(lèi)別的合并。在建立競(jìng)爭(zhēng)型網(wǎng)絡(luò)時(shí)，每類(lèi)數(shù)據(jù)占數(shù)據(jù)總數(shù)的百分比是已知的，這也是競(jìng)爭(zhēng)層神經(jīng)元?dú)w并到線(xiàn)性層的各個(gè)輸出時(shí)所依據(jù)的比例。

1.3存在的問(wèn)題

競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)按Kohonen學(xué)習(xí)規(guī)則對(duì)獲勝神經(jīng)元的權(quán)值進(jìn)行調(diào)整，通過(guò)輸入向量進(jìn)行神經(jīng)元權(quán)值的調(diào)整，因此在模式識(shí)別的應(yīng)用中是很有用的。通過(guò)學(xué)習(xí)，那些最靠近輸入向量的神經(jīng)元權(quán)值向量得到修正，使之更靠近輸入向量，其結(jié)果是獲勝的神經(jīng)元在下一次相似的輸入向量出現(xiàn)時(shí)，獲勝的可能性更大；而對(duì)于那些與輸入向量相差很遠(yuǎn)的神經(jīng)元權(quán)值向量，獲勝的可能性將變得很小。這樣，當(dāng)經(jīng)過(guò)越來(lái)越多的訓(xùn)練樣本學(xué)習(xí)后，每一個(gè)網(wǎng)絡(luò)層中的神經(jīng)元權(quán)值向量很快被調(diào)整為最接近某一類(lèi)輸入向量的值。最終的結(jié)果是，如果神經(jīng)元的數(shù)量足夠多，則具有相似輸入向量的各類(lèi)模式作為輸入向量時(shí)，其對(duì)應(yīng)的神經(jīng)元輸出為1；而對(duì)于其他模式的輸入向量，其對(duì)應(yīng)的神經(jīng)元輸出為0。所以，競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)具有對(duì)輸入向量進(jìn)行學(xué)習(xí)分類(lèi)的能力。

例子：以競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)為工具，對(duì)下面的數(shù)據(jù)進(jìn)行分類(lèi)：

運(yùn)用Matlab編程實(shí)現(xiàn)，發(fā)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練誤差能達(dá)到要求，最后也能實(shí)現(xiàn)很好的分類(lèi)效果。運(yùn)行結(jié)果如圖2所示。

有運(yùn)行結(jié)果可以看到，訓(xùn)練誤差達(dá)到要求，分類(lèi)結(jié)果也很合理。

但是在實(shí)際應(yīng)用過(guò)程中，我們發(fā)現(xiàn)，當(dāng)對(duì)于訓(xùn)練數(shù)據(jù)的數(shù)據(jù)特征十分明顯的時(shí)候，本文設(shè)計(jì)的網(wǎng)絡(luò)模型可以對(duì)訓(xùn)練的數(shù)據(jù)進(jìn)行合理有效的分類(lèi)，但是，當(dāng)訓(xùn)練數(shù)據(jù)的特征不太明顯區(qū)分的時(shí)候，本文設(shè)計(jì)的訓(xùn)練模型的分類(lèi)效果就不是太有優(yōu)勢(shì)，所得到的分類(lèi)結(jié)果就不能達(dá)到我們預(yù)期的效果。

我們利用競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)樣本進(jìn)行分類(lèi)，其中參數(shù)設(shè)置為學(xué)習(xí)效率0.1，網(wǎng)絡(luò)競(jìng)爭(zhēng)層有4個(gè)神經(jīng)元，運(yùn)用Matlab編程實(shí)現(xiàn)，發(fā)現(xiàn)結(jié)果如下：

例子：我們利用本文設(shè)計(jì)的網(wǎng)絡(luò)分類(lèi)模型進(jìn)行對(duì)數(shù)據(jù)分類(lèi)處理：進(jìn)行分類(lèi)處理數(shù)據(jù)的樣本數(shù)據(jù)如下所示：

通過(guò)運(yùn)行學(xué)習(xí)發(fā)現(xiàn)訓(xùn)練誤差較大，分類(lèi)結(jié)果也達(dá)不到要求。

2改進(jìn)的方法

2.1問(wèn)題分析

通過(guò)比較分析我們發(fā)現(xiàn)，上面的數(shù)據(jù)樣本沒(méi)有明顯的分類(lèi)特征，所以，以競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)，其輸入向量?jī)H僅依靠數(shù)據(jù)本身的固有的特征時(shí)不夠的，但我們可以把數(shù)據(jù)樣本看作是二維數(shù)據(jù)，假設(shè)同符號(hào)的特征值為1，不同符號(hào)的特征值為2，于是一個(gè)新的訓(xùn)練樣本就確定了，即成為三維數(shù)據(jù)模型。

2.2改進(jìn)的算法

第一步：給定數(shù)據(jù)集X=[X1，X2……，Xi），對(duì)網(wǎng)絡(luò)進(jìn)行初始化，隨機(jī)給定網(wǎng)絡(luò)競(jìng)爭(zhēng)層與輸入層間的初始權(quán)向量wj（=wj[w1j w2j…wnj]；j=1，2，…，m xp；wijE（0，1））；給定輸出層與競(jìng)爭(zhēng)層間的連接權(quán)值wjo=1/m，o=1，2，…P （P表示第二隱層和輸出層的連接權(quán)矢量）。

第二步：創(chuàng)建競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)，首先根據(jù)給定的問(wèn)題確定訓(xùn)練樣本的輸入向量，當(dāng)學(xué)習(xí)模式樣本本身雜亂無(wú)章，沒(méi)有明顯的分類(lèi)特征，網(wǎng)絡(luò)對(duì)輸入模式的響應(yīng)呈現(xiàn)震蕩的現(xiàn)象，不足以區(qū)分各類(lèi)模式時(shí)，在創(chuàng)建網(wǎng)絡(luò)之前，提取訓(xùn)練樣本的特征值，設(shè)置輸入樣本的特征向量，然后再創(chuàng)建網(wǎng)絡(luò)模型，并根據(jù)模式分類(lèi)數(shù)確定神經(jīng)元的數(shù)目，最后任取一輸入模式Ak。

第三步：計(jì)算競(jìng)爭(zhēng)層各神經(jīng)元的輸入值si：

第四步：對(duì)本文建立的網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)，網(wǎng)絡(luò)訓(xùn)練最大次數(shù)的初始值設(shè)置為230，當(dāng)訓(xùn)練誤差大于預(yù)期的設(shè)定值的時(shí)候，可以嘗試增加訓(xùn)練的最大次數(shù)，按“勝者為王”（Winner Takes All）原則，將訓(xùn)練網(wǎng)絡(luò)中獲得最接近預(yù)期值的神經(jīng)元作為勝者，輸出狀態(tài)設(shè)置為1，沒(méi)有獲勝的神經(jīng)元的輸出狀態(tài)設(shè)置為0。如果有兩個(gè)以上神經(jīng)元的sj相同，取左邊的為獲勝單元。

第五步：獲勝神經(jīng)元連接權(quán)修正如下：

第六步：另選一學(xué)習(xí)模式，返回步驟3，直至所有學(xué)習(xí)模式提供一遍。

第七步：如果不滿(mǎn)足要求，則返回到最初的訓(xùn)練狀態(tài)，反復(fù)訓(xùn)練直至訓(xùn)練網(wǎng)絡(luò)中神經(jīng)元獲得最接近預(yù)期值，最終的訓(xùn)練結(jié)束。

第八步：根據(jù)測(cè)試樣本利用Matlab編寫(xiě)程序進(jìn)行仿真實(shí)驗(yàn)。

通過(guò)實(shí)例訓(xùn)練，我們發(fā)現(xiàn)本算法和改進(jìn)前的算法相比，改進(jìn)后的算法訓(xùn)練誤差卻大大降低，已經(jīng)達(dá)到了訓(xùn)練的精度要求，同時(shí)也很好地實(shí)現(xiàn)了分類(lèi)要求。

3結(jié)束語(yǔ)

競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的輸出層神經(jīng)元能夠通過(guò)競(jìng)爭(zhēng)以確定勝者，勝者將指出哪一種原型模式最能代表輸入模式。利用競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)分類(lèi)的這一特點(diǎn)，本文提出了一種改進(jìn)的分類(lèi)算法，該算法在競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中對(duì)訓(xùn)練樣本引入特征向量的方法，解決了競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)在對(duì)學(xué)習(xí)模式樣本本身雜亂無(wú)章，沒(méi)有明顯的分類(lèi)特征時(shí)不能準(zhǔn)確分類(lèi)的問(wèn)題，實(shí)驗(yàn)結(jié)果表明該方法具有較好的分類(lèi)效果。