吳國(guó)慶,邴 單,白 靜,杜如霞
(南京工業(yè)大學(xué)浦江學(xué)院 基礎(chǔ)部,江蘇 南京 211134)
自組織神經(jīng)網(wǎng)絡(luò)(self organizing map, SOM )是基于人腦中的神經(jīng)元以下兩個(gè)特性提出的:(1)神經(jīng)元之間存在著一種側(cè)抑制現(xiàn)象,當(dāng)一個(gè)神經(jīng)元細(xì)胞興奮后,它會(huì)對(duì)周圍的其他神經(jīng)元細(xì)胞產(chǎn)生抑制;(2)人大腦的學(xué)習(xí)方式是一種無(wú)導(dǎo)師學(xué)習(xí)。SOM可以通過(guò)一系列的訓(xùn)練,能自動(dòng)尋找樣本數(shù)據(jù)中內(nèi)在的規(guī)律和本質(zhì)屬性,并且能夠在改變網(wǎng)絡(luò)中的變量和結(jié)構(gòu)的過(guò)程中完成自組織和自適應(yīng)。SOM的結(jié)構(gòu)分為輸入層和競(jìng)爭(zhēng)層,競(jìng)爭(zhēng)層可以為任意維度的神經(jīng)網(wǎng)格,如圖1所示為一個(gè)二維神經(jīng)網(wǎng)絡(luò)。
圖1 自組織神經(jīng)網(wǎng)絡(luò)模型
SOM訓(xùn)練流程大致可以分為四步:(1)接受輸入向量,使用判別函數(shù)計(jì)算各節(jié)點(diǎn)函數(shù)值;(2)比較判別函數(shù)值,選擇一個(gè)有最大(最小)函數(shù)輸出值的神經(jīng)元;(3)激勵(lì)被選出的神經(jīng)元和其最接近的神經(jīng)元;(4)更新被激勵(lì)的神經(jīng)元的各項(xiàng)參數(shù),從而增加其對(duì)應(yīng)于特定輸入向量判別函數(shù)值。在上述訓(xùn)練過(guò)程中,神經(jīng)元權(quán)值會(huì)向判別函數(shù)指向的最優(yōu)化方向調(diào)整。比較選擇機(jī)制完成后,神經(jīng)元調(diào)整方向一般就確定下來(lái)了。這種調(diào)整方式容易使得神經(jīng)網(wǎng)絡(luò)陷入局部最優(yōu)化。如圖2所示,在尋找最低函數(shù)值的過(guò)程中若從E、F或H點(diǎn)出發(fā),會(huì)陷入到局部極小值D或G,而非整體最小值B。
圖2 勢(shì)阱分布圖
圖3 測(cè)不準(zhǔn)原理應(yīng)用流程
在經(jīng)典力學(xué)中,若粒子總能量低于勢(shì)壘大小,則該粒子無(wú)法通過(guò)勢(shì)壘。例如圖2中能量低于u的粒子很難從F點(diǎn)越過(guò)EF勢(shì)壘到達(dá)B或D位置。量子力學(xué)中,微觀粒子在空間中呈概率分布:能量低于u的粒子若初始情況出現(xiàn)在FH之間的幾率最大,該粒子仍有幾率出現(xiàn)在AE之間,有機(jī)會(huì)出現(xiàn)在勢(shì)能最低點(diǎn)B處。若在SOM訓(xùn)練過(guò)程中,將比較判別得到的函數(shù)值作為目標(biāo)神經(jīng)元被激勵(lì)的概率,則有可能將訓(xùn)練過(guò)程從局部最優(yōu)化中跳出。測(cè)不準(zhǔn)原理應(yīng)用到SOM中得到QSOM(quantum self organizing map)模型,可采用如圖3所示流程實(shí)現(xiàn)。
在上述流程中樣本集各樣本與競(jìng)爭(zhēng)層節(jié)點(diǎn)的最小歐氏距離可作為判斷結(jié)束與否的依據(jù)。在SOM中,選擇與訓(xùn)練樣本歐氏距離最小的競(jìng)爭(zhēng)層節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn),該節(jié)點(diǎn)獲取激勵(lì)最大,容易陷入局部最優(yōu)化。而在QSOM中,與訓(xùn)練樣本距離越近,成為目標(biāo)節(jié)點(diǎn)的幾率越大,在保證整體趨于優(yōu)化的同時(shí),減小了陷入局部最優(yōu)化的概率。
圖4 均方差與訓(xùn)練次數(shù)關(guān)系圖
圖4中虛線表示模擬訓(xùn)練中MSE隨訓(xùn)練次數(shù)變化情況,其中虛線表示10次模擬情況,實(shí)線表示50次模擬訓(xùn)練平均值。通過(guò)上圖可以看出網(wǎng)絡(luò)在250步左右收斂至0.021。相對(duì)于螺旋線方程產(chǎn)生的坐標(biāo),QSOM填充結(jié)果的相對(duì)平均誤差為7.25%。而測(cè)試SOM填充得到的MSE為0.038,平均為誤差10.3%,與文獻(xiàn)《Non-linear PCA: a missing data approach》中結(jié)果近似[4]。
測(cè)試結(jié)果表明,與SOM相比,QSOM填充質(zhì)量更好。相較于SOM模型,QSOM模型在訓(xùn)練過(guò)程中,由于調(diào)整方向增加了不確定性,使得網(wǎng)絡(luò)更容易跳出局部最優(yōu)化,其魯棒性、容錯(cuò)性更強(qiáng)??蓱?yīng)用于處理非線性問(wèn)題的缺失值填充、預(yù)測(cè)等。
[1]Maeda M,Suenaga M,Miyajima H.Qubit neuron according to quantum circuit for XOR problem[J]. Applied Mathmatics and Computation,2007,185(2):1015-1025.
[2]Scott Makeig.Event-related brain dynamics[J].TRENDS in Cognitive Sciences,2004,8(5):204-210.
[3]Li P,Chai Y,Xiong Q.Quantum neural modeling: quantum gate structure in Elman networks[C]//Proceeding of Fourth International Workshop on Advanced Computational Intelligence (IWCI).Wuhan:[s.n.],2011:315-320.
[4]Matthias Scholz,Fatma Kaplan.Non-linear PCA:a missing data approach[J]. Bioinformatics,2005,21(20):3887-3895.