葉球孫

(武夷學院 數(shù)學與計算機科學工程系，福建 武夷山 354300)

0 引 言

應用最廣、結構簡單、工作狀態(tài)較穩(wěn)定的BP網絡，它無需建立系統(tǒng)的數(shù)學模型，只需借助于有限的樣本數(shù)據就有很強非線性的映射能力。20世紀90年代末就有許多國內外學者進行過卓有成效的研究。BP網絡的主要缺點是學習算法極易陷入局部極小值，很難獲得全局極小值，并且其收斂速度極慢。若采用梯度下降算法，易使網絡訓練過程中時常出現(xiàn)麻痹和振蕩現(xiàn)象。華中科技大學楊叔子院士等人曾提出了兩種相應的改進算法，即快速算法和全局最優(yōu)求解法[1]。

1.進算法

1.1.速算法

對一個3層BP網絡

1.2.局最優(yōu)算法

鑒于BP網絡學習算法極易陷入局部極小值，以及具體實施時參數(shù)αη、選取靠實驗的經驗性，盡管模擬退火和遺傳算法能在一定程度上克服一些缺陷，但如何得到新的搜索狀態(tài)，確定新狀態(tài)的拓撲特征數(shù)據或共性條件(標準)，如確定退火溫度下降過程尚存在眾多能否正確指導實踐的理論問題。所以，能否找到一種明確的理論指導依據，需要比較規(guī)范的應用步聚、較高學習效率等，是保證得到全局最優(yōu)解的BP網絡學習算法。楊院士等人曾提出的全局最優(yōu)解法的基本思路是：先建立一個比較合理的BP網絡誤差度量函數(shù)E(ω)，再利用當時求E(ω)總體極值較成熟的方法，得到ω值，進而完成BP網絡的學習過程。為此，其考濾了一個合適的誤差函數(shù)

使用蒙特·卡羅(Monto-Corlo)的方法來計算Uk[ E(?) ,Ck]，與傳統(tǒng)方法比較，不存在局部極小值問題，也不存在由于η,α等參數(shù)選擇不當而導致振蕩不收斂問題，更不需要大量經驗和實驗才能確定的問題，一旦寫出誤差函數(shù)，便可在計算機上求解，也有實例[2]說明了此方法的有效性。

圖1.

2.進制(VCR)數(shù)值計算技術

數(shù)(N，Numbers)就是人類用以描述各種客觀物質量值多少或物質現(xiàn)象發(fā)生頻率高低的量化的抽象概念。比如，可以這樣描述說：1條魚，2噸水，3場大火，4回聲響，5個城市，6次洪災，如此等等。人類社會[3]發(fā)展早期，大多數(shù)采用了離散計數(shù)制(DCR，Dispersed Computation Rules)的方法來描述客觀物質量值的多與少或物質現(xiàn)象發(fā)生頻率的高與低，即采用一些離散的標志物(小石子、小黃豆和小綠豆之類)或標志符(1、2、3…,A、B、C…,克、公斤、市斤、石、噸,星期、打數(shù)，如此等等)來表示不同物質的量值或物質現(xiàn)象發(fā)生的頻率。一個不曾上過學堂而無文化底蘊的牧童清點他的羊群時，可以用1粒小石子表示5只羊，1粒小黃豆表示5粒小石子(25只羊)，1粒小綠豆表示5粒小黃豆(75只羊)，如此等等。由于標志物保持有困難或標志符共識有障礙，在不同的國家和地區(qū)難以推廣普及，DCR漸被淘汰，但不同標志物或標志符之間的倍乘關系卻是后來得以推廣普及的進位計數(shù)制(CCR，Carrying Computation Rules)思想的萌芽和基礎。使用CCR來表示的數(shù)就稱為進制數(shù)(CCN，Carrying Computation Numbers)，或簡稱為數(shù)(N)。

1995年葉球孫[4]提出CCR兩個重要研究分支：恒進制(FCR，F(xiàn)ixed Carrying Rules)和變進制(VCR，Variable Carrying Rules)；用FCR表示的數(shù)稱恒進數(shù)(FCN，F(xiàn)ixed Carrying Numbers)，用 VCR表示的數(shù)稱變進數(shù)(VCN，Variable Carrying Numbers)；FCR是VCR的特例，VCR是FCR的拓展。FCR計數(shù)換算規(guī)則是：在同一進制數(shù)中，相鄰即位數(shù)字進退換算關系恒守“同一”規(guī)則，即位數(shù)字模(FM，F(xiàn)igures’ Module)均等，如十進數(shù)(D，Decimal numbers)恒守“逢十進一，借一當十”規(guī)則，二進數(shù)(B，Binary numbers)恒守“逢二進一，借一當二”規(guī)則，八進數(shù)(Q，Octonal numbers)恒守“逢八進一，借一當八”規(guī)則，十六進數(shù)(H，Hexadecimal numbers)恒守“逢十六進一，借一當十六”規(guī)則，如此等等。VCR計數(shù)換算規(guī)則是：在同一進制數(shù)中，相鄰即位數(shù)字進退換算關系不守或不盡守“同一”規(guī)則，如表示日期時間量綱單位不同的年、月、日、時、分和秒：60秒=1分，60分=1時，24時=1天(日)，30天(月大)或31天(月小)=1月，12月=1年；中國古歷(農歷或陰歷)含潤月的年稱潤年，不含潤月的年稱平年，30天(月大)或29天(月小)=1月，13月=1潤年，12月=1平年；公歷(陽歷)平年的二月=28天，非平年的二月=29天。此外，7天=1星期，10斗=1石，1000克=1公斤，1000公斤=1噸，12=1打……，諸如此類，均是地地道道的不恒守“同一”計數(shù)規(guī)則的變進數(shù)(VCN)。

2.1.進制FCR特性及其計算

2.1.1.模性(SFM，Same FM)

FCN中任意位上即位數(shù)字的模iFM 均等，即

2.2.進制(VCR)特性及其計算

2.2.1.拓性與壓縮性(E&C)

如覺得10個阿拉伯數(shù)值字符不夠用，還可將26個英文字母 A,B,C,…,X,Y,Z等半角字符拓展表示為10,11,12, …,33,34,35等數(shù)值，即可取FMi∈{2 ,,34,35,36}，將可得到 2-36任意進制的VCN(含2-36進制的FCN)。所以VCR中使用的 F Mi是可以任意向上拓展(Extensive)的，這就是 VCR變化潛力無限的可拓性(E，Extensibility )。當相同數(shù)值大小的數(shù)由低進制向高進制轉換時，其數(shù)據的外在表示形式可以得到壓縮(字符數(shù)減少)，從而節(jié)約不少計算機內使用的存儲空間，因而其數(shù)據的表示是可壓縮(Compressible)的，這就是VCR施盡魔力的可壓縮性(C,Compressibility)。因其表示信息容量存儲既是可拓(Extensive)的，其容量溢出特性又是可變的，稱其為容量的變溢性(VCO，Variable Capacities of Overflowing)。

2.2.2.糊性與保密性(F&PKS)

VCN 中任意位上的權值(簡稱權)為其系列相鄰低位即位數(shù)字模的卷積(連乘積值),其外表組合排列數(shù)字的數(shù)值大小也是難以精確估算而模糊的，頗具模糊性, 外在數(shù)據表示的數(shù)值大小模糊性越強，其對外保密性就越好。故VCR構成VCN的模糊性(F，F(xiàn)uzziness)和保密性(PKS，Properties of Keeping a Secret)的呈現(xiàn)是連成一體的。

2.2.3.能性與設密性(I&PMS)

n位VCN中相鄰位即位數(shù)字 ( Figures)間的進退換算規(guī)則(VCR)既是可以事先人工智能[5,6](AI，Artificial Intelligence)地設定的，又是可以不為人知曉而隱蔽的。所以，VCR構成該數(shù)的精確換算關系是智能性(I，Intellectuality)的，也是權限性(PMS，Properties of Making a Secret)的[7]。VCR中嵌入AI特性而設置成模糊的變進數(shù)稱智能模糊變進數(shù)(AI-Fuzzy VCN)，簡稱智模數(shù)(IFN)。

2.2.4.CN數(shù)值計算公式(VNC，VCN formula of Numbers’ Computation )

設DVCN=Fn?1Fn?2F1F0.F?1F?2F?m+1F?m為一個任意n位整數(shù)和m位小數(shù)的任意 ( ri+1)進制的變進制實數(shù)，則有

3.模數(shù)(IFN)抗擾動特性及其實現(xiàn)

根據VCN可嵌入智能設置VCR特性，IFN既可以將常用十進數(shù)D轉換為2≦FM<10的任意低模(基)值FCN或VCN，又可以轉換為FM>10的任意高模(基)值FCN或VCN。數(shù)學家可以保證：任何一種FCN或VCN均可以用來準確描述任意物質量值的大小或多少, 任意循環(huán)或非循環(huán)的數(shù)也均可用某種逼近的分式，或開奇偶次方根函數(shù)，或其它數(shù)學函數(shù)諸如各種插值/分段函數(shù)法來較精確地描述。

但是，在高頻數(shù)學運算(加、減、乘和除等)過程中，一旦出現(xiàn)任意循環(huán)數(shù)(如1/3,2/3)或非循環(huán)數(shù)(如圓周密率π值)的中間結果(數(shù)據)，導致最終運算結果的數(shù)字擾動的誤差，將不可避免。IFN中可通過智能動態(tài)改變FM的值來消除某些循環(huán)數(shù)[8]，如：79.625=1001111.101B=117.5Q=4F.AH=(304.3030…)5=(261.343)6，將 79.625轉換為FM=5的五進數(shù)時出現(xiàn)了2位無限循環(huán)體小數(shù)30，為消除運算過程中新增的數(shù)字擾動，可取FM≠5的其它值。

4.經網絡計算與VCR智能技術的融合

4.1.絡層節(jié)點計算與VCR中FM設置

一個3層BP網絡：其輸入層、隱含層(或稱為內部存儲的記憶層[9]或中間層)和輸出層可以用一個3位VCN來模擬表示。輸入層表示最低位(或最高位)，記憶層表示次低位(或次高位)，輸出層表示最高位(或最低位)；每層網絡節(jié)點數(shù)分別用來表示該 VCN 三個即位數(shù)字的模FMi(i =0,1,2)；輸出層就是輸入層和記憶層這二維復雜性節(jié)點為自變量的復雜函數(shù)(Sigmoid)。該函數(shù)計算的復雜度受輸入層節(jié)點采樣優(yōu)先級別決定因素和中間層節(jié)點數(shù)據處理技術影響。輸入層節(jié)點采樣優(yōu)先級別梯度值越大或越陡峭，以及中間層節(jié)點數(shù)據處理技術越先進(即訪問數(shù)據節(jié)點數(shù)盡可能少，但以不丟失目標節(jié)點為前提)，則該算法實現(xiàn)速度越快。

4.2.局最優(yōu)算法與VCN中NM設定

BP網絡學習算法極易陷入局部極小值，參數(shù)η、α選取又普遍受制于實踐經驗性，能否找到一種創(chuàng)新實用的方法來指導實踐，需要建立一種數(shù)學模型、計算實現(xiàn)可行性等，才是保證得到全局最優(yōu)解的BP網絡學習算法。楊院士等人曾提出的全局最優(yōu)解法，是建立一個比較合理的BP網絡誤差度量函數(shù)E(ω)，利用當時求E(ω)總體極值較成熟的逐步逼近法得到ω值而完成BP網絡算法過程。其誤差度量函數(shù)E(ω)的求解，是由FCN實現(xiàn)的，并較高頻率地用到了加、減、乘、除和乘方等數(shù)學運算來逐步逼近，新增數(shù)字擾動誤差不可避免。

VCN中任意即位數(shù)字 ( Figures)權值為其相鄰低位系列 F Mi的卷積值，n位VCN進制數(shù)的模值NM即為寬度優(yōu)先搜索狀態(tài)樹的全部節(jié)點數(shù)：含已拓展或可拓展的所有枝節(jié)點和葉節(jié)點。當修改 F Mi值而做剪枝技術處理時，必須以不丟失目標節(jié)點為前提；當修改 F Mi值而做接枝技術處理時，須以不增加偽目標節(jié)點數(shù)和較高時間復雜性為條件。

5.束語

BP神經網絡算法改進研究的終極任務，就是如何規(guī)避學習算法陷入局部極小值、找回全局極小值和降低搜索算法時間復雜性。一個擁有輸入層、記憶層和輸出層而普通3層BP網絡節(jié)點路徑的快速算法及其全局最優(yōu)算法的實現(xiàn)，尤其是在計算機上求解實現(xiàn)，將會遇到或極可能遇到諸多可預知和不可預知的影響成功實現(xiàn)的決定因素。如想要得到較快的搜索算法速度，就必須設法減少訪問數(shù)據集的網絡節(jié)點數(shù)，但有時又與不能輕易丟失目標節(jié)點的初衷相互矛盾；要想得到全局最優(yōu)，就必須設法條件增加訪問數(shù)據集的網絡節(jié)點數(shù)，但有時又會極大地增加了搜索算法時間的復雜性(讓計算機上難以實現(xiàn))。即便是算法時間復雜性增加后計算機上也可以接受(即仍可實現(xiàn)算法)，但有時也會莫名地增加不少偽目標節(jié)點數(shù)，故尚須繼續(xù)做“去偽存真”的篩選算法工作。如去偽存真的篩選工作沒有到位，所得到的全局最優(yōu)也就自然可能陷入局部最優(yōu)即局部極小值中去了。楊叔子院士等人提出的改進算法，即快速算法和全局最優(yōu)求解法，是先建立一個比較合適的BP網絡誤差度量函數(shù) E(ω)后，使用蒙特·卡羅(Monto-Corlo)法來計算Uk[E(ω),Ck)]，與傳統(tǒng)方法比較，不存在局部極小值問題，也不存在由于η，α等參數(shù)選擇不當而導致振蕩不收斂問題，更不需要大量經驗和實驗才能確定的問題，即可在計算機上求解，有效性不錯，但較精確度量的網絡誤差函數(shù) E(ω)的寫出有時比較費勁，而且用傳統(tǒng)的FCN來計算E(ω)還會帶來一定的數(shù)字擾動誤差。

本文提出以AI-VCR計算技術揉合進BP網絡快速算法和全局最優(yōu)算法，不失為一種創(chuàng)新實用的技術嘗試，用創(chuàng)新的VCN計算技術來實現(xiàn)3層BP網絡的快速算法和全局最優(yōu)，可設法將其數(shù)字擾動誤差逼近為零。

[1]楊叔子,廖曉昕,史鐵林,等. 神經網絡若干理論和應用問題的研究[R],1997中國神經計算科學大會論文集(一)[C]. 北京:人民郵電出版社, 1997, 10.

[2]徐宜桂.結構動態(tài)智能診斷及其可靠性評估研究[D].華中理工大學博士論文.

[3]Ye Q. S. VCN & Its Role of Engineering in Human Society [J], Engineering Sciences (The Chinese Academy ofEngineering/EnglishEdition/Quarterly),2008,6(1):23-31.

[4]Ye Q. S. Research & Application on The Variable Carrying Numbers [A], IEEE International Conference on Neural Networks & Signal Processing [C]. ICNNSP’95,Nanjing, China, 1995.

[5]吳文俊, 計算機時代的腦力勞動機械化與科學技術現(xiàn)代化[R], 第 10屆中國人工智能學術大會(CAAI-10)特邀報告,中國人工智能進展[C],北京:北京郵電大學出版社, 2003.

[6]傅京孫, 蔡自興, 徐光礻右 等.人工智能及其應用[M].北京: 清華大學出版社, 1988.

[7]葉球孫.智模數(shù)(IFN)在密碼科學中的研究及應用[J],中國工程科學(中國工程院院刊),2008,10(5): 51-58.

[8]葉球孫.基于 VCN智能技術的除法精確運算[J],南平師專學報,2006,(2): 43-47.

[9]葉球孫.基于AI-VCR特性工業(yè)動態(tài)測試計量技術的實現(xiàn)[J],湖南科技學院學報,2009,30(8): 147-150.