趙晉明
(山西省太原市文通電子有限公司,山西 太原 030002)
一種基于隨機映射的網(wǎng)絡(luò)狀態(tài)評估方法
趙晉明
(山西省太原市文通電子有限公司,山西 太原 030002)
近年來,機器學(xué)習(xí)技術(shù)在網(wǎng)絡(luò)管理領(lǐng)域得到了廣泛使用。然而由于通信網(wǎng)絡(luò)日益復(fù)雜,網(wǎng)絡(luò)中的非線性和不確定因素使得機器學(xué)習(xí)變得十分困難。為了提升機器學(xué)習(xí)的效果,提出了一種采用隨機映射的人工神經(jīng)網(wǎng)絡(luò)方案,其特點是引入機器學(xué)習(xí)和網(wǎng)絡(luò)拓?fù)涞碾S機性,使得神經(jīng)網(wǎng)絡(luò)對學(xué)習(xí)目標(biāo)具有更大的適應(yīng)性,并實現(xiàn)更快、更精確的收斂。相關(guān)成果已經(jīng)在中國移動通信集團山西有限公司(以下簡稱山西移動)的實際網(wǎng)絡(luò)中得到了應(yīng)用并取得較好的效果。
機器學(xué)習(xí);隨機映射;神經(jīng)網(wǎng)絡(luò);網(wǎng)絡(luò)管理
隨著網(wǎng)絡(luò)規(guī)模的不斷擴展,網(wǎng)絡(luò)管理系統(tǒng)需要管理越來越多的網(wǎng)絡(luò)設(shè)備。與此同時,由于網(wǎng)絡(luò)環(huán)境日益復(fù)雜,對于網(wǎng)絡(luò)狀態(tài)的判斷也更加困難,即使是擁有豐富經(jīng)驗的網(wǎng)絡(luò)管理者也很難準(zhǔn)確了解網(wǎng)絡(luò)當(dāng)前狀態(tài)。由于當(dāng)前網(wǎng)絡(luò)規(guī)模十分巨大、相互交互十分復(fù)雜,網(wǎng)絡(luò)狀態(tài)與采集到的網(wǎng)絡(luò)參數(shù)之間具有非常明顯的非線性關(guān)系。在這種無法明確建立模型和機制的情況下,通過對大量網(wǎng)絡(luò)中實際運行數(shù)據(jù)的分析,可以更充分地了解當(dāng)前網(wǎng)絡(luò)的狀態(tài),發(fā)掘網(wǎng)絡(luò)系統(tǒng)的演化規(guī)律,從而實現(xiàn)更加有效的網(wǎng)絡(luò)管理。
神經(jīng)網(wǎng)絡(luò)是一種可以有效處理上述復(fù)雜系統(tǒng)的數(shù)學(xué)工具,目前已經(jīng)廣泛應(yīng)用于工業(yè)、經(jīng)濟和社會等復(fù)雜系統(tǒng)中。神經(jīng)網(wǎng)絡(luò)可以通過大量數(shù)據(jù)擬合分析挖掘出數(shù)據(jù)中潛在的有用知識,并自發(fā)構(gòu)建成可以操作的模型。采用神經(jīng)網(wǎng)絡(luò)不僅可以為系統(tǒng)控制和分析提供支持,而且可以幫助人們更深入地理解和認(rèn)識復(fù)雜系統(tǒng)。
神經(jīng)網(wǎng)絡(luò)的原理是通過相空間重構(gòu)等方法將復(fù)雜的非線性關(guān)系轉(zhuǎn)化為函數(shù)逼近問題,進而采用遞歸優(yōu)化的方式進行求解[1,2]。當(dāng)前相關(guān)工作主要集中于前饋型神經(jīng)網(wǎng)絡(luò)(feedforward neural network,F(xiàn)NN)的運用,例如徑向基函數(shù) 神經(jīng)網(wǎng) 絡(luò)[3](radial basis function,RBF)和 支 持 向 量機[4](support vector machine,SVM)等。然而,這類神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)質(zhì)量要求較高、自身收斂較慢[5,6],因此十分依賴數(shù)據(jù)分析人員的經(jīng)驗。這種缺陷使得傳統(tǒng)前饋型神經(jīng)網(wǎng)絡(luò)難以得到運營商的大規(guī)模應(yīng)用。
和機器學(xué)習(xí)不同,人類通??梢曰谏倭康臄?shù)據(jù),快速學(xué)會識別和理解復(fù)雜的系統(tǒng)。實驗表明,人類可以使用少于機器學(xué)習(xí)1%的數(shù)據(jù)實現(xiàn)同樣的學(xué)習(xí)效果。對于機器學(xué)習(xí)而言,“隨機映射”在很大程度上可以幫助傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)實現(xiàn)人類學(xué)習(xí)的這一特性[7]。隨機映射與神經(jīng)網(wǎng)絡(luò)的結(jié)合最早起源于20世紀(jì)90年代隨機向量函數(shù)連接型[8](random vector functional-link,RVFL)神經(jīng)網(wǎng)絡(luò)的思想。這一思想的核心就是模仿人類在學(xué)習(xí)過程中所表現(xiàn)出的“直覺”,通過隨機構(gòu)造神經(jīng)網(wǎng)絡(luò)的感知層來提升學(xué)習(xí)效率。
目前,隨機映射的研究方興未艾,針對通信網(wǎng)絡(luò)的特點,采用隨機映射的機器學(xué)習(xí)可以更加有效地實現(xiàn)對網(wǎng)絡(luò)的理解,并幫助網(wǎng)絡(luò)管理人員更好地管理網(wǎng)絡(luò)。目前,各大運營商都開始研究如何提升網(wǎng)絡(luò)對業(yè)務(wù)的實時感知,網(wǎng)絡(luò)服務(wù)體驗的提升將帶來更好的用戶黏性,從而帶來更多的利潤。為此,提出了采用隨機映射的方式更快地訓(xùn)練機器,并基于更少的數(shù)據(jù)實現(xiàn)對網(wǎng)絡(luò)狀態(tài)的準(zhǔn)確判斷。該方法已經(jīng)在中國移動通信集團山西有限公司(以下簡稱山西移動)得到了示范應(yīng)用并取得了一定的效果。本文的工作對于相關(guān)領(lǐng)域的研究和工程實踐具有一定的借鑒和指導(dǎo)意義。
隨著通信網(wǎng)絡(luò)中網(wǎng)絡(luò)管理技術(shù)的不斷發(fā)展,網(wǎng)絡(luò)中產(chǎn)生的大量信息和數(shù)據(jù)都得到了采集和存儲,這些數(shù)據(jù)和信息呈現(xiàn)出“爆炸式”增長,并形成了海量的信息環(huán)境。然而,面對網(wǎng)絡(luò)中的海量數(shù)據(jù),網(wǎng)絡(luò)管理人員往往只對于其中的一些具體目標(biāo)感興趣。因此,如何高效地從海量網(wǎng)絡(luò)數(shù)據(jù)中提取出網(wǎng)絡(luò)管理人員所關(guān)心的信息,并根據(jù)這些信息對網(wǎng)絡(luò)狀態(tài)做出準(zhǔn)確的評估是一個亟待解決的問題。
傳統(tǒng)的網(wǎng)絡(luò)管理對于數(shù)據(jù)的處理更類似于“檢索”,即通過關(guān)鍵字、屬性或標(biāo)注等方式在海量數(shù)據(jù)中檢索信息,并將檢索到的信息經(jīng)過簡單的處理和分析后向網(wǎng)絡(luò)管理者呈現(xiàn)。這一技術(shù)的發(fā)展比較成熟,但是這一方法面臨以下3個問題。
(1)結(jié)果不充分
網(wǎng)絡(luò)中的數(shù)據(jù)實際包含著非常豐富的信息和意義,單單提取幾個指標(biāo)或者屬性無法充分對網(wǎng)絡(luò)的實際情況進行描述。
(2)主觀判斷帶了的不確定性
不同的網(wǎng)絡(luò)管理人員對于同樣的數(shù)據(jù)和指標(biāo)可能會做出不同的理解判斷,這種主觀傾向最終必定給網(wǎng)絡(luò)狀態(tài)的評估帶來較大的不確定性。
(3)工作量巨大
面對網(wǎng)絡(luò)中日益增長的海量數(shù)據(jù),無論是機器還是人工都需要耗費大量的工作對其進行處理,這種系統(tǒng)實現(xiàn)方式會帶來巨大的開銷。
為了解決上述問題,利用隨機映射與神經(jīng)網(wǎng)絡(luò)相結(jié)合的極端學(xué)習(xí)機器(extreme learning machine,ELM)改進了傳統(tǒng)的數(shù)據(jù)檢索和比對方法,使得網(wǎng)絡(luò)管理系統(tǒng)在使用更少量數(shù)據(jù)的情況下,進行更為精確的評估。例如,人類只需要看到過床的一角,而不需要看到床的全貌,就可以識別出“床”。同理,網(wǎng)絡(luò)管理系統(tǒng)也可以僅從少量的數(shù)據(jù)中得到對于網(wǎng)絡(luò)狀態(tài)的判斷。隨機映射可以看作這樣一種提升機器學(xué)習(xí)能力的機制,使得機器可以建立如人類“直覺”一樣的能力。
具體而言,“隨機映射”通過對少量已知案例的學(xué)習(xí),借助神經(jīng)網(wǎng)絡(luò)對于非線性關(guān)系良好的表征能力,實現(xiàn)對網(wǎng)絡(luò)整體狀態(tài)的泛化的檢索和匹配,而不是簡單對于某些具體指標(biāo)和參數(shù)的匹配。這一方案的核心就是利用隨機映射所帶來的學(xué)習(xí)能力,實現(xiàn)人類從少量樣本中學(xué)習(xí)和辨別復(fù)雜系統(tǒng)的能力。根據(jù)上述思想,構(gòu)建了網(wǎng)絡(luò)狀態(tài)評估系統(tǒng),如圖1所示。該系統(tǒng)的功能由3部分組成,即網(wǎng)絡(luò)特征提取、網(wǎng)絡(luò)狀態(tài)索引、相似性匹配。這種檢索方法可以避免傳統(tǒng)檢索方法的局限性,使得網(wǎng)絡(luò)管理者可以更好地對網(wǎng)絡(luò)狀態(tài)進行管理。
所構(gòu)建的系統(tǒng)中,基于隨機映射的極端學(xué)習(xí)機器可以很好地完成“網(wǎng)絡(luò)狀態(tài)索引”和“相似性匹配”這兩項任務(wù),而特征提取是一個單獨的過程。對于計算機系統(tǒng)而言,由于輸入數(shù)據(jù)的格式、數(shù)量、含義有巨大差別,為了便于處理就需要將輸入數(shù)據(jù)首先轉(zhuǎn)化為特征向量。特征向量的提取對于不同的數(shù)據(jù)各不相同,相關(guān)研究已經(jīng)十分成熟,在此不再進行展開研究,第3節(jié)主要就隨機映射在網(wǎng)絡(luò)狀態(tài)評估的應(yīng)用進行闡述。
圖1 網(wǎng)絡(luò)狀態(tài)評估的功能流程
為了對網(wǎng)絡(luò)狀態(tài)進行評估,就需要盡可能準(zhǔn)確地描述出系統(tǒng)采集到的網(wǎng)絡(luò)數(shù)據(jù)與實際網(wǎng)絡(luò)狀態(tài)之間的關(guān)系。在傳統(tǒng)的網(wǎng)絡(luò)管理系統(tǒng)中,時延、抖動、帶寬等指標(biāo)常常被認(rèn)為是衡量網(wǎng)絡(luò)狀況最有效的指標(biāo)。然而,隨著網(wǎng)絡(luò)規(guī)模的擴大和網(wǎng)絡(luò)結(jié)構(gòu)的日益復(fù)雜,現(xiàn)在已經(jīng)不能簡單憑借這些指標(biāo)對網(wǎng)絡(luò)狀態(tài)做出評價。例如在無線接入網(wǎng)中,小區(qū)覆蓋的信號強度(received signal strength,RSS)是評價網(wǎng)絡(luò)質(zhì)量的重要指標(biāo),但是在實際運營的網(wǎng)絡(luò)中,一些信號強度較好的小區(qū)依然出現(xiàn)較多的掉線、語音不清或者回音等現(xiàn)象。
這種依靠網(wǎng)絡(luò)參數(shù)對網(wǎng)絡(luò)狀態(tài)進行評估的方法,從數(shù)學(xué)角度來看是建立輸入數(shù)據(jù)與網(wǎng)絡(luò)狀態(tài)之間的函數(shù)擬合。然而,傳統(tǒng)的網(wǎng)管系統(tǒng)通常將網(wǎng)絡(luò)數(shù)據(jù)與網(wǎng)絡(luò)狀態(tài)之間的關(guān)系簡化為線性,這種方法對于結(jié)構(gòu)簡單的網(wǎng)絡(luò)可以獲得較好的擬合,然而隨著網(wǎng)絡(luò)規(guī)模的日益擴大、網(wǎng)絡(luò)結(jié)構(gòu)的日益復(fù)雜,當(dāng)前的通信網(wǎng)絡(luò)已經(jīng)成為一個巨大的復(fù)雜動力學(xué)系統(tǒng),需要引入更有效的數(shù)學(xué)模型對網(wǎng)絡(luò)進行描述。
如上所述,神經(jīng)網(wǎng)絡(luò)作為對于非線性系統(tǒng)非常有效的描述方式,已經(jīng)廣泛應(yīng)用于許多領(lǐng)域,在網(wǎng)絡(luò)管理領(lǐng)域也得到了很多應(yīng)用。然而傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)需要大量的樣本進行訓(xùn)練,同時為了得到較好的學(xué)習(xí)效果,需要仔細(xì)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和拓?fù)洌苊饩W(wǎng)絡(luò)訓(xùn)練陷入局部最優(yōu),這造成了神經(jīng)網(wǎng)絡(luò)的應(yīng)用結(jié)果差強人意。
為了解決這一問題,利用隨機映射結(jié)合極端學(xué)習(xí)的方式實現(xiàn)高效的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),使得網(wǎng)絡(luò)狀態(tài)評估在更少的樣本下可以得到有效的實現(xiàn)。采用的神經(jīng)網(wǎng)絡(luò)是最簡單的三層神經(jīng)網(wǎng)絡(luò),具有典型的三層結(jié)構(gòu):輸入層、隱藏層和輸出層,其結(jié)構(gòu)如圖2所示,數(shù)學(xué)表達(dá)式如下:
圖2 本文所采用神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
其中,O為神經(jīng)網(wǎng)絡(luò)輸出值,xk∈Rd表示第k個輸入向量,Win為連接輸入層和隱藏層的權(quán)值矩陣,b=(b1,…,bn)表示隱藏層的偏置向量,w表示隱藏層和輸出層之間的權(quán)值向量,g(·)為激活函數(shù),取 Sigmoid 函數(shù)。
機器學(xué)習(xí)的目標(biāo)是通過不斷的迭代更新輸出權(quán)值,每次迭代的變化量為:
網(wǎng) 絡(luò) 的 隱 藏 層 輸 出 矩 陣 ,t=[t1,t2,… ,tn]為 期 望 輸 出 向 量 。的計算式為:
神經(jīng)網(wǎng)絡(luò)方法學(xué)習(xí)的核心就是通過對式(3)的不斷迭代,找到最優(yōu)的權(quán)值w,使得輸出值與目標(biāo)值之間的差值最小,這一過程就是對式(3)的求解。在實踐中,對式(3)求解的方法有很多種,本文采用嶺回歸方法并對目標(biāo)進行正則化,相應(yīng)的解可表達(dá)如下:
其中,I為單位矩陣,C為正則化系數(shù)。在權(quán)值更新的過程中,為了實現(xiàn)更加有效的學(xué)習(xí),引入隨機映射的思想——對于每次訓(xùn)練的迭代,計算網(wǎng)絡(luò)當(dāng)前輸出值與目標(biāo)值的差值時,使用相似度函數(shù)而不是差值的絕對值來行度量。對于神經(jīng)網(wǎng)絡(luò)的輸出集O和目標(biāo)集T,相似度函數(shù)sim(O,T)的表達(dá)式為:
其中,Pr(O=T)表示輸出集O和目標(biāo)集T一致的概率。這樣,相似度函數(shù)的引入使得可以更快達(dá)到神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)結(jié)束的閾值,避免了對于目標(biāo)的過度擬合造成的泛化能力下降,同時也減少了對于訓(xùn)練數(shù)據(jù)規(guī)模的要求。與此同時,為了避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對學(xué)習(xí)過程造成的影響,本文采用了動態(tài)可變化的網(wǎng)絡(luò)結(jié)構(gòu)。首先初始化最簡單的網(wǎng)絡(luò)結(jié)構(gòu),在學(xué)習(xí)過程中每次隨機生成多個隱藏節(jié)點,并根據(jù)情況選擇其中一個加入網(wǎng)絡(luò)。新增節(jié)點的權(quán)值由式(6)給出:
其中,e(i)表示第 k個隱藏節(jié)點加入之前,第 i個樣本對應(yīng)的殘差,g(Win(k),bk,xi)表示由第 i個樣本激活得到的第k個隱藏節(jié)點的輸出。上述過程實際是通過一個凸規(guī)劃過程對神經(jīng)網(wǎng)絡(luò)的節(jié)點進行優(yōu)化,力圖獲得最簡單的結(jié)構(gòu)模型。從而從神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上保證訓(xùn)練所需的樣本最少,學(xué)習(xí)過程的效率更高。
為了對所提出的算法進行驗證,采用山西移動的6 000組網(wǎng)絡(luò)樣本對網(wǎng)絡(luò)的服務(wù)體驗進行評估對比。樣本的服務(wù)體驗采用語音通話的MOS(mean opinion score)值來衡量,MOS值是最廣泛使用的一種對語音質(zhì)量評價的方法,對通話采用1~5分進行評分,當(dāng)MOS值低于3分時,通話質(zhì)量較差,反之則可以認(rèn)為網(wǎng)絡(luò)滿足了基本的通話服務(wù)體驗要求。
MOS值是一種主觀評測方法,在實際的網(wǎng)絡(luò)中,需要通過網(wǎng)絡(luò)參數(shù)等指標(biāo)對網(wǎng)絡(luò)能提供的MOS值進行判斷。對比采用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法和本文所提出方法對于學(xué)習(xí)MOS值評估的效果。采用的學(xué)習(xí)樣本包括信號強度、掉線率、阻塞率、網(wǎng)絡(luò)CPU利用率、無線資源利用率5個網(wǎng)絡(luò)指標(biāo)以及對應(yīng)的MOS打分。顯然,上述5個指標(biāo)與MOS之間具有較強的非線性關(guān)系,可以通過對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練進行較好的擬合。
采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的一個重大難點是需要足夠的訓(xùn)練樣本,并建立合理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。這一要求對于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是一個巨大的挑戰(zhàn),而采用隨機映射的神經(jīng)網(wǎng)絡(luò)可以較好地解決上述問題。以采用不同數(shù)量的訓(xùn)練樣本對比傳統(tǒng)評估方法和本文所提出的評估方法,得到的結(jié)果如圖3所示。
圖3 本文所提算法與傳統(tǒng)算法比較
可以看到,對于本案例,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)隨著訓(xùn)練樣本的增加沒有顯著提升判斷的正確率,一方面是由于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過于追求訓(xùn)練的擬合程度,使得網(wǎng)絡(luò)早早陷入局部最優(yōu)。另外,神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)能否有效地實現(xiàn)對問題的表征也決定了學(xué)習(xí)的效果。本文所提出的方案可以有效解決這一問題,從圖3的結(jié)果可以看出,系統(tǒng)判斷的準(zhǔn)確性隨著訓(xùn)練樣本的增長實現(xiàn)了顯著提升。雖然在樣本較少時,由于算法的隨機性造成了訓(xùn)練效果較差,但本方案極大地增強了系統(tǒng)的學(xué)習(xí)能力,使得系統(tǒng)可以用更少的樣本實現(xiàn)快速學(xué)習(xí)。
目前,該方案已經(jīng)在山西移動的網(wǎng)絡(luò)中進行了試驗應(yīng)用,并取得了較好的效果??梢灶A(yù)見,人工智能的未來將為人類的生產(chǎn)生活帶來巨大的改變,因此,相關(guān)工作的不斷進行有著十分重要的理論與實際意義。
隨著人工智能的發(fā)展,機器對于通信網(wǎng)絡(luò)這種巨大的復(fù)雜系統(tǒng)的理解和管理都將顯著超越人類。為了更好地管理網(wǎng)絡(luò),就需要人工智能更多地參與到網(wǎng)絡(luò)管理的過程中,更多依靠機器學(xué)習(xí)而不是網(wǎng)絡(luò)管理人員的經(jīng)驗來管理網(wǎng)絡(luò)?;谶@一背景,將隨機映射的思想引入網(wǎng)絡(luò)管理的機器學(xué)習(xí)中,使網(wǎng)絡(luò)管理系統(tǒng)可以利用更少的數(shù)據(jù)實現(xiàn)更加“直觀”的學(xué)習(xí)。相關(guān)研究的開展將為未來網(wǎng)絡(luò)管理研究的提供重要的支撐。
[1]KARUNASINGHE D,LIONG S Y.Chaotic prediction with global model artificial neural network [J].Journal of Hydrology,2006,323(1):92-105.
[2]黎明,張化光.神經(jīng)網(wǎng)絡(luò)建模方法研究[J].自動化學(xué)報,2002,28(1):27-33.LI M,ZHANG H G.Research of neural network modelling method[J].Acta Automatica Sinica,2002,28(1):27-33.
[3]YU H,REINER P D,XIE T,et al.An incremental design of radial basis function network [J].IEEE Transactions on Neural Networks and Learning Systems,2014,25(10):1793-1083.
[4]MALL R,SUYKENS J A K.Very sparse LSSVM reductions for large-scale data [J].IEEE Transactions on Neural Networks and Learning Systems,2015,26(5):1086-1097.
[5]PEARLMUTTER B A.Gradientcalculationsfordynamic recurrent neural networks:a survey [J].IEEE Transactions on Neural Networks,1995,6(5):1212-1228.
[6]ATIYA A F,PARLOS A G.New resultsonrecurrent network training:unifying the algorithmsand accelerating convergence[J].IEEE Transactions on Neural Networks,2000,11(3):697-709.
[7]ARRIAGA R I,RUTTER D,CAKMAK M,et al.Visual categorization with random projection [J].Neural Computation,2015,27(10):2132-2143.
[8] PAO Y H,TAKEFVJI Y.Functional-link net computing [J].IEEE Computer Journal,1992,25(5):76-79.
A network status evaluation method based on random projection
ZHAO Jinming
Wentong Company Limited,Taiyuan 030002,China
In recent years,machine learning has been widely used in network management.However,the complexity of the communication network is increasing,nonlinear and uncertain factors in the network make the machine learning more difficult.In order to improve the effect of machine learning,a scheme of artificial nervous network based on random projection was proposed.The characteristic of such scheme was the introduction of randomness in machine learning and network topology,which took the learning process more adaptability,and achieve faster and more accurate convergence.
machine learning,random projection,neural network,network management
TN913.2
A
10.11959/j.issn.1000-0801.2016224
2016-07-05;
2016-08-04
趙晉明(1973-),男,山西省太原市文通電子有限公司研發(fā)主管,主要研究方向為網(wǎng)絡(luò)管理系統(tǒng)的架構(gòu)和關(guān)鍵算法,具有豐富的理論和工程經(jīng)驗,為中國移動通信集團等運營商解決了大量運維難題,并實現(xiàn)多項關(guān)鍵技術(shù)突破。