摘 要:光傳送網(wǎng)管理系統(tǒng)負(fù)責(zé)管理包含光傳送網(wǎng)層網(wǎng)絡(luò)實(shí)體的網(wǎng)絡(luò)單元,是電信管理網(wǎng)的一部分。將數(shù)據(jù)挖掘技術(shù)引入光傳送網(wǎng)管理領(lǐng)域,構(gòu)建一套基于數(shù)據(jù)挖掘技術(shù)的光傳送網(wǎng)管理系統(tǒng)。首先分析數(shù)據(jù)挖掘在光傳送網(wǎng)管理系統(tǒng)中應(yīng)用的必要性,然后建立基于數(shù)據(jù)挖掘的光傳送網(wǎng)管理系統(tǒng)的體系結(jié)構(gòu)和功能模型,最后構(gòu)建該系統(tǒng)的數(shù)據(jù)挖掘流程圖。該系統(tǒng)具有智能性、自動性和遠(yuǎn)程性,為光傳送網(wǎng)管理系統(tǒng)的開發(fā)和利用奠定了基礎(chǔ)。
關(guān)鍵詞:數(shù)據(jù)挖掘;光傳送網(wǎng);網(wǎng)絡(luò)管理;體系結(jié)構(gòu);功能模型
Application of Data Mining Technology in Optical Transport Network Management System
LIAO Xiaomin,HANG Yinfa,LIN Chushan,WANG Yangyang
(Optical Communication Laboratory,Xi′an Communication Institute,Xi′an,710106,China
Abstract:Optical transport network management system manages the network elements including lay network entities in optical transport network,it′s a part of telecommunications management network.The article applies data mining technology to optical transport network management area,builds a optical transport network management system based on data mining,firstly,analyses feasibilities of applying data mining technology to optical transport network management system,then describes framework and function model of the system based on data mining technology,finally builds the data mining flow chart of the system.This system is intelligent,automatic and remote system,which establishes the base for the design and utilization of optical transport network management system.
eywords:data mining;optical transport network;network management;framework;function model
1 引 言
隨著WDM光傳輸技術(shù)的飛速發(fā)展,光傳送網(wǎng)由點(diǎn)到點(diǎn)網(wǎng)絡(luò)、環(huán)網(wǎng)逐步向網(wǎng)狀網(wǎng)演變,光傳送網(wǎng)的管理已成為電信網(wǎng)絡(luò)管理的重要研究課題。目前,光傳送網(wǎng)的管理技術(shù)尚處于發(fā)展階段,能否構(gòu)建出一種智能的、開放的管理系統(tǒng)以便對光傳送網(wǎng)實(shí)施有效的控制和管理是所有光網(wǎng)絡(luò)運(yùn)營者十分關(guān)注的問題。本文將數(shù)據(jù)挖掘技術(shù)引入光傳送網(wǎng)管理領(lǐng)域,構(gòu)建了一套基于數(shù)據(jù)挖掘技術(shù)的光傳送網(wǎng)管理系統(tǒng),把一種科學(xué)、快捷、方便的思想應(yīng)用于光傳送網(wǎng)管理領(lǐng)域,使光傳送網(wǎng)管理系統(tǒng)具有智能性、自動性和遠(yuǎn)程性,在光傳送網(wǎng)管理領(lǐng)域具有突出的優(yōu)越性和廣泛的應(yīng)用前景。
2 數(shù)據(jù)挖掘在光傳送網(wǎng)管理系統(tǒng)中應(yīng)用的必要性
數(shù)據(jù)挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是有用的信息和知識的過程。在光傳送網(wǎng)管理系統(tǒng)中采用數(shù)據(jù)挖掘技術(shù)有以下3方面必要性:
(1 在知識獲取方面,數(shù)據(jù)挖掘技術(shù)可以通過對案例庫中的實(shí)例進(jìn)行學(xué)習(xí),自動從實(shí)例中獲取知識,然后將其存放于知識庫中。這種知識的獲取方式是自動的,不需要知識工程師和領(lǐng)域?qū)<抑g的直接對話,這在一定程度上克服了傳統(tǒng)光傳送網(wǎng)管理系統(tǒng)中存在的知識獲取“瓶頸”問題和知識的“窄臺階效應(yīng)”問題[1]。
(2 在推理機(jī)制方面,數(shù)據(jù)挖掘技術(shù)運(yùn)用數(shù)據(jù)挖掘算法進(jìn)行全方位推理,即在推理時根據(jù)不同需要將不同維度里的運(yùn)行狀態(tài)參數(shù)綜合起來進(jìn)行分析計(jì)算,這可以克服傳統(tǒng)推理機(jī)制具有單一方面的精度高而忽視了其他方面影響的缺點(diǎn)。
(3 在知識表示方面,數(shù)據(jù)挖掘技術(shù)可以把從系統(tǒng)外得到并用數(shù)據(jù)輸入系統(tǒng)的知識推廣,知識表達(dá)很明確,是一種可以讓專家識別的形式,所以容易證實(shí)。
3 基于數(shù)據(jù)挖掘的光傳送網(wǎng)管理系統(tǒng)的設(shè)計(jì)
光傳送網(wǎng)的管理應(yīng)當(dāng)建立在與現(xiàn)有的網(wǎng)絡(luò)管理系統(tǒng)平臺(如SDH網(wǎng)兼容的基礎(chǔ)上,同時應(yīng)向自動化、智能化方向發(fā)展?;跀?shù)據(jù)挖掘技術(shù)構(gòu)建的光傳送網(wǎng)管理系統(tǒng),可以實(shí)現(xiàn)這方面的功能,從而對光網(wǎng)絡(luò)實(shí)施有效的管理和監(jiān)控。
3.1 系統(tǒng)的體系結(jié)構(gòu)
光傳送網(wǎng)與網(wǎng)管系統(tǒng)處在不同地理位置,通過計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行互連,網(wǎng)管系統(tǒng)可以遠(yuǎn)程地、自動地、智能地監(jiān)控光傳送網(wǎng),并將監(jiān)控結(jié)果上報(bào)管理人員。網(wǎng)管系統(tǒng)的體系結(jié)構(gòu)主要包括以下3個模塊,如圖1所示。
數(shù)據(jù)采集模塊數(shù)據(jù)采集模塊向診斷中心提供大量網(wǎng)絡(luò)信息,包括設(shè)備類型、設(shè)備工作狀態(tài)、設(shè)備位置狀況、時間信息、告警信息以及性能指標(biāo)等。數(shù)據(jù)采集模塊主要通過以下兩種途徑收集信息:從專業(yè)網(wǎng)管的標(biāo)準(zhǔn)接口或私有數(shù)據(jù)庫接口實(shí)現(xiàn)告警、性能等數(shù)據(jù)的采集;在客戶端或局端上部署硬件探針完成網(wǎng)絡(luò)告警和性能數(shù)據(jù)的采集[2]。
智能診斷模塊智能診斷模塊集中了光傳送網(wǎng)中幾乎所有的信息,擁有與用戶共享的知識庫、案例庫、資源庫和方法庫,供用戶隨時調(diào)用。采用數(shù)據(jù)挖掘軟件對光網(wǎng)絡(luò)信息進(jìn)行實(shí)時挖掘,并采用推理機(jī)制對實(shí)際問題進(jìn)行推理,將挖掘結(jié)果以友好的界面上報(bào)給管理人員。該模塊具有專家級水平,能夠自動地對光網(wǎng)絡(luò)信息進(jìn)行分析處理,是光傳送網(wǎng)管理系統(tǒng)的核心模塊。
計(jì)算機(jī)通信網(wǎng)絡(luò)計(jì)算機(jī)通信網(wǎng)絡(luò)是連接光傳送網(wǎng)、診斷子系統(tǒng)和管理人員的橋梁。光傳送網(wǎng)信息通過Internet傳至診斷中心,診斷中心對這些信息進(jìn)行預(yù)處理,然后選擇挖掘算法進(jìn)行數(shù)據(jù)挖掘,并將結(jié)果通過Internet傳輸至管理人員。
3.2 系統(tǒng)的功能模型
基于數(shù)據(jù)挖掘技術(shù)的光傳送網(wǎng)管理系統(tǒng)的功能模型,是對光傳送網(wǎng)管理系統(tǒng)的結(jié)構(gòu)、功能和應(yīng)用的集中描述。系統(tǒng)的功能模型分4個層次:采集適配層、數(shù)據(jù)支撐層、應(yīng)用層、表示層,如圖2所示。
采集適配層采集適配層包括網(wǎng)元設(shè)備、網(wǎng)絡(luò)通信、探針系統(tǒng)、領(lǐng)域?qū)<业龋鼈兪切畔?、知識的來源,為采集子系統(tǒng)服務(wù),其變化將會引起數(shù)據(jù)支撐層、應(yīng)用層、表示層中相關(guān)數(shù)據(jù)、信息和知識的變化。
數(shù)據(jù)支撐層數(shù)據(jù)支撐層包括資源庫、知識庫、案例庫和方法庫,它們?yōu)閼?yīng)用層提供數(shù)據(jù)支撐。資源庫存放與網(wǎng)絡(luò)監(jiān)測有關(guān)的信息,如網(wǎng)元設(shè)備狀態(tài)信息,性能參數(shù)、歷史數(shù)據(jù)等,為智能診斷提供原始數(shù)據(jù)支持;知識庫存放領(lǐng)域?qū)<业慕?jīng)驗(yàn)、知識以及利用數(shù)據(jù)挖掘技術(shù)挖掘出的新規(guī)則,庫中的知識能被智能診斷中的推理機(jī)制采用;案例庫存放一些實(shí)例以及診斷過程中產(chǎn)生的新實(shí)例;方法庫存放整個系統(tǒng)協(xié)調(diào)工作的方法和策略,是系統(tǒng)的控制中心[3]。
應(yīng)用層應(yīng)用層主要包括5個功能區(qū):故障管理、配置管理、性能管理、安全管理和會計(jì)管理。故障管理是指對光網(wǎng)絡(luò)進(jìn)行故障診斷、故障定位、故障隔離、故障校正以及故障預(yù)測;配置管理是指通過對網(wǎng)元設(shè)備信息的實(shí)時挖掘,實(shí)現(xiàn)光連接的建立、保護(hù)倒換、資源調(diào)度,以及管理用戶信號進(jìn)入光學(xué)層的適配性;性能管理是指通過監(jiān)控和管理各種估量網(wǎng)絡(luò)性能的參數(shù),對光網(wǎng)絡(luò)實(shí)行性能監(jiān)視、性能控制和性能分析;安全管理是指通過分析性能參數(shù)和安全告警,識別各種非法入侵行為;會計(jì)管理是一種負(fù)責(zé)記費(fèi)和開發(fā)網(wǎng)絡(luò)元器件的壽命歷史記錄的功能[4]。
表示層表示層負(fù)責(zé)把管理人員熟悉的信息表示手段,如自然語言、表格、圖形等轉(zhuǎn)換成內(nèi)部表示形式,再交給智能診斷系統(tǒng)去處理,同時把診斷系統(tǒng)輸出的信息轉(zhuǎn)換成管理人員能理解的形式顯示給管理人員。
4 光傳送網(wǎng)管理系統(tǒng)應(yīng)用數(shù)據(jù)挖掘的具體流程
在光傳送網(wǎng)管理系統(tǒng)中,數(shù)據(jù)挖掘技術(shù)主要應(yīng)用于智能診斷子系統(tǒng),通過對資源庫和案例庫中的數(shù)據(jù)進(jìn)行高效快速的信息挖掘,尋找出隱含的、有意義的知識,并將其存入知識庫,以便管理人員使用。光傳送網(wǎng)管理系統(tǒng)應(yīng)用數(shù)據(jù)挖掘的具體流程,包括:業(yè)務(wù)和數(shù)據(jù)理解、數(shù)據(jù)預(yù)處理、建立挖掘模型、評價(jià)和實(shí)施,如圖3所示。
(1 業(yè)務(wù)和數(shù)據(jù)理解。光傳送網(wǎng)管理人員應(yīng)該從技術(shù)的角度進(jìn)行需求分析,并把業(yè)務(wù)領(lǐng)域的目標(biāo)轉(zhuǎn)換成相應(yīng)的數(shù)據(jù)挖掘目標(biāo),同時對數(shù)據(jù)挖掘所需的數(shù)據(jù)進(jìn)行全面調(diào)查,利用數(shù)據(jù)采集子系統(tǒng)收集所需要的數(shù)據(jù)。例如,業(yè)務(wù)目標(biāo)是“對光傳送網(wǎng)中出現(xiàn)的故障進(jìn)行定位”,相應(yīng)的數(shù)據(jù)挖掘目標(biāo)則是“網(wǎng)元及鏈路的告警信息和性能參數(shù),正常行為的規(guī)則庫,已知的故障類型及其規(guī)則庫, 預(yù)測故障出現(xiàn)的位置”,收集的數(shù)據(jù)有“網(wǎng)絡(luò)中出現(xiàn)的告警,有關(guān)網(wǎng)絡(luò)運(yùn)行狀況的數(shù)據(jù)”。)
(2 數(shù)據(jù)預(yù)處理。包括數(shù)據(jù)清洗、數(shù)據(jù)構(gòu)建、數(shù)據(jù)集成和數(shù)據(jù)格式化,這些處理可交叉反復(fù)進(jìn)行,從而將原始數(shù)據(jù)轉(zhuǎn)化為適合數(shù)據(jù)挖掘工具處理的最終目標(biāo)數(shù)據(jù)。數(shù)據(jù)清洗的任務(wù)是將數(shù)據(jù)質(zhì)量提高到滿足分析精度的要求,保證數(shù)據(jù)值的正確性和一致性,解決字段值的缺失問題;數(shù)據(jù)構(gòu)建是指從一個或幾個已知屬性構(gòu)建新屬性、生成新記錄;數(shù)據(jù)集成是將來自不同表或記錄的數(shù)據(jù)合并起來產(chǎn)生新的記錄或?qū)傩灾?;?shù)據(jù)格式化是對數(shù)據(jù)進(jìn)行語法上的修改,使數(shù)據(jù)滿足建模工具的需要[5]。
(3 建立挖掘模型。光傳送網(wǎng)管理人員首先將數(shù)據(jù)分成訓(xùn)練集和測試集,在訓(xùn)練集上運(yùn)行建模工具,選擇合適的數(shù)據(jù)挖掘算法建立模型,并調(diào)整參數(shù)使模型達(dá)到最優(yōu),然后在測試集上對模型進(jìn)行評估。其中數(shù)據(jù)挖掘算法包括決策樹、神經(jīng)網(wǎng)絡(luò)、粗糙集、遺傳算法等。
(4 評價(jià)。評價(jià)階段是指將挖掘模型以可視化技術(shù)和知識表示技術(shù)展示給管理人員,由管理人員根據(jù)領(lǐng)域知識和數(shù)據(jù)挖掘成功標(biāo)準(zhǔn)來解釋所得到的模型,并對模型進(jìn)行全面評價(jià),以確定是否完全達(dá)到了業(yè)務(wù)目標(biāo),最終做出是否應(yīng)用數(shù)據(jù)挖掘結(jié)果的決策。如果結(jié)果不能令管理人員滿意,需要重復(fù)以上數(shù)據(jù)挖掘過程。該步驟可能導(dǎo)致回到前面任何一步,從而使后續(xù)步驟或若干個后續(xù)步驟反復(fù)進(jìn)行。[LL]
(5 實(shí)施。光傳送網(wǎng)管理人員根據(jù)挖掘結(jié)果對光傳送網(wǎng)進(jìn)行維護(hù),同時將數(shù)據(jù)挖掘產(chǎn)生的知識存入知識庫,該實(shí)例存入案例庫,并將有關(guān)數(shù)據(jù)存入資源庫。
5 結(jié) 語
數(shù)據(jù)挖掘技術(shù)是一種新興的數(shù)據(jù)分析手段,到目前為止,一些商業(yè)數(shù)據(jù)挖掘產(chǎn)品已得到應(yīng)用,但數(shù)據(jù)挖掘結(jié)合光傳送網(wǎng)的特點(diǎn)應(yīng)用到該領(lǐng)域的研究還未展開。隨著光傳送網(wǎng)的進(jìn)一步發(fā)展,在光傳送網(wǎng)管理系統(tǒng)的各項(xiàng)應(yīng)用中對數(shù)據(jù)分析的要求也越來越高,適時地將數(shù)據(jù)挖掘技術(shù)引入光傳送網(wǎng)管理系統(tǒng)中,對于解決現(xiàn)有問題必將起到積極作用。本文利用數(shù)據(jù)挖掘技術(shù)建立的光傳送網(wǎng)管理系統(tǒng),具有智能性、自動性和遠(yuǎn)程性等優(yōu)點(diǎn),該系統(tǒng)能夠從大量的網(wǎng)絡(luò)數(shù)據(jù)中自動產(chǎn)生精確的、實(shí)用的管理模型,適用于任何計(jì)算環(huán)境,更加符合網(wǎng)絡(luò)動態(tài)實(shí)際情況,對光傳送網(wǎng)管理系統(tǒng)的研究起到了一定的推動作用。本文只是對數(shù)據(jù)挖掘技術(shù)在光傳送網(wǎng)管理系統(tǒng)中的應(yīng)用做了初步探索,進(jìn)一步研究工作還在繼續(xù)中。
參 考 文 獻(xiàn)
[1]李運(yùn)爽.混合型專家系統(tǒng)的設(shè)計(jì)及其在材料設(shè)計(jì)中的應(yīng)用[D].天津:河北工業(yè)大學(xué),2005.
[2]David Andersen G,Nick Feamster.Challenges and Opportunities in Internet Data Mining.http://www.pdl.cmu.edu/PDL-FTP/stray/CMU-PDL-06-102.pdf.Jan 2006/Nov 2007.
[3]韓彥嶺,陳云,曹守啟.基于數(shù)據(jù)挖掘技術(shù)的遠(yuǎn)程服務(wù)與故障診斷[J].計(jì)算機(jī)集成制造系統(tǒng),2003,9(2:158-162.
[4]Rajiv Ramaswami,umar N Sivarajan.光網(wǎng)絡(luò)·下卷:組網(wǎng)技術(shù)分析[M].北京:機(jī)械工業(yè)出版社,2004.
[5]蘇新寧,楊建林,江念南.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘[M].北京:清華大學(xué)出版社,2006.