任俊樺++劉峰

[摘 要]針對(duì)目前鐵路通信網(wǎng)絡(luò)管理各系統(tǒng)各自獨(dú)立，集中存儲(chǔ)數(shù)據(jù)缺乏，無(wú)法進(jìn)行全面檢測(cè)、統(tǒng)計(jì)和管理的現(xiàn)狀，提出了鐵路通信綜合網(wǎng)絡(luò)平臺(tái)建設(shè)的目標(biāo)，設(shè)計(jì)了建設(shè)優(yōu)化的系統(tǒng)架構(gòu)，并針對(duì)某鐵路局級(jí)綜合網(wǎng)絡(luò)管理中心的需求，進(jìn)行了方案實(shí)現(xiàn)，為滿足未來(lái)多系統(tǒng)共用大數(shù)據(jù)平臺(tái)的需要提供了前期基礎(chǔ)。

[關(guān)鍵詞]鐵路通信網(wǎng)絡(luò) 大數(shù)據(jù)平臺(tái) 數(shù)據(jù)分析

中圖分類號(hào)：U291-39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-914X（2016）07-0029-01

隨著中國(guó)鐵路的高速發(fā)展，鐵路通信網(wǎng)正迅速發(fā)展成為一個(gè)集光纖傳輸、無(wú)線傳輸、自動(dòng)管理等高度數(shù)字化的大型網(wǎng)絡(luò)[1]。然就目前而言，鐵路通信網(wǎng)各個(gè)系統(tǒng)相對(duì)獨(dú)立，無(wú)法進(jìn)行全面監(jiān)測(cè)、統(tǒng)計(jì)和管理，更無(wú)法為各個(gè)系統(tǒng)和系統(tǒng)間的建設(shè)和優(yōu)化提供數(shù)據(jù)分析[2]。特別在當(dāng)前大數(shù)據(jù)背景下，迫切需要通過(guò)綜合自動(dòng)管理技術(shù)，對(duì)各個(gè)系統(tǒng)信息進(jìn)行綜合呈現(xiàn)、綜合分析，以便整合鐵路資源和業(yè)務(wù)，為故障預(yù)測(cè)、預(yù)警提供數(shù)據(jù)基礎(chǔ)，為管理決策提供依據(jù)，從而實(shí)現(xiàn)鐵路運(yùn)營(yíng)管理方式的現(xiàn)代化。

1.現(xiàn)狀鐵路通信網(wǎng)絡(luò)管理存在的問(wèn)題

受建設(shè)歷史原因及設(shè)備提供商限制，目前鐵路網(wǎng)管中心存在二十多套系統(tǒng)，除通信組外，其它系統(tǒng)基本都是相互獨(dú)立，每套系統(tǒng)只針對(duì)各自的傳輸、設(shè)備等進(jìn)行管理。在我國(guó)信息化建設(shè)起步晚的大環(huán)境下，臺(tái)賬報(bào)表的生成、輔助資源的分配、環(huán)境動(dòng)力的布防、撤防及故障處理等很多工作是手工進(jìn)行，且不能根據(jù)故障告警自動(dòng)生成派工單，技術(shù)人員整日忙于電話接打中；告警定位沒(méi)有直觀形象的可視化界面顯示，只是給出數(shù)字指導(dǎo)，在有限的故障處理時(shí)間內(nèi)，在如駐波的告警處理、光功率的故障處理中不能迅速定位故障，存在匆忙中出錯(cuò)的可能；由于有些系統(tǒng)建設(shè)較新，還沒(méi)有形成豐富的專家知識(shí)庫(kù)及典型案例。大數(shù)據(jù)技術(shù)是當(dāng)前前沿技術(shù)，也是未來(lái)信息化發(fā)展的方向。但目前通信網(wǎng)管系統(tǒng)缺乏集中存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)存在散、亂狀態(tài)，不能為將來(lái)的大數(shù)據(jù)分析提供數(shù)據(jù)積累，也不能為未來(lái)信息化的發(fā)展做數(shù)據(jù)沉淀[3-4]。

2.鐵路通信網(wǎng)管系統(tǒng)建設(shè)目標(biāo)

通過(guò)對(duì)現(xiàn)有鐵路網(wǎng)管系統(tǒng)的整治，完善系統(tǒng)。對(duì)目前處于散、亂的數(shù)據(jù)進(jìn)行集中存儲(chǔ)管理，為將來(lái)的大數(shù)據(jù)分析積累基礎(chǔ)數(shù)據(jù)，并在大數(shù)據(jù)平臺(tái)上（Cloudera）進(jìn)行數(shù)據(jù)挖掘、關(guān)聯(lián)分析、預(yù)測(cè)性分析和統(tǒng)計(jì)。通過(guò)對(duì)告警歷史數(shù)據(jù)的回歸、關(guān)聯(lián)性分析，預(yù)測(cè)未來(lái)系統(tǒng)可能發(fā)生的故障，并定位故障點(diǎn)，提出故障處理意見，在故障處理規(guī)定的時(shí)間內(nèi)（如5分鐘內(nèi)上報(bào)，10分鐘處理完畢）指導(dǎo)技術(shù)人員快速定位和處理故障。

3.系統(tǒng)架構(gòu)

3.1 設(shè)計(jì)概要

為滿足大數(shù)據(jù)平臺(tái)下的業(yè)務(wù)需求，設(shè)計(jì)一種新的硬件架構(gòu)，以滿足多系統(tǒng)共用大數(shù)據(jù)平臺(tái)的需求。為此，以某局級(jí)鐵路用戶為例，考慮需新增x86服務(wù)器，作為ROSS系統(tǒng)數(shù)據(jù)采集解析的服務(wù)集群；在Cloudera大數(shù)據(jù)平臺(tái)上，完成數(shù)據(jù)匯總及數(shù)據(jù)分析功能。數(shù)據(jù)存儲(chǔ)共用大數(shù)據(jù)平臺(tái)的分布式文件系統(tǒng)（HDFS），數(shù)據(jù)分析在Cloudera大數(shù)據(jù)平臺(tái)上進(jìn)行。

3.2 設(shè)備選型及業(yè)務(wù)邏輯

系統(tǒng)服務(wù)器采用多臺(tái)x86虛擬機(jī)服務(wù)器作為采集服務(wù)器集群，使其具備橫向擴(kuò)展能力強(qiáng)、增減容方便、易于管理和監(jiān)控、可以快速部署上線等特點(diǎn)。

3.3 整體技術(shù)方案

該技術(shù)方案的核心是Cloudera大數(shù)據(jù)平臺(tái)。圖3是大數(shù)據(jù)平臺(tái)集群的架構(gòu)示意。針對(duì)本系統(tǒng)，采集/接口服務(wù)器、各系統(tǒng)的上層應(yīng)用服務(wù)器均作為Cline存在；通過(guò)TCP/IP網(wǎng)絡(luò)與大數(shù)據(jù)平臺(tái)通信。大數(shù)據(jù)平臺(tái)采用1個(gè)NameNode和多個(gè)DataNode的部署方式，并用Sqoop方式作為數(shù)據(jù)接收接口。

3.3.1 數(shù)據(jù)采集服務(wù)器

數(shù)據(jù)采集服務(wù)器負(fù)責(zé)歷史數(shù)據(jù)采集，采用CentOS Linux操作系統(tǒng)，部署專用的采集及解析軟件，其工作模式與傳統(tǒng)網(wǎng)管應(yīng)用采集、解析、入庫(kù)的方式類似，區(qū)別在于傳統(tǒng)方式解析文件后寫入數(shù)據(jù)庫(kù)，而本系統(tǒng)完成文件解析后直接寫入Cloudera Hadoop中。

3.3.2 大數(shù)據(jù)平臺(tái)

（1） 軟件設(shè)計(jì)方案

數(shù)據(jù)存儲(chǔ)采用HDFS保存解析后的原始數(shù)據(jù)文件；數(shù)據(jù)分析采用MapReduce作為分析工具；MapReduce用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算，可以極大地方便編程人員將程序運(yùn)行在分布式系統(tǒng)上。軟件實(shí)現(xiàn)可以指定一個(gè)Map函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce函數(shù)用來(lái)保證所有映射的鍵值對(duì)中每一個(gè)共享相同的鍵組。

（2） 硬件設(shè)計(jì)方案

大數(shù)據(jù)平臺(tái)存儲(chǔ)空間計(jì)算見表2。

即保存到大數(shù)據(jù)平臺(tái)的單文件大小為0.3MB，如需要保留9天的數(shù)據(jù)，如表2經(jīng)計(jì)算大數(shù)據(jù)平臺(tái)共需要3.2TB空間。

（3） 部署方案

依據(jù)上述情況，大數(shù)據(jù)平臺(tái)應(yīng)共用x86服務(wù)器3臺(tái)，采用1+2方式部署，其中，1臺(tái)服務(wù)器作為NameNode，用于元數(shù)據(jù)管理，采用雙機(jī)互備方式保證NameNode的高可用性；2臺(tái)服務(wù)器組成DataNode集群，用于元數(shù)據(jù)存儲(chǔ)，元數(shù)據(jù)存儲(chǔ)采用標(biāo)準(zhǔn)的1+2方式。單服務(wù)器硬件配置為8核CPU，32GB內(nèi)存、2TB硬盤。

3.3.3 應(yīng)用服務(wù)器

應(yīng)用服務(wù)器主要功能是針對(duì)匯總后的數(shù)據(jù)提供顯示功能。應(yīng)用服務(wù)器可以采用Linux服務(wù)器+Apache Tomcat方式提供服務(wù)。其與Hadoop集群通信主要有如下內(nèi)容：讀取匯總數(shù)據(jù)，將Hadoop處理后的匯總數(shù)據(jù)讀出，用于上層應(yīng)用的數(shù)據(jù)計(jì)算；讀取詳情數(shù)據(jù)，從Hadoop中直接讀取小時(shí)級(jí)別數(shù)據(jù)。

3.3.4 各服務(wù)器推薦配置

基于上述配置，各服務(wù)器最終配置見表3。

3.3.5 擴(kuò)展性

按照以上配置，當(dāng)整個(gè)大數(shù)據(jù)平臺(tái)確實(shí)由于資源不足導(dǎo)致應(yīng)用系統(tǒng)受到影響時(shí)，大數(shù)據(jù)平臺(tái)可以很容易地完成硬件擴(kuò)容，即只要將新的服務(wù)器加入大數(shù)據(jù)平臺(tái)集群即可，新加入服務(wù)器的數(shù)據(jù)文件重分配工作會(huì)由大數(shù)據(jù)平臺(tái)自動(dòng)完成。

4.功能實(shí)現(xiàn)

以上對(duì)某局級(jí)鐵路網(wǎng)管中心提出的需求做了較為全面的方案實(shí)現(xiàn)。從實(shí)現(xiàn)效果看，前期先解決了目前關(guān)心的問(wèn)題，即通過(guò)大數(shù)據(jù)基礎(chǔ)平臺(tái)的建設(shè)，實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)的全面留存，為相關(guān)設(shè)備老化更換提供數(shù)據(jù)基礎(chǔ)；實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)的趨勢(shì)分析，為設(shè)備超預(yù)警提供預(yù)判基礎(chǔ)；為數(shù)據(jù)多元化分析提供了平臺(tái)。完成的主要功能有：

4.1 數(shù)據(jù)管理

對(duì)現(xiàn)有通訊系統(tǒng)中的某些端口實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)進(jìn)行抓取，并對(duì)其進(jìn)行統(tǒng)計(jì)分析。包括數(shù)據(jù)采集和數(shù)據(jù)分析兩個(gè)子功能模塊。

4.2 故障管理

4.2.1 故障登記

信息中心值班人員可在系統(tǒng)登記各類軟硬件故障記錄，系統(tǒng)將記錄登記人、登記時(shí)間等關(guān)聯(lián)信息。

4.2.2 故障分析

系統(tǒng)具有如下范圍內(nèi)的故障統(tǒng)計(jì)分析功能：

（1）故障查詢。根據(jù)提供的查詢條件實(shí)時(shí)檢索故障明細(xì)，查詢故障具體情況；

（2）故障數(shù)量統(tǒng)計(jì)。統(tǒng)計(jì)選定范圍內(nèi)（時(shí)間范圍、選定站區(qū)）各類故障發(fā)生的次數(shù)；

（3）故障發(fā)生趨勢(shì)。提供某類設(shè)施或端口故障發(fā)生的趨勢(shì)，并提前預(yù)警。

（4）運(yùn)行監(jiān)測(cè)。光功率性能監(jiān)控系統(tǒng)監(jiān)測(cè)光纜線路中的光功率、駐波比、誤碼率等重要指標(biāo)，并通過(guò)可視化技術(shù)，進(jìn)行直觀、全面、便捷地查看，提供查看某設(shè)備中各項(xiàng)指標(biāo)的歷史變化曲線供業(yè)務(wù)人員分析。

5.結(jié)束語(yǔ)

本文針對(duì)我國(guó)鐵路通信網(wǎng)絡(luò)管理系統(tǒng)存在的問(wèn)題，指出基于大數(shù)據(jù)平臺(tái)的鐵路通信網(wǎng)絡(luò)管理系統(tǒng)建設(shè)優(yōu)化設(shè)計(jì)的必要性，并提出了系統(tǒng)建設(shè)目標(biāo)、架構(gòu)方案。通過(guò)在某局級(jí)鐵路通信網(wǎng)絡(luò)管理系統(tǒng)實(shí)現(xiàn)，證明具有可行性和普遍參考價(jià)值。

參考文獻(xiàn)

[1].陸紅群.鐵路通信網(wǎng)向下一代發(fā)展的思考[J]，鐵路通信信號(hào)，2012，9（4）：33-37

[2].賈靖宇，付偉.鐵路通信綜合網(wǎng)管的提出及應(yīng)用[J]，鐵道通信信號(hào)，2009，45（6）：45-47

[3].王令朝.鐵路計(jì)算機(jī)通信網(wǎng)絡(luò)管理的認(rèn)識(shí)和對(duì)策[J]，鐵道通信信號(hào)，2010，44（3）：54-56

[4] 王遠(yuǎn)波.朔黃鐵路通信網(wǎng)絡(luò)管理系統(tǒng)現(xiàn)狀分析[J]，鐵道建筑技術(shù)，2006（增）：55-56

作者簡(jiǎn)介

任俊樺，女，1987年4月生，劉峰，男.