陳 剛，夏 雷，李 林，梁多姿，晁 京

（中國鐵路上海局集團有限公司 科技和信息化部，上海 200071）

隨著鐵路運輸信息化水平快速提升，一些重要的信息系統(tǒng)的規(guī)模不斷擴大，系統(tǒng)架構(gòu)日益復雜，數(shù)據(jù)海量增長，對業(yè)務(wù)連續(xù)性要求和運行維護（簡稱：運維）質(zhì)量的要求不斷提高，與此同時，系統(tǒng)的運維也越來越復雜，運維管理難度越來越大?？v觀全路，各鐵路局集團有限公司（簡稱：鐵路局）的信息系統(tǒng)建設(shè)規(guī)模雖有一定差異，但總體上處在同一發(fā)展水平，運維人員的精簡化與系統(tǒng)規(guī)模擴張化的矛盾逐步凸顯，雖已采用運維工具對信息系統(tǒng)進行日常監(jiān)控，初步實現(xiàn)了信息系統(tǒng)運維的信息化管理，但是，大量信息系統(tǒng)的應(yīng)用日志、系統(tǒng)運行狀態(tài)數(shù)據(jù)未得到有效利用，其數(shù)據(jù)蘊藏的經(jīng)濟效益和管理價值未得到深度挖掘。路外行業(yè)針對智能化管理的研究取得了長足發(fā)展[1]，但是，在鐵路運輸領(lǐng)域，特別是在信息系統(tǒng)的智能化運用層面，仍處在探索階段。

鐵路局信息系統(tǒng)狀態(tài)診斷與輔助管理決策系統(tǒng)以上海鐵路局信息化管理方面的短板為切入點，充分利用機器系統(tǒng)運行日志和應(yīng)用系統(tǒng)日志，結(jié)合Hadoop、Kafka大數(shù)據(jù)技術(shù)，基于Ripple、STL算法，構(gòu)建了一個集成化、智能化、科學化的綜合處理與決策平臺，為信息化管理工作提供輔助決策，提高數(shù)據(jù)中心資源利用率，提升運維智能化水平，推進數(shù)據(jù)中心向綠色、節(jié)能方向轉(zhuǎn)變。

1 系統(tǒng)架構(gòu)

系統(tǒng)采用B/S架構(gòu)[2]，利用大數(shù)據(jù)組件進行數(shù)據(jù)存儲與檢索，通過智能化算法進行智能檢測。

1.1 邏輯架構(gòu)

根據(jù)功能性要求及非功能性要求設(shè)計系統(tǒng)的整體架構(gòu)。邏輯架構(gòu)由8個模塊組成，如圖1所示。

圖1 邏輯架構(gòu)圖

（1）數(shù)據(jù)采集：采用“目標源—代理中繼—有效過濾—落地使用”的原則，獲取原始數(shù)據(jù)，為后期數(shù)據(jù)處理分析提供基礎(chǔ)。

（2）數(shù)據(jù)處理：利用隊列服務(wù)器的處理思想，并利用流處理引擎完成，將獲取的數(shù)據(jù)轉(zhuǎn)換、傳送至數(shù)據(jù)持久化模塊。

（3）數(shù)據(jù)存儲：將結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)進行緩存處理，轉(zhuǎn)變成有效利用的合理化數(shù)據(jù)。

（4）查詢引擎：采用Ripple、STL等算法，對日志、數(shù)據(jù)加以解析，提供更為科學、貼近人工理解的查詢手段，為系統(tǒng)決策分析提供支撐。

（5）告警引擎：依據(jù)設(shè)定條件，結(jié)合算法推理，提供自動告警功能，輔助用戶開展運維決策工作。

（6）分析引擎：結(jié)合業(yè)務(wù)邏輯與實際生產(chǎn)數(shù)據(jù)的推理分析，通過Hadoop的海量數(shù)據(jù)，分析得出模型預測數(shù)據(jù)，為用戶提供多角度分析工具。

（7）展現(xiàn)引擎：利用可視化、多元化的報表、圖表插件，為用戶提供更為友好的訪問界面。

（8）系統(tǒng)管理：靈活配置數(shù)據(jù)采集、預警、查詢、分析等相關(guān)功能模塊的參數(shù)，為用戶提供方便、可視、直觀的業(yè)務(wù)管理手段。

8個模塊都可支持橫向擴展，提升每個模塊的吞吐量及處理能力，同時，每個模塊內(nèi)部都是多點分布式部署，保證了系統(tǒng)高可用、數(shù)據(jù)安全。在數(shù)據(jù)采集、處理、存儲及分析等模塊，采用了目前比較主流、成熟的開源組件。

1.2 物理架構(gòu)

充分考慮架構(gòu)的先進性、避免重復建設(shè)、減輕后期維護工作等方面，系統(tǒng)中需要的大數(shù)據(jù)相關(guān)組件滿足用戶要求，其他增量節(jié)點支持虛擬機，非存儲節(jié)點支持Docker或者Kubernetes部署，可調(diào)整節(jié)點數(shù)量，為后期系統(tǒng)的智能化擴容提供基礎(chǔ)[3]。系統(tǒng)物理架構(gòu)如圖2所示。

圖2 物理架構(gòu)圖

2 數(shù)據(jù)流程

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集分為有代理采集和無代理采集。無代理采集為在服務(wù)端采集，支持SNMP, DATABSE,TCP/UDP, SYSLOG, Restful等采集協(xié)議。有代理采集則用于本地文件采集、腳本采集等，采用多進程方式，即守護進程和工作進程的方式，既保證采集代理的穩(wěn)定性，又可以對工作進程的資源消耗進行控制，避免代理客戶端對被采集對象的資源消耗過大。數(shù)據(jù)采集流程如圖3所示。

圖3 數(shù)據(jù)采集流程圖

2.2 流處理層

流處理層基于Kafka Streaming，實現(xiàn)分布式的數(shù)據(jù)處理。

2.3 數(shù)據(jù)讀取

Kafka Streaming采用no-receiver方式直接從Kafka分區(qū)上并行讀取數(shù)據(jù)[4]。

2.4 數(shù)據(jù)處理

通過對數(shù)據(jù)的處理類型進行抽象提取，根據(jù)不同類型的數(shù)據(jù)源提供不同的可配置的數(shù)據(jù)處理邏輯接口，用戶可以通過界面配置的方式來配置數(shù)據(jù)的解析、轉(zhuǎn)換和處理邏輯。數(shù)據(jù)處理采用ZooKeeper、Kafka的流處理技術(shù)，通過接口方式，為數(shù)據(jù)持久化提供有效支撐。同時，借助Spark、hive、Hadoop等大數(shù)據(jù)相關(guān)數(shù)據(jù)庫，對數(shù)據(jù)進行存儲。數(shù)據(jù)處理流程如圖4所示。

2.5 數(shù)據(jù)寫入數(shù)據(jù)庫

Kafka streaming在處理完數(shù)據(jù)后，需要根據(jù)不同的數(shù)據(jù)類型將數(shù)據(jù)寫入不同的數(shù)據(jù)庫，結(jié)構(gòu)化數(shù)據(jù)寫入HBase，非結(jié)構(gòu)化數(shù)據(jù)寫入Elastic Search和Hadoop HDFS，兩者都是分布式數(shù)據(jù)庫，都基于分區(qū)／分片的方式存儲數(shù)據(jù)，默認在向上述兩個數(shù)據(jù)庫寫入數(shù)據(jù)時，依賴于外部數(shù)據(jù)庫進行數(shù)據(jù)路由處理，存在數(shù)據(jù)二次移動的問題，影響數(shù)據(jù)寫入效率，為此，在寫入之前預先計算好數(shù)據(jù)最終區(qū)／分片，避免數(shù)據(jù)的二次轉(zhuǎn)發(fā)。

2.6 數(shù)據(jù)存儲

數(shù)據(jù)存儲模塊提供數(shù)據(jù)冷熱自動轉(zhuǎn)儲功能，針對不同類型的數(shù)據(jù)，能夠支持以下3種存儲方式[5]：（1）業(yè)務(wù)數(shù)據(jù)，以固定的格式進行存儲，可方便查詢和分析時間序列數(shù)據(jù)，采用組件為HBase[6-7]和InfluxDB；（2）半結(jié)構(gòu)化數(shù)據(jù)，可對數(shù)據(jù)進行實時全文檢索和分詞搜索，采用組件為Elasticsearch；（3）關(guān)系型數(shù)據(jù)采用MySQL數(shù)據(jù)庫；非關(guān)系型數(shù)據(jù)選用Neo4j數(shù)據(jù)庫。

圖4 數(shù)據(jù)處理流程圖

3 主要功能

3.1 資源管理

資源分為硬件資源、軟件資源、應(yīng)用資源和資源池。通過收集硬件信息、軟件信息、應(yīng)用信息及其資源池信息，實現(xiàn)軟、硬件資源的集中管理。

3.2 服務(wù)器運行指標查看

通過大數(shù)據(jù)管理的方式查看一段時間內(nèi)的CPU、磁盤、內(nèi)存、磁盤IO速率、IP連接數(shù)和網(wǎng)絡(luò)IO數(shù)據(jù)，方便管理人員查看應(yīng)用系統(tǒng)整體使用趨勢和服務(wù)器的運行狀態(tài)。運行指標圖如圖5所示。

圖5 運行指標圖

3.3 系統(tǒng)畫像

（1）應(yīng)用總覽：展示應(yīng)用特征、客戶端操作系統(tǒng)、客戶端瀏覽器和訪問返回狀態(tài)。

（2）資源利用：按時間分布，展示CPU、內(nèi)存及磁盤利用的變化，并判斷其是否處于合理區(qū)間。

（3）應(yīng)用歷史狀態(tài)：分析資源使用的歷史狀態(tài)，為合理使用資源和預測風險做參考。從CPU、內(nèi)存、存儲、訪問量、IP增長率等多個維度綜合展示資源和使用情況的變化趨勢，并對歷史軌跡進行聚類，為系統(tǒng)從橫向的多維度與縱向的多角度進行綜合畫像，如圖6所示。

圖6 系統(tǒng)畫像圖

3.4 輔助決策

3.4.1 應(yīng)用趨勢預測

主要從CPU資源利用、內(nèi)存資源利用、存儲資源利用、IP連接數(shù)、訪問狀況趨勢、網(wǎng)絡(luò)IO等6個維度進行預測分析，為系統(tǒng)提出未來修、預測修、精準檢的解決方案。

3.4.2 應(yīng)用訪問分析

（1）通過大數(shù)據(jù)算力，集合全部應(yīng)用的訪問客戶端操作系統(tǒng)和瀏覽器，分析每一個操作系統(tǒng)和瀏覽器的類型和版本，提出升級建議；（2）分析服務(wù)器錯誤返回碼 ，建議維護處理；（3）分析錯誤返回碼中涉及應(yīng)用問題的次數(shù)，提示維護應(yīng)用。

3.4.3 資源管理建議

資源管理建議主要包括資源優(yōu)化應(yīng)用列表和資源擴容應(yīng)用列表：（1）資源優(yōu)化應(yīng)用列表中的應(yīng)用，說明資源分配過多，需要進行優(yōu)化調(diào)整；（2）資源擴容應(yīng)用列表中的應(yīng)用，說明資源需要擴容，應(yīng)當分配更多資源。

3.4.4 異常AI檢測

異常人工智能（AI）檢測包括應(yīng)用名稱、指標狀態(tài)展示、統(tǒng)計指標展示、結(jié)論描述等：（1）利用Ripple算法，計算各指標的異常情況。Ripple是一種基于互聯(lián)網(wǎng)的開源協(xié)議，實現(xiàn)去中心化的基本功能；（2）可查看指標，并直觀顯示出異常指標；（3）通過圖表直接查看異常點，如圖7所示。

圖7 異常指標顯示圖

3.4.5 節(jié)能控制預測

節(jié)能控制預測主要包括信息系統(tǒng)節(jié)能方案、預測節(jié)能功耗和信息系統(tǒng)功耗圖形化展示：（1）根據(jù)資源使用周期和趨勢，提供服務(wù)器資源關(guān)停、啟用時間段等建議；（2）測算系統(tǒng)節(jié)能方案的節(jié)能功耗；（3）圖形化展示系統(tǒng)能耗的使用情況，如圖8所示。

3.4.6 統(tǒng)一展示

圖8 節(jié)能預測圖

為用戶提供友好界面，如圖9所示。

圖9 輔助決策圖

4 關(guān)鍵技術(shù)

本文所涉及的各類算法均采用通用的Java、GO、Scala等語言，借助my eclipse開源平臺實現(xiàn)，采用Matlab工具對算法進行驗證，并在系統(tǒng)實際運行過程中進一步確認和優(yōu)化。

4.1 時間序列異常檢測算法

4.1.1 單指標異常檢測

通過STL（Seasonal-Trend decomposition procedure based on loess）算法對單個時間序列指標進行異常檢測[7]。算法支持周期性和非周期性的時間序列，支持靈敏度調(diào)節(jié)和異常去噪功能。

4.1.2 多指標異常檢測

基于自組織映射（SOM，Self Organizing Maps）神經(jīng)網(wǎng)絡(luò)算法?；跉v史數(shù)據(jù)的學習，生成基于每個輸入指標的神經(jīng)網(wǎng)絡(luò)，確定每個激活神經(jīng)元的鄰域半徑。檢測時，計算輸入多指標向量和相應(yīng)神經(jīng)元的距離，并確定異常及主要根因指標。

4.2 趨勢預測算法

基于可分解時間序列模型，考慮趨勢項、季節(jié)項和節(jié)假日效應(yīng)，對服務(wù)器或系統(tǒng)運行的正常與異常時間序列進行預測。

使用機器學習中的貝葉斯先驗概率，尋找數(shù)據(jù)中潛藏的趨勢改變點，擬合分段趨勢項，并利用傅立葉變換擬合季節(jié)項，通過貝葉斯采樣提升預測精度[8]。正常與異常時間序列預測結(jié)果的表示式為：

式（1）中：

g(t)—擬合時間序列中的分段線性增長或指數(shù)增長等趨勢；

s(t)—擬合周期項（如：每周/每年的季節(jié)性）；

h(t)—擬合非規(guī)律性的特殊日效應(yīng)；

εt—反映未在模型中體現(xiàn)的異常變動。

4.3 文本聚類算法

日志記錄的好壞直接關(guān)系到出現(xiàn)問題時定位的速度，根據(jù)日志結(jié)構(gòu)的特性，提出一種高效的實時日志聚類算法。

4.3.1 封裝預處理

定義日志中每個詞的封裝結(jié)構(gòu)，共包含normal、regex、important及verb共4種類型封裝結(jié)構(gòu)。

4.3.2 原始日志預處理

（1）正則化替換

利用正則表達式，將原始日志中詳細的IP地址、端口號、時間等利用$IP、$IPPort及DateTime等字符串替換，并進行簡單的封裝。

（2）敏感詞庫提出

根據(jù)語義分析和設(shè)置的敏感詞模式，對原始日志中的敏感詞進行處理，并將其類型設(shè)置為important。

（3）分詞器分詞

為對原始日志進行精準分詞，自定義3種類型的分詞器，分別用來處理中文分詞、英文分詞及中英文混合分詞等不同類型的分詞需求。

（4）公有變量提取

將原始日志中的數(shù)字、需要忽略的詞進行處理。

（5）詞性標注

利用事先建立的verb字典樹、normal字典樹和nltk插件進行詞性標注，防止在提取公共模板時，有意義的詞被泛化。其中，字典樹是一種實現(xiàn)字符串快速檢索的多叉樹結(jié)構(gòu)，能夠降低搜索字符串的時間。

4.3.3 獲取模板步驟

（1）日志分組

對處理后的原始日志進行分組處理，以便能夠快速定位。共定義了7個大組，每個大組中含有個數(shù)不等的小組，并且對它們都設(shè)置了匹配優(yōu)先級，原始日志優(yōu)先匹配級別較高的組，當同一條日志匹配到多個組時，將最先匹配到的組設(shè)置為該條日志所屬的組。

（2）倒排表打分

對日志進行分組之后，需要對日志匹配或者生成模板。通過對原始日志的分析，采用打分的方式判斷原始日志屬于哪個模板，為獲得最精確的模板，在打分時，綜合考慮關(guān)鍵詞得分、位置得分和鄰近詞得分3個方面因素。

關(guān)鍵詞得分是指對原始日志預處理后，該詞的類型是否為關(guān)鍵詞，當該詞為關(guān)鍵詞并且該詞在原始日志中的位置和在模板中的位置相差在合理的范圍內(nèi)，則該詞在該模板上得分較高，否則得分為1。具體打分方式如式（2）：

式（2）中，key為關(guān)鍵字集合，idxq為詞在原始日志中位置，為詞在該條模板中的位置，scope為用戶設(shè)置的閾值，θ為根據(jù)業(yè)務(wù)需求而設(shè)置的動態(tài)參數(shù)。

位置得分原則：各個位置的詞具有同樣的重要性；位置越靠前的詞權(quán)重越高。用戶可以根據(jù)不同的需求選擇不同的打分方式。

鄰近詞得分是指判斷在原始日志中的上一鄰近詞與模板中的是否相同，相同時，該詞的得分為1，否則給出懲罰。

為了提高打分效率，根據(jù)倒排表的思想，對每個詞建立倒排表，降低搜索時間。

（3）獲取模板

倒排表打分后，會得到該條日志在每個模板上的得分情況。設(shè)置得分閾值，對于達到得分閾值的模板，判斷模板中是否有關(guān)鍵詞被泛化，如果沒有，則說明該條日志與該條模板匹配成功；如果該條日志在每個模板上的得分都小于閾值，則利用該條日志創(chuàng)建一個新模板，添加到模板庫中。

（4）更新模板展示層內(nèi)容和倒排表內(nèi)容。

5 結(jié)束語

本文從底層架構(gòu)的設(shè)計理念出發(fā)，設(shè)計了鐵路局信息系統(tǒng)狀態(tài)診斷與輔助管理決策系統(tǒng)，介紹了系統(tǒng)的數(shù)據(jù)處理流程，以及系統(tǒng)的功能模塊與應(yīng)用效果，重點解析了系統(tǒng)的關(guān)鍵技術(shù)。系統(tǒng)已投入運行，運行結(jié)果表明，系統(tǒng)的應(yīng)用提高了信息系統(tǒng)運維管理水平，運維模式正在由半自動向自動化、智能化方向轉(zhuǎn)變，同時，提升了信息化投資決策水平，極大地提高了數(shù)據(jù)中心的資源利用率，促進信息化基礎(chǔ)設(shè)施投資更加科學合理，減少重復投資、資源浪費等現(xiàn)象，提升鐵路信息化投資決策水平。