郭軍梅

（山西省交通信息通信公司，山西 太原 030006）

近年來，山西省高速公路建設(shè)規(guī)模發(fā)生了突飛猛進的發(fā)展，當(dāng)前信息化及網(wǎng)絡(luò)化技術(shù)日新月異，隨著山西省高速公路里程數(shù)的逐年增長，車流量及網(wǎng)絡(luò)數(shù)據(jù)流量也成倍增長，對網(wǎng)絡(luò)帶寬與數(shù)據(jù)存儲、處理的要求也越來越高，山西省收費中心機房是全省收費數(shù)據(jù)轉(zhuǎn)發(fā)、處理及存儲的中心，其核心地位要求所有設(shè)備及配置具有高可靠性、可擴展性、先進性的架構(gòu)設(shè)計，所以應(yīng)配置較高端、可靈活擴展的核心處理存儲設(shè)備。而目前收費中心服務(wù)器及存儲設(shè)備是2007年建設(shè)并運行的，隨著長時間的運行，收費結(jié)算中心的設(shè)備面臨著老化，系統(tǒng)設(shè)計瓶頸、性能基本飽和、業(yè)務(wù)需求增加等現(xiàn)實問題，升級改造迫在眉睫，為此，本文主要研究收費中心數(shù)據(jù)處理及存儲改造時架構(gòu)設(shè)計問題。

1 山西省高速公路數(shù)據(jù)處理存儲系統(tǒng)現(xiàn)狀

數(shù)據(jù)處理存儲系統(tǒng)是收費中心網(wǎng)絡(luò)系統(tǒng)的核心，由4臺小型機、一臺磁盤陣列、兩臺光纖通道交換機及備份軟件組成，小型機采用N+1熱備運行方式，利用集群軟件組成一個3節(jié)點的cluster，其中兩臺小型機sever195sever196運行兩個數(shù)據(jù)庫實例，分別對全省收費數(shù)據(jù)進行處理及存儲，另外一臺sever197做為備份服務(wù)器，平時3臺主機同時工作，兩臺承載生產(chǎn)業(yè)務(wù)，當(dāng)其中一臺出現(xiàn)故障，應(yīng)用業(yè)務(wù)自動切換到備用主機上，故障修復(fù)后，應(yīng)用業(yè)務(wù)切換回原主機運行，sever194做為應(yīng)用測試及備份數(shù)據(jù)恢復(fù)測試使用，結(jié)構(gòu)網(wǎng)絡(luò)圖如圖1、圖2。

圖1 收費中心數(shù)據(jù)處理存儲系統(tǒng)現(xiàn)狀結(jié)構(gòu)網(wǎng)絡(luò)圖

圖2 收費中心數(shù)據(jù)處理存儲系統(tǒng)現(xiàn)狀架構(gòu)圖

1.1 系統(tǒng)設(shè)備老化

4臺小型機、光纖交換機及磁盤陣列是2007年更換的設(shè)備，24 h不停機已運行8年之久，一般根據(jù)電子設(shè)備工作壽命及更新?lián)Q代5～8年來計算，該批設(shè)備已停產(chǎn)，配件已無法在市場上采購到，而且在運行當(dāng)中多次出現(xiàn)主板、電源、光纖模塊老化等故障。

1.2 系統(tǒng)性能及設(shè)備容量基本飽和

根據(jù)2007年收費存儲系統(tǒng)更換方案的設(shè)計，當(dāng)時山西省高速公路通車里程約為2000 km，而2016年通車里程達5265 km，約是當(dāng)時的2.6倍，當(dāng)時全省通車運營的收費站有160個，目前通車運營的收費站為307個，是原來的1.9倍?，F(xiàn)金及非現(xiàn)金的磁盤陣列存儲量及每天數(shù)據(jù)增長量如表1所示。

表1 數(shù)據(jù)量增長表

隨著高速公路通車里程的增長，收費站數(shù)量逐年增加，隨之帶來的是網(wǎng)絡(luò)邊界與設(shè)備的不斷擴容，以上數(shù)據(jù)表明2011年以后數(shù)據(jù)量呈現(xiàn)猛增的趨勢，因此對數(shù)據(jù)處理系統(tǒng)提出了更高的要求。通過查看服務(wù)器設(shè)備CPU使用率與內(nèi)存占用率，發(fā)現(xiàn)CPU使用率已達90%，內(nèi)存占用率已達95%以上，磁陣硬盤剩余空間只有1.5 T左右，因此數(shù)據(jù)處理服務(wù)器處于高負荷運行狀態(tài)，升級更換核心存儲設(shè)備迫在眉睫。

1.3 未來業(yè)務(wù)應(yīng)用的需求

在信息化蓬勃發(fā)展的今天，應(yīng)用業(yè)務(wù)及新技術(shù)應(yīng)用增長異常迅猛，高速公路產(chǎn)生的收費數(shù)據(jù)業(yè)務(wù)不僅內(nèi)容多，結(jié)構(gòu)也會發(fā)生較大的變化，尤其是在2015年全國29省市ETC聯(lián)網(wǎng)以后，新業(yè)務(wù)形式會在收費系統(tǒng)中大量地應(yīng)用，根據(jù)山西省高速公路管理局2017年的計劃，本年度內(nèi)將在全省所有車道增加全車牌高清識別系統(tǒng)，收費數(shù)據(jù)中不僅有各類報表、還增加了圖片，以后還可能有視頻、音頻等，另外管理者對數(shù)據(jù)的專項校核、數(shù)據(jù)的查詢頻率也相應(yīng)增大，全國聯(lián)網(wǎng)前收費中心要求數(shù)據(jù)進行月報，聯(lián)網(wǎng)后交通部路網(wǎng)監(jiān)測及應(yīng)急處置中心要求數(shù)據(jù)進行旬報，數(shù)據(jù)的查詢、統(tǒng)計消耗大量的系統(tǒng)資源，對小型機處理能力提出了極大的挑戰(zhàn)。因此，不僅需要提升網(wǎng)絡(luò)設(shè)備性能，增加網(wǎng)絡(luò)的接入帶寬，更主要的是提升核心服務(wù)器的數(shù)據(jù)處理及存儲的性能和容量。

2 改造的架構(gòu)設(shè)計

2.1 新架構(gòu)設(shè)計原則

2.1.1 可用性

分為用、可用兩個方面，滿足需求，考慮應(yīng)用增速，預(yù)留富余能力。

a）用 系統(tǒng)能力要符合應(yīng)用需求。

b）可用 要有足夠的冗余度，考慮今后5～8年應(yīng)用需求，保證應(yīng)用持續(xù)可使用。

2.1.2 成本

分為構(gòu)建成本、運維成本兩個方面，滿足第一原則的前提下，越低越好。

a）構(gòu)建成本 系統(tǒng)構(gòu)建需要的硬件、軟件、實施費用等。

b）運維成本 系統(tǒng)上線后，維保、升級、擴容的費用。

2.1.3 可擴展性

每一個方案在設(shè)計時不能只針對當(dāng)前需求去設(shè)計，在設(shè)計之初就要考慮好擴展的問題，擴展性從兩個方向考慮。

a）技術(shù)的發(fā)展方向。在目前技術(shù)的基礎(chǔ)上，要考慮未來5年之內(nèi)技術(shù)的發(fā)展方向及業(yè)務(wù)需求。

b）選擇的自由度。

2.1.4 日常運維

應(yīng)考慮有效監(jiān)控、維護簡單、便捷與可視化。主要有以下4點：

a）易檢查；

b）易管理；

c）維護簡單；

d）能耗低。

2.2 新架構(gòu)設(shè)計方案

根據(jù)以上數(shù)據(jù)處理服務(wù)器、存儲系統(tǒng)現(xiàn)狀及問題本文提出3種改造架構(gòu)。

2.2.1 傳統(tǒng)UNIX小型機架構(gòu)

圖3 傳統(tǒng)UNIX小型機架構(gòu)圖

傳統(tǒng)UNIX架構(gòu)，3臺小型機+SAN網(wǎng)絡(luò)+FC存儲+SF+Oracle+NBU，將目前oracle9i升級到11g或12c。

a）采用2+1集群配置，搭建oracle集群，一備二有效利用硬件資源。

b）通過SF軟件強大的snap功能，每日進行數(shù)據(jù)庫快照容災(zāi)，有效保障數(shù)據(jù)安全，將數(shù)據(jù)恢復(fù)時間從天縮短至分鐘級，規(guī)避人為誤操作。

c）通過SF軟件專有的ODM功能，大幅提升oracle運行速度。

d）當(dāng)前7.1版的NBU不支持oracle11g，需升級NBU到最新7.7.2。

優(yōu)點 技術(shù)成熟，穩(wěn)定性高。

缺點 硬件成本高，后期維護費用大。小型機技術(shù)處于淘汰階段，發(fā)展不明朗。

2.2.2 X86超融合架構(gòu)

圖4 X86超融合架構(gòu)圖

全新X86 VSAN架構(gòu)，X86服務(wù)器+IB網(wǎng)絡(luò)+SF+Oracle+NBU，將目前oracle9i升級到11g或12c。

采用4節(jié)點集群配置，搭建FSS集群，2U機架式X86服務(wù)器，本地高性能SSD盤+大容量SAS盤混用。

a）FSS軟件搭建VSAN架構(gòu)，利用本地盤替代傳統(tǒng)存儲，在節(jié)省成本的同時，大幅提高IO性能。

b）通過SF軟件專有的ODM功能，大幅提升oracle運行速度。

c）當(dāng)前 7.1版 NBU不支持oracle11g，需升級NBU到最新7.7.2。為提高備份速度建議采購專用的X86服務(wù)器用于備份，配合未來機房的萬兆網(wǎng)環(huán)境，實現(xiàn)數(shù)據(jù)庫快速備份。

優(yōu)點 IT技術(shù)發(fā)展方向，價格低廉、高性能、低維護成本。

缺點 X86架構(gòu)穩(wěn)定性差，日常故障較小型機多。

2.2.3 X86高可用架構(gòu)

圖5 X86高可用架構(gòu)圖

傳統(tǒng)架構(gòu)X86化，X86服務(wù)器+萬兆網(wǎng)絡(luò)+混合式存儲+SF+NBU，將目前oracle9i升級到11g或12c。

采用2+1集群配置，搭建X86集群，一備二有效利用硬件資源。

a）采用混合式存儲，充分利用閃存盤的高性能和SAS盤的高容量特性，配合先進的消重技術(shù)，用最小的空間，獲取最大的容量，最高的性能。

b）通過SF軟件強大的snap功能，每日進行數(shù)據(jù)庫快照容災(zāi)，將數(shù)據(jù)恢復(fù)時間從天縮短至分鐘級，有效保障數(shù)據(jù)安全，規(guī)避人為誤操作。

c）通過SF軟件專有的ODM功能，大幅提升oracle運行速度。

d）當(dāng)前7.1版 NBU不支持oracle11g，需升級NBU到最新7.7.2。為提高備份速度建議采購專用的X86服務(wù)器用于備份，配合機房的萬兆網(wǎng)環(huán)境，實現(xiàn)數(shù)據(jù)庫快速備份。

e）利用混合式存儲大容量特性，結(jié)合NBU7.7.2新特性將日常備份任務(wù)從物理帶庫遷移至磁盤空間，大幅提高備份速度。

優(yōu)點 IT技術(shù)發(fā)展方向，價格低廉、高性能、高容量、低維護成本。

缺點 穩(wěn)定性介于1、2方案之間，成本介于1、2方案之間。

2.3 選擇一種方案應(yīng)主要從3方面考慮

2.3.1 技術(shù)發(fā)展方向，X86替代小型機為大勢所趨

目前整個電子行業(yè)增速最快的兩個行業(yè)就是手機和服務(wù)器。服務(wù)器每年有6%以上的增速，而這些年Intel X86架構(gòu)的服務(wù)器已經(jīng)占據(jù)了90%以上的份額，隨著英特爾至強處理器的性能不斷提升，業(yè)內(nèi)有種說法是X86服務(wù)器有搶占小型機市場的趨勢。

圖62016 年——2018年全球服務(wù)器出貨量（單位：千臺）

2.3.2 數(shù)據(jù)處理能力

新的X86架構(gòu)CPU突破了主頻，核數(shù)的瓶頸，計算能力有質(zhì)的突破。

表2 服務(wù)器與小型機數(shù)據(jù)處理能力比較

2.3.3 經(jīng)濟性、穩(wěn)定性、可擴展性

表3 各種服務(wù)器成本費用、性能值比較表

從以上分析可以看出，X86服務(wù)器在穩(wěn)定性方面不及小型機，但是硬件成本、軟件成本、后期的維護成本要遠低于小型機。中國移動設(shè)計院根據(jù)河南移動實際情況進行的對比分析，小型機、X86服務(wù)器5年的成本TCO分別為702萬及47.3萬元，按照相同可靠性組建小型機及X86服務(wù)器集群，X86服務(wù)器的投資效率比小型機高58%[1]。

在可擴展性能上，X86平臺橫向的向外擴展功能能滿足大多數(shù)企業(yè)關(guān)鍵應(yīng)用環(huán)境的負載需求，包括對內(nèi)存和CPU要求都較高的數(shù)據(jù)庫、商業(yè)應(yīng)用和虛擬化。

X86經(jīng)過20多年的發(fā)展，通用性和標(biāo)準(zhǔn)化相當(dāng)成熟，更加適合于企業(yè)長遠應(yīng)用和需求擴展，更加容易維護與更新。

通過以上的分析，綜合考慮各種因素，結(jié)合收費中心數(shù)據(jù)存儲系統(tǒng)現(xiàn)狀及未來發(fā)展方向，推薦采用X86高可用架構(gòu)，進行系統(tǒng)有計劃、有重點、有步驟地設(shè)計及改造。