孫述陽(yáng)

摘? ?要：文章介紹了福建廣電網(wǎng)絡(luò)IT系統(tǒng)平臺(tái)的建設(shè)情況及現(xiàn)狀，深入分析機(jī)房網(wǎng)絡(luò)拓?fù)浜透鳂I(yè)務(wù)平臺(tái)架構(gòu)，通過(guò)搭建VMware虛擬化平臺(tái)和數(shù)據(jù)庫(kù)一體機(jī)，整合現(xiàn)有的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)資源，提高資源利用率，節(jié)省機(jī)柜空間，縮短系統(tǒng)建設(shè)周期。同時(shí)，大數(shù)據(jù)平臺(tái)的建設(shè)，為廣電網(wǎng)絡(luò)產(chǎn)品開(kāi)發(fā)和市場(chǎng)營(yíng)銷提供可靠的數(shù)據(jù)基礎(chǔ)。福建廣電網(wǎng)絡(luò)IT系統(tǒng)平臺(tái)的建成，將為集團(tuán)搭建一個(gè)實(shí)時(shí)、準(zhǔn)確、高效、穩(wěn)定的綜合業(yè)務(wù)運(yùn)營(yíng)支撐平臺(tái)，為業(yè)務(wù)發(fā)展提供有力支撐，幫助企業(yè)降低運(yùn)營(yíng)成本，提高運(yùn)營(yíng)收益。

關(guān)鍵詞：小型機(jī);存儲(chǔ);VMware虛擬化;數(shù)據(jù)庫(kù)一體機(jī);大數(shù)據(jù)

1? ? 福建廣電網(wǎng)絡(luò)業(yè)務(wù)介紹

福建廣電網(wǎng)絡(luò)主要承擔(dān)各級(jí)電視臺(tái)以及付費(fèi)頻道節(jié)目信號(hào)傳輸，經(jīng)營(yíng)高清互動(dòng)電視、廣電寬帶、電子商務(wù)、視頻點(diǎn)播、陽(yáng)光政務(wù)、遠(yuǎn)程教育等增值業(yè)務(wù)。為黨委政府企業(yè)提供專線傳輸業(yè)務(wù)，開(kāi)展“互聯(lián)網(wǎng)+”業(yè)務(wù)，是廣播電視網(wǎng)絡(luò)運(yùn)營(yíng)商和節(jié)目集成商。福建廣電網(wǎng)絡(luò)IT系統(tǒng)平臺(tái)已經(jīng)過(guò)4期建設(shè)，目前主要包括核心交換區(qū)域、公網(wǎng)區(qū)域、地市業(yè)務(wù)對(duì)接區(qū)域、部門互聯(lián)區(qū)域、銀行互聯(lián)區(qū)域、boss系統(tǒng)集群、呼叫中心、統(tǒng)一支付平臺(tái)、虛擬化平臺(tái)、數(shù)據(jù)庫(kù)一體機(jī)、大數(shù)據(jù)平臺(tái)和異地備份等部分，形成一個(gè)小型的數(shù)據(jù)中心。數(shù)據(jù)中心承載了BOSS系統(tǒng)（業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)）、呼叫中心、統(tǒng)一支付平臺(tái)、微廳、報(bào)表經(jīng)分、工單維系、ESB總線（企業(yè)服務(wù)總線）、OA系統(tǒng)、財(cái)務(wù)系統(tǒng)、工程系統(tǒng)和大數(shù)據(jù)等B域、O域、M域和D域的信息化系統(tǒng)，為廣電業(yè)務(wù)的發(fā)展提供可靠的保障。

2? ? 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

按照結(jié)構(gòu)化、模塊化、扁平化的設(shè)計(jì)原則，整體網(wǎng)絡(luò)拓?fù)洳捎帽馄交瘍蓪咏M網(wǎng)架構(gòu)，從核心交換區(qū)直接到服務(wù)器接入，省去了中間的匯聚層，有利于簡(jiǎn)化網(wǎng)絡(luò)拓?fù)洌档途W(wǎng)絡(luò)運(yùn)維的難度，便于后期的虛擬化改造和擴(kuò)展。

2.1? 核心交換區(qū)域

核心交換區(qū)域采用兩臺(tái)H3C S7608XV虛擬化成一臺(tái)邏輯設(shè)備，在S7608XV上部署兩塊防火墻板卡和兩塊負(fù)載均衡板卡，兩塊相同業(yè)務(wù)板卡之間采用VRRP協(xié)議實(shí)現(xiàn)冗余備份，如圖1所示。防火墻板卡作為核心設(shè)備，通過(guò)3層與公網(wǎng)區(qū)域、地市業(yè)務(wù)對(duì)接區(qū)域、部門互聯(lián)區(qū)域、銀行互聯(lián)區(qū)域、呼叫中心和辦公網(wǎng)系統(tǒng)區(qū)域等業(yè)務(wù)區(qū)域互聯(lián);負(fù)載均衡板卡作為BOSS系統(tǒng)、支付平臺(tái)等業(yè)務(wù)的網(wǎng)關(guān)設(shè)備，同時(shí)啟用4或7層的負(fù)載技術(shù)實(shí)現(xiàn)系統(tǒng)應(yīng)用的均衡調(diào)度。負(fù)載均衡板卡與防火墻板卡通過(guò)H3C S7608XV內(nèi)部互聯(lián)接口進(jìn)行3層互通，實(shí)現(xiàn)業(yè)務(wù)區(qū)域之間的互聯(lián)互通[1]。

2.2? 公網(wǎng)區(qū)域

公網(wǎng)區(qū)域采用兩臺(tái)H3C S7606-V虛擬化成一臺(tái)邏輯設(shè)備，S7606-V上部署兩塊負(fù)載均衡板卡、兩塊IPS板卡和兩塊VPN板卡，其中，兩塊負(fù)載均衡板卡之間采用VRRP協(xié)議實(shí)現(xiàn)冗余備份，兩塊IPS板卡集成了入侵防御和抗DDOS攻擊功能，兩塊VPN板卡采用熱備方式，用于日常遠(yuǎn)程維護(hù)。兩臺(tái)H3C S7606-V通過(guò)3層接口與核心交換區(qū)域互聯(lián)，同時(shí)上聯(lián)到兩臺(tái)天融信NGFW4000公網(wǎng)防火墻。兩臺(tái)天融信防火墻采用主備冗余方式，通過(guò)訪問(wèn)策略對(duì)內(nèi)外網(wǎng)地址訪問(wèn)，電信聯(lián)通出口進(jìn)行相應(yīng)配置和管理。在安全防護(hù)方面，后期增加了入侵檢測(cè)系統(tǒng)、日志審計(jì)系統(tǒng)和堡壘機(jī)，并通過(guò)等保二級(jí)備案。

2.3? 部門互聯(lián)區(qū)域

本區(qū)域采用華三防火墻與集團(tuán)各部門的業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)接，主要涉及電視直播平臺(tái)、互動(dòng)點(diǎn)播平臺(tái)、寬帶認(rèn)證平臺(tái)和辦公網(wǎng)等。通過(guò)路由和域間策略對(duì)訪問(wèn)IP和端口進(jìn)行控制，保證內(nèi)部系統(tǒng)互聯(lián)的安全性。

2.4? 銀行互聯(lián)區(qū)域

本區(qū)域采用10 Mb/s或100 Mb/s傳輸專線鏈路，通過(guò)防火墻與銀聯(lián)、中國(guó)銀行、工商銀行、農(nóng)信社和招商銀行等各大銀行進(jìn)行支付業(yè)務(wù)對(duì)接。

2.5? 地市業(yè)務(wù)對(duì)接區(qū)域

地市業(yè)務(wù)對(duì)接區(qū)域主要包含地市CA授權(quán)、營(yíng)業(yè)廳和呼叫坐席專線互聯(lián)業(yè)務(wù)。地市CA授權(quán)專線采用10 Mb/s的SDH傳輸鏈路，營(yíng)業(yè)廳和呼叫坐席專線采用IP承載網(wǎng)上VPN鏈路。地市機(jī)房放置一臺(tái)H3C S5530交換機(jī)，提供互聯(lián)地址用于業(yè)務(wù)接入，省中心機(jī)房放置一臺(tái)H3C S7606，用于匯聚各地市流量，上聯(lián)到核心交換區(qū)域的防火墻。各地市專線業(yè)務(wù)在防火墻上分域控制，進(jìn)行域間策略控制，同時(shí)，通過(guò)入侵檢測(cè)系統(tǒng)對(duì)地市專線流量進(jìn)行鏡像分析，監(jiān)控異常攻擊行為，確保該區(qū)域的安全性[2]，如圖2所示。

3? ? 業(yè)務(wù)平臺(tái)設(shè)計(jì)

機(jī)房業(yè)務(wù)平臺(tái)整體遵循高可用、低能耗、易管理和易擴(kuò)展的設(shè)計(jì)原則，主要用于支撐業(yè)務(wù)域、運(yùn)營(yíng)域、管理域和數(shù)據(jù)域的業(yè)務(wù)系統(tǒng)。隨著云計(jì)算技術(shù)的發(fā)展，除了核心業(yè)務(wù)系統(tǒng)、ORACLE數(shù)據(jù)庫(kù)和大數(shù)據(jù)HADOOP平臺(tái)外，其余業(yè)務(wù)系統(tǒng)逐步遷移到虛擬化平臺(tái)。

3.1? BOSS系統(tǒng)集群

BOSS系統(tǒng)作為廣電網(wǎng)絡(luò)核心業(yè)務(wù)系統(tǒng)，為營(yíng)業(yè)廳提供模擬電視、數(shù)字電視（標(biāo)、高清）、互動(dòng)電視和寬帶等全業(yè)務(wù)流程受理，構(gòu)建滿足業(yè)務(wù)運(yùn)營(yíng)需要的核心功能和統(tǒng)一客戶數(shù)據(jù)，提供一致客戶服務(wù)和客戶體驗(yàn)。BOSS系統(tǒng)包含客戶關(guān)系管理系統(tǒng)、賬務(wù)管理系統(tǒng)、資源管理系統(tǒng)、產(chǎn)品管理系統(tǒng)、服務(wù)開(kāi)通系統(tǒng)、統(tǒng)一授權(quán)平臺(tái)、系統(tǒng)管理和報(bào)表管理等子系統(tǒng)。系統(tǒng)采用“Web+應(yīng)用+數(shù)據(jù)庫(kù)”分離集群部署方式，整體架構(gòu)如圖3所示，兩套HP C7000刀框部署兩套集群應(yīng)用，通過(guò)負(fù)載設(shè)備實(shí)現(xiàn)4層或7層應(yīng)用負(fù)載均衡。4臺(tái)IBM P750小型機(jī)通過(guò)POWERVM虛擬化技術(shù)，用于搭建ORACLE RAC集群、DG庫(kù)、培訓(xùn)庫(kù)、測(cè)試庫(kù)、賬管和計(jì)費(fèi)應(yīng)用等。兩套V7000存儲(chǔ)分別存放生產(chǎn)庫(kù)和DG庫(kù)數(shù)據(jù)，存儲(chǔ)層面做7天快照，系統(tǒng)層面定期做RMAN備份并上傳到FTP服務(wù)器，保證數(shù)據(jù)的安全性。

3.2? 呼叫中心集群

呼叫中心主要負(fù)責(zé)全省廣電客戶服務(wù)工作，平臺(tái)支持多種交互方式，為客戶提供全方位、多渠道的業(yè)務(wù)服務(wù)，涵蓋業(yè)務(wù)咨詢、故障申告、投訴處理、業(yè)務(wù)受理、客戶維系（回訪）、電話營(yíng)銷、市場(chǎng)調(diào)查等，成為廣電網(wǎng)絡(luò)為客戶提供綜合性服務(wù)的無(wú)形窗口。兩臺(tái)匯聚交換機(jī)CE3000和4臺(tái)接入交換機(jī)S5500通過(guò)虛擬化技術(shù)形成3臺(tái)邏輯設(shè)備，兩套華為E9000刀框、一套華為S2600存儲(chǔ)、一臺(tái)U2990排隊(duì)機(jī)和數(shù)據(jù)庫(kù)服務(wù)器分別接入到S5500交換機(jī)，如圖4所示。系統(tǒng)采用主備模式和集群負(fù)載模式搭建，網(wǎng)絡(luò)采用雙鏈路互聯(lián)，保證業(yè)務(wù)的可靠性。

呼叫中心包含話務(wù)系統(tǒng)平臺(tái)、業(yè)務(wù)系統(tǒng)平臺(tái)和坐席區(qū)域平臺(tái)。話務(wù)系統(tǒng)平臺(tái)通過(guò)電話方式作為主要渠道，由電信運(yùn)營(yíng)商提供40條E1中繼線路接入，最大支持1 000路并發(fā)呼叫，包括語(yǔ)音排隊(duì)機(jī)U2990、計(jì)算機(jī)電話集成（CTI）、互動(dòng)式語(yǔ)音應(yīng)答（IVR）等話務(wù)核心控制系統(tǒng)，主要部署在華為E9000刀框、U2990排隊(duì)機(jī)和S2600存儲(chǔ)上。業(yè)務(wù)系統(tǒng)平臺(tái)包含客戶信息管理、工作流管理、知識(shí)管理、報(bào)表管理等，為各業(yè)務(wù)受理提供支撐，主要部署在虛擬化平臺(tái)上。坐席區(qū)域平臺(tái)采用PC電腦+軟終端+耳麥的接入方式[3]。

3.3? 統(tǒng)一支付平臺(tái)

統(tǒng)一支付平臺(tái)通過(guò)與銀聯(lián)、公有銀行、商業(yè)銀行、支付寶和微信等支付渠道的對(duì)接，為廣電業(yè)務(wù)提供統(tǒng)一支付體系。整體分為業(yè)務(wù)受理服務(wù)（包括TV網(wǎng)廳、PC網(wǎng)廳、手機(jī)網(wǎng)廳、微信網(wǎng)廳等多種接入渠道）、對(duì)賬結(jié)算、支付平臺(tái)和運(yùn)營(yíng)管理等子系統(tǒng)。統(tǒng)一支付平臺(tái)采用“Web+APP+數(shù)據(jù)庫(kù)”的分離集群部署方式，兩臺(tái)DELL R420服務(wù)器搭建外網(wǎng)Web應(yīng)用，兩臺(tái)DELL R420服務(wù)器搭建內(nèi)網(wǎng)Web應(yīng)用，4臺(tái)DELL R420服務(wù)器搭建APP應(yīng)用、接口應(yīng)用和MemCache應(yīng)用，3臺(tái)DELL R820服務(wù)器和兩套DELL MD3600F存儲(chǔ)搭建ORACLE 11g RAC和DG庫(kù)。

3.4? 虛擬化平臺(tái)

機(jī)房采用VMware vSphere 6.5來(lái)構(gòu)建虛擬化架構(gòu)平臺(tái)，實(shí)現(xiàn)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的資源池化，并以此作為私有云和公共云的基礎(chǔ)。目前虛擬化平臺(tái)包含14臺(tái)高性能X86服務(wù)器、4套存儲(chǔ)、兩臺(tái)16 Gb SAN交換機(jī)、兩臺(tái)千兆交換機(jī)和兩臺(tái)萬(wàn)兆交換機(jī)。其中，千兆交換機(jī)用于ESXI主機(jī)的管理網(wǎng)絡(luò)，萬(wàn)兆交換機(jī)用于業(yè)務(wù)網(wǎng)絡(luò)和VMkernel網(wǎng)絡(luò)，兩套華為5300雙活存儲(chǔ)用于提供重要存儲(chǔ)資源，兩套DELL SC8000和SC4020主備存儲(chǔ)用于提供非重要存儲(chǔ)資源，4套存儲(chǔ)總?cè)萘考s200 TB，如圖5所示。VMware虛擬化平臺(tái)目前承載了BOSS系統(tǒng)、呼叫中心、工單系統(tǒng)、報(bào)表應(yīng)用、實(shí)名認(rèn)證系統(tǒng)、ESB總線、大數(shù)據(jù)應(yīng)用、掌上營(yíng)銷、OA系統(tǒng)、人資系統(tǒng)和工程系統(tǒng)等業(yè)務(wù)系統(tǒng)，共計(jì)150多臺(tái)虛擬機(jī)，為新系統(tǒng)的快速上線提供了堅(jiān)實(shí)的硬件平臺(tái)保障。

3.5? 數(shù)據(jù)庫(kù)一體機(jī)

數(shù)據(jù)庫(kù)一體機(jī)由計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)以及分布式存儲(chǔ)管理軟件組成，節(jié)點(diǎn)之間通過(guò)高速InfiniBand網(wǎng)絡(luò)互聯(lián)，各節(jié)點(diǎn)均為x86架構(gòu)服務(wù)器。通過(guò)二期建設(shè)數(shù)據(jù)庫(kù)一體機(jī)共有10個(gè)節(jié)點(diǎn)，其中，兩個(gè)計(jì)算節(jié)點(diǎn)搭建ORACLE 11g，兩個(gè)計(jì)算節(jié)點(diǎn)搭建ORACLE 12c，6臺(tái)存儲(chǔ)節(jié)點(diǎn)每3臺(tái)做一個(gè)分布式存儲(chǔ)資源池，如圖6所示。存儲(chǔ)節(jié)點(diǎn)配置SSD固態(tài)盤、PCLe閃存卡和SAS硬盤，通過(guò)分布式存儲(chǔ)管理軟件，單臺(tái)節(jié)點(diǎn)可以達(dá)到20萬(wàn)IOPS的性能。數(shù)據(jù)庫(kù)一體機(jī)整合了業(yè)務(wù)系統(tǒng)的ORACLE數(shù)據(jù)庫(kù)，包括報(bào)表經(jīng)分庫(kù)、大數(shù)據(jù)應(yīng)用數(shù)據(jù)庫(kù)、BOSS歷史數(shù)據(jù)庫(kù)、自助取數(shù)庫(kù)和人資庫(kù)等，云化數(shù)據(jù)庫(kù)資源，便于DBA的日常運(yùn)維和管理。

3.6? 大數(shù)據(jù)平臺(tái)

大數(shù)據(jù)運(yùn)營(yíng)支撐平臺(tái)通過(guò)采集用戶的直播、點(diǎn)播和寬帶上網(wǎng)數(shù)據(jù)，結(jié)合3戶信息，進(jìn)行用戶行為分析，為廣電網(wǎng)絡(luò)產(chǎn)品開(kāi)發(fā)和市場(chǎng)營(yíng)銷提供可靠的數(shù)據(jù)基礎(chǔ)。如圖7所示，整體硬件平臺(tái)包括HADOOP集群、數(shù)據(jù)采集、應(yīng)用集群和數(shù)據(jù)庫(kù)。星環(huán)HADOOP平臺(tái)采用X86服務(wù)器搭建，包含一個(gè)主控節(jié)點(diǎn)、一個(gè)備控節(jié)點(diǎn)和12個(gè)計(jì)算存儲(chǔ)節(jié)點(diǎn)，實(shí)現(xiàn)對(duì)采集的數(shù)據(jù)進(jìn)行分布式計(jì)算。數(shù)據(jù)采集區(qū)域用于臨時(shí)存放各業(yè)務(wù)系統(tǒng)傳輸過(guò)來(lái)的數(shù)據(jù)。大數(shù)據(jù)數(shù)據(jù)庫(kù)搭建在數(shù)據(jù)庫(kù)一體機(jī)上，與報(bào)表經(jīng)分庫(kù)共享數(shù)據(jù)。應(yīng)用集群采用虛機(jī)部署，包括用戶行為分析、掌上營(yíng)銷、水晶球、大屏展示等系統(tǒng)。

3.7? 異地備份

目前在泉州搭建了BOSS系統(tǒng)數(shù)據(jù)庫(kù)異地災(zāi)備平臺(tái)，采用IBM P740小型機(jī)和IBM V3700存儲(chǔ)的傳統(tǒng)架構(gòu)搭建DG庫(kù)，通過(guò)1 Gbps的傳輸專線將福州生產(chǎn)庫(kù)的數(shù)據(jù)同步到泉州。同時(shí)，在泉州搭建FTP服務(wù)器，將重要業(yè)務(wù)系統(tǒng)數(shù)據(jù)備份到泉州，確保數(shù)據(jù)的安全性。

3.8? 監(jiān)控平臺(tái)

監(jiān)控平臺(tái)主要包含icinga監(jiān)控軟件、華三IMC網(wǎng)管和明御安全預(yù)警平臺(tái)。Icinga軟件用于監(jiān)控主機(jī)、應(yīng)用和數(shù)據(jù)庫(kù)的性能和狀態(tài)。華三IMC網(wǎng)管用于監(jiān)控網(wǎng)絡(luò)設(shè)備的狀態(tài)和告警。明御安全預(yù)警平臺(tái)用于監(jiān)控地市專線和公網(wǎng)出口的異常攻擊行為。

4? ? 結(jié)語(yǔ)

福建廣電網(wǎng)絡(luò)省級(jí)IT系統(tǒng)平臺(tái)的建成，將為全省搭建一個(gè)實(shí)時(shí)、準(zhǔn)確、高效、穩(wěn)定的基礎(chǔ)平臺(tái)，為完成業(yè)務(wù)轉(zhuǎn)型及業(yè)務(wù)拓展提供有力支撐，幫助企業(yè)降低運(yùn)營(yíng)成本，提高運(yùn)營(yíng)收益。滿足未來(lái)有線業(yè)務(wù)發(fā)展、運(yùn)營(yíng)管理、科學(xué)決策的迫切需要，為實(shí)現(xiàn)“管理架構(gòu)集團(tuán)化、產(chǎn)業(yè)發(fā)展多元化、經(jīng)營(yíng)運(yùn)作市場(chǎng)化”的戰(zhàn)略思想奠定基礎(chǔ)，是有線行業(yè)邁向科學(xué)化、信息化運(yùn)營(yíng)管理的里程碑，它不僅能為業(yè)務(wù)體系的精細(xì)化管理提供有力保證，更將大大提高業(yè)務(wù)應(yīng)變能力與市場(chǎng)競(jìng)爭(zhēng)力，為全面提升有線行業(yè)多業(yè)務(wù)運(yùn)營(yíng)和管理水平、客戶服務(wù)水平奠定堅(jiān)實(shí)的基礎(chǔ)。

[參考文獻(xiàn)]

[1]譚文輝.利用VMware實(shí)現(xiàn)數(shù)據(jù)中心服務(wù)器虛擬化[J].艦船電子工程，2008（6）：162-165.

[2]奧斯本.深入理解Oracle Exadata[M].黃凱耀，張樂(lè)奕，張瑞，譯.北京：電子工業(yè)出版社，2012.

[3]蔡斌，陳湘萍.Hadoop技術(shù)內(nèi)幕深入解析Hadoop common和HDFS架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理[M].北京：機(jī)械工業(yè)出版社，2013.