陳達忠（上海郵電設(shè)計咨詢研究院有限公司，上海 200093）

0 前言

當前，通信業(yè)務(wù)的競爭日趨激烈，保證網(wǎng)絡(luò)質(zhì)量無疑是網(wǎng)絡(luò)運營商競爭取勝的關(guān)鍵所在。為提高網(wǎng)絡(luò)服務(wù)質(zhì)量，網(wǎng)絡(luò)運營商必須建立高效運作的維護體系、推進移動網(wǎng)絡(luò)基礎(chǔ)運營的精確管理，并以信息化為支撐，通過先進的維護手段不斷提高維護管理效率，為整個運營網(wǎng)絡(luò)提供可靠的業(yè)務(wù)保障。就無線網(wǎng)絡(luò)而言，由于網(wǎng)絡(luò)結(jié)構(gòu)和設(shè)備的復雜度遠高于固網(wǎng)，因此在同一網(wǎng)絡(luò)級別下，其管理平臺系統(tǒng)的數(shù)據(jù)量要遠大于固網(wǎng)。這些系統(tǒng)以基礎(chǔ)數(shù)據(jù)為核心，并與性能管理、流程管控相耦合，實現(xiàn)了移動網(wǎng)絡(luò)工作的全程管控，確保了移動網(wǎng)絡(luò)質(zhì)量，支持了移動業(yè)務(wù)發(fā)展。

以中國電信為例，其網(wǎng)絡(luò)管理平臺分為省（區(qū)）和地（市）2個級別?？梢韵胂蟪觯恍┐笫》莸木W(wǎng)絡(luò)管理平臺的用戶數(shù)量是如何之大。但因其硬件水平有限，這類平臺都不同程度地出現(xiàn)了新增數(shù)據(jù)存儲受限和訪問速度減慢等現(xiàn)象。顯然，這些現(xiàn)象是由于早年設(shè)計的存儲架構(gòu)不能很好地滿足當前存儲需求造成的。因此，對這類平臺的數(shù)據(jù)存儲方式進行研究就有著極其重要的現(xiàn)實意義。本文以上海電信無線網(wǎng)管平臺數(shù)據(jù)存儲實現(xiàn)云化為例，對數(shù)據(jù)存儲云化有關(guān)問題進行簡要論述。

1 大數(shù)據(jù)存儲現(xiàn)狀

1.1 無線網(wǎng)管類平臺

盡管上海電信無線網(wǎng)管平臺在經(jīng)歷3期建設(shè)后相繼解決了一些問題，使整個系統(tǒng)不斷得到完善和優(yōu)化，但隨著用戶群的不斷擴大和電信業(yè)務(wù)的不斷豐富，需采集、存儲和處理的數(shù)據(jù)量也越來越大，使其逐步面臨數(shù)據(jù)存儲瓶頸和因數(shù)據(jù)備份恢復龐大而訪問緩慢問題。

1.2 云存儲

云存儲［1］是指通過集群應用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的系統(tǒng)，亦即以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。云存儲平臺架構(gòu)由數(shù)據(jù)存儲層、數(shù)據(jù)管理層和數(shù)據(jù)服務(wù)層組成，其難點是對大規(guī)模存儲設(shè)備的管理。

云存儲目前所能解決的問題有以下3個方面。

a）提供大規(guī)模存儲空間，滿足存儲海量數(shù)據(jù)。

b）面對新增數(shù)據(jù)，滿足存儲空間可擴展性。

c）面對海量數(shù)據(jù)，提供較高性能存儲。

目前，已有不少IT公司向中小型企業(yè)及個人提供了云存儲服務(wù)［2］。對每天都需處理和分析大量數(shù)據(jù)業(yè)務(wù)的大型企業(yè)來說，云存儲無疑是個恰到好處的選擇。2009年12月，上海電信與EMC公司合作將分布在異構(gòu)存儲系統(tǒng)和平臺中的數(shù)據(jù)進行了虛擬化云存儲，推出了面向家庭和個人用戶的云信息服務(wù)的“e云”［3］。同時，安徽移動從BOSS3.0上線開始就利用云存儲技術(shù)對原存儲系統(tǒng)進行了改造，通過虛擬化和云計算技術(shù)實現(xiàn)了異構(gòu)環(huán)境下的統(tǒng)一管理，使其應用逐步擺脫了對硬件基礎(chǔ)架構(gòu)的依賴［4］。

由此看來，選擇云存儲是未來企業(yè)大數(shù)據(jù)存儲的一個必然趨勢。

2 網(wǎng)優(yōu)平臺特征分析

2.1 無線網(wǎng)管平臺架構(gòu)

無線網(wǎng)管平臺由數(shù)據(jù)層、應用層和展示層組成，數(shù)據(jù)層負責采集和存儲數(shù)據(jù)，應用層負責業(yè)務(wù)邏輯處理，展示層負責向用戶展示數(shù)據(jù)，下層為其上層提供所需接口，具有較好的封裝性。

a）數(shù)據(jù)層。數(shù)據(jù)層負責完成數(shù)據(jù)采集、入庫及備份工作，它在任何一個管理平臺中都是至關(guān)重要的。數(shù)據(jù)層又可分為采集層和數(shù)據(jù)庫層。采集層通過各商家設(shè)備提供的采集接口采集原始數(shù)據(jù)，由采集服務(wù)器解析原始數(shù)據(jù)并生成數(shù)據(jù)文件。在采集數(shù)據(jù)的同時，還需要及時地將保存在采集服務(wù)器上的數(shù)據(jù)文件存入到數(shù)據(jù)庫中 （如所有數(shù)據(jù)必須在1 h的時間窗口內(nèi)完成入庫）。在入庫過程中，將涉及到數(shù)據(jù)的統(tǒng)計和匯總，統(tǒng)計和匯總信息也會持久化在數(shù)據(jù)層中。在數(shù)據(jù)被持久化到數(shù)據(jù)庫后，上層應用會有對數(shù)據(jù)庫中的數(shù)據(jù)進行查詢和統(tǒng)計的需求，故數(shù)據(jù)層需提供查詢和統(tǒng)計接口給應用層。對存儲大量數(shù)據(jù)的單一存儲服務(wù)器來說，查詢和統(tǒng)計性能的挑戰(zhàn)是很大的。

b）應用層。應用層主要負責平臺業(yè)務(wù)邏輯，依據(jù)功能模塊劃分出不同類型的業(yè)務(wù)方法。業(yè)務(wù)方法通過調(diào)用數(shù)據(jù)層提供的接口完成業(yè)務(wù)工作。

c）展示層。展示層根據(jù)應用層Web Service提供的數(shù)據(jù)，將其以不同形式展示出來。

2.2 數(shù)據(jù)特點

無線網(wǎng)管平臺數(shù)據(jù)具有以下特點。

a）存儲數(shù)據(jù)量大且增長迅速。系統(tǒng)目前需采集基礎(chǔ)、性能、參數(shù)、話單、鄰區(qū)及告警等數(shù)據(jù)。上海朗訊統(tǒng)計數(shù)據(jù)表明，上海電信2011年3月份無線性能數(shù)據(jù)達10 MB/h、話單數(shù)據(jù)忙時最大達4 MB/min。至2011年4月，中國電信CDMA的用戶總量已突破1億戶，用戶增速達365%［5］，成了全球最大的CDMA網(wǎng)絡(luò)運營商。系統(tǒng)的數(shù)據(jù)存儲量無疑是與電信用戶量成正比的。

b）數(shù)據(jù)安全性要求高。數(shù)據(jù)是系統(tǒng)的核心，平臺上的所有應用也都是基于數(shù)據(jù)的。系統(tǒng)中存儲的數(shù)據(jù)對電信業(yè)務(wù)質(zhì)量的分析和評價至關(guān)重要。如果用于評價電信業(yè)務(wù)質(zhì)量的數(shù)據(jù)完整性和正確性遭到破壞，建立管理平臺的目標就難以達到；同時面向用戶的話單數(shù)據(jù)對業(yè)務(wù)也影響非常大，一旦話單數(shù)據(jù)的完整性和正確性遭到破壞，展示給用戶的話單數(shù)據(jù)會引起極大不滿，所以管理平臺對數(shù)據(jù)安全性的要求是比較高的。

c）數(shù)據(jù)入庫的及時性要求高。系統(tǒng)對數(shù)據(jù)入庫的及時性也有一定的要求 （如話單數(shù)據(jù)必須在1 h內(nèi)完成入庫）。采集服務(wù)器采集和預處理的數(shù)據(jù)量大，入庫的數(shù)據(jù)量也勢必大。如果采集服務(wù)器的入庫并發(fā)性不高，數(shù)據(jù)入庫的及時性就會受到威脅。數(shù)據(jù)入庫的及時性將直接影響到數(shù)據(jù)庫數(shù)據(jù)的新鮮度。

d）大量的數(shù)據(jù)統(tǒng)計需求。由于采集服務(wù)器搜集到的均是原始數(shù)據(jù)，而應用所需的不僅是原始數(shù)據(jù)，還包括較多的統(tǒng)計和分析數(shù)據(jù)，因此為滿足前端應用的查詢性能，在數(shù)據(jù)入庫過程中還需做大量的數(shù)據(jù)統(tǒng)計工作，將統(tǒng)計數(shù)據(jù)與普通數(shù)據(jù)一起入庫供應用查詢。

3 數(shù)據(jù)存儲云化分析

經(jīng)對網(wǎng)管類系統(tǒng)特征分析發(fā)現(xiàn)，海量數(shù)據(jù)平臺正逐步面臨著數(shù)據(jù)存儲量大、數(shù)據(jù)備份恢復涉及數(shù)據(jù)量龐大且過程緩慢等瓶頸問題；同時還發(fā)現(xiàn)，采用平臺數(shù)據(jù)存儲云化（即采用并行計算采集和處理數(shù)據(jù)）、重復數(shù)據(jù)刪除及差分增量備份等技術(shù)，可有效地解決平臺目前即將面臨的問題和挑戰(zhàn)，能為網(wǎng)管類平臺創(chuàng)造較好的發(fā)展前景。

以下基于上海電信無線網(wǎng)管平臺數(shù)據(jù)存儲實現(xiàn)云化工程的實踐經(jīng)驗總結(jié)，對數(shù)據(jù)存儲云化的有關(guān)問題進行簡要論述。

3.1 數(shù)據(jù)存儲云化框架

由于網(wǎng)管類平臺本身已有了較好的分層方式，因此該工程的設(shè)計和分析重點主要集中到了數(shù)據(jù)層上。

云存儲平臺由數(shù)據(jù)存儲層、數(shù)據(jù)管理層和數(shù)據(jù)服務(wù)層組成，其中：數(shù)據(jù)存儲層包括存儲設(shè)備和統(tǒng)一存儲層（虛擬化技術(shù)）（實現(xiàn)動態(tài)擴容就在這一層），數(shù)據(jù)管理層包括數(shù)據(jù)安全策略（如數(shù)據(jù)備份），數(shù)據(jù)服務(wù)層提供應用層訪問接口。

在分析原框架和數(shù)據(jù)特征后認為，欲實現(xiàn)系統(tǒng)數(shù)據(jù)存儲和使用的高效性，可能需要改進的是：將原數(shù)據(jù)庫層包裝成云存儲層，則需在存儲設(shè)備上加入存儲設(shè)備管理系統(tǒng)，以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理及硬件設(shè)備狀態(tài)監(jiān)控和故障維護，并加入基礎(chǔ)管理層。基礎(chǔ)管理層是云存儲的核心，也是云存儲中最難實現(xiàn)的部分?；A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備間協(xié)同工作，以提供更大更強更好的數(shù)據(jù)訪問性能。

3.2 數(shù)據(jù)存儲云化技術(shù)

3.2.1動態(tài)擴容

面對系統(tǒng)每天都要增長巨大數(shù)據(jù)量問題，可通過動態(tài)擴容技術(shù)來實現(xiàn)自動擴展系統(tǒng)容量，使其能承受起數(shù)據(jù)增長壓力。也就是說，在系統(tǒng)需要擴充容量時能方便地加入新的存儲設(shè)備，僅需通過相關(guān)配置便可實現(xiàn)動態(tài)擴容。這就需要采用一定的技術(shù)將存儲設(shè)備虛擬化，并為存儲設(shè)備配置管理接口。存儲設(shè)備虛擬化，能很好地滿足存儲數(shù)據(jù)量大且增長迅速的需求。

使用存儲設(shè)備虛擬化技術(shù)的好處在于，不再為存儲容量不足而發(fā)愁，因為通過配置相關(guān)文件、動態(tài)加入新的存儲設(shè)備，就可以滿足動態(tài)擴容需求。存儲設(shè)備虛擬化不僅方便有效，還能保證存儲設(shè)備的在線狀態(tài)。

3.2.2 映射 /簡化（map/reduce）[6]數(shù)據(jù)處理

由于系統(tǒng)存儲數(shù)據(jù)量巨大，需處理和分析的數(shù)據(jù)量也十分龐大，因此其計算性能尤為重要。經(jīng)研究后認為，通過并行計算技術(shù)可滿足其高效計算需求。由于map/reduce是一種用于分布系統(tǒng)的編程模型，支持在計算機集群中對超大數(shù)據(jù)集進行分布式處理，所以通過map/reduce實現(xiàn)系統(tǒng)的并行執(zhí)行能力，可較好地滿足大量數(shù)據(jù)統(tǒng)計需求，同時將入庫數(shù)據(jù)按要求分成若干個優(yōu)先級后，使用map/reduce先計算并入庫優(yōu)先級要求較高的數(shù)據(jù)，還能滿足系統(tǒng)高及時性需求。

使用map/reduce技術(shù)的好處在于，map/reduce程序可運行在普通PC上，只需通過增加機器數(shù)量即可實現(xiàn)計算能力的線性擴展，因此可根據(jù)系統(tǒng)的業(yè)務(wù)量來規(guī)劃系統(tǒng)規(guī)模，從而獲得良好的投資回報。

3.2.3重復數(shù)據(jù)刪除

存儲系統(tǒng)中通常會有大量的重復數(shù)據(jù)。為消除冗余數(shù)據(jù)副本，可在數(shù)據(jù)存放磁盤前先進行重復數(shù)據(jù)刪除（dedup）［7］工作。對海量存儲系統(tǒng)來說，這種刪除技術(shù)在節(jié)省存儲空間方面具有顯著效果。map/reduce與dedup技術(shù)的結(jié)合使用見圖1。

dedup可應用在文件、數(shù)據(jù)塊或字節(jié)層面上。采用某個hash函數(shù)為數(shù)據(jù)單元計算校驗和，該函數(shù)能以很高的概率唯一地識別數(shù)據(jù)（如SHA 256的hash碰撞概率約為2-256）。數(shù)據(jù)單元被記錄在一張表內(nèi)，從而也就建立了從數(shù)據(jù)校驗到存儲位置及引用次數(shù)的映射。當存儲已有數(shù)據(jù)備份時僅增加引用次數(shù)，當數(shù)據(jù)高度冗余時（如備份服務(wù)器、虛擬機映像和源碼庫）重復數(shù)據(jù)刪除能成倍地減少空間消耗。

3.2.4差分增量備份

對于系統(tǒng)數(shù)據(jù)的安全性和完整性問題，可采用差分增量備份技術(shù)可得到較好的解決。差分增量備份相對于全備份技術(shù)而言，有著巨大的空間節(jié)省效益。

差分增量備份是一種將自分裂備份與增量備份合二為一的備份模式。在該模式下，初始備份仍是一個全備份，后續(xù)的每次備份是與其前一次備份的自分裂增量備份。例如：星期一作一個全備份，星期二在將與星期一不同的部分進行備份的同時將已被刪除的文件作為一個負增量記錄在這個備份版本里，星期三在將與星期二不同的部分進行備份的同時將已被刪除的文件作為一個負增量記錄在這個備份版本里，依此類推。當需要恢復時，首先恢復初始的全備份，然后將每次的差分增量依次疊加上去。如果有負的增量，則需將該文件刪除掉。這種備份模式不僅備份效率最高，同時還能保證被用戶刪除的文件不會被恢復出來。如果用戶希望恢復被刪除的文件，可選擇不啟用自分裂。由此可知，相對于全備份技術(shù)而言，差分技術(shù)可大大地節(jié)省存儲空間。

鑒于差分增量備份恢復過程較為復雜，我們曾提出在備份服務(wù)器閑置時在備份介質(zhì)上進行差分增量合成以形成新的全備份，并在經(jīng)典差分增量備份上進行增強。另外，由于每個版本的經(jīng)典差分增量備份的索引文件都是孤立的，如果能將索引文件組合成一個索引網(wǎng)絡(luò)，由其直接指出每個數(shù)據(jù)塊的具體位置（可能是任何一個備份的歷史版本中的一個文件），就能避免逐個恢復歷史版本。

在分布式系統(tǒng)中，可把備份數(shù)據(jù)發(fā)送到多臺服務(wù)器上，恢復時可并行接收數(shù)據(jù)。并行恢復可提高效率，尤其當服務(wù)器的速度成為瓶頸時就更是如此。一般來說，備份系統(tǒng)都不會是單一的服務(wù)器。采用分布式并行恢復時，在無須付出額外代價的情況下，就可帶來性能的提升，且在一定條件下，提升有可能是巨大的。

3.3數(shù)據(jù)存儲云化的利弊衡量

調(diào)查表明，半數(shù)以上的大型企業(yè)都傾向于擁有私有云。企業(yè)擁有私有云可帶來巨大的商業(yè)價值（如加速企業(yè)內(nèi)部創(chuàng)新速度、整合企業(yè)內(nèi)部資源及提高資源利用率等）。當企業(yè)擁有私有云時，企業(yè)自身就能更好地控制云計算，并根據(jù)實際需求進行動態(tài)調(diào)整和自主創(chuàng)新，其發(fā)展前途是很大的。

大存儲解決方案需要長期的規(guī)劃和大量的前期投資。虛擬存儲可模塊化擴增，通過適當工具可逐漸地擴展專業(yè)云存儲容量、自由地配置資源，并能以經(jīng)濟方式平衡工作負載和容量，而其實施難點則在于對存儲設(shè)備的統(tǒng)一管理和監(jiān)控上。

針對存儲系統(tǒng)性能問題，我們采用map/reduce技術(shù)來加大計算的并行數(shù)，以提高吞吐量和計算速度。同樣，這里也引進了一些如map/reduce函數(shù)確定等難點問題。

對云存儲來說，數(shù)據(jù)的安全性是至關(guān)重要的［8］。在設(shè)計框架和系統(tǒng)時，需考慮好數(shù)據(jù)安全性策略以保證系統(tǒng)的正常運行。

4 結(jié)束語

針對運營商網(wǎng)管類平臺目前所存在的問題，期望通過將數(shù)據(jù)存儲云化（即通過分布式架構(gòu)及并行計算）來提高采集數(shù)據(jù)的存儲效率，通過云備份更好地對海量數(shù)據(jù)進行處理，通過備份恢復來保障數(shù)據(jù)的安全性。本文對數(shù)據(jù)存儲云化相關(guān)技術(shù)和方案的簡要論述，對擁有繁多類似平臺的電信運營商來說具有一定的參考意義，同時也為其他海量數(shù)據(jù)應用平臺及數(shù)據(jù)平臺的云化提供了借鑒和方法。

［1］Schmuck F B，Haskin R L.GPFS：A shared-disk file system for large computing clusters［EB/OL］.［2011-12-10］.http://citeseerx.ist.psu.edu/showciting?cid=46297.

［2］周可，王樺，李春花.云存儲技術(shù)及其應用［J］.中興通訊技術(shù)，2010（4）.

［3］黃海峰.從上海e云現(xiàn)狀看云存儲發(fā)展難題 ［J］.通信世界，2010（15）.

［4］沈權(quán)，周崎.云存儲下的容災建設(shè)［J］.通信世界，2011（5）.

［5］中國電信用戶超過 1 億 年增長率 365% ［S/OL］. ［2011－12－10］.http：//www.cb.com.cn/1634427/20110408/198214.html.

［6］徐小龍，吳家興，程春玲，李玲娟.基于大規(guī)模廉價計算平臺的海量數(shù)據(jù)處理系統(tǒng)的研究［J］.計算機科學技術(shù)，2010.

［7］王樹鵬.重復數(shù)據(jù)刪除技術(shù)的發(fā)展及應用 ［J］.中興通訊技術(shù)，2010，16（5）.

［8］劉國萍，譚國權(quán)，楊明川.基于云存儲的在線備份安全技術(shù)研究［J］.電信科學，2010，26（9）：79-83.