（中國移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司網(wǎng)絡(luò)所，北京 100080）

1 引言

隨著移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展，運(yùn)營商網(wǎng)絡(luò)中的數(shù)據(jù)呈現(xiàn)爆炸性增長，帶來海量數(shù)據(jù)存儲(chǔ)、分析及管理的需求。大數(shù)據(jù)分析場景以非結(jié)構(gòu)化數(shù)據(jù)為主，運(yùn)營商由小型機(jī)構(gòu)建的傳統(tǒng)數(shù)據(jù)庫系統(tǒng)在架構(gòu)、成本、分析能力等方面均出現(xiàn)瓶頸或不滿足發(fā)展需求，運(yùn)營商系統(tǒng)對分布式數(shù)據(jù)庫需求大量增加。因此，秉承“高效低成本”的指導(dǎo)原則，并實(shí)現(xiàn)大數(shù)據(jù)的交換、整合和分析，本文基于運(yùn)營商大數(shù)據(jù)分析系統(tǒng)，探討了以分布式數(shù)據(jù)庫為特征的架構(gòu)方案具體落地。

2 建設(shè)驅(qū)動(dòng)力

在大數(shù)據(jù)時(shí)代，面對海量數(shù)據(jù)的井噴式增長，傳統(tǒng)集中式數(shù)據(jù)庫的弊端日益顯現(xiàn)，采用分布式數(shù)據(jù)庫的驅(qū)動(dòng)主要來源于以下方面：

（1）更強(qiáng)的擴(kuò)展能力：傳統(tǒng)小型機(jī)構(gòu)成的數(shù)據(jù)庫系統(tǒng)受限于其架構(gòu)，最多幾百TB級(jí)別的數(shù)據(jù)容量，其擴(kuò)展性能已接近瓶頸。而分布式數(shù)據(jù)庫架構(gòu)能夠動(dòng)態(tài)地增添存儲(chǔ)節(jié)點(diǎn)，在支持PB級(jí)別的數(shù)據(jù)環(huán)境方面更具優(yōu)勢。

（2）較大的成本優(yōu)勢：大數(shù)據(jù)下，傳統(tǒng)小型機(jī)及數(shù)據(jù)庫擴(kuò)容成本急劇提升，而分布式數(shù)據(jù)庫在成本方面具備較大的優(yōu)勢。以運(yùn)營商存儲(chǔ)總量為500TB的大數(shù)據(jù)分析系統(tǒng)為例，在考慮服務(wù)器、數(shù)據(jù)庫軟件及網(wǎng)絡(luò)設(shè)備的整體架構(gòu)方案設(shè)計(jì)下，傳統(tǒng)數(shù)據(jù)庫架構(gòu)造價(jià)成本為11.2萬元/TB，而分布式數(shù)據(jù)庫架構(gòu)造價(jià)成本僅為2.2萬元/TB，單位造價(jià)降低80%。

（3）更優(yōu)的使用效果：在大數(shù)據(jù)分析場景下，分布式架構(gòu)的列存儲(chǔ)、透明壓縮、并行處理等技術(shù)很容易實(shí)現(xiàn)海量存儲(chǔ)和管理要求，可以及時(shí)響應(yīng)大規(guī)模用戶的讀/寫請求，在查詢、統(tǒng)計(jì)和分析類操作較傳統(tǒng)數(shù)據(jù)庫具備天然的優(yōu)勢。

3 實(shí)現(xiàn)分布式數(shù)據(jù)庫的關(guān)鍵技術(shù)

3.1 MPP+Shared Nothing架構(gòu)

分布式數(shù)據(jù)庫一般基于MPP（Massive Parallel Processing，大規(guī)模并行處理）技術(shù)實(shí)現(xiàn)，由多個(gè)松耦合的處理單元構(gòu)成，每個(gè)處理單元都有自己的計(jì)算資源、存儲(chǔ)資源和軟件資源，如總線、內(nèi)存、硬盤、操作系統(tǒng)和數(shù)據(jù)庫實(shí)例等。每個(gè)處理單元都是獨(dú)立的、自給的、對等的，整個(gè)系統(tǒng)中不存在單點(diǎn)瓶頸。

分布式數(shù)據(jù)庫提供動(dòng)態(tài)擴(kuò)展的方式，由多個(gè)處理單元協(xié)同完成相同的任務(wù)，多個(gè)處理單元之間的信息交互是通過節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)的。每個(gè)節(jié)點(diǎn)只訪問自己的本地資源，不存在異地內(nèi)存訪問的問題，是一種完全無共享（Shared Nothing）結(jié)構(gòu)。該架構(gòu)下，數(shù)據(jù)平均分布到系統(tǒng)的所有節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)存儲(chǔ)每張表或表分區(qū)的部分行，所有數(shù)據(jù)加載和查詢均可自動(dòng)在各個(gè)節(jié)點(diǎn)服務(wù)器上并行運(yùn)行。

3.2 混合存儲(chǔ)（按行或按列）

區(qū)別于傳統(tǒng)行存數(shù)據(jù)庫，分布式數(shù)據(jù)庫的數(shù)據(jù)在磁盤中支持混合方式（按行或按列）進(jìn)行組織和物理存儲(chǔ)。由于列存儲(chǔ)架構(gòu)對查詢、統(tǒng)計(jì)和分析類操作具備天然的優(yōu)勢，因此在運(yùn)營商經(jīng)營分析系統(tǒng)等大數(shù)據(jù)分析場景中能獲得很好的應(yīng)用?；旌洗鎯?chǔ)的優(yōu)勢體現(xiàn)在以下方面：

（1）更高靈活性：混合按列或按行存儲(chǔ)數(shù)據(jù)，每張表或表分區(qū)可以由管理員根據(jù)應(yīng)用需要或者數(shù)據(jù)格式的不同，指定不同的存儲(chǔ)和壓縮方式。該方式可較大地提高配置的靈活性，具體如圖1所示。

圖1 混合存儲(chǔ)示意圖

（2）提高響應(yīng)速度：查詢語句時(shí)，傳統(tǒng)行存數(shù)據(jù)庫需要從磁盤上將整行數(shù)據(jù)取出，而列存儲(chǔ)只讀取所需要的列，其他列的數(shù)據(jù)不需要讀取。該方式可大幅降低I/O開銷，提高查詢性能和響應(yīng)速度。

（3）高擴(kuò)展性：分布式數(shù)據(jù)庫的獨(dú)特存儲(chǔ)格式對列數(shù)據(jù)可再細(xì)分為“數(shù)據(jù)包”。無論一個(gè)表有多大，數(shù)據(jù)庫只操作相關(guān)的數(shù)據(jù)包，性能不會(huì)隨著數(shù)據(jù)量的增加而下降，這樣表數(shù)據(jù)可以達(dá)到很高的可擴(kuò)展性。

3.3 高效透明壓縮技術(shù)

高效透明壓縮技術(shù)能夠按照數(shù)據(jù)類型和數(shù)據(jù)分布規(guī)律自動(dòng)選擇最優(yōu)壓縮算法，并設(shè)置了庫級(jí)、表級(jí)、列級(jí)等壓縮選項(xiàng)，靈活平衡性能與壓縮比的關(guān)系，而且壓縮與解壓縮過程對用戶是透明的。

由于分布式數(shù)據(jù)庫支持列存儲(chǔ)，列數(shù)據(jù)包內(nèi)都是內(nèi)容相關(guān)性高的同構(gòu)數(shù)據(jù)，因此更易于實(shí)現(xiàn)壓縮，壓縮比可以達(dá)到5~20倍以上，數(shù)據(jù)占用空間較傳統(tǒng)數(shù)據(jù)庫可節(jié)省50%~90%。此外，壓縮態(tài)下對I/O要求大大降低，數(shù)據(jù)加載和查詢性能比傳統(tǒng)數(shù)據(jù)庫快幾十倍以上。

3.4 智能索引

與傳統(tǒng)數(shù)據(jù)庫建立在行數(shù)據(jù)上的細(xì)粒度索引技術(shù)相比，分布式數(shù)據(jù)庫的智能索引是一種建立在數(shù)據(jù)包上的粗粒度索引。每個(gè)數(shù)據(jù)包在加載數(shù)據(jù)時(shí)自動(dòng)建立，包含過濾信息和統(tǒng)計(jì)信息。粗粒度的智能索引包含了描述數(shù)據(jù)間相互依賴關(guān)系的高級(jí)信息，能夠準(zhǔn)確識(shí)別數(shù)據(jù)包的需要，可有效解決復(fù)雜的多表連接和子查詢。表中的所有列自動(dòng)建立，不需用戶手工建立和維護(hù)。

智能索引本身占空間很少，擴(kuò)展性很好，建立索引后無膨脹。后續(xù)的數(shù)據(jù)包建立索引的速度不會(huì)受到前面數(shù)據(jù)包的影響，建立索引的速度相當(dāng)快。并且在數(shù)據(jù)查詢時(shí)不需要解包就能得到統(tǒng)計(jì)值，可進(jìn)一步降低I/O速度，對復(fù)雜查詢的優(yōu)化效果明顯。

3.5 并行處理技術(shù)

分布式數(shù)據(jù)庫針對數(shù)據(jù)加載和數(shù)據(jù)查詢實(shí)現(xiàn)了自動(dòng)高效的并行處理技術(shù)，充分利用智能算法適配實(shí)現(xiàn)多核CPU資源并行，實(shí)現(xiàn)數(shù)據(jù)庫分區(qū)內(nèi)的查詢并行。針對不同的數(shù)據(jù)分布及特征智能選擇不同算法進(jìn)行處理，如低效的寫操作、并發(fā)運(yùn)行且消耗大量資源的查詢操作，控制在各自適合的條件下運(yùn)行。

分布式并行技術(shù)具有系統(tǒng)資源管控能力，通過可配置的負(fù)載均衡機(jī)制，有效調(diào)度和平衡各個(gè)節(jié)點(diǎn)的負(fù)載及并行處理過程。用戶所面對的都是同一個(gè)數(shù)據(jù)庫系統(tǒng)，它負(fù)責(zé)調(diào)度各節(jié)點(diǎn)的工作，分解查詢請求，制訂節(jié)點(diǎn)查詢計(jì)劃，并對不同節(jié)點(diǎn)的查詢結(jié)果進(jìn)行匯總。并行處理技術(shù)可以將一個(gè)用戶的單個(gè)查詢?nèi)蝿?wù)分解在同一臺(tái)主機(jī)的多個(gè)CPU上并行運(yùn)算，也可以將一個(gè)用戶的多個(gè)查詢?nèi)蝿?wù)分解在同一臺(tái)主機(jī)的多個(gè)CPU上并行運(yùn)算，還可以將多個(gè)用戶的多個(gè)查詢?nèi)蝿?wù)分解在多臺(tái)主機(jī)的多個(gè)CPU上并行運(yùn)算。

4 分布式數(shù)據(jù)庫架構(gòu)方案設(shè)計(jì)

4.1 技術(shù)要求

移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展使得運(yùn)營商網(wǎng)絡(luò)中數(shù)據(jù)流量激增，運(yùn)營商如何把握市場轉(zhuǎn)型所帶來的機(jī)遇，做好數(shù)據(jù)經(jīng)營的價(jià)值挖掘，以低成本、高效率的運(yùn)營模式面臨挑戰(zhàn)，將會(huì)是一個(gè)重要的課題。

本文以某省運(yùn)營商大數(shù)據(jù)分析系統(tǒng)為例，為實(shí)現(xiàn)深度挖掘支撐精準(zhǔn)營銷和精細(xì)化服務(wù)，并實(shí)現(xiàn)對大量并發(fā)自助服務(wù)查詢的支撐要求，將該系統(tǒng)中的分布式數(shù)據(jù)庫分為融合計(jì)算集群和自助查詢集群。其中，融合計(jì)算集群有效數(shù)據(jù)量為300TB，并要求具備高效并行計(jì)算能力；自助查詢集群有效數(shù)據(jù)量為150TB，并要求具備復(fù)雜關(guān)聯(lián)查詢的支持能力。

4.2 網(wǎng)絡(luò)架構(gòu)

分布式數(shù)據(jù)庫需要通過網(wǎng)絡(luò)傳輸大量的數(shù)據(jù)，為提升網(wǎng)絡(luò)帶寬并最終改善數(shù)據(jù)庫性能，一般建議采用萬兆交換網(wǎng)絡(luò)。本文將系統(tǒng)分為集群一（融合計(jì)算集群）和集群二（自助查詢集群），兩集群共用核心萬兆交換機(jī)。每集群配置相應(yīng)數(shù)量的節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配置2個(gè)萬兆網(wǎng)卡和2個(gè)千兆網(wǎng)卡綁定后分別連接2臺(tái)交換機(jī)，從網(wǎng)卡、交換機(jī)、節(jié)點(diǎn)等環(huán)節(jié)均實(shí)現(xiàn)高可用性。其中，千兆電口網(wǎng)卡用于外部對節(jié)點(diǎn)的管理登錄連接及監(jiān)控信息通訊；萬兆光口網(wǎng)卡用于集群內(nèi)部節(jié)點(diǎn)管理和節(jié)點(diǎn)間數(shù)據(jù)通訊。具體如圖2所示。

圖2 分布式架構(gòu)網(wǎng)絡(luò)部署圖

每臺(tái)交換機(jī)劃分2個(gè)VLAN（Virtual Local Area Networks，虛擬局域網(wǎng)）。VLAN1支撐融合計(jì)算集群，VLAN2支撐自助查詢集群，并各自預(yù)留一定的擴(kuò)容余量。

4.3 硬件架構(gòu)

分布式數(shù)據(jù)庫的性能很大程度上取決于CPU、內(nèi)存、I/O設(shè)備、磁盤數(shù)量等硬件配置是否均衡。資源配置均衡合理，避免瓶頸的出現(xiàn)，才能獲得更優(yōu)的性能。例如，CPU和內(nèi)存的比例一般要求在1:8或以上；應(yīng)確保每個(gè)數(shù)據(jù)庫分區(qū)使用獨(dú)立的磁盤，以匹配分布式數(shù)據(jù)庫的無共享架構(gòu)。

仍以前文架構(gòu)為例，系統(tǒng)集群一和集群二分別部署54、36個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)包含1臺(tái)X86服務(wù)器及8塊1TB內(nèi)置磁盤。每個(gè)集群內(nèi)的節(jié)點(diǎn)均為對等節(jié)點(diǎn)，共同提供計(jì)算或查詢服務(wù)。集群之間不存在依賴關(guān)系。

分布式數(shù)據(jù)庫可采取將一個(gè)大的集群拆分成多個(gè)高可用組的方式，實(shí)現(xiàn)高可用性。例如，融合計(jì)算集群共54個(gè)節(jié)點(diǎn)，可拆分成18個(gè)高可用組，每組內(nèi)3個(gè)節(jié)點(diǎn)輪轉(zhuǎn)方式備份，每個(gè)節(jié)點(diǎn)的2個(gè)文件系統(tǒng)分別在另外2個(gè)節(jié)點(diǎn)上各有1份數(shù)據(jù)拷貝，確保任何節(jié)點(diǎn)宕機(jī)后數(shù)據(jù)庫仍然可以正常使用。

分布式數(shù)據(jù)庫配置硬盤及支持的數(shù)據(jù)空間換算過程如表1所示：

表1 分布式數(shù)據(jù)庫配置硬盤及數(shù)據(jù)空間計(jì)算模型

由此可見，配置硬盤及支持的壓縮數(shù)據(jù)空間大約在1:1之間。但考慮本文僅保守取定5倍的壓縮比例，且目前單節(jié)點(diǎn)配置硬盤已經(jīng)廣泛達(dá)到24TB（12塊2TB），分布式數(shù)據(jù)庫可支持的數(shù)據(jù)空間還有較大的提升潛力。

4.4 應(yīng)用效果

以前文提到的融合計(jì)算集群和自助查詢集群為例，最終通過MPP架構(gòu)數(shù)據(jù)庫集群實(shí)現(xiàn)了較高的并行計(jì)算能力、高并發(fā)訪問支持能力以及高效即席查詢能力來支持?jǐn)?shù)據(jù)分析平臺(tái)的業(yè)務(wù)需求。主要應(yīng)用效果如下：

（1）混合應(yīng)用的負(fù)載支撐

分布式數(shù)據(jù)庫可支持各種類型的應(yīng)用，如數(shù)據(jù)裝載、數(shù)據(jù)加工、數(shù)據(jù)計(jì)算、數(shù)據(jù)更新和刪除、數(shù)據(jù)插入導(dǎo)出、用戶并發(fā)查詢等操作。分布式數(shù)據(jù)庫通過良好的索引技術(shù)和并發(fā)機(jī)制能夠很好地支持混合負(fù)載場景，滿足業(yè)務(wù)需要。

（2）大量業(yè)務(wù)的負(fù)載管理

分布式數(shù)據(jù)庫可承載大規(guī)模的數(shù)據(jù)容量及大量的業(yè)務(wù)，有大量的業(yè)務(wù)用戶使用。通過高效的工作負(fù)載管理能力實(shí)現(xiàn)各類作業(yè)有條不紊地運(yùn)行，提高系統(tǒng)的整體吞吐量。工作負(fù)載管理可提供用戶優(yōu)先級(jí)管理（高優(yōu)先級(jí)用戶可以使用更多系統(tǒng)資源）、數(shù)據(jù)優(yōu)先級(jí)管理（熱點(diǎn)數(shù)據(jù)優(yōu)先，查詢熱點(diǎn)數(shù)據(jù)獲取更多系統(tǒng)資源）、作業(yè)并發(fā)度控制（按作業(yè)執(zhí)行成本分類，控制每類作業(yè)的并發(fā)度）、作業(yè)類型管理（如數(shù)據(jù)裝載、查詢、調(diào)用）等。

（3）滿足高并發(fā)查詢需求

在數(shù)據(jù)分析平臺(tái)自助服務(wù)查詢業(yè)務(wù)中，需面向基數(shù)龐大的客戶群體提供即席查詢服務(wù)，并發(fā)訪問峰值量極大，因此要求自助服務(wù)查詢數(shù)據(jù)庫具有支持大并發(fā)的能力。

根據(jù)實(shí)際應(yīng)用情況，分布式數(shù)據(jù)庫可同時(shí)支持不少于200個(gè)并發(fā)查詢?nèi)蝿?wù)。分布式數(shù)據(jù)庫對于1億條記錄規(guī)模以內(nèi)的數(shù)據(jù)查詢，處理性能可控在2小時(shí)以內(nèi)。對記錄為2億條數(shù)據(jù)的表同時(shí)進(jìn)行數(shù)據(jù)加載和查詢，查詢時(shí)間可控在40分鐘以內(nèi)。

（4）滿足高數(shù)據(jù)加載能力需求

根據(jù)實(shí)際應(yīng)用情況，日匯總數(shù)據(jù)28億條，單節(jié)點(diǎn)加載效率可達(dá)到1.5萬條/秒；月匯總數(shù)據(jù)320億條，單節(jié)點(diǎn)加載效率可達(dá)到5.5萬條/秒。對于2億條數(shù)據(jù)的表做單表匯總操作時(shí)間不超過90分鐘。

針對多表關(guān)聯(lián)的情況，日匯總表兩表關(guān)聯(lián)時(shí)，數(shù)據(jù)量為2億×0.5億情況下，關(guān)聯(lián)匯總的時(shí)間可控在40分鐘以內(nèi)；在三表關(guān)聯(lián)時(shí)，數(shù)據(jù)量為2億×0.6億×0.5億情況下，關(guān)聯(lián)匯總的時(shí)間可控在50分鐘以內(nèi)。

（5）滿足高擴(kuò)展能力需求

隨著數(shù)據(jù)量的增加，應(yīng)用功能不斷豐富，分布式數(shù)據(jù)庫系統(tǒng)勢必需要進(jìn)行擴(kuò)容，增加處理能力和存儲(chǔ)容量。分布式數(shù)據(jù)庫通常采用增加新的處理節(jié)點(diǎn)的方式，實(shí)現(xiàn)處理能力和存儲(chǔ)容量同時(shí)擴(kuò)容。從系統(tǒng)擴(kuò)展角度來說，分布式數(shù)據(jù)庫集群最大節(jié)點(diǎn)支持?jǐn)?shù)在1 000以上；從運(yùn)維角度來說，300TB存儲(chǔ)的分布式數(shù)據(jù)庫集群在增加節(jié)點(diǎn)后能夠在8小時(shí)內(nèi)完成數(shù)據(jù)的重新分布。

數(shù)據(jù)庫支持定制哈希位圖，可盡量減少重分布的數(shù)據(jù)量以及減輕重分布期間對業(yè)務(wù)應(yīng)用的影響，數(shù)據(jù)庫支持?jǐn)?shù)據(jù)重分布期間對外提供服務(wù)，為客戶提供更多的選擇。

（6）實(shí)現(xiàn)系統(tǒng)穩(wěn)定性和高可用性需求

分布式數(shù)據(jù)庫的高可用性包括應(yīng)對多種故障，在網(wǎng)絡(luò)連接異常、磁盤故障、節(jié)點(diǎn)級(jí)故障等情況下，應(yīng)用均不需要重新連接，可以繼續(xù)執(zhí)行直至完成。同時(shí)，系統(tǒng)一般通過多副本等冗余機(jī)制來保證數(shù)據(jù)的高可用特性和安全。分布式數(shù)據(jù)庫在CPU利用率達(dá)到70%以上和200個(gè)線程同時(shí)計(jì)算的狀態(tài)下能夠穩(wěn)定運(yùn)行，能保障7×24小時(shí)持續(xù)運(yùn)行，年故障數(shù)可控在5次以內(nèi)。

5 結(jié)束語

本文分析了大數(shù)據(jù)分析場景下分布式數(shù)據(jù)技術(shù)的建設(shè)驅(qū)動(dòng)力及關(guān)鍵技術(shù)，并對分布式架構(gòu)建設(shè)方案進(jìn)行了詳細(xì)的闡述。基于上述技術(shù)的分布式數(shù)據(jù)庫系統(tǒng)已經(jīng)在運(yùn)營商VGOP、經(jīng)分等多個(gè)大數(shù)據(jù)分析平臺(tái)中得到應(yīng)用。分布式數(shù)據(jù)庫可提高運(yùn)營商系統(tǒng)的通用性、可擴(kuò)展性、靈活性，并在一定程度上降低了開發(fā)成本。后續(xù)將對分布式數(shù)據(jù)庫進(jìn)行進(jìn)一步研究，以便其更好地服務(wù)于大數(shù)據(jù)的發(fā)展。

[1] 陳如明. 大數(shù)據(jù)時(shí)代的挑戰(zhàn)、價(jià)值與應(yīng)對策略[J]. 移動(dòng)通信, 2012(17): 14-16.

[2] 劉昭,張海峰,李瑋,等. 運(yùn)營商發(fā)展大數(shù)據(jù)技術(shù)及建設(shè)模式展望[J]. 電信工程技術(shù)與標(biāo)準(zhǔn)化, 2015(3): 12-16.

[3] 趙東暉,李立奇,彭慶. 運(yùn)營商大數(shù)據(jù)引入方案分析[J].移動(dòng)通信, 2013(21): 69-74.

[4] 陳吉榮,樂嘉錦. 基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J]. 計(jì)算機(jī)工程與科學(xué), 2013,35(10): 25-32.

[5] 全波,姚素丹. 移動(dòng)互聯(lián)網(wǎng)時(shí)代電信運(yùn)營商流量經(jīng)營探索[J]. 電信科學(xué), 2012,28(7): 18-21.

[6] 翟巖龍,羅壯,楊凱,等. 基于Hadoop的高性能海量數(shù)據(jù)處理平臺(tái)研究[J]. 計(jì)算機(jī)科學(xué), 2013,40(3): 100-103.

[7] 康尚欽,李軍,葉何亮,等. 基于分布式計(jì)算的電信聯(lián)機(jī)采集系統(tǒng)設(shè)計(jì)[J]. 計(jì)算機(jī)與現(xiàn)代化, 2013(1): 91-94.

[8] 陳娜,張金娟,劉智瓊,等. 基于Hadoop平臺(tái)的電信大數(shù)據(jù)入庫及查詢性能優(yōu)化研究[J]. 移動(dòng)通信, 2014(7):58-63.

[9] 彭慶. 基于大數(shù)據(jù)技術(shù)的流量分析平臺(tái)方案研究[J]. 郵電設(shè)計(jì)技術(shù), 2014(8): 22-25.

[10] 郭健. 精細(xì)化流量經(jīng)營業(yè)務(wù)支撐系統(tǒng)的研究與設(shè)計(jì)[J].電信工程技術(shù)與標(biāo)準(zhǔn)化, 2013(4): 1-5.