寧 靜

（武警陜西省總隊參謀部，陜西 西安 710054）

0 引言

近年來，移動通信技術(shù)的開發(fā)與應(yīng)用極大地推動了武警部隊移動通信網(wǎng)絡(luò)建設(shè)的進度，為復(fù)雜環(huán)境下移動通信功能的保障提供了強有力的支持。大數(shù)據(jù)技術(shù)作為新興的信息化技術(shù)類型，除了可以豐富武警部隊移動通信網(wǎng)絡(luò)應(yīng)用的功能以外，還為移動通信網(wǎng)絡(luò)的持續(xù)優(yōu)化提供了科學(xué)的技術(shù)指導(dǎo)。然而，由于當(dāng)前大數(shù)據(jù)分析技術(shù)尚處于應(yīng)用探索階段，與武警部隊移動通信網(wǎng)絡(luò)優(yōu)化的結(jié)合并不全面也不深入，需要通過進一步的應(yīng)用研究來深化該技術(shù)在武警部隊移動通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用。

1 大數(shù)據(jù)分析技術(shù)

大數(shù)據(jù)分析技術(shù)是在一系列技術(shù)的支持下，實現(xiàn)數(shù)據(jù)信息的挖掘、分析與利用。在當(dāng)前環(huán)境不確定性持續(xù)增加的背景下，大數(shù)據(jù)分析技術(shù)的產(chǎn)生和應(yīng)用為相關(guān)主體準確把握問題節(jié)點和問題癥結(jié)，制定和采取有效的問題解決策略提供了良好的基礎(chǔ)支持。綜合來看，大數(shù)據(jù)分析技術(shù)的核心技術(shù)內(nèi)容主要有以下四個方面：

（1）數(shù)據(jù)采集技術(shù)。數(shù)據(jù)采集技術(shù)是對海量結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)進行收集的技術(shù)類型。目前，數(shù)據(jù)采集技術(shù)的應(yīng)用主要在于數(shù)據(jù)庫數(shù)據(jù)的采集、網(wǎng)絡(luò)數(shù)據(jù)的采集和文件數(shù)據(jù)的采集等方面。其中，數(shù)據(jù)庫數(shù)據(jù)采集是通過Sqoop、ETL、MySQL、Oracle等數(shù)據(jù)庫進行數(shù)據(jù)的抓??；網(wǎng)絡(luò)數(shù)據(jù)采集是通過Web爬蟲或者網(wǎng)站的公共API，從網(wǎng)頁中獲取一些非結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，并將這些數(shù)據(jù)的結(jié)構(gòu)統(tǒng)一為本地數(shù)據(jù)結(jié)構(gòu)；文件采集是通過實時文件采集與處理技術(shù)flume、基于ELK的日志采集、增量采集等進行數(shù)據(jù)的獲取。

（2）數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理指的是在開展大數(shù)據(jù)分析之前，先對通過各種途徑收集到的原始數(shù)據(jù)進行清洗、集成、轉(zhuǎn)換、離散和規(guī)約等處理，使各種類型的數(shù)據(jù)達到大數(shù)據(jù)分析所要求的最低規(guī)范和標準。其中，數(shù)據(jù)清洗是指對原始數(shù)據(jù)中存在缺失、錯亂等問題的數(shù)據(jù)進行填充或者消除，提高數(shù)據(jù)的質(zhì)量；數(shù)據(jù)集成是將來自多個方向的數(shù)據(jù)進行合并處理，消除重復(fù)性、重疊性的數(shù)據(jù)；數(shù)據(jù)轉(zhuǎn)換是將來源不同的數(shù)據(jù)進行屬性轉(zhuǎn)換，使數(shù)據(jù)保持類型、結(jié)構(gòu)等方面的統(tǒng)一、規(guī)范；數(shù)據(jù)規(guī)約是通過尋找依賴于發(fā)現(xiàn)目標的數(shù)據(jù)來縮減數(shù)據(jù)的規(guī)模，從而實現(xiàn)在保持數(shù)據(jù)原貌的前提下，最大限度地精簡數(shù)據(jù)的規(guī)模，提升數(shù)據(jù)分析的效率。

（3）數(shù)據(jù)存儲技術(shù)。數(shù)據(jù)存儲是指以數(shù)據(jù)庫的形式存儲采集到的數(shù)據(jù)，在數(shù)據(jù)存儲中，數(shù)據(jù)庫是存儲載體。目前，大數(shù)據(jù)存儲的技術(shù)路線主要有三種：采用MPP架構(gòu)的新型數(shù)據(jù)庫集群、基于Hadoop的技術(shù)擴展和封裝、大數(shù)據(jù)一體機。其中，采用MPP架構(gòu)的新型數(shù)據(jù)庫集群主要采用SharedNothing架構(gòu)，通過列存儲、粗粒度索引等技術(shù)，結(jié)合MPP架構(gòu)的分布式計算模式，構(gòu)建起具有高性能和高擴展性的特點；基于Hadoop的技術(shù)擴展和封裝是由Hadoop衍生出來的技術(shù)類型，其主要用于傳統(tǒng)關(guān)系型數(shù)據(jù)庫較難處理的情況；大數(shù)據(jù)一體機是由集成的軟件組成，具有性能穩(wěn)定、擴展性強的特點。

（4）數(shù)據(jù)分析與挖掘。數(shù)據(jù)分析與挖掘是利用可視化分析技術(shù)、數(shù)據(jù)挖掘算法、數(shù)據(jù)預(yù)測分析技術(shù)等，對原本無序的數(shù)據(jù)進行提取、提煉和分析。作為大數(shù)據(jù)技術(shù)應(yīng)用的兩個方面，數(shù)據(jù)分析與數(shù)據(jù)挖掘存在一定的銜接性、關(guān)聯(lián)性，但兩者也存在明顯的區(qū)別：數(shù)據(jù)分析是以輸入的數(shù)據(jù)為基礎(chǔ)，通過一系列約束性條件，對數(shù)據(jù)進行分析處理，分析結(jié)果與數(shù)據(jù)和約束性條件相關(guān)，具有明顯的客觀性；數(shù)據(jù)挖掘是對數(shù)據(jù)信息價值的發(fā)現(xiàn)與獲取，雖然數(shù)據(jù)信息的價值來源于數(shù)據(jù)本身，但挖掘的標準和方向則較大程度上受人的管控，具有明顯的主觀性。簡而言之，數(shù)據(jù)分析是對數(shù)據(jù)信息的客觀性分析，而數(shù)據(jù)挖掘是基于人主觀性的數(shù)據(jù)價值需求而進行的數(shù)據(jù)處理與利用。

2 大數(shù)據(jù)技術(shù)在移動通信網(wǎng)絡(luò)優(yōu)化中具體應(yīng)用

隨著武警部隊通信網(wǎng)絡(luò)需求的持續(xù)增加，借助大數(shù)據(jù)技術(shù)對現(xiàn)有移動通信網(wǎng)絡(luò)進行持續(xù)性的優(yōu)化，已然成為武警部隊通信網(wǎng)絡(luò)建設(shè)中的重點研究方向和探索目標。就目前移動通信網(wǎng)絡(luò)優(yōu)化實踐情況來看，大數(shù)據(jù)技術(shù)的應(yīng)用方向主要有以下幾方面：

（1）在網(wǎng)絡(luò)優(yōu)化目標確定方面的應(yīng)用。移動通信網(wǎng)絡(luò)架構(gòu)的層次性和復(fù)雜性，決定了網(wǎng)絡(luò)優(yōu)化需要有明確的目標和方向指引。為了優(yōu)化移動通信網(wǎng)絡(luò)，需要在實際應(yīng)用大數(shù)據(jù)處理技術(shù)及其優(yōu)勢的所有階段明確了解策略。在移動通信網(wǎng)絡(luò)優(yōu)化過程中，技術(shù)人員會先借助大數(shù)據(jù)技術(shù)對移動通信網(wǎng)絡(luò)進行整體測試，在對比測試數(shù)據(jù)結(jié)果的基礎(chǔ)上進行路測，進而掌握移動通信網(wǎng)絡(luò)的信號質(zhì)量、電平、覆蓋狀況等信息，從而明確網(wǎng)絡(luò)優(yōu)化的節(jié)點。同時，在網(wǎng)絡(luò)優(yōu)化過程中，技術(shù)人員可以通過大數(shù)據(jù)分析技術(shù)對提出的多種網(wǎng)絡(luò)通信方案進行優(yōu)化模擬，通過對比模擬結(jié)果來確定最佳的網(wǎng)絡(luò)通信方案，從而保障優(yōu)化后的移動通信網(wǎng)絡(luò)在安全性、穩(wěn)定性、兼容性等方面均優(yōu)于原有的方案。

（2）在網(wǎng)絡(luò)信息存儲方面的應(yīng)用。擁有高強度的保密性是武警部隊移動通信網(wǎng)絡(luò)需要具備的基礎(chǔ)性條件。并且，移動通信網(wǎng)絡(luò)數(shù)據(jù)分析與決策功能發(fā)揮的前提條件是網(wǎng)絡(luò)中要存儲有足夠多的數(shù)據(jù)。大數(shù)據(jù)分析技術(shù)除了具有數(shù)據(jù)分析功能以外，還具有強大的數(shù)據(jù)存儲技術(shù)優(yōu)勢，通過數(shù)據(jù)庫等存儲載體，既可以存儲海量的多類型數(shù)據(jù)信息，也可以對數(shù)據(jù)庫中的數(shù)據(jù)信息進行加密處理，從而實現(xiàn)移動通信網(wǎng)絡(luò)滿足部隊移動通信網(wǎng)絡(luò)數(shù)據(jù)信息存儲的功能需求。同時，大數(shù)據(jù)技術(shù)還廣泛應(yīng)用于移動通信網(wǎng)絡(luò)的存儲數(shù)據(jù)的更新方面，即大數(shù)據(jù)技術(shù)能夠按照相應(yīng)的約束性條件，根據(jù)用戶網(wǎng)絡(luò)使用過程中產(chǎn)生的新數(shù)據(jù)，對原有存儲于數(shù)據(jù)庫中的數(shù)據(jù)進行分析、替代，從而保持數(shù)據(jù)庫中信息的時效性。

（3）在網(wǎng)絡(luò)潛在優(yōu)化需求挖掘方面的應(yīng)用。目前，武警部隊對移動通信網(wǎng)絡(luò)優(yōu)化需求的掌握主要是基于問題和功能導(dǎo)向，即部隊在開展相關(guān)工作中產(chǎn)生某項通信網(wǎng)絡(luò)功能需求或者發(fā)現(xiàn)某一網(wǎng)絡(luò)通信問題時，開展相應(yīng)的通信網(wǎng)絡(luò)優(yōu)化工作，這種優(yōu)化模式較為被動，容易造成網(wǎng)絡(luò)長期存在潛在風(fēng)險。在大數(shù)據(jù)分析技術(shù)中的數(shù)據(jù)挖掘技術(shù)的支持下，技術(shù)人員除了能夠發(fā)現(xiàn)明顯的網(wǎng)絡(luò)優(yōu)化需求信息以外，還可以通過數(shù)據(jù)的深層次價值挖掘發(fā)現(xiàn)網(wǎng)絡(luò)運行中存在的風(fēng)險因素甚至風(fēng)險節(jié)點，從而使事后的網(wǎng)絡(luò)優(yōu)化活動提前到了事前，使網(wǎng)絡(luò)整體的安全性系數(shù)明顯提升。

3 大數(shù)據(jù)技術(shù)在移動通信網(wǎng)絡(luò)優(yōu)化應(yīng)用方面需要注意的問題

雖然當(dāng)前大數(shù)據(jù)技術(shù)應(yīng)用研究的主體和內(nèi)容比較豐富，但受職能范圍等因素的影響，武警部隊在利用大數(shù)據(jù)技術(shù)優(yōu)化移動通信網(wǎng)絡(luò)方面與其他主體之間存在一定的不同，這使得大數(shù)據(jù)技術(shù)的研究與應(yīng)用需要考慮一些特殊性的問題。結(jié)合當(dāng)前的實踐來看，大數(shù)據(jù)技術(shù)應(yīng)用應(yīng)當(dāng)注意以下問題：

（1）拓寬數(shù)據(jù)來源。武警部隊大數(shù)據(jù)分析中的數(shù)據(jù)信息資源主要來源于本單位移動通信網(wǎng)絡(luò)運行中產(chǎn)生的數(shù)據(jù)。雖然這種以單位為主體的數(shù)據(jù)來源方式能夠滿足部隊單位內(nèi)部移動通信網(wǎng)絡(luò)優(yōu)化的需求，但在面對一些跨兵種、跨區(qū)域移動通信需求方面存在明顯的薄弱性。因此，武警部隊在大數(shù)據(jù)分析技術(shù)應(yīng)用方面，應(yīng)當(dāng)盡可能地拓展數(shù)據(jù)信息的來源，獲得更多關(guān)于部隊整體移動通信網(wǎng)絡(luò)建設(shè)與運行的數(shù)據(jù)信息，以此保證大數(shù)據(jù)分析技術(shù)應(yīng)用的科學(xué)性和可靠性。

（2）強化數(shù)據(jù)安全保障。網(wǎng)絡(luò)的開放性使得武警部隊的移動通信網(wǎng)絡(luò)運行環(huán)境具有明顯的復(fù)雜性和不確定性。為確保網(wǎng)絡(luò)中存儲、運行的數(shù)據(jù)信息的安全，武警部隊在使用大數(shù)據(jù)技術(shù)過程中，要在規(guī)范移動通信網(wǎng)絡(luò)資源使用行為的同時，注重數(shù)據(jù)安全保密技術(shù)的開發(fā)與使用，切實解決大數(shù)據(jù)技術(shù)應(yīng)用過程中的數(shù)據(jù)安全性問題，使移動網(wǎng)絡(luò)安全得到持續(xù)性的保障。

4 結(jié)束語

優(yōu)化移動通信網(wǎng)絡(luò)作為武警部隊信息化建設(shè)中的重點項目內(nèi)容，在優(yōu)化部隊資源利用效率和效果方面發(fā)揮著重要的作用。在利用大數(shù)據(jù)技術(shù)優(yōu)化移動通信網(wǎng)絡(luò)的過程中，除了要關(guān)注技術(shù)應(yīng)用的功能優(yōu)勢外，還要注意大數(shù)據(jù)分析技術(shù)應(yīng)用中可能存在的數(shù)據(jù)來源單一、數(shù)據(jù)安全保障性薄弱等問題，通過有效的管理與技術(shù)措施來優(yōu)化解決技術(shù)應(yīng)用中的問題，切實保證網(wǎng)絡(luò)優(yōu)化的效果。