羅 榮 肖玉杰 王 亮 盛 亮
(1.海軍研究院 北京 102442)(2.海軍航空大學 煙臺 264001)
隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、無線傳感網(wǎng)絡等信息技術快速興起與普及,當前社會數(shù)據(jù)的增長速度比以往任何時期都要迅猛。不僅數(shù)據(jù)規(guī)模呈井噴式增長,而且數(shù)據(jù)種類日漸豐富,數(shù)據(jù)結構愈加復雜,在浩瀚的大數(shù)據(jù)洪流中淘出“真金白銀”,已成為世界各國的共識[1]。2012年美國政府將大數(shù)據(jù)上升到國家層面,投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”,涉及國家科學基金、國防部高級研究計劃局、地質勘探局、國防部、能源部、國家衛(wèi)生研究院等6個聯(lián)邦政府部門,投資超過兩億美元,大力推動和改善與大數(shù)據(jù)相關的信息采集、存儲和分析處理工具及技術,以推進從大量的、原始的、復雜的數(shù)據(jù)集合中獲取知識的能力[2]。2015年我國印發(fā)了《促進大數(shù)據(jù)發(fā)展行動綱要》,明確表示數(shù)據(jù)是國家的基礎性戰(zhàn)略資源,并引導和鼓勵各個領域在大數(shù)據(jù)分析方法及關鍵應用技術等方面開展探索研究。近年來,大數(shù)據(jù)技術在民用領域獲得飛速發(fā)展,相關技術體系趨于成熟,在交通、能源、環(huán)境、氣象、經(jīng)濟等民用領域均獲得比較成功的應用,建立起了一系列民用大數(shù)據(jù)庫與處理分析平臺。
隨著大數(shù)據(jù)技術向國防領域的不斷滲透與轉化發(fā)展,大數(shù)據(jù)逐漸出現(xiàn)在各個軍事領域并迅速獲得應用,例如航天航空、情報偵察、目標識別、指揮控制等多個軍事領域的數(shù)據(jù)規(guī)模已呈現(xiàn)出“大數(shù)據(jù)”特征,軍事大數(shù)據(jù)時代已經(jīng)到來[3]。海戰(zhàn)場指揮信息系統(tǒng)是指揮綜合運用以計算機為核心的技術裝備,實現(xiàn)對海戰(zhàn)場信息的獲取、傳輸、處理、顯示等,保障各級指揮機構對所屬部隊和武器實施科學高效指揮控制的各類信息系統(tǒng)的統(tǒng)稱,其依托信息傳輸平臺和指控系統(tǒng),將天基、空基、陸基、?;鶄鞲衅鹘M網(wǎng)融合,并與各武器平臺綜合集成,實現(xiàn)各平臺共享信息與協(xié)同作戰(zhàn)。海戰(zhàn)場指揮信息系統(tǒng)的核心功能是迅速準確識別與快速精確決策,其所需要的就是各種信息,實際上就是各類數(shù)據(jù)。隨著信息技術的發(fā)展以及大量傳感器的投入使用,海戰(zhàn)場態(tài)勢的偵察與探測能力提高的同時,指揮信息系統(tǒng)面臨著信息量急劇增加,信息種類迅速增多,實時處理要求迅速提高等挑戰(zhàn),而大數(shù)據(jù)技術的發(fā)展正好使指揮信息系統(tǒng)適應了這些要求[4]。如何從海量復雜、原始冗余的數(shù)據(jù)中快速分析挖掘出有價值的情報信息,從而支持作戰(zhàn)指揮決策是信息化時代作戰(zhàn)制勝的關鍵[5]。只有依托大數(shù)據(jù)技術,從海量數(shù)據(jù)中提取出有價值的信息,從而準確及時地掌握敵方的戰(zhàn)略企圖、作戰(zhàn)規(guī)律和兵力配置,客觀預判對手的作戰(zhàn)構想和行為特點,準確地分析把握敵我力量對比關系和戰(zhàn)場態(tài)勢的發(fā)展變化,實現(xiàn)戰(zhàn)場態(tài)勢實時感知和指揮員同步認知,才能將戰(zhàn)場“數(shù)據(jù)優(yōu)勢”轉換為“決策優(yōu)勢”,達成運籌帷幄之中、決勝于千里之外的作戰(zhàn)目的。因此海戰(zhàn)場指揮信息系統(tǒng)必是大數(shù)據(jù)技術廣泛應用與創(chuàng)新發(fā)展的典型舞臺與前沿陣地。
大數(shù)據(jù)是指規(guī)模大、數(shù)據(jù)形式多樣性、非結構化特征明顯,導致數(shù)據(jù)存儲、處理和挖掘異常困難而無法采用常規(guī)數(shù)據(jù)庫軟件與平臺進行采集、存儲、管理和分析的數(shù)據(jù)集[2]。大數(shù)據(jù)的特征通??梢詺w結于以下5個“V”,即:數(shù)據(jù)容量巨大(Volume)、數(shù)據(jù)類型多(Variety)、數(shù)據(jù)處理時效性(Velocity)、價值密度低(Value)以及結果準確性(Veracity)。
大數(shù)據(jù)技術指在大數(shù)據(jù)的采集、傳輸、處理和應用過程中,伴隨著數(shù)據(jù)處理過程,獲得分析和預測結果的一系列關鍵技術[6]。這些關鍵技術能實現(xiàn)“大數(shù)據(jù)”的高效存儲和高速傳輸,完成“大數(shù)據(jù)”的高效獲取和檢索,從而實現(xiàn)從數(shù)據(jù)到知識的目的,促進從數(shù)據(jù)到?jīng)Q策的轉變。完整的大數(shù)據(jù)分析處理流程基本可劃分為數(shù)據(jù)采集、數(shù)據(jù)處理與集成、數(shù)據(jù)挖掘分析和數(shù)據(jù)解釋等四個階段,因此本文將大數(shù)據(jù)技術體系分為數(shù)據(jù)采集技術、數(shù)據(jù)處理與集成技術、數(shù)據(jù)挖掘分析技術、數(shù)據(jù)解釋技術以及大其他相關技術等五個部分,大數(shù)據(jù)技術體系如圖1所示。
圖1 大數(shù)據(jù)技術體系
傳統(tǒng)的海戰(zhàn)場除了傳統(tǒng)的海面戰(zhàn)場外,還包括其中的島嶼、毗鄰的陸地、海面上廣闊的空間和水面下方一定范圍的水體。在信息化時代,隨著作戰(zhàn)要素進入到電磁空間、心理空間及網(wǎng)絡空間,海戰(zhàn)場的范圍也從傳統(tǒng)的海陸空幾何空間擴展到太空、電磁空間、心理空間和網(wǎng)絡空間。由于單傳感器和單一類型傳感器存在不可避免的弱點,信息化海戰(zhàn)場中的預警探測已從傳統(tǒng)艦船平臺跨越到衛(wèi)星、無人機、預警機、無人潛航器等新型平臺,傳感器也已從單一類型傳感器發(fā)展到多種類型傳感器,探測方式從就近探測為主發(fā)展到全域、遠距、主動偵察,已基本形成一個全方位、大縱深、立體化、可全天候全天時偵察監(jiān)視的分布式海戰(zhàn)場預警探測體系。在信息化海戰(zhàn)場作戰(zhàn)過程中所需要和產(chǎn)生的數(shù)據(jù)之所以可以作為大數(shù)據(jù)來處理,是因為這些數(shù)據(jù)符合大數(shù)據(jù)的以下特征。
1)數(shù)據(jù)量大
信息化海戰(zhàn)場預警探測體系中監(jiān)視衛(wèi)星、預警雷達、無人偵察機、聲納、磁探儀、紅外熱像儀、電視攝像儀、敵我識別器、電子偵察與告警設備等各類戰(zhàn)場傳感器和監(jiān)視設備的廣泛使用,以及電子偵察、航天偵察、航空偵察、諜報偵察,網(wǎng)絡偵察、光電偵察等各種技偵活動的深度開展,導致海量情報數(shù)據(jù)與實時探測信息的產(chǎn)生。信息化海戰(zhàn)場作戰(zhàn)數(shù)據(jù)來自戰(zhàn)場目標、戰(zhàn)術意圖、戰(zhàn)場環(huán)境、地理信息、水文氣象、網(wǎng)絡輿論信息、武器裝備、參戰(zhàn)部隊、后裝保障等各個方面,主要有以下5類數(shù)據(jù)[7]:(1)戰(zhàn)場情報偵察與監(jiān)視數(shù)據(jù);(2)編制裝備數(shù)據(jù);(3)指揮業(yè)務數(shù)據(jù);(4)作戰(zhàn)保障數(shù)據(jù),包括電磁頻譜、氣象水文、導航定位、地理信息、社會環(huán)境等與作戰(zhàn)行動緊密相關的數(shù)據(jù);(5)后勤裝備保障數(shù)據(jù)。信息化海戰(zhàn)場作戰(zhàn)數(shù)據(jù)的量級早己從TB發(fā)展至PB乃至EB級。
2)數(shù)據(jù)類型多樣化
信息化海戰(zhàn)場作戰(zhàn)數(shù)據(jù)的類型是廣泛多樣的,大體可分為結構化、半結構化與非結構化等三類數(shù)據(jù),其中半結構化與非結構化數(shù)據(jù)要占70%以上[8]。結構化數(shù)據(jù)是采用嚴格的二維表結構邏輯表達的數(shù)據(jù)(如作戰(zhàn)計劃、目標參數(shù)、裝備性能等等),其價值密度高,具有歷史和靜態(tài)特征;非結構化數(shù)據(jù)是沒有嚴格結構的數(shù)據(jù),無法通過預先定義的數(shù)據(jù)模型表述或無法存入關系型數(shù)據(jù)庫表中的數(shù)據(jù),如航天偵察和技術偵察等方式獲取各種文檔、圖像、報表、光譜、音頻和視頻信息等,通常具有容量大、價值密度低、時效性高和結構復雜等特點,其中蘊含了當前瞬息萬變的戰(zhàn)場態(tài)勢和稍縱即逝的戰(zhàn)爭時機;半結構化數(shù)據(jù)介于結構化與非結構化數(shù)據(jù)之間,具有結構化數(shù)據(jù)的特征,但結構變化很大,如網(wǎng)頁數(shù)據(jù)。半結構化數(shù)據(jù)既不能按照非結構化數(shù)據(jù)處理,也不能用結構化數(shù)據(jù)的處理方式,常常需要采取一些變通的方法。
3)數(shù)據(jù)處理快速化
在信息化海戰(zhàn)場中,隨著超音速甚至高超音速的武器與飛行平臺大量應用,導致海戰(zhàn)場態(tài)勢錯綜復雜、瞬息萬變,戰(zhàn)機稍縱即逝。只有對各種傳感器實時地傳來的大量快速更新的情報數(shù)據(jù)流進行實時分析和處理(秒級甚至毫秒級),才能實現(xiàn)對海戰(zhàn)場綜合態(tài)勢的實時感知與同步認知,從而壓縮“包以德循環(huán)”(OODA Loop),即觀察-調整-決策-行動的指揮周期,縮短“知謀定行”時間,提高快速反應能力。
4)數(shù)據(jù)價值高和價值密度低
隨著情報數(shù)據(jù)的增加,高價值的情報信息在所有數(shù)據(jù)的比例越來越小,導致價值密度越來越低,經(jīng)過大數(shù)據(jù)挖掘分析從價值分布稀疏的數(shù)據(jù)中挖掘得到高價值情報信息。
5)處理結果準確性要求高
隨著現(xiàn)代高新軍事技術的深入發(fā)展,使得海戰(zhàn)場中各類武器信息化與智能化程度得到很大提高,其不僅速度快、威力大、能夠超視距發(fā)射,而且體積小、隱身性強,越來越難以及時探測和識別,這對海戰(zhàn)場指揮信息系統(tǒng)目標識別的準確性以及指揮決策的準確性構成巨大挑戰(zhàn),客觀要求大數(shù)據(jù)處理結果具有很高準確性[9~10]。
隨著信息技術的發(fā)展,海上作戰(zhàn)需求的海量數(shù)據(jù)的存儲、高效計算、情報分析挖掘、可視化展示以及數(shù)據(jù)安全防護等問題給海戰(zhàn)場指揮信息系統(tǒng)帶來了新的挑戰(zhàn),體現(xiàn)出大數(shù)據(jù)處理能力的新需求。因此,筆者在本節(jié)梳理總結海戰(zhàn)場指揮信息系統(tǒng)大數(shù)據(jù)應用需重點發(fā)展的關鍵技術,具體如下所示。
1)海量異構數(shù)據(jù)存儲與管理技術
目前,海戰(zhàn)場指揮信息系統(tǒng)數(shù)據(jù)來源有情報數(shù)據(jù)、預警數(shù)據(jù)、平臺數(shù)據(jù)、武器數(shù)據(jù)、后勤數(shù)據(jù)等多種數(shù)據(jù)來源。一方面,非結構化異構數(shù)據(jù)大幅增長,傳統(tǒng)的關系型數(shù)據(jù)庫無法實現(xiàn)高效的存儲管理,帶來了對海量非結構化數(shù)據(jù)的存儲需求;另一方面,戰(zhàn)場數(shù)據(jù)量呈現(xiàn)爆炸性增長,傳統(tǒng)的物理存儲方式擴展性差,難以有效應對大容量數(shù)據(jù)的存儲管理,帶來了存儲的彈性擴容需求。因此,急需發(fā)展面向軍事大數(shù)據(jù)的海量異構數(shù)據(jù)分布式存儲技術,以解決復雜結構化、半結構化和非結構化的數(shù)據(jù)管理與處理問題。
海量異構數(shù)據(jù)存儲與管理技術是大數(shù)據(jù)分析的基礎,支持結構化和非結構化大數(shù)據(jù)的統(tǒng)一存儲管理,支持彈性擴容、大容量、高并發(fā)和高速一體化的數(shù)據(jù)訪問。海量異構數(shù)據(jù)存儲與管理技術包含的核心技術有分布式文件系統(tǒng)與數(shù)據(jù)庫技術、能效優(yōu)化與高效低成本的存儲技術、大數(shù)據(jù)降噪去冗余技術、分布式非關系型大數(shù)據(jù)管理與處理技術、多源異構數(shù)據(jù)的數(shù)據(jù)融合技術、海量異構數(shù)據(jù)組織技術、大數(shù)據(jù)高效索引與并行查詢技術、大數(shù)據(jù)移動備份復制技術等。
2)大數(shù)據(jù)并行計算處理技術
在計算模式方面,目前海戰(zhàn)場指揮信息系統(tǒng)采用傳統(tǒng)的集中式數(shù)據(jù)計算模式,該模式以數(shù)據(jù)遷移為代價,無法支撐大數(shù)據(jù)的高效計算。為實現(xiàn)高效計算處理,需要通過分布式的大數(shù)據(jù)并行計算處理技術,以計算遷移實現(xiàn)高效處理,并根據(jù)典型的計算應用對計算模式進行改進和優(yōu)化,增強適用性。大數(shù)據(jù)并行計算處理技術能實現(xiàn)多臺計算機進行并行計算的同時具有對計算任務進行自動分解、并發(fā)執(zhí)行的功能,支持批處理、內存計算、流計算和圖計算等多種計算模式,并能實現(xiàn)多種計算模式的資源分配和統(tǒng)一調度,為大數(shù)據(jù)的分析處理提供高效和可定制的計算框架。大數(shù)據(jù)并行計算處理技術包括計算任務的智能解析技術、計算的智能管理調度技術、分布式計算高效執(zhí)行技術和集群計算全過程狀態(tài)監(jiān)控技術等。
3)大數(shù)據(jù)挖掘分析技術
數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中,提取隱含的人們事先不知道的但又是潛在有用的信息和知識的過程。由于實際的目標行為一般十分復雜,很難檢測和依靠建模分析,而激增的情報數(shù)據(jù)背后隱藏著許多重要的知識和信息。通過對海量歷史情報數(shù)據(jù)的挖掘分析處理,可以快速智能地檢索目標相關信息,挖掘目標的特征、規(guī)律和行為意圖等隱含信息,從而提升系統(tǒng)的情報智能分析能力。通過戰(zhàn)場大數(shù)據(jù)的分析挖掘,提取其中蘊含的知識和價值,從而提高作戰(zhàn)指揮和輔助決策的時效性,提升智能決策能力。
大數(shù)據(jù)的分析挖掘技術針對海量歷史數(shù)據(jù)的目標靜態(tài)特征和行為特征,構建各軍兵種戰(zhàn)場目標特征知識庫,以知識庫為基礎,結合戰(zhàn)場實時信息的快速檢索和處理,動態(tài)識別目標身份及行為,實現(xiàn)對其作戰(zhàn)能力及意圖的認知,形成對作戰(zhàn)決策的有力支持。大數(shù)據(jù)挖掘分析技術非常豐富,除了傳統(tǒng)的分類、聚類、關聯(lián)、k近鄰方法、決策樹以及各種統(tǒng)計推斷方法(包括回歸分析、判別分析、主成分分析等)外,還包括神經(jīng)網(wǎng)絡、粗糙集理論、貝葉斯網(wǎng)絡、遺傳算法、深度學習、增強學習、遷移學習、集成學習、知識圖譜、知識推理等智能挖掘分析技術。
4)大數(shù)據(jù)可視化技術
海戰(zhàn)場指揮信息系統(tǒng)前端需可視化展現(xiàn)多維、復雜和異構的大規(guī)模數(shù)據(jù),以支持人機交互分析,幫助用戶直觀地掌握戰(zhàn)場態(tài)勢并快速做出決策。面對信息化海戰(zhàn)場指揮和輔助決策需求,應形成網(wǎng)絡關系的可視化、數(shù)據(jù)分析過程的交互可視化以及多維、異構和海量數(shù)據(jù)的綜合可視化等能力。
大數(shù)據(jù)可視化技術是指運用計算機圖形學和圖像處理技術,將數(shù)據(jù)轉換為圖形或圖像在屏幕上顯示出來,并進行交互處理的理論、方法和技術。大數(shù)據(jù)可視化技術可以實現(xiàn)對海戰(zhàn)場大數(shù)據(jù)的立體呈現(xiàn),直觀地呈現(xiàn)海戰(zhàn)場大數(shù)據(jù)特點,形象地展示數(shù)據(jù)分析結果,使結果非常容易地被指揮員所接受,提升指揮員的態(tài)勢認知,提高決策質量。大數(shù)據(jù)可視化技術可解決長期以來數(shù)據(jù)只能批處理而不能交互處理的現(xiàn)象。通過指揮人員之間以及指揮人員與數(shù)據(jù)之間的可視化交互,實時發(fā)現(xiàn)非結構化、非幾何的抽象數(shù)據(jù)背后的本質問題,可為基于數(shù)據(jù)的精確作戰(zhàn)指揮決策提供直觀、形象、豐富的信息和隱含知識。大數(shù)據(jù)可視化技術主要有并行式繪制技術、復雜數(shù)據(jù)對象可視化技術、復雜關聯(lián)關系可視化技術、人機交互可視化技術和多維空間表現(xiàn)可視化技術等。
5)大數(shù)據(jù)安全防護技術
由于大數(shù)據(jù)的重要性,針對大數(shù)據(jù)“云”的攻擊會時常發(fā)生,為確保大數(shù)據(jù)的安全,需要大數(shù)據(jù)安全技術進行預防、檢測、診斷并對攻擊作出反應。大數(shù)據(jù)安全防護技術包括云端的數(shù)據(jù)安全技術和網(wǎng)絡設施的安全技術,具體來說有身份認證、訪問控制、異常檢測、補丁管理、數(shù)據(jù)備份以及系統(tǒng)恢復等。
大數(shù)據(jù)框架是大數(shù)據(jù)的“操作系統(tǒng)”,其將數(shù)據(jù)的傳輸、存儲、整合和分析等各環(huán)節(jié)連接成為一個整體,完成對數(shù)據(jù)及各類資源的管理控制,并提供應用開發(fā)接口。典型的大數(shù)據(jù)框架包括MapRe?duce,內存集群計算和流式計算等三類基本框架。
MapReduce框架是一個軟件架構,適用于大規(guī)模數(shù)據(jù)集的并行運算,其將海量數(shù)據(jù)處理工作分解為可以并行的小任務,然后將分解后的小任務派送給分布式系統(tǒng)中的主機完成處理,并在不同工作節(jié)點之間進行協(xié)調和同步,而且在出現(xiàn)軟硬件故障時仍然能保證處理順利進行和性能的優(yōu)化[11]。Ma?pReduce框架采用分布式文件系統(tǒng)存儲輸入、輸出與中間數(shù)據(jù),進行主機間的數(shù)據(jù)同步。MapReduce框架具有高吞吐、高可用性、通用性、可擴展性好等諸多優(yōu)點,然后對于機器學習等需要多次迭代的計算任務,分布式文件系統(tǒng)的效率受限于硬盤I/O的速率,因此時延太大,這是MapReduce框架的主要缺陷。相比之下,內存集群計算框架采用分布式內存來存儲輸入、輸出與中間數(shù)據(jù),進行主機間的數(shù)據(jù)同步,機器學習處理速度與MapReduce框架相比,提高了一個數(shù)量級。
對于網(wǎng)絡監(jiān)控、網(wǎng)絡測量、呼叫記錄、網(wǎng)頁訪問、生產(chǎn)制造和傳感檢測等應用,其數(shù)據(jù)以大量、快速和時變的數(shù)據(jù)流形式持續(xù)到達,因此不宜用持久穩(wěn)定的關系型模型建模,而適宜用瞬態(tài)數(shù)據(jù)流(即流式數(shù)據(jù))建模。流式計算框架對流式數(shù)據(jù)進行實時和持續(xù)的計算或處理,需處理的輸入數(shù)據(jù)并不存儲于可隨機訪問的磁盤或內存,而是以一個或多個連續(xù)數(shù)據(jù)流的形式到達,經(jīng)過處理后,丟棄或存儲歸檔,數(shù)據(jù)流可級聯(lián)處理。典型的流式計算框架有Storm、S4、Cloudera Impala、Hstreaming等,單項數(shù)據(jù)的處理速度達到毫秒級。其中,Storm框架在容錯、可靠性、可擴展性和編程便利性等方面具有較多優(yōu)點,尤其是其自身采用運行于Java虛擬機(JVM)之上的Clojure語言開發(fā),能夠支持所有運行在JVM之上的編程語言,并能通過中間庫支持更多的編程語言。因此,Storm框架得到了較多應用。
海戰(zhàn)場指揮信息系統(tǒng)中的大數(shù)據(jù)分析包含離線分析和在線分析。其中,離線分析需要對海量歷史情報數(shù)據(jù)進行及時、準確地處理,通過關聯(lián)分析、聚類、分類等多種數(shù)據(jù)挖掘手段,以獲取潛在的、有價值的情報知識。Hadoop云計算平臺是MapRe?duce框架的一個典型的應用,作為大數(shù)據(jù)領域的標準處理與分析平臺,由于其開源特征而獲得了廣泛應用[12]。Hadoop云計算平臺適合情報分析人員可以對海量原始歷史情報數(shù)據(jù)進行分析,并得到支持決策所需的情報知識。然而,在指揮信息系統(tǒng)中,各種偵察傳感器實時地傳來大量不斷更新的情報數(shù)據(jù)流,戰(zhàn)場態(tài)勢瞬息萬變,只有對這些情報數(shù)據(jù)進行實時在線分析(秒級甚至毫秒級),才能獲取實時的戰(zhàn)場態(tài)勢。雖然Hadoop云計算平臺有Ma?pReduce框架的諸多優(yōu)點,然而也繼承了MapRe?duce框架的主要劣勢,存在延遲大,調度開銷大等問題,無法滿足作戰(zhàn)指揮的實時性要求,不適合對海戰(zhàn)場中的流式大數(shù)據(jù)進行在線分析?;诹魇接嬎憧蚣艿腟torm云計算平臺,一種開源的分布式實時流計算框架,支持全內存計算,且具有高容錯性、部署簡單等優(yōu)點,能夠彌補Hadoop批處理不能滿足實時性要求的缺陷,適合對海戰(zhàn)場中的流式大數(shù)據(jù)進行在線分析。
基于以上分析,可以基于Hadoop分布式云存儲技術,結合MapReduce并行計算框架和Storm流計算框架,構建適用于海戰(zhàn)場指揮信息系統(tǒng)的大數(shù)據(jù)分析框架,如圖2所示。整個架構包括云存儲層、云計算層、數(shù)據(jù)挖掘分析層和應用層。支撐管理層為每一層提供相應的服務支撐,包括數(shù)據(jù)安全、流程管理、資源監(jiān)控、資源調度、資源部署、資源規(guī)劃和虛擬化等功能,保證每一層都具有高可靠性和可伸縮性。
圖2 海戰(zhàn)場指揮信息系統(tǒng)大數(shù)據(jù)分析框架
各個層次的具體功能如下:
1)云存儲層由分布式文件系統(tǒng)(Hadoop Dis?tributed FileSystem,HDFS)、分布式數(shù)據(jù)庫(Ha?doop Database,Hbase)、分布式數(shù)據(jù)倉庫工具Hive構成,實現(xiàn)數(shù)據(jù)的分布式存取,其中HDFS是一種類似于GFS的分布式文件系統(tǒng),可以為大規(guī)模的服務器集群提供高速度的文件讀寫訪問;HBase是一種與BigTable類似的分布式并行數(shù)據(jù)庫系統(tǒng),可以提供海量數(shù)據(jù)的存儲和讀寫,而且兼容各種結構化或非結構化的數(shù)據(jù);Hive是一種基于Hadoop的大數(shù)據(jù)分布式數(shù)據(jù)倉庫引擎,它使用SQL語言對海量數(shù)據(jù)信息進行統(tǒng)計分析、查詢等操作,并且將數(shù)據(jù)存儲在相應的分布式數(shù)據(jù)庫或分布式文件系統(tǒng)中;
2)云計算層由并行計算框架(Hadoop)和流計算框架(Storm)組成。其中Hadoop提供非實時并行計算能力,Storm提供實時流計算能力。這兩種優(yōu)勢互補的框架結合使用,能取得取長補短的效果,使得海戰(zhàn)場指揮信息系統(tǒng)既能深入處理大量的遠期情報信息,又能快速處理實時預警探測信息流;
3)數(shù)據(jù)挖掘分析層包含并行機器學習算法、并行統(tǒng)計分類算法、并行數(shù)據(jù)挖掘算法、并行搜索算法、智能優(yōu)化算法、預測決策算法、自動推理算法等各類并行或智能算法,從而能夠高效準確地處理各種結構化、半結構化和非結構化數(shù)據(jù);
4)應用層面向海戰(zhàn)場指揮信息系統(tǒng)指揮人員提供數(shù)據(jù)融合、情報保障、目標識別、態(tài)勢感知、態(tài)勢預測、威脅估計、指揮決策、火力協(xié)同、毀傷評估等各種具體的作戰(zhàn)應用。
隨著大量傳感器與偵察設備在信息化海戰(zhàn)場的使用,海戰(zhàn)場情報數(shù)據(jù)來源越來越多,海戰(zhàn)場空間產(chǎn)生的數(shù)據(jù)表現(xiàn)出體量大、種類多、結構復雜和增速快等典型的大數(shù)據(jù)特征,因此海戰(zhàn)場指揮信息系統(tǒng)面臨著信息量急劇增加、信息種類迅速增多、實時處理要求迅速提高等諸多新挑戰(zhàn),而大數(shù)據(jù)技術的發(fā)展正好使海戰(zhàn)場指揮信息系統(tǒng)適應了這些新要求。所以,發(fā)展大數(shù)據(jù)技術不僅是信息化條件下指揮信息系統(tǒng)革新的內在需要,而且是應對信息化作戰(zhàn)指揮新挑戰(zhàn)的必然要求。大數(shù)據(jù)理念及技術可以作用于海戰(zhàn)場指揮信息系統(tǒng)預警探測、情報分析、態(tài)勢感知、威脅估計、指揮決策、效果評估等各個關鍵環(huán)節(jié),進行海量數(shù)據(jù)存儲、高效計算處理、戰(zhàn)場態(tài)勢分析與預測、智能情報分析與指揮決策支持等,最終為指揮員及參謀人員提供實效性強、準確度高的輔助決策。將大數(shù)據(jù)技術應用于海戰(zhàn)場指揮信息系統(tǒng),可提高我海軍信息化水平,推動指揮信息系統(tǒng)向知識化和智能化的方向發(fā)展,為保證我海軍在現(xiàn)代化戰(zhàn)爭中能打仗和打勝仗起到基礎支撐作用。