潘 越 楊晨凱 陸澤健 黃 勝 陳 龍

(中國電子科學(xué)研究院 北京 100041)

網(wǎng)絡(luò)化分布式軍事信息云架構(gòu)解決方案的設(shè)計與實現(xiàn)

潘 越 楊晨凱 陸澤健 黃 勝 陳 龍

(中國電子科學(xué)研究院 北京 100041)

針對傳統(tǒng)軍事信息系統(tǒng)“煙囪”現(xiàn)象嚴(yán)重，大規(guī)模數(shù)據(jù)處理能力出現(xiàn)瓶頸，信息按需服務(wù)能力不足的問題，提出基于云計算和大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)化分布式軍事信息云架構(gòu)解決方案。首先設(shè)計了軍事信息云體系架構(gòu)和軟件架構(gòu)，基于云計算理念將戰(zhàn)場資源進(jìn)行多域虛擬和高效整合，形成一體化資源協(xié)同軍事信息云，用戶通過端系統(tǒng)向軍事信息云獲取服務(wù)。其次設(shè)計軍事信息云關(guān)鍵組成架構(gòu)，包括分布式敏捷數(shù)據(jù)集成共享架構(gòu)、基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉庫架構(gòu)和基于實時流計算引擎的信息服務(wù)架構(gòu)。基于提出的網(wǎng)絡(luò)化分布式軍事信息云架構(gòu)，能夠提升軍事信息系統(tǒng)互聯(lián)互通互操作、海量數(shù)據(jù)分析挖掘和信息按需精準(zhǔn)服務(wù)能力，促進(jìn)部隊一體化聯(lián)合作戰(zhàn)能力形成。

網(wǎng)絡(luò)中心戰(zhàn) 敏捷集成 數(shù)據(jù)倉庫 信息服務(wù)

0 引 言

新世紀(jì)以來，美軍為應(yīng)對信息化發(fā)展帶來的機(jī)遇和挑戰(zhàn)，不斷推進(jìn)新軍事變革，爭奪信息優(yōu)勢和決策優(yōu)勢。2000年5月，美軍參謀長聯(lián)席會議頒發(fā)了《2020年聯(lián)合構(gòu)想》，該構(gòu)想以聯(lián)合作戰(zhàn)為中心，規(guī)定了美軍未來15～20年發(fā)展的戰(zhàn)略目標(biāo)，指出聯(lián)合部隊獲取全面優(yōu)勢的因素，以及為贏得未來戰(zhàn)爭勝利聯(lián)合部隊?wèi)?yīng)具備的能力等，強(qiáng)調(diào)“利用信息優(yōu)勢，提高偵察、監(jiān)視和預(yù)警能力”[1]。2009年9月，美國空軍參謀長諾頓·施瓦茨上將和美國海軍作戰(zhàn)部長加里·拉夫黑德上將簽署了一份備忘錄，要通過空軍、海軍的共同努力開發(fā)出一種新的作戰(zhàn)概念，即現(xiàn)在所謂的“空海一體戰(zhàn)”。2012年，美國四大軍種的副參謀長簽署了一份諒解備忘錄，該備忘錄確立了在建設(shè)聯(lián)合部隊過程中實施“空海一體戰(zhàn)”概念的框架[2]。在“空海一體戰(zhàn)”概念中，根據(jù)任務(wù)進(jìn)行編組的部隊實時緊密地協(xié)調(diào)網(wǎng)絡(luò)化活動，以在所有域中展開協(xié)調(diào)一致的行動，而不拘泥于特定軍種的作戰(zhàn)程序、戰(zhàn)術(shù)或武器系統(tǒng)，強(qiáng)調(diào)對部隊及其活動進(jìn)行配置，以使部隊能夠作為一個整體在所有作戰(zhàn)域?qū)嵤┮惑w化作戰(zhàn)[3]。由此可見，美軍在未來戰(zhàn)爭中更加強(qiáng)調(diào)網(wǎng)絡(luò)化、聯(lián)合、協(xié)同作戰(zhàn)。

為應(yīng)對軍事技術(shù)變革帶來的挑戰(zhàn)，本文將對外軍信息系統(tǒng)發(fā)展情況進(jìn)行闡述。分析網(wǎng)絡(luò)中心戰(zhàn)條件下軍事信息系統(tǒng)能力需求，提出一種基于大數(shù)據(jù)、云計算、數(shù)據(jù)倉庫等技術(shù)的分布式網(wǎng)絡(luò)化軍事信息云架構(gòu)設(shè)計方法，以提升信息共享、數(shù)據(jù)分析挖掘和信息按需服務(wù)能力，滿足未來網(wǎng)絡(luò)中心戰(zhàn)條件下一體化作戰(zhàn)需求。

1 外軍信息系統(tǒng)發(fā)展

1.1 平臺中心戰(zhàn)信息系統(tǒng)

海灣戰(zhàn)爭以前(1991年以前)，美軍信息系統(tǒng)建設(shè)主要依托于各軍兵種獨立建設(shè)，從指揮控制系統(tǒng)(C2)，到后來的指揮控制通信系統(tǒng)(C3)，再到指揮控制通信情報系統(tǒng)(C3I)，重點建設(shè)了全球軍事指揮控制系統(tǒng)(WWMCCS)等信息系統(tǒng)，主要用于全球范圍內(nèi)履行大規(guī)模常規(guī)作戰(zhàn)和核作戰(zhàn)任務(wù)[4]。到20世紀(jì)90年代初，美軍已建成功能要素相對完備的戰(zhàn)區(qū)級C3I系統(tǒng)，并在海灣戰(zhàn)爭中發(fā)揮了巨大作用，引發(fā)世界各主要軍事強(qiáng)國對信息系統(tǒng)的普遍重視。美軍在該階段研制的信息系統(tǒng)實現(xiàn)了指控、通信、情報功能的有機(jī)結(jié)合，基本解決了軍兵種獨立作戰(zhàn)指揮的問題。但由于缺乏統(tǒng)一的頂層設(shè)計，客觀上形成了一批“煙囪”系統(tǒng)。

1.2 一體化作戰(zhàn)信息系統(tǒng)

海灣戰(zhàn)爭以后(1992年至2003年)，美軍針對海灣戰(zhàn)爭暴露出的各軍兵種信息不能互連互通、聯(lián)合作戰(zhàn)能力差、信息系統(tǒng)“煙囪”林立問題開展了C4ISR體系設(shè)計和建設(shè)，旨在將各軍兵種信息系統(tǒng)綜合集成為一體化的系統(tǒng)，并啟動了公共操作環(huán)境(COE)、共享數(shù)據(jù)環(huán)境(SHADE)等一批信息基礎(chǔ)設(shè)施建設(shè)。重點建設(shè)了全球指揮控制系統(tǒng)(GCCS)等信息系統(tǒng)，用于替代WWMCCS，實現(xiàn)跨軍兵種、跨戰(zhàn)區(qū)一體化聯(lián)合作戰(zhàn)[4]。2003年，美軍在全球625個基地完成GCCS部署。該階段建設(shè)的信息系統(tǒng)促進(jìn)了各軍兵種“煙囪”系統(tǒng)的整合，系統(tǒng)一體化水平明顯提升。但由于信息系統(tǒng)之間缺乏通用數(shù)據(jù)結(jié)構(gòu)支撐，系統(tǒng)間互操作性差，各軍兵種間無縫數(shù)據(jù)交換、按需服務(wù)、高效協(xié)作能力不夠。

1.3 網(wǎng)絡(luò)中心戰(zhàn)信息系統(tǒng)

網(wǎng)絡(luò)中心戰(zhàn)時代(2004年至今)，為進(jìn)一步提升聯(lián)合作戰(zhàn)能力，加快向“網(wǎng)絡(luò)中心”轉(zhuǎn)型，美軍啟動了NCW系統(tǒng)建設(shè)。2004年確定的核心建設(shè)領(lǐng)域包括快速反應(yīng)和可靠的網(wǎng)絡(luò)資源與服務(wù)、無縫安全可靠的連通性和互操作性、分布式協(xié)同支持等。海軍提出部隊網(wǎng)(ForceNet)建設(shè)構(gòu)想，發(fā)展協(xié)同作戰(zhàn)能力(CEC)，空軍提出星座網(wǎng)(Constellation Net)建設(shè)構(gòu)想，發(fā)展網(wǎng)絡(luò)中心協(xié)同瞄準(zhǔn)能力(NCCT)。陸軍提出陸戰(zhàn)網(wǎng)(Land War Net)建設(shè)構(gòu)想，發(fā)展未來戰(zhàn)斗系統(tǒng)(FCS)。重點開展網(wǎng)絡(luò)使能指揮能力(NECC)系統(tǒng)等信息系統(tǒng)建設(shè)，NECC即聯(lián)合指揮控制系統(tǒng)(JC2)，基于統(tǒng)一的結(jié)構(gòu)、以網(wǎng)絡(luò)為中心，支持作戰(zhàn)人員高效、準(zhǔn)確、及時指揮部隊聯(lián)合作戰(zhàn)，實現(xiàn)一體化、持續(xù)、跨越多層次的指揮控制能力[4]。美軍在新世紀(jì)實施的一系列構(gòu)想設(shè)計和系統(tǒng)建設(shè)，為C4ISR系統(tǒng)向“網(wǎng)絡(luò)中心”轉(zhuǎn)型奠定了基礎(chǔ)。

2 系統(tǒng)能力需求

網(wǎng)絡(luò)中心戰(zhàn)條件下，需依托強(qiáng)大的網(wǎng)絡(luò)信息系統(tǒng)，將分布在廣域空間內(nèi)的各種傳感器、指控系統(tǒng)和武器平臺連接成統(tǒng)一高效的大系統(tǒng)，將信息優(yōu)勢轉(zhuǎn)變?yōu)樽鲬?zhàn)行動優(yōu)勢，信息系統(tǒng)需具備以下能力。

2.1 互聯(lián)互通互操作能力

消除“煙囪”系統(tǒng)、冗余和非互通的系統(tǒng)，避免“信息孤島”現(xiàn)象。統(tǒng)一架構(gòu)和技術(shù)體制，高效協(xié)同裝備和系統(tǒng)，使得傳感器節(jié)點、指揮控制節(jié)點、武器節(jié)點相互之間以及上下縱橫層次之間互聯(lián)互通互操作，為信息、知識共享創(chuàng)造條件。

2.2 海量數(shù)據(jù)分析挖掘能力

在網(wǎng)絡(luò)中心戰(zhàn)條件下，各類裝備和系統(tǒng)產(chǎn)生的數(shù)據(jù)呈指數(shù)級增長，逐漸表現(xiàn)出大數(shù)據(jù)特征，同時數(shù)據(jù)作為戰(zhàn)略資源成為新的爭奪點，必須對海量數(shù)據(jù)進(jìn)行快速處理，從不完全、有噪聲、模糊的數(shù)據(jù)中挖掘提取有潛在軍事應(yīng)用價值的信息和知識。

2.3 信息按需精準(zhǔn)服務(wù)能力

平臺中心戰(zhàn)條件下，系統(tǒng)將處理后的信息發(fā)送給所有用戶，用戶需對信息進(jìn)一步處理以開展下一步行動。然而不同的用戶所需的信息以及接收信息的條件是不同的，網(wǎng)絡(luò)中心戰(zhàn)條件下，實現(xiàn)基于網(wǎng)絡(luò)的精準(zhǔn)交戰(zhàn)必須結(jié)合用戶實際需求，將所需的信息在適當(dāng)?shù)臅r間與地點發(fā)送。

3 總體架構(gòu)設(shè)計

3.1 體系架構(gòu)

網(wǎng)絡(luò)化分布式軍事信息云基于“云計算”理念，采用云技術(shù)實現(xiàn)戰(zhàn)場資源的高效整合。將地域、空域、時間域分散的傳感器、指控系統(tǒng)和武器系統(tǒng)進(jìn)行協(xié)同組網(wǎng)。從體系層面實現(xiàn)陸、海、空、天各作戰(zhàn)域的戰(zhàn)場資源進(jìn)行融合，匯聚成“云”，完成戰(zhàn)場數(shù)據(jù)網(wǎng)狀交互，具備全域性、分布式、網(wǎng)絡(luò)化特點。

網(wǎng)絡(luò)化分布式軍事信息云以“云”為核心，特征是多域虛擬存在和資源高度融合，具備全域性、分布式和互聯(lián)互通互操作性。網(wǎng)絡(luò)化分布式軍事信息云從組織層級上主要包括區(qū)域信息系統(tǒng)和總部信息系統(tǒng)，區(qū)域信息系統(tǒng)對所負(fù)責(zé)區(qū)域的傳感器進(jìn)行統(tǒng)一管控。并對獲取的信息進(jìn)行處理，為區(qū)域武器用戶和指揮用戶提供可定制的信息服務(wù)。總部信息系統(tǒng)對全局傳感器資源進(jìn)行協(xié)同，處理生成全局唯一的態(tài)勢信息，并對跨區(qū)域聯(lián)合軍事行動提供信息服務(wù)。網(wǎng)絡(luò)化分布式軍事信息云體系架構(gòu)如圖1所示。

圖1 軍事信息云體系架構(gòu)

3.2 軟件架構(gòu)

網(wǎng)絡(luò)化分布式軍事信息云軟件架構(gòu)主要包括基礎(chǔ)設(shè)施層、平臺服務(wù)層、數(shù)據(jù)服務(wù)層、軟件服務(wù)層四層。

基礎(chǔ)設(shè)施層(IaaS)通過資源虛擬化技術(shù)，對計算、存儲、網(wǎng)絡(luò)等異構(gòu)資源進(jìn)行統(tǒng)一管理，形成計算資源池、存儲資源池和網(wǎng)絡(luò)資源池，并進(jìn)行全生命周期資源分配和調(diào)度。

平臺服務(wù)層(PaaS)為軟件和服務(wù)的開發(fā)部署提供支撐平臺，為分布式數(shù)據(jù)集成共享提供基礎(chǔ)服務(wù)框架，主要包括服務(wù)支撐環(huán)境、基礎(chǔ)支撐環(huán)境、分布式數(shù)據(jù)集成共享框架、運行監(jiān)控等。

數(shù)據(jù)服務(wù)層(DaaS)對分布在各節(jié)點的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集中統(tǒng)一進(jìn)行數(shù)據(jù)聚合、數(shù)據(jù)同步、數(shù)據(jù)清洗等，支持構(gòu)建基于大數(shù)據(jù)的數(shù)據(jù)倉庫，支持開展數(shù)據(jù)挖掘、聯(lián)機(jī)分析處理等業(yè)務(wù)。

軟件服務(wù)層(SaaS)基于統(tǒng)一規(guī)范的接口，為各類用戶提供靈活定制、即時部署、快速集成的應(yīng)用軟件服務(wù)，支持各類用戶能夠隨時隨地開展作戰(zhàn)決策、戰(zhàn)術(shù)行動、武器打擊等業(yè)務(wù)應(yīng)用。

“云”將地理分散的各類資源相互連接形成網(wǎng)絡(luò)化戰(zhàn)場資源池，每個作戰(zhàn)節(jié)點基于“端”系統(tǒng)，既向“云”提供信息，又從“云”獲取信息服務(wù)，同時可根據(jù)作戰(zhàn)任務(wù)需求，動態(tài)調(diào)配資源。整個“云”作戰(zhàn)體系具備自我修復(fù)功能。即使單裝備或局部系統(tǒng)發(fā)生損毀，也不會造成整個作戰(zhàn)體系喪失戰(zhàn)斗力。通過在“云”上完成資源調(diào)配、信息融合、目標(biāo)指示、火力控制、打擊評估等流程，縮短OODA(observation，orientation，decision，action)鏈路時間，實現(xiàn)目標(biāo)早期發(fā)現(xiàn)、遠(yuǎn)程截獲、先敵摧毀。

4 關(guān)鍵組成架構(gòu)設(shè)計

4.1 分布式敏捷數(shù)據(jù)集成共享架構(gòu)

數(shù)據(jù)集成共享架構(gòu)為敏捷的、模塊化的集成架構(gòu)，主要功能為數(shù)據(jù)集成共享，用戶能夠很方便地從異構(gòu)數(shù)據(jù)源增加、查詢和轉(zhuǎn)換信息，數(shù)據(jù)集成共享架構(gòu)的核心為分布式數(shù)據(jù)集成共享框架。分布式數(shù)據(jù)集成共享框架為通用數(shù)據(jù)層軟件，從底層的數(shù)據(jù)結(jié)構(gòu)中抽象出服務(wù)和業(yè)務(wù)邏輯，為系統(tǒng)提供新數(shù)據(jù)源的快速整合能力?；谠摽蚣埽脩艨梢钥焖俚貙Ξ悩?gòu)本地及遠(yuǎn)程系統(tǒng)數(shù)據(jù)文件進(jìn)行操作，而無需關(guān)心軟件的底層實現(xiàn)。分布式敏捷數(shù)據(jù)集成共享架構(gòu)如圖2所示。

圖2 分布式敏捷數(shù)據(jù)集成共享架構(gòu)

分布式數(shù)據(jù)集成共享框架基于交互式平臺，是一個帶有高級編程接口的彈性集成框架，在維持互操作性基礎(chǔ)上使可定制的數(shù)據(jù)交換變得更容易。高級編程接口提供一個已定義的、可擴(kuò)展接口來支持快速高效集成多樣化的數(shù)據(jù)系統(tǒng)或應(yīng)用系統(tǒng)。分布式數(shù)據(jù)框架具有配置便捷、應(yīng)用整合能力強(qiáng)的特點，具備快速的數(shù)據(jù)發(fā)現(xiàn)獲取能力。

分布式數(shù)據(jù)集成共享框架采用OSGi商業(yè)標(biāo)準(zhǔn)和最佳實踐來開發(fā)部署模塊化代碼，支持模塊的熱插拔，具備敏捷化自適應(yīng)部署能力。開放服務(wù)網(wǎng)關(guān)協(xié)議技術(shù)OSGi是Java動態(tài)化模塊化系統(tǒng)的一系列規(guī)范，主流Java應(yīng)用服務(wù)器都采用了OSGi，成為Java模塊化的工業(yè)標(biāo)準(zhǔn)，支持自適應(yīng)、松耦合系統(tǒng)的動態(tài)構(gòu)建[5]。數(shù)據(jù)集成共享框架組成包括核心的數(shù)據(jù)目錄框架、目錄生成模塊、數(shù)據(jù)轉(zhuǎn)換模塊、數(shù)據(jù)操作模塊、數(shù)據(jù)模塊、聯(lián)邦模塊、數(shù)據(jù)目錄代理模塊、事件生成模塊、數(shù)據(jù)資源模塊、端點、數(shù)據(jù)目錄插件等。主要模塊功能如下：

數(shù)據(jù)目錄框架模塊：分布式敏捷數(shù)據(jù)集成共享框架的核心模塊，連接框架各個模塊，默認(rèn)調(diào)用的是標(biāo)準(zhǔn)目錄框架，向下對數(shù)據(jù)框架中各模塊轉(zhuǎn)發(fā)操作請求，向上對接口模塊轉(zhuǎn)發(fā)操作響應(yīng)。

目錄生成模塊：用于提供文件目錄存儲的模塊，數(shù)據(jù)框架中使用Solr建立文件索引，提供文件目錄存儲解決方案。

端點模塊：為客戶端和目錄框架之間的服務(wù)代理，提供了多種類型的服務(wù)接口，包括基于RESTful的CRUD接口、搜索接口和FTP接口。進(jìn)行應(yīng)用整合時，可對相應(yīng)類型的接口進(jìn)行調(diào)用，也可根據(jù)實際需求，開發(fā)其他類型的接口。

數(shù)據(jù)操作模塊：該模塊主要包含增刪改查、數(shù)據(jù)源、資源及轉(zhuǎn)換操作等類型操作的相關(guān)接口和實現(xiàn)，向上為對外接口模塊提供操作接口，向下經(jīng)目錄框架模塊對各模塊實現(xiàn)操作調(diào)用。

4.2 基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉庫架構(gòu)

數(shù)據(jù)倉庫DW(Data Warehouse)針對企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合，數(shù)據(jù)倉庫研究和解決從數(shù)據(jù)庫中獲取信息的問題，具備面向主題、集成性、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合[6]。數(shù)據(jù)倉庫提供了決策支持系統(tǒng)(DSS)和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境[7]。大數(shù)據(jù)針對信息爆炸時代數(shù)據(jù)洪流問題，采用特殊的技術(shù)，以有效處理大量容忍時間內(nèi)的數(shù)據(jù)。大數(shù)據(jù)具備大量、高速、多樣、價值、真實性等特征。大數(shù)據(jù)關(guān)鍵技術(shù)主要包括大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲管理、大數(shù)據(jù)分析挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用技術(shù)等。大數(shù)據(jù)已經(jīng)成為一種戰(zhàn)略性資源，大數(shù)據(jù)技術(shù)日益受到政府、企業(yè)和學(xué)術(shù)界的重視[8-10]。

大數(shù)據(jù)和數(shù)據(jù)倉庫針對海量數(shù)據(jù)進(jìn)行分析處理，大數(shù)據(jù)是業(yè)務(wù)視角，數(shù)據(jù)倉庫是技術(shù)視角，通過將大數(shù)據(jù)技術(shù)和數(shù)據(jù)倉庫技術(shù)進(jìn)行深度結(jié)合、相互補充，能夠進(jìn)一步提升信息系統(tǒng)針對大規(guī)模異構(gòu)多源數(shù)據(jù)的分析處理能力?；诖髷?shù)據(jù)技術(shù)的數(shù)據(jù)倉庫架構(gòu)如圖3所示。

圖3 基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉庫架構(gòu)

數(shù)據(jù)整合層通過操作性數(shù)據(jù)存儲區(qū)ODS快速接收數(shù)據(jù)采集過程的大量數(shù)據(jù)，縮短數(shù)據(jù)采集時間。同時對跨系統(tǒng)、多數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一采集，提高數(shù)據(jù)采集可靠性和一致性，統(tǒng)一數(shù)據(jù)接口，保存加載數(shù)據(jù)，減少數(shù)據(jù)源系統(tǒng)負(fù)載，提高系統(tǒng)效率。

支撐服務(wù)層提供了MapReduce批處理計算框架、Spark內(nèi)存計算框架、HDFS分布式文件系統(tǒng)、HBase非關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)抽取轉(zhuǎn)換加載模塊、機(jī)器學(xué)習(xí)框架，為大規(guī)模結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的分析處理提供技術(shù)支撐。

分析應(yīng)用層基于傳統(tǒng)的數(shù)據(jù)倉庫OLAP分析工具進(jìn)行多維分析，從多角度、多側(cè)面剖析數(shù)據(jù)。利用大數(shù)據(jù)挖掘分析工具對海量異構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián)、回歸、分類、聚類、預(yù)測、診斷分析，最大限度挖掘提取有價值的信息，為作戰(zhàn)指揮和部隊軍事行動提供決策信息依據(jù)。

針對海量異構(gòu)數(shù)據(jù)存儲和管理問題，采用分布式文件系統(tǒng)HDFS和分布式數(shù)據(jù)庫系統(tǒng)Hbase技術(shù)，HDFS采用主/從結(jié)構(gòu)，能夠處理超大文件，采用分布式存儲形式，能夠運行于廉價的商用機(jī)器集群上。Hbase是面向列存儲的分布式和可擴(kuò)展的非關(guān)系型數(shù)據(jù)庫，能夠很好地利用HDFS分布式處理模式，可以實現(xiàn)高性能的并發(fā)讀寫操作，能夠?qū)?shù)據(jù)進(jìn)行透明切分，使得存儲具有水平伸縮性。

針對大規(guī)模數(shù)據(jù)并行分析計算問題，采用MapReduce技術(shù)對計算請求進(jìn)行均衡分擔(dān)與并行操作。MapReduce是高性能批處理分布式計算框架，用于對海量數(shù)據(jù)進(jìn)行并行分析和處理，通過將分析任務(wù)分為大量的并行Map任務(wù)和Reduce匯總?cè)蝿?wù)實現(xiàn)分布式并行計算。MapReduce具有高度可擴(kuò)展性和容錯能力，高效實現(xiàn)彈性計算，具有動態(tài)靈活的資源分配和調(diào)度方法，非常適合于大規(guī)模數(shù)據(jù)集的分布式并行計算。

針對數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)大量快速迭代計算問題，采用Spark技術(shù)實現(xiàn)高效內(nèi)存計算。Spark是一個高速通用計算引擎，是對MapReduce有效補充，支持分布式數(shù)據(jù)集的迭代計算。相比MapReduce計算，在內(nèi)存中以接近實時的速度完成所有數(shù)據(jù)分析，批處理速度比MapReduce快10倍，內(nèi)存中的數(shù)據(jù)分析速度快近100倍。此外，提供了SparkR接口，能夠在R語言環(huán)境使用機(jī)器學(xué)習(xí)庫，Spark適用于構(gòu)建大型、低延遲的數(shù)據(jù)分析應(yīng)用。

4.3 基于實時流式計算引擎的信息服務(wù)架構(gòu)

針對現(xiàn)代化復(fù)雜戰(zhàn)場環(huán)境下高并發(fā)大容量信息服務(wù)需求，必須對多節(jié)點、突發(fā)性、無限性、無序性的信息流進(jìn)行即時處理。因此需要采用分布式、實時性高的引擎技術(shù)，本文采用基于Storm信息服務(wù)技術(shù)架構(gòu)。Storm是分布式、高容錯的實時計算引擎，使得持續(xù)不斷的流計算變得容易[11]。Storm在實時分析、在線機(jī)器學(xué)習(xí)、持續(xù)計算、分布式遠(yuǎn)程調(diào)用等領(lǐng)域得到廣泛應(yīng)用[12]。

Storm采用Master/Slave結(jié)構(gòu)，分布式計算由Nimbus和Supervisor兩類服務(wù)進(jìn)程實現(xiàn)。Nimbus和Supervisor之間的所有協(xié)調(diào)工作是通過Zookeeper實現(xiàn)的。Nimbus進(jìn)程運行在主節(jié)點，負(fù)責(zé)任務(wù)指派、資源分配和故障監(jiān)測，并且全局只有一個。Supervisor進(jìn)程運行在工作節(jié)點，負(fù)責(zé)監(jiān)聽分配給它的機(jī)器，根據(jù)Nimbus指派在必要時啟動和關(guān)閉Worker工作進(jìn)程，每個進(jìn)程又產(chǎn)生一個或多個線程Executor，線程用來執(zhí)行Task任務(wù)[13]。Storm分布式計算引擎模型如圖4所示。

圖4 Storm分布式計算引擎模型

基于Storm技術(shù)的信息服務(wù)框架原理流程如圖5所示。Storm調(diào)度器采用默認(rèn)的round-robin機(jī)制，將每個Spout、Bolt實例分配到配置好的Worker中，并將所有Worker盡量等量分配到每臺Slave節(jié)點。Storm提交運行Topology程序，Topology處理每個最小消息單位的Tuple，也就是一個任意對象的數(shù)組。Topology由Spout和Bolt構(gòu)成，Spout是發(fā)出Tuple的節(jié)點，Bolt可以隨意訂閱某個Spout或者Bolt發(fā)出的Tuple。Spout和Bolt統(tǒng)稱為component。瀏覽、檢索、訂閱、推送分別是四個不同的流源頭，每個源頭一個進(jìn)程，將數(shù)據(jù)直接發(fā)送給下游的Bolt。為保證數(shù)據(jù)有序性，每個Tuple發(fā)送時會保存Tuple在隊列中具體位置的唯一ID，最后根據(jù)ID順序匯總計算結(jié)果。每種行為的數(shù)據(jù)格式分別不一樣，對每個來源的數(shù)據(jù)都進(jìn)行特定的數(shù)據(jù)解析，獲取需要的信息tuple，傳遞給過濾Bolt，基于身份認(rèn)證機(jī)制，只能給特定的身份和權(quán)限的用戶提供所需信息，發(fā)送Bolt將信息發(fā)送給下游的用戶系統(tǒng)。

圖5 基于Storm引擎的信息服務(wù)架構(gòu)

5 結(jié) 語

在美軍大力推進(jìn)軍事變革并提出網(wǎng)絡(luò)中心戰(zhàn)和空海一體戰(zhàn)背景下，信息系統(tǒng)在戰(zhàn)場中的作用提升到前所未有的高度。針對網(wǎng)絡(luò)中心戰(zhàn)條件下聯(lián)合作戰(zhàn)需求，本文提出了一種基于云計算理念的網(wǎng)絡(luò)化分布式軍事信息云架構(gòu)。設(shè)計了分布式敏捷數(shù)據(jù)集成共享架構(gòu)、基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉庫架構(gòu)和基于實時流式計算引擎的信息服務(wù)架構(gòu)等關(guān)鍵組成架構(gòu)。該架構(gòu)打破常規(guī)信息系統(tǒng)局限性，能極大提升戰(zhàn)場信息融合共享、海量數(shù)據(jù)處理和信息按需投送能力，有效滿足未來網(wǎng)絡(luò)中心戰(zhàn)條件下聯(lián)合作戰(zhàn)需求。

[1] Shelton H H. Joint Vision 2020 [R]. US Government Printing Office, Washington DC: Director for Strategic Plans and Policy, J5; Strategy Division 2002.

[2] Terry S Morris. Securing Operational Access: Evolving the Air-Sea Battle Concept [M]. The National Interest, 2015.

[3] Jon von Tol. Air-Sea Battle: A Point-of-Departure Operational Concept[M]. Washington: Center for Strategic and Budgetary Assessments, 2010.

[4] Executive Office of the President. Big data research and development initiative[R].Executive Office of the President,2012.

[5] Executive Office of the President. Fact sheet: Big data across the federal government[R]. Executive office of the President, 2012.

[6] William H Inmon. 數(shù)據(jù)倉庫 [M]. 北京，機(jī)械工程出版社，2006: 20.

[7] 李春葆, 李石君, 李筱馳. 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘?qū)嵺`[M]. 電子工業(yè)出版社, 2014: 17.

[8] Chen H, Chiang R H L, Storey V C. Business intelligence and analytics: from big data to big impact[J]. Mis Quarterly, 2012, 36(4):1165-1188.

[9] 李春立，陳貽來. 一體化聯(lián)合作戰(zhàn)指揮 [M]. 北京：軍事科學(xué)出版社，2004:15-49.

[10] Vilas A F, Redondo R P D, Arias J J P, et al. Context-aware personalization services for a residential gateway based on the OSGi platform[J]. Expert Systems with Applications, 2010,37(9):6538-6546.

[11] Petkov V, Gerndt M. Integrating parallel application development with performance analysis in periscope[C]//IEEE International Symposium on Parallel & Distributed Processing, Workshops and Phd Forum. IEEE, 2010:1-8.

[12] Jonathan L, Eisbruch G, Simonassi D. Getting started with storm[M]. Sebastopol: O’ Reilly Media Inc, 2012.

[13] Anderson Q. Storm real-time processing cookbook[M]. Birmingham: Packt Publishing, 2013.

DESIGNOFNETWORKDISTRIBUTEDMILITARYINFORMATIONCLOUDARCHITECTURESOLUTIONANDITSIMPLEMENTATION

Pan Yue Yang Chenkai Lu Zejian Huang Sheng Chen Long

(ChinaAcademyofElectronicandInformationTechnology,Beijing100041,China)

Aiming at the problem that the traditional military information system “chimney” is serious, the large-scale data processing capability bottlenecks and the information on-demand service capacity is insufficient, this paper proposes a network distributed military information cloud architecture solution based on cloud computing and big data technology. First, this paper designs the military information cloud architecture and software architecture. Based on the computing concept, the battlefield resources are integrated in multi-domain, virtual and efficient, so as to form integrated resources and military information cloud. Users can obtain service from military information cloud through the end system. Secondly, we design the key frameworks of the military information cloud, including the distributed agile data integration and sharing architecture, the data warehouse architecture based on big data technology and the information service architecture based on the real-time stream computing engine. Based on the proposed network of distributed military information cloud architecture, it can enhance the interconnection and interoperability of military information system, massive data analysis and information on-demand precision service capabilities, and promote the formation of joint combat capability.

Network centric warfare Agile integration Data warehouse Information service

TP391

A

10.3969/j.issn.1000-386x.2017.10.016

2016-11-29。電子信息裝備體系研究國防科技重點實驗室基礎(chǔ)研究項目(DXZT-JC-ZZ-2011-015)。潘越，高工，主研領(lǐng)域：信息系統(tǒng)總體設(shè)計仿真。楊晨凱，博士。陸澤健，博士。黃勝，博士。陳龍，博士。