魏晨曦 （北京跟蹤與通信技術研究所）

近年來，隨著全球新一代信息技術和應用的興起，大數(shù)據(jù)浪潮席卷全球。為應對龐雜數(shù)據(jù)挑戰(zhàn)及繼續(xù)謀求信息優(yōu)勢，迎接“大數(shù)據(jù)”時代的來臨，2012年3月，美國發(fā)表了《大數(shù)據(jù)研發(fā)倡議》，美國國防部及國防高級研究計劃局（DARPA）在同期發(fā)布的大數(shù)據(jù)項目清單中列出了10項研究計劃，開發(fā)相應工具盒技術，大力提升獲取、管理和分析大數(shù)據(jù)的能力，正式把大數(shù)據(jù)研發(fā)提升為國家戰(zhàn)略，并作為美軍建設的戰(zhàn)略重點。大數(shù)據(jù)項目作為一種新興的技術極有可能對美國的國家安全戰(zhàn)略、軍事戰(zhàn)略、軍隊建設、作戰(zhàn)理論等方面產(chǎn)生重大影響。

1 美軍大數(shù)據(jù)技術研究

美軍面臨的大數(shù)據(jù)挑戰(zhàn)

對于美軍來說，隨著信息化建設的繼續(xù)深入發(fā)展，各種新技術、新武器不斷涌現(xiàn)，以及各級別的“系統(tǒng)集成”越來越復雜，在處理信息以及數(shù)據(jù)方面也開始遭遇各種挑戰(zhàn)，主要有以下幾種情況：

1）海量戰(zhàn)場數(shù)據(jù)無法得到及時、高效的處理。信息化條件下的作戰(zhàn)，戰(zhàn)場態(tài)勢數(shù)據(jù)呈現(xiàn)出新的特點：來源廣泛、容量巨大、更新頻繁。為了提高對戰(zhàn)場態(tài)勢的感知，美軍綜合運用了無人機、傳感器等偵察手段，其雷達、光電、聲音、影像偵察能力已經(jīng)實現(xiàn)了對戰(zhàn)場的全覆蓋，但所帶來的問題是：隨著數(shù)據(jù)量的大幅增加，僅僅依靠現(xiàn)有信息技術，美軍已不能及時高效地分析和處理這些數(shù)據(jù)，而且持續(xù)更新的數(shù)據(jù)對系統(tǒng)的存儲能力也提出了更高的要求，海量數(shù)據(jù)甚至會造成系統(tǒng)癱瘓。

2）數(shù)據(jù)壁壘高阻礙了數(shù)據(jù)融合。美軍認為，影響數(shù)據(jù)融合的壁壘主要有：在體制上，相關部門往往各自為營，存在重復開發(fā)、標準各異等問題，而且出于對自身利益的考慮，可能會獨享情報，無法做到信息共享；在格式上，隨著網(wǎng)絡技術的不斷發(fā)展，博客、聊天室、論壇等成為獲取情報數(shù)據(jù)的新來源。這就帶來了除結構化數(shù)據(jù)以外的新型數(shù)據(jù)結構，如半結構化的HTML、XML數(shù)據(jù)以及非結構化的圖形、圖像、視頻、音頻數(shù)據(jù)。這些數(shù)據(jù)擁有自己的特性和模式。為了適應信息集成的需要，各種數(shù)據(jù)必須建立統(tǒng)一的格式標準，建立一種能夠容納和處理各種數(shù)據(jù)格式的綜合集成的數(shù)據(jù)庫。

3）數(shù)據(jù)庫漏洞增多，信息安全存在隱患。信息安全是一個存在已久的問題，而數(shù)據(jù)則是信息的重要載體。隨著數(shù)據(jù)量的爆炸性增長，一方面，數(shù)據(jù)庫漏洞越來越多，可攻擊的目標也隨之增加，且攻擊目標將更為暴露；另一方面，隱藏在海量數(shù)據(jù)中的攻擊行為往往難以被及時探測。數(shù)據(jù)安全是大數(shù)據(jù)應用的根本保障，核心數(shù)據(jù)的泄露將對整個戰(zhàn)局造成致命性影響。因此，必須研發(fā)出可靠的防護措施，以確保信息安全。

美國大數(shù)據(jù)政策及其軍事項目研發(fā)

近年來，美國奧巴馬政府從戰(zhàn)略高度看待大數(shù)據(jù)問題，出臺了相關政策文件。2010年12月，美國總統(tǒng)行政辦公室、總統(tǒng)科技顧問委員會提交了題為“設計數(shù)據(jù)化未來”的報告。該報告通過對事關聯(lián)邦機構未來發(fā)展的五大問題的分析，提出國家安全和國土安全部門在網(wǎng)絡信息領域應具備的能力，并進一步闡述了大規(guī)模數(shù)據(jù)管理與分析的重要性及存在的研究挑戰(zhàn)。在上述報告的基礎上，奧巴馬政府綜合其他各智庫的意見，于2012年3月29日發(fā)布了“大數(shù)據(jù)研發(fā)倡議”，將大數(shù)據(jù)研發(fā)提升為國家政策。

美國政府旨在通過此舉實現(xiàn)效率最大化，即利用較少的投入帶動全國各部門對大數(shù)據(jù)項目的研發(fā)?？偨y(tǒng)科技助理兼白宮科技政策辦公室主任約翰·霍爾德倫博士在“大數(shù)據(jù)研發(fā)倡議”新聞發(fā)布會上指出：正如聯(lián)邦政府過去在信息技術研發(fā)領域的投入，曾經(jīng)推動超級計算機的快速發(fā)展和互聯(lián)網(wǎng)的產(chǎn)生那樣，我們今天發(fā)布的這個倡議，將確保我們有能力將大數(shù)據(jù)用于科學發(fā)現(xiàn)、環(huán)境與生物醫(yī)藥研究、教育和國家安全。目前，該文件尚處于保密階段。

根據(jù)白宮發(fā)布的新聞稿，奧巴馬政府推進大數(shù)據(jù)研發(fā)項目的目的是：

1）發(fā)展前沿核心技術，以滿足搜集、存儲、防護、管理、分析和共享海量數(shù)據(jù)的要求；

2）利用上述技術，推動科學與工程領域的發(fā)明創(chuàng)造，增強國家安全，轉變教育方式；

3）儲備人力資源，以滿足發(fā)展和利用大數(shù)據(jù)技術的需求。

目前，共有6個部門和機構為推動該倡議承擔了任務，包括：國家科學基金會、國家衛(wèi)生研究院、能源部、國防部及國防高級研究計劃局、美國地質調查局。

國防部及其下屬國防高級研究計劃局現(xiàn)有的大數(shù)據(jù)項目共有10個。其中，具有代表性的項目是：數(shù)據(jù)到?jīng)Q策、網(wǎng)絡內部威脅、影像檢索與分析和X-數(shù)據(jù)項目。

1）多尺度異常檢測（ADAMS）項目。解決大規(guī)模數(shù)據(jù)集的異常檢測與表征問題。在此背景下，數(shù)據(jù)中的異常為在各種現(xiàn)實背景下搜集另外可操作的信息提供了線索。

2）網(wǎng)絡內部威脅項目。該項目的目的是通過采用新式網(wǎng)絡威脅判斷技術，提高探知網(wǎng)絡活動的精度、頻度和速度，從而及早暴露和防范對手的破壞活動，并提升己方的網(wǎng)絡安全水平。尋求研究新的方法檢測軍方計算機網(wǎng)絡中的符合網(wǎng)絡間諜特征的活動，旨在提高檢測網(wǎng)絡威脅的準確度、比例與速度。

3）洞察力項目。以解決當前情報、監(jiān)視與偵察系統(tǒng)中的重要不足，旨在研發(fā)一種資源管理系統(tǒng)，通過分析成像和非成像傳感器及其他來源的信息，自動識別威脅網(wǎng)絡和非常規(guī)作戰(zhàn)行動。

4）機器讀取項目。通過研發(fā)學習系統(tǒng)，處理自然文本并在知識庫中插入產(chǎn)生的語義表示，而非依賴于當前用于知識表達昂貴且費時的處理過程。

5）“心靈之眼”項目。旨在開發(fā)一種可在機器上應用的“可視化情報”能力。

6）面向任務的彈性“云”項目。旨在開發(fā)檢測、診斷和應對攻擊的技術，為“云”計算環(huán)境建立有效的“社區(qū)衛(wèi)生服務體系”，應對“云”計算中固有的安全挑戰(zhàn)。

7）加密數(shù)據(jù)的編程運算項目。旨在為運算中的數(shù)據(jù)開發(fā)其在應用的整個過程中保持加密狀態(tài)所需的切實可行的做法與相關的現(xiàn)代編程語言，克服在“云”計算環(huán)境內信息安全面臨的主要挑戰(zhàn)。

8）影像檢索與分析項目。其目的是開發(fā)一套系統(tǒng)，使軍事圖像分析員有能力開發(fā)收集到的大量視頻內容，使分析員能夠為有價值的活動與事件建立起預警功能。該項目一旦取得成功，分析人員將能從海量視頻庫中快速、精確地檢索特定的視頻內容，由此便能充分、高效地挖掘影像中隱藏的有用信息。

9）X-數(shù)據(jù)項目。該項目的主要內容是：通過開發(fā)大容量數(shù)據(jù)分析所需的可擴展算法，以便處理分布式數(shù)據(jù)存儲庫中的不規(guī)則數(shù)據(jù)；通過開發(fā)高效的人機互動設備和可視用戶界面技術，以便在多樣化任務中更好、更快地執(zhí)行操作。旨在為分析大量半結構化和非結構化數(shù)據(jù)開發(fā)計算技術和軟件工具，主要解決處理分布式數(shù)據(jù)存儲中不完整數(shù)據(jù)的可擴展算法，以及用于各種任務、可迅速定制，方便視覺推理的有效的人機交互工具。

10）數(shù)據(jù)到?jīng)Q策項目。該項目的主要內容是：首先，通過各種新途徑充分利用海量數(shù)據(jù)，整合感知、認知和決策保障系統(tǒng)，以創(chuàng)造一種真正自主的系統(tǒng)，使之可以自主機動作業(yè)并做出決策；其次，提高態(tài)勢感知水平，以協(xié)助作戰(zhàn)人員和分析人員，并為作戰(zhàn)行動提供更好的保障。國防部正在研發(fā)新技術，以使分析員從各種語言的文本中獲取信息的能力提高100倍，目的是使分析員查知各類目標、活動和事情的能力取得相似程度的提升。

目前，在《大數(shù)據(jù)研發(fā)倡議》中，國防部僅負責數(shù)據(jù)到?jīng)Q策這一個項目；國防高級研究計劃局負責其余的9個項目，并已經(jīng)開始啟動X-數(shù)據(jù)項目。

美軍大數(shù)據(jù)項目研發(fā)的進展

美國政府除正式出臺了大數(shù)據(jù)研發(fā)政策文件外，還在組織機構上對大數(shù)據(jù)研發(fā)項目加強了管理，在資金上加大了投入。

美國白宮科技政策辦公室專門成立了“大數(shù)據(jù)高級指導小組”，以協(xié)調和推動政府在這一關鍵領域的投入。

報告“設計數(shù)據(jù)化未來”認為，聯(lián)邦政府在大數(shù)據(jù)相關技術上投入不足。針對此問題，國防部除了承擔在“大數(shù)據(jù)研發(fā)倡議”中的任務外，每年還將通過一系列項目，在軍事部門中投入約2.5億美元用于大數(shù)據(jù)研發(fā)，其中6000萬美元用于新設立的研究項目。此外國防高級研究計劃局已開始研發(fā)的X-數(shù)據(jù)項目每年耗資約2500萬美元，并將持續(xù)4年。

國防部還與一些知名大學和大型企業(yè)簽訂了有關大數(shù)據(jù)項目的合同，以便充分利用知名大學的人才資源和大型企業(yè)的技術優(yōu)勢，提高研發(fā)效率。例如，2011年，國防高級研究計劃局同佐治亞理工學院簽訂了一份價值270萬美元的技術研發(fā)合同，以幫助解決大數(shù)據(jù)的技術挑戰(zhàn)。該合同屬于X-數(shù)據(jù)項目的組成部分，以解決可擴展分析和數(shù)據(jù)處理技術難題。2013年2月5日，連續(xù)體分析公司（Continuum Analytics）宣布，已收到計劃局300萬美元的研究經(jīng)費，為大型多維度數(shù)據(jù)集的交互搜索開發(fā)Numpy、SciPy和可視化技術。

此外，為了推動大數(shù)據(jù)領域的創(chuàng)新，以滿足各類要求，美國國防部還將舉辦一系列公開的大獎賽，以提高科技人員的積極性和主動精神。

美軍大數(shù)據(jù)項目研發(fā)的影響

目前，大數(shù)據(jù)項目作為一種新興的技術極有可能同其他技術一樣，對美國的國家安全戰(zhàn)略、軍事戰(zhàn)略、軍隊建設、作戰(zhàn)理論等方面產(chǎn)生重大影響。

（1） 推動大數(shù)據(jù)在美國國家層面的應用

人類歷史上很多新興技術都是首先在軍方應用，然后推廣到民間應用，并對整個社會的發(fā)展起到了重大影響，例如雷達技術、電子計算機技術、互聯(lián)網(wǎng)和航天技術都是如此。大數(shù)據(jù)在社會層面擁有巨大的應用空間，一旦其技術成熟，將會給經(jīng)濟、醫(yī)療、教育等領域帶來革命性變革。此外，美國在大數(shù)據(jù)領域擁有的絕對性優(yōu)勢將有助于其制定國際標準，這將牽制其他國家在該領域的發(fā)展，在國家安全戰(zhàn)略上具有重要意義。

（2）推動云計算、物聯(lián)網(wǎng)技術的進一步完善

物聯(lián)網(wǎng)實現(xiàn)了所有能夠主尋址的普通物理對象的互聯(lián)互通，使各行各業(yè)有了大量的數(shù)據(jù)“發(fā)生器”；云計算則提供了更加廣泛的資源共享，解決了數(shù)據(jù)、服務和計算資源的共享問題。而大數(shù)據(jù)的實質則是更好地獲取、管理、使用這些數(shù)據(jù)，深入挖掘其中蘊藏的知識，使其效用最大化。物聯(lián)網(wǎng)和云計算的軍事價值已經(jīng)初顯端倪，美軍利用軍事物聯(lián)網(wǎng)實現(xiàn)了戰(zhàn)場人員、資源的實時感知，對戰(zhàn)場感知、決策支援和資源優(yōu)化配置發(fā)揮了重要作用，美國國防部2012年7月11日發(fā)布的《云計算戰(zhàn)略》指出，云計算將為美軍建立一種靈活、安全和有效的服務環(huán)境，以對改變的任務需求做出快速響應?？梢哉f這三大技術是互為補充的，大數(shù)據(jù)的進一步發(fā)展將為物聯(lián)網(wǎng)、云計算提供更為強大的技術支持，推動其進一步發(fā)展。

（3）確保美軍在信息領域的絕對優(yōu)勢

通過大數(shù)據(jù)研發(fā)，美軍將會在數(shù)據(jù)獲取、存儲、管理、分析和分發(fā)等方面取得質的飛躍，進而提升美軍戰(zhàn)場態(tài)勢感知、情報分析、智能決策以及安全防護能力，大大縮短決策循環(huán)（OODA）周期，以便迅速做出正確的決策，這對于掌握戰(zhàn)場主動權和最終奪取勝利至關重要；此外，美軍率先在大數(shù)據(jù)領域占領先機，將會全面拉開與其他國家在信息戰(zhàn)領域的差距，確保戰(zhàn)場信息主導權。

由于美國聯(lián)邦政府曾運用類似的研發(fā)方法在信息技術研發(fā)領域進行投資，并獲得巨大成功，此次美國通過“大數(shù)據(jù)”研發(fā)，有可能帶來一系列關鍵技術上的突破，引領信息化競爭進一步從軟硬件、網(wǎng)絡領域向信息認知躍升。

美軍采取的具體措施

為解決軍事應用中的大數(shù)據(jù)問題，美軍著眼于系統(tǒng)性、全方位解決方案，采用了統(tǒng)一規(guī)劃、分步實施的具體措施。

（1） 改革編制體制，為大數(shù)據(jù)技術的開發(fā)與利用提供高效的運行機制

在國防部層面，原負責網(wǎng)絡與信息一體化的前助理部長辦公室（NII/CIO）更名為首席信息官辦公室，原辦公室的一些采購職能轉交給負責采購、技術與后勤的副部長，但保留對采購程序的建議權。這樣可使首席信息官專注于信息管理、信息技術、信息保障等的頂層設計與全局性指導。另據(jù)《防務系統(tǒng)》網(wǎng)站2013年6月29日報道，為實現(xiàn)作戰(zhàn)與情報的融合，構建聯(lián)合信息環(huán)境，聯(lián)合參謀部也正在進行聯(lián)合。

參謀部的信息技術轉型，計劃重建指揮、控制、通信與計算機系統(tǒng)部（J6），并與國防部長首席信息官辦公室一道共同領導國防部的“信息技術效能”工作。為了有效整合網(wǎng)絡空間作戰(zhàn)資源，作為美國網(wǎng)絡作戰(zhàn)體系的最高指揮機構，美軍網(wǎng)絡司令部的成立則被譽為“美國國防的重要里程碑”。在軍種層面，為整合情報、監(jiān)視和偵察資源，美軍于2007年6月8日成立了美國空軍情報、監(jiān)視和偵察局（AFISRA），從而將情報、監(jiān)視和偵察作為一個整體來分配、計劃和運用，這樣無疑將充分發(fā)揮情報、偵察和監(jiān)視的巨大合力優(yōu)勢。對這些相關機構的相應調整，為大數(shù)據(jù)技術的開發(fā)與利用提供了一套高效的運行機制。

（2）以大數(shù)據(jù)為核心構建國防部企業(yè)化體系架構

基于國防部指令《在以網(wǎng)絡中心的國防部內部數(shù)據(jù)共享》規(guī)定了國防部首席信息官進行數(shù)據(jù)資源管理的政策及其職責，為進一步優(yōu)化國防部信息技術體系架構，由國防部首席信息官牽頭，國防部信息系統(tǒng)局具體負責，在網(wǎng)絡服務、計算服務、應用與數(shù)據(jù)服務、終端用戶服務和IT業(yè)務程序等五大職能領域推行改革，合并數(shù)據(jù)中心并使各軍種更加標準化，以提高網(wǎng)絡安全與任務效果。2011年9月6日，國防部首席信息官簽署發(fā)布的《美國國防部信息技術體系戰(zhàn)略與路線圖》，標志著利用新技術來建設新的國防部信息體系的開始。該戰(zhàn)略計劃整合所有IT設施，為國防部打造一個更有效、更安全的國防部信息體系確立了戰(zhàn)略規(guī)劃和初期發(fā)展路線圖。為進一步落實國防部改革措施，國防部信息系統(tǒng)局于2012年發(fā)布了《2013－2018年戰(zhàn)略規(guī)劃》，以“確保建立一個統(tǒng)一的、合作的、保密的聯(lián)合信息環(huán)境（JIE），實現(xiàn)整個國防部端對端的信息共享和獨立企業(yè)服務；為國防部提供快速的云服務。”以此作為戰(zhàn)略目標，通過合并數(shù)據(jù)中心、網(wǎng)絡作戰(zhàn)中心向云計算過渡，將企業(yè)化系統(tǒng)的各個組成部分融合成為更高效、廉價的架構。通過對海量數(shù)據(jù)搜索、挖掘、存儲、分析、安全等的大數(shù)據(jù)技術開發(fā)，為美軍提供大數(shù)據(jù)能力，以支持美軍的全球作戰(zhàn)。

（3）合并全球數(shù)據(jù)中心，向數(shù)據(jù)中心戰(zhàn)過渡

當前，美軍在極力強調基礎網(wǎng)絡的彈性和可信性的同時，大規(guī)模削減分散于全球的數(shù)據(jù)中心，大力推進網(wǎng)絡云計算項目。目的是在“形成靈活、智能、自適應的物理網(wǎng)絡的基礎上，將網(wǎng)絡空間工作的關注點調整到‘改造網(wǎng)絡化服務模式’”上來，直接以企業(yè)化的作戰(zhàn)應用服務支撐作戰(zhàn)過程。從“提供物理網(wǎng)絡服務”到“提供網(wǎng)絡應用服務”的轉型，是從“網(wǎng)絡中心戰(zhàn)”向“數(shù)據(jù)中心戰(zhàn)”軍事作戰(zhàn)理論轉型的基礎和實質性目標。在可預期的未來，隨著web3.0技術的發(fā)展、成熟與軍事應用的廣泛展開，美軍軍隊建設理論也將發(fā)展變化：作戰(zhàn)過程控制將日趨自動化，指揮官將直入作戰(zhàn)主題，將關注焦點逐漸提升到核心的作戰(zhàn)目標。

美軍2013財年重點將現(xiàn)有的數(shù)據(jù)中心合并為三類數(shù)據(jù)中心。第一類為核心數(shù)據(jù)中心，用于國防部各部門都必須使用的信息服務與應用，以及用于國防部與工業(yè)部門和公眾交互的對外服務與應用。第二類為地區(qū)性數(shù)據(jù)中心，主要用于滿足距離終端用戶更近的信息服務與應用需求。第三類為部署在前方的前方數(shù)據(jù)中心，這類數(shù)據(jù)中心很靈活，可以存放地區(qū)性與全局性的服務與信息，適合各種任務情況，速度更快，網(wǎng)絡可靠性更好。這些數(shù)據(jù)中心的服務器將普遍高度虛擬化，這樣可以更靈活地加入新的信息服務，提供最大的效率。這些新的數(shù)據(jù)中心與網(wǎng)絡結構的重要改進得益于遠程防御行動、網(wǎng)絡、數(shù)據(jù)中心、服務器以及其他應用的技術標準化，這些極大地提高了國防部信息技術控制系統(tǒng)的網(wǎng)絡安全性。

（4）投入重金開發(fā)大數(shù)據(jù)技術

針對大數(shù)據(jù)所面臨的帶寬稀缺、適應性和安全性、存儲等問題，美軍與IT界在“云”計算環(huán)境與協(xié)作、非結構化數(shù)據(jù)的整合、超越數(shù)據(jù)倉庫等方面進行了廣泛的合作并已取得了一定的成效。例如，2010年美國動態(tài)研究公司與美國陸軍合作開發(fā)的構建基于“云”計算環(huán)境的智能系統(tǒng)“求雨者”（Rainmaker）已部署到了阿富汗戰(zhàn)場。

在前沿技術研究方面，國防高級研究計劃局在大數(shù)據(jù)工作中計劃每年投入2500萬美元，著手研發(fā)大數(shù)據(jù)處理分析所必要的硬件與智能化分析軟件，以解決非結構化數(shù)據(jù)的組織積累、數(shù)據(jù)庫關聯(lián)等問題。具有代表性的項目是：數(shù)據(jù)到?jīng)Q策、網(wǎng)絡內部威脅、影像檢索與分析、X-數(shù)據(jù)項目等。

2 美國航空航天局大數(shù)據(jù)的發(fā)展

當今世界正處于信息爆炸時期，社會步入了大數(shù)據(jù)時代。航天領域也正在沐浴著大數(shù)據(jù)的朝陽，潛在地引導科學工程技術的創(chuàng)新和人類思維的變革。

美國航空航天局（NASA）在保持美國民用和軍用航空航天優(yōu)勢的同時，繼續(xù)進行科學探索以及加強對宇宙、太陽系和地球環(huán)境的了解，并將航天技術和知識轉移用于一般工業(yè)。NASA在利用航空航天技術以滿足國家需要方面起領導作用，在新技術研究和應用方面處于行業(yè)內國際領先地位。

NASA的大數(shù)據(jù)發(fā)展計劃

美國《大數(shù)據(jù)研發(fā)倡議》，展示了大數(shù)據(jù)研發(fā)應用將從以往的商業(yè)行為上升到美國國家戰(zhàn)略部署的總體藍圖。其中，關于NASA大數(shù)據(jù)發(fā)展計劃的闡述：

NASA的先進信息系統(tǒng)技術（AIST）旨在降低其信息系統(tǒng)的風險和成本，以支持未來的地球觀測任務，并轉化為NASA氣候中心預測的地理信息。該技術方案將有助于尋求成熟的大數(shù)據(jù)能力，以減少地球科學部空軍基地和陸軍基地信息系統(tǒng)的風險、成本、規(guī)模和開發(fā)時間，從而提高科學數(shù)據(jù)的獲取和實用性。

NASA的地球科學數(shù)據(jù)和信息系統(tǒng)（ESDIS）項目持續(xù)用超過15年的時間從空中和外地活動中對地球衛(wèi)星數(shù)據(jù)和數(shù)據(jù)進行處理、存檔和發(fā)布，并從提升用戶滿意度出發(fā)，努力確?？茖W家和公眾在從地球到太空的研究中的數(shù)據(jù)訪問功能，從而提升地球科學在應對氣候和環(huán)境變化挑戰(zhàn)中的能力。

全球地球觀測系統(tǒng)（GEOSS）通過國際之間合作進行地球觀測數(shù)據(jù)共享和整合。NASA已經(jīng)與美國環(huán)境保護署（EPA）、美國國家海洋和大氣管理局（NOAA）以及其他機構和國家的力量強強聯(lián)手，整合衛(wèi)星、地面監(jiān)測和建模系統(tǒng)，評估環(huán)境條件和預測包括森林火災、人口增長等結果。研究人員將在短期內整合各種復雜的空氣質量信息，從而更好地了解和解決空氣質量對環(huán)境和人體健康的影響。

由NASA和克雷公司制定的太空行動協(xié)議，將允許一個或多個項目集中發(fā)展和應用低延遲“大數(shù)據(jù)”系統(tǒng)。特別是，該項目測試的混合計算機系統(tǒng)的應用程序，能夠以高度集成的非結構化查詢語言（SQL）數(shù)據(jù)庫作為數(shù)據(jù)傳輸?shù)氖侄?，以加強建模和分析軟件?/p>

NASA的行星數(shù)據(jù)系統(tǒng)（PDS）是美國NASA行星任務的數(shù)據(jù)檔案。目前，系統(tǒng)已經(jīng)成為了世界各地科學家的基本檔案數(shù)據(jù)資源。所有的系統(tǒng)生產(chǎn)的產(chǎn)品通過同行評審，進行歸檔，可以很容易通過一個行星學科提供的在線目錄系統(tǒng)進行訪問。

空間望遠鏡科學研究所（MAST）作為NASA的分布式空間科學數(shù)據(jù)服務的一個組成部分，主要側重于光學、紫外線和近紅外部分頻譜等相關的科學數(shù)據(jù)，支持和提供各種天文數(shù)據(jù)檔案。研究所支持多種工具，可以對各種光譜圖像數(shù)據(jù)進行訪問。

地球系統(tǒng)電網(wǎng)聯(lián)邦公共檔案是一個公共的數(shù)據(jù)存檔服務，支持由國際小組研究并在2014年完成對氣候變化的第五次評估報告（如同第四次評估報告的存檔一樣）。美國NASA聯(lián)合會通過與美國能源部合作，能夠促進數(shù)據(jù)觀測和模型的輸出。

NASA的大數(shù)據(jù)云平臺

（1）云服務平臺

2008年，NASA埃姆斯研究中心使用自開發(fā)的開源綜合云服務平臺“星云”（Nebula）來協(xié)助完成對月球和火星的探索任務。該項目需要對大量高分辨率影像進行儲存和處理。在傳統(tǒng)的環(huán)境中，為此構建IT基礎設施及配置設備需要花費近150～180天；同時，大數(shù)據(jù)交互需要接入內部載體或網(wǎng)絡。采用“星云”平臺取代昂貴的數(shù)據(jù)中心，對科學數(shù)據(jù)提供基于網(wǎng)絡的應用環(huán)境及可伸縮的計算和存儲能力，NASA因此不用為新增的大數(shù)據(jù)構建IT基礎設施，研究人員可以在幾分鐘內通過云完成所需要的存儲和計算資源的構建、配置、監(jiān)視與升級等一系列任務；“星云”平臺提供框架、代碼庫、接口數(shù)據(jù)裝置和網(wǎng)絡服務，使用安全的方法使云上的數(shù)據(jù)接入不同研究子部門或合作單位，避免對內部載體網(wǎng)絡的大量接入。勇氣號和機遇號任務為在軌運行空間任務中試驗云計算提供資源，其低成本、高效率的數(shù)據(jù)處理能力在空間任務中得到良好的體現(xiàn)。

同時，NASA對開源綜合云服務平臺“星云”進行評估，以確定一系列科學云方案用以建設任務級企業(yè)數(shù)據(jù)中心以應用于眾多數(shù)據(jù)任務，包括：

1）為地球觀測科學開發(fā)網(wǎng)（SERVIR.net）、短期預報研究和轉折中心（SPoRT）服務，通過天氣預報（WRF）模型來完成高分辨率短期天氣預報圖像合成工作，以在不中斷其他業(yè)務行為的情況下，快速部署標準模型以應對自然災害；

2）為廣域紅外探索項目WISE服務，以提高高分辨圖像處理能力與存儲能力；

3）艾姆斯（Ames）研究中心飛行運載技術部考慮采用昂貴的普雷亞（Pleiades）設備，節(jié)約設備組建的時間和維護的經(jīng)費；

4）對巨大存儲體和存儲空間具有需求的組織考慮采用“星云”平臺，以實現(xiàn)為其虛擬機隨時指定需要的存儲體和存儲空間；

5）借助“星云”平臺為軟件開發(fā)者建立虛擬工作站來測試、編譯其代碼，給開發(fā)者共享運行在各自桌面上更多的模塊和庫。美國加州理工學院（Caltech）可視與自主探索系統(tǒng)研究實驗室利用云技術通過互聯(lián)網(wǎng)實現(xiàn)在地球表面任何地方對移動平臺近實時的數(shù)據(jù)交互與控制，以完成供遙實驗、自主監(jiān)視與探索偵察的多巡視器技術的支持。通過無線局域網(wǎng)在移動平臺終端處理器與采用云技術的主機前端控制軟件之間建立連接。其中，移動平臺連接到1個或多個通信服務器上，運用云計算實現(xiàn)對連接的多個移動機器人平臺的遙控。遙控用戶云服務自行建立連接，連接一旦建立成功，地面代理即可發(fā)送打包并壓縮的視頻幀與傳感器數(shù)據(jù)。

（2）云計算平臺iRODS

NASA噴氣推進實驗室從2007年開始致力于在行業(yè)中發(fā)揮云計算優(yōu)勢的途徑，以找到可行、成本合理的任務應用。其中，“火星漫游車”項目的“云應用”是一個以結果為導向的示例。實驗室還在云計算平臺iRODS上對其行星任務數(shù)據(jù)系統(tǒng)進行實踐性實驗。云計算平臺iRODS使用并行傳輸控制協(xié)議以及大數(shù)據(jù)移動優(yōu)化技術。通過iRODS提供的并行傳輸協(xié)議，可以實現(xiàn)大數(shù)據(jù)在網(wǎng)絡間的快速遷移。云計算平臺iRODS可以用來將分布式的計算機整合成一個龐大的存儲資源，用于存儲、統(tǒng)一管理和共享數(shù)據(jù)，客戶端通過訪問這臺虛擬服務器可以獲取所有的數(shù)據(jù)，而不必關心數(shù)據(jù)存放在哪臺計算機上。使用大數(shù)據(jù)云平臺技術的行星任務數(shù)據(jù)系統(tǒng)，其擴展性、可靠性大大提高，同時，大幅度降低系統(tǒng)對基礎設施建設、監(jiān)控和維護的成本。在不增加新的IT基礎設施的情況下，系統(tǒng)在該平臺上數(shù)據(jù)存儲、備份、傳輸和計算的效率分別提高50%以上；同時，該實驗室與微軟的“云工作組”進行合作，采用微軟MS Azure云計算平臺，以尋求增加其教育的影響和促進推廣計劃。該平臺提供統(tǒng)一應用程序編程接口，可以訪問超過25萬幅高分辨率火星圖像而無需在實驗室的計算機上存儲任務附加數(shù)據(jù)。

NASA的大數(shù)據(jù)應用實例

（1）月球計劃中的計算模型

NASA的“月球勘測軌道器”（LRO）發(fā)回大量高分辨率月球表面影像，每天生產(chǎn)的數(shù)據(jù)可達到TB級規(guī)模，且還在不斷增長。NASA噴氣推進實驗室與加州理工學院在“月球表面測繪與建模”項目中進行合作，采用云計算架構對月球表面高分辨率照片進行高可靠、高效率的圖像分塊處理。該項目選用開源云計算平臺Hadoop以及計算模型映射和簡化（Map-Reduce），可以在37s內完成對2.7GB大小的高分辨率圖像的分塊處理。美國亞利桑那大學的研究人員使用涅盤科斯公司（Nirvanix）的云存儲平臺來傳遞、存儲備份這些數(shù)據(jù)。傳回的影像數(shù)據(jù)先分別拷貝到亞利桑那州立大學研究項目學院的主數(shù)據(jù)中心的美國網(wǎng)域存儲技術有限公司（NetApp）磁盤陣列上。然后，再復制到Nirvanix存儲傳遞網(wǎng)絡。涅盤科斯公司網(wǎng)絡儲存裝置（Nirvanix CloudNAS）取代以往的磁帶存儲，提供可靠的、規(guī)模靈活的、可訪問的企業(yè)級數(shù)據(jù)，長期保留以供訪問、瀏覽甚至再加工處理等。

（2）NASA“火星勘測軌道器”中的應用

2013年8月，自2006年起一直執(zhí)行火星探測任務的NASA“火星勘測軌道器”（MRO）返回的科學數(shù)據(jù)突破25TB。從規(guī)模上來看，該獨立任務產(chǎn)生的數(shù)據(jù)量已經(jīng)超過近10年間NASA噴氣推進實驗室深空網(wǎng)所有數(shù)據(jù)量總和的3倍還多。該25TB數(shù)據(jù)包包括在火星表面工作的機器人探測車返回的數(shù)據(jù)，99.9%則來自MRO上的6個科學觀測設備。值得注意的是，該數(shù)據(jù)量的統(tǒng)計并未包含實驗室用于操作的遙控數(shù)據(jù)。

“火星勘測軌道器”具有面積約20m2的太陽能電池板，用以為其星上發(fā)射機供電，并通過自帶的3m拋物面天線向地球方向源源不斷發(fā)送數(shù)據(jù)。NASA則通過位于加州、西班牙以及澳州的深空網(wǎng)接收來自不同科學任務的數(shù)據(jù)波洪流。

美國“火星勘測軌道器”在軌飛行示意圖

“火星勘測軌道器”任務科學家，來自噴氣推進實驗室的Rich Zurek表示，25TB任務數(shù)據(jù)中的每一比特的傳輸均經(jīng)過一條復雜的路徑。實驗室借助數(shù)據(jù)軟件平臺的處理能力，按日處理10GB左右的速度將接收的任務數(shù)據(jù)分割成小塊再分別處理，以保證及時為科學家提供還原的數(shù)字信息和其他數(shù)據(jù)產(chǎn)品。

位于“火星勘測軌道器”上科學設備收集的數(shù)據(jù)首先被記錄在火星軌道器的主存儲器中。軌道器環(huán)繞火星軌道周期約2h，在每次繞火星環(huán)繞中，MRO與地球的通信線路往往會被火星本身阻擋。當?shù)厍蛱幱凇盎鹦强睖y軌道器可視窗口”時段，深空網(wǎng)的天線將對準火星并偵聽“火星勘測軌道器”的信號。在每月多達32次探空任務的情況下，深空網(wǎng)的天線需要為此維護一個非常復雜的調度機制。引用“火星勘測軌道器”項目軟件工程師布萊恩·艾倫（Bryan Allen）的介紹，深空網(wǎng)將接收到的數(shù)據(jù)按30min記錄時長規(guī)模分割成塊（chunk）。這些塊中可能包含來自不同任務的數(shù)據(jù)，混合在一起從加州、西班牙和澳州的深空站傳輸?shù)綄嶒炇?。實驗室運用數(shù)據(jù)軟件對它們進行分類并生成專業(yè)數(shù)據(jù)產(chǎn)品，如照片、大氣測量結果、行星表面聲波偵聽結果等。迄今為止，經(jīng)統(tǒng)計實驗室的數(shù)據(jù)系統(tǒng)平均一天要處理58 GB的數(shù)據(jù)并生成約303項數(shù)據(jù)產(chǎn)品。

（3）NASA的大數(shù)據(jù)流處理

經(jīng)統(tǒng)計，NASA的航天任務每小時都會產(chǎn)生總共約上百TB的數(shù)據(jù)信息，如將這些信息打印出來，所需要的紙張將消耗上千萬棵樹木。該類大數(shù)據(jù)洪流給NASA數(shù)據(jù)處理帶來巨大挑戰(zhàn)。位于加州的噴氣推進實驗室為解決這些信息的存儲、處理和訪問問題，提供了一些行之有效的策略。實驗室高級調研員埃里克·德·容（Eric De Jong）說：“NASA科學家們使用航天大數(shù)據(jù)做任何事情，從氣候預測到火星冰蓋監(jiān)測，甚至到銀河系，無所不含?！盝ong服務于NASA的大數(shù)據(jù)項目—可視化太陽系系統(tǒng)模擬器，該項目致力于將航天任務收集到的科學信息轉換為用戶可用的圖形圖像。在這個工作系統(tǒng)內，實驗室是數(shù)據(jù)的持有者，用戶是需要數(shù)據(jù)代表的相片、地形紋路、地圖和視頻的天文學家和其他科學家。他們使用這些實驗室生成的數(shù)據(jù)產(chǎn)品開展諸如模式匹配和理論驗證的工作，例如，在實驗室的火星軌道任務中，Jong小組負責從大量數(shù)據(jù)集中生成分辨率高達120M像素的照片并將之拼接起來做成視頻。

實際上，從來自NASA或其他國際宇航機構的任務中獲取大量數(shù)據(jù)并將之存檔本身就是一項艱巨的任務。以“平方千米陣列”（SKA）項目為例，該項目計劃2016年在南非和澳州建立由上千射電望遠鏡組成的深空探測陣列。假設，該項目最終實施并開始使用，它每天生產(chǎn)的數(shù)據(jù)量估計將達到700TB之多，幾乎等于當下全球互聯(lián)網(wǎng)2天產(chǎn)生的數(shù)據(jù)量之和。對這樣龐大信息洪流或大數(shù)據(jù)的存檔處理和加工，實驗室相關研究人員認為存在合理的解決方案。以此項目為例，實驗室中心的大數(shù)據(jù)專家們聲稱可以在現(xiàn)有的硬件設備基礎上，利用云計算技術并配合開源軟件程序來滿足項目需求而非為之設計新的數(shù)據(jù)處理新產(chǎn)品，實驗室的另一位大數(shù)據(jù)高級調研員克里斯·麥特曼（Chris Mattman）表示肯定：“可以對開源程序進行修改，使之成為更快且成本更小的大數(shù)據(jù)解決方案?！?/p>

3 結束語

“大數(shù)據(jù)”不僅是一個概念，更是給當代科學研究帶來了巨大的挑戰(zhàn)，是科學研究范式的一場變革。目前，大數(shù)據(jù)仍處于一個初級階段，還有很多問題需要解決。美國大數(shù)據(jù)戰(zhàn)略和相應的做法為我國開展大數(shù)據(jù)工作提供了有意義的啟示和借鑒。

1）重視頂層設計，積極制定大數(shù)據(jù)發(fā)展戰(zhàn)略和規(guī)劃。將大數(shù)據(jù)戰(zhàn)略提升至國家戰(zhàn)略高度，確定我國發(fā)展大數(shù)據(jù)的方向和重點，從保障國家安全、推動社會經(jīng)濟發(fā)展、提高企業(yè)競爭力等多個方面出發(fā)，確定政府優(yōu)先支持的大數(shù)據(jù)發(fā)展方向，引導大數(shù)據(jù)產(chǎn)業(yè)發(fā)展。

2）加大研發(fā)支持力度，推動應用。在明確關鍵技術的基礎上，確定重點支持領域，加大研發(fā)支持力度。整合相關專項資金和項目，支持大數(shù)據(jù)技術的開發(fā)、研究和應用示范，引導企業(yè)加大研發(fā)力度，實現(xiàn)關鍵技術突破。同時，在政府部門和公用事業(yè)的信息化應用中積極應用大數(shù)據(jù)技術，以政府采購引導國內大數(shù)據(jù)發(fā)展。結合當前的云計算、物聯(lián)網(wǎng)等試點工程，積極開展大數(shù)據(jù)技術應用，充分發(fā)揮示范效應，帶動社會其他領域的大數(shù)據(jù)應用。

3）推動政產(chǎn)學研用各方參與，構建大數(shù)據(jù)產(chǎn)業(yè)生態(tài)。當前全球大數(shù)據(jù)產(chǎn)業(yè)還處于起步階段，產(chǎn)業(yè)生態(tài)尚不完善。我國應該抓住契機，從數(shù)據(jù)資源建設和大數(shù)據(jù)技術研發(fā)兩方面入手，聯(lián)合政產(chǎn)學研用各方力量，共同構建大數(shù)據(jù)產(chǎn)業(yè)生態(tài)。同時，要重視與大數(shù)據(jù)息息相關的云計算、物聯(lián)網(wǎng)、移動互聯(lián)等領域的發(fā)展。

4）加強基礎大數(shù)據(jù)采集建設。一方面，完善數(shù)據(jù)采集體系。大數(shù)據(jù)需要有大量的數(shù)據(jù)源。應建立特定主題的數(shù)據(jù)監(jiān)測系統(tǒng)，如交通、能源、醫(yī)療、自然災害等專題建立基礎數(shù)據(jù)庫，持續(xù)不斷收集相關數(shù)據(jù)，為大數(shù)據(jù)發(fā)展提供基礎。另一方面，推動國家基礎數(shù)據(jù)開放共享。美國十分重視政府信息資源的共享和利用，將“共享第一”作為美國聯(lián)邦IT共享服務戰(zhàn)略的基礎范式，力推政府開放平臺。我國應加快推進政府信息資源共享，尤其推進數(shù)據(jù)資源共建共享，給大數(shù)據(jù)技術發(fā)展提供原材料，促進大數(shù)據(jù)成果廣泛應用。

通過研究美國在軍事及民用航天領域中大數(shù)據(jù)技術的應用，可縮小與世界軍事發(fā)達國家的信息化差距，掌握“大數(shù)據(jù)”資源使用主動權，提高情報信息獲取、處理、分析、防護等能力?？傊?，只有敏銳地關注大數(shù)據(jù)技術的發(fā)展變化，及時掌握與了解美國在大數(shù)據(jù)技術應用方面的最新動態(tài)，我們才能在信息資源的深度開發(fā)利用與信息技術自主創(chuàng)新方面做出成績。