楊曉冬 梁斯東 張寶玉

（北京道達天際科技有限公司 北京市 100049）

1 引言

美軍在《軍事行動聯(lián)合和國家情報支援》報告中將情報劃分為地理空間情報、人力情報、信號情報、測量與特征情報、開源情報、技術情報和反情報七大類，其中，以空天傳感器為主的圖像和圖像情報是地理空間情報的重要組成部分，美軍認為80%以上戰(zhàn)場環(huán)境信息與地理空間位置相關；以互聯(lián)網搜集為主的多媒體類情報是開源情報的最重要來源，美軍認為80%以上情報是依靠挖掘公開資料獲得的。為實現(xiàn)情報全源分析，2012 年美軍啟動“大數(shù)據(jù)研發(fā)計劃”，目的是利用人工智能技術提升從海量復雜數(shù)據(jù)中及時掌握情報并獲取知識的能力。

隨著高分辨率對地觀測重大專項的深入實施，極大提升了我軍成像偵察能力，帶動情報分析、人工智能、高性能計算等技術在圖像情報分析中的全面應用；同時，隨著公眾號、頭條等平臺的廣泛應用，我軍一改開源情報研究處于被動和零散的狀態(tài)，自主開源情報研究活動與日俱增。但是，天基偵察情報與網絡開源情報未形成有效融合與協(xié)同，綜合效益未發(fā)掘和發(fā)揮。

天網情報是融合圖像和圖像情報、互聯(lián)網開源情報的各自特點并通過大數(shù)據(jù)和人工智能等技術方法進行分析挖掘而產生的新型情報產品，其中“天”是指通過航天航空傳感器獲取的圖像、位置等對地觀測數(shù)據(jù)進行分析獲得的情報；“網”是指對在互聯(lián)網中流轉、存儲的各類公開發(fā)布的多媒體數(shù)據(jù)進行分析獲得的情報。天網情報具備幾乎不受限制的數(shù)據(jù)采集能力，并蘊含豐富的高時效高價值情報信息。同時，天網情報數(shù)據(jù)也存在數(shù)據(jù)量巨大、信息冗余且復雜、處理與分析技術難度大等現(xiàn)實挑戰(zhàn)。

2 天網情報決策級融合技術體系

2.1 理論框架

鑒于天網情報決策級融合分析技術研究的復雜性，研究組構建了“BRT”理論研究框架，其中“B”代表情報業(yè)務維、“R”代表數(shù)據(jù)關系維、“T”代表支撐技術維，如圖1 所示。

圖1：天網情報決策級融合分析技術體系理論框架圖

其中：

（1）情報業(yè)務維（B）：由場景模型（S）、數(shù)據(jù)模型（D）和分析模型（A）組成。根據(jù)應用場景，構建情報分析業(yè)務模型，并基于此自動或半自動的構建特定場景下的數(shù)據(jù)模型和分析模型，同時考慮數(shù)據(jù)不完備性及多維度分析需要，數(shù)據(jù)模型與分析模型在情報分析過程中互相影響、逐步完善。

（2）數(shù)據(jù)關系維（R）：由時間維度（T）、空間維度（G）和關系維度（R）組成。構建情報數(shù)據(jù)多?；旌洗鎯δＰ?，實現(xiàn)數(shù)據(jù)的時間、空間與關系三個維度的互聯(lián)互動，破解不同屬性數(shù)據(jù)之間的隔離，實現(xiàn)天網異源異構數(shù)據(jù)的一體化組織與服務。

（3）支撐技術維（T）：由地理空間數(shù)據(jù)語義化（I）、聲視圖文數(shù)據(jù)時空化（M）和文本數(shù)據(jù)智能化（T）等涉及天網情報決策級融合分析的關鍵技術組成，為天網情報融合提供基礎技術保障。

2.2 研究內容

天網情報決策級融合旨在對不同類型的成像傳感器數(shù)據(jù)和從互聯(lián)網采集的聲視圖文信息，利用圖像分析、自然語言處理、時空圖譜、情報可視化分析等技術，形成對所監(jiān)測對象的初步結論，然后通過智能化、自動化的關聯(lián)、綜合和推理等技術方法進行決策級融合，最終獲得多維度的聯(lián)合分析結果，為輔助預警、態(tài)勢推演、動向監(jiān)視等多種應用場景提供支撐。如圖2 所示。

圖2：天網情報決策級融合分析技術體系研究思路圖

天網情報決策級融合技術體系主要研究內容包括：

（1）研究圖像數(shù)據(jù)預處理、圖像分割、目標識別、三維重建、變化檢測和判讀解譯等相關技術，檢測、提取和識別目標三維實體和目標空間信息，實現(xiàn)圖像信息的語義化描述。

（2）研究互聯(lián)網開源數(shù)據(jù)智能采集、清洗去冗、語義分析等相關技術，抽取互聯(lián)網開源數(shù)據(jù)中的地理實體和空間關系，實現(xiàn)開源數(shù)據(jù)與時空維度對準。

（3）基于圖像情報、開源情報的初步處理與分析成果，構建天網情報圖譜，建立復雜情報要素之間的關聯(lián)關系，支持天網情報決策級融合分析模型的構建、訓練、分析、整編和表達。

（4）研究天網情報多態(tài)混合存儲與組織管理模型，以“關系”為主線的天網情報一體化組織管理，支持圖文并茂、動靜結合的天網情報可視化展示。

2.3 框架設計

天網情報決策級融合技術體系以圖像信息語義化、開源信息時空化為主軸，采用分析模型與業(yè)務模型和數(shù)據(jù)模型相分離、按圖索驥引導式數(shù)據(jù)檢索、探索交互式情報分析挖掘的研究理念設計天網情報決策級融合分析技術路線。技術體系框架主要劃分為數(shù)據(jù)、分析、存儲、應用等四個層次，如圖3 所示。

圖3：天網情報決策級融合分析技術體系框架圖

2.4 技術要點

2.4.1 圖像情報語義化技術

圖像情報語義化以圖像為對象、知識為核心，研究圖像中哪個位置有什么樣的目標、目標場景之間的相互關系、圖像表現(xiàn)了什么場景等問題，圖像內容描述具有“像素-目標-區(qū)域-場景”的層次包含關系，能將完整的圖像內容轉換成可直觀理解的類文本語言表達[1]。圖像信息語義化技術利用深度學習、遷移學習、高性計算等前沿技術手段，開展圖像語義信息挖掘，本文圖像信息語義化主要針對空天立體觀測獲取的高分辨率遙感影像地物要素提取、特定目標檢測、三維地形信息提取、區(qū)域增量更新等技術內容?；诔Ａ坑跋駭?shù)據(jù)開展高分辨率影像語義理解，是對圖像的像素級描述，它賦予特定像素類別意義，同時作為實現(xiàn)決策級融合的基礎過程，能夠為天網情報決策級融合提供強有力支撐。

2.4.1.1 基于深度學習的圖像分割與目標檢測技術

（1）遙感影像語義分割。

圖像語義分割不僅需要精確地描述出目標的輪廓，還需要準確地判斷出目標的類別，也就是目標的語義信息[2]。傳統(tǒng)圖像分割方法包括閾值分割法、邊緣檢測法、區(qū)域分割法等只運用圖像本身的淺層次特征信息，例如顏色、紋理、梯度直方圖等特性，不需要進行訓練，導致其方法實用性不強，僅僅局限于描述出目標的輪廓?；谏疃葘W習的圖像語義分割方法近年來得到持續(xù)發(fā)展，卷積神經網絡能夠使用參數(shù)構建一個深層的網絡，通過深度學習方法自動學習有效的特征，能夠挖掘目標深層抽象的特征，這種方式優(yōu)于傳統(tǒng)語義分割的精度。主流的圖像分割網絡有全卷積神經網絡FCN、空洞卷積神經網絡DeepLabV3+等。天網情報決策級融合分析技術體系中圖像分割技術結合這兩種方法，能夠形成高精度的圖像分割數(shù)據(jù)產品。

（2）目標檢測與識別。

基于深度學習的目標檢測網絡的前端通常采用圖像分類網絡作為特征提取部分。天網情報決策級融合分析技術體系中采用基于回歸的目標檢測網絡，代表網絡為SSD 和YOLO。這類算法去除了區(qū)域提取的過程，在得到輸入圖像之后直接在圖像指定的多個位置處返回該位置的目標類和目標區(qū)域坐標。此外，在對小目標的檢測中，SSD 利用Faster R-CNN 的Anchorer 機制，使用六種不同比例的特征圖進行目標識別。在底層特征圖中檢測小物體，在高層特征圖中檢測大物體，實現(xiàn)了效率和檢測效果之間的平衡。

2.4.1.2 高分辨率影像三維實景信息提取

目標的三維實景信息是天網情報的重要組成部分，提供了遙感影像和互聯(lián)網開源數(shù)據(jù)不具備的三維屬性，并以數(shù)字化的方式對地形表面起伏狀態(tài)和細節(jié)特征進行模擬?；谛l(wèi)星和無人機可見光影像的三維地形信息和建筑物信息重建涉及的時序影像特征點提取、時序影像匹配、廣域區(qū)域網平差、建筑物模型精細重建等一系列技術手段，實現(xiàn)了地形三維信息重建和建筑物精細重建工作，為天網情報決策級融合提供三維信息獲取能力。如圖4 所示。

圖4：高分辨率影像三維實景信息提取技術路線圖

2.4.1.3 區(qū)域增量更新技術

區(qū)域增量更新基于深度學習與機器學習技術，根據(jù)特定目標區(qū)域數(shù)字柵格圖增量更新的需求，通過深度學習模型推理、深度學習變化監(jiān)測、增量式地圖更新鑲嵌等方法，實現(xiàn)重點目標地物變化監(jiān)測與數(shù)字柵格圖更新。

傳統(tǒng)的遙感變化檢測方法假設地面目標的高程信息未變化，但這種假設并不嚴謹，且目前提出的變化檢測方法很少考慮三維的變化并難以實現(xiàn)自動化，比較典型的三維變化檢測都是基于獨立生成的兩個時期DEM，然后對兩個時相DEM 相減完成的三維變化檢測。天網情報決策級融合分析技術體系采用遙感影像匹配及三維變化檢測技術和二三維綜合建筑物變化檢測技術，實現(xiàn)對目標區(qū)域的變化監(jiān)測。區(qū)域增量更新技術路線圖如圖5 所示。

圖5：區(qū)域增量更新技術路線圖

（1）遙感影像匹配及三維變化檢測技術。

首先利用地理信息數(shù)據(jù)輔助新遙感影像進行外方位元素的解算，采用半自動化的人機交互方式選擇上述控制點和控制線，并利用廣義點攝影測量理論解算新時期遙感立體像對的外方位元素；第二，在地理信息數(shù)據(jù)輔助下，借鑒計算機視覺中的多視平面掃描（multi-viewplanesweep）技術進行密集影像匹配；第三，為保存建筑物直線特征的同時，又能有效利用高程信息，將DSM 重新虛擬成像為一張高程虛擬影像；最后，在已生成DSM 基礎上，與舊DEM 同分辨率的規(guī)則格網內進行插值采樣生成新時期的DEM，并以舊DEM作為參照，通過二值化的方法來確定地物的三維變化[9]。

（2）二三維綜合建筑物變化檢測技術。

該技術包括顧及建筑物特性的無人機影像分割和二三維信息綜合的建筑物變化檢測。①高分辨率影像變化檢測通常利用對象級的檢測方法，影像對象的獲取需要進行面向對象影像分割。針對普通影像分割方法難以顧及無人機影像中建筑物本身故有特征的問題，提出了一種二三維信息綜合的無人機影像分割方法。該方法在超像素分割的基礎上，綜合利用影像中邊緣信息、建筑物的固有形狀以及高程正射影像的高程約束進行對象合并，并針對高大建筑物的頂面和墻面掩膜范圍對高大建筑物進行分割優(yōu)化。②對于二三維信息綜合的面向對象建筑物變化檢測，首先利用影像密集匹配獲取的高程信息，對區(qū)域內的高大建筑物進行檢測及變化檢測，獲取置信度較高的高大建筑物變化檢測結果。在單張未拼接正射影像上利用二維影像及高程信息進行初始變化候選區(qū)提取，并進行二三維信息交叉驗證獲取變化檢測結果。最后對單張影像檢測結果進行融合獲取最終變化檢測結果[8]。

2.4.2 開源情報時空化技術

互聯(lián)網中開源信息種類日趨豐富，數(shù)據(jù)量迅速擴張，為天網情報決策級融合提供了豐富的數(shù)據(jù)來源。通過自然語言處理、文本翻譯、OCR 文本識別等技術實現(xiàn)開源數(shù)據(jù)清洗治理。

2.4.2.1 開源情報智能采集

互聯(lián)網中開源信息種類日趨豐富，數(shù)據(jù)量迅速擴張，為天網情報決策級融合提供了豐富的數(shù)據(jù)來源?；陂_源數(shù)據(jù)采集利用爬蟲云采集技術、P2P 共享加速、數(shù)萬IP 動態(tài)切換等技術手段，突破網站的反爬蟲限制?；跒g覽器模擬技術，無人值守即可自動完成復雜網站的腳本解析和樣式渲染，可采集絕大多數(shù)網站。盡可能做到廣覆蓋、深挖掘、及時更新，通過分布式爬蟲從境內外政府、軍隊、智庫、新聞、社交媒體和機構等信源中采集感興趣互聯(lián)網信息和地理空間信息，建立天網情報素材庫。

2.4.2.2 開源情報預處理

從互聯(lián)網獲取的開源數(shù)據(jù)種類繁雜，根據(jù)其表現(xiàn)形式大致可分為圖像、文本、視頻、音頻四大類。文本及圖片數(shù)據(jù)處理主要依托OCR 文字識別、語言翻譯、自然語言處理等技術手段，完成圖像文字識別、詞法分析、句法分析、語義分析、語用分析等工作。視頻數(shù)據(jù)一般是將視頻畫面以幀的形式抽出按照圖片形式進行處理提取其中有用信息。隨著深度學習的發(fā)展，基于卷積神經網絡的OCR 技術和自然語言處理技術逐漸成熟并獲得工業(yè)應用，能夠為實現(xiàn)天網情報決策級融合提供高可用的技術手段。

2.4.2.3 開源情報空間化

空間位置可通過與其他空間對象的空間關系或坐標、地址等信息來描述一個對象。網絡中大量的文本數(shù)據(jù)以自然語言來描述，往往不會采用精確的經緯度坐標，而是采用地理實體及他們間的空間關系表示。開源信息空間化主要完成地理實體識別和空間關系識別，即通過自然語言技術提取地理位置信息，即從自然語言描述的網絡文本數(shù)據(jù)中識別表達空間位置的參照命名實體，建立實體之間的語義和空間關聯(lián)，發(fā)現(xiàn)和填充與地理實體相關的空間位置、屬性信息和事件[5]。通過將開源信息空間化對象與遙感目標檢測識別結果建立關聯(lián)，實現(xiàn)“影像-目標-對象”的組織，為天網情報的高效存儲與組織管理奠定基礎。

2.4.3 天網情報決策級融合技術

從數(shù)據(jù)融合層面上分析，可大致劃分為數(shù)據(jù)級融合、特征級融合和決策級融合等三個層次。

（1）數(shù)據(jù)級融合：直接在采集到的原始數(shù)據(jù)層進行融合，在傳感器原始測報未經預處理之前就進行數(shù)據(jù)的綜合與分析。

（2）特征級融合：屬于中間層融合，先對傳感器的原始信息進行特征抽?。ㄈ邕吘?、方向、速度等），然后對特征信息進行綜合分析與處理。

（3）決策級融合：通過不同類型的傳感器觀測同一個目標，每個傳感器在本地完成基本處理，其中包括預處理、特征抽取、識別或判決，以建立對所觀測目標的初步結論，然后通過關聯(lián)處理進行決策層融合判決，最終獲得聯(lián)合推斷結果。

天網情報決策級融合技術主要針對海量多源天網情報，進行圖譜分析、關聯(lián)分析、時空分析和自適應分析等信息融合綜合分析，形成決策級分析數(shù)據(jù)，以輔助決策者制定相關策略。

2.4.3.1 天網情報關聯(lián)關系建立

天網情報關聯(lián)關系存在著多種不同的樣式，關聯(lián)關系建立主要有時空關聯(lián)、對象關聯(lián)和內容關聯(lián)等。按照統(tǒng)一的標準規(guī)范建立時空基準，能夠基于數(shù)據(jù)采集的時間、空間建立事件發(fā)生的線索，不僅從底層的時間、空間維度建立關注對象與數(shù)據(jù)的關聯(lián)，同時又從高層語義維度建立關注對象與數(shù)據(jù)間關聯(lián)。這樣一種混合模型能夠從多個維度去刻畫、描述、定義關注對象和數(shù)據(jù)的外延，真實地還原時空數(shù)據(jù)和公開開源數(shù)據(jù)所在的環(huán)境，提升天網情報的應用價值[11]。天網情報關聯(lián)關系建立技術路線圖如圖6 所示。

其中：

（1）時空關聯(lián)。

面向統(tǒng)一時空基準的天網情報關聯(lián)分析，其基本目的就是在多種來源的天網情報之間建立合理的關聯(lián)關系，以便通過數(shù)據(jù)準確還原他們所描述的現(xiàn)實對象，達到快速、準確的獲取有用信息的目的。通過基于實際需求抽取描述數(shù)據(jù)的關鍵屬性，作為數(shù)據(jù)關聯(lián)分析的基本邏輯，例如，把時間、空間作為關聯(lián)數(shù)據(jù)的基本屬性。單純基于屬性來進行數(shù)據(jù)關聯(lián)，當面對海量數(shù)據(jù)時，存在結構過于簡單的問題。為了解決這個問題，采用“基于數(shù)據(jù)關聯(lián)數(shù)據(jù)”的方法，也就是把一部分數(shù)據(jù)作為基礎性數(shù)據(jù)，以此形成進一步關聯(lián)其他海量天網情報的數(shù)據(jù)框架。

（2）對象關聯(lián)。

面向對象的天網情報關聯(lián)分析，要在數(shù)據(jù)內部以及之間進行基于內容的數(shù)據(jù)關聯(lián)，首先完成兩種數(shù)據(jù)的語義映射。無論是圖像還是文字，其被關注的內容主要是包含在其中的關注對象，所以本文以關注對象體系為語義概念集。對圖像數(shù)據(jù)，結合產生式自動標注技術，以及圖像產品中的人工標注，將其映射成關注對象的向量表示。對文字數(shù)據(jù)，用結合最大熵方法和規(guī)則的關注對象提取技術，同樣將其映射成觀測對象的向量表示，最終統(tǒng)一完成基于關注對象體系的數(shù)據(jù)表達。

（3）內容關聯(lián)。

面向內容的天網數(shù)據(jù)關聯(lián)分析，直接以數(shù)據(jù)包含的內容來關聯(lián)數(shù)據(jù)。基于內容的關聯(lián)主要用到文本分類和圖像語義標注方法。其中圖像語義標注方法采用基于搜索的標注，假定用戶擁有一些弱標注的圖像作為先驗知識，在與待標注圖像相似圖像的弱標注中尋找最優(yōu)標注來完成待任務。圖像作為一種非結構化數(shù)據(jù)，在抽象成特征向量表達形式之后，并不能使用簡單的歐式距離進行距離的衡量。

2.4.3.2 天網情報時空圖譜構建

天網情報決策級融合技術中天網情報時空圖譜構建技術能夠將情報與時間和空間關聯(lián)到一起，表現(xiàn)的圖譜信息隨時間維度、空間維度而變化，其技術路線為：第一，基于匯集的多源遙感衛(wèi)星數(shù)據(jù)和互聯(lián)網公開來源信息數(shù)據(jù)，對其研究的目標進行相關知識抽?。坏诙?，研究面向關注目標的全源信息的知識融合方法，如同名實體的實體鏈接方法等；第三，研究關注目標領域時空圖譜的增量更新技術；第四，研究關注目標領域時空圖譜相關知識的分布式計算與分析；第五，研制面向關注目標相關時空圖譜應用的圖分析引擎；最終形成體系化的領域時空圖譜構建技術，其技術途徑如圖7 所示。

圖7：天網情報時空圖譜構建技術路線圖

其中：

（1）目標知識實體抽取。采用基于迭層膨脹卷積神經網絡的復雜實體抽取方法進行復雜目標的實體抽取，通過對word2vec 和CNN 結合的分類方法進行改進，一是對于學習數(shù)據(jù)進行擴充，即對輸入進行改進，增加訓練數(shù)據(jù)來源，以增強訓練效果；二是對學習過程進行改進，提升學習性能。從而實現(xiàn)復雜目標知識的多樣化精準抽取。

（2）目標知識實體鏈接。采用融合通用基礎知識庫和關注目標信息領域知識進行時空圖譜邏輯構建鏈接：首先，從在維基百科、百度百科等權威知識庫系統(tǒng)中匯聚抽取知識庫要素，得到通用基礎圖譜，這個通用時空圖譜包含關注目標領域無關的常識性知識；第二，融合已掌握的全源信息要素，針對關注目標領域構建時空圖譜，形成具有自演化能力的時空圖譜邏輯結構；第三，通過若干相關時空圖譜的更新規(guī)則，時空圖譜能夠感知外界數(shù)據(jù)的變化，實現(xiàn)知識的推斷與預測[14]。

（3）異構知識統(tǒng)一表達與推理計算。采用面向關注目標知識的自適應性統(tǒng)一表達方法，對異構知識進行統(tǒng)一表達，保證知識表達模型的完備性和適應性。即，在統(tǒng)一的向量空間，表達豐富多樣的信息知識。首先，根據(jù)關注目標知識的分類及特性，制定知識表達方法選擇規(guī)則；第二，通過知識表達方法選擇規(guī)則，根據(jù)輸入的目標知識信息進行自適應表達方法的選擇；第三，建立不同知識表達方法直接的鏈接關系。同時，采用大規(guī)模關注目標時空圖譜的分布式計算與分析方法，將時空圖譜組成要素向量化，進一步實現(xiàn)計算與分析。

（4）目標知識增量更新。采用時空圖譜自適應增量更新策略，即，一種統(tǒng)一的基于依賴圖模型的隨機游走算法聯(lián)合推斷方法。將同一知識語料文本中的實體、知識語料中實體之間的語義關系、時空圖譜中的實體以及實體所屬分類和分類之間的相關關系用依賴圖統(tǒng)一建模，利用實體之間的依賴關系，使同一語料中不同實體的更新結果達到最優(yōu)。具體地說，是將開放時空圖譜的更新問題看作是分類問題進行求解，采用基于實體上下文的biterm 模型的方式，利用實體的上下文信息計算知識語料中出現(xiàn)的實體與時空圖譜中的實體之間的語義相容性，相比基于詞的計算方式更為準確。同時考慮時空圖譜中相關信息實體所屬分類的之間可能存在的相關關系，使得知識語料中實體的分類信息更為準確[12]。

（5）目標圖分析。采用面向分析的圖計算引擎方法，針對圖計算引擎開發(fā)的查詢引擎，它可以與SQL 查詢引擎無縫對接，可進行交互式分析，能夠訪問數(shù)據(jù)庫所有數(shù)據(jù)。查詢引擎為圖計算查詢提供了統(tǒng)一的查詢接口，針對不同的圖算法可以使用不同的圖算法函數(shù)，從而可以對圖算法進行一次性、自動化的迭代計算，大大的提高了查詢效率和性能，達到對千萬級圖節(jié)點計算的秒級響應，實現(xiàn)對關注的目標知識快速查詢與分析[13]。

2.4.3.3 天網情報自適應分析

天網情報自適應分析能夠自動根據(jù)數(shù)據(jù)需求和用戶意圖進行解析，基于基礎模型和應用模型，生成核心流程基礎模塊，實現(xiàn)精準聯(lián)想、主動推薦用戶所需各處理階段應用模型。依托標準化數(shù)據(jù)建模、工作流模型注冊、自適應任務調度，對自動化進行系統(tǒng)化管理，構建“模型-工作流”機制，實現(xiàn)自動處理任務的一鍵式處理[15]。其技術途徑如圖8 所示。

圖8：天網情報自適應分析技術路線圖

（1）每個模板文檔解析出一個唯一的解析文件，生成相對應的唯一性用戶意圖和場景模型文件。

（2）解析文件默認生命周期是72 小時，超過72 小時，解析文件及相應用戶意圖和場景文件會在用戶訪問情報時重新生成。

（3）場景模型解析流程中的應用模型融合并不是簡單的交集或并集，而是融合了經驗庫和用戶偏好后，對用戶意圖進行再理解。

2.4.4 天網情報混合存儲與顯示技術

天網情報一體化組織與顯示技術是基于關系型、非關系型和文件系統(tǒng)數(shù)據(jù)庫的基礎上，在上層封裝搜索引擎和圖數(shù)據(jù)庫。打通不同數(shù)據(jù)之間的隔閡，構建“時間-空間-關系”的數(shù)據(jù)模型，形成三維一體化存儲與組織管理模型，實現(xiàn)空間數(shù)據(jù)、文本數(shù)據(jù)在分析與顯示維度任意無縫切換。

2.4.4.1 天網情報存儲模型

基于各類關系型數(shù)據(jù)庫、非關系型數(shù)據(jù)庫和文件存儲系統(tǒng)，在上層封裝圖數(shù)據(jù)庫和搜索引擎，通過采用天網情報分類體系學習的建模技術，對海量多源異構天網情報進行一體化存儲與組織管理，增強數(shù)據(jù)之間關聯(lián)性，實現(xiàn)天網情報的“時間+空間+業(yè)務”三維一體化組織融合，幫助提高數(shù)據(jù)組織與挖掘的效率。如圖9 所示。

圖9：天網情報一體化存儲模型示意圖

其中：

（1）結構化數(shù)據(jù)。

主要包括人、地、事、物、組織在內的具有二維屬性的數(shù)據(jù)信息，采用關系型數(shù)據(jù)庫進行存儲，根據(jù)數(shù)據(jù)規(guī)模及業(yè)務需要選擇采用Oracle、My SQL 以及SQL Server 等數(shù)據(jù)庫。

（2）半結構化數(shù)據(jù)。

具有一定的結構屬性，但結構變化較大，不能單獨用二維表表述也不能形成文件進行表述。該類數(shù)據(jù)可基于關系型數(shù)據(jù)庫、非關系型數(shù)據(jù)庫以及文件系統(tǒng)進行存儲管理。

（3）非結構化數(shù)據(jù)。

遙感衛(wèi)星影像、圖片、文本、網頁、視頻等在內的沒有完整屬性信息的數(shù)據(jù)。該類數(shù)據(jù)可結合分布式文件系統(tǒng)以及非關系型數(shù)據(jù)進行存儲管理。

2.4.4.2 天網情報一體化組織管理

為了整合和組織海量多源天網情報信息，滿足信息挖掘和分析的應用目的，在統(tǒng)一時空基準框架下，以時空數(shù)據(jù)和互聯(lián)網公開來源數(shù)據(jù)為支撐，以業(yè)務應用為出發(fā)點，建立數(shù)據(jù)之間的時空關系線索以及內容關聯(lián)組織主題，形成覆蓋時間、位置、范圍以及屬性特征的天網情報集。以“時空”元素為主線，承載多行業(yè)/多應用領域數(shù)據(jù)，包括影像、矢量、視頻、文本、圖片、音頻等多種類型數(shù)據(jù)，構建“素材-對象-專題”的三層天網情報一體化組織管理體系。如圖10 所示。

圖10：天網情報一體化組織管理邏輯圖

其中：

（1）數(shù)據(jù)類型。不同的數(shù)據(jù)獲取手段和記錄方式，形成了不同的數(shù)據(jù)類型。不同類型的數(shù)據(jù)是外部數(shù)據(jù)進入系統(tǒng)的原始形態(tài)，體現(xiàn)了對客觀世界的不同描述角度和表達方式。不同類型的數(shù)據(jù)相互補充、相互印證，豐富了對事物現(xiàn)實特征的描述。數(shù)據(jù)類型是接入外部數(shù)據(jù)的基本形式，是數(shù)據(jù)組織的基礎和起點。天網情報主要涉及到時空數(shù)據(jù)和互聯(lián)網公開來源數(shù)據(jù)兩大類數(shù)據(jù)類型。

（2）空間特征。空間特征是數(shù)據(jù)的基本要素?？臻g特征將事物置于統(tǒng)一的空間參照系之中，體現(xiàn)了被描述對象之間的空間關系。整合空間數(shù)據(jù)首先要求采用統(tǒng)一的時空模型，在統(tǒng)一地理基準的前提下，選擇適合應用的空間表達方式和空間數(shù)據(jù)組織方式。空間數(shù)據(jù)的組織方法包括：空間數(shù)據(jù)結構與模型、空間索引技術、空間檢索引擎、空間檢索優(yōu)化策略?？臻g數(shù)據(jù)的組織方法不僅用技術手段統(tǒng)一了不同類型數(shù)據(jù)的空間基準和空間表達，而且優(yōu)化了數(shù)據(jù)的空間檢索效率。

（3）時間特征。時間特征是數(shù)據(jù)的基本要素。時間特征是所有事物的天然屬性，是事物變化過程的參照。時間體現(xiàn)了事物變化的順序，通過時間序列可以分析事物的變化過程和事物之間的影響關系。

（4）業(yè)務對象。業(yè)務對象用來記載現(xiàn)實世界中具有價值的物理實體或邏輯實體。業(yè)務信息的時間、空間、邏輯關系，構成了業(yè)務對象體系。業(yè)務對象體系直接描述了信息相互之間的關系，反映了信息的本質，同時也是組織數(shù)據(jù)的重要維度。

2.4.4.3 天網情報動態(tài)可視化

由于天網情報的獲取手段不同，決定了天網情報的多尺度性和多樣性。多尺度包括時間多尺度、空間多尺度：時間多尺度表現(xiàn)在獲取數(shù)據(jù)的時間序列間距的不同；空間多尺度表現(xiàn)在數(shù)據(jù)測量的精度方面。多樣性主要為天網情報的品類多樣性，包括影像、矢量、3D 產品、4D 產品、文字、圖像、視頻和音頻等多源數(shù)據(jù)集合而成。為了將多尺度的天網情報在可視化平臺上快速的表達出來，通過對天網情報特點的分析，構建基于場和特征的天網情報時空動態(tài)可視化模型。該模型將天網情報描述為空間、時間、專題三個方面組成的空間對象，先將特征與場進行地理空間對象級的關聯(lián)，再對地理空間實體進行時、空、屬一體化關聯(lián)，從而形成空間、時間、專題一體化的時空動態(tài)可視化模型。最終以三屏聯(lián)動的方式，實現(xiàn)媒體、時空、知識圖譜聯(lián)合聯(lián)動的動態(tài)展示。如圖11 所示。

圖11：天網情報動態(tài)可視化技術示意圖

3 技術試驗驗證

基于上述天網情報決策級融合分析技術體系的研究成果，結合好人·理查德真實事件的發(fā)生，展開相關技術試驗驗證?？傮w驗證思路為：

（1）事件發(fā)生后具體想知道什么信息內容，進行系統(tǒng)化梳理；

（2）理清思路怎么干，形成具體的工作流程；最后，基于天網情報決策級融合分析技術體系，進行實際性的數(shù)據(jù)采集與融合分析工作，形成最終的分析成果。

3.1 需求分析

如圖12 所示。

圖12：事件信息需求分析圖

3.2 模型生成

如圖13 所示。

圖13：事件分析工作流程圖

3.3 天網情報采集與分析

（1）理查德起火事件相關新聞報道、輿論、智庫報告、艦船結構圖、現(xiàn)場圖片、現(xiàn)場視頻、衛(wèi)星影像等相關數(shù)據(jù)的采集，如圖14-16 所示。

圖14：現(xiàn)場照片采集

圖15：衛(wèi)星影像數(shù)據(jù)采集

圖16：新聞報道及輿論信息采集（圖片來源于網絡）

（2）針對采集的多源天網情報進行圖像語義化和開源信息空間化處理，包括圖像判讀解譯、文字識別、信息提取、文本翻譯、自然語言處理等操作，形成如圖17-18 的成果。

圖17：圖像判讀解譯成果示例圖

圖18：自然語言處理及整編成果示例圖

（3）基于上述產出的成果數(shù)據(jù)進行關聯(lián)關系建立、時空圖譜構建和自適應分析等融合處理操作，最終形成“好人·理查德事件-天網情報決策級分析報告”，為用戶決策提供有效數(shù)據(jù)支撐。如圖19 所示。

圖19：好人·理查德事件-天網情報決策級分析報告示意圖

（4）最后基于空間、時間、專題一體化的時空動態(tài)可視化模型。以三屏聯(lián)動的方式，對整個事件的發(fā)展動向、分析過程和最終成果進行動態(tài)展示。如圖20 所示。

圖20：好人·理查德事件-天網情報一體化動態(tài)可視化示意圖

4 結束語

天網情報的特性決定了其采集過程、分析過程、存儲管理及可視化展示必定以智能化、自動化分析為主，人工分析為輔助。天網大情報決策級融合分析技術體系研究全面采用了深度學習、人工智能、遙感信息提取、變化檢測、文本識別、自然語言處理和動態(tài)可視化等先進技術，構建一體化的天網情報智能采集、預處理、決策級融合分析整編和動態(tài)可視化技術體系。

天網情報決策級融合分析技術體系已形成初步的研究成果，使用者可通過一系列的圖像信息語義化、開源信息時空化和決策級融合分析等處理，能夠獲得對所監(jiān)測目標聯(lián)合推斷結果。為國防軍事、政府、企業(yè)、科研院所和學校等應用領域提供有價值的參考依據(jù)。