朱 慶，付 蕭

西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756

多模態(tài)時(shí)空大數(shù)據(jù)可視分析方法綜述

朱 慶，付 蕭

西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756

時(shí)空大數(shù)據(jù)可視分析是近年國(guó)際大數(shù)據(jù)分析與數(shù)據(jù)可視化領(lǐng)域研究的熱點(diǎn)前沿，也是全空間信息系統(tǒng)的核心研究?jī)?nèi)容之一。本文針對(duì)時(shí)空大數(shù)據(jù)多源、多粒度、多模態(tài)和時(shí)空復(fù)雜關(guān)聯(lián)的特點(diǎn)，按照描述性、解釋性和探索性3個(gè)層次分類歸納了現(xiàn)有時(shí)空大數(shù)據(jù)可視分析方法，論述了時(shí)空大數(shù)據(jù)可視分析中多模態(tài)特征篩選、新型人機(jī)交互分析以及探索性可視推理等技術(shù)難點(diǎn)和主要發(fā)展動(dòng)態(tài)。研究表明，以數(shù)據(jù)可視化為主的描述性可視分析研究相對(duì)成熟，以可視環(huán)境下交互式挖掘分析實(shí)現(xiàn)問(wèn)題診斷為主的解釋性可視分析已成為當(dāng)前大數(shù)據(jù)分析的焦點(diǎn)，而面向復(fù)雜問(wèn)題協(xié)同決策的探索性可視分析方法則是大數(shù)據(jù)分析有待突破的重要發(fā)展方向。

時(shí)空大數(shù)據(jù);可視分析;全空間信息系統(tǒng);多模態(tài)數(shù)據(jù)

大數(shù)據(jù)時(shí)代，傳感網(wǎng)、物聯(lián)網(wǎng)和媒體/自媒體社交網(wǎng)絡(luò)等信息通信技術(shù)日新月異，使得描述與記錄人類社會(huì)、計(jì)算機(jī)世界和物質(zhì)世界復(fù)雜事物的時(shí)空數(shù)據(jù)迅猛增長(zhǎng)，時(shí)空數(shù)據(jù)規(guī)模越來(lái)越龐大，數(shù)據(jù)語(yǔ)義越來(lái)越豐富，因而催生了科學(xué)研究的第四范式—數(shù)據(jù)密集型科學(xué)[1]。如何從海量、高維、動(dòng)態(tài)的多模態(tài)時(shí)空大數(shù)據(jù)中挖掘有價(jià)值的、潛在的、復(fù)雜時(shí)空語(yǔ)義關(guān)聯(lián)，綜合感知時(shí)空大數(shù)據(jù)反映的發(fā)展態(tài)勢(shì)，進(jìn)行科學(xué)合理的探索推理預(yù)測(cè)成為地理信息科學(xué)迫切需要解決的關(guān)鍵問(wèn)題。

可視分析綜合人腦感知、假設(shè)、推理的優(yōu)勢(shì)與計(jì)算機(jī)對(duì)海量數(shù)據(jù)高速、準(zhǔn)確計(jì)算的能力，變“信息過(guò)載”問(wèn)題為機(jī)遇，已成為當(dāng)下大數(shù)據(jù)分析的研究熱點(diǎn)[2-6]。本文從人類空間認(rèn)知規(guī)律出發(fā)，針對(duì)多模態(tài)時(shí)空大數(shù)據(jù)特點(diǎn)，按照描述性、解釋性和探索性3個(gè)層次分類歸納了現(xiàn)有可視分析方法的優(yōu)缺點(diǎn)，指出了未來(lái)時(shí)空大數(shù)據(jù)可視分析的發(fā)展方向。

1 概 述

時(shí)空大數(shù)據(jù)由于其所屬空間從宏觀的宇宙空間到地表室內(nèi)空間以及更微觀的空間，其時(shí)間、空間和屬性3個(gè)方面的固有特征呈現(xiàn)出時(shí)空緊耦合、數(shù)據(jù)高維、多源異構(gòu)、動(dòng)態(tài)演化、復(fù)雜語(yǔ)義關(guān)聯(lián)的特點(diǎn)[7-9]。傳感網(wǎng)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及其多層耦合網(wǎng)絡(luò)成為探索人類活動(dòng)和事物發(fā)展密切相關(guān)的時(shí)空大數(shù)據(jù)來(lái)源，時(shí)刻產(chǎn)生著與時(shí)空位置相關(guān)的具備豐富語(yǔ)義的各類數(shù)據(jù)，包含了文本、圖像、音頻、視頻等多種模態(tài)，因此時(shí)空大數(shù)據(jù)還具有多源、多模態(tài)的特點(diǎn)。目前時(shí)空大數(shù)據(jù)分析的難點(diǎn)在于如何從不同來(lái)源、不同粒度、不同類型的多模態(tài)數(shù)據(jù)中整合彼此增益信息，進(jìn)行有效的數(shù)據(jù)融合，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)特征降維、聚類分析，關(guān)聯(lián)分析及分類預(yù)測(cè)。

人腦是天然的大數(shù)據(jù)處理引擎，有較強(qiáng)的容錯(cuò)性以及對(duì)聽(tīng)覺(jué)、視覺(jué)、嗅覺(jué)、味覺(jué)信息等多模態(tài)特征的高度概括及綜合能力[10-11]。模擬人腦神經(jīng)網(wǎng)絡(luò)構(gòu)建的神經(jīng)網(wǎng)絡(luò)方法，在單一模態(tài)數(shù)據(jù)的自動(dòng)處理方面取得了明顯進(jìn)展，如語(yǔ)音識(shí)別、圖像特征處理。關(guān)于多模態(tài)數(shù)據(jù)的智能處理，有特征級(jí)和語(yǔ)義級(jí)兩個(gè)層次的跨域多模態(tài)數(shù)據(jù)融合方法,特征級(jí)融合和語(yǔ)義級(jí)融合多依賴機(jī)器學(xué)習(xí)方法，如深層神經(jīng)網(wǎng)絡(luò)DNN、遷移學(xué)習(xí)、多核學(xué)習(xí)等[12]。允許不同模態(tài)數(shù)據(jù)之間相互作用、彼此增益是實(shí)現(xiàn)多模態(tài)數(shù)據(jù)融合分析面臨的挑戰(zhàn)，僅依靠機(jī)器學(xué)習(xí)等數(shù)據(jù)挖掘方法使得用戶難以對(duì)數(shù)據(jù)和算法過(guò)程本身直觀地進(jìn)行理解、探索和優(yōu)化[13-16]?；诳梢暬椒ㄝo助多模態(tài)數(shù)據(jù)融合、分析和預(yù)測(cè)，充分結(jié)合了人腦接收處理多模態(tài)數(shù)據(jù)時(shí)的高度抽象概括能力、聯(lián)想推理能力和計(jì)算機(jī)自動(dòng)計(jì)算能力的優(yōu)勢(shì)[17]。可視分析方法通過(guò)可視交互界面，將人的智慧，特別是“只可意會(huì)，不能言傳”的人類知識(shí)和個(gè)性化經(jīng)驗(yàn)可視地融入整個(gè)數(shù)據(jù)分析和推理決策過(guò)程中成為最有潛力的方向[18]。

2 現(xiàn)有的可視分析方法

可視分析經(jīng)歷了3個(gè)階段的發(fā)展：可視表達(dá)、交互式可視化、可視化推理。這個(gè)發(fā)展過(guò)程十分明顯地表明越來(lái)越多的人類智慧被引入到數(shù)據(jù)處理過(guò)程之中[19]。可視表達(dá)即數(shù)據(jù)的可視化、可視表征，幫助分析者以可視化的形式直觀了解數(shù)據(jù)，屬于對(duì)數(shù)據(jù)分布、異常、聚集等特征描述性質(zhì)的可視分析；隨著信息獲取與社會(huì)交往的日益增進(jìn)，傳統(tǒng)描述性可視分析越來(lái)越難以滿足人們對(duì)信息理解與交流的動(dòng)態(tài)需求。交互式可視化即實(shí)現(xiàn)在可視化環(huán)境下交互地瀏覽數(shù)據(jù)和挖掘過(guò)程，屬于對(duì)數(shù)據(jù)背后模式、規(guī)律的解釋性質(zhì)的可視分析；可視化推理是以可視表征輔助人進(jìn)行假設(shè)推理，包含探索發(fā)現(xiàn)數(shù)據(jù)間潛在的、有價(jià)值的關(guān)系和基于此構(gòu)建模型進(jìn)行假設(shè)推理和驗(yàn)證。本文以下按照描述性、解釋性和探索性對(duì)現(xiàn)有的可視分析方法進(jìn)行歸納和對(duì)比。

2.1 描述性可視分析

描述性可視分析主要為數(shù)據(jù)驅(qū)動(dòng)，通過(guò)不同類型時(shí)空數(shù)據(jù)(場(chǎng)景數(shù)據(jù)、時(shí)序數(shù)據(jù)、軌跡數(shù)據(jù)、多變?cè)W(wǎng)絡(luò)數(shù)據(jù)等)符號(hào)化或真實(shí)感的專題地圖或逼真動(dòng)態(tài)場(chǎng)景等形式表達(dá)，直觀展現(xiàn)多模態(tài)時(shí)空數(shù)據(jù)的分布、異常、聚集、演化等多維動(dòng)態(tài)特征[20]。實(shí)時(shí)接入的多模態(tài)動(dòng)態(tài)感知數(shù)據(jù)的融合分析是目前研究的焦點(diǎn)。典型的有：

(1) 時(shí)序數(shù)據(jù)可視分析方法。可以分為需要坐標(biāo)軸或視覺(jué)變量展示時(shí)間變化的靜態(tài)表征方法和將時(shí)間變化體現(xiàn)于動(dòng)畫的動(dòng)態(tài)表征方法[21-22]。傳統(tǒng)靜態(tài)表征方法如扇形圖(sector graph)、堆積餅圖(stacked graph)、圓環(huán)圖(circle graph)和折線圖等，針對(duì)數(shù)據(jù)高維多變?cè)攸c(diǎn)的靜態(tài)表征方法如螺旋圖(spiral graph)時(shí)序平行坐標(biāo)軸、梳形圖(multi comb)時(shí)間輪圖(time wheel)[23-24]。動(dòng)態(tài)表征是以動(dòng)畫形式通過(guò)顏色、形狀、大小、紋理等視覺(jué)變量的變化來(lái)反映時(shí)序數(shù)據(jù)。

(2) 軌跡數(shù)據(jù)可視分析方法。軌跡數(shù)據(jù)具有時(shí)間和空間屬性，傳統(tǒng)的軌跡數(shù)據(jù)可視分析方法以時(shí)空立方體為代表，時(shí)空密度圖、聚集和匯總、馬賽克鑲嵌圖、出發(fā)地-目的地?cái)?shù)據(jù)矩陣等可視化方法適用于大規(guī)模、多變?cè)能壽E數(shù)據(jù)可視化[25-26]。

(3) 網(wǎng)絡(luò)可視分析方法。網(wǎng)絡(luò)是以節(jié)點(diǎn)代表對(duì)象、弧段代表對(duì)象間關(guān)系的數(shù)據(jù)結(jié)構(gòu)模型，被廣泛運(yùn)用于具有多維度、復(fù)雜關(guān)聯(lián)關(guān)系的時(shí)空屬性數(shù)據(jù)的表達(dá)[27-28]。節(jié)點(diǎn)-邊的復(fù)雜關(guān)系使得網(wǎng)絡(luò)數(shù)據(jù)可視表征可認(rèn)知程度降低?，F(xiàn)有的按照網(wǎng)絡(luò)節(jié)點(diǎn)的布局方法可分為力導(dǎo)引布局(FDA)、圓形布局、相對(duì)空間布局、聚類布局、層布局、基于時(shí)間布局、手工布局和隨機(jī)布局[29]。

2.2 解釋性可視分析

解釋性可視分析是數(shù)據(jù)驅(qū)動(dòng)與模型驅(qū)動(dòng)結(jié)合，通過(guò)示意性與沉浸式協(xié)同的增強(qiáng)現(xiàn)實(shí)可視化表達(dá)，進(jìn)行深度挖掘分析，以實(shí)現(xiàn)對(duì)數(shù)據(jù)蘊(yùn)含的規(guī)律和模式的分析與解釋，如可視化方式實(shí)現(xiàn)數(shù)據(jù)挖掘過(guò)程及空間分析過(guò)程中參數(shù)調(diào)整和特征選擇等?？梢暬?qū)動(dòng)的數(shù)據(jù)挖掘方法是目前時(shí)空大數(shù)據(jù)分析的熱點(diǎn)。交互式降維分析方法突破傳統(tǒng)降維分析在可視化輸出結(jié)果后調(diào)整參數(shù)重新計(jì)算再可視化的缺陷，對(duì)計(jì)算中每次迭代的中間過(guò)程進(jìn)行可視化并實(shí)時(shí)動(dòng)態(tài)調(diào)整參數(shù)[30]。關(guān)聯(lián)分析是常用的數(shù)據(jù)挖掘方法，然而關(guān)聯(lián)規(guī)則集難以直觀理解，規(guī)則之間的相關(guān)性會(huì)被淹沒(méi)在規(guī)則集中。多層次多模態(tài)混合的時(shí)空可視化能促進(jìn)關(guān)聯(lián)規(guī)則結(jié)構(gòu)的深度洞察，交互操作、高亮強(qiáng)調(diào)相關(guān)性高和有意義的規(guī)則，如采用馬賽克圖對(duì)關(guān)聯(lián)規(guī)則進(jìn)行可視化[31-32]。聚類分析依據(jù)數(shù)據(jù)特性，能夠?qū)ζ溥M(jìn)行有效的分類和分組，其可視化形式多樣，能夠直觀反映數(shù)據(jù)的聚集模式。傳統(tǒng)的聚類方法難以處理，許多聚類分析的可視化方法交互性差且只簡(jiǎn)單考慮圖形布局問(wèn)題。星形坐標(biāo)、VISTA和HOV3針對(duì)上述問(wèn)題進(jìn)行了改進(jìn)[33-35]。

2.3 探索性可視分析

探索性可視分析方法是交互驅(qū)動(dòng)、模型驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)的有機(jī)結(jié)合，通過(guò)將抽象事物如數(shù)據(jù)、空間布局等進(jìn)行增強(qiáng)現(xiàn)實(shí)表達(dá)，結(jié)合人的思維能力進(jìn)行感知認(rèn)知、聯(lián)想假設(shè)，探索發(fā)現(xiàn)多源多模態(tài)數(shù)據(jù)間隱含的關(guān)聯(lián)關(guān)系等知識(shí)規(guī)律，揭示智慧城市運(yùn)行規(guī)律、驅(qū)動(dòng)力、影響因子以及相互作用機(jī)制，如多粒度時(shí)空對(duì)象復(fù)雜的關(guān)聯(lián)關(guān)系網(wǎng)絡(luò)可視化以及可視推理。網(wǎng)絡(luò)可視分析是分析和推理異構(gòu)數(shù)據(jù)內(nèi)在關(guān)系的最重要方法[18]。多粒度時(shí)空對(duì)象不同的粒度劃分之間有層次結(jié)構(gòu)，表征對(duì)象時(shí)空屬性的多源數(shù)據(jù)之間存在著關(guān)聯(lián)關(guān)系，構(gòu)成多層次的復(fù)雜關(guān)聯(lián)關(guān)系網(wǎng)絡(luò)，其可視化以及基于此的可視推理是目前探索性可視分析的重要研究?jī)?nèi)容[36]。

2.4 可視分析方法對(duì)比

表1按照描述性可視分析、解釋性可視分析和探索性可視分析3個(gè)層次分類歸納了現(xiàn)有可視分析方法的特點(diǎn)。

表1 現(xiàn)有可視分析方法對(duì)比

3 可視分析方法的主要發(fā)展趨勢(shì)

針對(duì)時(shí)空大數(shù)據(jù)多源、多粒度、多模態(tài)和時(shí)空復(fù)雜關(guān)聯(lián)的特點(diǎn)，為滿足探索時(shí)空大數(shù)據(jù)潛在關(guān)聯(lián)關(guān)系、綜合感知時(shí)空數(shù)據(jù)反映的態(tài)勢(shì)并進(jìn)行科學(xué)合理的推理預(yù)測(cè)與決策需求，本文提出時(shí)空大數(shù)據(jù)多層次可視分析體系，如圖1所示，人類左腦側(cè)重邏輯技術(shù)性思維，右腦側(cè)重空間形象性思維，相互協(xié)同、不可分割。分析和可視化是全空間信息系統(tǒng)的核心功能，4個(gè)層次(描述、診斷、預(yù)測(cè)、處方)的分析功能與3個(gè)層次(展示、分析、探索)的可視化功能相互融合與協(xié)同，構(gòu)成從描述性可視分析到解釋性可視分析和探索性可視分析的多層次可視分析體系，為快速有效地從多模態(tài)時(shí)空大數(shù)據(jù)中發(fā)現(xiàn)價(jià)值，診斷問(wèn)題，檢驗(yàn)預(yù)測(cè)以及探索未知規(guī)律提供以空間思維為中樞的“超級(jí)大腦”。

圖1 多層次可視分析體系Fig.1 Multi-level visual analysis framework

如圖2所示，描述性分析是對(duì)多模態(tài)時(shí)空對(duì)象的時(shí)空參照、位置、空間形態(tài)、屬性、行為、認(rèn)知、組成結(jié)構(gòu)和關(guān)聯(lián)關(guān)系等實(shí)際狀況的形式化表達(dá)與量化描述，如實(shí)時(shí)路況。診斷性分析旨在驗(yàn)證或建立涵蓋多模態(tài)時(shí)空對(duì)象的分布態(tài)勢(shì)、關(guān)聯(lián)關(guān)系及異常表現(xiàn)等方面的假設(shè)，發(fā)現(xiàn)時(shí)空現(xiàn)象演化過(guò)程中隱含的模式與規(guī)律，典型的有異常分析和演化分析等功能，如道路擁堵分析。預(yù)測(cè)性分析是在掌握多模態(tài)時(shí)空對(duì)象現(xiàn)有特征、模式與規(guī)律的基礎(chǔ)上，對(duì)其發(fā)展變化的狀態(tài)、趨勢(shì)與過(guò)程進(jìn)行預(yù)測(cè)，包括空間預(yù)測(cè)、時(shí)空預(yù)測(cè)、數(shù)據(jù)流預(yù)測(cè)、軌跡預(yù)測(cè)等功能，如短時(shí)的路況預(yù)測(cè)。處方性分析針對(duì)具體的任務(wù)，綜合多模態(tài)時(shí)空對(duì)象的特征、規(guī)律與演化態(tài)勢(shì)，為決策者提供優(yōu)化、調(diào)控與干預(yù)的可行方案，包括優(yōu)化分析和智能決策等功能，如交通路口信號(hào)燈的智能控制。描述性分析和診斷性分析通常是一種延時(shí)處理，隨著傳感網(wǎng)、物聯(lián)網(wǎng)和社交網(wǎng)等實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)的在線接入處理，實(shí)時(shí)分析計(jì)算成為多模態(tài)時(shí)空數(shù)據(jù)處理的典型特征。預(yù)測(cè)性分析和處方性分析為前瞻性分析，結(jié)合歷史數(shù)據(jù)和實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)對(duì)發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)并為決策提供依據(jù)。

圖2 多層次時(shí)空分析實(shí)例Fig.2 Example of multi-level spatio-temporal analysis

展示性可視化主要以多模態(tài)時(shí)空數(shù)據(jù)、信息和知識(shí)的高效表達(dá)與傳遞為基本目標(biāo)，未來(lái)將發(fā)展離散-連續(xù)、動(dòng)-靜、真實(shí)感-抽象、精細(xì)-概略場(chǎng)景相宜的自適應(yīng)表達(dá)方法以及與真實(shí)場(chǎng)景高度融合的協(xié)同可視化表達(dá)方法，基于語(yǔ)義級(jí)視覺(jué)變量映射的全空間增強(qiáng)現(xiàn)實(shí)場(chǎng)景動(dòng)態(tài)生成方法。分析性可視化則要充分準(zhǔn)確地表達(dá)復(fù)雜計(jì)算分析獲取的時(shí)空數(shù)據(jù)所隱含的信息與知識(shí)，突出任務(wù)所關(guān)注的特征，未來(lái)將發(fā)展如多焦點(diǎn)群集對(duì)象變形可視化。探索性可視化將發(fā)展語(yǔ)義級(jí)視覺(jué)變量和新型人機(jī)交互界面，通過(guò)場(chǎng)景聚焦、變形、選擇、突出和簡(jiǎn)化等全空間增強(qiáng)現(xiàn)實(shí)表達(dá)，實(shí)現(xiàn)數(shù)據(jù)、人腦、機(jī)器智能和應(yīng)用場(chǎng)景4方面的有機(jī)耦合，進(jìn)行假設(shè)驗(yàn)證、知識(shí)歸納和推理論斷等深度關(guān)聯(lián)分析，將研究適合復(fù)雜環(huán)境的多機(jī)多用戶協(xié)同交互模式和位置敏感的新型人機(jī)界面，研究面向大規(guī)模多粒度時(shí)空對(duì)象復(fù)雜數(shù)據(jù)分析的可視化探索、篩選、映射和布局等方法。

4 結(jié)束語(yǔ)

隨著智慧城市建設(shè)的快速推進(jìn)，人機(jī)物三元空間的深度融合對(duì)多模態(tài)時(shí)空大數(shù)據(jù)可視分析提出了前所未有的新挑戰(zhàn)，也為全空間信息系統(tǒng)的發(fā)展提供了新機(jī)遇。大數(shù)據(jù)時(shí)代的空間信息系統(tǒng)無(wú)疑將成為一個(gè)“超級(jí)大腦”，高效靈活地綜合處理不同來(lái)源不同性質(zhì)的時(shí)空數(shù)據(jù)，為智慧城市精準(zhǔn)化與智能化管理提供強(qiáng)大的全空間全信息時(shí)空關(guān)聯(lián)、由淺入深的多層次可視分析能力。

致謝：感謝中南大學(xué)鄧敏教授、電子科技大學(xué)周艷副教授和邵俊明教授、浙江大學(xué)鄭文庭副教授對(duì)論文提出的建議，感謝西南交通大學(xué)博士生李赟、劉銘崴、馮斌、張駿驍協(xié)助制圖及對(duì)此文作出的貢獻(xiàn)。

[1] HEY T, TANSLEY S, TOLLE K. The Fourth Paradigm: Data-intensive Scientific Discovery[M]. Redmond, Washington: Microsoft Research, 2009.

[2] ANDRIENKO G, ANDRIENKO N, DEMSAR U, et al. Space, Time and Visual Analytics[J]. International Journal of Geographical Information Science, 2010, 24(10): 1577-1600.

[3] KEIM D A, MANSMANN F, THOMAS J. Visual Analytics: How Much Visualization and How Much Analytics?[J]. ACM SIGKDD Explorations Newsletter, 2009, 11(2): 5-8.

[4] KEIM D A, MANSMANN F, SCHNEIDEWIND J, et al. Visual Analytics: Scope and Challenges[M]∥SIMOFF S J, B?HLEN M H, MAZEIKA A. Visual Data Mining. Berlin Heidelberg: Springer-Verlag, 2008.

[5] MENG L, ZIPF A, WINTER S. Map-based Mobile Services[M]. Berlin: Springer, 2005.

[6] BERTONE A, BURGHARDT D. A Survey on Visual Analytics for the Spatio-temporal Exploration of Microblogging Content[J]. Journal of Geovisualization and Spatial Analysis, 2017, 1(1-2): 2.

[7] 周成虎. 全空間地理信息系統(tǒng)展望[J]. 地理科學(xué)進(jìn)展, 2015, 34(2): 129-131.

ZHOU Chenghu. Prospects on Pan-spatial Information System[J]. Progress in Geography, 2015, 34(2): 129-131.

[8] 華一新. 全空間信息系統(tǒng)的核心問(wèn)題和關(guān)鍵技術(shù)[J]. 測(cè)繪科學(xué)技術(shù)學(xué)報(bào), 2016, 33(4): 331-335.

HUA Yixin. The Core Problems and Key Technologies of Pan-spatial Information System[J]. Journal of Geomatics Science and Technology, 2016, 33(4): 331-335.

[9] 李德仁. 展望大數(shù)據(jù)時(shí)代的地球空間信息學(xué)[J]. 測(cè)繪學(xué)報(bào), 2016, 45(4): 379-384.

LI Deren. Towards Geo-spatial Information Science in Big Data Era[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(4): 379-384.

[10] 章毅, 郭泉, 王建勇. 大數(shù)據(jù)分析的神經(jīng)網(wǎng)絡(luò)方法[J]. 工程科學(xué)與技術(shù), 2017, 49(1): 9-18.

ZHANG Yi, GUO Quan. WANG Jianyong. Big Data Analysis Using Neural Networks[J]. Advanced Engineering Sciences, 2017, 49(1): 9-18.

[11] MCGURK H, MACDONALD J. Hearing Lips and Seeing Voices[J]. Nature, 1976, 246(5588): 746-748.

[12] ZHENG Yu. Methodologies for Cross-Domain Data Fusion: An Overview[J]. IEEE Transactions on Big Data, 2015, 1(1): 16-34.

[13] LAHAT D, ADALI T, JUTTEN C. Multimodal Data Fusion: An Overview of Methods, Challenges, and Prospects[J]. Proceedings of the IEEE, 2015, 103(9): 1449-1477.

[14] KHALEGHI B, KHAMIS A, KARRAY F O, et al. Multisensor Data Fusion: A Review of the State-of-the-Art[J]. Information Fusion, 2013, 14(1): 28-44.

[15] TURK M. Multimodal Interaction: A Review[J]. Pattern Recognition Letters, 2014(36): 189-195.

[16] 馬昱欣, 曹震東, 陳為. 可視化驅(qū)動(dòng)的交互式數(shù)據(jù)挖掘方法綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2016, 28(1): 1-8.

MA Yuxin, CAO Zhendong, CHEN Wei. A Survey of Visualization-driven Interactive Data Mining Approaches[J]. Journal of Computer-Aided Design and Computer Graphics, 2016, 28(1): 1-8.

[17] DE OLIVEIRA M C F, LEVKOWITZ H. From Visual Data Exploration to Visual Data Mining: A Survey[J]. IEEE Transactions on Visualization and Computer Graphics, 2003, 9(3): 378-394.

[18] 陳為. 大數(shù)據(jù)可視化與可視分析[J]. 金融電子化, 2015(11): 62-65.

CHEN Wei. Big Data Visualization and Visual Analysis[J]. Financial Computerizing, 2015(11): 62-65.

[19] ZHUANG Yueting, WU Fei, CHEN Chun, et al. Challenges and Opportunities: From Big Data to Knowledge in AI 2.0[J]. Frontiers of Information Technology and Electronic Engineering, 2017, 18(1): 3-14.

[20] 朱慶. 三維GIS及其在智慧城市中的應(yīng)用[J]. 地球信息科學(xué)學(xué)報(bào), 2014, 16(2): 151-157.

ZHU Qing. Full Three-Dimensional GIS and Its Key Roles in Smart City[J]. Journal of Geo-Information Science, 2014, 16(2): 151-157.

[21] AIGNER W, MIKSCH S, MüLLER W, et al. Visualizing Time-Oriented Data: A Systematic View[J]. Computers and Graphics, 2007, 31(3): 401-409.

[22] MüLLER W, SCHUMANN H. Visualization Methods for Time-Dependent Data: An Overview[C]∥Proceedings of 2003 Winter Simulation Conference. New Orleans, LA, USA: IEEE, 2003.

[23] CARLIS J V, KONSTAN J A. Interactive Visualization of Serial Periodic Data[C]∥Proceedings of the 11th Annual ACM Symposium on User Interface Software and Technology. San Francisco, California, USA: ACM, 1998: 29-38.

[24] TOMINSKI C, ABELLO J, SCHUMANN H. Axes-based Visualizations with Radial Layouts[C]∥Proceedings of the 2004 ACM Symposium on Applied Computing. Nicosia, Cyprus: ACM, 2004: 1242-1247.

[26] ANDRIENKO G, ANDRIENKO N. Visual Analytics for Geographic Analysis, Exemplified by Different Types of Movement Data[M]∥POPOVICH V V, CLARAMUNT C, SCHRENK M, et al. Information Fusion and Geographic Information Systems. Berlin: Springer, 2009.

[27] 陳為, 朱標(biāo), 張宏鑫. BN-Mapping: 基于貝葉斯網(wǎng)絡(luò)的地理空間數(shù)據(jù)可視分析[J]. 計(jì)算機(jī)學(xué)報(bào), 2016, 39(7): 1281-1293.

CHEN Wei, ZHU Biao, ZHANG Hongxin. BN-Mapping: Visual Analysis of Geospatial Data with Bayesian Network[J]. Chinese Journal of Computers, 2016, 39(7): 1281-1293.

[28] COSSALTER M, MENGSHOEL O, SELKER T. Visualizing and Understanding Large-scale Bayesian Networks[J]. Proceedings of the 25th AAAI Conference on Artificial Intelligence, AAAI Workshop on Scalable Integration of Analytics and Visualization. San Francisco: AAAI, 2011.

[29] 孫揚(yáng), 蔣遠(yuǎn)翔, 趙翔, 等. 網(wǎng)絡(luò)可視化研究綜述[J]. 計(jì)算機(jī)科學(xué), 2010, 37(2): 12-18, 30.

SUN Yang, JIANG Yuanxiang, ZHAO Xiang, et al. Survey on the Research of Network Visualization[J]. Computer Science, 2010, 37(2): 12-18, 30.

[30] DIAZ I, CUADRADO A A, PéREZ D, et al. Interactive Dimensionality Reduction for Visual Analytics[C]∥Proceedings of European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning. Bruges, Belgium, 2014.

[31] BRUZZESE D, DAVINO C. Visual Mining of Association Rules[M]∥SIMOFF S J, B?HLEN M H, MAZEIKA A. Visual Data Mining. Berlin, Heidelberg: Springer, 2008: 103-122.

[32] HOFMANN H, SIEBES A P J M, WILHELM A F X. Visualizing Association Rules with Interactive Mosaic Plots[C]∥Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Boston, Massachusetts, USA: ACM, 2000: 227-235.

[33] KANDOGAN E. Visualizing Multi-dimensional Clusters, Trends, and Outliers Using Star Coordinates[C]∥Proceedings of the Seventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco, California: ACM, 2001: 107-116.

[34] CHEN Keke, LIU Ling. VISTA: Validating and Refining Clusters Via Visualization[J]. Information Visualization. 2004, 3(4): 257-270.

[35] ZHANG Kebing, ORGUN M A, ZHANG Kang, et al. Hypothesis Oriented Cluster Analysis in Data Mining by Visualization[C]∥Proceedings of the Working Conference on Advanced Visual Interfaces. Venezia, Italy: ACM, 2006: 254-257.

[36] ROBINSON A C, DEMAR U, MOORE A B, et al. Geospatial Big Data and Cartography: Research Challenges and Opportunities for Making Maps that Matter[J]. International Journal of Cartography, 2017: 1-29. DOI: 10.1080/23729333.2016.1278151.

(責(zé)任編輯：張艷玲)

The Review of Visual Analysis Methods of Multi-modal Spatio-temporal Big Data

ZHU Qing,FU Xiao

Faculty of Geoscience and Environmental Engineering, Southwest Jiaotong University, Chengdu 611756, China

The visual analysis of spatio-temporal big data is not only the state-of-art research direction of both big data analysis and data visualization, but also the core module of pan-spatial information system. This paper reviews existing visual analysis methods at three levels: descriptive visual analysis, explanatory visual analysis and exploratory visual analysis, focusing on spatio-temporal big data’s characteristics of multi-source, multi-granularity, multi-modal and complex association.The technical difficulties and development tendencies of multi-modal feature selection, innovative human-computer interaction analysis and exploratory visual reasoning in the visual analysis of spatio-temporal big data were discussed. Research shows that the study of descriptive visual analysis for data visualizationis is relatively mature.The explanatory visual analysis has become the focus of the big data analysis, which is mainly based on interactive data mining in a visual environment to diagnose implicit reason of problem. And the exploratory visual analysis method needs a major break-through.

spatio-temporal big data; visual analysis; pan-spatial information system; multi-modal data

The National Natural Science Foundation of China(No. 41471320)；National Key R&D Program of China(No. 2016YFB0502303)

ZHU Qing(1966—),male, PhD, professor, PhD Yangtze River Scholar distinguished supervisor, majors in dynamic GIS and VGE.

朱慶，付蕭.多模態(tài)時(shí)空大數(shù)據(jù)可視分析方法綜述[J].測(cè)繪學(xué)報(bào)，2017,46(10)：1672-1677.

10.11947/j.AGCS.2017.20170286.

ZHU Qing,FU Xiao.The Review of Visual Analysis Methods of Multi-modal Spatio-temporal Big Data [J]. Acta Geodaetica et Cartographica Sinica,2017,46(10):1672-1677. DOI:10.11947/j.AGCS.2017.20170286.

P208

A

1001-1595(2017)10-1672-06

國(guó)家自然科學(xué)基金(41471320)；國(guó)家重點(diǎn)研發(fā)計(jì)劃(2016YFB0502303)

2017-06-02

修回日期： 2017-07-24

朱慶(1966—)，男，博士，長(zhǎng)江學(xué)者特聘教授，博士生導(dǎo)師，研究方向?yàn)槎嗑S動(dòng)態(tài)GIS與虛擬地理環(huán)境。

E-mail： zhuq66@263.net