劉合翔

摘?要：[目的/意義]可視化是新形勢下信息服務(wù)的一種普遍技術(shù)需求和應(yīng)用趨勢，而如何更好地運(yùn)用這一技術(shù)就涉及對(duì)技術(shù)本身及其用戶效用的考察與評(píng)估。[方法/過程]本文通過回顧相關(guān)研究及實(shí)踐中對(duì)其可視化應(yīng)用的評(píng)估方法，分別從理論運(yùn)用、方法路徑、評(píng)估任務(wù)、評(píng)估維度及指標(biāo)等幾個(gè)方面進(jìn)行了梳理與分析。[結(jié)果/結(jié)論]研究發(fā)現(xiàn)，目前可視化應(yīng)用評(píng)估中采用的方法已比較多元，但多數(shù)評(píng)估仍主要以實(shí)驗(yàn)方法為主，評(píng)估的效用多以認(rèn)知為主，可視化的情感效用與社會(huì)效用少有探討及測度，缺少評(píng)估的通用框架和用于評(píng)估的標(biāo)準(zhǔn)（任務(wù)、數(shù)據(jù)）測試集。而這些方面也相應(yīng)地為可視化應(yīng)用的評(píng)估提供了進(jìn)一步創(chuàng)新實(shí)踐的機(jī)會(huì)。

關(guān)鍵詞：可視化;應(yīng)用;評(píng)估方法;評(píng)估任務(wù);評(píng)估維度;評(píng)估指標(biāo);綜述

DOI：10.3969/j.issn.1008-0821.2020.04.017

〔中圖分類號(hào)〕G252?〔文獻(xiàn)標(biāo)識(shí)碼〕A?〔文章編號(hào)〕1008-0821（2020）04-0148-11

Research Review on Evaluation Methods of Visualization Application

Liu Hexiang

（School of Media and Design，Hangzhou Dianzi University，Hangzhou 310018，China）

Abstract：[Purpose/Significance]Visualization is a general technical requirement and a trend of information services in the new situation，and better utilizing of this technology depends on investigation and evaluation of its utility.[Method/Process]From aspects of theory employing，assessing ways，task，dimension and index of evaluation by reviewing relevant researches and practices.[Result/Conclusion]The methods used in the assessment of visualized applications were quite diverse，but most of the evaluations were mainly based on experimental methods.The utility of the assessment was mostly about cognition.Emotional and social utility were rarely discussed and measured.There was a lack of an assessment generic framework and standard test set（of task，data）for evaluation.Corresponding to this，there were many opportunities for innovative practices in the evaluation of information visualization applications.

Key words：visualization;application;evaluation method;evaluation task;evaluation dimension;evaluation indicator;review

在當(dāng)前信息服務(wù)的主體越來越多元化，信息服務(wù)開始高度競爭化的形勢下，信息用戶對(duì)信息服務(wù)提出了有別于和高于傳統(tǒng)信息服務(wù)的要求。而其中的一點(diǎn)就是在信息簡單傳遞和信息的定題研究之間，延伸出一類新的服務(wù)方式：尊重用戶自身的信息研判能力，通過提供有效的信息解讀輔助，提升用戶自身解讀信息的效能。而對(duì)于信息的輔助解讀最有效的莫過于利用人類高效的視覺認(rèn)知通道和視覺處理能力來進(jìn)行信息的可視化。而要確保這一技術(shù)手段能得到有效的運(yùn)用，就需要通過對(duì)可視化工具能力的評(píng)估和可視化應(yīng)用后的用戶效用評(píng)價(jià)來為可視化應(yīng)用的持續(xù)改進(jìn)提供依據(jù)。

本文首先通過檢索主題相關(guān)的研究，選擇研究的樣本集，在相關(guān)研究變量中選擇理論運(yùn)用、方法路徑、評(píng)估任務(wù)、評(píng)估維度及指標(biāo)4個(gè)方面來考察、梳理與比較，最后形成一個(gè)以這4個(gè)變量為主體的信息可視化應(yīng)用評(píng)估方法的參考框架。

1?可視化評(píng)估相關(guān)研究概述

國內(nèi)相關(guān)研究中，通過對(duì)“可視化AND（評(píng)估 OR 評(píng)測 OR 評(píng)價(jià)）”等關(guān)鍵詞組合的文獻(xiàn)檢視，結(jié)果文獻(xiàn)中大多數(shù)是研究如何將可視化作為評(píng)估的手段應(yīng)用在特定領(lǐng)域，而將可視化工具本身及其用戶效用作為評(píng)估對(duì)象的研究則較少。國內(nèi)針對(duì)這方面的典型研究有：陳為[1]對(duì)可視化測評(píng)的相關(guān)研究中評(píng)測流程、方法和影響因素的梳理總結(jié);楊峰等對(duì)評(píng)價(jià)信息可視化技術(shù)的指標(biāo)研究[2]和信息可視化顯示效果優(yōu)化的研究[3];吳莎莎等[4]對(duì)信息可視化技術(shù)可用性分析的框架設(shè)計(jì)與案例檢驗(yàn);馮小琴[5]對(duì)信息檢索可視化的評(píng)價(jià)標(biāo)準(zhǔn)研究;張會(huì)平[6]對(duì)可視化的知識(shí)轉(zhuǎn)化效用假設(shè)的實(shí)證研究;王輝等[7]對(duì)圖書館可視化系統(tǒng)效用的測試研究;邱玲玲[8]對(duì)可視化教學(xué)效果的實(shí)證研究等。

而通過“Visualization AND（Evaluate OR Assess OR Measure）”檢索的外文文獻(xiàn)相比較而言，針對(duì)可視化本身及其效用進(jìn)行評(píng)估的研究則較為普遍。評(píng)估類研究也被歸結(jié)為可視化研究中幾大類別中的一類[9]。由于可視化連接的是以機(jī)器為中心的過程（如算法和技術(shù)）和以人為本的過程（如人類認(rèn)知、交互、情感和溝通），因此可視化的評(píng)估通常圍繞這兩個(gè)方面來展開。此前的研究中以可視化技術(shù)和算法的評(píng)估居多，而近期針對(duì)用戶的表現(xiàn)與反饋，評(píng)估可視化對(duì)其工作實(shí)踐和分析推理能力改進(jìn)的研究已有穩(wěn)步的增長[10]。

盡管已經(jīng)有各種各樣日漸成熟的可視化技術(shù)，但針對(duì)不同的應(yīng)用情境還需要對(duì)其進(jìn)行特定的評(píng)估，以確定所選技術(shù)在特定場景下是否有用、可用與實(shí)用。相比評(píng)估結(jié)論的差異性與多樣性，其評(píng)估的方法更值得歸納與總結(jié)。不同的評(píng)估方法也反映了不同研究者的偏好和對(duì)不同情境下方法適用度的判斷。

2?可視化應(yīng)用評(píng)估中的理論運(yùn)用

理論與模型的借鑒是開展各領(lǐng)域研究的一種常用方法，站在成熟的理論與模型的基礎(chǔ)上，可以讓相關(guān)研究能夠快速構(gòu)建思考框架，同時(shí)對(duì)原有的理論模型做適應(yīng)性檢驗(yàn)和進(jìn)一步地提煉與延展。

在涉及可視化應(yīng)用評(píng)估的研究中，部分研究運(yùn)用了一些理論模型來思考研究主題并構(gòu)建研究框架，涉及的相關(guān)研究及其要點(diǎn)按其發(fā)表年份列舉如下：

由以上提及的理論可以看出，可視化應(yīng)用評(píng)估的相關(guān)研究中運(yùn)用的理論來自于HCI、認(rèn)知科學(xué)、設(shè)計(jì)學(xué)等多個(gè)領(lǐng)域。然而，相比涉及可視化應(yīng)用評(píng)估研究的數(shù)量，運(yùn)用相關(guān)理論來開展評(píng)估的仍然屬于少數(shù)。事實(shí)上，在目前相關(guān)研究中，理論的運(yùn)用并未成為一種自覺，運(yùn)用理論的范圍與深度也很有限，很多有價(jià)值的可參考理論，如信息空間理論、信息服務(wù)理論等未能被應(yīng)用到可視化應(yīng)用的評(píng)估上來，而這也為未來相關(guān)研究提供了進(jìn)一步開展理論探索的空間。

3?可視化應(yīng)用評(píng)估中的方法路徑

關(guān)于可視化應(yīng)用評(píng)估的方法，有一些研究總結(jié)了其不同的方向類別。例如Munzner T[9]總結(jié)的可視化應(yīng)用評(píng)估股方法主要有兩類：1）在實(shí)驗(yàn)室環(huán)境中進(jìn)行用戶研究，使用明確或抽象的任務(wù)，在時(shí)間和準(zhǔn)確性方面進(jìn)行定量測量，運(yùn)用統(tǒng)計(jì)學(xué)方法進(jìn)行分析，發(fā)現(xiàn)顯著影響因素和因素之間的相互作用;2）開展現(xiàn)場研究，將可視化應(yīng)用在目標(biāo)用戶的現(xiàn)實(shí)環(huán)境中，時(shí)間跨度通常為數(shù)周或數(shù)月，開展定性與定量測量。Plaisant C[20]則是將可視化應(yīng)用的評(píng)估方法分為4類：控制實(shí)驗(yàn)比較設(shè)計(jì)元素，工具的可用性評(píng)估，比較兩個(gè)或更多工具的控制實(shí)驗(yàn)，以及在現(xiàn)實(shí)環(huán)境中對(duì)工具進(jìn)行案例研究。而Carpendale S[21]將可視化應(yīng)用的評(píng)估方法從精準(zhǔn)性、通用性和現(xiàn)實(shí)性的3個(gè)維度進(jìn)一步擴(kuò)展為：實(shí)地研究、實(shí)地實(shí)驗(yàn)、實(shí)驗(yàn)室實(shí)驗(yàn)、實(shí)驗(yàn)性模擬、判別研究、抽樣調(diào)查、理論研究、計(jì)算機(jī)模擬8個(gè)類別。

基于對(duì)相關(guān)研究中方法選型的梳理以及參考前述的這些研究中的分類，本文認(rèn)為可視化應(yīng)用評(píng)估的方法總體可劃分為3個(gè)大類：客觀評(píng)估、主觀評(píng)估與綜合評(píng)估。

在客觀評(píng)估的有關(guān)方法上，最常用的就是對(duì)照實(shí)驗(yàn)及觀察法。Saraiya P等[22]認(rèn)為可視化應(yīng)用的評(píng)估就主要是在對(duì)照實(shí)驗(yàn)研究中評(píng)估用戶對(duì)預(yù)定任務(wù)中的表現(xiàn)。而對(duì)于實(shí)驗(yàn)的方法，其基本的邏輯是：控制獨(dú)立變量如工具、任務(wù)、數(shù)據(jù)和參與者等，依賴變量主要是準(zhǔn)確性和效率。其中準(zhǔn)確性包括精確度、錯(cuò)誤率、正確和不正確響應(yīng)的數(shù)量，而效率包括完成預(yù)定義基準(zhǔn)測試任務(wù)的時(shí)間。而在實(shí)驗(yàn)和傳統(tǒng)的觀察方法之外，目前已有研究延伸了可視化應(yīng)用評(píng)估的技術(shù)手段和方法形式，例如Chen X等[23]設(shè)計(jì)和實(shí)踐了一個(gè)量化可視化所形成心理負(fù)載，并對(duì)用戶偏好持續(xù)考察的在線評(píng)估。評(píng)估運(yùn)用基于腦電波、眼動(dòng)跟蹤及日志等手段記錄的數(shù)據(jù)進(jìn)行了融合性的分析。

在主觀評(píng)估的有關(guān)方法上，有很多研究者采用了有別于客觀評(píng)估的形式與方法，以彌補(bǔ)可視化應(yīng)用評(píng)估中客觀評(píng)估方法的不足。例如Tory M等[24]就反思總結(jié)實(shí)驗(yàn)評(píng)估方法的弊端和不足，例如實(shí)驗(yàn)評(píng)估的成本、深度以及所適用的階段等，通過與實(shí)驗(yàn)評(píng)估的比較，論證了專家評(píng)估方法的有效性。Zuk T等[25]認(rèn)為啟發(fā)式評(píng)估（基于既有經(jīng)驗(yàn)規(guī)則的探索式評(píng)估）在可視化應(yīng)用評(píng)估上使用得還不夠，并總結(jié)整理了有關(guān)研究中可供參考的經(jīng)驗(yàn)規(guī)則。Kennedy H等[26]則是在其可視化應(yīng)用評(píng)估中嘗試運(yùn)用了多焦點(diǎn)小組訪談的形式，將小組分為對(duì)視覺表達(dá)有興趣組、對(duì)數(shù)據(jù)有興趣組、外地域組、特定族裔組、主題興趣組、主題涉及組、無興趣組、各組代表構(gòu)成組等多類小組。

隨著前述一些主流的評(píng)估方法的運(yùn)用，不少研究者對(duì)傳統(tǒng)評(píng)估方法的有效性提出了疑問與批判，認(rèn)為可視化應(yīng)用的評(píng)估應(yīng)當(dāng)結(jié)合客觀與主觀評(píng)估的方法，參考借鑒有關(guān)的理論，綜合更多的一些現(xiàn)實(shí)因素進(jìn)行考量。

偏綜合性評(píng)估的相關(guān)研究中，Shneiderman B等[27]在回顧可視化應(yīng)用的評(píng)估方法后提出評(píng)估可視化需要引入“多維深度長期案例研究”。其中多維是指使用觀察、訪談、調(diào)查以及自動(dòng)記錄來評(píng)估用戶績效和界面效能;深入是指將專家用戶轉(zhuǎn)變成合作伙伴，深入、互動(dòng)地開展研究;長期是指縱向研究，從特定工具的使用培訓(xùn)開始，觀察用戶的策略變化;案例研究是指在正常的環(huán)境中對(duì)用戶向工作人員詳細(xì)報(bào)告的有關(guān)問題進(jìn)行分析。而Reda K等[18]發(fā)現(xiàn)大多數(shù)的可視化實(shí)證評(píng)估都是針對(duì)結(jié)果，而極少評(píng)估其中的用戶過程，并針對(duì)這一問題以探索性可視分析為例構(gòu)建了一套強(qiáng)調(diào)過程評(píng)估的評(píng)估方法。Isenberg P等[28]還認(rèn)為可視化應(yīng)用的評(píng)估在可視化產(chǎn)品開發(fā)生命周期的前期就應(yīng)該進(jìn)行，進(jìn)而提出一種質(zhì)性評(píng)估方法，判斷可視化是否符合預(yù)期的使用情境，并通過評(píng)估來促進(jìn)可視化設(shè)計(jì)的優(yōu)化迭代。

而針對(duì)當(dāng)前的可視化應(yīng)用評(píng)估方法中存在的一些普遍問題，有關(guān)研究提出了方法批判，例如Andrews K[29]認(rèn)為：評(píng)估的新的可視化界面不夠成熟，在與成熟可視化界面比較時(shí)存在成熟度上的劣勢;選擇的測試用戶不具有代表性;測試用戶對(duì)可視化界面學(xué)習(xí)周期影響的考慮不夠;測試任務(wù)設(shè)置簡單，缺少對(duì)洞察和探索性任務(wù)的測試評(píng)估等。

更多涉及到以上劃分的評(píng)估方法，及其應(yīng)用到的有關(guān)研究可參見表2。

4?可視化應(yīng)用評(píng)估中的評(píng)估任務(wù)設(shè)計(jì)

盡管可視化應(yīng)用評(píng)估中采用的方法已較多元化，但目前主流的評(píng)估方法仍是以實(shí)驗(yàn)方法為主。而由于可視化應(yīng)用評(píng)估的實(shí)驗(yàn)針對(duì)的具體目標(biāo)往往不同，評(píng)估的對(duì)象各異，場景也不一，因此實(shí)驗(yàn)設(shè)計(jì)中的樣本規(guī)劃與流程安排必然是高度情境依賴的，相比較而言，評(píng)估實(shí)驗(yàn)中的任務(wù)設(shè)計(jì)則借鑒意義更大，因而本節(jié)重點(diǎn)考察的是相關(guān)評(píng)估實(shí)驗(yàn)中的任務(wù)設(shè)置。

基于該參考框架，在具體設(shè)計(jì)可視化應(yīng)用的評(píng)估方案時(shí)，可依次從理論工具集中選取可參考的理論模型，選擇合適的評(píng)估方法路徑，參考和選用框架中涉及的評(píng)估任務(wù)類別及細(xì)項(xiàng)，基于框架中列及的影響因素選擇需要重點(diǎn)控制的有關(guān)變量，選擇框架中涉及的評(píng)估項(xiàng)目類別與評(píng)估指標(biāo)來做評(píng)估的具體執(zhí)行。

目前可視化應(yīng)用評(píng)估中采用的方法已比較多元，但多數(shù)評(píng)估仍主要以實(shí)驗(yàn)方法為主。各評(píng)估的側(cè)重有所不同，有的偏重評(píng)估工具能力，有的更重視評(píng)測用戶效用。當(dāng)前可視化應(yīng)用評(píng)估存在的一些典型問題有：評(píng)估中運(yùn)用理論較少;評(píng)估的效用多以認(rèn)知為主，可視化的情感效用與社會(huì)效用少有探討及測度;缺少一個(gè)評(píng)估的通用框架和用于評(píng)估的標(biāo)準(zhǔn)（任務(wù)、數(shù)據(jù)）測試集。而與此同時(shí)，可視化應(yīng)用評(píng)估的研究與實(shí)踐也存在著很多的創(chuàng)新機(jī)會(huì)，例如，對(duì)視覺、認(rèn)知等領(lǐng)域眾多有價(jià)值理論的引入;針對(duì)新興媒介（VR、AR等）可視化效果的評(píng)估;構(gòu)建基于用戶交互行為數(shù)據(jù)的可視化效用測算模型，通過二維碼等方式實(shí)現(xiàn)線下線上互動(dòng)的戶外可視化應(yīng)用的公共效用研究等。

隨著可視化應(yīng)用的日益廣泛和投入的加大，針對(duì)可視化應(yīng)用的評(píng)估勢必會(huì)為相關(guān)的工作實(shí)務(wù)所重視，進(jìn)而對(duì)評(píng)估方法提出更高的要求。而本文通過對(duì)相關(guān)研究中可視化應(yīng)用評(píng)估方法相關(guān)要素的總結(jié)梳理，為相關(guān)的研究及評(píng)估實(shí)務(wù)提供了一定的方法論參考。

參考文獻(xiàn)

[1]陳為.數(shù)據(jù)可視化[M].北京：電子工業(yè)出版社，2013.

[2]楊峰，李蔚.評(píng)價(jià)信息可視化技術(shù)的指標(biāo)研究[J].圖書情報(bào)知識(shí)，2007，（4）：80-84.

[3]楊峰，李蔚.信息可視化顯示效果的優(yōu)化方法研究[J].現(xiàn)代情報(bào)，2012，32（5）：34-36.

[4]吳莎莎，劉正捷，張海昕.信息可視化技術(shù)的可用性[C]//建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議，2005.

[5]馮小琴.信息檢索可視化的評(píng)價(jià)標(biāo)準(zhǔn)[J].知識(shí)經(jīng)濟(jì)，2009，（3）：126-127.

[6]張會(huì)平.可視化技術(shù)對(duì)知識(shí)轉(zhuǎn)化效果影響的實(shí)證研究[J].情報(bào)探索，2014，（1）：1-5.

[7]王輝，吳鳴，肖永紅，等.圖書館系統(tǒng)的用戶測試組織案例研究[J].圖書情報(bào)工作，2012，56（3）：71-74.

[8]邱玲玲.可視化與非可視化教學(xué)方法對(duì)不同文章背景知識(shí)的教學(xué)效果的實(shí)證性研究[D].貴陽：貴州大學(xué)，2008.

[9]Munzner T.Process and Pitfalls in Writing Information Visualization Research Papers[J].Information Visualization：Human-centered Issues and Perspectives，2008：134-153.

[10]Isenberg T，Isenberg P，Chen J，et al.A Systematic Review on the Practice of Evaluating Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2013，19（12）：2818-2827.

[11]Juarez O，Hendrickson C，Garrett J H.Evaluating Visualizations Based on the Performed Task[C]//Information Visualization，2000.Proceedings.IEEE International Conference on.IEEE，2000：135-142.

[12]Valiati E R A，Pimenta M S，F(xiàn)reitas C M D S.A Taxonomy of Tasks for Guiding the Evaluation of Multidimensional Visualizations[C]//Proceedings of the 2006 AVI Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-6.

[13]Cawthon N，Moere A V.A Conceptual Model for Evaluating Aesthetic Effect Within the User Experience of Information Visualization[C]//Information Visualization，2006.IV 2006.Tenth International Conference on.IEEE，2006：374-382.

[14]Hffler T N，Leutner D.Instructional Animation Versus Static Pictures：A Meta-analysis[J].Learning and Instruction，2007，17（6）：722-738.

[15]Moere A V，Tomitsch M，Wimmer C，et al.Evaluating the Effect of Style in Information Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2012，18（12）：2739-2748.

[16]Demiralp C，Scheidegger C E，Kindlmann G L，et al.Visual Embedding：A Model for Visualization[J].IEEE Computer Graphics and Applications，2014，34（1）：10-15.

[17]Bresciani S，Eppler M J.Extending Tam to Information Visualization：A Framework for Evaluation[J].Electronic Journal of Information System Evaluation，2015，18（1）：46-58.

[18]Reda K，Johnson A E，Papka M E，et al.Modeling and Evaluating User Behavior in Exploratory Visual Analysis[J].Information Visualization，2016，15（4）：325-339.

[19]Dimara E，Bezerianos A，Dragicevic P.The Attraction Effect in Information Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2017，23（1）：471-480.

[20]Plaisant C.The Challenge of Information Visualization Evaluation[C]//Proceedings of the Working Conference on Advanced Visual Interfaces.ACM，2004：109-116.

[21]Carpendale S.Evaluating Information Visualizations[J].Information Visualization，2008：19-45.

[22]Saraiya P，North C，Duca K.An Insight-based Methodology for Evaluating Bioinformatics Visualizations[J].IEEE Transactions on Visualization and Computer Graphics，2005，11（4）：443-456.

[23]Chen X，Ran J.Statistical Modeling for Visualization Evaluation Through Data Fusion[J].Applied Ergonomics，2017.

[24]Tory M，Moller T.Evaluating Visualizations：Do Expert Reviews Work？[J].IEEE Computer Graphics and Applications，2005，25（5）：8-11.

[25]Zuk T，Schlesier L，Neumann P，et al.Heuristics for Information Visualization Evaluation[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-6.

[26]Kennedy H，Hill R L，Allen W，et al.Engaging with（Big）Data Visualizations：Factors that Affect Engagement and Resulting New Definitions of Effectiveness[J].First Monday，2016，21（11）.

[27]Shneiderman B，Plaisant C.Strategies for Evaluating Information Visualization Tools：Multi-dimensional In-depth Long-term Case Studies[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-7.

[28]Isenberg P，Zuk T，Collins C，et al.Grounded Evaluation of Information Visualizations[C]//Proceedings of the 2008 Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2008：6.

[29]Andrews K.Evaluating Information Visualisations[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-5.

[30]Latorre Postigo J M，Hernández-Viadel J V，Trives J J R.Efficacy of a Group Memory Training Method for Older Adults Based on Visualization and Association Techniques：A Randomized，Controlled Trial With a Placebo Group[J].Applied Cognitive Psychology，2010，24（7）：956-968.

[45]Ghorbel F，Ellouze N，Métais E，et al.MEMO GRAPH：An Ontology Visualization Tool for Everyone[J].Procedia Computer Science，2016，96：265-274.

[46]Chen C，Yu Y U E.Empirical Studies of Information Visualization：A Meta-analysis[J].International Journal of Human-Computer Studies，2000，53（5）：851-866.

[47]Mackinlay J D.Automating the Design of Graphical Presentations of Relational Information[J].ACM Trans.Graphics，1986，5（2）：110-141.

[48]Halim Z，Muhammad T.Quantifying and Optimizing Visualization：An Evolutionary Computing-based Approach[J].Information Sciences，2017，385-386：284-313.

[49]Jansen Y，Dragicevic P，F(xiàn)ekete J D.Evaluating the Efficiency of Physical Visualizations[C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.ACM，2013：2593-2602.

[50]Yammine K，Violato C.A Meta-analysis of the Educational Effectiveness of Three-dimensional Visualization Technologies in Teaching Anatomy[J].Anatomical Sciences Education，2015，8（6）：525-538.

[51]章明.視覺認(rèn)知心理學(xué)[M].上海：華東師范大學(xué)出版社，1991.

[52]North C.Toward Measuring Visualization Insight[J].IEEE Comput Graph Appl，2006，26（3）：6-9.

[53]Tang C，Carpendale S.An Observational Study on Information Flow During Nurses Shift Change[C]//In Proceedings of the ACM Conference on Human Factors in Computing Systems（CHI），Pages 219-228，New York，USA，2007.ACM.

[54]宋曉蕾.視覺表象的產(chǎn)生與訓(xùn)練：一個(gè)整合的視角[M].北京：科學(xué)出版社，2015.

[55]Brünken R，Plass J L，Leutner D.Direct Measurement of Cognitive Load in Multimedia Learning[J].Educational Psychologist，2003，38（1）：53-61.

[56]Brath，Richard.Concept Demonstration：Metrics For Effective Information Visualization[C]//In Proceedings For IEEE Symposium On Information Visualization，pages 108-111.IEEE Service Center，Phoenix，AZ，Oct 20-21，1997.

[57]Lam H，Bertini E，Isenberg P，et al.Empirical Studies in Information Visualization：Seven Scenarios[J].Ieee Transactions on Visualization and Computer Graphics，2012，18（9）：1520-1536.

[58]McIntire J P，Liggett K K.The（Possible）Utility of Stereoscopic 3D Displays for Information Visualization：The Good，the Bad，and the Ugly[C]//3DVis（3DVis），2014 IEEE VIS International Workshop on.IEEE，2014：1-9.

[59]Kamal A，Cui F，Shankar G，et al.Teaching Data Structures：Effectiveness of Visualization and Textbook methods[EB/OL].http：//people.cs.vt.edu/～north/infoviz/dseval.doc，2017-08-02.

[60]Grinstein G，Kobsa A，Plaisant C，et al.Which Comes First，Usability or Utility？[C]//14th IEEE Visualization（VIZ03）.Seattle，WA.IEEE Computer Society，2003.

[61]Bernard J，Daberkow D，F(xiàn)ellner D，et al.VisInfo：A Digital Library System for Time Series Research Data Based on Exploratory Search—A User-centered Design Approach[J].International Journal on Digital Libraries，2015，16（1）：37-59.

[62]Freitas C M D S，Luzzardi P R，Cava R A，et al.Evaluating Usability of Information Visualization Techniques[J].2002.

[63]Bertini E，Santucci G.Visual Quality Metrics[C]//Proceedings of the 2006 AVI Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-5.

[64]Shneiderman B.The Eyes Have It：A Task By Data Type Taxonomy for Information Visualizations[C]//Visual Languages，1996.Proceedings.，IEEE Symposium on.IEEE，1996：336-343.

[65]Parsons P，Sedig K.Adjustable Properties of Visual Representations：Improving the Quality of Human-information Interaction[J].Journal of the Association for Information Science and Technology，2014，65（3）：455-482.

[66]Andrienko G，Andrienko N，Demsar U，et al.Space，Time and Visual Analytics[J].International Journal of Geographical Information Science，2010，24（10）：1577-1600.

[67]Edsall R M，Kraak M J，MacEachren A M，et al.Assessing the Effectiveness of Temporal Legends in Environmental Visualization[C]//GIS/LIS.1997，97：28-30.

[68]Bartram L.Can Motion Increase User Interface Bandwidth？[C]//Proceedings of 1997 IEEE Conference on Systems，Man and Cybernetics，1997.

[69]Birkhoff G.Aesthetic Measure[M].Cambridge，Massachusetts，Harvard University Press，1933.

[70]Dasgupta A，Chen M，Kosara R.Measuring Privacy and Utility in Privacy-Preserving Visualization[C]//Computer Graphics Forum，2013，32（8）：35-47.

[71]權(quán)國龍.CSK可視化知識(shí)表征設(shè)計(jì)、應(yīng)用及效用分析[D].上海：華東師范大學(xué)，2017.

[72]蔡慧英.語義圖示工具支持的協(xié)作問題解決學(xué)習(xí)的研究[D].上海：華東師范大學(xué)，2016.

（責(zé)任編輯：陳?媛）