張慧軍，陳俊杰，張小龍

利用問題求解理論來研究交互式復雜信息的可視分析行為

張慧軍1,2，陳俊杰1，張小龍3

(1. 太原理工大學信息與計算機學院，山西 晉中 030600；2.山西傳媒學院融媒技術學院，山西 晉中 030600；3. 賓夕法尼亞州立大學信息科學與技術學院，美國 賓夕法尼亞州 16802)

面對大數(shù)據(jù)的挑戰(zhàn)，力圖將人的推理能力和計算系統(tǒng)的數(shù)據(jù)處理能力相結合的交互式可視分析研究變得愈發(fā)重要。然而目前仍缺乏有效的認知理論來指導面向復雜信息的可視分析系統(tǒng)的設計，諸如意義構建等現(xiàn)有的理論框架通常著眼于分析行為的外在特征，未能對此類行為的內在認知機理進行深入研究。因此提出將問題求解作為一種理論框架來解釋交互可視分析行為的基本認知活動，并建議從非良構問題的角度來描述可視分析過程中用戶所面臨的主要挑戰(zhàn)，還從問題表征及問題求解策略等角度分析了可視分析系統(tǒng)對分析行為的影響。本研究在理論上，將認知心理學領域的問題求解理論引入到交互可視分析行為的研究中，該方法對設計面向復雜信息分析的其他類型交互系統(tǒng)也有啟示作用；在實踐層面上，從問題求解的支持角度探索了可視分析系統(tǒng)的設計和評估問題。

問題求解；可視分析；意義構建；問題表征；問題求解策略

人與復雜信息交互的過程中，面臨承載任務復雜、呈現(xiàn)信息量大、信息結構多樣等諸多挑戰(zhàn)，這些挑戰(zhàn)成為準確、快速、有效決策的巨大障礙。大數(shù)據(jù)的出現(xiàn)，更加劇了這方面的挑戰(zhàn)。為了應對這些挑戰(zhàn)并幫助人們有效地分析和處理紛繁復雜的數(shù)據(jù)，近年來學術界和工業(yè)界都逐漸開始重視面向復雜數(shù)據(jù)的交互可視分析系統(tǒng)的作用[1-2]。

如何更好地設計交互可視分析系統(tǒng)來支持人類復雜的信息分析行為是一個重要課題。ENDERT等[3]指出系統(tǒng)的設計思想需要從“人在分析環(huán)路”轉變?yōu)椤叭司褪欠治霏h(huán)路”，這一轉變更加強調人類分析推理能力在數(shù)據(jù)分析中的主導作用，而設計支持人類分析推理的可視分析系統(tǒng)，需要打開復雜認知活動的黑盒[4-6]。

交互式可視分析過程包含多種復雜認知活動，如意義構建、問題求解、學習等[7]。一些研究已經(jīng)逐漸認識到復雜認知活動的研究在該領域中的重要性，如PIROLLI和CARD[8]針對情報分析場景提出的意義構建瀑布模型，以及KLEIN等[9]提出的數(shù)據(jù)/幀意義構建模型，但其僅著眼于數(shù)據(jù)分析的外在行為特征，對底層的認知過程以及這些認知過程如何影響信息的操作和產(chǎn)生還缺乏深刻的分析。因此，利用這些模型指導相關系統(tǒng)的設計時，設計人員會面臨諸多困難，比如如何使設計的系統(tǒng)具有更好的可拓展性進而應用到更廣泛的領域中，如何有效地評估系統(tǒng)對復雜信息分析行為的影響等等。

人機交互研究的發(fā)展歷史告訴人們，可用性良好的交互系統(tǒng)其設計是建立在對用戶相關認知行為有深入了解的基礎之上。如得到廣泛應用的圖形用戶界面的成功，很大程度上得益于人類信息處理器(model human processor，MHP)[10]模型，其描述了人類在處理外部信息時的認知機制并給出了相關的參數(shù)范圍。

交互可視分析系統(tǒng)的設計也需要相應的基本認知理論。基于這一出發(fā)點，本研究探索能幫助解釋交互可視分析中復雜行為的基本認知理論框架。綜合認知心理學、人機交互、教育學等多學科的文獻調查，本文提出將問題求解作為一個理論框架來支持對可視分析復雜行為的研究。

引入問題求解理論框架對指導可視分析行為的研究具有諸多好處。首先在基本理論層面，與問題求解相關的豐富文獻可以更好地解釋復雜信息分析行為的組件和過程。即問題求解是問題求解者從問題的初始狀態(tài)出發(fā)，在問題求解策略的指導下，通過操縱一系列的算子最終到達目標狀態(tài)的過程。交互可視分析行為則是用戶從數(shù)據(jù)出發(fā)，根據(jù)一定的分析策略，通過使用可視化及數(shù)據(jù)處理工具等手段獲得新知識的過程。交互可視分析行為中涉及到的數(shù)據(jù)、可視化和數(shù)據(jù)處理工具、分析策略、新知識等主要組件可以分別映射到問題求解中的初始狀態(tài)、算子、求解策略、目標狀態(tài)等部件。在此基礎上，可以借鑒已有的相關問題求解理論來支持可視分析行為的研究。如分析人員在分析過程中面臨的很多困難(如數(shù)據(jù)不完備、分析目標不明確、分析工具不熟悉等)，都可以利用問題求解中的非良構問題理論進行建模。其次，問題求解理論既可以指導交互系統(tǒng)的設計實踐，也為交互系統(tǒng)的評估提供了一條新的思路。

1 相關研究

近年來，意義構建逐漸成為了一種解釋、支持可視分析系統(tǒng)設計的認知理論模型。本文提出問題求解可以超越意義構建，作為一種研究可視分析復雜行為的理論框架，研究主要包括意義構建和問題求解兩部分。

1.1 意義構建

文獻[8]提出的意義構建瀑布模型描述了用戶將原始數(shù)據(jù)轉化為數(shù)據(jù)洞察的分析過程。該模型將分析過程分為：信息覓食環(huán)路和意義構建環(huán)路2部分。同樣，文獻[9]的數(shù)據(jù)/幀模型也將焦點聚集在數(shù)據(jù)的意義構建上，將用戶對數(shù)據(jù)的理解描述為“幀”，通過與新的信息和發(fā)現(xiàn)進行不斷地比較來增強、修改或重建這些幀。與此不同，LEE等[11]使用“幀”來表示用戶對可視化工具的理解，并提出了新手用戶對可視化工具的意義構建過程。這些模型都在一定程度上解釋了用戶對復雜信息進行可視分析的過程。

意義構建對交互可視分析的指導作用表現(xiàn)在一些交互系統(tǒng)的設計和研究上。STASKO等[12]系統(tǒng)體現(xiàn)了對文獻[8]的意義構建模型中的主要分析環(huán)節(jié)的支持，而KODAGODA等[13]使用數(shù)據(jù)/幀模型[9]來研究用戶使用INVISQUE軟件的心理過程。WU等[14]基于意義構建理論，提出了移動式交互系統(tǒng)的設計指南以幫助用戶進行環(huán)境感知。SocialNetSense[15]通過自底向上的數(shù)據(jù)驅動和自頂向下的表示驅動來支持社交網(wǎng)絡的意義構建過程。

1.2 問題求解

1.2.1 問題及其分類

DUNKER和LEES[16]提出“當一個人有目標但不知道如何從當前狀態(tài)到達這個目標時便會產(chǎn)生問題?！庇纱丝芍瑔栴}包括初始狀態(tài)、目標狀態(tài)和障礙。障礙指中間狀態(tài)，是從問題的初始狀態(tài)到目標狀態(tài)的每個步驟。狀態(tài)的轉變必須依靠算子的使用。初始狀態(tài)、目標狀態(tài)和算子稱為問題的三要素。NEWELL和SIMON[17]使用術語“問題空間”來描述問題的一系列狀態(tài)(初始狀態(tài)、目標狀態(tài)、中間狀態(tài))，一系列算子及求解路徑(經(jīng)歷一些狀態(tài))的局部信息。問題求解是求解者從初始狀態(tài)出發(fā)，通過選擇和應用算子，克服障礙到達目標狀態(tài)的過程[18-19]。

問題根據(jù)特征差異，可分為良構問題和非良構問題。在良構問題中，初始狀態(tài)、目標狀態(tài)和允許的算子對問題求解者而言都是清楚明確的[20-21]，而非良構問題指問題的某些方面僅僅被含糊地表達出來，對問題求解者來說不是特別清楚[22-23]。

1.2.2 問題求解過程

問題求解過程包含問題表征、解決方案的形成和執(zhí)行等子過程。問題表征是問題求解者基于對問題的理解持續(xù)構建問題空間的過程。問題表征分為內部表征和外部表征。內部表征指心智模型[24]，如圖式[25]、幀[9]、語義網(wǎng)絡等。外部表征包含口頭表征、命題表征、圖表和圖形等，可視化便是一種外部表征形式。外部表征和內部表征共同作用促進了問題求解過程[26-27]，有研究表明外部的圖表表征在一定程度上指導、約束、甚至決定著問題求解的過程[28-29]。對于良構問題，問題表征的關鍵認知活動包括確定問題的初始狀態(tài)和目標狀態(tài)，確定問題的關鍵信息以及與現(xiàn)有圖式建立聯(lián)系；對于非良構問題，問題表征包括定義問題，搜索和選擇信息，以及形成正確的選擇。相關研究表明問題表征的質量直接決定了問題求解的效果[30]，所以從問題表征的支持角度研究交互可視分析系統(tǒng)有很強的指導意義。

用戶求解問題時，需要找到一條從初始狀態(tài)到目標狀態(tài)的路徑，即解決方案。解決方案的形成通常需要采用一定的求解策略。當用戶在表征問題時，有圖式可以激活，則可采用類比策略來求解。當在表征問題階段沒有激活特定圖式時，則需要一些其他問題求解策略。文獻[17]認為求解問題時，在所有狀態(tài)組成的巨大問題空間內尋找正確的解決方案需要大量的時間和精力。啟發(fā)式策略的使用使問題求解變得更簡單、高效。REISBERG[31]描述了2種最常使用的啟發(fā)式策略：爬山法和手段-目標分析法。爬山法指問題求解者總是試圖接近其目標，在必要時退后一步以實現(xiàn)目標，這可能是低效的。手段-目標分析是相對更有效的策略，該策略將目標或子目標與當前狀態(tài)進行比較，評估其間的差異，并選擇一種動作以減少差異，逐漸彌合信息狀態(tài)之間的差距。在這個過程中，問題會被分解成多個子問題。

綜上所述，意義構建模型在解釋可視分析過程及指導系統(tǒng)的設計和研究上取得了一定進展，但只解釋了用戶做什么，而對用戶活動背后的認知機理及原因缺乏必要的解釋，如用戶為什么這么做，是什么促使了用戶進一步分析，為什么用戶在算法和可視化之間來回切換等。針對以上不足，本文提出將問題求解作為研究交互可視分析行為的理論框架。問題求解從全局系統(tǒng)的角度來看待可視分析行為?？傊瑔栴}求解可以從問題的定義、表征、求解策略等方面對交互可視分析組件及過程進行全面的關注。此外，問題求解框架下的每一個子活動都具有明確的目的性，這使其適合為交互可視分析行為建立更為精準的理論框架。

2 問題求解框架為交互可視分析行為建模

問題求解理論框架可以為交互可視分析過程建模，在該框架下，交互可視分析過程被視為問題求解的過程，同時可視分析過程中存在的諸多挑戰(zhàn)也可以使用問題求解框架下的非良構問題來解釋。

2.1 交互可視分析過程是問題求解的過程

交互可視分析的過程可以看成是用戶使用可視分析系統(tǒng)進行問題求解的過程。從問題求解的角度看待交互可視分析行為，首先需要將問題的各個要素與交互可視分析中的相關組件進行對應。交互可視分析的初始狀態(tài)是原始數(shù)據(jù)，目標狀態(tài)是獲得知識或建立關于數(shù)據(jù)的模型[32]。原始數(shù)據(jù)和知識(或模型)之間有一定的差距，其很難直接通過用戶思維來彌補。交互可視分析系統(tǒng)致力于利用外部信息工具(external artifacts)來幫助用戶求解問題[33]?？梢暦治鲋械慕换ナ娇梢暬蛿?shù)據(jù)處理算法都是有效地分析數(shù)據(jù)的外部化手段。從問題求解的角度來看，這2種不同的算子，可幫助用戶從問題的初始狀態(tài)(數(shù)據(jù))逐步操作經(jīng)過一系列中間狀態(tài)最終到達目標狀態(tài)(獲得知識或建立模型)。

2.2 非良構問題解釋交互可視分析行為中的挑戰(zhàn)

問題可以分為良構問題和非良構問題，而可視分析所解決的問題通常是非良構的?？梢暦治鲋械囊恍┨魬?zhàn)均可從非良構問題的角度進行解釋。交互可視分析的挑戰(zhàn)來自以下方面：

(1) 數(shù)據(jù)。數(shù)據(jù)經(jīng)常面臨數(shù)據(jù)量大、有冗余、多源異構、不完整、不一致和不確定性等多方面的挑戰(zhàn)，這是問題的初始狀態(tài)不明確。

(2) 分析工具。用戶由于對可視化工具不熟悉，對數(shù)據(jù)處理算法相關的基本概念、工作原理和規(guī)則比較模糊，不能靈活運用其求解相關問題，不知道如何選擇和啟動算法，不知道該如何設置和評估算法的結果，也不知道分析要經(jīng)過哪些步驟，這些是用戶對算子缺乏先驗知識、對算子的限制條件不熟悉以及對問題求解路徑不明確所致。

(3) 分析任務。有時任務表述比較含糊，如“找出數(shù)據(jù)之間的關系”這個任務，用戶不知道最后找出的關系應該是什么樣的，這是對問題的目標狀態(tài)定義不明確。

針對上述挑戰(zhàn)，設計師應該考慮：哪種設計能夠更好地幫助用戶了解問題的各個狀態(tài)；如何為用戶提供求解問題的線索；算法和可視化如何結合才能夠應對用戶對算子不熟悉的挑戰(zhàn)。

3 問題求解框架與可視分析系統(tǒng)的設計及評估

交互可視分析的過程實質是問題求解的過程。設計支持問題求解的交互系統(tǒng)可以更有效地促進復雜的可視分析行為。同時，這也提供了一條從問題求解的支持角度來評估交互系統(tǒng)的新思路。

3.1 可視分析系統(tǒng)可以支持問題求解的理論基礎

分布式認知[34]和心智模型[24]是可視分析系統(tǒng)支持問題求解過程的理論基礎。傳統(tǒng)的認知研究認為認知存在于人的大腦中，而分布式認知在用戶和外部信息工具(artifact)之間分配，可以將知識委托給外部信息工具，從而減少存儲在記憶中信息量，進而減少認知負擔。交互可視分析系統(tǒng)便是一種外部認知工具[35]，其致力于外部認知[33]，利用可視化外部表征和交互設計來增強大腦的認知能力。用戶在使用交互可視分析系統(tǒng)進行數(shù)據(jù)分析時，大腦內部的心智模型和外部的可視分析系統(tǒng)相互作用。LIU和STASKO[36]指出可視分析場景下心智模型的含義以及與外部可視化之間的關系。

3.2 問題求解理論對系統(tǒng)設計的指導意義

合理的交互系統(tǒng)設計應該支持問題求解的過程。本節(jié)從問題表征和求解策略的支持角度來討論交互可視分析系統(tǒng)的設計工作。從問題表征支持角度，設計師可以確定需要顯示哪些信息及信息之間的關系。從問題策略支持角度，設計師可以確定需要設計哪些任務及任務之間的關系。這里需要說明的是：用戶表征問題和使用問題求解策略并不是簡單的順序過程。通常用戶在分析問題之初，對問題的理解并不深刻，用戶能夠建立的問題空間也是粗粒度的，隨著問題求解過程的執(zhí)行，用戶內在的問題空間逐漸變得更為精確。同理，交互可視分析系統(tǒng)的設計也可以遵循該過程，先設計一個粗略的、初始的系統(tǒng)原型，幫助用戶建立粗粒度的問題空間，在問題求解策略的支持階段逐漸完善該設計。

3.2.1 問題表征與系統(tǒng)原型設計

用戶在使用交互可視分析系統(tǒng)進行復雜信息分析時，問題表征是指用戶對數(shù)據(jù)(初始狀態(tài))、需要獲得的知識或構建的模型(目標狀態(tài))、交互式可視化和數(shù)據(jù)處理算法(算子)以及問題求解過程中各個中間狀態(tài)的理解。交互可視分析系統(tǒng)是一種問題的外部表征形式，用戶不僅需要通過使用交互系統(tǒng)對問題的每個單獨的要素進行意義構建，而且需要理清其之間的關系，形成一個整體的、結構化的心智模型。

設計師針對一個問題，可以先確定問題的每一個狀態(tài)，然后通過可視化表征外化這些狀態(tài)，以幫助用戶理解和識別。一些交互的設計(如視圖鏈接和聯(lián)動等)更是驅動了問題求解過程中問題狀態(tài)的變化，幫助用戶理解各個狀態(tài)之間的關系。如在關聯(lián)規(guī)則可視分析中，系統(tǒng)可以為用戶提供原始數(shù)據(jù)(初始狀態(tài))、頻繁項集(中間狀態(tài))以及關聯(lián)規(guī)則(目標狀態(tài))的可視化視圖，并通過這些視圖之間的鏈接和聯(lián)動等，幫助用戶理解這些狀態(tài)之間的關系，方便用戶進一步分析。

設計師在原型設計中，還應結合問題本身的特點和用戶的先驗知識，為用戶提供合適的算子?？梢暦治鰡栴}中有2類算子：交互式可視化和數(shù)據(jù)處理算法。這2類算子以不同的方法來促進問題狀態(tài)的改變，但兩者各有優(yōu)缺點。可視化中的交互工具相對容易理解，用戶通過短時間的熟悉或簡單的培訓能夠獲得操縱算子的知識，促進問題狀態(tài)的變化，可視化表征更是將每一步的問題狀態(tài)表示成容易理解的圖形，但其缺乏強大的計算能力。數(shù)據(jù)處理算法通過數(shù)據(jù)預處理、數(shù)據(jù)參數(shù)設置、數(shù)據(jù)模型建立、數(shù)據(jù)模型評估等算子實現(xiàn)了問題狀態(tài)的變化，擁有強大的計算能力，但是由于黑盒性質，普通用戶對算子的陳述性知識(算法涉及的相關概念和中間狀態(tài)等)和程序性知識(如何啟動算法、算法的運行原理等)都比較缺乏。面向復雜數(shù)據(jù)的可視分析將交互式可視化和數(shù)據(jù)處理算法兩者有機結合起來實現(xiàn)更高效的分析[37]。在設計系統(tǒng)時，交互式可視化和數(shù)據(jù)處理算法的結合，既要考慮問題本身的特點，還要考慮怎樣結合才能更方便用戶對算子的理解和使用。

3.2.2 問題求解策略與系統(tǒng)的進一步完善

對于復雜的問題，特別是非良構問題，用戶很難直接找到合適的問題求解方案，交互可視分析系統(tǒng)應該支持和引導用戶使用啟發(fā)式的策略來求解問題[38]。

問題本身的性質影響求解策略的使用。對于非良構問題，問題的初始狀態(tài)、目標狀態(tài)、算子的限制表述比較模糊，用戶很大程度上采用低效的試錯策略來求解問題。設計人員在設計交互系統(tǒng)時，應該考慮如何幫助用戶定義問題，使問題更加明晰，以減少試錯策略的使用。如在交互系統(tǒng)的設計中對關鍵線索和信息進行突出顯示。

交互可視分析系統(tǒng)的內部邏輯實質上反映了一種內在的問題求解策略。這種問題求解策略與設計師組織任務的方式相關。如果系統(tǒng)對任務的組織是從目標自頂而下逐層分解的，該系統(tǒng)多是引導用戶采用了手段-目標分析策略來求解問題。如在交通事故數(shù)據(jù)分析中，系統(tǒng)可以通過任務組織將整個問題分解為分別調查不同因素和致命事故之間的關系，進而引導用戶采用手段-目標分析策略求解。如果系統(tǒng)對任務的組織是循環(huán)迭代的，那么系統(tǒng)在引導用戶采用爬山策略解決問題。如很多系統(tǒng)對算法參數(shù)調整的支持，需要用戶比較每次調整后的效果。對于復雜的問題，系統(tǒng)需要引導用戶采用多種策略來求解問題。除此之外，交互可視分析系統(tǒng)還可以通過合理的設計將復雜的任務轉換為容易完成的視覺模式識別任務。

綜上所述，設計人員在進一步設計系統(tǒng)時，可以結合問題的特點，通過合理地設計和組織任務，來引導用戶使用有效的策略求解問題。

3.3 問題求解理論為系統(tǒng)評估提供新思路

認知心理學使用實驗的方法來研究問題求解的活動[39-42]，基于實驗方法，本文從可視分析系統(tǒng)對問題表征和求解策略的支持角度來探討系統(tǒng)的評估技術。

3.3.1 問題表征視角的評估

成功求解問題的前提是合適的問題表征，通過衡量交互可視分析系統(tǒng)對問題表征的支持程度可以評估系統(tǒng)的作用。用戶在與可視分析系統(tǒng)交互時，對問題表征的過程實質上是不斷地構建與操縱心智模型的過程。評估心智模型的狀態(tài)和構建過程，可以讓研究人員深入了解用戶如何構建關于工具、數(shù)據(jù)、算法和任務的知識，這為交互可視分析系統(tǒng)的評估帶來了新的視角。

心智模型與問題求解方案的質量密切相關[30]。如果對于一個問題只產(chǎn)生一些零碎的、沒有整合所有可用信息的心智模型，或是對問題只停留到淺層的理解，通常難以解決問題。具有正確性、完整性、連貫性的問題表征才能幫助用戶正確有效地解決問題。這也是專家處理復雜問題時比新手速度快而且準確的原因。LARKIN等[43]將問題表征分為低層次和高層次表征。低層次表征主要是指對問題的字面理解、對問題表面特征的提取與加工，其容易受表面的誤導信息的影響，使問題求解過程發(fā)生錯誤。高層次表征以問題的內部結構特征為主，求解問題的過程更高效。問題表征的層次與用戶的知識量和知識結構直接相關，所以對可視分析系統(tǒng)的評估可以從系統(tǒng)對用戶知識變化影響的角度來衡量。知識的變化可以從7個維度來刻畫：更大的容量、更密集的聯(lián)系、增長的一致性、表征的精煉、更大的復雜性、更高層次的抽象性及轉變的視角[44]。MAYR等[45]提出了在交互可視化中用于評估心智模型的相關屬性，包含內容(content)、結構(structure)、一致性(coherence)、視角(perspectivity)、一般性(generalizability)和實用性(utility)等，這些屬性可以更全面地衡量問題表征的質量。

交互可視分析系統(tǒng)的評估既可以關注用戶使用系統(tǒng)前后的心智模型的差異，也可以關注心智模型構建和變化的動態(tài)過程。文獻[45]總結了在可視分析上下文中評估心智模型的多種技術，有些是評估心智模型現(xiàn)狀的(如訪談法、排序技術、推理流技術、成對比較法、凱利方格法、草圖技術、概念圖)，有些是衡量心智模型構建和變化過程的(如非反應方法、有聲思維)，評估者可以針對上述準則選用不同的評估技術。

3.3.2 問題求解策略視角的評估

交互可視分析系統(tǒng)對問題求解策略的支持作用可以看成是系統(tǒng)評估的另一個重要標準。當前對交互可視分析系統(tǒng)的評估主要集中在對結果的評估(例如記錄和量化用戶獲得的洞察)或者是通過案例分析來展示系統(tǒng)的功能。用戶與可視分析系統(tǒng)的復雜交互過程實質上反映了用戶形成和執(zhí)行求解方案的過程，其過程會使用一些問題求解策略，如：手段-目的分析法、爬山法和類比法。文獻[45]指出問題求解策略的研究可以為改進交互可視分析系統(tǒng)提供有用的見解。研究人員逐漸開始關注用戶使用交互可視分析系統(tǒng)求解問題的過程，如一些研究通過記錄和分析用戶的交互事件來構建用戶與系統(tǒng)的交互模型[46-47]。這種分析交互日志的方法只能從分析用戶行為上逆推用戶內在的求解策略，并不能直接反應交互背后的思維過程。在心理學和人機交互領域，有聲思維(think aloud)方法的使用可以很大程度上獲得用戶的復雜認知活動。在有聲思維研究中，被試在完成實驗任務的過程中，盡可能將大腦中的思維活動用言語表達出來，而研究人員使用錄像及錄音設備進行記錄，并將被試所說的話謄寫為書面文本進行分析。然而，用戶內在的求解策略和外在的交互事件，這兩者之間的轉換發(fā)生在什么地方，依然是評估的一個難點。REDA等[48]認識到該問題的重要性，使用心理狀態(tài)和交互狀態(tài)之間的轉換圖來表示用戶在可視化探索過程中的求解策略及轉換。為了捕捉和分析用戶的求解策略，可以采用以下2個步驟：①從言語報告(verbal protocol)中識別和編碼相關的認知過程，并從日志文件和視頻記錄中找到用戶發(fā)起的交互。②使用轉換圖(state transition diagram)分析心理狀態(tài)和交互狀態(tài)之間的流動。在這個過程中可以從言語報告中的心理過程和來自于視頻記錄和日志的交互事件組合成一個序列。從中分析交互狀態(tài)和心理狀態(tài)之間的轉換模式。這種評估方法不僅可以探索不同的系統(tǒng)設計對求解策略的影響，還可探索不同層次的用戶在使用同一系統(tǒng)時的差別。

4 可視分析系統(tǒng)設計案例

本節(jié)以交通事故數(shù)據(jù)關聯(lián)可視分析系統(tǒng)為例介紹問題求解理論對系統(tǒng)設計的指導作用。

4.1 背景

該系統(tǒng)目標是將交互式可視化與動態(tài)關聯(lián)規(guī)則算法結合起來分析致命交通事故與各因素之間的關聯(lián)關系。本案例數(shù)據(jù)來自于美國公路安全管理局事故分析報告系統(tǒng)[49]，為2011年發(fā)生的72 591起車禍事故記錄，每條記錄都包含：駕駛員的年齡、性別、酒精測試結果、道路狀況、碰撞日期、傷害程度等多個屬性。

4.2 設計過程

問題求解理論指導下的可視分析系統(tǒng)設計過程包括問題定義、問題表征與系統(tǒng)原型設計、問題求解策略與系統(tǒng)的進一步完善等3個步驟。需要說明的是問題求解理論的指導作用更多地體現(xiàn)在了高層次的設計過程上，所以本節(jié)對視圖的選擇、布局等具體細節(jié)不做過多討論。

4.2.1 問題定義

在問題定義中，首先需要確定問題3要素。問題的初始狀態(tài)為交通事故數(shù)據(jù)；目標狀態(tài)是建立致命交通事故數(shù)據(jù)與其他因素之間的動態(tài)關聯(lián)關系模型；算子包括交互式可視化和動態(tài)關聯(lián)規(guī)則算法2種。

為了設計出與用戶先驗知識及問題相匹配的系統(tǒng)，需調查用戶對數(shù)據(jù)(初始狀態(tài))、動態(tài)關聯(lián)規(guī)則算法(算子)以及分析目標(目標狀態(tài))的了解程度。系統(tǒng)的目標用戶是交通領域的專家，調查結果表明用戶對數(shù)據(jù)比較熟悉，但是對動態(tài)關聯(lián)規(guī)則算法缺乏了解，不理解算法的相關概念、運行原理等。同時，也不知道分析結果，分析應該從哪里開始，要經(jīng)過那些步驟。由此可知，這是一個非良構問題，需要通過合理的可視化設計將非良構問題轉化為良構問題。

4.2.2 問題表征與系統(tǒng)原型設計

問題表征是用戶構建問題空間的過程，可視分析系統(tǒng)通過問題求解狀態(tài)以及狀態(tài)之間的可視化來幫助用戶表征問題。如圖1所示，左側的算子為數(shù)據(jù)處理算法，原始數(shù)據(jù)(初始狀態(tài))經(jīng)過頻繁項集挖掘算子生成頻繁項集(中間狀態(tài))。頻繁項集通過規(guī)則生成算子生成了動態(tài)關聯(lián)規(guī)則(目標狀態(tài))。右側的算子為交互式可視化，其中點圖幫助用戶理解動態(tài)關聯(lián)規(guī)則，柱狀圖幫助用戶理解頻繁項集，日歷熱圖幫助用戶理解規(guī)則數(shù)據(jù)。3個視圖之間的鏈接和交互，可幫助用戶理解3種狀態(tài)之間的關系。點圖(圖2(b))被設計為表格形式，每行都表示一條動態(tài)規(guī)則，最左列的文本描述了規(guī)則的含義，其他列用于顯示時間區(qū)域。每條規(guī)則被可視化為一個圓點。點的大小和顏色飽和度分別表示規(guī)則的支持度和置信度值。柱狀圖(圖2(c))用于分析規(guī)則對應的頻繁項集，藍色柱表示數(shù)據(jù)項，紫色柱表現(xiàn)項集，柱的高度由其表示的數(shù)據(jù)項或項集的支持度來確定。日歷熱圖(圖2(d))可幫助用戶查看與規(guī)則相關的數(shù)據(jù)是如何分布的。

圖1 可視分析系統(tǒng)的原型設計

4.2.3 問題求解策略與系統(tǒng)的進一步完善

可視分析系統(tǒng)通過任務的設計與組織引導用戶使用一定的策略來求解問題。本系統(tǒng)根據(jù)用戶及問題的特點支持手段-目標求解策略。手段-目標策略需要將問題的目標進行分解，通過子目標的實現(xiàn)逐漸減少當前狀態(tài)與總目標的差距，最后問題得以解決。

圖2 可視分析系統(tǒng)的主界面((a) 規(guī)則概覽圖顯示所有的規(guī)則以及其包含的數(shù)據(jù)項；(b) 動態(tài)規(guī)則視圖支持規(guī)則探索； (c) 項集視圖用于分析規(guī)則對應的數(shù)據(jù)項及頻繁項集；(d) 規(guī)則數(shù)據(jù)視圖用于查看規(guī)則數(shù)據(jù)分布；(e) 規(guī)則收集視圖用于保存有用的規(guī)則)

本系統(tǒng)的總目標是建立致命交通事故與各因素之間的關聯(lián)關系模型，如圖3所示，本文采用自頂向下目標分解的方法，將總目標劃分為調查酒精、性別及年齡因素等多個任務。用戶在實現(xiàn)每個任務的過程中，需要完成子任務。如調查酒精因素需要分別檢查包含數(shù)據(jù)項Alc1(酒精測試結果為陽性)和Alc0 (酒精測試結果為陰性)的規(guī)則，接著用戶需要查找感興趣的模式，但由于用戶對算法的先驗知識缺乏，難以理解規(guī)則，這些任務還需要繼續(xù)向下分解為理解和檢測規(guī)則對應的項集和數(shù)據(jù)分布等任務。

可視分析系統(tǒng)對目標分解空間的支持，可以促進用戶采用手段-目標策略來求解問題。規(guī)則概覽圖中矩陣視圖(圖2(a))引導用戶將總目標分解為分別調查各個因素的任務。執(zhí)行圖3所示的每個任務會產(chǎn)生了新的問題狀態(tài)，并將中間狀態(tài)進行可視化，以幫助用戶建立更細粒度的問題空間。目標分解空間內的任務是相互依賴的，這種依賴關系在可視化設計中可以通過多視圖協(xié)調關系來體現(xiàn)，如理解規(guī)則、支持度和置信度等含義，理解規(guī)則對應的項集，檢測規(guī)則對應的數(shù)據(jù)分布，這3個任務是相互依賴的，在可視設計中實質就是點圖、柱狀圖和日歷熱圖這3個視圖之間的鏈接和刷新。此外，通過可視化設計還可以將子任務的結果整合起來，方便用戶對分析進度進行把控和跟蹤，如規(guī)則收集視圖可以保存感興趣的規(guī)則。

圖3 目標分解空間

5 討 論

5.1 問題求解框架與現(xiàn)有的可視分析模型的關系

研究問題求解框架與現(xiàn)有模型之間的關系，有助于進一步明確本文的研究工作在可視分析理論中的位置和作用。

CARD等[50]用信息可視化參考模型描述了將原始數(shù)據(jù)映射為視圖的過程。從問題求解的角度來看，這是從問題的初始狀態(tài)(原始數(shù)據(jù))經(jīng)過可視化相關的算子(轉換/映射)來獲得問題外部表征(視圖)的過程。模型中的原始數(shù)據(jù)、數(shù)據(jù)表、可視化結構與視圖，這些組件都是問題的狀態(tài)。

知識發(fā)現(xiàn)模型[51]描述了數(shù)據(jù)通過數(shù)據(jù)挖掘的技術轉換為知識或模型的過程。從問題求解的角度來看，這是從問題的初始狀態(tài)(數(shù)據(jù))經(jīng)過操作一系列與算法相關的算子到達問題目標狀態(tài)(獲得知識或建立模型)的過程。

文獻[5]提出的人類認知模型專注于人與計算機在信息發(fā)現(xiàn)和知識創(chuàng)造與擴展方面的任務分配與合作。從問題求解的角度看，這正是2種類型的算子(交互式可視化和算法)在用戶求解問題的過程中來回切換的原因。

文獻[52]提出的過程模型包括4個組件：數(shù)據(jù)、模型、可視化和知識。在問題求解框架中其分別對應于初始狀態(tài)、算子和目標狀態(tài)。該模型中，可視化數(shù)據(jù)探索通路(從數(shù)據(jù)通過可視化轉變成知識)和自動數(shù)據(jù)分析通路(從數(shù)據(jù)通過模型轉化為知識)是使用2種不同算子求解問題的途徑。這2種算子還可以通過模型的可視化來進行關聯(lián)和切換。

SACHA等[53]提出了可視分析的知識產(chǎn)生模型。該模型包含計算機和人兩部分。計算機部分包含數(shù)據(jù)、可視化、模型組件，可幫助用戶進行問題表征(構建問題空間)。人的部分包含探索環(huán)路、驗證環(huán)路和知識產(chǎn)生環(huán)路。這3層環(huán)路實質上描述了用戶使用可視分析系統(tǒng)進行問題求解的過程。探索環(huán)路中的動作是執(zhí)行問題求解方案的過程。驗證環(huán)路中產(chǎn)生的猜測幫助用戶形成問題求解方案。在知識循環(huán)中，已被驗證的猜測總結為知識，問題得以解決。

綜上，問題求解框架不僅能夠很好地解釋和兼容可視分析中一些常用模型，而且從整體性和系統(tǒng)性的角度對可視分析的組件及相關過程進行了更精確地描述。

5.2 問題求解框架的局限性

問題求解框架雖然在解釋交互可視分析行為、指導交互系統(tǒng)的設計與評估上具有優(yōu)勢，但其仍存在局限性。首先，問題求解框架從高層次的設計過程上考慮交互系統(tǒng)的設計問題，其并不關注于顏色選擇、組件空間布局等設計細節(jié)。此外，問題求解理論框架如何更好地支持和指導人類復雜的信息分析行為仍然需要更多的理論和實證研究。

6 結束語

本文提出了將問題求解作為解釋交互可視分析行為的理論框架，力圖從分析行為的基本認知機理層面來探索針對不同任務的分析行為的基本特征，并探討了其對交互可視分析系統(tǒng)設計的指導意義，同時也為交互系統(tǒng)的評估提供了新的視角和思路。

本文工作后續(xù)可以從2個方面進行擴展。①開展更多的應用研究，以便更詳細地驗證問題求解理論在交互可視分析系統(tǒng)以及其他交互系統(tǒng)中的效用。②從問題表征和策略支持的角度對交互可視分析系統(tǒng)進行實證評估。

[1] ELLIS G, MANSMANN F. Mastering the information age solving problems with visual analytics[M]. Goslar: Eurographics Association, 2010: 5.

[2] KOHLHAMMER J, KEIM D, POHL M, et al. Solving problems with visual analytics[J]. Procedia Computer Science, 2011, 7: 117-120.

[3] ENDERT A, HOSSAIN M S, RAMAKRISHNAN N, et al. The human is the loop: new directions for visual analytics[J]. Journal of Intelligent Information Systems, 2014, 43(3): 411-435.

[4] GREEN T M, RIBARSKY W, FISHER B. Visual analytics for complex concepts using a human cognition model[C]//IEEE Symposium on Visual Analytics Science and Technology.New York: IEEE Press, 2008: 91-98.

[5] GREEN T M, RIBARSKY W, FISHER B. Building and applying a human cognition model for visual analytics[J]. Information Visualization, 2009, 8(1): 1-13.

[6] 張慧軍, 張小龍. 可視分析中的復雜認知活動研究[J]. 計算機輔助設計與圖形學學報, 2018, 30(1): 57-67. ZHANG H J, ZHANG X L. Complex cognitive activity in visual analytic[J]. Journal of Computer-aided Design and Computer Graphics, 2018, 30(1): 57-67 (in Chinese).

[7] SEDIG K, UNIVERSITY W, PARSONS P, et al. Interaction design for complex cognitive activities with visual representations: a pattern-based approach[J]. AIS Transactions on Human-Computer Interaction, 2013, 5(2): 84-133.

[8] PIROLLI P, CARD S. The sensemaking process and leverage points for analyst technology as identified through cognitive task analysis[J]. Proceedings of International Conference on Intelligence Analysis, 2005, 2005: 2-4.

[9] KLEIN G, MOON B, HOFFMAN R R. Making sense of sensemaking 2: a macrocognitive model[J]. IEEE Intelligent Systems, 2006, 21(5): 88-92.

[10] CARD S K. The psychology of human-computer interaction[M]. Hillsdale: CRC Press, 2018: 220-225.

[11] LEE S, KIM S H, HUNG Y H, et al. How do people make sense of unfamiliar visualizations?: a grounded model of novice’s information visualization sensemaking[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(1): 499-508.

[12] STASKO J, G?RG C, LIU Z C. Jigsaw: supporting investigative analysis through interactive visualization[J]. Information Visualization, 2008, 7(2): 118-132.

[13] KODAGODA N, ATTFIELD S, WONG B L W, et al. Using interactive visual reasoning to support sense-making: implications for design[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(12): 2217-2226.

[14] WU A N, ZHANG X, CAI G. An interactive sensemaking framework for mobile visual analytics[C]//Proceedings of the 3rd International Symposium on Visual Information Communication - VINCE’10. New York: ACM Press, 2010: 22.

[15] GOU L, ZHANG X L, LUO A R, et al. SocialNetSense: supporting sensemaking of social and structural features in networks with interactive visualization[C]// 2012 IEEE Conference on Visual Analytics Science and Technology (VAST). New York: IEEE Press, 2012: 133-142.

[16] DUNCKER K, LEES L S. On problem-solving[J]. Psychological Monographs, 1945, 58(5): 1.

[17] NEWELL A, SIMON H A. Human problem solving[M]. New Jersey: Prentice-Hall, 1972: 56.

[18] ANDERSON J R. Problem solving and learning[J]. American Psychologist, 1993, 48(1): 35.

[19] MAYER R E, WITTROCK M C. Handbook of educational psychology[M]. London: Prentice Hall International, 1996: 47-62.

[20] GREENO J G. Natures of problem-solving abilities[J]. Human Information Processing, 2014, 5: 239.

[21] SIMON H A. Information-processing theory of human problem solving[J]. Handbook of Learning and Cognitive Processes, 1978, 5: 271-295.

[22] WOOD P K. Inquiring systems and problem structure: implications for cognitive development[J]. Human Development, 1983, 26(5): 249-265.

[23] HONG N S. The relationship between well-structured and ill-structured problem solving in multimedia simulation[D].State College: Pennsylvania State University, 1998.

[24] NORMAN D A. Some observations on mental models[M]. New Jersey: Lawrence Erlbaum Associates, 2014: 15-22.

[25] ERICSSON K A, LEHMANN A C. EXPERT AND EXCEPTIONAL PERFORMANCE: evidence of maximal adaptation to task constraints[J]. Annual Review of Psychology, 1996, 47(1): 273-305.

[26] KIRSH D. Thinking with external representations[J]. Ai & Society, 2010, 25(4): 441-454.

[27] HEGARTY M. The cognitive science of visual-spatial displays: implications for design[J]. Topics in Cognitive Science, 2011, 3(3): 446-474.

[28] CHAMBERS D, REISBERG D. Can mental images be ambiguous?[J]. Journal of Experimental Psychology: Human Perception and Performance, 1985, 11(3): 317-328.

[29] SUWA M, TVERSKY B. External representations contribute to the dynamic construction of ideas[M]// Diagrammatic Representation and Inference. Heidelberg: Springer, 2002: 341-343.

[30] MUMFORD M, HESTER K S, ROBLEDO I, et al. Mental models and creative problem-solving: the relationship of objective and subjective model attributes[J]. Creativity Research Journal, 2012, 24(4): 311-330.

[31] REISBERG D. Cognition: exploring the science of the mind[M]. New York: W. W. Norton & Company, 2010: 101-110.

[32] ANDRIENKO N, LAMMARSCH T, ANDRIENKO G, et al. Viewing visual analytics as model building[J]. Computer Graphics Forum, 2018, 37(6): 275-299.

[33] WARE C. Information visualization: perception for design[M]. Amsterdam: Elsevier, 2012: 222-233.

[34] HUTCHINS E. Cognition in the wild[M]. Cambridge: MIT Press, 1995: 98.

[35] LIU Z C, NERSESSIAN N, STASKO J. Distributed cognition as a theoretical framework for information visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2008, 14(6): 1173-1180.

[36] LIU Z C, STASKO J T. Mental models, visual reasoning and interaction in information visualization: a top-down perspective[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 999-1008.

[37] ENDERT A, RIBARSKY W, TURKAY C, et al. The state of the art in integrating machine learning into visual analytics[J]. Computer Graphics Forum, 2017, 36(8): 458-486.

[38] MAYR E, SMUC M, RISKU H. Many roads lead to Rome: mapping users’ problem-solving strategies[J]. Information Visualization, 2011, 10(3): 232-247.

[39] SIMON H A, HAYES J R. The understanding process: problem isomorphs[J]. Cognitive Psychology, 1976, 8(2): 165-190.

[40] HEGARTY-HAZEL E, PROSSER M. Relationship between students’ conceptual knowledge and study strategies-part 1: student learning in physics[J]. International Journal of Science Education, 1991, 13(3): 303-312.

[41] GICK M L, HOLYOAK K J. Analogical problem solving[J]. Cognitive Psychology, 1980, 12(3): 306-355.

[42] ERICSSON K A, SIMON H A. Thinking-aloud protocols as data[M]. Pittsburgh：Carnegie-Mellon University, Department of Psychology, 1979: 3-5.

[43] LARKIN J, MCDERMOTT J, SIMON D P, et al. Expert and novice performance in solving physics problems[J]. Science, 1980, 208(4450): 1335-1342.

[44] CHI M T H, OHLSSON S，The Cambridge handbook of thinking and reasoning[M]. New York: Cambridge University Press, 2005: 371-399.

[45] MAYR E, SCHREDER G, SMUC M, et al. Looking at the representations in our mind: measuring mental models of information visualizations[C]//Proceedings of the Beyond Time and Errors on Novel Evaluation Methods for Visualization - BELIV’16. New York: ACM Press, 2016: 96-103.

[46] LIU Z C, KERR B, DONTCHEVA M, et al. CoreFlow: extracting and visualizing branching patterns from event sequences[J]. Computer Graphics Forum, 2017, 36(3): 527-538.

[47] LIU Z C, WANG Y, DONTCHEVA M, et al. Patterns and sequences: interactive exploration of clickstreams to understand common visitor paths[J]. IEEE Transactions on Visualization and Computer Graphics, 2017, 23(1): 321-330.

[48] REDA K, JOHNSON A E, LEIGH J, et al. Evaluating user behavior and strategy during visual exploration[C]//Proceedings of the 5th Workshop on Beyond Time and Errors Novel Evaluation Methods for Visualization - BELIV’14. New York: ACM Press, 2014: 41-45.

[49] NHTSA. Fatality analysis reporting system[EB/OL]. (2019-06-20) [2020-01-14]. http://www.nhtsa.gov/FARS.

[50] CARD S K, MACKINLAY J D, SHNEIDERMAN B. Readings in information visualization: using vision to think[M]. San Francisco: Morgan Kaufmann, 1999: 189-193.

[51] FAYYAD U, PIATETSKY-SHAPIRO G, SMYTH P. From data mining to knowledge discovery in databases[J]. AI Magazine, 1996, 17(3): 37.

[52] KEIM D A, MANSMANN F, SCHNEIDEWIND J, et al. Visual analytics: scope and challenges[M]. Heidelberg: Springer Press, 2008: 76-90.

[53] SACHA D, STOFFEL A, STOFFEL F, et al. Knowledge generation model for visual analytics[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(12): 1604-1613.

Using problem-solving theories to investigate user behaviors in interactive visual analytics of complex information

ZHANG Hui-jun1,2, CHEN Jun-jie1, ZHANG Xiao-long3

(1. College of Information and Computer Science, Taiyuan University of Technology, Jinzhong Shanxi 030600, China; 2. College of Media Technology, Communication University of Shanxi, Jinzhong Shanxi 030600, China; 3. College of Information Sciences and Technology, Pennsylvania State University, University Park 16802, USA)

Recently, to address the challenges imposed by big data, research on interactive visualization and visual analytics, which is aimed at combining human intelligence and machine computational powers in data analysis, has become increasingly important. However, the design of complex-information-oriented interactive visualization and visual analytics systems still lacks effective cognitive foundations as a guidance. Existing frameworks or design guidelines, such as sense-making, focus largely on the external characteristics of analytical activities and offer little insight into fundamental cognition that underpins analytical behaviors. In this paper, we proposed a theoretical framework based on problem-solving theories to help explain the essential cognitive activities in interactive visual analytics, advocated an approach to understanding the visual analytics process as a process to solve ill-defined problems, and explored the impacts of problem representations and problem-solving strategies on visual analytics behaviors. We see our contribution as two-folded. Theoretically, we borrowed problem-solving theories from cognitive science to study complex interactive activities in visual analytics, and this approach may offer insight into the design of interactive systems involving complex information-analytical behaviors. Practically, we discussed the design and evaluation of visual analytics tools from the perspective of supporting problem-solving.

problem-solving; visual analytics; sense-making; problem representation; problem-solving strategy

TP 391

10.11996/JG.j.2095-302X.2020030325

A

2095-302X(2020)03-0325-10

2019-11-03；

2020-01-12

國家自然科學基金項目(61572344)

張慧軍(1985-)，女，山西太原人，講師，博士研究生。主要研究方向為可視分析。E-mail：zhanghuijun1985@126.com

張小龍(1969-)，男，山西太原人，教授，博士。主要研究方向為人機交互、可視分析等。E-mail：zxl_psu@foxmail.com