李曉軍　肖忠東　李　嘉

(1. 西安交通大學(xué)管理學(xué)院；2. 火箭軍工程大學(xué) 908教研室；3. 華東理工大學(xué)商學(xué)院)

?

基于案例的嵌入式信息系統(tǒng)可用性檢查列表的開(kāi)發(fā)研究

李曉軍1,2肖忠東1李嘉3

(1. 西安交通大學(xué)管理學(xué)院；2. 火箭軍工程大學(xué) 908教研室；3. 華東理工大學(xué)商學(xué)院)

摘要：結(jié)合系統(tǒng)設(shè)計(jì)和任務(wù)特征，面向軍事嵌入式信息系統(tǒng)可用性評(píng)估，提出了可用性檢查列表開(kāi)發(fā)方法，基于可用性問(wèn)題分類框架設(shè)計(jì)系統(tǒng)可用性評(píng)價(jià)要素結(jié)構(gòu)，建立面向軍事應(yīng)用的嵌入式信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則集合，在此基礎(chǔ)上對(duì)可用性檢查要素內(nèi)容與可用性評(píng)價(jià)準(zhǔn)則進(jìn)行匹配，開(kāi)發(fā)系統(tǒng)可用性檢查列表，并通過(guò)案例研究評(píng)估其績(jī)效。結(jié)果表明，同啟發(fā)式評(píng)價(jià)方法、普渡可用性檢查列表相比較，提出的可用性檢查列表同時(shí)具備滿意的完備性和效度特征，在軍事嵌入式信息系統(tǒng)可用性評(píng)價(jià)中具有比較優(yōu)勢(shì)，同時(shí)也間接驗(yàn)證了提出的可用性檢查列表開(kāi)發(fā)方法的理論支撐性和操作可行性，以及面向評(píng)價(jià)對(duì)象對(duì)應(yīng)的領(lǐng)域知識(shí)建立個(gè)性化可用性檢查列表開(kāi)展可用性評(píng)價(jià)的必要性和價(jià)值。

關(guān)鍵詞：人因工程； 可用性檢查列表； 案例研究； 嵌入式信息系統(tǒng)

嵌入式信息系統(tǒng)，如指揮信息系統(tǒng)、導(dǎo)彈測(cè)控系統(tǒng)等，是各級(jí)軍事人員實(shí)現(xiàn)戰(zhàn)場(chǎng)態(tài)勢(shì)感知的主要手段和工具，是軍事作戰(zhàn)能力生成的重要載體，其功能可通過(guò)“6R”集中概括，即在正確的時(shí)間、正確的地點(diǎn)傳遞正確的信息，以輔助正確的決策，實(shí)現(xiàn)傳遞正確的意圖和獲取正確的結(jié)果之目的。但同時(shí)，信息的實(shí)變性、不完整性和不確定性，有限的計(jì)算資源和通信帶寬，任務(wù)的關(guān)鍵性以及信息需求實(shí)時(shí)性等因素，對(duì)信息系統(tǒng)功能的有效發(fā)揮提出嚴(yán)峻挑戰(zhàn)[1]。在這樣的情形下，嵌入式信息系統(tǒng)的可用性，即系統(tǒng)在作戰(zhàn)和訓(xùn)練環(huán)境下被用戶操作時(shí)所具有的有效性、效率和主觀滿意度[2, 3]，顯得至關(guān)重要。高可用性的系統(tǒng)將有效降低用戶的工作負(fù)荷、防止人因失誤的發(fā)生、提高用戶的滿意度，并最終影響用戶對(duì)于信息系統(tǒng)的接受程度[4]。因此，在嵌入式信息系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)過(guò)程中，開(kāi)展“以用戶為中心設(shè)計(jì)”，提高人機(jī)界面的可用性水平日益得到關(guān)注和重視。

在嵌入式信息系統(tǒng)壽命周期的不同階段，實(shí)施可用性評(píng)價(jià)并發(fā)現(xiàn)、消除潛在的可用性問(wèn)題是提高系統(tǒng)可用性的關(guān)鍵環(huán)節(jié)。當(dāng)前，可用性評(píng)價(jià)方法主要包括自動(dòng)化方法、形式化方法、實(shí)證分析方法以及啟發(fā)式方法等[5]。其中，較之其他的評(píng)價(jià)技術(shù)，啟發(fā)式評(píng)價(jià)技術(shù)由于其具有的時(shí)間和成本優(yōu)勢(shì)，且容易掌握和操作，在系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)階段應(yīng)用廣泛。對(duì)于信息系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)者而言，啟發(fā)式評(píng)價(jià)方法中的可用性準(zhǔn)則通用性強(qiáng)，但也存在著與特定領(lǐng)域知識(shí)的結(jié)合還不夠緊密，同時(shí)實(shí)踐過(guò)程中評(píng)價(jià)結(jié)果的效度很大程度上依賴于評(píng)價(jià)人員的能力和經(jīng)驗(yàn)。因此，在可用性工程領(lǐng)域，以啟發(fā)式評(píng)價(jià)技術(shù)為基礎(chǔ)，衍生出了可用性檢查列表，其面向系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)人員，體現(xiàn)了領(lǐng)域知識(shí)特征，操作簡(jiǎn)便靈活，在可用性評(píng)價(jià)，尤其是在系統(tǒng)早期生命周期階段中的應(yīng)用具備比較優(yōu)勢(shì)。

在軍事應(yīng)用領(lǐng)域，一方面，面向作戰(zhàn)與訓(xùn)練使用情境的嵌入式信息系統(tǒng)可用性檢查列表研究文獻(xiàn)報(bào)道有限；另一方面，已開(kāi)發(fā)的檢查列表還不能完全適應(yīng)軍事嵌入式信息系統(tǒng)可用性評(píng)價(jià)，主要是由于可用性與產(chǎn)品設(shè)計(jì)的使用情境，諸如用戶、任務(wù)、環(huán)境等特征密切相關(guān)[6]，與其他信息系統(tǒng)相比較，軍事嵌入式信息系統(tǒng)具有組成結(jié)構(gòu)復(fù)雜(如控制輸入方式多樣、信息輸出界面集成度高、設(shè)計(jì)自毀裝置模塊等)、使用環(huán)境多變甚至惡劣、操作任務(wù)關(guān)鍵度高和時(shí)間壓力大等特點(diǎn)，其可用性特征更加強(qiáng)調(diào)面向態(tài)勢(shì)感知和保證人因可靠性[7]，而現(xiàn)有的可用性檢查列表則主要面向商業(yè)和個(gè)人應(yīng)用，如信息搜索、數(shù)據(jù)管理等，更加強(qiáng)調(diào)用戶主觀滿意度。基于上述分析，本研究面向設(shè)計(jì)和實(shí)現(xiàn)階段的可用性評(píng)價(jià)需求，以軍事嵌入式信息系統(tǒng)可用性評(píng)估為背景，建立系統(tǒng)的可用性評(píng)價(jià)要素結(jié)構(gòu)和評(píng)價(jià)準(zhǔn)則集合，提出可用性檢查列表開(kāi)發(fā)方法，并通過(guò)案例研究檢驗(yàn)和分析本研究提出方法的有效性，為嵌入式信息系統(tǒng)領(lǐng)域可用性工程實(shí)踐提供手段和工具。

1相關(guān)文獻(xiàn)綜述

由于研究目標(biāo)和具體研究情境的不同，可用性的定義很難統(tǒng)一，基本可分為一般可用性、情境可用性、感知可用性、享樂(lè)可用性、組織可用性和文化可用性等6個(gè)視角[8]。信息系統(tǒng)可用性不能夠直接測(cè)量，只有通過(guò)構(gòu)建可用性指標(biāo)結(jié)構(gòu)才能夠開(kāi)展可用性評(píng)價(jià)[9]，因此，在設(shè)計(jì)和實(shí)現(xiàn)過(guò)程中，諸如“界面友好”、“易用性高”等概括性的描述對(duì)于系統(tǒng)可用性問(wèn)題發(fā)現(xiàn)和評(píng)估、可用性評(píng)級(jí)的指導(dǎo)意義有限，開(kāi)發(fā)可操作性強(qiáng)、明確清晰且與領(lǐng)域知識(shí)高度切合的可用性評(píng)價(jià)工具顯得必要且極具價(jià)值。

1.1可用性問(wèn)題與可用性評(píng)價(jià)

可用性問(wèn)題是指信息系統(tǒng)具有的導(dǎo)致其可用性水平降低的特征[10]，可以從軟件工程和人機(jī)交互兩個(gè)視角對(duì)可用性問(wèn)題進(jìn)行分類[11]。其中，軟件工程視角的可用性問(wèn)題分類從開(kāi)發(fā)者角度描述可用性問(wèn)題的屬性，為系統(tǒng)優(yōu)化提供直接支持，如正交分類方案ODC(orthogonal defect classification)[12]、根原因分析RCA(root cause analysis)[13]及可用性問(wèn)題分類方案CUP(classification of usability problem scheme)[14]等；人機(jī)交互視角的可用性問(wèn)題分類，則更有助于從用戶認(rèn)知的角度理解可用性問(wèn)題發(fā)生的原因及類型，如可用性問(wèn)題分類UPT(usability problem taxonomy)[15]、用戶行動(dòng)框架UAF(user action framework)[16]以及基于循環(huán)交互的可用性問(wèn)題分類UPCCI(usability problems classification using cycle interaction)[17]等。潛在的可用性問(wèn)題會(huì)降低信息系統(tǒng)的操作效率，甚至?xí)?dǎo)致人因失誤的發(fā)生，例如，研究發(fā)現(xiàn)手持處方系統(tǒng)存在的可用性問(wèn)題與輸入錯(cuò)誤的發(fā)生高度相關(guān)[18]。因此，在信息系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)過(guò)程中，發(fā)現(xiàn)并評(píng)估潛在可用性問(wèn)題的嚴(yán)重性是可用性評(píng)價(jià)的重要目標(biāo)，通過(guò)迭代設(shè)計(jì)消除可用性問(wèn)題具有重要意義。同時(shí)，實(shí)踐表明可用性工程的相關(guān)工作開(kāi)展得越早，可用性問(wèn)題導(dǎo)致的信息系統(tǒng)研發(fā)成本越低，系統(tǒng)的可用性水平越高。

依據(jù)應(yīng)用的階段不同，可用性評(píng)價(jià)方法可分為形成性評(píng)價(jià)和總結(jié)性評(píng)價(jià)，二者在目標(biāo)和操作層面存在著本質(zhì)差異[19]。本研究所涉及的可用性檢查列表屬于一種用于形成性可用性評(píng)價(jià)的工具，其應(yīng)用目的是發(fā)現(xiàn)信息系統(tǒng)設(shè)計(jì)方案或原型系統(tǒng)中潛在的可用性問(wèn)題，并進(jìn)行嚴(yán)重性評(píng)估，為系統(tǒng)可用性優(yōu)化和迭代設(shè)計(jì)提供依據(jù)。

1.2可用性檢查列表

為了滿足信息系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)階段的可用性評(píng)價(jià)需求，同時(shí)克服啟發(fā)式評(píng)估對(duì)于評(píng)價(jià)人員可用性工程經(jīng)驗(yàn)和領(lǐng)域知識(shí)的較高要求，并在評(píng)價(jià)效果和時(shí)間、成本間取得均衡，可用性檢查列表技術(shù)被引入形成性可用性評(píng)價(jià)過(guò)程。同時(shí)，研究也證實(shí)，將可用性檢查列表作為標(biāo)準(zhǔn)化工具整合進(jìn)入軟件系統(tǒng)開(kāi)發(fā)和用戶接受度測(cè)試，對(duì)于提高系統(tǒng)人因安全、效率及用戶滿意度等具有重要意義[20]。信息系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)過(guò)程中，遵循的可用性參考包括高等級(jí)的理論和模型、中等級(jí)的準(zhǔn)則以及實(shí)踐層面的可用性指南[21]。啟發(fā)式評(píng)價(jià)方法基于一系列的中等級(jí)可用性設(shè)計(jì)準(zhǔn)則得以實(shí)施，面向具體應(yīng)用將可用性設(shè)計(jì)準(zhǔn)則結(jié)合領(lǐng)域知識(shí)進(jìn)一步細(xì)化，則得到實(shí)踐層面的可用性指南[8, 22]，其中就包括可用性檢查列表工具。

可用性檢查列表的開(kāi)發(fā)主要包括兩個(gè)階段：建立可用性檢查列表初始項(xiàng)集合；對(duì)可用性檢查列表初始項(xiàng)進(jìn)行整合、優(yōu)化，如刪減、合并、增加及權(quán)重分析等。其中，可用性檢查列表初始項(xiàng)集合的建立方法主要包括文獻(xiàn)綜述、模型分析、訪談(如頭腦風(fēng)暴法、焦點(diǎn)小組法等)等。例如，JI等[23]在手機(jī)可用性檢查列表開(kāi)發(fā)中，在文獻(xiàn)綜述基礎(chǔ)上，通過(guò)在人機(jī)界面元素與可用性準(zhǔn)則的匹配建立初始列表項(xiàng)集合；LEE等[24]基于模擬情境技術(shù)建立家用電器設(shè)備可用性檢查列表的初始項(xiàng)集合；ALROOBAEA等[25, 26]則綜合運(yùn)用文獻(xiàn)綜述、用戶預(yù)測(cè)試、專家焦點(diǎn)小組等方法，進(jìn)行在線教育系統(tǒng)可用性檢查列表初始項(xiàng)集合的建立。尤其需要指出的是，建立可用性檢查列表初始項(xiàng)集合必須緊密結(jié)合面向應(yīng)用的特定領(lǐng)域知識(shí)，例如，LIM等[27]在E-Learning系統(tǒng)可用性研究中，就提出了區(qū)別于一般可用性的“面向教學(xué)的可用性”概念，并以此為基礎(chǔ)開(kāi)發(fā)可用性檢查列表。在建立可用性檢查列表初始項(xiàng)集合基礎(chǔ)上，需依據(jù)列表開(kāi)發(fā)的目的和測(cè)量對(duì)象的概念結(jié)構(gòu)對(duì)初始項(xiàng)進(jìn)行整合、優(yōu)化，以保證不同項(xiàng)之間的一致性和測(cè)量的單一維度[28]。例如，TEZZA等[29]應(yīng)用項(xiàng)目反應(yīng)理論模型評(píng)估實(shí)際測(cè)量結(jié)果的收斂性，進(jìn)行可用性檢查列表初始項(xiàng)一致性檢驗(yàn)，并以此為依據(jù)刪減部分初始項(xiàng)；另外的研究中，OZTEKIN等[30, 31]則應(yīng)用結(jié)構(gòu)方程模型對(duì)可用性檢查列表進(jìn)行信度和效度檢驗(yàn)，并量化不同項(xiàng)的權(quán)重指數(shù)。同時(shí)，已報(bào)道部分研究中也存在著，可用性檢查列表開(kāi)發(fā)的兩個(gè)階段界限區(qū)分并不是很清晰，例如，通過(guò)對(duì)可用性設(shè)計(jì)準(zhǔn)則的選擇過(guò)程實(shí)現(xiàn)可用性檢查列表項(xiàng)的整合、優(yōu)化[23]。

可以發(fā)現(xiàn)，由于產(chǎn)品設(shè)計(jì)的用戶體驗(yàn)和系統(tǒng)人因可靠性日益受到重視，可用性檢查列表的研究在人因工程領(lǐng)域得到持續(xù)關(guān)注。但同時(shí)，一方面在研究方法上，已報(bào)道可用性檢查列表開(kāi)發(fā)方法主要是從系統(tǒng)開(kāi)發(fā)者視角提出的，集中表現(xiàn)為可用性評(píng)價(jià)要素結(jié)構(gòu)主要基于的是軟件工程領(lǐng)域的信息系統(tǒng)開(kāi)發(fā)框架，對(duì)于系統(tǒng)操作流程及流程所體現(xiàn)的任務(wù)結(jié)構(gòu)關(guān)注不足；另一方面，在研究對(duì)象上，已報(bào)道研究中適于軍事作戰(zhàn)與訓(xùn)練使用情境的可用性評(píng)價(jià)準(zhǔn)則較少，面向軍事應(yīng)用的針對(duì)性不明顯。

2可用性檢查列表開(kāi)發(fā)方法

針對(duì)上述問(wèn)題，本研究將可用性檢查列表應(yīng)用目的側(cè)重于發(fā)現(xiàn)系統(tǒng)潛在可用性問(wèn)題，提出基于可用性問(wèn)題分類框架UPT的軍事嵌入式信息系統(tǒng)可用性評(píng)價(jià)要素結(jié)構(gòu)，建立面向軍事應(yīng)用的信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則集合，并在此基礎(chǔ)上對(duì)信息系統(tǒng)可用性檢查要素內(nèi)容與可用性評(píng)價(jià)準(zhǔn)則進(jìn)行匹配，實(shí)現(xiàn)軍事嵌入式信息系統(tǒng)可用性檢查列表。

圖1　基于UPT框架的信息系統(tǒng)可用性檢查要素結(jié)構(gòu)

本研究提出的可用性檢查列表開(kāi)發(fā)方法包括以下步驟：

(1)建立基于UPT框架的信息系統(tǒng)可用性檢查要素結(jié)構(gòu)其中，可用性問(wèn)題分類UPT框架采用KEENAN等[15]提出的可用性問(wèn)題分類方法，將可用性問(wèn)題分為設(shè)計(jì)層面和任務(wù)層面兩個(gè)考察維度，相較于其他分類技術(shù)，該方法有助于從用戶視角描述可用性問(wèn)題、從開(kāi)發(fā)人員角度審視可用性問(wèn)題產(chǎn)生原因及為可用性問(wèn)題影響評(píng)估提供依據(jù)[11]。同時(shí)，本研究結(jié)合軍事信息系統(tǒng)特點(diǎn)，對(duì)UPT進(jìn)行了調(diào)整，將產(chǎn)品設(shè)計(jì)分為物理硬件設(shè)計(jì)和軟件界面設(shè)計(jì)兩部分，并以此為基礎(chǔ)建立子層級(jí)結(jié)構(gòu)，共包括3大類8個(gè)要素(見(jiàn)圖1)。

圖1中各可用性檢查要素的具體內(nèi)容見(jiàn)表1，信息系統(tǒng)設(shè)計(jì)層面的可用性問(wèn)題通過(guò)靜態(tài)檢查發(fā)現(xiàn)，任務(wù)層面的可用性問(wèn)題將主要通過(guò)動(dòng)態(tài)檢查發(fā)現(xiàn)。其中，信息系統(tǒng)設(shè)計(jì)層面分為物理硬件設(shè)計(jì)和軟件界面設(shè)計(jì)兩個(gè)大類，物理硬件設(shè)計(jì)涉及系統(tǒng)的外形設(shè)計(jì)、硬件輸入設(shè)計(jì)、硬件輸出設(shè)計(jì)等，軟件界面設(shè)計(jì)涉及系統(tǒng)的對(duì)象顯示、語(yǔ)義解讀、對(duì)象操作等。任務(wù)結(jié)構(gòu)設(shè)計(jì)包括系統(tǒng)的任務(wù)流程組織、任務(wù)監(jiān)測(cè)與異常處理等兩個(gè)方面，體現(xiàn)了信息系統(tǒng)開(kāi)發(fā)人員對(duì)于軍事作戰(zhàn)與指揮流程的理解和認(rèn)知，即信息系統(tǒng)操作使用過(guò)程中信息組織的邏輯結(jié)構(gòu)和方法。對(duì)于信息系統(tǒng)任務(wù)結(jié)構(gòu)設(shè)計(jì)的檢查，必須通過(guò)基于模擬情境或?qū)崪y(cè)任務(wù)的操作進(jìn)行，如對(duì)于設(shè)計(jì)方案可以在設(shè)置的模擬情景中演示人機(jī)交互過(guò)程，對(duì)于原型系統(tǒng)則可以針對(duì)設(shè)計(jì)的操作任務(wù)進(jìn)行實(shí)際測(cè)試，進(jìn)而獲得信息系統(tǒng)設(shè)計(jì)或原型系統(tǒng)中的任務(wù)結(jié)構(gòu)方案。

表1　信息系統(tǒng)可用性檢查要素

(2)建立面向軍事應(yīng)用的信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則集合①通過(guò)文獻(xiàn)綜述建立信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則初始集合；②通過(guò)專家評(píng)估，剔除“與軍事應(yīng)用績(jī)效無(wú)關(guān)或受評(píng)價(jià)人員主觀信念影響”的可用性評(píng)價(jià)準(zhǔn)則；③基于多維尺度分析、聚類分析對(duì)可用性評(píng)價(jià)準(zhǔn)則進(jìn)行結(jié)構(gòu)分析和優(yōu)化，建立信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則結(jié)構(gòu)及內(nèi)容體系。

與軍事信息系統(tǒng)相似的系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則研究，主要應(yīng)用領(lǐng)域包括車載信息系統(tǒng)、家用電氣設(shè)備、控制中心站以及可穿戴設(shè)備等的可用性評(píng)價(jià)。基于文獻(xiàn)綜述，整理得到的可用性評(píng)價(jià)準(zhǔn)則見(jiàn)表2。

表2　信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則

以信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則初始集合為基礎(chǔ)，對(duì)初試準(zhǔn)則進(jìn)行篩選，剔除標(biāo)準(zhǔn)為滿足如下一個(gè)或多個(gè)條件：①重復(fù)；②與軍事應(yīng)用情境相關(guān)度低；③易受評(píng)價(jià)人員主觀信念影響。同時(shí)，如果準(zhǔn)則間存在包含關(guān)系，如“可見(jiàn)性”包含“系統(tǒng)狀態(tài)可見(jiàn)性”，則剔除被包含準(zhǔn)則，但其中考慮到將“有效性”、“效率”準(zhǔn)則分別分解為面向一般交互過(guò)程和面向新手交互過(guò)程的對(duì)應(yīng)準(zhǔn)則更加適合軍事應(yīng)用情境，因此對(duì)“有效性”、“效率”準(zhǔn)則進(jìn)行剔除；如果準(zhǔn)則存在明顯多維度，如“靈活性與可控性”、“防錯(cuò)與可糾正性”、“表達(dá)一致性和規(guī)范性”、“系統(tǒng)錯(cuò)誤可測(cè)試性和可恢復(fù)性”、“用戶幫助與用戶文檔完善度”等，則對(duì)準(zhǔn)則進(jìn)行分解得到單一維度準(zhǔn)則。得到可用性評(píng)價(jià)準(zhǔn)則備選集合，結(jié)果見(jiàn)表3。

由8名可用性專家對(duì)備選集合中的可用性評(píng)價(jià)準(zhǔn)則進(jìn)行兩兩配對(duì)的相關(guān)性量化評(píng)估，構(gòu)建準(zhǔn)則間相關(guān)矩陣，其中，“0”代表完全不相關(guān)；“1”代表存在一定相關(guān)性；“2”代表高度相關(guān)。對(duì)準(zhǔn)則間相關(guān)矩陣進(jìn)行基于最優(yōu)尺度變換的多維尺度分析，模型擬合優(yōu)度Stress指標(biāo)為0.092 34，D.A.F.指標(biāo)為0.907 66，模型擬合效果較好，得到評(píng)價(jià)準(zhǔn)則空間坐標(biāo)見(jiàn)表4。

表3　信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則備選集合

注：剔除準(zhǔn)則中項(xiàng)目標(biāo)注代表滿足的剔除條件。

表4　可用性評(píng)價(jià)準(zhǔn)則空間坐標(biāo)

圖2　可用性評(píng)價(jià)準(zhǔn)則聚類過(guò)程譜系圖

應(yīng)用組間平均鏈接法，對(duì)每項(xiàng)評(píng)價(jià)準(zhǔn)則的二維空間坐標(biāo)進(jìn)行聚類分析，聚類過(guò)程譜系圖見(jiàn)圖2。以聚類過(guò)程譜系為基礎(chǔ)，本研究將可用性評(píng)價(jià)準(zhǔn)則分為人因安全性、相容性、操作便捷性、操作安全性、用戶支持度、功能支持度和流程支持度等7個(gè)維度31項(xiàng)準(zhǔn)則(見(jiàn)表5)。其中，人因安全性主要關(guān)注人機(jī)交互過(guò)程軍事信息系統(tǒng)自身的安全，而操控安全性則體現(xiàn)了交互過(guò)程系統(tǒng)是否造成外部危害的評(píng)估；用戶支持度、功能支持度和流程支持度等3個(gè)維度則用于評(píng)價(jià)信息系統(tǒng)對(duì)于用戶操作、功能實(shí)現(xiàn)及任務(wù)流程的支持程度。需要指出的是，結(jié)合問(wèn)題研究情境，本研究將準(zhǔn)則“初次使用的有效性”、“功能清晰度”調(diào)整到功能支持度的維度。同時(shí)，對(duì)同一維度內(nèi)的可用性評(píng)價(jià)準(zhǔn)則進(jìn)行了整合優(yōu)化，使各個(gè)準(zhǔn)則的含義更加明確：①人因安全性維度中，“系統(tǒng)自身健壯性”調(diào)整為“系統(tǒng)容錯(cuò)性”，“視覺(jué)表達(dá)直接性”調(diào)整為“表達(dá)直接性”；②操作簡(jiǎn)捷性維度中，“可見(jiàn)性”調(diào)整為“操作對(duì)象可見(jiàn)性”；③操控安全性維度中，刪除了“外部安全性”準(zhǔn)則。

表5　信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則結(jié)構(gòu)及內(nèi)容

圖3　可用性檢查要素與人因安全性維度各準(zhǔn)則間匹配關(guān)系

通過(guò)分析可以發(fā)現(xiàn)，與其他可用性準(zhǔn)則集合相比較，軍事嵌入式信息系統(tǒng)可用性評(píng)價(jià)準(zhǔn)則具有兩個(gè)特點(diǎn)：①安全性，包括人因安全性和操控安全性，占據(jù)重要地位，這是由軍事信息系統(tǒng)任務(wù)關(guān)鍵性決定的；②流程支持度作為單一維度提出，體現(xiàn)了軍事信息系統(tǒng)中任務(wù)流程組織的重要性，這是由于只有簡(jiǎn)潔、流暢的任務(wù)流程才能夠最大程度地支持復(fù)雜條件下的軍事作戰(zhàn)與指揮。

(3)對(duì)信息系統(tǒng)可用性檢查要素內(nèi)容與可用性評(píng)價(jià)準(zhǔn)則進(jìn)行匹配其中，每一可用性評(píng)價(jià)準(zhǔn)則并不一定適用于所有的可用性檢查要素，因此，本研究用虛線表達(dá)二者之間的不適用關(guān)系，圖3為可用性檢查要素與可用性評(píng)價(jià)人因安全性維度各準(zhǔn)則間的匹配關(guān)系。依據(jù)可用性檢查要素內(nèi)容與可用性評(píng)價(jià)準(zhǔn)則間匹配關(guān)系，開(kāi)發(fā)具體化的可用性檢查問(wèn)題，建立面向軍事應(yīng)用的信息系統(tǒng)可用性檢查列表。為使可用性檢查列表更加適于信息系統(tǒng)研發(fā)人員使用，可用性專家和信息系統(tǒng)研發(fā)人員共同對(duì)形成的檢查問(wèn)題進(jìn)行修改和確認(rèn)，不致出現(xiàn)模糊和歧義。

3案例研究

為了評(píng)估所提出的嵌入式信息系統(tǒng)可用性檢查列表開(kāi)發(fā)方法，本研究以基于該方法形成的軍事嵌入式信息系統(tǒng)可用性檢查列表為例，與啟發(fā)式評(píng)價(jià)方法、普渡可用性檢查列表[38]相比較，分析其可用性問(wèn)題發(fā)現(xiàn)績(jī)效。其中，用于啟發(fā)式評(píng)價(jià)的可用性評(píng)價(jià)準(zhǔn)則見(jiàn)表5，包含7個(gè)評(píng)價(jià)準(zhǔn)則維度31項(xiàng)具體準(zhǔn)則項(xiàng)目；普渡可用性檢查列表基于信息處理模型提出，包括8個(gè)維度100項(xiàng)具體問(wèn)題，其已經(jīng)有成熟的中文版本，并在可用性工程實(shí)踐領(lǐng)域應(yīng)用比較廣泛。3.1評(píng)價(jià)指標(biāo)

發(fā)現(xiàn)潛在的真實(shí)可用性問(wèn)題能力是評(píng)價(jià)可用性評(píng)價(jià)方法，尤其是形成性評(píng)價(jià)方法的首要標(biāo)準(zhǔn)。其中，真實(shí)屬性表明該可用性問(wèn)題在產(chǎn)品設(shè)計(jì)的實(shí)際應(yīng)用中會(huì)被觸發(fā)且對(duì)系統(tǒng)可用性水平造成實(shí)際影響。工程實(shí)踐中，用于可用性評(píng)價(jià)方法評(píng)價(jià)的核心指標(biāo)則主要包括完備性、效度和信度[39]，并以核心指標(biāo)為基礎(chǔ)產(chǎn)生了其他的評(píng)價(jià)指標(biāo)，如有效性、效率等[40]。其中，信度定義為評(píng)價(jià)人員間的一致性，是個(gè)體視角的評(píng)價(jià)指標(biāo)，但大量實(shí)證研究表明單個(gè)評(píng)價(jià)人員僅能夠發(fā)現(xiàn)約30%的真實(shí)可用性問(wèn)題，可用性評(píng)價(jià)方法的評(píng)價(jià)須更強(qiáng)調(diào)面向評(píng)價(jià)人員團(tuán)隊(duì)[39]。因此，考慮到核心指標(biāo)同其他指標(biāo)間的關(guān)系，并保證研究結(jié)論的客觀性，本研究從完備性和效度兩方面對(duì)可用性評(píng)價(jià)方法進(jìn)行分析和比較。

其中，可用性評(píng)價(jià)方法i的完備性ti定義為

(1)

式中，|Pi|=|Pi1∪Pi2∪…∪Pin|是可用性評(píng)價(jià)方法i發(fā)現(xiàn)的真實(shí)可用性問(wèn)題集合的勢(shì)；Pij(j=1,2,…,n)是評(píng)價(jià)人員j應(yīng)用評(píng)價(jià)方法i發(fā)現(xiàn)的真實(shí)可用性問(wèn)題集合；n是評(píng)價(jià)人員數(shù)目；|A|是信息系統(tǒng)所有的真實(shí)可用性問(wèn)題集合的勢(shì)，其值由如下計(jì)算方法進(jìn)行估計(jì)[41]。

應(yīng)用可用性評(píng)價(jià)方法i得到對(duì)|A|的估計(jì)

(2)

(3)

可用性評(píng)價(jià)方法i的效度vi定義為

(4)

3.2方法

本研究的可用性評(píng)價(jià)對(duì)象是某指揮信息系統(tǒng)原型系統(tǒng)，該信息系統(tǒng)基于國(guó)產(chǎn)CPU和操作系統(tǒng)平臺(tái)，對(duì)于實(shí)現(xiàn)指揮信息裝備的自主、安全、可控具有重要意義?？捎眯栽u(píng)價(jià)人員為該裝備承研單位的研發(fā)工程師，共計(jì)15人，年齡在24～38歲之間(均值為32.10歲，標(biāo)準(zhǔn)差為4.24歲)。

實(shí)驗(yàn)過(guò)程遵循以下步驟：將15名評(píng)價(jià)人員隨機(jī)分為A、B、C共3組，每組5人，A組應(yīng)用啟發(fā)式評(píng)價(jià)方法、B組應(yīng)用普渡可用性檢查列表、C組應(yīng)用本研究提出的可用性檢查列表分別對(duì)原型系統(tǒng)進(jìn)行可用性評(píng)價(jià)；評(píng)價(jià)開(kāi)始前，由實(shí)驗(yàn)人員對(duì)本次實(shí)驗(yàn)?zāi)康暮瓦^(guò)程進(jìn)行說(shuō)明，針對(duì)相應(yīng)的可用性評(píng)價(jià)工具進(jìn)行使用培訓(xùn)，確認(rèn)評(píng)價(jià)人員明確知曉后開(kāi)始可用性評(píng)價(jià)過(guò)程；每名評(píng)價(jià)人員的可用性評(píng)價(jià)過(guò)程是獨(dú)立進(jìn)行的，實(shí)驗(yàn)人員負(fù)責(zé)記錄，評(píng)價(jià)結(jié)束后由評(píng)價(jià)人員向?qū)嶒?yàn)人員提交發(fā)現(xiàn)可用性問(wèn)題清單；由8名可用性專家和3名系統(tǒng)用戶共同對(duì)提交的15份可用性問(wèn)題清單進(jìn)行檢查，確認(rèn)真實(shí)可用性問(wèn)題集合，并將最終結(jié)果反饋給實(shí)驗(yàn)人員。其中，評(píng)判可用性問(wèn)題真實(shí)性的準(zhǔn)則為同時(shí)滿足如下條件：①實(shí)際應(yīng)用中會(huì)被觸發(fā)；②問(wèn)題嚴(yán)重性對(duì)系統(tǒng)可用性水平造成實(shí)際影響。針對(duì)每一疑似可用性問(wèn)題的評(píng)判中，6人及以上形成共識(shí)的結(jié)論作為最終結(jié)果。

3.3結(jié)果分析與討論

(1)可用性評(píng)價(jià)方法的完備性分析

該原型系統(tǒng)潛在的真實(shí)可用性問(wèn)題數(shù)目估計(jì)為：

max(21.94,16.26,19.76)=21.94 。

不同可用性評(píng)價(jià)方法對(duì)應(yīng)的完備性見(jiàn)表6。

表6　不同可用性評(píng)價(jià)方法的完備性

結(jié)合可用性問(wèn)題清單，可以發(fā)現(xiàn)5名評(píng)價(jià)人員參與的啟發(fā)式評(píng)價(jià)和基于本研究提出的軍事信息系統(tǒng)可用性檢查列表方法能夠發(fā)現(xiàn)系統(tǒng)潛在的80%左右真實(shí)可用性問(wèn)題，高于基于普渡可用性檢查列表的評(píng)價(jià)方法。主要的原因涉及：①普渡可用性檢查列表的提出時(shí)間比較早，而信息技術(shù)的飛速進(jìn)步已經(jīng)顯著地改變了各類型信息系統(tǒng)形態(tài)、功能及人機(jī)交互模式，限制了其對(duì)于當(dāng)前信息系統(tǒng)可用性評(píng)價(jià)的適用性；②普渡可用性檢查列表主要面向軟件信息系統(tǒng)，而軍事信息系統(tǒng)，如本研究中的評(píng)價(jià)對(duì)象，更多的是以嵌入式信息系統(tǒng)的形態(tài)出現(xiàn)，因此，導(dǎo)致其難以發(fā)現(xiàn)特定類型的可用性問(wèn)題，如軍事信息系統(tǒng)攜行裝置的人體生理適配、系統(tǒng)狀態(tài)信息通過(guò)硬件輸出的可見(jiàn)性等問(wèn)題。

(2)可用性評(píng)價(jià)方法的效度分析

在可用性專家和系統(tǒng)用戶對(duì)評(píng)價(jià)人員提交的可用性問(wèn)題清單進(jìn)行綜合判定基礎(chǔ)上，得到不同可用性評(píng)價(jià)方法的效度(見(jiàn)表7)。

表7　不同可用性評(píng)價(jià)方法的效度

注：①括號(hào)外數(shù)目代表評(píng)價(jià)人員提交問(wèn)題數(shù)目，括號(hào)內(nèi)代表經(jīng)確認(rèn)為真實(shí)可用性問(wèn)題數(shù)目； ②合計(jì)數(shù)目中對(duì)于不同評(píng)價(jià)人員間出現(xiàn)的重疊項(xiàng)目進(jìn)行了合并。

可以發(fā)現(xiàn)，相較于啟發(fā)式評(píng)價(jià)方法，可用性檢查列表方法的效度更高。結(jié)合經(jīng)確認(rèn)的真實(shí)可用性問(wèn)題集合，表明基于啟發(fā)式評(píng)價(jià)方法提交的問(wèn)題清單中，經(jīng)確認(rèn)為非真實(shí)可用性問(wèn)題主要集中于疑似可用性問(wèn)題嚴(yán)重程度較低，可用性專家和用戶認(rèn)為其并不會(huì)對(duì)信息系統(tǒng)的操作使用造成顯著影響。這是由啟發(fā)式評(píng)價(jià)方法的特點(diǎn)決定的，其評(píng)價(jià)過(guò)程基于一系列的可用性評(píng)價(jià)準(zhǔn)則，而準(zhǔn)則描述了產(chǎn)品設(shè)計(jì)應(yīng)實(shí)現(xiàn)的可用性特征。但是，在信息系統(tǒng)工程實(shí)踐中，“低可用性水平”并不一定等價(jià)于存在真實(shí)的可用性問(wèn)題。而本研究提出的可用性檢查列表，基于UPT框架建立了信息系統(tǒng)可用性檢查要素結(jié)構(gòu)，對(duì)可用性評(píng)價(jià)準(zhǔn)則具體化，使真實(shí)可用性問(wèn)題發(fā)現(xiàn)的指向更加明確，因此得到了較高的效度水平。

綜上所述，由于本研究提出的可用性檢查列表更適用于當(dāng)前軍事嵌入式信息系統(tǒng)的特征和應(yīng)用情境，且是建立在UPT框架上，能夠更加準(zhǔn)確地定位和確認(rèn)真實(shí)的可用性問(wèn)題，相較于啟發(fā)式評(píng)價(jià)方法、普渡可用性檢查列表，其能夠同時(shí)具備滿意的完備性和效度特征，具有顯著的比較優(yōu)勢(shì)。

4結(jié)語(yǔ)

本研究面向嵌入式信息系統(tǒng)可用性評(píng)價(jià)需求，尤其是設(shè)計(jì)和實(shí)現(xiàn)過(guò)程中的系統(tǒng)可用性問(wèn)題發(fā)現(xiàn)需求，提出了建立嵌入式信息系統(tǒng)可用性檢查列表的方法，并通過(guò)案例分析，同啟發(fā)式評(píng)價(jià)方法、普渡可用性檢查列表相比較，分析了本研究提出的系統(tǒng)可用性檢查列表的績(jī)效。研究結(jié)果表明：①本研究提出的可用性檢查列表同時(shí)具備較高的完備性和效度水平，更加適用于當(dāng)前軍事嵌入式信息系統(tǒng)可用性評(píng)價(jià)的問(wèn)題情境；②案例研究結(jié)論也表明，本研究提出的基于UPT框架建立信息系統(tǒng)可用性檢查要素結(jié)構(gòu)，并以此為基礎(chǔ)開(kāi)發(fā)可用性檢查列表的方法，具有理論支撐性和操作可行性；③上述結(jié)論也驗(yàn)證了面向評(píng)價(jià)對(duì)象對(duì)應(yīng)的領(lǐng)域知識(shí)，如本研究中的軍事信息系統(tǒng)特征，建立個(gè)性化可用性檢查列表開(kāi)展可用性評(píng)價(jià)的必要性和實(shí)踐價(jià)值。

同時(shí)，本研究建立的嵌入式信息系統(tǒng)可用性檢查要素結(jié)構(gòu)基于的UPT框架的完備性和在其他領(lǐng)域的適用性則有待實(shí)證研究的進(jìn)一步驗(yàn)證，提出的可用性檢查列表構(gòu)建方法的有效性在相關(guān)領(lǐng)域的推廣則需進(jìn)行驗(yàn)證和比較分析，這也是下一步研究工作關(guān)注的焦點(diǎn)。

參考文獻(xiàn)

[1] BOUKHTOUTA A, BERGER J, GUITOUNI A, et al. Description and Analysis of Military Planning Systems [R]. Quebec, Canada: DRDC (Defence Research and Development Canada) Valcartier, 2005

[2] DIN E. 9241-11. Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs)-Part 11: Guidance on Usability [S]. International Organization for Standardization, 1998

[3] TARKKANEN K, HARKKE V, REIJONEN P. Are We Testing Utility? Analysis of Usability Problem Types [M]//MARCUS A. Design, User Experience, and Usability: Design Discourse. Berlin Heidelberg: Springer-Verlag, 2015: 269～280

[4] VENKATESH V, DAVIS F D. A Theoretical Extension of the Technology Acceptance Model: Four Longitudinal Field Studies [J]. Management Science, 2000, 46(2): 186～204

[5] NIELSEN J, MOLICH R. Heuristic Evaluation of User Interfaces [C]. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, New York: ACM, 1990: 249～256

[6] BEVAN N, MACLEOD M. Usability Measurement in Context [J]. Behaviour & Information Technology, 1994, 13(1-2): 132～145

[7] GOUIN D, VERNIK R, WARK S. Using Large Group Displays to Support Intensive Team Activities in C2 [R]. Quebec, Canada: DRDC (Defence Research and Development Canada) Valcartier, 2011

[8] HERTZUM M. Images of usability [J]. International Journal of Human-Computer Interaction, 2010, 26(6): 567～600

[9] HORNB K K. Current Practice in Measuring Usability: Challenges to Usability Studies and Research [J]. International Journal of Human-Computer Studies, 2006, 64(2): 79～102

[10] KHAJOUEI R, PEUTE L W, HASMAN A, et al. Classification and Prioritization of Usability Problems Using an Augmented Classification Scheme [J]. Journal of Biomedical Informatics, 2011, 44(6): 948～957

[11] HAM D-H. A Model-Based Framework for Classifying and Diagnosing Usability Problems [J]. Cognition, Technology & Work, 2014, 16(3): 373～388

[12] CHILLAREGE R, BHANDARI I S, CHAAR J K, et al. Orthogonal Defect Classification: A Concept for In-Process Measurements [J]. IEEE Transactions on Software Engineering, 1992, 18(11): 943～956

[13] LESZAK M, PERRY D E, STOLL D. Classification and Evaluation of Defects in a Project Retrospective [J]. Journal of Systems and Software, 2002, 61(3): 173～187

[14] VILBERGSDOTTIR S G, HVANNBERG E T, LAW E L-C. Assessing the Reliability, Validity and Acceptance of a Classification Scheme of Usability Problems (CUP) [J]. Journal of Systems and Software, 2014, 87(1): 18～37

[15] KEENAN S L, HARTSON H R, KAFURA D G, et al. The Usability Problem Taxonomy: A Framework for Classification and Analysis [J]. Empirical Software Engineering, 1999, 4(1): 71～104

[16] ANDRE T S, HARTSON H R, BELZ S M, et al. The User Action Framework: A Reliable Foundation for Usability Engineering Support Tools [J]. International Journal of Human-Computer Studies, 2001, 54(1): 107～136

[17] RYU H, MONK A F. Analysing Interaction Problems with Cyclic Interaction Theory: Low-level Interaction Walkthrough [J]. PsychNology Journal, 2004, 2(3): 304～330

[18] KUSHNIRUK A W, TRIOLA M M, BORYCKI E M, et al. Technology Induced Error and Usability: The Relationship between Usability Problems and Prescription Errors when Using a Handheld Application [J]. International Journal of Medical Informatics, 2005, 74(7): 519～526

[19] LEWIS J R. Usability: Lessons Learned… and Yet to be Learned [J]. International Journal of Human-Computer Interaction, 2014, 30(9): 663～684

[20] PAGE C A K, SCHADLER A. A Nursing Focus on EMR Usability Enhancing Documentation of Patient Outcomes [J]. Nursing Clinics of North America, 2014, 49(1): 81～90

[21] SHNEIDERMAN B. Designing the User Interface: Strategies for Effective Human-Computer Interaction [M]. Boston, MA: Addison-Wesley Reading, 1992

[22] TE’ENI D, CAREY J M, ZHANG P. Human-computer Interaction: Developing Effective Organizational Information Systems [M]. Hoboken, New Jersey: John Wiley & Sons, 2005

[23] JI Y G, PARK J H, LEE C, et al. A Usability Checklist for the Usability Evaluation of Mobile Phone User Interface [J]. International Journal of Human-Computer Interaction, 2006, 20(3): 207～231

[24] LEE K I, JIN B S, JI Y G. The Scenario-Based Usability Checklist Development for Home Appliance Design: A Case Study [J]. Human Factors and Ergonomics in Manufacturing & Service Industries, 2011, 21(1): 67～81

[25] ALROOBAEA R S, AL-BADI A H, MAYHEW P J. Generating an Educational Domain Checklist through an Adaptive Framework for Evaluating Educational Systems [J]. International Journal of Advanced Computer Science and Applications, 2013, 4(8): 194～200

[26] ALROOBAEA R S, AL-BADI A H, MAYHEW P J. Generating a Domain Specific Inspection Evaluation Method through an Adaptive Framework: A comparative Study on Educational Websites [J]. International Journal of Human Computer Interaction, 2013, 4(2): 88～116

[27] LIM C, LEE S. Pedagogical Usability Checklist for ESL/EFL E-Learning Websites [J]. Journal of Convergence Information Technology, 2007, 2(3): 67～76

[28] CLARK L A, WATSON D. Constructing Validity: Basic Issues in Objective Scale Development [J]. Psychological Assessment, 1995, 7(3): 309～319

[29] TEZZA R, BORNIA A C, DE ANDRADE D F. Measuring Web Usability Using Item Response Theory: Principles, Features and Opportunities [J]. Interacting with Computers, 2011, 23(2): 167～175

[30] OZTEKIN A, NIKOV A, ZAIM S. UWIS: An assessment Methodology for Usability of Web-Based Information Systems [J]. Journal of Systems and Software, 2009, 82(12): 2 038～2 050

[31] OZTEKIN A, KONG Z J, UYSAL O. UseLearn: A Novel Checklist and Usability Evaluation Method for ELEARNING SYSTEms by Criticality Metric Analysis [J]. International Journal of Industrial Ergonomics, 2010, 40(4): 455～469

[32] RAVDEN S, JOHNSON G. Evaluating Usability of Human-Computer Interfaces: A Practical Method [M]. New York: Halsted Press, 1989

[33] NIELSEN J. Heuristic Evaluation[M]//NIELSEN J, MACK R L. Usability Inspection Methods. New York: Wiley, 1994: 25～62

[34] HARVEY C, STANTON N A, PICKERING C A, et al. A Usability Evaluation Toolkit for In-Vehicle Information Systems (IVISs) [J]. Applied Ergonomics, 2011, 42(4): 563～574

[35] WONG-PARODI G, FISCHHOFF B, STRAUSS B. A Method to Evaluate the Usability of Interactive Climate Change Impact Decision Aids [J]. Climatic Change, 2014, 126(3-4): 485～493

[36] ALONSO-R OS D,MOSQUEIRA-REY E,MORET-BONILLO V. A Taxonomy-Based Usability Study of an Intelligent Speed Adaptation Device [J]. International Journal of Human-Computer Interaction, 2014, 30(7): 585～603

[37] WANG C-M, HUANG C-H. A Study of Usability Principles and Interface Design for Mobile E-Books [J]. Ergonomics, 2015, 58(8): 1 253～1 265

[38] LIN H X, CHOONG Y Y, SALVENDY G. A Proposed Index of usability: A Method for Comparing the Relative Usability of Different Software Systems [J]. Behaviour & Information Technology, 1997, 16(4-5): 267～277

[39] HARTSON H R, ANDRE T S, WILLIGES R C. Criteria for Evaluating Usability Evaluation Methods [J]. International Journal of Human-Computer Interaction, 2001, 13(4): 373～410

[40] HVANNBERG E T, LAW E L C, L Rusd Ttir M K. Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems [J]. Interacting with Computers, 2007, 19(2): 225～240

[41] KANIS H. Estimating the Number of Usability Problems [J]. Applied Ergonomics, 2011, 42(2): 337～347

(編輯劉繼寧)

Development of Usability Checklist for Embedded Information Systems：A Case Study

LI Xiaojun1,2XIAO Zhongdong1LI Jia3

(1. Xi’an Jiaotong University, Xi’an， China; 2. Rocket Force University of Engineering,Xi’an, China; 3. East China University of Science and Technology， Shanghai， China)

Abstract：To evaluate the usability of embedded information systems in military domain, this study proposes a development framework of usability checklist combining with the characteristics of designs and tasks. The elements and dimensions of design are established based on the framework of usability problem taxonomy, and the set of evaluation principles is built. And then the usability checklist is proposed by matching design elements and evaluation principles, and the performance of the proposed usability checklist is tested through a case study. The results show that the proposed checklist is with better thoroughness and validity compared with heuristic evaluation and Purdue Usability Testing Questionnaire. And the checklist is more appropriate in the contexts of usability evaluation of embedded information systems. The results also verify indirectly the essential role and feasibility of the proposed development framework of usability checklist. And it also verifies the need and value of developing specific usability checklist based on domain knowledge.

Key words：human factors; usability checklist; case study； embedded information systems

中圖法分類號(hào)：C93

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1672-884X(2016)04-0595-10

基金項(xiàng)目：國(guó)家科技支撐計(jì)劃資助項(xiàng)目(2015BAK16B02)；國(guó)家自然科學(xué)基金資助項(xiàng)目(71371005)；國(guó)家社會(huì)科學(xué)基金資助項(xiàng)目(15GJ003-243)

收稿日期：2015-12-29

通訊作者：周勁波(1970～)，男，廣西桂林人。廣西師范大學(xué)(廣西省桂林市541004)經(jīng)濟(jì)管理學(xué)院教授，博士。研究方向?yàn)槠髽I(yè)管理。E-mail：jbzhou@163.com 李曉軍(1981～)，男，河北秦皇島人?；鸺姽こ檀髮W(xué)(西安市710025)908教研室講師。研究方向?yàn)槲淦飨到y(tǒng)人因工程。E-mail: xi_anlxj@126.com

DOI編碼： 10.3969/j.issn.1672-884x.2016.04.015