盧秀玲

一、前言

目前人機(jī)交互界面的主流是視覺界面，這種界面只利用了人的視覺通道，易造成視覺通道信息過載，影響工作效率；同時(shí)，盲人和有視覺缺陷的用戶根本無法使用這種視覺界面。另外隨著科技的發(fā)展，可攜帶式設(shè)備的應(yīng)用越來越廣泛，這種設(shè)備的顯示屏大小有限，而要呈現(xiàn)的信息量卻越來越大，這樣信息量和視覺顯示屏大小之間的矛盾也愈加突出。而聽覺界面利用了人的第二大感覺通道——聽覺，具有很多優(yōu)勢(shì)，因而聽覺界面的開發(fā)也就成為多通道用戶界面的重點(diǎn)。聽覺界面的優(yōu)勢(shì)具體表現(xiàn)在：聽覺界面可為盲人和有視覺缺陷的用戶使用；人對(duì)聽覺信號(hào)的檢測(cè)快于視覺信號(hào)檢測(cè)，因而采用聽覺界面將使用戶更快地發(fā)現(xiàn)錯(cuò)誤從而提高操作效率；聽覺具有全向特性，用戶無需將注意集中于某一點(diǎn)，聲音可以很好地引起用戶注意；聽覺界面可減輕用戶的視覺負(fù)擔(dān)，避免視覺信息過載；聽覺信息與視覺信息同時(shí)提供，可使人獲得更強(qiáng)烈的存在感和真實(shí)感。

二、非言語聽覺界面

聽覺界面根據(jù)使用的聲音可分為兩類：言語聽覺界面和非言語聽覺界面。

言語聽覺界面是運(yùn)用語音作為信息表征方式的界面形式。言語聽覺界面具有內(nèi)容明確、易學(xué)習(xí)的特點(diǎn)，因而語音界面已經(jīng)普遍應(yīng)用于電話通訊系統(tǒng)、車載系統(tǒng)、醫(yī)療救治等特殊情況以及盲人或視力低下的特殊人群。但是人類對(duì)語言的加工是序列加工，只有聽完整句話才能理解其含義，這樣加工速度就很慢。另外，不同國(guó)家、地區(qū)之間的語言、語音不同，這也限制了語言界面的使用。

非言語聽覺界面是運(yùn)用日常聲音或樂音作為信息表征方式的界面形式。聽覺界面中常見的非言語信號(hào)表征主要有聽標(biāo)（auditory icon）和耳標(biāo)（earcon）兩類。 聽標(biāo)是為表征某一事件或?qū)傩远捎玫脑谌粘Ｉ钪信c之有關(guān)聯(lián)的聲音[1]。例如運(yùn)用盤子摔碎的聲音表征刪除文件的操作。聽標(biāo)因?yàn)椴捎昧松钪械穆曇舯碚鞑僮鳎员碚餍詮?qiáng)且易學(xué)習(xí)；它的不足是只能表征結(jié)構(gòu)比較簡(jiǎn)單的信息。聽標(biāo)所采用的自然聲音，與界面操作有較強(qiáng)的語義聯(lián)系，恰當(dāng)?shù)穆牁?biāo)會(huì)減輕用戶的認(rèn)知負(fù)荷，反之不恰當(dāng)?shù)穆牁?biāo)容易造成用戶的誤解，降低工作績(jī)效，因此，聽標(biāo)和操作的語義對(duì)應(yīng)關(guān)系就非常重要。而實(shí)際上，人機(jī)界面的許多操作不能找到對(duì)應(yīng)的日常聲音，這也限制了聽標(biāo)的使用范圍。耳標(biāo)“是用來表征結(jié)構(gòu)化信息的樂音，是計(jì)算機(jī)用戶界面中向用戶提供計(jì)算機(jī)客體、操作或交互信息的非言語聽覺信號(hào)”[2]。耳標(biāo)的基本構(gòu)成元素是一種特定的短節(jié)奏音高序列（也稱motive），其基本構(gòu)成因素包括[3]節(jié)奏、音高、音色、音域、力度變化。通過對(duì)上述五種屬性的操縱可產(chǎn)生眾多不同的motive以表征不同的信息。人類對(duì)音樂表征的結(jié)構(gòu)化信息很容易學(xué)習(xí)，且不受音樂特長(zhǎng)的影響，這樣耳標(biāo)就可以廣泛應(yīng)用到人機(jī)界面中。

三、非言語聽覺界面研究的應(yīng)用

非言語聽覺界面研究早在20世紀(jì)80年代就已經(jīng)開始，其研究根據(jù)用戶視力情況分為兩類，之所以這樣區(qū)分是因?yàn)橐暳φ５挠脩艉陀幸曈X障礙的用戶對(duì)聽覺界面的要求不同。如果視覺界面可以滿足視力正常者的需求，那么聽標(biāo)、耳標(biāo)主要起輔助作用，充分發(fā)揮其遠(yuǎn)距離傳輸、易引起注意和反應(yīng)快的特點(diǎn)，用于操作反饋。Gaver1989年提出的Sonic Finder[1]，采用聽標(biāo)表征計(jì)算機(jī)圖形界面的一些操作過程，如用盤子摔碎的聲音表征文件刪除。Crease和Brewster[4]采用耳標(biāo)表征計(jì)算機(jī)圖形界面的一些操作過程，如采用長(zhǎng)度為500ms、音高為65HZ吉他低音表示操作條的終點(diǎn)。其研究結(jié)果表明，采用聽標(biāo)和耳標(biāo)可使被試的錯(cuò)誤大大下降，點(diǎn)擊鼠標(biāo)的速度加快，重復(fù)點(diǎn)擊率下降；喜好評(píng)價(jià)表明被試更喜愛有聽覺反饋的界面，而且并未感到聲音是噪音。

針對(duì)有視覺障礙的用戶，聽標(biāo)、耳標(biāo)的設(shè)計(jì)就是不僅要對(duì)操作進(jìn)行反饋，還要給用戶具體的指令，這樣，聽覺界面的內(nèi)容相對(duì)就比較復(fù)雜。針對(duì)視覺受損用戶可采用聽覺獲取信息的特點(diǎn)，常用的計(jì)算機(jī)界面多采用一定技術(shù)將文本文件轉(zhuǎn)換成語音信息。但由于語音界面語速較慢、易造成短時(shí)記憶超負(fù)荷工作、同時(shí)又難以表征圖形等信息，Edwards提出應(yīng)在視覺受損用戶的界面中加入非語言界面[5]，她采用耳標(biāo)和合成語言表征文字加工過程的操作，每個(gè)圖標(biāo)都賦予聲音，點(diǎn)擊時(shí)會(huì)發(fā)出聲響。采用純音做反饋，和弦音標(biāo)識(shí)菜單，菜單包含的下級(jí)菜單的數(shù)量用和弦數(shù)表示，從左向右、從上向下音高不斷增強(qiáng)，由此表示方向。針對(duì)這種技術(shù)的研究表明盲人可以非常成功地在界面中定位。Mercator system[6]采用視覺界面和聽覺界面匹配的方法用聽標(biāo)表征物體，耳標(biāo)表征二維圖形和數(shù)學(xué)概念。如它用敲玻璃聲音表征光標(biāo)在屏幕上的移動(dòng)，采用木箱子的聲音表征文件夾等。采用音高表示y軸，用持續(xù)時(shí)間表示x軸，由此可表征二維圖形。采用一些樂音表征一些數(shù)學(xué)概念，如不對(duì)稱性、單調(diào)性、斜率等。對(duì)這個(gè)系統(tǒng)的研究表明被試可以很快根據(jù)聲音做出正確反應(yīng)。Alty等人[7]通過耳標(biāo)中音色、音高等屬性的變化實(shí)現(xiàn)了對(duì)簡(jiǎn)單圖形的表征，如采用風(fēng)琴音表征x軸，用鋼琴音表征y軸，音高表示x、y軸上數(shù)值的大小。實(shí)驗(yàn)結(jié)果表明，80%的用戶幾乎無需訓(xùn)練就可完成對(duì)圖形、直線等對(duì)象的識(shí)別。

四、非言語聽覺界面研究現(xiàn)狀及展望

目前，非言語聽覺界面的研究還處于方興未艾的狀態(tài)，有許多研究者逐漸意識(shí)到非言語聽覺界面的重要性，非言語聽覺界面也在一些產(chǎn)品中得到了應(yīng)用，如有人將聽標(biāo)、耳標(biāo)用于家電產(chǎn)品中。但是現(xiàn)有的非言語聽覺界面中使用的大部曲線來對(duì)學(xué)生的背單詞情況進(jìn)行測(cè)試和分類，這就符合學(xué)生的個(gè)性化需求和發(fā)展。針對(duì)大多數(shù)學(xué)習(xí)者網(wǎng)絡(luò)學(xué)習(xí)策略、自分參數(shù)都缺乏實(shí)驗(yàn)依據(jù)，開發(fā)者大多按照個(gè)人的主觀審美來選擇和使用聲音，這樣開發(fā)出的聽覺界面有可能是違背工效學(xué)原則的。因而非常有必要通過實(shí)驗(yàn)的方法確定聽覺界面設(shè)計(jì)的指導(dǎo)原則，另外非言語界面是否能夠提高工作效率還需要謹(jǐn)慎對(duì)待。在復(fù)雜界面的設(shè)計(jì)中，運(yùn)用耳標(biāo)作為基本結(jié)構(gòu)，適當(dāng)結(jié)合聽標(biāo)是一種行之有效的方式，兩者在不同使用場(chǎng)合的結(jié)合方式仍需進(jìn)行進(jìn)一步實(shí)驗(yàn)探索。

[1]Gaver，W.The SonicFinder：An interface that uses auditory icons[J].Human Computer Interaction，1989，4（1）：67-94

[2]Blattner，M.，Sumikawa，D.，Greenberg，R.Earcons and icons：Their structure and common design principles[J].Human Computer Interaction，1989，4（1）：11-44

[3]沈模衛(wèi)，白金華，陳碩等.耳標(biāo)在小屏幕界面設(shè)計(jì)中的應(yīng)用[J].應(yīng)用心理學(xué)，2003，9（2）：35-40

[4]Crease，M.C.，&Brewster，S.A.Making progress with sounds-The design and evaluation of audio progress bar[C].Paper presented at the Proceedings of ICAD′98，Glasgow，UK，1998

[5]Edwards，A.D.N.Soundtrack：An auditory interface for blind users[J].Human Computer Interaction，1989，4（1）：45-66

[6]Mynatt，E.D.，&Weber，G.Nonvisual Presentation of Graphical User Interfaces：Contrasting Two Approaches[C].Paper presented at the Proceedings of ACM CHI′94，Boston，Ma，1994

[7]1Alty，J.，&Rigas，D.Communicating graphical information to blind users using music：the role of context[C].Paper presented at the Proceedings of ACM CHI′98，Los Angeles，CA，1998