何 畔， 寧 芳

（中國礦業(yè)大學(xué) 建筑與設(shè)計學(xué)院， 江蘇 徐州 221000）

0 引言

煤炭是我國最重要的一次性能源和重要的戰(zhàn)略資源。 煤礦安全生產(chǎn)問題一直是社會關(guān)注的焦點(diǎn)。 2016 年10 月9 日，國務(wù)院安委辦印發(fā)《關(guān)于實施遏制重特大事故工作指南構(gòu)建安全風(fēng)險分級管控和隱患排查治理雙重預(yù)防機(jī)制的意見》[1]。 露天煤礦安全雙控管理系統(tǒng)就是根據(jù)國家煤礦安全生產(chǎn)標(biāo)準(zhǔn)化的基本要求， 構(gòu)建的基于安全風(fēng)險分級管控和隱患排查治理雙重預(yù)防管理機(jī)制的煤礦安全管理平臺[2]。 在實際煤礦安全生產(chǎn)工作中，由于隱患排查治理效率低， 給煤礦安全生產(chǎn)目標(biāo)的實現(xiàn)帶來了極大壓力。 煤礦企業(yè)現(xiàn)有的單模態(tài)信息傳遞的管理方式已經(jīng)不能滿足煤礦企業(yè)對安全生產(chǎn)信息化、 智能化管理的需求。 對于信息的多模態(tài)交互設(shè)計探索已成為煤礦企業(yè)安全生產(chǎn)信息化、智能化管理的趨勢。

1 多模態(tài)概念

1.1 多模態(tài)交互

多模態(tài)一般指視覺、聽覺、嗅覺、味覺和觸覺等多種感官模態(tài)的組合。 多模態(tài)人機(jī)交互是指通過多種模態(tài)或信道對輸入做出響應(yīng)的系統(tǒng)[3]。 一般是指人們通過視覺、聽覺、觸覺等與計算機(jī)進(jìn)行交互，從而達(dá)到模擬人類交流方式的目的。 這是一種有別于傳統(tǒng)的單模態(tài)的人機(jī)交互技術(shù)。 主要依賴于視覺實現(xiàn)人機(jī)交互，而聽覺和觸覺感官鮮少被使用[4]。 多模態(tài)交互可以利用各種交互方式和設(shè)備之間的互補(bǔ)性，有效地結(jié)合多感官信息，可以顯著提高用戶輸入界面的識別率，提高交互的自然性和高效性[5]。 多個模態(tài)的冗余性不僅可以帶來強(qiáng)大的魯棒性， 而且可以更好地適應(yīng)環(huán)境和用戶，擴(kuò)寬用戶的選擇度。

1.2 多模態(tài)用戶界面

多模態(tài)用戶界面是一種以視線跟蹤、語音識別、手勢輸入為基礎(chǔ)的多媒體界面。 讓使用者可以在自然、并行、協(xié)作的情況下，利用多種模態(tài)或多個通道進(jìn)行交互操作，從而迅速地獲取使用者的意圖， 從而提高人機(jī)交互的高效性和自然性[6]。多模態(tài)用戶界面較于單模態(tài)用戶界面而言，多模態(tài)表征可以使信息表達(dá)的更加充分，避免單模態(tài)表征使人體單個感官認(rèn)知負(fù)荷超載。

1.3 多模態(tài)展示

展示就是將信息呈現(xiàn)給用戶， 信息呈現(xiàn)主要從兩個角度展開分析：一是呈現(xiàn)信息的方式，另一是呈現(xiàn)的信息內(nèi)容[7]。 根據(jù)多模態(tài)相關(guān)的定義，本文將多模態(tài)展示劃分為多模態(tài)提示和多模態(tài)呈現(xiàn)。 多模態(tài)提示是指向用戶提供如視覺、聽覺、觸覺等的感官刺激，從而引導(dǎo)用戶關(guān)注多模態(tài)呈現(xiàn)。 多模態(tài)呈現(xiàn)就是在展示界面以多種符號形式進(jìn)行視覺表征，調(diào)用視覺通道、聽覺通道、觸覺通道等多種呈現(xiàn)通道以并行或關(guān)聯(lián)的進(jìn)行信息編碼， 強(qiáng)調(diào)在信息的貯存、加工與提取中，采用以語言為基礎(chǔ)和以意象為基礎(chǔ)的加工系統(tǒng)，有助于大腦信息加工潛能的激發(fā)。在人機(jī)交互的過程中，用戶通過視覺通道、聽覺通道與觸覺通道等感官通道接受的信息所呈現(xiàn)的方式分別稱之為視覺呈現(xiàn)、聽覺呈現(xiàn)和觸覺呈現(xiàn)。

（1）視覺呈現(xiàn)。 據(jù)研究發(fā)現(xiàn)，視覺捕獲了80%的外部信息，信息主要是通過視覺呈現(xiàn)表征的。數(shù)字界面的視覺元素主要包括文本、圖形、圖片等，毋庸置疑，信息視覺呈現(xiàn)的特點(diǎn)：可視化、抽象化、信息傳遞效率高、信息接收速度快、大腦對視覺信息的加工能力強(qiáng)于其它感官。 但是，信息的視覺呈現(xiàn)也有其固有的缺點(diǎn)， 它很容易受到使用環(huán)境的影響，需要用戶主動注意，才能將有意的部分轉(zhuǎn)化為知覺加工。

（2）聽覺呈現(xiàn)。 除了視覺，聽覺是獲取信息的最主要途徑，是人們感知周圍環(huán)境的一種方式。聽覺呈現(xiàn)通過聲音來表達(dá)信息，包含非語言音頻和語言音頻。非語言音頻是指聲音訊號，是抽象的聲調(diào)，可以以結(jié)構(gòu)化的組合來創(chuàng)建聽覺信息。聽覺對人體的刺激比視覺的刺激要大，人類對聽覺的感知能力更強(qiáng)，聲音信息會被優(yōu)先捕捉。且聽覺信息會吸引用戶注意力，引導(dǎo)用戶關(guān)注界面。 然而，聽力呈現(xiàn)受到周圍環(huán)境的制約，很容易被周圍噪聲的干擾。

（3）觸覺呈現(xiàn)。觸覺是由輕微物理刺激引起皮膚淺層感受器興奮的一種皮膚感覺。 當(dāng)使用者的注意力不在顯示畫面上時，使用觸覺呈現(xiàn)來吸引注意力，或是通過交替的振動，強(qiáng)度的變化等來表征具體的訊息。在觸摸屏移動設(shè)備界面設(shè)計中，我們最常用觸覺呈現(xiàn)即為振動觸覺，它可以作為操作反饋也可以成為信息傳達(dá)通道。 振動觸覺包括五個特性：頻率、振幅、波形、持續(xù)時間、節(jié)奏。針對這五個特性的設(shè)計研究， 即可得到多種不同呈現(xiàn)信息的方式。 人類對觸覺通道的反應(yīng)比視覺、聽覺通道更快，所以觸覺訊息會比視覺訊息、聽覺訊息來得更迅速；觸覺信息基本不會受到外界干擾， 聲音、 光線等對其沒有任何影響；然而，觸覺信息的表達(dá)卻并不直觀。

1.4 多模態(tài)交互設(shè)計方法

交互設(shè)計方法是指在進(jìn)行交互設(shè)計活動時， 用以指導(dǎo)設(shè)計和推進(jìn)設(shè)計進(jìn)程的戰(zhàn)略性理論框架， 包括設(shè)計流程和方法工具。 在相應(yīng)的場景中規(guī)劃和設(shè)計用戶的行為邏輯是交互設(shè)計的重要目標(biāo)。 多模態(tài)交互設(shè)計方法模型旨在交互設(shè)計程序的基礎(chǔ)上，結(jié)合場景，加入多模態(tài)信息傳播流程的問題研究[8]。文章介紹了一種多模態(tài)交互設(shè)計方法，如圖1 所示，即用戶根據(jù)需要把事件信息通過多種模態(tài)或多個信道輸入到響應(yīng)系統(tǒng)。 多模態(tài)用戶界面通過對事件信息的集成整合， 可以迅速地捕捉用戶的表達(dá)意圖，從而進(jìn)行多模態(tài)信息表征。根據(jù)用戶所處的場景與時間兩個維度，進(jìn)行基于視覺、聽覺、觸覺的多模態(tài)提示設(shè)計。 根據(jù)不同的事件信息的特點(diǎn)選擇合適的多模態(tài)呈現(xiàn)方式。最后進(jìn)行多模態(tài)反饋的一個交互設(shè)計流程。多模態(tài)提示和多模態(tài)呈現(xiàn)在一個事件流程中可以多次出現(xiàn)，前、后可以表征相同，可以表征不同。 在此基礎(chǔ)上，利用多模態(tài)提示與多模式呈現(xiàn)技術(shù)進(jìn)行信息反饋， 建立一個閉合的事件信息處理系統(tǒng)。

圖1 多模態(tài)交互設(shè)計方法

2 露天礦安全雙控管理系統(tǒng)

2.1 系統(tǒng)介紹

露天礦安全雙控管理系統(tǒng)就是把安全生產(chǎn)風(fēng)險分級管控與隱患排查治理雙重預(yù)防機(jī)制應(yīng)用到煤礦安全信息化建設(shè)中來，在互聯(lián)網(wǎng)和其他軟硬件配置的幫助下，通過信息的收集和整合來保證煤礦安全生產(chǎn)管理。 風(fēng)險源分為“人、機(jī)、環(huán)、管”四大類。隱患是指某個風(fēng)險源的措施失效、 或者措施不到位所形成。 隱患排查治理工作就是對“人、機(jī)、環(huán)、管”所屬風(fēng)險類型的危險源管理措施和作業(yè)標(biāo)準(zhǔn)進(jìn)行的落實操作。 隱患整改類型一般分為： 立即整改、限期整改。

2.2 問題提取

隱患排查治理流程見圖2，分為隱患排查、隱患登記下達(dá)、隱患治理整改、隱患復(fù)查驗收，是一個環(huán)環(huán)相扣的閉環(huán)管理工作流程。 對鄂爾多斯市現(xiàn)存露天礦調(diào)查研究發(fā)現(xiàn)， 現(xiàn)有的安全雙控管理系統(tǒng)在隱患排查與隱患登記下達(dá)環(huán)節(jié)， 工作人員進(jìn)行隱患信息登記的方式是排查出隱患后， 在現(xiàn)場使用紙質(zhì)文件匯總記錄隱患信息后再登錄PC 端系統(tǒng)進(jìn)行隱患信息登記，這樣的事故隱患信息通常存在著關(guān)鍵字段缺失、記錄不規(guī)范，數(shù)據(jù)形式單一等問題，地理位置信息也并不確切。 在隱患治理整改環(huán)節(jié)，采用的是在PC 端系統(tǒng)中手動點(diǎn)擊“短信提醒”按鈕發(fā)送短信提醒，或者線下進(jìn)行電話提醒，通過單一模態(tài)的信息發(fā)給相關(guān)的技術(shù)人員。 信息傳達(dá)的及時性和有效性得不到保障。 一些需要當(dāng)天立即整改的風(fēng)險隱患可能就拖成了事故。文章將根據(jù)露天礦的隱患排查治理流程，進(jìn)行事件信息發(fā)展流程的交互設(shè)計探索。

圖2 隱患排查治理流程

2.3 需求分析

在隱患登記下達(dá)階段， 隱患信息需要及時的錄入系統(tǒng)，同時要關(guān)注錄入系統(tǒng)信息的多樣性，多模態(tài)信息或多通道信息可以互為補(bǔ)充，互為限制，提高隱患信息正確表達(dá)的效率。據(jù)調(diào)查研究發(fā)現(xiàn)，露天礦的安全雙控管理系統(tǒng)普遍只有PC 端系統(tǒng)，給隱患排查治理工作造成了很多不便。 可以增加移動端，方便文本信息、圖像信息、視頻信息、音頻信息和位置信息的及時上報。在隱患登記下達(dá)與隱患治理整改環(huán)節(jié)，需要提高信息傳遞和展示的效率，可以通過多模態(tài)提示的方式，進(jìn)行基于視覺、聽覺、觸覺的多模態(tài)提示和根據(jù)事件信息的特征對用戶進(jìn)行基于視覺呈現(xiàn)、聽覺呈現(xiàn)、觸覺呈現(xiàn)的多模態(tài)展示，從而提高事故隱患信息傳遞和展示的效率。

3 移動端交互設(shè)計

3.1 任務(wù)事件梳理

事件信息是一種非結(jié)構(gòu)化的復(fù)雜信息，現(xiàn)有的單一模態(tài)、靜態(tài)的展示方法對時序、結(jié)構(gòu)和邏輯的表達(dá)并不清晰，因此用多模態(tài)展示方法對其進(jìn)行再梳理。按照場景與特征兩個維度，將隱患排查治理流程中的事件信息進(jìn)行梳理。

基于場景維度把隱患事件信息“嘈雜-安靜”兩種狀態(tài)分為“強(qiáng)模態(tài)-弱模態(tài)”進(jìn)行多模態(tài)提示設(shè)計?；跁r間維度把隱患整改類型中的“立即整改-限期整改”兩種狀態(tài)分為“強(qiáng)模態(tài)-弱模態(tài)”。 在移動端多模態(tài)提示中，以警示鈴聲、 警示震動的物理刺激讓用戶快速覺察到提示信息。 從而引導(dǎo)用戶關(guān)注多模態(tài)呈現(xiàn)信息。 把警示鈴聲、警示震動細(xì)分，運(yùn)用較強(qiáng)節(jié)奏的警示鈴聲、較強(qiáng)振幅與節(jié)奏的警示震動對“強(qiáng)模態(tài)”進(jìn)行多模態(tài)信息表征。 運(yùn)用較舒緩節(jié)奏的警示鈴聲與較舒緩的振幅與節(jié)奏的警示震動對“弱模態(tài)”進(jìn)行多模態(tài)信息表征。

隱患排查治理工作是對“人、機(jī)、環(huán)、管”所屬風(fēng)險類型的危險源管理措施和作業(yè)標(biāo)準(zhǔn)進(jìn)行的落實操作。 對“人機(jī)環(huán)管”隱患事件信息進(jìn)行特征分析：人員的不安全行為原因主要是人員對于隱患的認(rèn)識不到位、排查不準(zhǔn)確、記錄不規(guī)范等問題； 設(shè)備問題主要存在于隱患排查不到位、不及時， 沒有嚴(yán)格按照規(guī)章制度執(zhí)行隱患排查治理工作；環(huán)境指自然環(huán)境和作業(yè)環(huán)境兩個方面，主要存在管理制度落實不到位， 作業(yè)場所仍有未佩戴個人防護(hù)工具的等情況；管理上的問題主要是隱患排查制度的不嚴(yán)格執(zhí)行、治理方案的不落實、檔案記錄的不規(guī)范等問題；隱患事件信息依次呈現(xiàn)出因果性、邏輯性、時序性的特點(diǎn)。根據(jù)隱患事件信息的特點(diǎn)，隱患排查治理信息展示策略為：①選用視覺呈現(xiàn)中的流程圖加文字講解為主，每個分級步驟完成后可以給予適當(dāng)觸覺反饋為輔的隱患處理方案呈現(xiàn)方式，規(guī)范實操作業(yè)流程；②通過視頻講解（視覺呈現(xiàn)加聽覺呈現(xiàn)）的方式，規(guī)范實操流程，并穿插強(qiáng)警示教育。這種以視覺呈現(xiàn)為主，聽覺呈現(xiàn)、觸覺呈現(xiàn)為輔的多模態(tài)呈現(xiàn)方式，不僅豐富了展示內(nèi)容和形式，也為用戶提供了更直觀形象了解隱患事件信息的機(jī)會。 文本、圖像、視頻等都是視覺呈現(xiàn)，視頻中聽覺呈現(xiàn)是指聽文字字幕和聲音接受來傳達(dá)信息。此呈現(xiàn)方式需要事先把隱患事件信息按照不同模態(tài)的呈現(xiàn)形式提前編碼錄入到系統(tǒng)中，以供用戶選擇。

3.2 移動端信息架構(gòu)

基于隱患排查治理事件的信息架構(gòu)見圖3， 將隱患排查治理事件信息放入事件流中進(jìn)行分析， 分為輸入模塊、解讀展示模塊、反饋模塊。

圖3 移動端信息架構(gòu)

（1）輸入模塊。 輸入模塊由兩部分組成，一部分是外部（露天礦）到移動端系統(tǒng)，另一部分是移動端系統(tǒng)到PC端系統(tǒng)。 第一階段，露天礦員工根據(jù)實際需要，將相應(yīng)的文本信息、圖像信息、視頻信息、音頻信息、位置信息等多種模態(tài)的隱患排查登記信息，準(zhǔn)確、清晰、及時地錄入移動端系統(tǒng)，為后續(xù)信息處理做準(zhǔn)備。 第二階段，PC 端系統(tǒng)對前期獲得的多模態(tài)信息進(jìn)行優(yōu)化、篩選和提煉，提煉出具有傳遞價值的信息，結(jié)合經(jīng)驗，對PC 端系統(tǒng)介質(zhì)中的必要信息進(jìn)行編碼和物化，從而進(jìn)入解讀展示模塊。

（2）解讀展示模塊。對PC 端傳遞的信息進(jìn)行解碼，用視聽符號形式進(jìn)行用戶界面的視覺表征， 視聽符號傳遞的大部分信息是以一系列流程圖的形式呈現(xiàn)給接受者，而流程圖是視聽符號最主要的編碼方式。 利用連續(xù)畫面來傳遞信息的特點(diǎn)是生動、形象，信息量大，這也是連續(xù)圖像的突出優(yōu)勢。 然后選擇多模態(tài)提示與多模態(tài)呈現(xiàn)的呈現(xiàn)形式進(jìn)行隱患整改信息的傳遞與展示。

（3）反饋模塊。 在工作人員的認(rèn)知結(jié)構(gòu)中，需要知識儲備和經(jīng)驗來解碼、執(zhí)行和應(yīng)對演示信息。整治責(zé)任人通過分析隱患排查治理流程整改意見，結(jié)合實際操作經(jīng)驗，進(jìn)行施工整治。 并通過移動端系統(tǒng)把整改后的多模態(tài)信息進(jìn)行上傳，等待反饋信息，從而開展后續(xù)工作。

3.3 移動端交互設(shè)計頁面結(jié)構(gòu)與界面

移動端交互設(shè)計頁面結(jié)構(gòu)見圖4， 主要分為4 個部分“首頁”主要是風(fēng)險提示，隱患信息的最新動態(tài)顯示、統(tǒng)計分析圖、常用功能索引?！帮L(fēng)險”主要包括人機(jī)環(huán)管專項風(fēng)險辨識查詢，以及風(fēng)險任務(wù)清單和工作細(xì)節(jié)。“隱患”主要是體現(xiàn)出隱患治理的全過程。即隱患登記、隱患治理整改、隱患排查驗收、隱患延誤審批、隱患延誤處理、隱患統(tǒng)計分析?！拔业摹苯缑婧啙嵡逦?，主要分為待辦信息和歷史信息。

圖4 移動端交互設(shè)計頁面結(jié)構(gòu)

移動端交互設(shè)計界面見圖5，由于是露天礦安全雙控管理系統(tǒng)的移動端系統(tǒng)，屬于工具類的產(chǎn)品，用戶群體是露天礦員工， 因此界面的設(shè)計風(fēng)格采用了藍(lán)紫色系和較為簡約的扁平化風(fēng)格設(shè)計， 以此來突出多模態(tài)信息在界面中的展示，從而提升用戶的隱患治理排查工作的效率。

圖5 移動端交互設(shè)計界面

4 結(jié)束語

文章從多模態(tài)視角出發(fā)， 將多模態(tài)交互設(shè)計作為研究對象，以多模態(tài)信息傳播流程為線索，構(gòu)建了基于多模態(tài)輸入、多模態(tài)界面展示、多模態(tài)提示與多模態(tài)呈現(xiàn)、多模態(tài)反饋的多模態(tài)交互設(shè)計模型。 結(jié)合場景和時間兩個維度分析研究，對多模態(tài)提示方式進(jìn)行設(shè)計。結(jié)合事件信息特點(diǎn)的分析研究，對多模態(tài)呈現(xiàn)方式進(jìn)行設(shè)計，提高了信息傳播與展示的效率。 并對露天礦安全雙控管理系統(tǒng)移動端進(jìn)行交互設(shè)計實踐。 文章的研究為露天礦的安全生產(chǎn)信息化、智能化管理提供了一定的借鑒。然而在研究過程中，文章對于多模態(tài)提示僅考慮了“嘈雜-安靜”一個維度， 對于影響多模態(tài)呈現(xiàn)的事件信息的分析還不夠深入，今后仍需更加深入的分析研究。