劉佳
(陜西理工大學,陜西 漢中 723001)
老年用戶作為一個特殊群體,他們同樣渴望擁有科技所帶來的便利,期望方便且自然地與他人交流和溝通。他們更習慣書寫,根據老年用戶的書寫認知過程建立情景模型。情景感知技術與應用研究涉及到人工智能、認知心理學與計算機應用等領域的研究內容。在同濟大學孫效華的《人工智能產品與服務體系研究綜述》[1]中總結出人工智能產品的關鍵特征包括情境感知等。Bellotti 等[2]從人的角度提出了具有情境感知特征的產品或系統(tǒng)的設計框架。認知模型又稱3M 認知模型,是人類對真實世界進行認知的過程模型。每一種推理過程都將涉及三個實體:Rule(規(guī)則)、Case(情況)和Result(結果)。他們對輸入信息的理解推理過程基于經驗、事件與確認[3-4]。在計算機應用領域提出了TBTF 算法[5],是一種用于處理上下文感知推演的精準算法。根據以上研究基礎,本文將情景感知技術應用到老年用戶筆畫書寫的交互設計研究中去。
根據認知模型分析老年用戶信息輸入過程的情景,在情景中發(fā)現用戶行為邏輯,這種行為邏輯是否可以以鋼筆書寫為參照,便捷地輸入文本來交流信息。那么輸入設備的邏輯是否可以符合行為邏輯。以此為目標設計出滿足用戶用“書寫”來通信要求的智能交互設備[6-7]。主要目的在于設計書寫信息終端設備,能夠方便、自然、準確地實現移動通信終端的文字輸入功能。主要手段從問題出發(fā)設計出一種基于筆畫手寫輸入的操作方法,能夠便捷、準確地實現通信終端文字輸入功能。利用上述終端進行正常通信,建立合理的人機交互方式。
情景感知技術也就是上下文感知與推理,主要由信息感知、獲取、處理和反饋4 個過程組成。其目標是建立用戶行為與設備運行之間的邏輯關系,即從手勢輸入到機器理解之間的任務流,并且可以將機器操作的結果及時給反饋用戶[8]。
對于老人用戶而言,在使用情景中,為了獲得更加流暢的用戶體驗,輸入設備也應該具有優(yōu)化的信息感知邏輯,從而機器可以感知用戶書寫筆畫輸入的軌跡,獲取筆畫輸入的意向形式,分析處理判斷用戶的意圖,輸出所判斷的文字、字符和數字等;將結果性的信息反饋給用戶,再與用戶意向做出比對,進一步確定輸入的結果,形成交互閉合鏈。
在需求場景中,將老年用戶輸入情景進行抽象,建立用戶需求特征場景,用戶可以直接表達思維流的方式就是書寫,例如用筆在紙上寫,用筆在手心寫、畫,或者在任何界面上寫、畫等等[9]。
以50~80 歲的經驗用戶與非經驗用戶作為目標用戶群,對手機、電腦、IPAD 等LED 屏(OLED 屏)手寫輸入交互方式進行調查,安排了本科三年級工業(yè)設計專業(yè)學生分組進行調查,獲取一手數據。將交互事件定義為U,U1-U5 分別為,開啟、關閉、書寫軌跡、設備反饋與用戶確認。以上交互行為分別進行二分式成功判斷任務可執(zhí)行與否,由此可將用戶分成經驗用戶與非經驗用戶,再用5 級SD 訪談與觀察法針對非經驗用戶收集任務列表。5 個級別分別為,多次嘗試可以完成并理解,簡單幫助可以完成并理解,中等幫助可以完成并理解,在幫助下可完成不能理解,失敗并且不愿意嘗試。用5 個級別判斷用戶對手機或者Ipad 的筆畫輸入的用戶體驗程度,并進行信度分析,得出簡單幫助可以完成并理解的用戶較多,但是用戶會提出字體不夠大,看不清楚。中等幫助可以完成并理解其次,接下來是多次嘗試可以完成并理解的用戶,失敗并且不愿意嘗試的用戶比較少。由此說明大部分老年用戶愿意接受現代科技的衍生品,同時又存在交互障礙。
為了使用戶可以獲取合理的信息,比較多種手勢、符號,判斷出優(yōu)化設計。用戶是否可以理解設備的邏輯過程,是通過節(jié)點判斷來完成的。
在書寫輸入任務過程中存在一系列交互節(jié)點:開啟與進入系統(tǒng),關閉與退出系統(tǒng);書寫壓力與界面產生反作用力;用戶書寫過程的軌跡滑動、設備識別軌跡、反饋運算結果;軌跡的連貫、用戶確認文字輸入等[10]。
設備反饋是用戶完成每一個單元操作,設備所給予的確認,是完成一個閉合交互過程必不可少的步驟。一般情況下,可以通過“完成”按鍵來進行提示。但是,目前需要替代“完成”的方式來達到反饋的目的。因此從手勢設計入手,結合以上提出的問題,經過分析比較,得出反饋節(jié)點以筆畫滑動來代替常規(guī)的視覺識別,“確認”用“”的符號來替代,完成由“畫圈”來替代。系統(tǒng)對用戶的功能執(zhí)行指令和功能撤消指令也是通過感測特殊筆畫信息來實現的。比如,可以通過筆畫輸入“”來表示執(zhí)行,相當于常用的確認指令;通過筆畫輸入“”來表示撤消,相當于常用的撤銷指令,通常用戶“完成”和“取消”按鍵。設備在用戶完成操作之后的幾毫秒內讀出“完成”或“取消”反饋用戶執(zhí)行操作成功。
上下文推理模型(CDL-DFCM)是理解用戶操作行為與用戶意圖模型的工具,基本思路與方法是從普適計算研究衍生來的,能夠讓書寫設備通過一種合理的傳感器采集到用戶書寫情景的數據。可以在采集運算過程中,分析操作路徑和操作的反饋過程。
交互節(jié)點的概念集合由C 來表示,C=(U,S,E,A),其中U 代表用戶手勢,S 代表設備狀態(tài),E 代表交互事件節(jié)點,A 代表用戶意向[8],具體內容見表1。
根據表1 的交點集合列表與現有的手寫輸入筆的交互方式進行專家比對,同時結合競品分析法、觀察用戶的使用狀態(tài)等方法發(fā)現,在交互節(jié)點E 中,感測輸入信息的介質通常是固定的設備,比如手機、電腦、IPAD 等載體設備的LED 屏(OLED 屏)、數位屏、數位板、手寫板,為信息輸入介質,專用手寫筆為用戶將信息輸入的工具。E 中產生出不同設備的節(jié)點信息,這一類型的產品,對老年用戶來講,存在使用不便的問題,同時結合以上手勢U 分析,在產生軌跡的過程中,從用戶意向A 的評斷結果來看,對視覺與反應能力下降的老年用戶[3]來講,需要根據他(她)們的用戶體驗與適應能力設計適合的交互方式與終端產品。接下來根據神經網絡與邏輯判斷,進一步推演物邏輯,即為載體平臺的人機界面要素的合理傳遞步驟。
表1 交互節(jié)點的概念集合Tab.1 Concept set list of interaction nodes
人工神經網絡(Artificial Neural Networks,簡寫為ANNs)也簡稱為神經網絡(NNs)或稱作連接模型(Connection Model),它是一種模仿動物神經網絡行為特征,進行分布式并行信息處理的算法數學模型。這種網絡依靠系統(tǒng)的復雜程度,通過調整內部大量節(jié)點之間相互連接的關系,從而達到處理信息的目的[11]。
從節(jié)點流變換走向、易于操作與設備簡化的原則出發(fā),根據卷積神經網絡的推演迭代,運算出本次設計的任務流。使用戶的手勢意圖達到邏輯一致,并且推演設備交互邏輯與運行邏輯,并且模擬用戶神經網絡,通過機器學習的方式運行設備。
邏輯推理,運用推理演繹的原理對交互節(jié)點(E)、用戶意向(A)、手勢(U)、設備狀態(tài)(S)4 個要素進行“合取”“折取”運算。根據同一原理,進行有效論證。
用戶與設備交互的任務流為:根據邏輯演繹推理的法則判斷,由用戶邏輯推理演繹出設備交互邏輯,并判斷該邏輯是否成立。推理過程的表達式為:∵(E ∨ U)?(A ∨ S),∴(U·A)?(S?E)。由以上邏輯式判斷真或是假,從而判斷用戶思維邏輯演繹推理出智能設備的行為邏輯。由此判斷產品是否具有真實有效的學習能力。判斷產品是否具有良好的可用性[12]。
從表1 中所列舉的行為串來演繹設備運行邏輯。
1)用戶執(zhí)行(E1-1∨E1- 2∨ E1- 3∨ E1-m)?U1,說明設備開啟,并且進入工作狀態(tài),筆畫書寫狀態(tài);A1 ?S1,設備的開啟狀態(tài)與用戶知覺認為設備處于開啟狀態(tài)一致;同時滿足(U1·A1)?(S1?E1-m);代表用戶行為邏輯與設備邏輯聯系屬于真。
2)開始書寫筆畫,(E3- 1∨ E3- ∨2 E3- ∨3 E3-n)?U3,識別模塊對用戶所書寫的筆畫信息進行采集和識別;A3?S3,開始書寫狀態(tài)與用戶認知書寫開始具有一致性;同時滿足(U3?A3)?(S3?E3-n);代表用戶行為邏輯與設備邏輯聯系屬于真。
3)根據文字或符號識別模塊將所獲取的筆畫信息、筆畫的銜接組合信息轉換出相對應的文字或符號信息,(E4- 1∨ E4- 2∨ E4- 3∨ E4-p)?U4;(A4- 1∨A4- 2∨ A4- 3∨ A4-q)?S3-2,筆畫所組合的信息與用戶認知具有一致性;同時滿足[U4?(A4- 1∨ A4- 2∨A4- 3∨ A4-q)]?(S3-2?E4-p);代表用戶行為邏輯與設備邏輯聯系屬于真。
4)根據普適計算的原理將所識別的文字或符號信息以語音信號 輸 出;E5 ?(U5- 1∨ U5-2?U5-3?U5- 4∨ U5-r);A5?S3-2。用戶確定自己的輸入信息被設備識別,[(U5-2?U5-3?U5-4)?A5]?(S4?E5);反饋關系為真。
5)用戶從被動認知的交互過程轉向用戶主動命令設備執(zhí)行任務。根據語音提示信息,通過選擇模塊進行文字或符號信息的切換或刪除,用戶主動意向切換輸入信息,推斷設備保持切換信息狀態(tài)。
6)以特殊的筆畫形式完成完整信息或指令的確認或撤消。
根據“古典邏輯”理論中的三段論規(guī)則和三段論謬誤的第五則所解釋:“如果有一個前提是否定的,那么結論必須是否定的。如果結論是肯定,也就是說,如果它斷言兩個類中的一個完全或部分包含在另一個之中,那么,前提必須斷定這樣的第三個類存在才能推出結論,即第三個類必須包含第一個且被第二個包含,而類之間的這種包含關系只能由肯定命題表示。所以,肯定的結論只能由兩個肯定的前提得到。違反這條規(guī)則的錯誤稱為從否定推肯定謬誤”[12]。用戶選擇的邏輯表達關系為三段論流程見圖2。
圖2 用戶判斷選擇的三段論流程Fig.2 Syllogism flow chart of user judgment and selection
以筆畫輸入的用戶邏輯判斷為前提,根據用戶意向A 所判斷確認的信息“”,可以進行肯定判斷,隨之交互設備的邏輯關系也可正常順序執(zhí)行。屬于第一類,肯定命題。如果出現否定判斷“”就需要進行用戶干預,進行選擇判斷,或者返回前一或前幾任務。屬于第二類,否定命題。
通過以上推理關系得出用戶認知識別的神經網絡指導智能產品的運行邏輯過程,可根據用戶行為邏輯來設置終端產品的運行功能樹,進而確定產品的力流關系和能量流,形成產品的設計原理。
根據以上的用戶認知邏輯建立上下文推理模型,通過神經網絡演繹推理出交互終端設備的物邏輯,根據物邏輯需求技術突破點,形成產品功能原理,而功能原理的建立可用力流關系或能量流關系表示,從而建立交互原型。
交互終端模塊的組成結構包括采集模塊、筆畫識別模塊、存儲模塊、文字或符號識別模塊。其中,采集模塊,用于對手寫筆畫時書寫方向和書寫時間的信息采集,并輸出給筆畫識別模塊。
書寫方向和書寫時間的信息可以通過360°壓力和時間傳感器的信息采集來獲取:書寫頭部與書寫界面的摩擦力信息經書寫頭部傳遞給書寫筆內部的壓力傳感器,壓力作用方向和時間的信息可以感測獲得。傳感器所測到的壓力方位和時間便是筆畫書寫的方向和時間。
360°壓力和時間傳感器采集數據的工作原理見圖3。該傳感器以360°內側均布感測點來測出書寫頭部帶給其的作用力方位和作用時間。
圖3 設備原理Fig.3 Principle of equipment
根據圖1—3 中所提出的書寫筆畫的情景感知技術交互流程和神經網絡運行邏輯,以及設備原理演繹出以下幾種優(yōu)選方案。形成設備交互的任務流,從而推斷出設備運行的物邏輯。
圖1 交互邏輯神經網絡Fig.1 Interactive logic neural network
優(yōu)選技術方案1 包括以下步驟。
1)通過360°壓力傳感器獲取筆畫的書寫方向和書寫時間的信息;
2)通過筆畫識別模塊將筆畫的書寫方向和書寫時間的信息與存儲模塊中存儲的對應關系獲取相應的筆畫信息。
優(yōu)選技術方案2 包括以下步驟。
1)將筆畫信息代入存儲模塊中的特征庫查詢,根據筆畫的銜接、組合順序尋找最匹配的文字或符號信息;
2)取得該筆畫或筆畫串所對應的含義,并傳遞給數據庫分析模塊。
優(yōu)選技術方案3 包括以下步驟。
1)如果語音輸入輸出模塊給出的語音信息正確且是用戶所需的文字或符號,則用戶繼續(xù)進行筆畫手寫輸入。
2)如果語音輸入輸出模塊給出的語音信息不正確,不是用戶所需文字或符號,則通過選擇模塊進行文字或符號信息的切換或刪除操作。
優(yōu)選技術方案4 包括以下步驟。
1)通過360°壓力和時間傳感器獲取特殊筆畫的書寫方向和書寫時間信息。
2)通過筆畫識別模塊將特殊筆畫的書寫方向和書寫時間信息與存儲模塊中存儲的對應關系獲取相應的筆畫信息。
3)將筆畫或筆畫串信息代入存儲模塊中的特征庫查詢,尋找最匹配的符號信息。
4)取得該特殊筆畫對應的符號含義,轉換成相應的操作指令信號。
根據任務流所表達的狀態(tài),筆畫識別模塊,用于根據存儲模塊中存儲的對應關系,獲取采集到的與上述作用力方位和時間相對應的筆畫信息[13-15]。
作用力方位和時間信息是通過360°壓力和時間傳感器感測并合成的作用力在感測平面內的方位和時間分布信息,見圖3。存儲模塊用于存儲書寫方向和書寫時間信息與筆畫信息的相對應關系;該作用力的方位就是書寫時終端移動方向,該作用時間就是書寫時終端自身移動相應距離所經過的時間。通過對作用力的方位和時間的感測便可以合成與書寫相應的筆畫,作用力在感測平面內的方位和時間分布信息見圖4—圖9。
圖4 橫的物邏輯Fig.4 Material logic of horizontal
圖6 撇的物邏輯Fig.6 Material logic of left-falling stroke
圖7 捺的物邏輯Fig.7 Material logic of right-falling stroke
圖8 橫折的物邏輯Fig.8 Material logic of Horizontal and turning
圖9 撇折的物邏輯Fig.9 Material logic of left-falling and turning stroke
書寫橫筆時,采集模塊采集到書寫方向和時間的信息示意圖;由于書寫橫筆時,書寫界面給書寫頭部的摩擦力通過書寫頭部傳遞給傳感器,形成書寫頭部給傳感器的壓力(設為F′),該作用力F′與書寫方向一致,作用時間與書寫時間一致。所述作用力F'位于感測平面內X 軸正向區(qū)域內,并持續(xù)一段時間。圖4 中背離圓心的徑向360°為時間軸,同一方向的作用力F'離開圓心越遠說明該方向書寫的時間越長;相同半徑圓周上的點表示力在同一時間內可以被感測到。
書寫豎筆時,傳感器感測到的作用力F'應該在感測平面內Y 軸負向區(qū)域內,并經過一段時間,見圖5。
圖5 豎的物邏輯Fig.5 Material logic of vertical
一些復雜的筆畫,如橫折、撇折,其所呈現的書寫方向和時間的信息示意圖原理同上。
筆畫信息的獲取是通過比對采集到的書寫頭部傳感器的作用力的方位和時間分布信息,與預先存儲的某一筆畫在書寫時其作用力在感測平面內的方位和時間分布信息的對應匹配關系確立。同時,設備物邏輯生成依據于用戶的操作意向。對“橫豎”為基本筆畫的對應關系很好理解,對“撇折”來說,書寫意向和對應的物邏輯曲線見圖9,根據卷積神經網絡的顯著性識別原理,一次識別出首尾意向,二次迭代中,識別間斷的作用力信息,完成識別,獲取筆畫信息。
通過獲取的筆畫信息和筆畫串的銜接、組合,可對文字或符號信息進行識別。步驟主要由文字或符號的識別模塊來實現。例如文字或符號識別模塊所得到的筆畫串信息為“豎”+“橫折”+“橫”+“橫”+“豎”,比對存儲模塊中所存儲的相關信息后給出其所識別的結果為:甲、申、葉、叮。最后由語音信息提示用戶確認、切換或刪除。
文字或符號識別模塊用于根據筆畫識別模塊所得到的筆畫信息及筆畫的銜接、組合信息轉換成相對應的文字或符號信息。
文字或符號識別模塊用于文字識別時,所述存儲模塊還用于存儲筆畫銜接、組合所對應的文字或符號信息。比如,筆畫串按照“︱”“—”“︱”銜接組合,其所對應的文字應該有“土”“工”2 種。文字或符號識別模塊將所有對應的文字或符號信息傳遞給智能模塊,最后通過語音信息傳遞給用戶選擇。
識別模塊負責將用戶筆畫手寫的書寫筆畫進行采集、識別并轉換為數字信號由智能模塊中的中央處理控制模塊處理,最終通過語音輸入輸出模塊進行語音輸出供用戶選擇。
選擇模塊負責將用戶的切換或刪除的控制指令信息進行采集、識別并轉換為數字信號由普適計算模塊中的中央處理控制模塊處理,最終通過語音輸入輸出模塊進行語音輸出反饋用戶。
筆畫手寫識別模塊會根據相同的筆畫組合識別出不同的文字或符號信息,用戶需要根據由普適計算模塊傳遞出的語音信息,提示切換或刪除操作。所述選擇模塊可以為一種按鍵,通過按壓時間的長短來實現切換或刪除所對應的控制操作指令。
通過上述模塊的相互作用,用戶便可實現以筆畫手寫輸入為基礎的功能操作。而手心、桌面、墻面等常見的書寫界面為用戶帶來極佳的操作體驗,極大地擺脫了操作空間的束縛。也可拓展使用在具有隔空書寫功能的輸入產品上。從而設計出交互界面的基本結構原型見圖10。反應了交互過程的物邏輯[16-18],展示了交互原型與交互原型生成的上下文邏輯關系。
圖10 輸入設備的交互原型Fig.10 Interactive prototype of input device
在交互情景中,老年用戶基于經驗、感知、信息加工處理與確認信息。根據情景感知技術,推理演繹用戶與設備功能原理之間的交互邏輯,從而設計出相應終端設備的交互邏輯。在推理演繹過程中,借助神經網絡和邏輯學的方法推斷設備交互邏輯,從而設計出簡便實用的產品結構原型。結合筆畫書寫終端設計的案例,從書寫的情景過程入手,比對交互節(jié)點的概念分析手勢、用戶意向、交互設備和事件節(jié)點,建立任務流,通過上下文推理的方式衍生出交互終端的物邏輯,從而建立符合用戶習慣的書寫筆畫輸入終端的結構原型。通過案例驗證了此設計方法的可行性。