楊俊　高凡承　王新龍　寧磊

摘要：漸凍癥患者隨著病情的發(fā)展會逐漸喪失語言功能，無法通過語言表達內(nèi)心需求，造成較大的心理壓力，為了幫助漸凍人能夠輕松地與外界交流，本文為漸凍人設(shè)計了一種人機交互系統(tǒng)。由于患者會逐漸喪失行動能力，本文設(shè)計了眨眼識別算法，該識別算法能夠識別出眨眼的面部動作，并且區(qū)分接收到的眨眼信號是否為患者有意識地眨眼。交互系統(tǒng)配以圖形界面，圖形界面內(nèi)置了虛擬軟鍵盤，用戶能夠不通過敲擊鍵盤實現(xiàn)打字輸出。設(shè)計的交互系統(tǒng)以眨眼作為人機交互方式，系統(tǒng)將接收到的眨眼信號傳入圖形界面，圖形界面通過虛擬軟鍵盤實現(xiàn)輸出功能?；颊唠m喪失了語言功能和行動能力，但可以通過該交互系統(tǒng)實現(xiàn)眨眼打字，舒緩心理壓力。

關(guān)鍵詞：人臉對齊;人臉特征點檢測;眨眼識別;人機交互

【Abstract】InordertohelpALSpatientscommunicatewiththeoutsideworldeasily，thisresearchdesignsaman-machineinteractionsystemforALSpatients.Becausethepatientwilllosetheabilityofaction，thispaperdesignsaneyeblinkrecognitionalgorithm，whichcanrecognizethefacialmovementsofblinkinganddistinguishwhetherthereceivedblinksignalisconscious.Theinteractivesystemisequippedwithagraphicalinterface，whichhasbuilt-invirtualkeyboard，userscantypewithouthittingthekeyboard.Theinteractivesystemtakesblinkashuman-computerinteractionmode，andtheinteractivesystemcanreceivetheblinksignalandsendittothegraphicinterface.Meanwhile，thegraphicinterfacerealizesexpressionfunctionthroughvirtualkeyboard.Althoughthepatientlostthelanguagefunctionandtheactionability，theinteractivesystemcanhelpthepatientrelievethepsychologicalpressure.

【Keywords】facealignment;facelandmarkdetection;blinkdetection;man-machineinteraction

作者簡介：楊?。?000-），男，本科生，主要研究方向：計算機視覺、人機交互。

0引言

到2020年，全球已有超過一百萬的“漸凍癥”患者[1]。研究可知，罹病患者由于神經(jīng)損傷，喪失語言功能和行動能力，無法與外界交流以滿足自身需求，因此承受巨大的心理壓力和生理痛苦[2]。

為了能讓漸凍癥患者可以自主地與外界交流，本文為漸凍癥患者設(shè)計了一種人機交互系統(tǒng)，使用該系統(tǒng)患者將無需穿戴任何設(shè)備，只需面對攝像頭，通過眨眼與計算機交互，并通過圖形界面來完成打字輸出，輕松地實現(xiàn)與外界交流。

1交互方式的設(shè)計

由于漸凍癥患者隨著病情的加重會喪失語言和行動能力，所以無法通過控制手指敲擊鍵盤與計算機交互。患者通常只能控制眼睛的運動，因此有面向

漸凍人設(shè)計的人機交互系統(tǒng)是通過識別眼球來展開研究，將人眼眼球的位置作為輸入信號來與計算機進行交互[3]，但是這種交互方式存在一些不足。首先，計算機無法判斷輸入信號是否為患者有意識地交互，易造成誤判。其次，人眼眼球運動幅度較小，不易被計算機辨別，增加了交互難度。并且，患者的視線長時間注視在顯示器的同一位置，易造成視覺疲勞。

本次研究即以眨眼作為患者和計算機交互的方式，通過訓練面部標志模型，設(shè)計眨眼檢測算法和圖形界面，來實現(xiàn)人機交互。同時，眨眼檢測算法能夠辨別患者是否為有意識地眨眼，避免了誤判，提升了交互系統(tǒng)的穩(wěn)定性，降低了操作難度。

2眨眼識別算法的研究

2.1人臉特征點檢測模型的選擇

為了能夠辨別患者是否眨眼，研究時需要有能夠識別人眼關(guān)鍵點的深度學習模型，關(guān)鍵點包括左側(cè)眼角關(guān)鍵點、右側(cè)眼角關(guān)鍵點、左側(cè)上眼瞼關(guān)鍵點、右側(cè)上眼瞼關(guān)鍵點、左側(cè)下眼瞼關(guān)鍵點以及右側(cè)下眼瞼關(guān)鍵點[4]，如圖1所示。過程中還要考慮到患者頭部姿態(tài)的改變對識別精確度的影響，該模型也要能夠克服頭部姿態(tài)所帶來的噪聲，因此深度學習的神經(jīng)網(wǎng)絡(luò)模型采用深度對齊網(wǎng)絡(luò)[5]（DeepAlignmentNetwork）。深度對齊網(wǎng)絡(luò)的輸入為整張圖片，充分利用了人臉的全局信息，使得檢測人臉關(guān)鍵點時受頭部姿態(tài)的影響較小。深度對齊網(wǎng)絡(luò)每個階段均有3個輸入，分別是：被矯正過的圖片、關(guān)鍵點熱圖和全連接層生成特征圖。每個階段有一個輸出，是面部形狀。每階段的輸出要經(jīng)過連接層轉(zhuǎn)換，得到下個階段的3個輸入。網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2所示。

同時，將圖片輸入全連接層，以線性整流函數(shù)作為激活函數(shù)，再進行上采樣，得到用于輸入的特征圖。

經(jīng)過多層網(wǎng)絡(luò)迭代訓練，最終得到能識別人臉面部關(guān)鍵點的深度學習模型。經(jīng)由分析可知，深度對齊網(wǎng)絡(luò)加入了關(guān)鍵點熱圖，神經(jīng)網(wǎng)絡(luò)能以整張圖片作為輸入，提取人臉的全局信息，所以深度學習模型能夠較好地克服頭部姿態(tài)導致的干擾，識別效果如圖6所示。

2.2眨眼檢測算法的設(shè)計

在實現(xiàn)2.1節(jié)研發(fā)的基礎(chǔ)上，本文就能得到人臉中眼睛的6個關(guān)鍵點坐標，如圖7所示。

在患者閉眼時，關(guān)鍵點坐標會發(fā)生顯著變化，如圖8所示。

由于人臉與攝像頭之間的距離會影響圖片中2像素點之間坐標的差值[6]，因此通過計算出上下眼瞼關(guān)鍵點距離之和與左右側(cè)眼角關(guān)鍵點距離的比值[7]，來判斷人眼的狀態(tài)，令函數(shù)DR如下式所示：

3人機交互界面的設(shè)計

人機交互系統(tǒng)以眨眼作為人機交互方式，圖形界面均勻地排布著26個英文字母按鍵[8]，作為虛擬軟鍵盤的界面。并且加入了便捷按鍵，能夠直接在顯示框中輸出常用的交流短語，例如：“Iwanttodrinkwater”，“Iamhungry”等，以提升交互界面的使用便捷度，交互界面如圖11所示。

研究中為了降低患者使用該系統(tǒng)的復(fù)雜度，減少眨眼次數(shù)，圖形交互界面會先循環(huán)選中每一行字母按鍵，每行選中時停留3s的時間，若在停留時間內(nèi)，圖形界面接受到眨眼輸入信號，則會退出行循環(huán)，開始循環(huán)選中該行中的每一個字母按鍵，每個按鍵選中時停留3s的時間，若在停留時間內(nèi)，圖形界面接收到眨眼輸入信號，則輸出框中會出現(xiàn)選中的字母，并退出該行的字母按鍵循環(huán)。此時交互系統(tǒng)完成一次輸出，開始進行下一輪行循環(huán)，等待眨眼信號的輸入。

該圖形界面自動循環(huán)選中按鍵，不需要患者通過眨眼來操縱選中按鍵的位置，極大程度上減少了眨眼操作的次數(shù)。并且圖形界面先循環(huán)選中每行按鍵，患者確認某行按鍵后，再循環(huán)選中該行中的每一個字母按鍵，兼顧了眨眼交互的效率。

4結(jié)束語

本文提出了一種為漸凍人設(shè)計的有意識的眨眼交互系統(tǒng)。該交互系統(tǒng)采用眨眼作為人機交互的方式，并且患者的視線不需要長時間注視在屏幕上，提升了使用者的舒適度。漸凍癥患者可以通過眨眼來操控圖形界面的輸出框顯示出想要表達的內(nèi)容，從而幫助其及時與醫(yī)護人員溝通，該人機交互系統(tǒng)具有一定的創(chuàng)新性和實際應(yīng)用價值。

參考文獻

[1]BROWNRH，SWASHM，PASINELLIP.Amyotrophiclateralsclerosis[M].2nded.Florida：CRCPress，2006.

[2]劉曉陽.罕見病群體網(wǎng)絡(luò)社群的使用及其對心理健康的影響研究[D].廈門：廈門大學，2019.

[3]王浩沖，沈小鍵，賈磊，等.睿眼隨心—漸凍人腦電輔助交互系統(tǒng)[J].物聯(lián)網(wǎng)技術(shù)，2018，8（5）：13-14.

[4]張云，李嵐.基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉特征點識別算法實現(xiàn)[J].蘭州理工大學學報，2020，46（3）：105-109.

[5]朱富麗，楊磊，姬波.基于增強并行級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法[J].計算機應(yīng)用與軟件，2020，37（11）：101-105，111.

[6]黃琬婷，胡小平.一種基于張氏標定法的單目相機改進標定算法[J].導航與控制，2019，18（1）：105-111.

[7]余貴珍，牛歡，張艷飛，等.一種基于單目攝像頭的前向物體橫向距離標定方法：中國，CN109087361A[P].2018-12-25.

[8]董小龍，趙斯衎.基于手勢識別的人機交互技術(shù)的研究[J].電子制作，2020（19）：73-74，54.