鄭敏敏 高小榕

（清華大學(xué)醫(yī)學(xué)院生物醫(yī)學(xué)工程系，北京 100084）

ZHENG Min-Min GAO Xiao-Rong*

（Biomedical Engineering Department，Tsinghua University，Beijing 100084，China）

引言

患者的肢體運(yùn)動(dòng)功能障礙嚴(yán)重影響其與外界的溝通能力，傳統(tǒng)的人機(jī)交互設(shè)備，如鍵盤、鼠標(biāo)等無法滿足這些患者的需求，已有學(xué)者對無障礙人機(jī)交互課題進(jìn)行了廣泛的研究，試圖設(shè)計(jì)出一種不依賴肢體運(yùn)動(dòng)的人機(jī)交互接口，并在此基礎(chǔ)上設(shè)計(jì)出一套便于肢體運(yùn)動(dòng)障礙患者使用的人機(jī)交互系統(tǒng)［1］。經(jīng)過多年研究，目前比較有應(yīng)用前景的方案有：肌電控制、腦機(jī)接口控制和眼動(dòng)控制等。

這幾種人機(jī)交互方式，各自都有自身的優(yōu)點(diǎn)和缺點(diǎn)，所以有相關(guān)研究者嘗試了將多種電生理信號進(jìn)行綜合分析，揚(yáng)長避短，以期得到一種更加高效、可靠的無障礙人機(jī)交互方法，如綜合眼電和穩(wěn)態(tài)視覺誘發(fā)電位進(jìn)行目光跟蹤的方法研究［2－3］。

在上述幾種無障礙的人機(jī)交互方式中，眼動(dòng)控制更易于為大部分患者所接受。大部分患有嚴(yán)重運(yùn)動(dòng)障礙的殘疾人仍可較自如地控制眼球運(yùn)動(dòng)，若將這些眼動(dòng)信息有效地提取出來轉(zhuǎn)化成控制命令操縱計(jì)算機(jī)或其他輔助設(shè)備，則能更好地為殘疾人服務(wù)［4］。目前眼球運(yùn)動(dòng)探測的方法主要有：搜索線圈法、眼電圖技術(shù)、紅外線眼動(dòng)圖法、基于計(jì)算機(jī)圖形學(xué)的方法以及影像追蹤法。

搜索線圈法是在用戶眼前佩戴一個(gè)感應(yīng)線圈，同時(shí)在用戶周圍添加一個(gè)磁場，通過感應(yīng)線圈中的感應(yīng)電流來分析眼動(dòng)情況。該方法對頭部活動(dòng)限制不嚴(yán)、時(shí)空分辨率高、不受光線影響，但其價(jià)格昂貴、設(shè)備龐大、便攜性差。

紅外線眼動(dòng)圖法是利用紅外線光源在眼角膜邊緣的反射差異，來檢測眼球運(yùn)動(dòng)狀況。該方法不需要與用戶身體接觸，但容易受可見光影響，需要相對穩(wěn)定的使用環(huán)境。

計(jì)算機(jī)圖形學(xué)的方法和影像追蹤法都存在價(jià)格昂貴的缺點(diǎn)，不利于大眾化。

在眼動(dòng)控制的幾種方法中，眼電技術(shù)具有成本低、便于操作等優(yōu)勢。筆者研究了基于眼電信號（EOG）的人機(jī)交互系統(tǒng)，實(shí)現(xiàn)了眼球運(yùn)動(dòng)方向特征提取與分類，提出了在特征方向投影信號中，以眼球跳動(dòng)時(shí)產(chǎn)生的眼動(dòng)波形前沿的正負(fù)作為特征參數(shù)的眼動(dòng)檢測方法。對8名不同受試者分別采集EOG數(shù)據(jù)，分析眼動(dòng)跳視方向?qū)崿F(xiàn)字符輸入，并以正確率和信息傳輸率對該系統(tǒng)的性能做出評估，驗(yàn)證了所提算法的有效性。

1 方法

1.1 系統(tǒng)描述

本系統(tǒng)主要設(shè)計(jì)目的是為有特殊要求的肢體運(yùn)動(dòng)障礙群體提供一種不需依賴肢體進(jìn)行信息交流的人機(jī)交互系統(tǒng)，讓使用者能夠依靠控制眼球視線方向與外界進(jìn)行信息交流，該系統(tǒng)的基本特征為：

a）利用眼球跳視運(yùn)動(dòng)實(shí)現(xiàn)人機(jī)交互，方便肢體運(yùn)動(dòng)障礙患者與外界進(jìn)行信息交互。

b）無創(chuàng)提取眼電進(jìn)行眼球運(yùn)動(dòng)檢測。

c）采用一種基于數(shù)學(xué)形態(tài)學(xué)的平滑濾波器對原始眼電信號進(jìn)行濾波處理，可去除眼電信號中的眨眼干擾并增強(qiáng)信號的信噪比。

d）使用的USB接口的眼電放大器便于系統(tǒng)的實(shí)現(xiàn)與應(yīng)用。

系統(tǒng)框架圖如圖1所示，主要是：a）采集用戶眼電信號的信號采集模塊，b）眼電信號處理的信號分析模塊，c）與用戶進(jìn)行信息交互的應(yīng)用界面。其中信號采集模塊用于采集和放大原始眼電信號。

圖1 系統(tǒng)框架圖Fig.1 System diagram

1.2 眼動(dòng)交互界面設(shè)計(jì)

1.2.1 產(chǎn)生8個(gè)方向跳視眼動(dòng)的方法

基于眼動(dòng)的人機(jī)交互界面設(shè)計(jì)，利用8個(gè)目標(biāo)從屏幕中心點(diǎn)到外周的往復(fù)跳躍誘導(dǎo)眼睛的跳視。使用者保持頭部靜止，注視選擇目標(biāo)并跟隨目標(biāo)的跳動(dòng)移動(dòng)目光，同時(shí)記錄水平和垂直眼電。

1.2.2 眼電采集方式

采集設(shè)備是清華大學(xué)神經(jīng)工程實(shí)驗(yàn)室設(shè)計(jì)的多導(dǎo)腦電放大器，記錄受試眼電，采樣頻率為1 000Hz。本系統(tǒng)采用3個(gè)電極來采集眼電信號，如圖1所示。右眼上下側(cè)的兩個(gè)電極（B-C）負(fù)責(zé)采集EOG信號的垂直分量，以B、C兩個(gè)電極采集到的EOG信號的平均值，與右眼角的電極D采集到的EOG信號相減作為水平眼電，A為接地電極，參考電極在耳凸處。

1.3 算法描述

基于EOG的眼動(dòng)信息提取與分類算法由3部分組成：EOG信號預(yù)處理、EOG信號特征提取、EOG信號分類。算法流程圖如圖2所示。

1.3.1 數(shù)學(xué)形態(tài)學(xué)

圖2 算法處理流程Fig.2 Algorithm processing flow

數(shù)學(xué)形態(tài)學(xué)（mathematical morphology）是一種圖像分析方法。它是由一組形態(tài)學(xué)的代數(shù)運(yùn)算子組成，包含4個(gè)基本運(yùn)算：膨脹、腐蝕、開啟和閉合。

通過選取合適的結(jié)構(gòu)元素，腐蝕可消除比結(jié)構(gòu)元素小的毛刺、小凸起和物體邊界點(diǎn)；膨脹可填充物體中比結(jié)構(gòu)元素小的孔洞及圖像邊緣處的小凹陷部分。

利用數(shù)學(xué)形態(tài)學(xué)主要用于平滑掉原始眼電信號中混合的肌電、系統(tǒng)干擾等高頻尖峰噪聲；去除眨眼信號，降低其對信號識(shí)別造成的干擾［5］。

假設(shè)對p維變量X=（x1，x2，…，xp）進(jìn)行處理，M維的結(jié)構(gòu)元素K=（k1，k2，…，kM），膨脹定義［6］為

腐蝕定義為

在本實(shí)驗(yàn)中，將K設(shè)為M維的零向量。

由于在對點(diǎn)xm進(jìn)行膨脹和腐蝕運(yùn)算時(shí)，需要用到待處理數(shù)據(jù)中xm，xm+1，…，xm+M－1共M個(gè)點(diǎn)的值，因此膨脹和腐蝕運(yùn)算在處理當(dāng)前點(diǎn)的時(shí)候會(huì)產(chǎn)生M個(gè)點(diǎn)即結(jié)構(gòu)元素長度的延遲。

開運(yùn)算定義為對待處理信號先腐蝕后膨脹，與開運(yùn)算相對應(yīng)的閉運(yùn)算定義為對待處理信號先膨脹后腐蝕，它們分別定義為

在對點(diǎn)xm進(jìn)行開、閉運(yùn)算時(shí)，會(huì)產(chǎn)生2M個(gè)點(diǎn)的延遲。進(jìn)行數(shù)學(xué)形態(tài)學(xué)操作的最主要目的是去除眨眼干擾，而一般情況下眨眼的持續(xù)時(shí)間小于0.2 s左右，本實(shí)驗(yàn)過程中數(shù)據(jù)采樣率為1 000Hz，所以M取值為200，對應(yīng)時(shí)間長度為0.2 s。

本系統(tǒng)采用3個(gè)電極來采集眼電信號，分別為右眼右側(cè)的電極采集的眼電信號O1，右眼上側(cè)的電極采集的眼電信號O2，右眼下側(cè)的電極采集的眼電信號O3。數(shù)據(jù)處理過程中將X1=O1－（O2+O3）/2作為水平眼電，將X2=O2－O3作為垂直眼電。

數(shù)學(xué)形態(tài)學(xué)算法的主要步驟是將眼電的兩個(gè)信號X1和X2按式（5）進(jìn)行基于數(shù)學(xué)形態(tài)學(xué)的濾波，Yi代表數(shù)學(xué)形態(tài)學(xué)處理后的信號，Xi（i=1，2）代表原始的水平眼電和垂直眼電

分解式（5），數(shù)學(xué)形態(tài)學(xué)的具體計(jì)算過程為：對Xi依次進(jìn)行開操作的腐蝕運(yùn)算、膨脹運(yùn)算和閉操作的膨脹運(yùn)算、腐蝕運(yùn)算，其中，腐蝕運(yùn)算是取結(jié)構(gòu)元素長度的數(shù)據(jù)中的最小值操作，膨脹運(yùn)算是取結(jié)構(gòu)元素長度的數(shù)據(jù)中的最大值操作。

1.3.2 主成分分析

主成分分析是數(shù)學(xué)上對數(shù)據(jù)降維的一種方法［7］。通常數(shù)學(xué)上的處理就是將原來p個(gè)數(shù)值作線性組合，得到p個(gè)新的綜合數(shù)值［8］，其第一分量對應(yīng)的特征向量可以用來構(gòu)成空域?yàn)V波器，提取能量最大的投影方向，實(shí)現(xiàn)8個(gè)眼動(dòng)方向的提取增強(qiáng)。

在使用PCA方法時(shí)，一般使用奇異值分解（SVD）求得單位特征向量和特征值。

為獲取每個(gè)方向上的PCA主分量來構(gòu)成空間投影濾波器，首先要得到只包含單一方向眼動(dòng)的訓(xùn)練數(shù)據(jù)，然后對這組數(shù)據(jù)進(jìn)行主分量分析，得到的主分量即為空間投影濾波器。本實(shí)驗(yàn)的操作過程是使用者保持身體尤其是頭部靜止，眼球保持與系統(tǒng)界面上的“+”光標(biāo)同步跳動(dòng)，用來進(jìn)行特征提取和分類的是眼球跳動(dòng)信號中的沿的正負(fù)性質(zhì)。由于某個(gè)方向的眼球跳動(dòng)信號在同一方向的特征向量中的投影中階躍幅度變化最顯著，所以可以利用跳視產(chǎn)生的階躍信號特征進(jìn)行信號分類。

由于8個(gè)方向存在兩兩相反的方向，只有4個(gè)獨(dú)立的，只需要提取4個(gè)方向的投影矩陣，圖3為8個(gè)方向的眼電示意圖。

數(shù)學(xué)形態(tài)學(xué)處理后的水平眼電和垂直眼電為Yi，j（i=1，2；j=1，2，3，4），i為數(shù)據(jù)通道，分別是水平和垂直眼電，j為方向。Yi，j中包含了右、右上、上、左上四個(gè)方向的數(shù)據(jù)，從 Yi，j分離出 4組數(shù)據(jù)（Y1，1；Y2，1）、（Y1，2；Y2，2）、（Y1，3；Y2，3）、（Y1，4；Y2，4），每組數(shù)據(jù)代表一個(gè)方向的眼電信號。由于經(jīng)過數(shù)學(xué)形態(tài)學(xué)、差分處理后，在時(shí)間維度上的數(shù)據(jù)點(diǎn)數(shù)會(huì)減少，為了避免包含有用信息的數(shù)據(jù)的減少，所以可在每一組數(shù)據(jù)的起止位置添加一定長度的不包含有用信息的數(shù)據(jù)，在本實(shí)驗(yàn)的處理過程中，分別將每組數(shù)據(jù)截取的起止位置提前2M+50、延后2M+450個(gè)點(diǎn)，總視窗長度2.3 s。其中起止位置的參考時(shí)間點(diǎn)為“+”光標(biāo)在屏幕中心的時(shí)刻，延后450個(gè)點(diǎn)的意義是：由于受試不能嚴(yán)格保持與“+”光標(biāo)同步而造成眼球回歸屏幕中心的時(shí)刻滯后，進(jìn)而使有用信息出現(xiàn)的時(shí)刻滯后，為了防止該有用信息丟失，所以增加了該延遲量。

圖3 8個(gè)方向的眼電示意圖Fig.3 Schematic diagram of EOG in 8 directions

經(jīng)過式（6）的奇異值分解SVD處理后得到4個(gè)方向的特征矩陣Uj（j=1，2，3，4）。為了去除基線漂移的干擾，在進(jìn)行PCA處理之前，本實(shí)驗(yàn)利用IIR濾波器進(jìn)行了濾波處理。

在Yi，j中包含了相應(yīng)方向的多個(gè)試次的眼電數(shù)據(jù)，在獲取極性值的步驟中，為了充分利用眼電數(shù)據(jù)，同時(shí)為了避免單個(gè)試次眼電數(shù)據(jù)的偶然錯(cuò)誤，所以提取了多個(gè)試次的眼電數(shù)據(jù)進(jìn)行分析，假設(shè)提取出q個(gè)試次的眼電數(shù)據(jù)Yi，jk（i=1，2；j=1，2，3，4；k=1，2，…，q）。由于某一方向的眼電信號投影到同一方向的特征矩陣后，其有用信息主要包含在投影結(jié)果的第一分量中，所以為了減少計(jì)算量，可以只將眼電信號投影到特征矩陣的第一分量中。將Yi，j（i=1，2；j=1，2，3，4）投影到對應(yīng)方向的特征矩陣的第一分量Pj=Uj1（j=1，2，3，4）中，投影結(jié)果為Cjk，，表示為

固定j值，統(tǒng)計(jì)出Djk（j=1，2，3，4；k=1，2，…，

q）的開始沿中上升沿和下降沿的個(gè)數(shù)：當(dāng)上升沿的個(gè)數(shù)多于下降沿的個(gè)數(shù)時(shí)，則Pj不變；反之則Pj=－Pj，進(jìn)行反向處理，方向矯正后的投影向量用于后續(xù)處理。

1.3.3 眼動(dòng)跳視判別算法

字符輸入階段，在每個(gè)“+”光標(biāo)跳動(dòng)周期中分析眼動(dòng)信號：假設(shè)將該周期中的原始水平眼動(dòng)信號和垂直眼電信號經(jīng)數(shù)學(xué)形態(tài)學(xué)平滑處理后得到（Z1；Z2），Z1為水平眼電，Z2為垂直眼電。依次投影到4個(gè)方向的特征向量Pj（j=1，2，3，4）中，投影公式為（7），輸出為PCj（j=1，2，3，4）

并根據(jù)差分公式（8）提取出開始沿的值和沿的正負(fù)性，輸入為PCj（j=1，2，3，4），輸出為PDj（j=1，2，3，4）。

找出4個(gè)開始沿中差分絕對值最大的沿max（abs（PDj））所對應(yīng)的特征矩陣，確定眼動(dòng)的大致方向：如果abs（PD1）最大，則確定眼動(dòng)的大致方向?yàn)樯舷拢环杝gn（PD1）表示眼動(dòng)的具體方向：如果PD1為正，則眼動(dòng)的具體方向?yàn)樯希绻鸓D1為負(fù)，則眼動(dòng)的具體方向?yàn)橄拢划?dāng)最大沿的絕對值不超過某一固定值時(shí)，判定為未發(fā)生眼動(dòng)。

1.4 字符輸入系統(tǒng)設(shè)計(jì)

8名年齡20～30歲健康的眼部功能正常的志愿者（4男4女），均參與過EOG信號采集實(shí)驗(yàn)，對實(shí)驗(yàn)環(huán)境比較熟悉。實(shí)驗(yàn)任務(wù)是：訓(xùn)練階段，志愿者保持頭部不動(dòng)，眼球盡量與“+”光標(biāo)保持同步，光標(biāo)在中間停留0.5 s，在上、下、左、右、左上、右上、左下、右下8個(gè)方向中各停留1s，且每個(gè)方向出現(xiàn)是等概率的；字符輸入階段，“+”光標(biāo)在中間停留1.5 s，在8個(gè)方向停留1 s，且光標(biāo)是同時(shí)出現(xiàn)在8個(gè)方向，志愿者在與“+”光標(biāo)保持同步的基礎(chǔ)上，根據(jù)自己意愿移動(dòng)眼球，完成輸入一個(gè)有意義的句子。刺激材料采用VC編寫，刺激界面如圖4所示，表1顯示了8個(gè)方向中對應(yīng)的兩級菜單的內(nèi)容。

圖4 刺激界面。（a）“+”光標(biāo)發(fā)散界面；（b）“+”光標(biāo)集中界面Fig.4 Stimulus interface.（a）Interface of divergent“+”cursor；（b）Interface of centralized“+”cursor

表1 菜單內(nèi)容（—表示控件內(nèi)容不變，A級菜單中的←表示刪除，B級菜單中的←表示返回）Tab.1 The contents of the menu（—represents contents unchanged in controls；←represents deletion in A-level menu，return in B-level menu）

2 結(jié)果

圖5 原始訓(xùn)練數(shù)據(jù)Fig.5 Original training data

圖5為在訓(xùn)練階段采集到的原始水平和垂直數(shù)據(jù)。從圖中可以看到，眼電曲線較粗，同時(shí)垂直眼電有很多尖峰，這些尖峰都是由眨眼動(dòng)作引起的。

圖6為經(jīng)過數(shù)學(xué)形態(tài)學(xué)平滑處理后的水平和垂直眼電波形，從圖中可以看出，眼電曲線變細(xì)，同時(shí)垂直眼電中的尖峰數(shù)明顯減少，基本上達(dá)到了數(shù)據(jù)處理的預(yù)期。

圖6 平滑后的訓(xùn)練數(shù)據(jù)Fig.6 Training data after smoothing

對上述處理后的眼電信號進(jìn)行主成分分析，圖7表示P2方向的眼電信號投影到相應(yīng)的轉(zhuǎn)換坐標(biāo)系后的結(jié)果，P1、P3和P4方向的眼電處理結(jié)果與此類似。

實(shí)驗(yàn)結(jié)果用信息傳輸率來表征該系統(tǒng)的好壞，它綜合了速度和正確率，是衡量系統(tǒng)性能的標(biāo)準(zhǔn)方法。信息傳輸率為

式中，N為供選擇的目標(biāo)的數(shù)量（本實(shí)驗(yàn)中為9），p為識(shí)別的正確率，B為每次選擇可傳遞的比特?cái)?shù)，單位為bits，綜合時(shí)間因素，將單位轉(zhuǎn)換成b/min，得到平均信息傳輸率ITR，（10）為轉(zhuǎn)換公式，其中selec表示字符輸入階段輸入的所有字符個(gè)數(shù)，t表示完

圖7 波形比較。（a）P2方向眼電經(jīng)PCA處理前波形；（b）P2方向眼電經(jīng)PCA處理后波形Fig.7 Waveform comparison.（a）EOG waveform before PCA processing in the direction of P2；（b）EOG waveform before PCA processing in the direction of P2

表2 實(shí)驗(yàn)結(jié)果Tab.2 Experimental results

成所有字符輸入所花費(fèi)的時(shí)間，單位為s。

3 討論和結(jié)論

一共8名受試參加了本實(shí)驗(yàn)，實(shí)驗(yàn)過程中，在受試適應(yīng)本系統(tǒng)并掌握正確的眼動(dòng)方法后都可以進(jìn)行字符輸入操作。適應(yīng)系統(tǒng)的時(shí)間因人而異，適應(yīng)力強(qiáng)的可以一次性完成全部操作，適應(yīng)力較弱的可能需要經(jīng)歷3次以上的訓(xùn)練階段。

除適應(yīng)階段因人而異外，系統(tǒng)具有學(xué)習(xí)功能，能夠在適應(yīng)階段通過機(jī)器學(xué)習(xí)訓(xùn)練出每個(gè)受試的訓(xùn)練模板，從而在字符輸入階段盡可能地減少個(gè)人因素的影響。受試體驗(yàn)后，均表示系統(tǒng)靈敏，未發(fā)現(xiàn)有系統(tǒng)延遲響應(yīng)的問題。

但系統(tǒng)對有些受試的眨眼動(dòng)作還是有誤判的情況。根據(jù)算法的思想，在對信號進(jìn)行分類之前都進(jìn)行了數(shù)學(xué)形態(tài)學(xué)的處理，這一步驟的目的是對波形去噪平滑，最主要是去除眨眼干擾。根據(jù)受試反映，當(dāng)“+”字光標(biāo)在屏幕中央有眨眼動(dòng)作時(shí)，系統(tǒng)會(huì)識(shí)別出這一動(dòng)作，并發(fā)生隨機(jī)的誤判；當(dāng)“+”光標(biāo)發(fā)散時(shí)，眨眼動(dòng)作不會(huì)被系統(tǒng)識(shí)別。經(jīng)過討論，得到的建議改進(jìn)措施為：在分類算法中，加入波形幅值的判斷，當(dāng)幅值超過某一閾值時(shí)，判為眨眼并不對其進(jìn)行分類。

本研究基于不同眼動(dòng)方向產(chǎn)生的眼電信號的特征差異，通過對眼動(dòng)信號的檢測、處理和識(shí)別，處理方法包括數(shù)學(xué)形態(tài)學(xué)和主成分分析，將識(shí)別結(jié)果作為字符輸入系統(tǒng)的輸入命令，實(shí)現(xiàn)了肢體障礙患者與外界進(jìn)行信息交流的目的。

［1］吳湛微.從EOG掃視信號中提取人眼位置信息的研究［D］.上海：華東理工大學(xué)，2004.

［2］Bin Guangyu，Gao Xiaorong，Yan Zheng，et al.An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method［J］，Journal of Neural Engineering，2009，6：046002.

［3］郭琛，高小榕.基于眼電和穩(wěn)態(tài)視覺誘發(fā)電位分析的目光跟蹤方法［J］.中國生物醫(yī)學(xué)工程，2012，31（3）：382－387.

［4］CHEN Yu-Luen.Application of tilt sensors in human－computer mouse interface for people with disabilities［J］.Neural Systems and Rehabilitation Engineering，IEEE Transactions on，2001，9：289－294.

［5］陳衛(wèi)東，李昕，劉俊，等.基于數(shù)學(xué)形態(tài)學(xué)的眼電信號識(shí)別及其應(yīng)用［J］.浙江大學(xué)學(xué)報(bào)（工學(xué)報(bào)），2011，45（4）：644－649.

［6］Musa Hakan ASYALI，Seyfullah Halit OGUZ.A morphology based algorithm for baseline wander elimination in ECG records［C］. Proceedings ofthe IEEE InternationalBiomedical Engineering Days.Istanbul Turkey：IEEE，1992：160 －164.

［7］張敏，李陶深，鐘淑瑛.基于 Matlab的主成分分析方法（PCA）的實(shí)現(xiàn)［J］.廣西大學(xué)學(xué)報(bào)（自然科學(xué)報(bào)），2005，30：74－77.

［8］牟華英.用主成分分析和 Fisher準(zhǔn)則的腦電信號分類［J］.科學(xué)技術(shù)與工程，2009，9（22）：6853 －6855.