謝超

（株洲長遠智造股份有限公司，湖南株洲，412000）

0 緒論

社會調(diào)查顯示，目前我國約有20萬“漸凍人”，目前該癥還無法根治，只能延緩?fù)纯嗪蜕鏁r間?；加袧u凍癥的病者生活無法自理，事無巨細只能依靠外界的幫助，并且我國有肢體障礙和語言障礙的殘障人士不在少數(shù)。基于這一社會現(xiàn)實，結(jié)合我國蓬勃發(fā)展的物聯(lián)網(wǎng)技術(shù)，現(xiàn)開發(fā)出了一款眼控智能眼鏡，旨在為這部分特殊人群服務(wù)，做出實質(zhì)性的公益幫助。本智能設(shè)備在外觀和功能皆考慮到使用者的身體狀況以及實際需求，研究出了一款后置式便攜式眼鏡，不僅能在智能手機、電腦PC端及智能家居三個平臺多方面應(yīng)用，還擁有輔助性交互界面。

1 總體設(shè)計

本產(chǎn)品以智能家居為依托，融入了互聯(lián)網(wǎng)+和大數(shù)據(jù)的技術(shù)，能提供高精準的服務(wù)，該產(chǎn)品的設(shè)計由系統(tǒng)整體設(shè)計、硬件設(shè)計、手機APP設(shè)計、智能家居設(shè)計、電腦端設(shè)計等部分組成。

本系統(tǒng)中，使用者通過自己眼球的移動，來控制離自己很遠的聯(lián)網(wǎng)家用電器和智能手機端。

流程一：使用者通過眼球移動來發(fā)出指令，智能眼鏡上的攝像頭來捕捉眼球的動作，再通過眼鏡上的主控芯片，來判斷眼球的移動，進而得到使用者的指令。然后把獲取的指令通過藍牙模塊發(fā)送到智能手機端，通過操控手機端App，使用者就可以體驗到手機上便捷的服務(wù)。

流程二：使用者通過眼球移動來發(fā)出指令，智能眼鏡上的攝像頭來捕捉眼球的動作，再通過眼鏡上的主控芯片，來判斷眼球的移動，進而得到使用者的指令。利用zigbee通信發(fā)送到PC（電腦）端，PC端接受傳來的指令就執(zhí)行相應(yīng)的操作。比如模擬鼠標動作，瀏覽電子圖書，觀看視頻，玩休閑游戲等休閑活動。

流程三：使用者發(fā)送指令通過局域網(wǎng)服務(wù)器來控制的聯(lián)網(wǎng)家電，同時服務(wù)器就可以獲取使用者的指令代碼，分析這些數(shù)據(jù)，這樣就可以推測出使用者的生活習(xí)慣，使使用者不懂移動就可以操控身邊的智能家居電器。

流程四：使用者通過本產(chǎn)品可實現(xiàn)語音交流功能。通過眼動來控制光標的移動來輸入使用者的想要說的話，再通過語音轉(zhuǎn)換軟件來是實現(xiàn)使用者“說話”的功能。

2 硬件設(shè)計

圖2中所示的便是智能眼鏡的組成框圖，眼鏡上硬件主要包括搭載控制器的集成電路板、貼片藍牙模塊、數(shù)字攝像頭、液晶顯示屏和鋰電池，通過將這些部分組合起來，共同構(gòu)建了一個智能眼鏡系統(tǒng)。

圖2 系統(tǒng)硬件設(shè)計圖

控制器采集數(shù)字攝像頭拍攝的人眼圖像，經(jīng)過處理后得到眼球的坐標，從而達到實時追蹤人眼移動軌跡的效果?？刂破髟賹⒀矍蛞苿拥男畔⒁怨鈽说男问斤@示在液晶顯示屏上，液晶顯示屏上同時還會顯示出功能菜單，用戶可以通過轉(zhuǎn)動眼球來移動屏幕上的光標，從而實現(xiàn)功能選擇?？刂破鬟€可以通過藍牙向外部的模塊發(fā)送控制指令，以及接收一定的信息。智能眼鏡上的鋰電池用于為整個眼鏡供電。眼鏡上還設(shè)置了一個休眠按鍵，用戶可以通過按下此按鍵來使眼鏡脫離休眠狀態(tài)或者是進入休眠狀態(tài)，眼鏡上的控制器在大多數(shù)情況下是處于休眠狀態(tài)下的，以此來降低整個設(shè)備的功耗，增長了眼鏡的使用時間。

3 眼部坐標提取算法

由于裝置的操作與判定基于使用者的眼球坐標與運動軌跡，因此使用者眼球圖像的捕捉提取十分重要，準確高效的提取算法是整套系統(tǒng)穩(wěn)定運行的關(guān)鍵。

如圖3所示，在眼部坐標提取流程上，首先由攝像頭捕獲使用者的眼部圖像，實時將圖像傳至主控芯片中；然后經(jīng)過基本圖像處理，獲取出較為純凈的使用者眼部二值化圖像；最終通過中心計算，獲取并記錄實時使用者的眼珠中心點位置。至此系統(tǒng)便可獲得使用者眼部的實時坐標與運動軌跡，從而可進行后續(xù)相應(yīng)判斷操作。

圖3 眼部坐標提取流程

進一步地，為避免使用者不清楚目前自己眼睛所處位置是否為自己的預(yù)期點，系統(tǒng)依據(jù)眼珠相對坐標實時在顯示模塊上繪制光標用以對使用者進行視覺上的反饋。這一設(shè)計可以提高使用者的操作感，極大的降低了誤操作的概率。

4 圖像處理流程

在眼部坐標提取算法中，圖像處理流程如圖4所示。主要流程為：灰度處理、濾波處理、邊緣檢測、中心識別。

圖4 圖像處理流程圖

(1)灰度處理：由攝像頭采集回來的為RGB格式彩色圖像，如圖5所示，圖上坐標為像素坐標示意。在系統(tǒng)應(yīng)用中，色彩信息并不重要，并且會占據(jù)大量的存儲空間。因此首先需要將圖像進行灰度處理，去除顏色信息，僅保留灰度信息。這將使圖像簡化，改善畫質(zhì)，提升圖像顯示效果，并有利于后續(xù)對圖像進行的運算處理。

圖5 捕獲的原始圖像

在RGB格式的彩色圖像中，每一個像素點都有R、G、B三分量數(shù)據(jù)，分別表示該點的紅色光、綠色光、藍色光的相對亮度。將某點的RGB分量轉(zhuǎn)換為灰度時，可以依據(jù)式1來進行計算。

但是在實際應(yīng)用中，單片機進行的浮點運算是十分低速的，這不適宜在追求高效的環(huán)境下使用。因此，可以依據(jù)式2對其進行縮放來進行高效的整數(shù)運算。

對圖像中各點進行灰度計算后，便可將整體彩色圖像轉(zhuǎn)換為灰度圖像，如圖6所示。

圖6 灰度處理后的圖像

(2)濾波處理：圖像常常被強度隨機信號所污染，亦或稱作噪聲，這些噪聲的來源既有傳感器的電子噪聲，也有光斑噪點。一些常見的噪聲有椒鹽噪聲、脈沖噪聲等。

在進行邊緣檢測算法錢，要先對原始數(shù)據(jù)進行濾波處理。這樣，單獨的一個像素噪聲在經(jīng)過平滑的圖像上將變得幾乎沒有影響。

在理想的平滑后的圖像上，各個像素的顏色不僅由自身決定，同時其周圍的像素亦會對其進行加權(quán)。從客觀上來看，則是減少了和周圍的像素的差異，同時這些權(quán)重的設(shè)定也滿足了越近權(quán)重越大的規(guī)律。而從理論上來看，這些權(quán)重的分布則滿足式3所示高斯分布。

式3中，x、y表示的就是當(dāng)前點到對應(yīng)點的距離。

在使用高斯均值濾波時，便可使用由式3特化而來的模板進行帶權(quán)平均濾波。這里采用的是三階模板，如式4所示。

在對圖6的圖像運用式4的高斯濾波器后，原圖像上的噪聲被平滑、剔除，得到的圖像如圖7所示。

圖7 濾波處理后的圖像

可以看到，相比圖6，在圖7中尖銳的噪聲信號被移除，單獨的邊界干擾（如睫毛）被平滑處理。這些干擾被濾除后，則為后續(xù)的邊緣檢測做好了鋪墊。

(3)邊緣檢測：圖像的邊緣是圖像的最基本特征。所謂邊緣，是指其周圍像素灰度有梯度變化的那些像素集合。在灰度圖像中，物體的邊緣是由灰度不連續(xù)性所反映的。

能夠高效、快捷且簡單的提取出圖像的邊緣是所需要的，因此采用邊緣檢測局部算子法，考察圖像的每一個像素在某個領(lǐng)域內(nèi)的灰度變化，利用了邊緣鄰近一階或二階方向?qū)?shù)變化規(guī)律。

現(xiàn)有諸多的學(xué)術(shù)以及參考論文提出了許多的邊緣檢測算子，如Sobel算子、Prewitt算子等。但是本裝置上需要高效快捷的提取出使用者的眼珠坐標，過于復(fù)雜的算子雖然效果令人滿意，但是不免太過累贅。在多次的實驗比較后，采用Roberts算子進行邊緣檢測。Roberts算子采用對角線方向相鄰兩像素之差近似梯度幅值進行邊緣檢測，其實現(xiàn)簡單，效益比高，邊緣檢測的結(jié)果適宜裝置上使用。

Roberts模板是用斜向上的4個交叉差分定義的，即如式5所示：

對圖7應(yīng)用式7與式8的Roberts交叉算子模板，進行邊緣提取后，結(jié)果如圖8所示?？梢钥闯觯鄄繄D像的邊緣大部分已被完好的提取出來。由于圖7在進行邊緣檢測之前已經(jīng)過濾波，雖然Roberts算子對噪聲敏感，但實際應(yīng)用上效果可觀。

圖8 邊緣檢測后的圖像

(4) 中心識別：在經(jīng)過前述圖像處理流程后，圖像數(shù)據(jù)已變得十分單純?；叶戎瞪?，高值點為邊緣，圖像上的體現(xiàn)便是白色；低值點為非邊緣部分，圖像上的體現(xiàn)便是黑色。接下來所要做的便是進行使用者眼部眼珠部分的中心提取。人眼珠近似為一圓形，在圖像處理上可以使用經(jīng)典的Hough變換來檢測圓。

在二維空間上使用Hough變換來檢測圓時，一般采取如圖9所示的流程來進行檢測。

圖9 Hough變換檢測圓形流程

算法依次掃描輪廓中各點，設(shè)該點為擬想圓心，在三維參數(shù)空間內(nèi)，以該點為xy平面上圓心點，而以變量半徑作為z軸。依此，便可以構(gòu)造出一個圓錐模型，接下來則計算其余各輪廓點到達當(dāng)前擬想圓心的距離，在圓錐模型上進行映射。掃描完全部輪廓點后以契合度最高的擬想圓心為實際圓心，契合度最大的半徑則作為該圓的半徑，依此構(gòu)造出圓形。

但是在實際應(yīng)用中，標準Hough變換耗時長，內(nèi)存空間要求高，因此必須對其進行優(yōu)化。

由于人眼眼珠大小差別較小，因此可以限定三維參數(shù)空間中半徑的有效范圍，減少算法迭代次數(shù)。同時對于圖像在進行Hough變換檢測前，先進行一次腐蝕、高斯濾波處理，可減少無用擬想點，降低復(fù)雜度。經(jīng)過上述處理和Hough變換后，便可以得到圖像中使用者的眼珠中心坐標。當(dāng)使用者眼部運動時，其眼珠中心坐標便能被實時記錄。檢測得到的圖形與圓心如圖10所示。

圖1 系統(tǒng)整體設(shè)計

圖10

5 手機端設(shè)計

用戶使用智能眼鏡，通過眼睛的移動來發(fā)出指令，通過搭載在控制平臺的藍牙模塊，與手機app進行通信。手機端接收到終端發(fā)出的指令，并即時的執(zhí)行，來響應(yīng)用戶的需求，這樣就可以實現(xiàn)電子圖書的閱讀等簡單的工作。

圖11 設(shè)備協(xié)議棧

根據(jù)本產(chǎn)品要實現(xiàn)的功能，需要設(shè)置我們需要的部分協(xié)議，我們定義自己的協(xié)議族為：基帶協(xié)議、連接管理協(xié)議（LMP）、邏輯鏈路控制和適配協(xié)（L2CAP）、服務(wù)發(fā)現(xiàn)協(xié)議（SDP）等。在以上基本核心模塊下，本系統(tǒng)使用以下協(xié)議模式。

注意：此模式下，語音數(shù)據(jù)流不經(jīng)過L2CAP層而直接接入基帶協(xié)議層。

6 總結(jié)

本智能設(shè)備出發(fā)點是服務(wù)社會、給予特殊人群實質(zhì)性的幫助。在經(jīng)過線上數(shù)據(jù)論文研究、實地調(diào)查和分析之后，從而設(shè)計裝置的外觀、功能，再一步步進行優(yōu)化。

本智能設(shè)備是基于目前殘障人士的現(xiàn)狀和實際需求開發(fā)的具有多樣性功能的一款眼控智能眼鏡。設(shè)備開發(fā)的智能穿戴裝置是并不需要依靠外物進行復(fù)雜連接的，在手機、電腦以及智能家具三個方面都同步開發(fā)了相應(yīng)的app,電腦接口和zigbee模塊，在任意智能手機、電腦、智能家居都能應(yīng)用。