王增尉, 劉佳奇, 戴 露, 李芷萱, 王啟月, 李 蛟, 趙宏偉

(1. 吉林大學 a. 電子科學與技術(shù)學院; b. 計算機科學與技術(shù)學院, 長春 130012; 2. 吉林大學 圖書館, 長春 130012)

0 引 言

隨著網(wǎng)絡(luò)通信技術(shù)和人工智能技術(shù)的發(fā)展, 智能家居成為未來的發(fā)展趨勢, 其能使人們生活更加方便、 安全和節(jié)能。智能家居是物聯(lián)網(wǎng)的體現(xiàn)形式, 通過物聯(lián)網(wǎng)將家中的各種設(shè)備, 如照明系統(tǒng)、 空調(diào)控制和網(wǎng)絡(luò)家電等連接, 提供全方位的信息交互功能。腦機接口、 AR (Augmented Reality)技術(shù)與智能家居的結(jié)合, 為未來智能家居控制系統(tǒng)提供了一個更具科技感、 交互性的解決思路。

腦機接口(BCI: Brain-Computer Interface)是近年來興起的一種人機交互系統(tǒng), 它脫離了一般交互系統(tǒng)對肌肉運動的依賴, 在人的中樞神經(jīng)系統(tǒng)與設(shè)備之間建立直接的信息和控制通路, 直接把從人類大腦皮層記錄的大腦活動電信號轉(zhuǎn)換為計算機控制信號, 并用于控制外部設(shè)備。BCI為人機信息交換、 人類與設(shè)備的交互提供了新的方式。早在20世紀70年代, 加州大學洛杉磯分校的Vidal[1]基于視覺誘發(fā)電位設(shè)計了BCI系統(tǒng), 他的用戶觀看了一個用氙氣閃光燈照亮的鉆石形紅色棋盤。通過觀察閃爍棋盤的不同角落, 系統(tǒng)可以生成向右、 向上、 向左和向下的命令, 使它們能在圖形終端上呈現(xiàn)的迷宮中移動。

目前BCI系統(tǒng)受到很多關(guān)注, 已出現(xiàn)利用腦電信號(EEG: Electro Encephalo Gram)控制輪椅[2]、 機械手臂[3]等方面的應(yīng)用。在BCI系統(tǒng)中, EEG信號的特征提取和分類是最為關(guān)鍵的技術(shù), 但由于EEG信號的非線性、 非平穩(wěn)特性, 導(dǎo)致其識別較為困難[4]。

目前, 研究者已經(jīng)提出了多種經(jīng)典的EEG信號特征提取方法, 如小波變換(WT: Wavelet Transform)[5]、 共空間模式(CSP: Common Spatial Pattern)[6]等。同時, 深度學習例如卷積神經(jīng)網(wǎng)絡(luò)(CNN: Convolutional Neural Network)、 支持向量機(SVM: Support Vector Machine)等也被大量運用于信號分類領(lǐng)域, 包括EEG信號的識別。唐賢倫等[7]提出了一種結(jié)合條件經(jīng)驗?zāi)Ｊ椒纸?CEMD: Conditional Empirical Mode Decomposition)和串并行卷積神經(jīng)網(wǎng)絡(luò)(SPCNN: Serial Parallel Convolutional Neural Network)的腦電信號識別方法, 同時考慮到EEG信號的多通道特性, 對CNN進行了結(jié)構(gòu)上的改進。李耀楠等[8]提出了一種基于C-支持向量多分類機的多類復(fù)雜操作EEG信號模式識別方法。由于EEG信號常常受到視網(wǎng)膜偶極子、 眼球運動和眨眼以及面部肌肉產(chǎn)生的電位干擾, 具有大量噪聲, 因此去噪方法對識別結(jié)果的準確率具有重要影響。同時由于EEG是時變非平穩(wěn)信號, 信號的頻率隨時間改變而改變, 因此在時域中對其分析能有效提升準確率。

針對上述問題, 筆者提出一種結(jié)合WT、 短時傅立葉變換(STFT: Short-Time Fourier Transform)、 主成分分析(PCA: Principal Component Analysis)和CNN的EEG信號分類方法和識別模型。同時基于該方法提出智能家居控制系統(tǒng)的解決方案, 結(jié)合AR設(shè)計出一套智能家居交互方案： 用戶佩戴腦電設(shè)備, 手持手機或佩戴AR眼鏡, AR鏡頭掃描智能家居上對應(yīng)的AR標識, 將控制菜單顯示在用戶視野中, 用戶根據(jù)菜單的提示, 用意念發(fā)出相應(yīng)指令, 系統(tǒng)收到指令后, 操作家電做出反應(yīng), 并將反饋信息通過AR顯示。

1 系統(tǒng)架構(gòu)設(shè)計與組成

智能家居系統(tǒng)的技術(shù)特點主要表現(xiàn)在, 通過家庭網(wǎng)關(guān)和系統(tǒng)軟件建立智能家居平臺系統(tǒng)。家庭網(wǎng)關(guān)的主要任務(wù)是完成家庭內(nèi)部網(wǎng)絡(luò)各種協(xié)議之間的轉(zhuǎn)換和信息共享、 網(wǎng)絡(luò)間數(shù)據(jù)交換、 家庭設(shè)備的控制和統(tǒng)一管理的平臺。家庭智能終端作為家庭信息的交通中樞, 通過計算機、 通信和微電子技術(shù), 集成家庭智能化的所有功能, 使智能家居建立在統(tǒng)一平臺上。本文系統(tǒng)在通信和控制上增加了腦電信號處理方式和AR展示方式。系統(tǒng)交互方式和信息處理流程如圖1和圖2所示。

圖1 基于腦機接口和AR技術(shù)的智能家居控制系統(tǒng)交互和控制方式Fig.1 Interaction and control mode of smart home control system based on brain-computer interface and AR technology

圖2 基于BCI的信息處理流程Fig.2 Information processing flow based on BCI

系統(tǒng)處理流程包括以下幾個步驟：

1) 由佩戴在用戶頭上的EEG信號采集設(shè)備捕捉用戶大腦皮層的電信號特征;

2) 系統(tǒng)對采集的原始信號進行包括去噪在內(nèi)的預(yù)處理;

3) 系統(tǒng)對數(shù)據(jù)進行特征提取, 分離出與人類意識活動相關(guān)的特征;

4) 經(jīng)過訓(xùn)練后, 系統(tǒng)對數(shù)據(jù)進行分類, 根據(jù)這些數(shù)據(jù)分類結(jié)果產(chǎn)生對應(yīng)的控制指令, 進而控制外部設(shè)備;

5) 交互過程以及外部設(shè)備的反饋信息和狀態(tài), 通過AR進行展示。

1.1 信號選擇及信號采集設(shè)備

目前的腦機接口腦電信號研究主要是尋找識別效率更高, 與意識活動關(guān)聯(lián)性較好的腦電信號。EEG信號[9]是研究大腦科學活動的重要手段之一, 可使用電生理指標記錄反映大腦頭皮神經(jīng)元興奮性和抑制性突觸后電位的潛在活動。用EEG分析大腦的活動, 具有無創(chuàng)、 實時、 連續(xù)、 時間分辨率高以及認知意識相關(guān)性強等特性。目前識別性能較好的信號大致有以下幾種。

1) 視覺誘發(fā)電位(VEP: Visual Evoked Potentials)。是指當視野范圍內(nèi)出現(xiàn)以一定頻率閃爍的視覺刺激源時, 在頭顱骨外的枕區(qū)等部位捕捉到的電位變化。VEP系統(tǒng)借助刺激源刺激人腦產(chǎn)生特定的腦電信號, 因此需要較少的信號采集電極, 且訓(xùn)練時間較短, 但長期使用VEP系統(tǒng)會造成視覺疲勞甚至損害。

2) 事件相關(guān)電位P300。與事件發(fā)生時刻有大概300 ms的延遲。P300信號的顯著程度與事件的發(fā)生頻率成負相關(guān), 事件出現(xiàn)頻率越低, P300信號就越強烈。因此, 目前的P300系統(tǒng)大多只針對短期操作, 長時間的操作會使P300信號逐漸減弱, 也有一些系統(tǒng)通過加入自適應(yīng)系統(tǒng)抑制P300信號的削弱。

3) 慢皮層電位(SCPs: Slow Cortical Potentials)。是EEG信號中頻率最低的一種, 持續(xù)時間較長, 正負電位差距較大。慢皮層電位系統(tǒng)由于其持續(xù)時間較長, 導(dǎo)致信息傳輸速率較慢。

4) 自發(fā)EEG的α波、μ節(jié)律和β節(jié)律。利用α波的振幅增量可構(gòu)建腦電設(shè)備開關(guān)操控系統(tǒng), 具有無需對操作者進行訓(xùn)練的優(yōu)點。μ節(jié)律和β節(jié)律在二向運動和二元選擇的腦機接口控制實驗中表現(xiàn)良好。

根據(jù)控制系統(tǒng)的多數(shù)二元選擇特性, 筆者選擇提取自發(fā)EEG的α波、μ節(jié)律和β節(jié)律, 以便達到更好的識別控制效果。

筆者選用的設(shè)備為NeuroSky的MindWave Mobile, 可提供研究級別的腦電圖, 具有重量輕、 無線連接、 無源傳感器、 無傷害的特性, 具有較好的信息采集能力, 對比通常的腦電設(shè)備更能適用于智能家居控制的應(yīng)用場合。

1.2 AR技術(shù)與AR設(shè)備

AR技術(shù)即增強現(xiàn)實技術(shù), 可同時展現(xiàn)虛擬和真實世界的信息。AR廣泛運用了多媒體、 三維建模、 實時跟蹤及注冊、 智能交互、 傳感等多種技術(shù)手段, 將計算機生成的文字、 圖像、 三維模型、 音樂和視頻等虛擬信息模擬仿真后, 應(yīng)用到真實世界中, 根據(jù)需要, 將兩種信息互相補充、 疊加, 同時呈現(xiàn)在眼前, 從而實現(xiàn)對真實世界的增強。

本文系統(tǒng)中, 對智能家居的控制指令由腦電信號以及從AR設(shè)備反饋的智能家居標識共同組成。腦電信號通過采集設(shè)備傳送至計算機分析出用戶的放松度與專注度, 結(jié)合由AR設(shè)備發(fā)送的被控智能家居的標識, 生成對應(yīng)的控制指令, 通過無線網(wǎng)絡(luò)發(fā)送至智能家居的控制模塊。控制模塊負責將指令譯碼, 通過繼電器模塊實現(xiàn)對智能家居的控制, 并將對智能家居控制的結(jié)果通過無線網(wǎng)絡(luò)回饋至AR設(shè)備呈現(xiàn)給用戶。

AR界面的設(shè)計通過unity 3D制作。在unity 3D中將需要掃描的AR標識與展現(xiàn)給用戶的菜單編程建模, 最后將程序?qū)階R設(shè)備中運行, 以達到AR設(shè)備掃描AR標識后呈現(xiàn)菜單的功能。AR與PC的通信、 PC與智能家居的通信、 智能家居與AR設(shè)備的通信基于WiFi實現(xiàn), 智能家居的WiFi通信模塊采用ESP8266。ESP8266作為一款WiFi串口模塊, 體積小、 成本較低、 微控制器兼容性好, 適合嵌入式開發(fā)。智能家居的控制模塊采用STC單片機。STC單片機對從ESP8266傳送信息中的指令進行分析譯碼, 將其發(fā)送給繼電器模塊, 從而形成對智能家居的控制。

2 腦電信號的處理過程

為使腦電信號的分類識別結(jié)果更準確, 筆者對原始信號進行了包括去除噪聲、 映射到頻域、 降維、 分類的多重處理, 生成了腦電信號識別模型, 過程如圖3所示。

圖3 腦電信號識別模型Fig.3 EEG signal recognition model

2.1 數(shù)據(jù)預(yù)處理

2.1.1 預(yù)處理

由于采集的腦電信號中一般包含了眼電、 肌電和工頻雜波等背景噪聲, 為降低腦電信號的背景噪聲, 并提高信噪比, 筆者對腦電數(shù)據(jù)進行了以下預(yù)處理過程。

1) 取均值。

2) 8～30 Hz帶通濾波。在二向運動想象過程中, 主要是腦電信號的μ節(jié)律(8～13 Hz)和β節(jié)律(14～30 Hz)發(fā)生變化, 因此對腦電信號進行8～30 Hz帶通濾波。

3) 歸一化。對原始的數(shù)據(jù)進行歸一化處理, 使腦電數(shù)據(jù)的樣本值在[0,1]之間。

2.1.2 小波變換去噪

小波變換可以將信號的頻譜分解成不同的頻率段, 然后把信號的能量集中到某些頻帶的幾個系數(shù)上, 通過把其他頻帶上分解的系數(shù)置零或是給較小的權(quán)重, 能較好地抑制噪聲[10]。

小波變換的定義是給定基本函數(shù)ψ(t)

(1)

其中a、b均為常數(shù), 且a>0。ψa,b(t)是對基本函數(shù)做ψ(t)平移和伸縮后得到的函數(shù)。

2.1.3 短時傅立葉變換

為了解腦電信號時頻信息, 采用短時傅里葉變換對腦電信號進行處理, 同時彌補了傳統(tǒng)傅立葉變換缺少時域定位的功能。原始數(shù)據(jù)在時域的圖像如圖4所示, 變換后數(shù)據(jù)在頻域的圖像如圖5所示。

圖4 原始數(shù)據(jù)在時域的圖像Fig.4 Image of raw data in time domain

2.2 數(shù)據(jù)降維和分類

由于得到的數(shù)據(jù)是高維特征信號, 利用PCA對數(shù)據(jù)進行降維處理, 保留主要影響因素, 最后進行分類操作遷移學習分類器和深度神經(jīng)網(wǎng)絡(luò)算法。

2.2.1 腦機接口分類算法

基于EEG的腦機接口分類算法的選擇問題是腦機接口領(lǐng)域中的一大難題, 因為EEG信號的低信噪比、 時間非穩(wěn)態(tài)隨機性, 都會根據(jù)不同的條件而產(chǎn)生不同的數(shù)據(jù), 而且目前可供使用的數(shù)據(jù)十分有限, 因此無法找到一種沒有任何缺點的腦機接口分類算法, 只能根據(jù)實驗條件選擇最適合的。目前, 基于EEG的腦機接口分類算法主要分為4種： 自適應(yīng)分類器、 矩陣和張量學習分類器。遷移學習分類器和深度神經(jīng)網(wǎng)絡(luò)算法可以實現(xiàn)EEG更有效、 更準確地提取特征, 精度高、 性能穩(wěn)健, 其性能優(yōu)于現(xiàn)在幾乎所有的機器學習算法。

分析、 對比以上算法可知, 自適應(yīng)分類器、 矩陣和張量學習分類器所需要的條件過多而且過于復(fù)雜, 不適合采用。遷移學習分類器所需要的學習時間過長, 需要采集大量的信號, 因此這種方法也不可取。由于深度神經(jīng)網(wǎng)絡(luò)算法的計算精度和計算速度幾乎優(yōu)于所有的機器學習算法, 而且操作相對比較簡單, 因此, 選擇使用深度神經(jīng)網(wǎng)絡(luò)算法。

2.2.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)算法能直接輸入原始空間的特征, 并在網(wǎng)絡(luò)內(nèi)部自動學習得到進一步優(yōu)化的特征表示, 從而更加有利于對原始樣本進行分類。目前, 卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在分類識別領(lǐng)域發(fā)揮十分重要的作用。相比于全連接網(wǎng)絡(luò), 權(quán)值共享、 局部感受野和降采樣是卷積神經(jīng)網(wǎng)絡(luò)的3個特征, 這3個特征可以極大地減少連接權(quán)值的數(shù)量, 從而減少模型的復(fù)雜度, 加快模型訓(xùn)練速度。

卷積操作是卷積神經(jīng)網(wǎng)絡(luò)中最重要的部分, 其主要作用是對輸入的數(shù)據(jù)進行特征提取, 卷積的計算公式為

(2)

3 結(jié) 語

針對智能家居系統(tǒng)的控制問題, 筆者提出腦機接口控制方案。通過腦機接口提取腦電信號, 對腦電信號進行識別、 分類、 控制, 并結(jié)合增強現(xiàn)實技術(shù)展示控制效果。

腦機接口控制方案利用佩戴設(shè)備采集腦部EEG數(shù)據(jù), 利用小波變換進行EEG數(shù)據(jù)去噪, 利用短時傅立葉變換進行EEG數(shù)據(jù)時域定位, 利用主成分分析方法進行EEG數(shù)據(jù)降維, 利用卷積神經(jīng)網(wǎng)絡(luò)進行EEG數(shù)據(jù)分類, 根據(jù)分類結(jié)果模擬大腦發(fā)出的指令, 依此命令對家居設(shè)備進行控制。實驗結(jié)果表明, 該方案可以有效實現(xiàn)大腦對家居設(shè)備的控制, 具有實用性。