劉 鵬，喬曉艷

(山西大學(xué) 物理電子工程學(xué)院，山西 太原 030006)

0 引 言

機(jī)器情感識(shí)別因其在人機(jī)交互中的潛在應(yīng)用而受到越來越多的關(guān)注.目前，情感識(shí)別可通過多種信息來實(shí)現(xiàn)，如面部表情，語音語調(diào)及生理信號等.相比較而言，皮層腦電做為中樞神經(jīng)生理信號，調(diào)節(jié)與情緒相關(guān)的遞質(zhì)分泌和大腦的邊緣系統(tǒng)，能夠客觀反映人的情緒狀態(tài)變化，從腦電信號中提取有效特征并進(jìn)行情感識(shí)別，在人機(jī)交互中具有重要意義，國內(nèi)外研究者對此進(jìn)行了較多探索.Koelstra等[1]在DEAP數(shù)據(jù)集上提取腦電(EEG)信號δ，θ，α，β節(jié)律功率譜特征，使用樸素貝葉斯分類器在效價(jià)、喚醒度上進(jìn)行分類，正確率分別達(dá)到57.6%和62.0%；Luo等[2]在DEAP數(shù)據(jù)集上提取腦電(EEG)信號差分熵特征，使用生成對抗網(wǎng)絡(luò)(GAN)進(jìn)行情感分類，在效價(jià)、喚醒度上正確率分別達(dá)到67.9%和66.9%；Mert等[3]采用經(jīng)驗(yàn)?zāi)B(tài)分解的特征提取方法，利用人工神經(jīng)網(wǎng)絡(luò)分類，在效價(jià)、喚醒度上正確率分別達(dá)到72.9%和75.0%；Lu等[4]提出了一種將多導(dǎo)聯(lián)EEG信號封裝到灰度圖像中的全局特征提取方法，利用支持向量機(jī)(SVM)進(jìn)行情感分類，在DEAP數(shù)據(jù)集上，效價(jià)和喚醒度的分類正確率分別為70.2%和71.9%.由于情感的復(fù)雜性和連續(xù)性，維度情感模型更接近情感狀態(tài)的真實(shí)表現(xiàn)，提高維度情感模型的識(shí)別正確率是目前研究中需要解決的關(guān)鍵問題.維度情感模型的識(shí)別正確率不高，其原因主要在于兩個(gè)方面：一是腦電信號情感特征挖掘不夠充分，維度情感模型下生理特征不能有效反映復(fù)雜精細(xì)的情感狀態(tài).二是機(jī)器學(xué)習(xí)情感分類算法沒有考慮到腦電信號所具有的時(shí)間序列特性.此外，個(gè)體差異性對情感識(shí)別也有較大影響，會(huì)導(dǎo)致情感識(shí)別模型泛化能力和普適性較差.

針對腦電蘊(yùn)含的情感特征比較模糊，現(xiàn)有的機(jī)器分類算法情感識(shí)別正確率較低，提出了一種基于維度情感模型的腦電信號情感識(shí)別模型，使用深度棧式自編碼并借鑒神經(jīng)元激活和抑制特性提取腦電情感特征，利用腦電信號時(shí)間特性生成時(shí)序特征序列，使用長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)對生成的特征序列進(jìn)行學(xué)習(xí)并輸出分類結(jié)果.在DEAP數(shù)據(jù)集上，仿真驗(yàn)證了算法的有效性，分類評價(jià)指標(biāo)表明，該方法在維度情感模型中具有較好的識(shí)別性能.

1 特征提取方法及識(shí)別模型構(gòu)建

本文的腦電信號情感識(shí)別模型由3部分組成，分別為多導(dǎo)聯(lián)腦電數(shù)據(jù)和情感標(biāo)簽處理；深度棧式自編碼腦電特征提?。婚L短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)情感分類.

1.1 棧式自編碼特征提取方法

1.1.1 深度棧式自編碼

深度棧式自編碼網(wǎng)絡(luò)(Deep-SAE)由多個(gè)稀疏自編碼器堆疊組成，稀疏自編碼器借鑒大腦神經(jīng)元興奮性機(jī)制，編碼后可對原始數(shù)據(jù)進(jìn)行最大化的解碼，同時(shí)還具有收斂速度快、訓(xùn)練不易陷入局部極小等優(yōu)點(diǎn)[5].圖1 為兩個(gè)稀疏自編碼器構(gòu)成的兩層棧式自編碼網(wǎng)絡(luò)示意圖.

圖1 棧式自編碼結(jié)構(gòu)圖

棧式自編碼器采用逐層貪婪學(xué)習(xí)的方法，將訓(xùn)練好的第1個(gè)稀疏自編碼器的隱藏層作為第2個(gè)稀疏自編碼器的輸入，將第2個(gè)稀疏自編碼器的隱藏層作為下一個(gè)稀疏自編碼的輸入，依次訓(xùn)練稀疏自編碼器，將最后一個(gè)稀疏自編碼器的隱藏層數(shù)據(jù)作為整個(gè)棧式自編碼網(wǎng)絡(luò)的輸出.綜合而言，每個(gè)稀疏自編碼器的隱藏層數(shù)據(jù)可看作原始訓(xùn)練數(shù)據(jù)的潛在特征，通過此特征可以讓原始數(shù)據(jù)蘊(yùn)含的特征信息得到最大程度的解碼，所以多個(gè)稀疏自編碼器組成的深度棧式自編碼網(wǎng)絡(luò)可以看作一個(gè)提取原始數(shù)據(jù)高維潛在特征的過程.

稀疏自編碼器通過優(yōu)化權(quán)值和隱藏層神經(jīng)元的平均激活度控制模型復(fù)雜度，減少網(wǎng)絡(luò)過擬合[5].可在其代價(jià)函數(shù)中添加L2正則化項(xiàng)和稀疏項(xiàng)來實(shí)現(xiàn)，如式(1)所示.

β·Ωsparsity，

(1)

L2正則化實(shí)質(zhì)是對權(quán)值向量的懲罰，可以抑制權(quán)重中較大的值，使網(wǎng)絡(luò)偏向于學(xué)習(xí)比較小的權(quán)重，如式(2)所示.

(2)

(3)

(4)

綜上所述，稀疏自編碼的代價(jià)函數(shù)可表示為

(5)

最后，整個(gè)網(wǎng)絡(luò)通過反向傳播算法，得到優(yōu)化后的權(quán)值w和偏置b.

1.1.2 深度特征序列生成

如圖2 所示，利用一個(gè)時(shí)間窗將原始EEG信號劃分為n個(gè)時(shí)間段，分別對每段腦電信號利用棧式自編碼網(wǎng)絡(luò)解碼提取情感腦電高維特征，將所得到的特征依照時(shí)間順序組合，生成情感特征序列，用于后續(xù)的分類識(shí)別中.

圖2 特征序列生成過程

1.2 深度學(xué)習(xí)情感識(shí)別方法

腦電信號是一種復(fù)雜的時(shí)間序列，在腦電信號情感分類中，情感狀態(tài)判定是由腦電序列特征所決定的，一些有用的情感信息雖然間隔較長，但仍然需要被保留，所以分類算法選取必須要考慮時(shí)間序列對特征的影響.長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)元具有長時(shí)記憶的優(yōu)勢，可以保留腦電信號中的長時(shí)和短時(shí)情感信息，因而有利于情感識(shí)別.

1.2.1 長短時(shí)記憶循環(huán)網(wǎng)絡(luò)

長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(LSTM-RNN)是傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體，由于循環(huán)神經(jīng)網(wǎng)絡(luò)是通過時(shí)間序列梯度下降進(jìn)行訓(xùn)練的，序列越長反饋調(diào)節(jié)時(shí)網(wǎng)絡(luò)可能會(huì)出現(xiàn)梯度消失或梯度爆炸的問題.為了克服這一問題，Hochreiter & Schmidhuber[7]提出利用LSTM門控單元來取代RNN單元，使得網(wǎng)絡(luò)具有防止梯度消失(和爆炸)的功能，適合對長的時(shí)間序列進(jìn)行訓(xùn)練和分類.

圖3 為基本的LSTM單元結(jié)構(gòu)，LSTM的關(guān)鍵是細(xì)胞(cell)的狀態(tài)Ct，為了增加或刪除cell中的信息，LSTM中使用3個(gè)門(gate)來控制，分別是遺忘門、輸入門和輸出門，門決定了信息通過的方式，保護(hù)和控制cell狀態(tài).

圖3 LSTM單元基本結(jié)構(gòu)

遺忘門使用一個(gè)sigmod層來決定cell狀態(tài)中需要?jiǎng)h除的信息.按式(6)計(jì)算，對于輸入xt和ht-1，遺忘門會(huì)輸出一個(gè)值域?yàn)閇0,1]的數(shù)字，放入cell狀態(tài)Ct-1中.當(dāng)為0時(shí)，全部刪除；當(dāng)為1時(shí)，全部保留.

ft=σ(Wf·[ht-1,xt]+bf),

(6)

it=σ(Wi·[ht-1,xt]+bi),

(7)

(8)

在遺忘門和輸入門的基礎(chǔ)上，即可按照式(9)把細(xì)胞狀態(tài)Ct-1更新為Ct.

(9)

輸出門決定了LSTM的輸出內(nèi)容，計(jì)算如式(10)，式(11)所示，先用sigmod函數(shù)決定將要輸出的cell內(nèi)容，再用tanh函數(shù)把cell狀態(tài)值轉(zhuǎn)化到-1和1之間，并通過sigmod函數(shù)的非線性作用，由此得到最終輸出

ot=σ(Wo·[ht-1,xt]+bo),

(10)

ht=ot·tanh(Ct).

(11)

前向傳播結(jié)束后，將LSTM的輸出連接全連接層，利用Softmax分類器進(jìn)行情緒分類.其中，關(guān)于LSTM反向傳播中的損失計(jì)算具體可參考文獻(xiàn)[7].

1.2.2 基于LSTM的情感分類

本文的腦電信號情感分類模型如圖4 所示.首先對原始腦電信號進(jìn)行預(yù)處理，獲得情感誘發(fā)腦電信號，對腦電數(shù)據(jù)歸一化處理消除個(gè)體差異；之后利用深度棧式自編碼網(wǎng)絡(luò)，從誘發(fā)腦電序列中提取深度情感特征，生成情感腦電特征序列；最后利用長短時(shí)記憶循環(huán)網(wǎng)絡(luò)訓(xùn)練模型，在效價(jià)和喚醒度上分別輸出分類結(jié)果.具體可分為3個(gè)步驟：

圖4 情感分類模型框架

1)誘發(fā)腦電信號生成及分段：使用觀看情感音樂視頻時(shí)采集到的EEG信號減去自然狀態(tài)下的EEG信號得到情感誘發(fā)腦電信號，將此新的腦電信號通過時(shí)間窗口滑動(dòng)，截取為若干段時(shí)間序列，并進(jìn)行歸一化處理和對應(yīng)情感標(biāo)簽處理.

2)深度特征提取及情感特征序列生成：將各段EEG時(shí)間序列分別輸入Deep-SAE網(wǎng)絡(luò)中，對情感腦電信息進(jìn)行解碼，輸出對應(yīng)時(shí)間段的情感特征信息，并將棧式自編碼器隱藏層數(shù)據(jù)按照時(shí)間順序生成新的情感腦電特征序列.

3)長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)情感分類：將生成的情感腦電特征序列輸入到長短時(shí)記憶循環(huán)網(wǎng)絡(luò)中，進(jìn)行有監(jiān)督學(xué)習(xí)的模型訓(xùn)練、交叉驗(yàn)證和測試.在效價(jià)、喚醒度兩個(gè)情感維度上分別輸出分類識(shí)別結(jié)果.

2 模型算法仿真實(shí)現(xiàn)

2.1 EEG數(shù)據(jù)集

本文基于生理信號情感數(shù)據(jù)集DEAP進(jìn)行模型算法驗(yàn)證，DEAP數(shù)據(jù)集由多導(dǎo)生理信號和對應(yīng)的維度情感標(biāo)簽兩部分構(gòu)成.數(shù)據(jù)集記錄了32 b 健康被試在觀看情感音樂視頻(MV)時(shí)的多導(dǎo)聯(lián)生理信號及觀看視頻后對每個(gè)MV的多維度情感評分.多導(dǎo)聯(lián)生理信號包括32導(dǎo)聯(lián)腦電信號(EEG)和8導(dǎo)聯(lián)外周生理信號.實(shí)驗(yàn)實(shí)時(shí)記錄了被試在觀看 40個(gè) 1 min MV時(shí)的生理信號，同時(shí)還采集了3 s自然狀態(tài)下的生理信號，共63 s的數(shù)據(jù).經(jīng)過去除眼動(dòng)偽跡、工頻干擾、濾波及下采樣等一系列預(yù)處理，數(shù)據(jù)采樣率為128Hz，頻率范圍為1 Hz～50 Hz.在觀看MV后，被試在效價(jià)(Valence)，喚醒度(Arousal)，喜歡度(Liking)和支配程度(Dominance)4個(gè)維度上對每個(gè)視頻誘發(fā)的情感分別在1～9范圍進(jìn)行打分，獲得對應(yīng)音樂視頻的情感標(biāo)簽.DEAP數(shù)據(jù)集的內(nèi)容如表1 所示.

表1 DEAP數(shù)據(jù)集內(nèi)容

2.2 情感標(biāo)簽處理

區(qū)別于通常的離散情感模型，DEAP數(shù)據(jù)集采用了連續(xù)維度情感模型來劃分情感狀態(tài).本文在其中效價(jià)和喚醒度兩個(gè)連續(xù)情感維度上分別進(jìn)行情感分類，在效價(jià)維度上，使用4.5和5.5 兩個(gè)情感閾值將情感狀態(tài)劃分為兩類——低效價(jià)(LV，評分≤4.5)和高效價(jià)(HV,評分≥5.5).在喚醒度上，采用相同的閾值將情感劃分為低喚醒度(LA,評分≤4.5)和高喚醒度(HV,評分≥5.5).在該情感閾值劃分下，DEAP數(shù)據(jù)集中高低效價(jià)樣本數(shù)量分別為587和472，喚醒度上，高低喚醒度樣本數(shù)量分別為622和464.后續(xù)處理中，本文對數(shù)據(jù)進(jìn)行了均衡化處理，即隨機(jī)抽取樣本擴(kuò)充到少樣本一類，使得兩類樣本數(shù)量接近，保證深度學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)樣本的平衡，提高模型泛化能力.

2.3 模型參數(shù)選擇

本文情感識(shí)別模型算法主要由兩部分組成.利用深度棧式自編碼算法提取情感特征時(shí)，構(gòu)建了3個(gè)稀疏自編碼器，組成深度棧式自編碼網(wǎng)絡(luò)，網(wǎng)絡(luò)輸入序列長度為384(128 Hz×3 s)的腦電時(shí)間序列，3個(gè)稀疏自編碼器隱藏層單元數(shù)分別為128, 64, 16，保留最后一個(gè)稀疏自編碼器的隱藏層數(shù)據(jù)作為自編碼網(wǎng)絡(luò)的輸出.

利用LSTM算法進(jìn)行情感分類時(shí)，網(wǎng)絡(luò)輸入的時(shí)間序列長度為320(16×20).經(jīng)過仿真調(diào)試后，最終隱藏層單元數(shù)為64，學(xué)習(xí)率設(shè)為0.01，迭代次數(shù)為800，可實(shí)現(xiàn)算法收斂.

2.4 算法評價(jià)指標(biāo)

本文使用正確率(Accuracy)、精確度(Precision)、召回率(Recall)和F1-Score 4個(gè)參數(shù)評價(jià)分類結(jié)果.正確率(Acc)是衡量分類模型的整體有效性，即正確分類的樣本數(shù)量與總樣本數(shù)量的比率.精確度指被分類器判定為正例中真正的正例樣本所占比重，召回率指被預(yù)測為正例樣本占總正例樣本的比重，F(xiàn)1-Score為精確度和召回率的調(diào)和平均值.計(jì)算公式分別為

(12)

(13)

(14)

(15)

式中：TP，TN分別表示被正確分為正類或負(fù)類的樣本個(gè)數(shù)；FP，F(xiàn)N表示被錯(cuò)誤分為正類或負(fù)類的樣本個(gè)數(shù).

3 結(jié)果與分析

圖5 所示為按照2.3中所設(shè)置和選擇的模型參數(shù)進(jìn)行訓(xùn)練得到的學(xué)習(xí)曲線，其中鋸齒狀曲線表示單次學(xué)習(xí)曲線，平緩曲線為經(jīng)過平滑處理后的學(xué)習(xí)曲線.從圖5 中可以看出，當(dāng)?shù)螖?shù)達(dá)到700次時(shí)，訓(xùn)練正確率接近100%，目標(biāo)函數(shù)誤差接近于0，網(wǎng)絡(luò)參數(shù)訓(xùn)練達(dá)到最佳狀態(tài)，將訓(xùn)練好的網(wǎng)絡(luò)利用測試集樣本進(jìn)行分類測試，獲得情感分類結(jié)果.

圖5 LSTM算法訓(xùn)練正確率與損失曲線

表2 所示為模型經(jīng)過5折交叉驗(yàn)證后，所得到的平均分類結(jié)果，本文選取機(jī)器學(xué)習(xí)中多個(gè)評價(jià)指標(biāo)評價(jià)模型性能.在效價(jià)維度上，對HV和LV分類的平均正確率、精確度和召回率分別達(dá)到77.4%，77.1%，84.1%，F(xiàn)1-Score為80.4%.在喚醒度上，HA和LA分類的正確率、精確度和召回率分別達(dá)到73.7%，78.7%，76.3%，F(xiàn)1-Score為77.5%.以上結(jié)果表明，該方法在連續(xù)維度模型的腦電情感識(shí)別中具有良好的性能，分類正確率和F1-Score均較高，而且召回率和精確度無論在情感的效價(jià)維度還是喚醒度上，分類結(jié)果均比較接近，沒有出現(xiàn)較大差別，表明算法具有較好的魯棒性和泛化能力.

表2 DEAP數(shù)據(jù)集上識(shí)別結(jié)果(%)

表3 所示為本文分類結(jié)果與近年來在相同數(shù)據(jù)集下采用不同方法進(jìn)行腦電信號情感識(shí)別的結(jié)果對比.相比較而言，在效價(jià)維度上，本文取得了比其他幾種方法更好的結(jié)果；在喚醒度上，本文分類正確率比文獻(xiàn)[8]低0.7%，但在F1-Score上，本文方法比文獻(xiàn)[8]高10.8%，表明深度自編碼網(wǎng)絡(luò)可以有效提取腦電信號的高維深度特征信息，長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)可以對此特征序列進(jìn)行有效分類，該模型具有較高的情感識(shí)別準(zhǔn)確性和泛化能力.

表3 DEAP數(shù)據(jù)集上不同腦電信號情感識(shí)別方法結(jié)果對比

4 結(jié)束語

本文提出了一種新的腦電信號情感識(shí)別模型.首先，使用深度棧式自動(dòng)編碼器提取腦電信號深度情感特征；之后將所得到的特征生成時(shí)間序列，利用LSTM循環(huán)網(wǎng)絡(luò)實(shí)現(xiàn)連續(xù)維度情感分類；最后在DEAP數(shù)據(jù)集上仿真驗(yàn)證了該方法的有效性和優(yōu)越性，并且與其他方法相比得到了較高的情感識(shí)別正確率和較好的識(shí)別性能，該方法可以應(yīng)用于情感計(jì)算和人機(jī)情感交互.