亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度自編碼和LSTM循環(huán)網(wǎng)絡(luò)的腦電情感識(shí)別

        2022-04-18 02:58:28喬曉艷
        測試技術(shù)學(xué)報(bào) 2022年2期
        關(guān)鍵詞:分類情感模型

        劉 鵬,喬曉艷

        (山西大學(xué) 物理電子工程學(xué)院,山西 太原 030006)

        0 引 言

        機(jī)器情感識(shí)別因其在人機(jī)交互中的潛在應(yīng)用而受到越來越多的關(guān)注.目前,情感識(shí)別可通過多種信息來實(shí)現(xiàn),如面部表情,語音語調(diào)及生理信號等.相比較而言,皮層腦電做為中樞神經(jīng)生理信號,調(diào)節(jié)與情緒相關(guān)的遞質(zhì)分泌和大腦的邊緣系統(tǒng),能夠客觀反映人的情緒狀態(tài)變化,從腦電信號中提取有效特征并進(jìn)行情感識(shí)別,在人機(jī)交互中具有重要意義,國內(nèi)外研究者對此進(jìn)行了較多探索.Koelstra等[1]在DEAP數(shù)據(jù)集上提取腦電(EEG)信號δ,θ,α,β節(jié)律功率譜特征,使用樸素貝葉斯分類器在效價(jià)、喚醒度上進(jìn)行分類,正確率分別達(dá)到57.6%和62.0%;Luo等[2]在DEAP數(shù)據(jù)集上提取腦電(EEG)信號差分熵特征,使用生成對抗網(wǎng)絡(luò)(GAN)進(jìn)行情感分類,在效價(jià)、喚醒度上正確率分別達(dá)到67.9%和66.9%;Mert等[3]采用經(jīng)驗(yàn)?zāi)B(tài)分解的特征提取方法,利用人工神經(jīng)網(wǎng)絡(luò)分類,在效價(jià)、喚醒度上正確率分別達(dá)到72.9%和75.0%;Lu等[4]提出了一種將多導(dǎo)聯(lián)EEG信號封裝到灰度圖像中的全局特征提取方法,利用支持向量機(jī)(SVM)進(jìn)行情感分類,在DEAP數(shù)據(jù)集上,效價(jià)和喚醒度的分類正確率分別為70.2%和71.9%.由于情感的復(fù)雜性和連續(xù)性,維度情感模型更接近情感狀態(tài)的真實(shí)表現(xiàn),提高維度情感模型的識(shí)別正確率是目前研究中需要解決的關(guān)鍵問題.維度情感模型的識(shí)別正確率不高,其原因主要在于兩個(gè)方面:一是腦電信號情感特征挖掘不夠充分,維度情感模型下生理特征不能有效反映復(fù)雜精細(xì)的情感狀態(tài).二是機(jī)器學(xué)習(xí)情感分類算法沒有考慮到腦電信號所具有的時(shí)間序列特性.此外,個(gè)體差異性對情感識(shí)別也有較大影響,會(huì)導(dǎo)致情感識(shí)別模型泛化能力和普適性較差.

        針對腦電蘊(yùn)含的情感特征比較模糊,現(xiàn)有的機(jī)器分類算法情感識(shí)別正確率較低,提出了一種基于維度情感模型的腦電信號情感識(shí)別模型,使用深度棧式自編碼并借鑒神經(jīng)元激活和抑制特性提取腦電情感特征,利用腦電信號時(shí)間特性生成時(shí)序特征序列,使用長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)對生成的特征序列進(jìn)行學(xué)習(xí)并輸出分類結(jié)果.在DEAP數(shù)據(jù)集上,仿真驗(yàn)證了算法的有效性,分類評價(jià)指標(biāo)表明,該方法在維度情感模型中具有較好的識(shí)別性能.

        1 特征提取方法及識(shí)別模型構(gòu)建

        本文的腦電信號情感識(shí)別模型由3部分組成,分別為多導(dǎo)聯(lián)腦電數(shù)據(jù)和情感標(biāo)簽處理;深度棧式自編碼腦電特征提?。婚L短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)情感分類.

        1.1 棧式自編碼特征提取方法

        1.1.1 深度棧式自編碼

        深度棧式自編碼網(wǎng)絡(luò)(Deep-SAE)由多個(gè)稀疏自編碼器堆疊組成,稀疏自編碼器借鑒大腦神經(jīng)元興奮性機(jī)制,編碼后可對原始數(shù)據(jù)進(jìn)行最大化的解碼,同時(shí)還具有收斂速度快、訓(xùn)練不易陷入局部極小等優(yōu)點(diǎn)[5].圖1 為兩個(gè)稀疏自編碼器構(gòu)成的兩層棧式自編碼網(wǎng)絡(luò)示意圖.

        圖1 棧式自編碼結(jié)構(gòu)圖

        棧式自編碼器采用逐層貪婪學(xué)習(xí)的方法,將訓(xùn)練好的第1個(gè)稀疏自編碼器的隱藏層作為第2個(gè)稀疏自編碼器的輸入,將第2個(gè)稀疏自編碼器的隱藏層作為下一個(gè)稀疏自編碼的輸入,依次訓(xùn)練稀疏自編碼器,將最后一個(gè)稀疏自編碼器的隱藏層數(shù)據(jù)作為整個(gè)棧式自編碼網(wǎng)絡(luò)的輸出.綜合而言,每個(gè)稀疏自編碼器的隱藏層數(shù)據(jù)可看作原始訓(xùn)練數(shù)據(jù)的潛在特征,通過此特征可以讓原始數(shù)據(jù)蘊(yùn)含的特征信息得到最大程度的解碼,所以多個(gè)稀疏自編碼器組成的深度棧式自編碼網(wǎng)絡(luò)可以看作一個(gè)提取原始數(shù)據(jù)高維潛在特征的過程.

        稀疏自編碼器通過優(yōu)化權(quán)值和隱藏層神經(jīng)元的平均激活度控制模型復(fù)雜度,減少網(wǎng)絡(luò)過擬合[5].可在其代價(jià)函數(shù)中添加L2正則化項(xiàng)和稀疏項(xiàng)來實(shí)現(xiàn),如式(1)所示.

        β·Ωsparsity,

        (1)

        L2正則化實(shí)質(zhì)是對權(quán)值向量的懲罰,可以抑制權(quán)重中較大的值,使網(wǎng)絡(luò)偏向于學(xué)習(xí)比較小的權(quán)重,如式(2)所示.

        (2)

        (3)

        (4)

        綜上所述,稀疏自編碼的代價(jià)函數(shù)可表示為

        (5)

        最后,整個(gè)網(wǎng)絡(luò)通過反向傳播算法,得到優(yōu)化后的權(quán)值w和偏置b.

        1.1.2 深度特征序列生成

        如圖2 所示,利用一個(gè)時(shí)間窗將原始EEG信號劃分為n個(gè)時(shí)間段,分別對每段腦電信號利用棧式自編碼網(wǎng)絡(luò)解碼提取情感腦電高維特征,將所得到的特征依照時(shí)間順序組合,生成情感特征序列,用于后續(xù)的分類識(shí)別中.

        圖2 特征序列生成過程

        1.2 深度學(xué)習(xí)情感識(shí)別方法

        腦電信號是一種復(fù)雜的時(shí)間序列,在腦電信號情感分類中,情感狀態(tài)判定是由腦電序列特征所決定的,一些有用的情感信息雖然間隔較長,但仍然需要被保留,所以分類算法選取必須要考慮時(shí)間序列對特征的影響.長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)元具有長時(shí)記憶的優(yōu)勢,可以保留腦電信號中的長時(shí)和短時(shí)情感信息,因而有利于情感識(shí)別.

        1.2.1 長短時(shí)記憶循環(huán)網(wǎng)絡(luò)

        長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(LSTM-RNN)是傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體,由于循環(huán)神經(jīng)網(wǎng)絡(luò)是通過時(shí)間序列梯度下降進(jìn)行訓(xùn)練的,序列越長反饋調(diào)節(jié)時(shí)網(wǎng)絡(luò)可能會(huì)出現(xiàn)梯度消失或梯度爆炸的問題.為了克服這一問題,Hochreiter & Schmidhuber[7]提出利用LSTM門控單元來取代RNN單元,使得網(wǎng)絡(luò)具有防止梯度消失(和爆炸)的功能,適合對長的時(shí)間序列進(jìn)行訓(xùn)練和分類.

        圖3 為基本的LSTM單元結(jié)構(gòu),LSTM的關(guān)鍵是細(xì)胞(cell)的狀態(tài)Ct,為了增加或刪除cell中的信息,LSTM中使用3個(gè)門(gate)來控制,分別是遺忘門、輸入門和輸出門,門決定了信息通過的方式,保護(hù)和控制cell狀態(tài).

        圖3 LSTM單元基本結(jié)構(gòu)

        遺忘門使用一個(gè)sigmod層來決定cell狀態(tài)中需要?jiǎng)h除的信息.按式(6)計(jì)算,對于輸入xt和ht-1,遺忘門會(huì)輸出一個(gè)值域?yàn)閇0,1]的數(shù)字,放入cell狀態(tài)Ct-1中.當(dāng)為0時(shí),全部刪除;當(dāng)為1時(shí),全部保留.

        ft=σ(Wf·[ht-1,xt]+bf),

        (6)

        it=σ(Wi·[ht-1,xt]+bi),

        (7)

        (8)

        在遺忘門和輸入門的基礎(chǔ)上,即可按照式(9)把細(xì)胞狀態(tài)Ct-1更新為Ct.

        (9)

        輸出門決定了LSTM的輸出內(nèi)容,計(jì)算如式(10),式(11)所示,先用sigmod函數(shù)決定將要輸出的cell內(nèi)容,再用tanh函數(shù)把cell狀態(tài)值轉(zhuǎn)化到-1和1之間,并通過sigmod函數(shù)的非線性作用,由此得到最終輸出

        ot=σ(Wo·[ht-1,xt]+bo),

        (10)

        ht=ot·tanh(Ct).

        (11)

        前向傳播結(jié)束后,將LSTM的輸出連接全連接層,利用Softmax分類器進(jìn)行情緒分類.其中,關(guān)于LSTM反向傳播中的損失計(jì)算具體可參考文獻(xiàn)[7].

        1.2.2 基于LSTM的情感分類

        本文的腦電信號情感分類模型如圖4 所示.首先對原始腦電信號進(jìn)行預(yù)處理,獲得情感誘發(fā)腦電信號,對腦電數(shù)據(jù)歸一化處理消除個(gè)體差異;之后利用深度棧式自編碼網(wǎng)絡(luò),從誘發(fā)腦電序列中提取深度情感特征,生成情感腦電特征序列;最后利用長短時(shí)記憶循環(huán)網(wǎng)絡(luò)訓(xùn)練模型,在效價(jià)和喚醒度上分別輸出分類結(jié)果.具體可分為3個(gè)步驟:

        圖4 情感分類模型框架

        1)誘發(fā)腦電信號生成及分段:使用觀看情感音樂視頻時(shí)采集到的EEG信號減去自然狀態(tài)下的EEG信號得到情感誘發(fā)腦電信號,將此新的腦電信號通過時(shí)間窗口滑動(dòng),截取為若干段時(shí)間序列,并進(jìn)行歸一化處理和對應(yīng)情感標(biāo)簽處理.

        2)深度特征提取及情感特征序列生成:將各段EEG時(shí)間序列分別輸入Deep-SAE網(wǎng)絡(luò)中,對情感腦電信息進(jìn)行解碼,輸出對應(yīng)時(shí)間段的情感特征信息,并將棧式自編碼器隱藏層數(shù)據(jù)按照時(shí)間順序生成新的情感腦電特征序列.

        3)長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)情感分類:將生成的情感腦電特征序列輸入到長短時(shí)記憶循環(huán)網(wǎng)絡(luò)中,進(jìn)行有監(jiān)督學(xué)習(xí)的模型訓(xùn)練、交叉驗(yàn)證和測試.在效價(jià)、喚醒度兩個(gè)情感維度上分別輸出分類識(shí)別結(jié)果.

        2 模型算法仿真實(shí)現(xiàn)

        2.1 EEG數(shù)據(jù)集

        本文基于生理信號情感數(shù)據(jù)集DEAP進(jìn)行模型算法驗(yàn)證,DEAP數(shù)據(jù)集由多導(dǎo)生理信號和對應(yīng)的維度情感標(biāo)簽兩部分構(gòu)成.數(shù)據(jù)集記錄了32 b 健康被試在觀看情感音樂視頻(MV)時(shí)的多導(dǎo)聯(lián)生理信號及觀看視頻后對每個(gè)MV的多維度情感評分.多導(dǎo)聯(lián)生理信號包括32導(dǎo)聯(lián)腦電信號(EEG)和8導(dǎo)聯(lián)外周生理信號.實(shí)驗(yàn)實(shí)時(shí)記錄了被試在觀看 40個(gè) 1 min MV時(shí)的生理信號,同時(shí)還采集了3 s自然狀態(tài)下的生理信號,共63 s的數(shù)據(jù).經(jīng)過去除眼動(dòng)偽跡、工頻干擾、濾波及下采樣等一系列預(yù)處理,數(shù)據(jù)采樣率為128Hz,頻率范圍為1 Hz~50 Hz.在觀看MV后,被試在效價(jià)(Valence),喚醒度(Arousal),喜歡度(Liking)和支配程度(Dominance)4個(gè)維度上對每個(gè)視頻誘發(fā)的情感分別在1~9范圍進(jìn)行打分,獲得對應(yīng)音樂視頻的情感標(biāo)簽.DEAP數(shù)據(jù)集的內(nèi)容如表1 所示.

        表1 DEAP數(shù)據(jù)集內(nèi)容

        2.2 情感標(biāo)簽處理

        區(qū)別于通常的離散情感模型,DEAP數(shù)據(jù)集采用了連續(xù)維度情感模型來劃分情感狀態(tài).本文在其中效價(jià)和喚醒度兩個(gè)連續(xù)情感維度上分別進(jìn)行情感分類,在效價(jià)維度上,使用4.5和5.5 兩個(gè)情感閾值將情感狀態(tài)劃分為兩類——低效價(jià)(LV,評分≤4.5)和高效價(jià)(HV,評分≥5.5).在喚醒度上,采用相同的閾值將情感劃分為低喚醒度(LA,評分≤4.5)和高喚醒度(HV,評分≥5.5).在該情感閾值劃分下,DEAP數(shù)據(jù)集中高低效價(jià)樣本數(shù)量分別為587和472,喚醒度上,高低喚醒度樣本數(shù)量分別為622和464.后續(xù)處理中,本文對數(shù)據(jù)進(jìn)行了均衡化處理,即隨機(jī)抽取樣本擴(kuò)充到少樣本一類,使得兩類樣本數(shù)量接近,保證深度學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)樣本的平衡,提高模型泛化能力.

        2.3 模型參數(shù)選擇

        本文情感識(shí)別模型算法主要由兩部分組成.利用深度棧式自編碼算法提取情感特征時(shí),構(gòu)建了3個(gè)稀疏自編碼器,組成深度棧式自編碼網(wǎng)絡(luò),網(wǎng)絡(luò)輸入序列長度為384(128 Hz×3 s)的腦電時(shí)間序列,3個(gè)稀疏自編碼器隱藏層單元數(shù)分別為128, 64, 16,保留最后一個(gè)稀疏自編碼器的隱藏層數(shù)據(jù)作為自編碼網(wǎng)絡(luò)的輸出.

        利用LSTM算法進(jìn)行情感分類時(shí),網(wǎng)絡(luò)輸入的時(shí)間序列長度為320(16×20).經(jīng)過仿真調(diào)試后,最終隱藏層單元數(shù)為64,學(xué)習(xí)率設(shè)為0.01,迭代次數(shù)為800,可實(shí)現(xiàn)算法收斂.

        2.4 算法評價(jià)指標(biāo)

        本文使用正確率(Accuracy)、精確度(Precision)、召回率(Recall)和F1-Score 4個(gè)參數(shù)評價(jià)分類結(jié)果.正確率(Acc)是衡量分類模型的整體有效性,即正確分類的樣本數(shù)量與總樣本數(shù)量的比率.精確度指被分類器判定為正例中真正的正例樣本所占比重,召回率指被預(yù)測為正例樣本占總正例樣本的比重,F(xiàn)1-Score為精確度和召回率的調(diào)和平均值.計(jì)算公式分別為

        (12)

        (13)

        (14)

        (15)

        式中:TP,TN分別表示被正確分為正類或負(fù)類的樣本個(gè)數(shù);FP,F(xiàn)N表示被錯(cuò)誤分為正類或負(fù)類的樣本個(gè)數(shù).

        3 結(jié)果與分析

        圖5 所示為按照2.3中所設(shè)置和選擇的模型參數(shù)進(jìn)行訓(xùn)練得到的學(xué)習(xí)曲線,其中鋸齒狀曲線表示單次學(xué)習(xí)曲線,平緩曲線為經(jīng)過平滑處理后的學(xué)習(xí)曲線.從圖5 中可以看出,當(dāng)?shù)螖?shù)達(dá)到700次時(shí),訓(xùn)練正確率接近100%,目標(biāo)函數(shù)誤差接近于0,網(wǎng)絡(luò)參數(shù)訓(xùn)練達(dá)到最佳狀態(tài),將訓(xùn)練好的網(wǎng)絡(luò)利用測試集樣本進(jìn)行分類測試,獲得情感分類結(jié)果.

        圖5 LSTM算法訓(xùn)練正確率與損失曲線

        表2 所示為模型經(jīng)過5折交叉驗(yàn)證后,所得到的平均分類結(jié)果,本文選取機(jī)器學(xué)習(xí)中多個(gè)評價(jià)指標(biāo)評價(jià)模型性能.在效價(jià)維度上,對HV和LV分類的平均正確率、精確度和召回率分別達(dá)到77.4%,77.1%,84.1%,F(xiàn)1-Score為80.4%.在喚醒度上,HA和LA分類的正確率、精確度和召回率分別達(dá)到73.7%,78.7%,76.3%,F(xiàn)1-Score為77.5%.以上結(jié)果表明,該方法在連續(xù)維度模型的腦電情感識(shí)別中具有良好的性能,分類正確率和F1-Score均較高,而且召回率和精確度無論在情感的效價(jià)維度還是喚醒度上,分類結(jié)果均比較接近,沒有出現(xiàn)較大差別,表明算法具有較好的魯棒性和泛化能力.

        表2 DEAP數(shù)據(jù)集上識(shí)別結(jié)果(%)

        表3 所示為本文分類結(jié)果與近年來在相同數(shù)據(jù)集下采用不同方法進(jìn)行腦電信號情感識(shí)別的結(jié)果對比.相比較而言,在效價(jià)維度上,本文取得了比其他幾種方法更好的結(jié)果;在喚醒度上,本文分類正確率比文獻(xiàn)[8]低0.7%,但在F1-Score上,本文方法比文獻(xiàn)[8]高10.8%,表明深度自編碼網(wǎng)絡(luò)可以有效提取腦電信號的高維深度特征信息,長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)可以對此特征序列進(jìn)行有效分類,該模型具有較高的情感識(shí)別準(zhǔn)確性和泛化能力.

        表3 DEAP數(shù)據(jù)集上不同腦電信號情感識(shí)別方法結(jié)果對比

        4 結(jié)束語

        本文提出了一種新的腦電信號情感識(shí)別模型.首先,使用深度棧式自動(dòng)編碼器提取腦電信號深度情感特征;之后將所得到的特征生成時(shí)間序列,利用LSTM循環(huán)網(wǎng)絡(luò)實(shí)現(xiàn)連續(xù)維度情感分類;最后在DEAP數(shù)據(jù)集上仿真驗(yàn)證了該方法的有效性和優(yōu)越性,并且與其他方法相比得到了較高的情感識(shí)別正確率和較好的識(shí)別性能,該方法可以應(yīng)用于情感計(jì)算和人機(jī)情感交互.

        猜你喜歡
        分類情感模型
        一半模型
        分類算一算
        如何在情感中自我成長,保持獨(dú)立
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
        失落的情感
        北極光(2019年12期)2020-01-18 06:22:10
        情感
        分類討論求坐標(biāo)
        如何在情感中自我成長,保持獨(dú)立
        數(shù)據(jù)分析中的分類討論
        最新天堂一区二区三区| 加勒比东京热中文字幕| av天堂最新在线播放| 一本色综合网久久| 免费无遮挡无码永久视频| 野外亲子乱子伦视频丶| 久久久精品456亚洲影院| 亚洲av有码在线天堂| 亚洲精品国产综合久久一线| 亚洲一区二区免费日韩| 丝袜美腿亚洲综合第一页| 精品久久久bbbb人妻| 女人被男人躁得好爽免费视频| 久久无码高潮喷水| 999国产精品视频| 精品国产亚洲人成在线观看| 淫片一区二区三区av| 无码一区二区三区在线| 亚洲av成人一区二区三区av| 女女同性黄网在线观看| 中文字幕av一区二区三区诱惑| 国产成人一区二区三区影院| 日韩人妻ol丝袜av一二区| 台湾佬自拍偷区亚洲综合| 国产曰批免费视频播放免费s| 日韩精品一区二区三区四区| 亚洲精彩视频一区二区| 国产av精选一区二区| 风情韵味人妻hd| 成人区人妻精品一熟女| 日本女优中文字幕看片| 亚洲av无一区二区三区综合 | 蜜桃视频网站在线观看一区| 国产精品狼人久久久久影院| 国产麻无矿码直接观看| 伊人亚洲综合网色AV另类| 偷拍一区二区三区在线观看| 亚洲美女av一区二区在线| 白丝兔女郎m开腿sm调教室| 久久久久亚洲精品天堂| 国产av大片在线观看|