鄭 赟,馬玉良,3?,陳林楠,張建海
(1.杭州電子科技大學(xué)自動(dòng)化學(xué)院,浙江 杭州 310018;2.杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院,浙江 杭州 310018;3.浙江省腦機(jī)協(xié)同智能重點(diǎn)實(shí)驗(yàn)室,浙江 杭州 310018)
情緒是人對(duì)客觀事物體驗(yàn)之后產(chǎn)生的主觀感受,對(duì)于人類的行為和心理健康有重要的導(dǎo)向作用。如今,許多研究人員研究了基于腦電的情緒識(shí)別方法,并取得了重大進(jìn)展[1-2]。但是,由于采集腦電數(shù)據(jù)的設(shè)備較為昂貴,以及執(zhí)行情緒實(shí)驗(yàn)較為費(fèi)時(shí)費(fèi)力,這限制了情緒數(shù)據(jù)集的規(guī)模,而當(dāng)前大多數(shù)研究得出的結(jié)論是,對(duì)于深度學(xué)習(xí),隨著數(shù)據(jù)量的增加,分類效果將隨之提高[3-5]。因此情緒數(shù)據(jù)集規(guī)模的大小也影響著情緒識(shí)別的效果。
數(shù)據(jù)增強(qiáng)是解決數(shù)據(jù)不足的有效方法,它通過對(duì)真實(shí)數(shù)據(jù)實(shí)施某種變換來生成逼真的數(shù)據(jù)[6]。常用的數(shù)據(jù)增強(qiáng)方法有幾何變換(翻轉(zhuǎn),旋轉(zhuǎn),裁剪,變形,縮放)與顏色變換(噪聲、模糊、顏色變換、擦除、填充),在計(jì)算機(jī)視覺領(lǐng)域就常使用幾何變換[7]來生成人工圖像。類似的技術(shù)在腦電數(shù)據(jù)上也有應(yīng)用。Li[8]通過在原始腦電數(shù)據(jù)上加入隨機(jī)的高斯白噪聲來產(chǎn)生更多新的訓(xùn)練數(shù)據(jù)。Krell 和Su[9]提出使用旋轉(zhuǎn)的方法類似于圖像的仿射/旋轉(zhuǎn),來產(chǎn)生新的腦電數(shù)據(jù)。Zhang 等人[10]通過一種深度卷積生成對(duì)抗網(wǎng)絡(luò),產(chǎn)生新的運(yùn)動(dòng)圖像數(shù)據(jù)的頻譜圖圖像。
不同于通過變換來生成數(shù)據(jù),生成對(duì)抗式網(wǎng)絡(luò)(GAN)[11]通過深層神經(jīng)網(wǎng)絡(luò)和對(duì)抗式訓(xùn)練學(xué)習(xí)原始數(shù)據(jù)的分布,并以此產(chǎn)生人工數(shù)據(jù)。GAN 通常由兩個(gè)模塊組成,生成器和判別器通過互相博弈調(diào)整網(wǎng)絡(luò)參數(shù),當(dāng)模型收斂時(shí),生成數(shù)據(jù)具有和真實(shí)數(shù)據(jù)相同的分布,在計(jì)算機(jī)視覺領(lǐng)域,GAN 已經(jīng)證明其強(qiáng)大的逼真圖片生成能力。而在腦電數(shù)據(jù)領(lǐng)域,Wang 等人[12]首先使用一種簡(jiǎn)單的數(shù)據(jù)增強(qiáng)方法來解決基于EEG 的情緒識(shí)別中的數(shù)據(jù)不足問題。2018 年Luo[13]先從腦電數(shù)據(jù)中提取微分熵特征,再通過CWGAN 擴(kuò)大訓(xùn)練數(shù)據(jù)集,他們的實(shí)驗(yàn)結(jié)果表明,通過添加CWGAN 生成的訓(xùn)練數(shù)據(jù),可以改善基于EEG 的情緒識(shí)別模型的準(zhǔn)確性。2019 年Luo[14]又做了改進(jìn),將眼動(dòng)數(shù)據(jù)加入數(shù)據(jù)集,并采用CBEGAN 進(jìn)行數(shù)據(jù)增強(qiáng),提升了情緒識(shí)別效果。
然而對(duì)于GAN 生成的數(shù)據(jù)一直缺乏客觀的評(píng)價(jià)指標(biāo),這使得很難評(píng)估GAN 生成的結(jié)果,也無法保證生成的樣本總是有助于分類。針對(duì)這個(gè)問題,提出一種CWGAN-GP-SBS 的數(shù)據(jù)增強(qiáng)方法,借助序列后向選擇(SBS)能對(duì)冗余數(shù)據(jù)進(jìn)行篩選的特點(diǎn),將CWGAN-GP 生成的人工樣本通過SBS,自動(dòng)篩選生成質(zhì)量好以及分類準(zhǔn)確率高的樣本加入訓(xùn)練集中。通過分析實(shí)驗(yàn)結(jié)果,驗(yàn)證了CWGAN-GP-SBS 數(shù)據(jù)增強(qiáng)方法的有效性。
GAN 網(wǎng)絡(luò)由生成器(G)和判別器(D)兩部分組成,向生成器輸入一個(gè)隨機(jī)噪聲z,輸出的生成數(shù)據(jù)G(z),是符合真實(shí)數(shù)據(jù)分布的,向判別器輸入真實(shí)數(shù)據(jù)x和生成數(shù)據(jù)G(z),判斷輸入的數(shù)據(jù)是屬于真實(shí)數(shù)據(jù)還是生成數(shù)據(jù)。
但GAN 有時(shí)會(huì)出現(xiàn)梯度消失、難以訓(xùn)練的缺點(diǎn),為了解決這些問題,GAN 的其中一個(gè)改進(jìn)網(wǎng)絡(luò)WGAN 引入了Wasserstein 距離,Wasserstein 距離又稱為地球移動(dòng)距離(Earth-Mover Distance),即EM距離,Wasserstein 距離定義如下:
Wasserstein 距離相比KL 散度、JS 散度的優(yōu)越性在于,即便兩個(gè)分布沒有重疊,Wasserstein 距離仍然能夠反映它們的遠(yuǎn)近[15]。WGAN 還引入了Lipschitz 函數(shù),以此解決Wasserstein 距離沒法直接求解的問題。但為了滿足Lipschitz 連續(xù),要求判別器的梯度不大于一個(gè)有限的常數(shù)K,而這一步通過權(quán)重裁剪來實(shí)現(xiàn),這也導(dǎo)致了參數(shù)數(shù)值分布集中在最大最小兩個(gè)極端上,判別器受此影響會(huì)傾向于學(xué)習(xí)簡(jiǎn)單的映射函數(shù),判別器的性能就會(huì)變差[16]。
WGAN-GP 在WGAN 基礎(chǔ)上改進(jìn)了連續(xù)性限制條件,由于Lipschitz 連續(xù)要求判別器的梯度不超過K,WGAN-GP 則通過在損失函數(shù)上加入梯度懲罰(Gradient Penalty),來實(shí)現(xiàn)梯度與K之間的聯(lián)系,由此可得到WGAN-GP 目標(biāo)函數(shù):
WGAN-GP 相比于WGAN,通過加入梯度懲罰,解決了梯度爆炸的問題,加快了訓(xùn)練速度,使訓(xùn)練更加穩(wěn)定,基本不需要調(diào)參,并能生成更高質(zhì)量的數(shù)據(jù)[16]。
GAN 是一種無監(jiān)督的學(xué)習(xí)方式,無法得知生成數(shù)據(jù)的標(biāo)簽。而CGAN 通過給生成器與判別器的輸入加入標(biāo)簽信息,使生成器可以根據(jù)給定標(biāo)簽生成特定數(shù)據(jù)。受此啟發(fā),將標(biāo)簽信息y加入到WGAN-GP 的生成器和判別器輸入中,構(gòu)造出CWGAN-GP。CWGAN-GP 的目標(biāo)函數(shù)即變?yōu)?
本文使用CWGAN-GP 生成所需的腦電圖數(shù)據(jù)。本實(shí)驗(yàn)設(shè)計(jì)的CWGAN-GP 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。生成器的輸入由服從均勻分布的隨機(jī)噪聲和數(shù)據(jù)標(biāo)簽組成。
圖1 CWGAN-GP 結(jié)構(gòu)
生成器中包含全連接層,reshape 層,上采樣層,卷積層,批歸一化層。激活函數(shù)使用Relu 函數(shù)。生成器生成人工樣本之后,將生成的人工樣本再與標(biāo)簽組合輸入到判別器中。判別器的輸入由生成的人工樣本,真實(shí)樣本和標(biāo)簽組成。判別器中包含全連接層,reshape 層,dropout 層,卷積層,激活函數(shù)使用Leakyrelu。優(yōu)化算法使用RMSProp 算法。
序列后向選擇常用于特征選擇,能剔除不相關(guān)或冗余的特征,從而達(dá)到減少特征個(gè)數(shù),提高模型精確度,減少運(yùn)行時(shí)間的目標(biāo)。而GAN 網(wǎng)絡(luò)生成的數(shù)據(jù)質(zhì)量一直沒有客觀的評(píng)價(jià)指標(biāo),也無法保證生成的樣本總是有助于分類。
本文提出使用SBS 自動(dòng)篩選CWGAN-GP 生成的數(shù)據(jù),選擇識(shí)別確率高的加入到訓(xùn)練集中。算法思想為:從生成的人工樣本全集開始,每次從人工樣本集中剔除一個(gè)樣本x,使得剔除樣本x后評(píng)價(jià)函數(shù)值達(dá)到最優(yōu)。SBS 結(jié)構(gòu)中采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類,卷積網(wǎng)絡(luò)結(jié)構(gòu)主要由三個(gè)模塊從上到下連接組成,每個(gè)模塊由卷積層,池化層,批歸一化層組成,卷積層的卷積核大小皆為3?3,個(gè)數(shù)分別為64,128,256 遞增,池化層選用最大池化層,最后通過一個(gè)全連接層和dropout 層經(jīng)由softmax 輸出二分類結(jié)果。
將CWGAN-GP 生成的該受試者人工樣本作為訓(xùn)練集,該受試者的真實(shí)樣本作為測(cè)試集,考慮到重復(fù)篩選帶來的時(shí)間成本,根據(jù)經(jīng)驗(yàn),每次篩選只保留一半的生成數(shù)據(jù)。例如,需為一位受試者生成40 個(gè)人工樣本,則每次由CWGAN-GP 生成40 個(gè)人工樣本,經(jīng)SBS 篩選后保留一半的人工樣本,重復(fù)操作一次即獲得所需生成的40 個(gè)人工樣本??紤]到硬件條件和SBS 篩選的時(shí)間成本,設(shè)置SBS 最大篩選容量為40,若需對(duì)40 個(gè)人工樣本以上進(jìn)行篩選時(shí),則對(duì)輸入樣本進(jìn)行打包處理,例如,當(dāng)輸入800 個(gè)人工樣本需要篩選時(shí),其數(shù)據(jù)矩陣為800×32×32×3,通過打包轉(zhuǎn)化為40×20×32×32×3,即把每20 個(gè)人工樣本打包在一起。
本文所提出的方法流程如圖2 所示,
圖2 CWGAN-GP-SBS 數(shù)據(jù)增強(qiáng)方法
本文使用DEAP 數(shù)據(jù)集,該數(shù)據(jù)集采集了32 位受試者觀看40 個(gè)時(shí)長(zhǎng)約為1 min 的音樂視頻所對(duì)應(yīng)的生理信號(hào)和受試者在觀看后填寫的自我情緒評(píng)定量表,每個(gè)受試者的生理信號(hào)矩陣為40×40×8 064(40 首實(shí)驗(yàn)音樂,40 導(dǎo)生理信號(hào)通道,8 064 個(gè)采樣點(diǎn)),40 導(dǎo)生理信號(hào)包括32 導(dǎo)腦電信號(hào)和8 導(dǎo)其他生理信號(hào)。
首先,由于情緒的誘發(fā)產(chǎn)生是一個(gè)過程,受試者在觀看視頻的初始階段尚未誘發(fā)出情緒以及在末尾端階段情緒的減弱,因而將實(shí)驗(yàn)中前23 s 數(shù)據(jù)和后20 s 刪去,保留中間20 s 的數(shù)據(jù),即2 560 個(gè)數(shù)據(jù)點(diǎn)。
然后考慮到GAN 網(wǎng)絡(luò)更適合生成圖像數(shù)據(jù),以1s 數(shù)據(jù)作為1 個(gè)時(shí)間窗,將數(shù)據(jù)分割為20 段,把每段信號(hào)分解為5 個(gè)子帶,即delta,theta,alpha,beta和gamma,由于alpha,beta 和gamma 子帶與情緒[17]更相關(guān),我們只選擇這三個(gè)子帶,通過計(jì)算每個(gè)子帶32 個(gè)腦電通道之間的皮爾遜相關(guān)系數(shù),將數(shù)據(jù)格式轉(zhuǎn)化為32×32×3 的類似彩色圖像的格式,作為CWGAN-GP 的輸入。
對(duì)于每個(gè)受試者有40 個(gè)試驗(yàn),總樣本數(shù)為800,隨機(jī)選取32 個(gè)試驗(yàn)(640 個(gè)樣本)作為原始訓(xùn)練集,剩下的8 個(gè)試驗(yàn)(160 個(gè)樣本)作為測(cè)試集,進(jìn)行5 倍交叉驗(yàn)證。對(duì)于每個(gè)受試者,我們生成兩類標(biāo)簽的40,200,600,800 和1 600 個(gè)人工樣本,經(jīng)過SBS 篩選后,將它們添加到各自的原始訓(xùn)練集。最后將訓(xùn)練集與測(cè)試集輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類,卷積網(wǎng)絡(luò)結(jié)構(gòu)與SBS 中的卷積網(wǎng)絡(luò)設(shè)置相同。
圖3 顯示CWGAN-GP 的收斂曲線,也為判別器的損失曲線,從圖上可發(fā)現(xiàn)判別器的損失值在經(jīng)過4 000 次迭代后上升到-2.5,且有向0 接近的趨勢(shì)。這表明CWGAN-GP 網(wǎng)絡(luò)具有良好的收斂性能,也表示人工樣本和真實(shí)樣本的分布越來越相似,判別器已無法判斷樣本的來源是來自真實(shí)樣本還是人工樣本。
圖3 判別器損失曲線
為了驗(yàn)證使用SBS 能篩選出高質(zhì)量人工樣本,接下來將比較只采用CWGAN-GP 生成的人工樣本,和通過SBS 篩選后的人工樣本。測(cè)試兩種方法得到的人工樣本在不同的樣本數(shù)量下,對(duì)于不同任務(wù)的分類準(zhǔn)確率。測(cè)試數(shù)據(jù)來自DEAP 數(shù)據(jù)集中的兩個(gè)任務(wù):Arousal 和Valence。結(jié)果如表1 所示,其中加粗的數(shù)據(jù)表示兩種任務(wù)在每種算法下對(duì)應(yīng)的最佳平均測(cè)試分類準(zhǔn)確率。可以看到隨著增添的人工樣本數(shù)據(jù)量的增加,CWGAN-GP 和CWGAN-GP-SBS的平均準(zhǔn)確率都有一定增長(zhǎng)。
表1 逐步添加生成數(shù)據(jù)的不同算法的平均測(cè)試分類準(zhǔn)確率
在為每個(gè)受試者的訓(xùn)練集中增添600 個(gè)人工樣本時(shí),CWGAN-GP 達(dá)到了最佳性能,在Valence上的平均準(zhǔn)確率為77.49%,在Arousal 上的準(zhǔn)確率為81.33%,這表明了由CWGAN-GP 生成的人工樣本可以有效地?cái)U(kuò)充數(shù)據(jù)集,提高模型的泛化能力。但此后再添加生成的人工樣本,分類準(zhǔn)確率難以再向上提升,甚至還有降低,這表明單靠CWGANGP 生成的人工樣本,雖能擴(kuò)充數(shù)據(jù)集,但隨著生成人工樣本增加,與情緒識(shí)別不相關(guān)的人工樣本也在增加,分類準(zhǔn)確率也因此受限。而CWGANGP-SBS 的所有結(jié)果都要好于CWGAN-GP,在為每個(gè)受試者的訓(xùn)練集中增添800 個(gè)人工樣本時(shí),CWGAN-GP-SBS 達(dá)到了最佳性能,在Valence 上的平均準(zhǔn)確率為83.74%,在Arousal 上的準(zhǔn)確率為86.79%,這表明經(jīng)過SBS 篩選后的樣本是有助于提升分類效果的。
但隨著增添的人工樣本數(shù)量進(jìn)一步增加,CWGAN-GP-SBS的分類準(zhǔn)確率也出現(xiàn)了回落,這是由于在面對(duì)添加大量人工樣本,在使用SBS 篩選時(shí),受限于硬件條件和時(shí)間成本,采取了打包策略,將多個(gè)樣本打包在一起篩選,這導(dǎo)致了SBS 沒有對(duì)包中的人工樣本進(jìn)行篩選,混入了冗余的人工樣本。為了進(jìn)一步驗(yàn)證SBS 對(duì)CWGAN-GP 生成的人工樣本篩選的有效性,將其與Luo[13]所提出的方法進(jìn)行了比較。與本文提出方法不同的是,Luo 使用了他提出的3 個(gè)指標(biāo)篩選CWGAN-GP 生成的高質(zhì)量人工樣本。為了能與Luo 比較,采取與其相同的策略來劃分每個(gè)受試者的訓(xùn)練集和測(cè)試集。前24 個(gè)試驗(yàn)(1 440 個(gè)樣本)設(shè)為訓(xùn)練集,剩余的16 個(gè)試驗(yàn)(960 個(gè)樣本)設(shè)為測(cè)試集,提取每秒頻帶上的微分熵作為特征,并使用相同設(shè)置的支持向量機(jī)作為分類器。結(jié)果如表2 所示,其中加粗的數(shù)據(jù)表示兩種任務(wù)在不同人工樣本數(shù)量下對(duì)應(yīng)的最佳平均測(cè)試分類準(zhǔn)確率。
表2 不同評(píng)價(jià)手段的結(jié)果比較
增添的人工樣本數(shù)量n×dataset 表示將原數(shù)據(jù)集擴(kuò)增n 倍,如1 就表示將原數(shù)據(jù)集擴(kuò)增了一倍。從表2 中我們發(fā)現(xiàn)無論是哪種方法,隨著增添的人工樣本數(shù)量變多,分類準(zhǔn)確率整體呈下降趨勢(shì)。這說明1×dataset 是最佳樣本擴(kuò)增數(shù)量。同時(shí)可以看出,當(dāng)擴(kuò)增人工樣本較多時(shí),經(jīng)過SBS 篩選后的人工樣本相比基于Luo 的評(píng)價(jià)指標(biāo)篩選的人工樣本,在Arousal 上的平均準(zhǔn)確率較高,在Valence 上的平均準(zhǔn)確率較低,這也是SBS 的局限性。當(dāng)擴(kuò)增人工樣本較少時(shí)經(jīng)過SBS 篩選的分類準(zhǔn)確率要好于Luo的評(píng)價(jià)指標(biāo),這表明在擴(kuò)增較少樣本時(shí),SBS 能有效取代Luo 所提出的評(píng)價(jià)指標(biāo),自動(dòng)篩選質(zhì)量好的、分類準(zhǔn)確率高的樣本加入訓(xùn)練集中。
雖然上述結(jié)果說明SBS 具有自動(dòng)篩選高質(zhì)量人工樣本的能力,但是所帶來的時(shí)間成本也是不容忽視的。在后續(xù)的工作中,我們將研究篩選次數(shù)、篩選樣本量對(duì)于分類準(zhǔn)確率以及時(shí)間成本的影響,在保證分類準(zhǔn)確率的前提下大幅降低時(shí)間成本。并且SBS 的網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單,之后可以通過更改網(wǎng)絡(luò)結(jié)構(gòu)以獲得更好的分類效果。
本文提出了一種基于CWGAN-GP-SBS 的數(shù)據(jù)增強(qiáng)方法,借助SBS 的特性對(duì)CWGAN-GP 生成的人工樣本進(jìn)行篩選,最終實(shí)驗(yàn)結(jié)果證明通過該方法生成的人工樣本對(duì)提高情緒二分類識(shí)別準(zhǔn)確率是可行且有效的。將來,我們將研究更多可量化的方法來評(píng)估生成的人工樣本的質(zhì)量。