鄭 赟，馬玉良，3?，陳林楠，張建海

(1.杭州電子科技大學(xué)自動(dòng)化學(xué)院，浙江 杭州 310018；2.杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院，浙江 杭州 310018；3.浙江省腦機(jī)協(xié)同智能重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310018)

情緒是人對(duì)客觀事物體驗(yàn)之后產(chǎn)生的主觀感受，對(duì)于人類的行為和心理健康有重要的導(dǎo)向作用。如今，許多研究人員研究了基于腦電的情緒識(shí)別方法，并取得了重大進(jìn)展[1－2]。但是，由于采集腦電數(shù)據(jù)的設(shè)備較為昂貴，以及執(zhí)行情緒實(shí)驗(yàn)較為費(fèi)時(shí)費(fèi)力，這限制了情緒數(shù)據(jù)集的規(guī)模，而當(dāng)前大多數(shù)研究得出的結(jié)論是，對(duì)于深度學(xué)習(xí)，隨著數(shù)據(jù)量的增加，分類效果將隨之提高[3－5]。因此情緒數(shù)據(jù)集規(guī)模的大小也影響著情緒識(shí)別的效果。

數(shù)據(jù)增強(qiáng)是解決數(shù)據(jù)不足的有效方法，它通過對(duì)真實(shí)數(shù)據(jù)實(shí)施某種變換來生成逼真的數(shù)據(jù)[6]。常用的數(shù)據(jù)增強(qiáng)方法有幾何變換(翻轉(zhuǎn)，旋轉(zhuǎn)，裁剪，變形，縮放)與顏色變換(噪聲、模糊、顏色變換、擦除、填充)，在計(jì)算機(jī)視覺領(lǐng)域就常使用幾何變換[7]來生成人工圖像。類似的技術(shù)在腦電數(shù)據(jù)上也有應(yīng)用。Li[8]通過在原始腦電數(shù)據(jù)上加入隨機(jī)的高斯白噪聲來產(chǎn)生更多新的訓(xùn)練數(shù)據(jù)。Krell 和Su[9]提出使用旋轉(zhuǎn)的方法類似于圖像的仿射/旋轉(zhuǎn)，來產(chǎn)生新的腦電數(shù)據(jù)。Zhang 等人[10]通過一種深度卷積生成對(duì)抗網(wǎng)絡(luò)，產(chǎn)生新的運(yùn)動(dòng)圖像數(shù)據(jù)的頻譜圖圖像。

不同于通過變換來生成數(shù)據(jù)，生成對(duì)抗式網(wǎng)絡(luò)(GAN)[11]通過深層神經(jīng)網(wǎng)絡(luò)和對(duì)抗式訓(xùn)練學(xué)習(xí)原始數(shù)據(jù)的分布，并以此產(chǎn)生人工數(shù)據(jù)。GAN 通常由兩個(gè)模塊組成，生成器和判別器通過互相博弈調(diào)整網(wǎng)絡(luò)參數(shù)，當(dāng)模型收斂時(shí)，生成數(shù)據(jù)具有和真實(shí)數(shù)據(jù)相同的分布，在計(jì)算機(jī)視覺領(lǐng)域，GAN 已經(jīng)證明其強(qiáng)大的逼真圖片生成能力。而在腦電數(shù)據(jù)領(lǐng)域，Wang 等人[12]首先使用一種簡(jiǎn)單的數(shù)據(jù)增強(qiáng)方法來解決基于EEG 的情緒識(shí)別中的數(shù)據(jù)不足問題。2018 年Luo[13]先從腦電數(shù)據(jù)中提取微分熵特征，再通過CWGAN 擴(kuò)大訓(xùn)練數(shù)據(jù)集，他們的實(shí)驗(yàn)結(jié)果表明，通過添加CWGAN 生成的訓(xùn)練數(shù)據(jù)，可以改善基于EEG 的情緒識(shí)別模型的準(zhǔn)確性。2019 年Luo[14]又做了改進(jìn)，將眼動(dòng)數(shù)據(jù)加入數(shù)據(jù)集，并采用CBEGAN 進(jìn)行數(shù)據(jù)增強(qiáng)，提升了情緒識(shí)別效果。

然而對(duì)于GAN 生成的數(shù)據(jù)一直缺乏客觀的評(píng)價(jià)指標(biāo)，這使得很難評(píng)估GAN 生成的結(jié)果，也無法保證生成的樣本總是有助于分類。針對(duì)這個(gè)問題，提出一種CWGAN-GP-SBS 的數(shù)據(jù)增強(qiáng)方法，借助序列后向選擇(SBS)能對(duì)冗余數(shù)據(jù)進(jìn)行篩選的特點(diǎn)，將CWGAN-GP 生成的人工樣本通過SBS，自動(dòng)篩選生成質(zhì)量好以及分類準(zhǔn)確率高的樣本加入訓(xùn)練集中。通過分析實(shí)驗(yàn)結(jié)果，驗(yàn)證了CWGAN-GP-SBS 數(shù)據(jù)增強(qiáng)方法的有效性。

1 方法

1.1 WGAN-GP

GAN 網(wǎng)絡(luò)由生成器(G)和判別器(D)兩部分組成，向生成器輸入一個(gè)隨機(jī)噪聲z，輸出的生成數(shù)據(jù)G(z)，是符合真實(shí)數(shù)據(jù)分布的，向判別器輸入真實(shí)數(shù)據(jù)x和生成數(shù)據(jù)G(z)，判斷輸入的數(shù)據(jù)是屬于真實(shí)數(shù)據(jù)還是生成數(shù)據(jù)。

但GAN 有時(shí)會(huì)出現(xiàn)梯度消失、難以訓(xùn)練的缺點(diǎn)，為了解決這些問題，GAN 的其中一個(gè)改進(jìn)網(wǎng)絡(luò)WGAN 引入了Wasserstein 距離，Wasserstein 距離又稱為地球移動(dòng)距離(Earth-Mover Distance)，即EM距離，Wasserstein 距離定義如下:

Wasserstein 距離相比KL 散度、JS 散度的優(yōu)越性在于，即便兩個(gè)分布沒有重疊，Wasserstein 距離仍然能夠反映它們的遠(yuǎn)近[15]。WGAN 還引入了Lipschitz 函數(shù)，以此解決Wasserstein 距離沒法直接求解的問題。但為了滿足Lipschitz 連續(xù)，要求判別器的梯度不大于一個(gè)有限的常數(shù)K，而這一步通過權(quán)重裁剪來實(shí)現(xiàn)，這也導(dǎo)致了參數(shù)數(shù)值分布集中在最大最小兩個(gè)極端上，判別器受此影響會(huì)傾向于學(xué)習(xí)簡(jiǎn)單的映射函數(shù)，判別器的性能就會(huì)變差[16]。

WGAN-GP 在WGAN 基礎(chǔ)上改進(jìn)了連續(xù)性限制條件，由于Lipschitz 連續(xù)要求判別器的梯度不超過K，WGAN-GP 則通過在損失函數(shù)上加入梯度懲罰(Gradient Penalty)，來實(shí)現(xiàn)梯度與K之間的聯(lián)系，由此可得到WGAN-GP 目標(biāo)函數(shù):

WGAN-GP 相比于WGAN，通過加入梯度懲罰，解決了梯度爆炸的問題，加快了訓(xùn)練速度，使訓(xùn)練更加穩(wěn)定，基本不需要調(diào)參，并能生成更高質(zhì)量的數(shù)據(jù)[16]。

1.2 CWGAN-GP

GAN 是一種無監(jiān)督的學(xué)習(xí)方式，無法得知生成數(shù)據(jù)的標(biāo)簽。而CGAN 通過給生成器與判別器的輸入加入標(biāo)簽信息，使生成器可以根據(jù)給定標(biāo)簽生成特定數(shù)據(jù)。受此啟發(fā)，將標(biāo)簽信息y加入到WGAN-GP 的生成器和判別器輸入中，構(gòu)造出CWGAN-GP。CWGAN-GP 的目標(biāo)函數(shù)即變?yōu)?

本文使用CWGAN-GP 生成所需的腦電圖數(shù)據(jù)。本實(shí)驗(yàn)設(shè)計(jì)的CWGAN-GP 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。生成器的輸入由服從均勻分布的隨機(jī)噪聲和數(shù)據(jù)標(biāo)簽組成。

圖1 CWGAN-GP 結(jié)構(gòu)

生成器中包含全連接層，reshape 層，上采樣層，卷積層，批歸一化層。激活函數(shù)使用Relu 函數(shù)。生成器生成人工樣本之后，將生成的人工樣本再與標(biāo)簽組合輸入到判別器中。判別器的輸入由生成的人工樣本，真實(shí)樣本和標(biāo)簽組成。判別器中包含全連接層，reshape 層，dropout 層，卷積層，激活函數(shù)使用Leakyrelu。優(yōu)化算法使用RMSProp 算法。

1.3 序列后向選擇(SBS)

序列后向選擇常用于特征選擇，能剔除不相關(guān)或冗余的特征，從而達(dá)到減少特征個(gè)數(shù)，提高模型精確度，減少運(yùn)行時(shí)間的目標(biāo)。而GAN 網(wǎng)絡(luò)生成的數(shù)據(jù)質(zhì)量一直沒有客觀的評(píng)價(jià)指標(biāo)，也無法保證生成的樣本總是有助于分類。

本文提出使用SBS 自動(dòng)篩選CWGAN-GP 生成的數(shù)據(jù)，選擇識(shí)別確率高的加入到訓(xùn)練集中。算法思想為:從生成的人工樣本全集開始，每次從人工樣本集中剔除一個(gè)樣本x，使得剔除樣本x后評(píng)價(jià)函數(shù)值達(dá)到最優(yōu)。SBS 結(jié)構(gòu)中采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，卷積網(wǎng)絡(luò)結(jié)構(gòu)主要由三個(gè)模塊從上到下連接組成，每個(gè)模塊由卷積層，池化層，批歸一化層組成，卷積層的卷積核大小皆為3?3，個(gè)數(shù)分別為64，128，256 遞增，池化層選用最大池化層，最后通過一個(gè)全連接層和dropout 層經(jīng)由softmax 輸出二分類結(jié)果。

將CWGAN-GP 生成的該受試者人工樣本作為訓(xùn)練集，該受試者的真實(shí)樣本作為測(cè)試集，考慮到重復(fù)篩選帶來的時(shí)間成本，根據(jù)經(jīng)驗(yàn)，每次篩選只保留一半的生成數(shù)據(jù)。例如，需為一位受試者生成40 個(gè)人工樣本，則每次由CWGAN-GP 生成40 個(gè)人工樣本，經(jīng)SBS 篩選后保留一半的人工樣本，重復(fù)操作一次即獲得所需生成的40 個(gè)人工樣本?？紤]到硬件條件和SBS 篩選的時(shí)間成本，設(shè)置SBS 最大篩選容量為40，若需對(duì)40 個(gè)人工樣本以上進(jìn)行篩選時(shí)，則對(duì)輸入樣本進(jìn)行打包處理，例如，當(dāng)輸入800 個(gè)人工樣本需要篩選時(shí)，其數(shù)據(jù)矩陣為800×32×32×3，通過打包轉(zhuǎn)化為40×20×32×32×3，即把每20 個(gè)人工樣本打包在一起。

本文所提出的方法流程如圖2 所示，

圖2 CWGAN-GP-SBS 數(shù)據(jù)增強(qiáng)方法

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)

本文使用DEAP 數(shù)據(jù)集，該數(shù)據(jù)集采集了32 位受試者觀看40 個(gè)時(shí)長(zhǎng)約為1 min 的音樂視頻所對(duì)應(yīng)的生理信號(hào)和受試者在觀看后填寫的自我情緒評(píng)定量表，每個(gè)受試者的生理信號(hào)矩陣為40×40×8 064(40 首實(shí)驗(yàn)音樂，40 導(dǎo)生理信號(hào)通道，8 064 個(gè)采樣點(diǎn))，40 導(dǎo)生理信號(hào)包括32 導(dǎo)腦電信號(hào)和8 導(dǎo)其他生理信號(hào)。

2.2 數(shù)據(jù)預(yù)處理

首先，由于情緒的誘發(fā)產(chǎn)生是一個(gè)過程，受試者在觀看視頻的初始階段尚未誘發(fā)出情緒以及在末尾端階段情緒的減弱，因而將實(shí)驗(yàn)中前23 s 數(shù)據(jù)和后20 s 刪去，保留中間20 s 的數(shù)據(jù)，即2 560 個(gè)數(shù)據(jù)點(diǎn)。

然后考慮到GAN 網(wǎng)絡(luò)更適合生成圖像數(shù)據(jù)，以1s 數(shù)據(jù)作為1 個(gè)時(shí)間窗，將數(shù)據(jù)分割為20 段，把每段信號(hào)分解為5 個(gè)子帶，即delta，theta，alpha，beta和gamma，由于alpha，beta 和gamma 子帶與情緒[17]更相關(guān)，我們只選擇這三個(gè)子帶，通過計(jì)算每個(gè)子帶32 個(gè)腦電通道之間的皮爾遜相關(guān)系數(shù)，將數(shù)據(jù)格式轉(zhuǎn)化為32×32×3 的類似彩色圖像的格式，作為CWGAN-GP 的輸入。

2.3 數(shù)據(jù)增強(qiáng)與分類

對(duì)于每個(gè)受試者有40 個(gè)試驗(yàn)，總樣本數(shù)為800，隨機(jī)選取32 個(gè)試驗(yàn)(640 個(gè)樣本)作為原始訓(xùn)練集，剩下的8 個(gè)試驗(yàn)(160 個(gè)樣本)作為測(cè)試集，進(jìn)行5 倍交叉驗(yàn)證。對(duì)于每個(gè)受試者，我們生成兩類標(biāo)簽的40，200，600，800 和1 600 個(gè)人工樣本，經(jīng)過SBS 篩選后，將它們添加到各自的原始訓(xùn)練集。最后將訓(xùn)練集與測(cè)試集輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類，卷積網(wǎng)絡(luò)結(jié)構(gòu)與SBS 中的卷積網(wǎng)絡(luò)設(shè)置相同。

3 結(jié)果與分析

圖3 顯示CWGAN-GP 的收斂曲線，也為判別器的損失曲線，從圖上可發(fā)現(xiàn)判別器的損失值在經(jīng)過4 000 次迭代后上升到－2.5，且有向0 接近的趨勢(shì)。這表明CWGAN-GP 網(wǎng)絡(luò)具有良好的收斂性能，也表示人工樣本和真實(shí)樣本的分布越來越相似，判別器已無法判斷樣本的來源是來自真實(shí)樣本還是人工樣本。

圖3 判別器損失曲線

為了驗(yàn)證使用SBS 能篩選出高質(zhì)量人工樣本，接下來將比較只采用CWGAN-GP 生成的人工樣本，和通過SBS 篩選后的人工樣本。測(cè)試兩種方法得到的人工樣本在不同的樣本數(shù)量下，對(duì)于不同任務(wù)的分類準(zhǔn)確率。測(cè)試數(shù)據(jù)來自DEAP 數(shù)據(jù)集中的兩個(gè)任務(wù):Arousal 和Valence。結(jié)果如表1 所示，其中加粗的數(shù)據(jù)表示兩種任務(wù)在每種算法下對(duì)應(yīng)的最佳平均測(cè)試分類準(zhǔn)確率。可以看到隨著增添的人工樣本數(shù)據(jù)量的增加，CWGAN-GP 和CWGAN-GP-SBS的平均準(zhǔn)確率都有一定增長(zhǎng)。

表1 逐步添加生成數(shù)據(jù)的不同算法的平均測(cè)試分類準(zhǔn)確率

在為每個(gè)受試者的訓(xùn)練集中增添600 個(gè)人工樣本時(shí)，CWGAN-GP 達(dá)到了最佳性能，在Valence上的平均準(zhǔn)確率為77.49%，在Arousal 上的準(zhǔn)確率為81.33%，這表明了由CWGAN-GP 生成的人工樣本可以有效地?cái)U(kuò)充數(shù)據(jù)集，提高模型的泛化能力。但此后再添加生成的人工樣本，分類準(zhǔn)確率難以再向上提升，甚至還有降低，這表明單靠CWGANGP 生成的人工樣本，雖能擴(kuò)充數(shù)據(jù)集，但隨著生成人工樣本增加，與情緒識(shí)別不相關(guān)的人工樣本也在增加，分類準(zhǔn)確率也因此受限。而CWGANGP-SBS 的所有結(jié)果都要好于CWGAN-GP，在為每個(gè)受試者的訓(xùn)練集中增添800 個(gè)人工樣本時(shí)，CWGAN-GP-SBS 達(dá)到了最佳性能，在Valence 上的平均準(zhǔn)確率為83.74%，在Arousal 上的準(zhǔn)確率為86.79%，這表明經(jīng)過SBS 篩選后的樣本是有助于提升分類效果的。

但隨著增添的人工樣本數(shù)量進(jìn)一步增加，CWGAN-GP-SBS的分類準(zhǔn)確率也出現(xiàn)了回落，這是由于在面對(duì)添加大量人工樣本，在使用SBS 篩選時(shí)，受限于硬件條件和時(shí)間成本，采取了打包策略，將多個(gè)樣本打包在一起篩選，這導(dǎo)致了SBS 沒有對(duì)包中的人工樣本進(jìn)行篩選，混入了冗余的人工樣本。為了進(jìn)一步驗(yàn)證SBS 對(duì)CWGAN-GP 生成的人工樣本篩選的有效性，將其與Luo[13]所提出的方法進(jìn)行了比較。與本文提出方法不同的是，Luo 使用了他提出的3 個(gè)指標(biāo)篩選CWGAN-GP 生成的高質(zhì)量人工樣本。為了能與Luo 比較，采取與其相同的策略來劃分每個(gè)受試者的訓(xùn)練集和測(cè)試集。前24 個(gè)試驗(yàn)(1 440 個(gè)樣本)設(shè)為訓(xùn)練集，剩余的16 個(gè)試驗(yàn)(960 個(gè)樣本)設(shè)為測(cè)試集，提取每秒頻帶上的微分熵作為特征，并使用相同設(shè)置的支持向量機(jī)作為分類器。結(jié)果如表2 所示，其中加粗的數(shù)據(jù)表示兩種任務(wù)在不同人工樣本數(shù)量下對(duì)應(yīng)的最佳平均測(cè)試分類準(zhǔn)確率。

表2 不同評(píng)價(jià)手段的結(jié)果比較

增添的人工樣本數(shù)量n×dataset 表示將原數(shù)據(jù)集擴(kuò)增n 倍，如1 就表示將原數(shù)據(jù)集擴(kuò)增了一倍。從表2 中我們發(fā)現(xiàn)無論是哪種方法，隨著增添的人工樣本數(shù)量變多，分類準(zhǔn)確率整體呈下降趨勢(shì)。這說明1×dataset 是最佳樣本擴(kuò)增數(shù)量。同時(shí)可以看出，當(dāng)擴(kuò)增人工樣本較多時(shí)，經(jīng)過SBS 篩選后的人工樣本相比基于Luo 的評(píng)價(jià)指標(biāo)篩選的人工樣本，在Arousal 上的平均準(zhǔn)確率較高，在Valence 上的平均準(zhǔn)確率較低，這也是SBS 的局限性。當(dāng)擴(kuò)增人工樣本較少時(shí)經(jīng)過SBS 篩選的分類準(zhǔn)確率要好于Luo的評(píng)價(jià)指標(biāo)，這表明在擴(kuò)增較少樣本時(shí)，SBS 能有效取代Luo 所提出的評(píng)價(jià)指標(biāo)，自動(dòng)篩選質(zhì)量好的、分類準(zhǔn)確率高的樣本加入訓(xùn)練集中。

雖然上述結(jié)果說明SBS 具有自動(dòng)篩選高質(zhì)量人工樣本的能力，但是所帶來的時(shí)間成本也是不容忽視的。在后續(xù)的工作中，我們將研究篩選次數(shù)、篩選樣本量對(duì)于分類準(zhǔn)確率以及時(shí)間成本的影響，在保證分類準(zhǔn)確率的前提下大幅降低時(shí)間成本。并且SBS 的網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單，之后可以通過更改網(wǎng)絡(luò)結(jié)構(gòu)以獲得更好的分類效果。

4 結(jié)論

本文提出了一種基于CWGAN-GP-SBS 的數(shù)據(jù)增強(qiáng)方法，借助SBS 的特性對(duì)CWGAN-GP 生成的人工樣本進(jìn)行篩選，最終實(shí)驗(yàn)結(jié)果證明通過該方法生成的人工樣本對(duì)提高情緒二分類識(shí)別準(zhǔn)確率是可行且有效的。將來，我們將研究更多可量化的方法來評(píng)估生成的人工樣本的質(zhì)量。