沈成業(yè)，張雪英，孫 穎，暢 江

太原理工大學 信息工程學院，太原 030024

1 引言

情感是伴隨著認知和意識過程產(chǎn)生的心理和生理狀態(tài)，在日常交流中起著非常重要的作用。近年來，隨著計算機技術(shù)及人機交互技術(shù)的發(fā)展，情感計算日漸成為情緒研究的熱點。而情感識別又是情緒研究的一個重要研究領(lǐng)域。

基于腦電信號（Electroencephalogram，EEG）的情感識別過程包括預處理、特征提取和分類。其中如何有效地提取特征波是一個至關(guān)重要的環(huán)節(jié)。小波變換（Wavelet Transform，WT）及盲源分離（Blind Source Separation，BSS）等都是非常有效的信號處理方法，也是β波[1-3]提取中常用方式。郭禎等人[4]將小波變換與神經(jīng)網(wǎng)絡(luò)相結(jié)合，通過小波變換分解并重構(gòu)了與呼吸相關(guān)的子波段主要成分，進而揭示了腦電波成分之間的關(guān)系。文獻[5-7]中都使用到盲源分離或是盲源分離的改進對多路腦電信號進行分離，盲分離后各輸出信號間的互相關(guān)系數(shù)較分離前大幅下降，并有效地將腦電信號中有效成分和偽跡分離開。

小波變換雖然能夠?qū)⑾鄳?yīng)頻段的腦電信號提取出來，但是卻忽略了各電極信號之間的相關(guān)性；而盲源分離算法雖然能夠獲取各個電極信號之間的相關(guān)信號[8-10]，但難免引入其他不相干的頻段。基于此，本文提出小波變換與盲源分離算法相結(jié)合的特征波提取方法。首先應(yīng)用小波變換提取出各電極信號的β波頻段，然后再利用盲源分離算法對提取出的各電極β波進行分離。既避免其他干擾波段，又能分離出各導信號中關(guān)聯(lián)性大的腦電信號成分，并輸出源信號的最優(yōu)逼近。

2 小波變換理論

和傅里葉變換、離散余弦變換相比較，小波變換具有較好的時頻變換特性，其特點是用短時尺度支持高頻分析，用長時尺度支持低頻分析。這種分析特點對腦電信號分析非常重要。

信號 x(t)的連續(xù)小波變換（Continuous Wavelet Transform，CWT）定義[11]為：

其中a是尺度因子，b是時間平移因子

相應(yīng)地，離散小波變換（Discrete Wavelet Transform，DWT）為：

式中m,n滿足由上式得出，小波變換在高頻時的分辨率高，在低頻時的分辨率低。

3 盲源分離模型

設(shè)有m個混疊信號x(t)=[x1(t),x2(t),…,xm(t)]T，每個xi(t)都是n個源信號s(t)=[s1(t),s2(t),…,sn(t)]T的一種混疊?，F(xiàn)定義函數(shù) f(·)來描述該混疊過程[6]，

式中n(t)為加性噪聲，A為m×n的混合矩陣，并取m=n。為了使得上式有解，現(xiàn)假設(shè)各個源信號非平穩(wěn)、互相獨立，并且沒有噪聲干擾[12]，則式（3）轉(zhuǎn)換為下式：

盲源分離的目標就是從觀測信號中反向求出源信號 s(t)和 f(·)，由于 s(t)和 f(·)均未知，需要通過某種變換方式，找到分離矩陣W，使得x(t)通過它后所輸出的Y=[y1,y2,…,yn](Y=Wx(t))是s(t)的最優(yōu)逼近。

4 信號的維格納分布及重排偽維格納分布

4.1 信號的維格納分布

任意一個可測的、平方可積的信號x(t)∈L2(R)，其連續(xù)WVD定義為：

其中稱為維格納自相關(guān)函數(shù)，記作?s(t,τ)。

當信號x(t)由多個分量組成時，就會出現(xiàn)交叉干擾

現(xiàn)象，即當

式中包含了有效的自相關(guān)項?A(t,τ)和干擾的互相關(guān)項?C(t,τ)。

將式（6）帶入式（5）中，最終得到如下形式的觀測信號的WVD矩陣。

并且觀測信號與源信號之間的WVD有以下關(guān)系：

式中上標H為復共軛轉(zhuǎn)置，Vxx(t,f)為觀測信號的WVD矩陣，Vss(t,f)為包含有自相關(guān)項WVD(WVDx,auto)和交叉項WVD(WVDx,cross)的源信號WVD矩陣，且Vxx(t,f)有以下關(guān)系：

結(jié)合式（4），觀測信號和源信號之間的WVD有以下關(guān)系：

4.2 重排偽維格納分布算法

WVD中的交叉項嚴重地影響了對自項WVDx,auto的識別，也嚴重影響了對信號時頻行為的識別。為使WVD中的交叉項得到抑制，可對WVD進行加窗處理從而得到平滑偽維格納（Smoothed Pseudo Wigner Distribution，SPWVD）[13]，其定義如下：

式中h(τ)和g(s)分別是頻率平滑窗函數(shù)及時間平滑窗函數(shù)，并且滿足g(0)=1，h(0)=1。

通過平滑窗函數(shù)可以增加控制的自由度，能夠?qū)VD(t,f)進行時域及頻域的平滑控制。雖然經(jīng)過平滑處理后，交叉項得到了抑制，但是時頻分布的聚集性也受到了影響（見圖1（b）），較WVD(t,f)有所下降。為解決該問題，采用時頻重排的方式。重排平滑偽維格納（RearrangedSmooth Pseudo WignerDistribution，RSPWVD）的定義如下[14]：

式中，

上式中通過對信號x(t)進行RSPWVD計算，改變平均點的歸屬，重新分配能量的重心來避免能量的發(fā)散（見圖1（c））。

圖1是原子信號的WVD，SPWVD和RSPWVD的時頻譜，原子信號的時頻中心分別在(t1,f1)=(32,0.15)，(t2,f2)=(32,0.35)，(t3,f3)=(96,0.35)。

4.3 基于重排平滑偽維格納分布的盲源分離實現(xiàn)步驟

基于重排平滑偽維格納分布的盲源分離（TFRSPWVD）實現(xiàn)過程包括兩個重要步驟：觀測數(shù)據(jù)白化處理和白化的維格納分布矩陣聯(lián)合對角化，步驟如下所示：

步驟1觀測數(shù)據(jù)的白化處理。

首先對觀測數(shù)據(jù)x(t)進行白化處理，即用一個白化陣W乘以x(t)，得到白化后的觀測矢量，并且仍然遵守線性模型。

此外，對于任意白化陣W，都有一個酉矩陣U，使得WA=U，從而A可被分解如下：

其中上標#表示Moore-Penose逆。白化過程就將確定混疊陣A的問題變?yōu)榍笥暇仃嘦。

步驟2聯(lián)合對角化。

將矩陣Vrsp,xx(t,f)前后分別乘以W，得到白化的Vzz(t,f)矩陣：

式（17）實質(zhì)上就是已白化的混疊信號z(t)的RSPWVD。由（15）、（16）兩式可得：

由于矩陣Vss(t,f)是對角化的，故由上式可見，U可作為使Vzz(t,f)對角化的酉矩陣求出。聯(lián)合對角化就是最小化JD準則函數(shù)。

5 實驗結(jié)果及分析

圖1 “原子”信號的WVD、SPWVD及RSPWVD

本文將小波變換與TFRSPWVD相結(jié)合，對于單側(cè)大腦（左側(cè)大腦/右側(cè)大腦），首先用小波變換提取每一通道信號的β波，再將該側(cè)大腦已提取出的各通道信號的β波組成TFRSPWVD的輸入矩陣，并以其中的一個通道信號的β波為目標函數(shù)（實驗中為比較各通道信號對情感的識別率，分別以各通道信號的β波作為目標函數(shù)）。實驗實施過程如圖2所示，圖中虛線框內(nèi)為TFRSPWVD。

圖2 小波變換結(jié)合TFRSPWVD算法流程圖

本文使用的DEAP數(shù)據(jù)庫[15]是由Sanders Koelstra等人公布的一個多模態(tài)情感數(shù)據(jù)集，該數(shù)據(jù)庫記錄了32名被試觀看40段音樂視頻時的EEG數(shù)據(jù)。這40段音樂視頻事先已用“激勵維-效價維”情感模型標注了A值和V值，并根據(jù)A值和V值劃分為高喚醒高愉悅（HAHV）、低喚醒高愉悅（LAHV）、低喚醒低愉悅（LALV）以及高喚醒低愉悅（HALV）。

5.1 實驗具體實施步驟

步驟1 數(shù)據(jù)預處理。選取其中的348個數(shù)據(jù)樣本，并使用每一樣本中的4個電極對[16-17]信號，截取每一電極信號的15～45 s的數(shù)據(jù)，進行分幀和加窗處理，得到觀測數(shù)據(jù)x(t)。

步驟2 對每一通道信號的數(shù)據(jù)x(t)進行小波變換，得到各通道電極的β波，將同側(cè)大腦的各通道電極β波構(gòu)造為輸入矩陣 X(t)=[x1,β(t),x2,β(t),…,xn,β(t)]。

步驟3 對 X(t)白化處理，并通過式（17）估計出，再求取出白化后的信號z(t)def。

步驟4 選取時頻域中的K個點(ti,fi)，計算出z(t)def的K個RSPWVD矩陣{Vzz(ti,fi)|i=1,2,…,K}。

步驟5 通過聯(lián)合對角化，得到酉矩陣。

步驟6 通過式（15）和式（18）估計出源信號。

步驟7 對估計出來的源信號提取相關(guān)特征向量，組成特征矩陣。

步驟8 最后對提取出的特征矩陣進行識別。

5.2 實驗結(jié)果

本文采用支持向量機（SVM）作為識別模型，并以電極對的方式（如FP1-FP2）構(gòu)造SVM的輸入向量進行識別。選取訓練樣本316個，測試樣本為148個。此外，實驗中另外設(shè)計了2組實驗來驗證“DWT-TFRSPWVD”方法的有效性，即“DWT-TFWVD”及“DWT-TFSPWVD”。

將表1～4以圖的形式呈現(xiàn)，如圖3所示。

表1 FP1-FP2識別率%

表2 F3-F4識別率%

表3 F7-F8識別率%

表4 FC5-FC6識別率%

三種算法運行同一個樣本所用平均時長如表5所示。

5.3 實驗分析

分析表1～5并結(jié)合圖3，可以得到以下幾點：

（1）從總體識別率上看，“DWT-TFSPWVD”及“DWTTFRSPWVD”整體識別率高于“DWT-TFWVD”，但是“DWT-TFSPWVD”及“DWT-TFRSPWVD”之間的差異并不是很明顯，表明RSPWVD雖然可以在SPWVD的基礎(chǔ)上改善信號的聚集性，但是對識別效果的提升不大。

（2）在所選擇的四個電極對的識別結(jié)果中，“DWTTFRSPWVD”在FP1-FP2電極對中對各情感類別的識別率均高于其他算法，結(jié)合文獻[16]，該處腦區(qū)的情感活動較其他腦區(qū)活躍且明顯。

（3）在運行時長方面，“DWT-TFRSPWVD”最長，“DWT-TFSPWVD”次之，而“DWT-TFWVD”最短。這表明，雖然前兩者的識別率相比“DWT-TFWVD”高，但卻是以增加復雜度及花費大量時間為代價的。

6 結(jié)束語

圖3 各電極對識別率

本文將小波變換結(jié)合時頻盲源分析算法，在提取出腦信號β波的基礎(chǔ)上，通過時頻盲源分離算法將各電極信號β波中關(guān)聯(lián)極大的成分分離出來作為后面情感識別的成分。同時，在TFWVD基礎(chǔ)上，通過改進WVD，即RSPWVD，大大地抑制了信號中交叉項對自項的干擾，從而使得識別率較WVD得到了有效的提升。實驗結(jié)果表明，該方法成功分離出了各導信號中關(guān)聯(lián)性大的腦電成分，計算并輸出與源信號最為逼近的信號，有效地解決了源信號難以估計的問題，并確定了與情感識別有極大關(guān)聯(lián)的電極對。

：

[1]聶聃，王曉韡，段若男，等.基于腦電的情緒識別研究綜述[J].中國生物醫(yī)學工程學報，2012（4）：595-606.

[2]趙國朕，宋金晶，葛燕，等.基于生理大數(shù)據(jù)的情緒識別研究進展[J].計算機研究與發(fā)展，2016（1）：80-92.

[3]佘青山，陳希豪，席旭剛，等.基于DTCWT和CSP的腦電信號特征提取[J].大連理工大學學報，2016（1）：1-7.

[4]郭禎，李暉，吳慰.大腦局部電位信號與呼吸的關(guān)系模型研究[J].電子科技大學學報，2016（5）：832-838.

[5]計瑜，沈繼忠，施錦河.一種基于盲源分離的眼電偽跡自動去除方法[J].浙江大學學報：工學版，2013（3）：415-421.

[6]羅志增，曹銘.基于最大信噪比盲源分離的腦電信號偽跡濾波算法[J].電子學報，2011，39（12）：2926-2931.

[7]羅志增，徐斌.基于小波消噪和盲源分離的腦電信號處理方法[J].華中科技大學學報：自然科學版，2011（S2）：157-160.

[8]Sardouie S H，Shamsollahi M B，Albera L，et al.Denoising of ictal EEG data using semi-blind source separation methods based on time-frequency priors[J].IEEE Journal of Biomedical and Health Informatics，2015，19（3）：839-847.

[9]Selvan S E，George S T，Balakrishnan R.Range-based ICA using a nonsmooth quasinewton optimizer for electroencephalographic source localization in focal epilepsy[J]. Computation，2015.

[10] Hamaneh M B，Chitravas N，Kaiboriboon K，et al.Auto- removal of EKG artifact from EEG data using ndent component analysis and continuous wavelet transformation[J].IEEE Transactions on Biomedical Engineering，2014，61（6）：1634-1641.

[11]成禮智，郭漢偉.小波與離散變換理論及工程實踐[M].北京：清華大學出版社，2005.

[12]Hyvarinen A，Karhunen J.獨立成分分析[M].周宗潭，譯.北京：電子工業(yè)出版社，2007.

[13]Khadra L M.The smoothed pseudo Wigner distribution in speech processing[J].International Journal of Electronics，1988，65（4）：743-755.

[14]Flandrin P，Auger F，Chassande-Mottin E.Time-frequency reassignment from principles to algorithms[J].Applications in Time-frequency Signal Processing，2002，5：179-203.

[15]DEAP Dataset[EB/OL].http：//www.eecs.qmul.ac.uk/mmv/datasets/deap/down-load.html.

[16]Bradley M M，Lang P J.Measuring emotion：the selfassessment manikin and the semantic differential[J].J Behav Therapy Exp Psychiatr，1994，25（1）：49-59.

[17]Jatupaiboon N，Pan-Ngum S，PasinIsrasena.Emotion classification using minimal EEG channels and frequency bands[C]//2013 10th International Joint Conference on Computer Science and Software Engineering（JCSSE），2013：21-24.