雷沛,王靜,周昕煒,柴新禹
上海交通大學(xué)生物醫(yī)學(xué)工程學(xué)院,上海市,200240
焦慮是一種在感到被威脅的環(huán)境中產(chǎn)生的復(fù)雜的心理過程。通常是由于自身行為有可能無(wú)法完成既定目標(biāo)而產(chǎn)生的情緒狀態(tài)[1]。焦慮既是一種復(fù)合的情緒狀態(tài),又是一種內(nèi)驅(qū)力。處于焦慮情緒狀態(tài)下的個(gè)體有外在的行為表現(xiàn)與軀體內(nèi)部的生理變化。其中心理癥狀有擔(dān)憂、緊張、煩躁等。軀體癥狀多系交感神經(jīng)興奮的反應(yīng)性癥狀,如氣短、氣促、心慌等[2]。
利用多種生理信號(hào)參數(shù)進(jìn)行人的特定情緒狀態(tài)的識(shí)別研究目前得到廣泛的研究。生理信號(hào)是由人的自主神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)控制的,不受人的社會(huì)因素影響而產(chǎn)生的生物電信號(hào)、生物阻抗或生理外形特征變化信號(hào)[3]。利用生理信號(hào)參數(shù)進(jìn)行的情緒狀態(tài)識(shí)別更為真實(shí)和客觀。其基本研究思路是通過情緒誘發(fā)實(shí)驗(yàn),得到與特定情緒相關(guān)的單一或多種生理信號(hào)參數(shù),經(jīng)信號(hào)預(yù)處理及特征提取,建立用于識(shí)別算法或模型的特征空間。提出或采用的識(shí)別算法或模型根據(jù)特征空間進(jìn)行調(diào)整優(yōu)化,以提高算法或模型識(shí)別特定情緒的可靠性。Pichard帶領(lǐng)的MIT實(shí)驗(yàn)室記錄了五種生理參數(shù),提取了40種特征,探索了基于多生理參數(shù)進(jìn)行情緒識(shí)別的可行性[4]。Kim等[5]利用音頻材料以及視頻片段作為誘發(fā)材料,采集了200名被試的四種生理參數(shù),采用支持向量機(jī)算法來(lái)對(duì)四種情緒進(jìn)行分類識(shí)別,發(fā)現(xiàn)利用同樣的算法當(dāng)情緒識(shí)別種類增加時(shí),識(shí)別率會(huì)略有下降。在國(guó)內(nèi),西南大學(xué)研究小組分別利用多種單一生理參數(shù),如呼吸信號(hào)、心電信號(hào)、皮膚電信號(hào),通過電影、圖片等方式來(lái)誘發(fā)情緒,采用多種不同算法對(duì)多情緒進(jìn)行識(shí)別[6-8]。上海交通大學(xué)的相關(guān)小組,利用國(guó)際情感誘發(fā)圖片庫(kù)及任務(wù)驅(qū)動(dòng)誘發(fā)方式,采集了壓力狀態(tài)下血氧飽和度、心電、血壓等信號(hào),建立起壓力狀態(tài)下的情緒識(shí)別模型[9]。這其中有些研究者依據(jù)模式識(shí)別研究領(lǐng)域的思路與方法,會(huì)進(jìn)行特征歸一化及特征優(yōu)化選擇的處理,在保證識(shí)別準(zhǔn)確率的同時(shí)以降低整個(gè)識(shí)別算法模型的復(fù)雜度。常見的特征選擇算法有粒子群算法[9]、進(jìn)化算法[10]、禁忌搜索[11]等,這些算法在取得較好的選擇效果的同時(shí),往往要占用較大的計(jì)算資源和犧牲一定的計(jì)算效率。Relief算法計(jì)算復(fù)雜度比較小,容易實(shí)現(xiàn),可以優(yōu)化選擇特征,提高分類器的分類正確率,減小用于分類的特征維數(shù)[12]。
對(duì)于焦慮情緒的識(shí)別判斷,目前多集中于通過問卷和觀察的方式。本文通過任務(wù)驅(qū)動(dòng)的方式誘發(fā)焦慮情緒,利用焦慮狀態(tài)-特質(zhì)問卷(State-trait Anxiety Inventory, STAI)評(píng)價(jià)被試焦慮狀態(tài)的主觀反映。并基于與焦慮情緒相關(guān)的心電、呼吸、血容量搏動(dòng)、皮膚電生理信號(hào)參數(shù),提出將Relief特征選擇算法用于生理信號(hào)特征的優(yōu)化選擇分析。最后分別采用k近鄰(k-Nearest Neighbor,kNN)算法和最小二乘支持向量機(jī)(LS-SVM)算法,實(shí)現(xiàn)焦慮情緒狀態(tài)的識(shí)別和判斷。
Relief算法[12]是一種計(jì)算量較小的特征選擇算法。通過選擇出與數(shù)據(jù)總體相關(guān)性高的特征,使特征維數(shù)得到了降低。這種算法分別為每維特征賦予相應(yīng)的權(quán)值,并以此表征與類別的相關(guān)性。
Relief算法從訓(xùn)練樣本中隨機(jī)選擇m個(gè)樣本,計(jì)算出假設(shè)間隔,并進(jìn)行累加,作為最后特征每個(gè)維度的權(quán)值,樣本x中某維特征p的權(quán)值的更新為
若p離散,則
若p連續(xù),則
其中,max(p)、min(p)分別是p的上界與下界。
Relief算法的輸入為屬性值向量和樣本量,輸出為對(duì)每個(gè)屬性的權(quán)值估計(jì)的流程如下:
設(shè)初始權(quán)值向量 W[A]= 0;
for i =1:m do begin;
隨機(jī)選擇一個(gè)樣本R;
找到同類最近點(diǎn) H 和非同類最近點(diǎn) M;
or A =1:特征維數(shù) do;
W[A]= W[A]-diff(A, R, H)/m + diff(A, R, M)/m;
end。
kNN 算法是一種機(jī)器學(xué)習(xí)算法:如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個(gè)類別,則該樣本也屬于這個(gè)類別。本文選擇k=3,即該對(duì)象被簡(jiǎn)單地分配給一個(gè)相近3個(gè)樣本點(diǎn)中數(shù)量多的類別。
支持向量機(jī)算法在非線性、高維、小樣本數(shù)據(jù)的處理上具有獨(dú)特的優(yōu)勢(shì)。支持向量機(jī)的基本思想就是將在N維空間中難以劃分的樣本點(diǎn),在高維的空間中,通過找到一個(gè)最有利于分類的平面,來(lái)把不同類別的樣本點(diǎn)區(qū)分開來(lái)。而最小二乘支持向量機(jī)算法不僅具有經(jīng)典支持向量機(jī)算法的特點(diǎn),且還具有計(jì)算效率高和所需計(jì)算資源少等優(yōu)點(diǎn)。同時(shí),支持向量機(jī)算法中利用核函數(shù)來(lái)提高計(jì)算效率,因此本文采用核函數(shù)為高斯核函數(shù)的最小二乘支持向量機(jī)。
將Relief算法與兩種分類器進(jìn)行結(jié)合,來(lái)進(jìn)行實(shí)驗(yàn)所采集的生理參數(shù)數(shù)據(jù)的特征選擇和分類。兩種算法結(jié)合應(yīng)用的詳細(xì)的流程為:
(1) 初始化特征權(quán)重值;
(2) 利用Relief計(jì)算出每個(gè)維度的特征的權(quán)重,淘汰掉權(quán)重值較小的特征;
(3) 將選擇后的特征向量利用分類器進(jìn)行分類計(jì)算;
(4) 得到分類結(jié)果,并與實(shí)際結(jié)果進(jìn)行比對(duì),計(jì)算識(shí)別率;
(5) 調(diào)整參數(shù),直到取得最優(yōu)識(shí)別率,確定最終的算法模型。
目前情緒誘發(fā)主要通過被試的回憶想象、利用視頻或圖片刺激以及任務(wù)驅(qū)動(dòng)等方式[13]。本研究中焦慮狀態(tài)的誘發(fā)采用任務(wù)完成方式。實(shí)驗(yàn)采用了一款賽艇模擬游戲(Aquadelic GT, Hammerware, s.r.o.,Czech),以仿真誘發(fā)運(yùn)動(dòng)競(jìng)賽中的焦慮情緒狀態(tài)。這款游戲需要被試操縱鍵盤的方向鍵控制賽艇前進(jìn)方向。而游戲過程中容易出現(xiàn)方向偏離、賽艇擱淺進(jìn)而影響游戲完成的情況。因此會(huì)使被試因?yàn)樵谝欢〞r(shí)間內(nèi)無(wú)法完成相應(yīng)任務(wù)而產(chǎn)生焦慮情緒。
焦慮狀態(tài)-特質(zhì)問卷(State-trait Anxiety Inventory,STAI)是由Spielberger編制[14]的用于被試自我評(píng)價(jià)焦慮狀態(tài)的測(cè)量工具。根據(jù)所測(cè)分?jǐn)?shù)來(lái)判斷被測(cè)試者的焦慮狀態(tài)和程度。同時(shí)它能夠區(qū)分狀態(tài)焦慮(當(dāng)前的焦慮狀態(tài))和特質(zhì)焦慮(一貫的焦慮狀態(tài))。該測(cè)量工具測(cè)試簡(jiǎn)便,結(jié)果直觀,并能比較準(zhǔn)確地反應(yīng)測(cè)試者的主觀感受。
8名被試參與正式實(shí)驗(yàn),其中4名為男性,4名為女性。年齡在(20~25)周歲之間,身心健康、視覺聽覺正常,過往無(wú)精神及神經(jīng)性疾病史。實(shí)驗(yàn)前一周內(nèi)未服用任何藥品,4 h內(nèi)無(wú)劇烈運(yùn)動(dòng)。實(shí)驗(yàn)開始前4 h進(jìn)行STAI問卷測(cè)試,STAI結(jié)果達(dá)到一定標(biāo)準(zhǔn)(男性:STAI總分≤109;女性:STAI總分≤112)能夠進(jìn)一步參與正式試驗(yàn)。整個(gè)實(shí)驗(yàn)嚴(yán)格遵守赫爾辛基宣言。
實(shí)驗(yàn)任務(wù)的操作平臺(tái)采用高性能計(jì)算機(jī)(Intel (R)CoreTMi5-2310 CPU @2.90 GHz,4 GB DDR3 RAM,聯(lián)想,中國(guó);17英寸專業(yè)顯示屏,300 cd/m2,分辨率為1280×768,垂直刷新率為75 Hz)。被試觀察距離約50 cm。采用NeXus-10 MKII(Mind Media B.V., 荷蘭)進(jìn)行生理參數(shù)的檢測(cè)與記錄。NeXus-10 MKII是一款10通道的可顯示生理數(shù)據(jù)及生物反饋的設(shè)備,通過8個(gè)獨(dú)立的24 bit轉(zhuǎn)換器,每秒最高采樣2 048次,具有高帶寬,廣動(dòng)態(tài)范圍和高精確度??赏讲杉つw溫度、皮膚電、呼吸、血容量搏動(dòng)等多種生理信號(hào),各數(shù)據(jù)集成傳感器的精度均為 ± 2%。
正式實(shí)驗(yàn)前,對(duì)被試進(jìn)行兩部分問卷的復(fù)測(cè),處于正常水平的被試進(jìn)行正式實(shí)驗(yàn),并測(cè)量其各生理參數(shù)。
實(shí)驗(yàn)包括訓(xùn)練和正式試驗(yàn)兩個(gè)部分。訓(xùn)練用于被試熟悉實(shí)驗(yàn)任務(wù)和操作過程。正式實(shí)驗(yàn)進(jìn)行三組難度遞增的賽艇任務(wù),每組進(jìn)行三次,并在其進(jìn)行實(shí)驗(yàn)任務(wù)時(shí)同步采集各種生理參數(shù)。被試在虛擬環(huán)境中駕駛賽艇通過相應(yīng)數(shù)目的標(biāo)識(shí)點(diǎn)。三組任務(wù)分別是在90 s、75 s、60 s時(shí)間內(nèi)分別通過8,9,10個(gè)點(diǎn)。每次實(shí)驗(yàn)后,進(jìn)行STAI問卷狀態(tài)焦慮測(cè)試。
為了保證焦慮狀態(tài)的有效誘發(fā),在正式實(shí)驗(yàn)前,會(huì)告知被試相應(yīng)的獎(jiǎng)懲措施,被試對(duì)提供的獎(jiǎng)勵(lì)進(jìn)行排序。隨后按照被試選擇的獎(jiǎng)勵(lì)安排不同難度的實(shí)驗(yàn)任務(wù),即完成最高難度后發(fā)放被試最傾向的獎(jiǎng)品,來(lái)增強(qiáng)被試完成任務(wù)的迫切感和必要感。為了保證每次實(shí)驗(yàn)被試都能盡量投入,整個(gè)實(shí)驗(yàn)過程中不明確告訴被試每次的成績(jī)。實(shí)驗(yàn)全部完成后,請(qǐng)被試休息約5 min,再進(jìn)行一次狀態(tài)焦慮問卷的測(cè)試,若問卷反映被試狀態(tài)歸于平靜,則再進(jìn)行一段時(shí)間的生理參數(shù)的采集,以再次得到該被試平靜狀態(tài)下的各生理參數(shù)。
得到原始數(shù)據(jù)后,利用自適應(yīng)濾波去噪。由于生理參數(shù)具有比較明顯的個(gè)體差異性[3],將實(shí)驗(yàn)前后兩次平靜狀態(tài)相關(guān)的生理數(shù)據(jù)的均值作為基線數(shù)據(jù)。因有研究表明,去除情感基線的生理數(shù)據(jù)能夠達(dá)到更佳的識(shí)別準(zhǔn)確率[9]。對(duì)各生理數(shù)據(jù)進(jìn)行特征提取后去除基線數(shù)據(jù),所提取的特征集合如表1所示。
表1 生理參數(shù)及特征Tab.1 The physiological signals and the features
通過單因素方差分析法分析誘發(fā)條件(實(shí)驗(yàn)任務(wù))對(duì)各生理數(shù)據(jù)的影響,并采用Dunnett校驗(yàn)進(jìn)行不同誘發(fā)條件下與平靜狀態(tài)生理數(shù)據(jù)的比較。數(shù)據(jù)分析通過SPSS(Statistical Product and Service Solutions2010, IBM SPSS Inc.New York, USA)完成。最后將所得到的樣本數(shù)據(jù)歸一化[15],用于特征選擇和分類。
通過實(shí)驗(yàn)室情緒誘發(fā)實(shí)驗(yàn),共獲得8位被試的心率、呼吸率、血容量搏動(dòng)率、皮膚電四種生理參數(shù),共88個(gè)生理參數(shù)樣本數(shù)據(jù),其中平靜生理數(shù)據(jù)樣本16個(gè),焦慮情緒樣本72個(gè)。
對(duì)各被試STAI狀態(tài)焦慮問卷結(jié)果分析,發(fā)現(xiàn)平靜狀態(tài)的自評(píng)分?jǐn)?shù)均低于三組實(shí)驗(yàn)中焦慮情緒狀態(tài)的自評(píng)分?jǐn)?shù)。說(shuō)明被試主觀感受反映了焦慮情緒的誘發(fā)成功。
對(duì)于每種生理參數(shù)均值特征的11組數(shù)據(jù)(平靜狀態(tài)2組、第一組實(shí)驗(yàn)狀態(tài)3組、第二組實(shí)驗(yàn)狀態(tài)3組、第三組實(shí)驗(yàn)狀態(tài)3組),本文通過SPSS軟件來(lái)完成11組數(shù)據(jù)的單因素方差分析以及Dunnett后校驗(yàn)。分析結(jié)果顯示,呼吸率均值受實(shí)驗(yàn)任務(wù)影響顯著(P<0.001)。并且實(shí)驗(yàn)組呼吸率均值均顯著高于平靜狀態(tài)組(P<0.01)。平靜狀態(tài)下和第二組實(shí)驗(yàn)狀態(tài)下心率均值受實(shí)驗(yàn)任務(wù)影響顯著(P<0.05)。血容量搏動(dòng)率均值受實(shí)驗(yàn)任務(wù)影響顯著(P<0.05),且平靜狀態(tài)與第一組、第二組實(shí)驗(yàn)狀態(tài)的血容量搏動(dòng)率受實(shí)驗(yàn)任務(wù)影響顯著(P<0.01)。皮膚電均值受實(shí)驗(yàn)任務(wù)影響顯著(P<0.01),且平靜狀態(tài)與第二組、第三組實(shí)驗(yàn)狀態(tài)的皮膚電均值受實(shí)驗(yàn)任務(wù)影響顯著(P<0.05)。以上結(jié)果表明,實(shí)驗(yàn)任務(wù)刺激下,生理參數(shù)的變化具有顯著性差異,由于第二組實(shí)驗(yàn)狀態(tài)下的各生理參數(shù)均值與平靜狀態(tài)相比具有顯著差異,因此,采用第二組實(shí)驗(yàn)狀態(tài)與平靜狀態(tài)下的心電、血容量搏動(dòng)、皮膚電、呼吸信號(hào)特征進(jìn)行后續(xù)的特征選擇和分類,以評(píng)估所提出的Relief-kNN算法與Relief-SVM算法的有效性。
經(jīng)過分析和篩選,得到每位被試16個(gè)平靜狀態(tài)樣本和第二組實(shí)驗(yàn)24個(gè)焦慮狀態(tài)樣本,將40個(gè)樣本中16個(gè)樣本子集作為訓(xùn)練集(8個(gè)平靜狀態(tài)樣本,8個(gè)焦慮狀態(tài)樣本),24個(gè)樣本作為測(cè)試集(8個(gè)平靜中狀態(tài)樣本,16個(gè)焦慮狀態(tài)樣本),進(jìn)行特征選擇和分類,共分兩類。采用Relief-kNN與Relief-SVM得到仿真識(shí)別結(jié)果如表2所示。
表2 Relief-kNN算法和Relief-SVM算法對(duì)兩組樣本的分類結(jié)果Tab.2 The classi fication results of two data groups using Relief-kNN
由結(jié)果可以看出,優(yōu)化選擇后的多種生理參數(shù)特征組合比單一生理參數(shù)特征更能提高識(shí)別算法的識(shí)別效果。在樣本訓(xùn)練中,各生理參數(shù)方差、呼吸率一階差分均值,皮膚電最大最小值差等特征計(jì)算出的權(quán)重值(即對(duì)分類的貢獻(xiàn)大小程度)比較高,說(shuō)明其對(duì)于焦慮狀態(tài)的識(shí)別具有重要意義。Relief算法與SVM算法結(jié)合時(shí)比與kNN算法結(jié)合所選擇的特征數(shù)量更少,且識(shí)別準(zhǔn)確率更高。因此,在焦慮狀態(tài)識(shí)別中,Relief算法與SVM分類器的結(jié)合優(yōu)于與kNN算法的結(jié)合。并且與之前的研究相比[9],仿真環(huán)境下的基于多生理信號(hào)的情緒狀態(tài)的識(shí)別率更高。
本文采用任務(wù)完成的方式來(lái)實(shí)現(xiàn)焦慮情緒的誘發(fā),建立基于多生理參數(shù)的焦慮情緒狀態(tài)下的情緒識(shí)別仿真模型。通過Relief特征選擇算法找到了對(duì)于識(shí)別有效的特征向量,并用kNN算法和SVM算法實(shí)現(xiàn)了焦慮狀態(tài)下的情緒識(shí)別。實(shí)驗(yàn)結(jié)果表明,Relief算法與SVM算法結(jié)合時(shí)比與kNN算法結(jié)合所選擇的特征數(shù)量更少,且識(shí)別準(zhǔn)確率更高。利用多生理參數(shù)進(jìn)行情緒識(shí)別優(yōu)于利用單一信號(hào)。未來(lái)的工作將在繼續(xù)完善焦慮狀態(tài)下基于多生理參數(shù)的情緒識(shí)別仿真模型,并將其推廣到應(yīng)用領(lǐng)域,用來(lái)對(duì)焦慮情緒進(jìn)行識(shí)別并對(duì)相關(guān)的心理調(diào)節(jié)提供輔助作用。
[2]張作記.焦慮的基本問題及臨床處理[J].中國(guó)行為醫(yī)學(xué)科學(xué),2004, 13(2): 238-240.
[3]Ekman P, Levenson RW, Friesen WV.Autonomic nervous system activity distinguishes among emotions[J].Science, 1983,221(4616): 1208-1210.
[4]Picard RW.Affective computing[M].Cambridge(MA): The MIT Press, 1997.
[5]Kim KH, Bang SW, Kim SR.Emotion recognition system using short-term monitoring of physiological signals[J].Med Biol Eng Comput, 2004, 42(3): 419-427.
[6]王彬.基于呼吸信號(hào)的情感識(shí)別研究[D].西南大學(xué), 2010.
[7]徐亞.基于心電信號(hào)的情感識(shí)別研究[D].西南大學(xué), 2010.
[8]蔡菁.皮膚電反應(yīng)信號(hào)在情感狀態(tài)識(shí)別中的研究[D].西南大學(xué),2010.
[9]孫洪央, 徐祖洋, 王靜, 等.基于 PSO-kNN 算法與多生理參數(shù)的壓力狀態(tài)下情緒識(shí)別[J].中國(guó)醫(yī)療器械雜志, 2013, 37(2): 79-83.
[10]郝敏.進(jìn)化算法在選取 ECG 信號(hào)情感特征中的研究[D].西南大學(xué), 2009.
[11]肖麗, 劉光遠(yuǎn), 方永慧.基于禁忌搜索的模糊神經(jīng)網(wǎng)絡(luò)分類器設(shè)計(jì)[J].西南大學(xué)學(xué)報(bào) (自然科學(xué)版), 2007, 29(1): 73-76.
[12]Kira Kenji, Rendell Larry A.A practical approach to feature selection[C].Proc 9th Int Workshop Machin Learn, 1992: 249-256.
[13]陳姝娟.情緒研究方法述評(píng)[J].中山大學(xué)學(xué)報(bào)論叢, 2006, 26(3):57-60.
[14]Spielberger CD.State‐Trait anxiety inventory//Corsini Encyclopedia of Psychology[M].2010.
[15]Picard RW, Vyzas E, Healey J.Toward machine emotional intelligence: analysis of affective physiological state[J].IEEE Trans Pattern Anal Mach Intell, 2001, 23(10): 1175-1191.