權(quán)學(xué)良 曾志剛 蔣建華 張亞倩 呂寶糧 伍冬睿

情感(Affect)遍布于人們的日常生活中.根據(jù) 《心理學(xué)大辭典》[1]的定義,情感是人類對(duì)客觀事物和自己需求相比較之后產(chǎn)生的態(tài)度和體驗(yàn).情感能反映一個(gè)人當(dāng)下的生理心理狀態(tài),也對(duì)人們的認(rèn)知、溝通和決策等產(chǎn)生重要影響[2].情感的變化通常是在外界環(huán)境的刺激之下產(chǎn)生的,會(huì)伴有個(gè)體表征和心理反應(yīng)的變化,因此可以通過(guò)科學(xué)的方法來(lái)進(jìn)行測(cè)量和模擬.

情感計(jì)算(Affective computing)[3]是一個(gè)跨學(xué)科研究領(lǐng)域,涉及計(jì)算機(jī)科學(xué)、心理學(xué)和認(rèn)知科學(xué)等多個(gè)學(xué)科,旨在研究和開(kāi)發(fā)能夠識(shí)別、解釋、處理和模擬人類情感的理論、方法和系統(tǒng).其研究發(fā)展簡(jiǎn)史如圖1 所示.1986 年,人工智能奠基人之一、圖靈獎(jiǎng)獲得者、麻省理工學(xué)院Minsky 教授在其著作The Society of Mind[4]中最早提出了讓計(jì)算機(jī)能夠識(shí)別情感的概念.1997 年,麻省理工學(xué)院Picard教授發(fā)表了關(guān)于情感計(jì)算的首部專著Affective Computing[5],情感計(jì)算正式成為現(xiàn)代計(jì)算機(jī)學(xué)科的一個(gè)分支.2010 年,IEEE 計(jì)算機(jī)學(xué)會(huì)、計(jì)算智能學(xué)會(huì)和系統(tǒng)、人和控制論學(xué)會(huì)共同創(chuàng)辦了第一個(gè)情感計(jì)算領(lǐng)域的學(xué)術(shù)期刊IEEE Transactions on Affective Computing.

圖1 情感計(jì)算研究發(fā)展簡(jiǎn)史Fig.1 A brief history of affective computing research

情感計(jì)算的常見(jiàn)輸入信號(hào)包括視頻(面部表情、肢體動(dòng)作等)、音頻、文本、生理信號(hào)等.與面部表情等不同,腦電等生理信號(hào)不易偽裝,更能反應(yīng)個(gè)體的真實(shí)情緒狀態(tài),因而基于生理信號(hào)的情緒識(shí)別在諸如臨床診斷、治療等方面有著重要作用[6].又如在交通運(yùn)輸領(lǐng)域,駕駛員的憤怒、焦慮等負(fù)面情緒會(huì)嚴(yán)重影響專注度,可能導(dǎo)致交通事故.利用可穿戴設(shè)備對(duì)駕駛員的情緒狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè),能夠有效減少交通事故.隨著5G 技術(shù)、物聯(lián)網(wǎng)、人機(jī)交互、機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)等技術(shù)的不斷發(fā)展,基于腦電等生理信號(hào)的情感計(jì)算在醫(yī)療保健、媒體娛樂(lè)、信息檢索、教育以及智能可穿戴設(shè)備等領(lǐng)域都有著廣闊的應(yīng)用前景.

本文對(duì)基于生理信號(hào)的情感計(jì)算進(jìn)行綜述與展望.文章組織結(jié)構(gòu)如下:第1 節(jié)介紹情感計(jì)算的相關(guān)基礎(chǔ)理論;第2 節(jié)介紹情感計(jì)算中常用的生理信號(hào)類型;第3 節(jié)介紹基于生理信號(hào)的情感計(jì)算流程;第4 節(jié)介紹基于腦電等生理信號(hào)的情感計(jì)算常用公開(kāi)數(shù)據(jù)集;第5 節(jié)總結(jié)情感計(jì)算中生理信號(hào)的特征處理方法;第6 節(jié)詳細(xì)介紹基于生理信號(hào)的情感計(jì)算中的機(jī)器學(xué)習(xí)算法;第7 節(jié)指出基于腦電等生理信號(hào)的情緒識(shí)別研究面臨的一些挑戰(zhàn);最后,第8節(jié)對(duì)全文進(jìn)行總結(jié).

1 情感計(jì)算基礎(chǔ)理論

1.1 情感計(jì)算的定義

1997 年,麻省理工學(xué)院Picard 教授在其專著Affective Computing[5]中明確定義了情感計(jì)算的概念:情感計(jì)算是指因?yàn)榍楦幸l(fā)的、和情感相關(guān)的、或者能夠影響和決定情感變化的因素的計(jì)算.

根據(jù)各個(gè)領(lǐng)域近年來(lái)所取得的研究成果,科學(xué)家們總結(jié)出,情感是人類在適應(yīng)社會(huì)環(huán)境的過(guò)程中所逐漸形成的一種機(jī)制.由于個(gè)體生活環(huán)境的差異,導(dǎo)致不同個(gè)體面臨相同的環(huán)境刺激時(shí),既可能會(huì)產(chǎn)生相同或相似的情感變化,也可能產(chǎn)生截然不同的情感變化.這種心理機(jī)制能夠起到趨利避害的作用.計(jì)算機(jī)雖然具備強(qiáng)大的邏輯計(jì)算能力,但是由于缺少與人類相似的心理機(jī)制,使人類在與計(jì)算機(jī)進(jìn)行人機(jī)交互時(shí)往往不能進(jìn)行更深入的交流.情感理論是解決這一問(wèn)題的有效方法.所以一個(gè)實(shí)現(xiàn)計(jì)算機(jī)智能化的有效手段就是將邏輯計(jì)算與情感計(jì)算相結(jié)合,這也是目前眾多研究者重點(diǎn)關(guān)注的一個(gè)研究課題.

1.2 情緒喚醒的經(jīng)典理論

根據(jù)心理學(xué)家的研究,對(duì)人類情緒產(chǎn)生關(guān)鍵影響的因素主要包括環(huán)境變化、個(gè)體需求和認(rèn)知[7].其中環(huán)境變化是情緒產(chǎn)生的先決條件,同時(shí)個(gè)體需求以及認(rèn)知也會(huì)對(duì)人類的情緒產(chǎn)生不同程度的影響.

對(duì)于情緒具體是如何產(chǎn)生以及變化的,目前在心理學(xué)上并沒(méi)有統(tǒng)一的理論.現(xiàn)有的主要理論包括:刺激和響應(yīng)理論、生理反應(yīng)和表現(xiàn)理論、主觀認(rèn)知和評(píng)價(jià)理論等.其中刺激和響應(yīng)理論的應(yīng)用相對(duì)更為廣泛.該理論認(rèn)為,情緒的喚醒和產(chǎn)生的關(guān)鍵因素是主體對(duì)客觀事物和環(huán)境的評(píng)價(jià)水平.

刺激和響應(yīng)理論的一個(gè)代表性的研究工作是1990 年Ortony、Clore 和Collins[8]提出的OCC(OCC 為三位作者名字首字母縮寫(xiě))理論.OCC 情感理論根據(jù)誘發(fā)情緒的條件將情緒劃分為三類,分別是:由事件誘發(fā)的情緒、由個(gè)體行為誘發(fā)的情緒、和對(duì)對(duì)象的看法誘發(fā)的情緒.基于該標(biāo)準(zhǔn),OCC 情感理論具體列出了22 類情緒的層次結(jié)構(gòu).在該模型中,恐懼、憤怒、高興和悲傷是最經(jīng)常出現(xiàn)的4 種情緒.OCC 理論較早地以計(jì)算機(jī)實(shí)現(xiàn)為目的進(jìn)行情感理論建模,在諸多人機(jī)交互技術(shù)中得到了較為廣泛的應(yīng)用.

1.3 情緒模型分類

由于情緒本身具有非常高的復(fù)雜性和抽象性,導(dǎo)致諸多研究者在做情感計(jì)算相關(guān)工作時(shí)并不能達(dá)成統(tǒng)一的情緒分類標(biāo)準(zhǔn).目前,研究者們通常將情緒模型分為離散型模型和連續(xù)型模型兩種.

離散型情緒模型可以從范疇觀的角度進(jìn)行理解.中國(guó)古代文獻(xiàn) 《禮記》 將情緒分為喜、怒、哀、樂(lè)、愛(ài)、惡、欲等7 種類別.文獻(xiàn) 《白虎通》 則將情緒劃分為喜、怒、哀、樂(lè)、愛(ài)、惡等6 種類別.中國(guó)著名心理學(xué)家林傳鼎[9]將 《說(shuō)文》 中354 個(gè)表示情緒狀態(tài)的字劃分為安靜、憤怒、喜悅等18 種情緒狀態(tài).1971 年,美國(guó)心理學(xué)家Ekman 等[10]通過(guò)分析人類的面部表情,將人類的情緒劃分為生氣、討厭、害怕、高興、悲傷和驚訝等6 種基本情緒類別.1993 年,美國(guó)應(yīng)激理論的現(xiàn)代代表人物之一Lazarus[11]將情緒劃分為生氣、焦慮、幸福等15 種類別,并且每一種情緒狀態(tài)都有一個(gè)相應(yīng)的核心相關(guān)主題.2003 年,心理學(xué)家Plutchik[12]將情緒劃分為8 種基本類別:生氣、害怕、悲傷、討厭、期待、驚訝、贊成、高興.這些離散型情緒劃分方法相對(duì)比較簡(jiǎn)單和容易理解,在許多情緒識(shí)別研究中得到了廣泛應(yīng)用.

連續(xù)型情緒模型可以從維度觀的角度進(jìn)行理解.情緒的維度空間模型又可以分為二維、三維等不同類型.情緒二維表示模型最早由心理學(xué)家Russell[13]在1980 年提出,如圖2 (a) 所示.該模型的橫軸和縱軸分別表示愉悅度(Valence) 和喚醒度(Arousal).愉悅度表示情緒的愉悅程度,喚醒度表示情緒的強(qiáng)烈程度.模型的四個(gè)極點(diǎn)表示四種不同的離散情緒類別:高興(高愉悅/高喚醒)、輕松(高愉悅/低喚醒)、厭煩(低愉悅/低喚醒)、驚恐(低愉悅/高喚醒).在文獻(xiàn)中,該二維表示模型經(jīng)常被稱為VA (Valence-arousal)模型.

圖2 情緒的連續(xù)型維度空間表示Fig.2 Continuous dimensional representations of emotions

由于情緒的二維空間表示無(wú)法有效區(qū)分某些基本情緒,如害怕和憤怒,Mehrabian[14]提出了情緒的三維空間表示,在愉悅度和喚醒度的基礎(chǔ)上又增加了支配度(Dominance),如圖2 (b) 所示:憤怒的支配度高,而害怕的支配度低.在文獻(xiàn)中,該三維表示模型經(jīng)常被稱為VAD (Valence-arousal-dominance)模型.

上述VA 和VAD 模型是目前受到較高認(rèn)同并且得到廣泛使用的兩種維度型情緒模型.

2 情感計(jì)算中的生理信號(hào)

人類的情緒變化通常會(huì)伴隨著生理信號(hào)的變化.生理信號(hào)相較于面部表情或者語(yǔ)音信號(hào)的優(yōu)點(diǎn)在于生理信號(hào)更能反應(yīng)真實(shí)情緒狀態(tài),而面部表情和語(yǔ)音信號(hào)對(duì)情緒的表征不夠細(xì)膩,且易于偽裝.因此,生理信號(hào)是情感計(jì)算的重要輸入信號(hào).

用于情感計(jì)算的生理信號(hào)主要包括腦電、眼動(dòng)、肌電、皮膚電、心電和呼吸等,如表1 所示.由于這些生理信號(hào)的頻率通常比較低,且采集時(shí)易受到外界環(huán)境影響,因此通常需要專門的設(shè)備進(jìn)行采集,并且在采集之后需要進(jìn)一步對(duì)信號(hào)進(jìn)行預(yù)處理,以提高信號(hào)質(zhì)量和情感計(jì)算效果.

表1 情感計(jì)算中常用的生理信號(hào)Table 1 Common physiological signals in affective computing

其中,腦電圖(EEG)是通過(guò)腦電帽,在頭皮處將人的大腦產(chǎn)生的微弱生物電信號(hào)收集、放大并記錄而得到的信號(hào)[15].在頻域中通常將腦電信號(hào)劃分為5 個(gè)頻段,不同頻段能夠反應(yīng)出大腦的不同活動(dòng)狀態(tài),如表2 所示.

表2 腦電頻率劃分Table 2 Frequency bands of EEG

Zheng 等[16]關(guān)注不隨時(shí)間變化的穩(wěn)定情感模式.他們的研究結(jié)果表明:穩(wěn)定的模式會(huì)出現(xiàn)在一整個(gè)試次中;在β和γ頻段,顳葉區(qū)域?qū)τ诜e極情緒的激活遠(yuǎn)大于對(duì)消極情緒的激活;正常情緒的神經(jīng)模式在枕葉和頂葉區(qū)域有較為明顯的α頻段響應(yīng);對(duì)于消極情緒,其神經(jīng)模式在頂葉和枕葉區(qū)域有較為明顯的δ頻段響應(yīng),同時(shí)在額葉前部有較高的γ頻段響應(yīng).此外,在不同試次之間的結(jié)果表明,以上不同情緒對(duì)應(yīng)的模式也具有穩(wěn)定性.該研究表明情緒狀態(tài)、大腦神經(jīng)活動(dòng)區(qū)域以及EEG 信號(hào)頻段之間有一定聯(lián)系,并且同一個(gè)體基于EEG 的情感模式是穩(wěn)定的.

在基于腦電信號(hào)的情緒識(shí)別任務(wù)中,需要對(duì)腦電信號(hào)進(jìn)行預(yù)處理以提高信號(hào)的質(zhì)量.預(yù)處理一般包括降采樣、濾波、去除偽跡以及特征提取等環(huán)節(jié).常見(jiàn)的腦電信號(hào)分析方法有獨(dú)立成分分析(Independent component analysis,ICA)、功率譜密度分析(Power spectral density,PSD)、小波分析(Wavelet analysis,WA)等[17-18].更具體的腦電信號(hào)特征提取及分類器設(shè)計(jì)等工作將在后文中進(jìn)行詳細(xì)介紹.

除腦電信號(hào)外,其他生理信號(hào)也被證實(shí)與個(gè)體情緒狀態(tài)之間存在諸多聯(lián)系.如心率信號(hào)對(duì)于積極情緒和消極情緒的識(shí)別有很大幫助[19].基于心率信號(hào)可得到心率變異性(HRV)指標(biāo)[20],即逐次心跳周期的變化情況.當(dāng)受試者受到刺激時(shí),心率變異性會(huì)被抑制;而當(dāng)受試者處于放松狀態(tài)時(shí),心率變異性則會(huì)回到正常狀態(tài).又比如人類情感的變化通常會(huì)引起皮膚的生理反應(yīng).皮膚是人體和外界接觸最緊密的器官,研究表明[1],皮膚電反應(yīng)(GSR)對(duì)于情緒識(shí)別有很大幫助.皮膚電反應(yīng)的原理是:當(dāng)機(jī)體受到外界刺激或者情緒狀態(tài)發(fā)生變化時(shí),其神經(jīng)系統(tǒng)的活動(dòng)會(huì)引起皮膚內(nèi)血管的舒張和收縮以及汗腺分泌等變化,從而導(dǎo)致電阻發(fā)生改變.當(dāng)受試者受到強(qiáng)烈刺激、情緒波動(dòng)較大時(shí),皮膚電變化較大;而當(dāng)受試者情緒變化較小時(shí),皮膚電變化也較小.

進(jìn)一步地,我們通過(guò)谷歌學(xué)術(shù)檢索了2010 年以來(lái)公開(kāi)發(fā)表的標(biāo)題中同時(shí)含有生理信號(hào)與情感計(jì)算等關(guān)鍵詞的文章,檢索結(jié)果如表3 所示.在基于生理信號(hào)的情感計(jì)算研究工作中,腦電信號(hào)占據(jù)主導(dǎo)地位,因?yàn)榍榫w與人的大腦思維密切相關(guān).因此,腦電信號(hào)是本綜述關(guān)注的焦點(diǎn).基于心電圖、心率變異性、皮膚電、肌電等生理信號(hào)的情感計(jì)算研究工作相對(duì)較少,而基于血壓、脈搏、皮膚溫度、眼電、血氧等生理信號(hào)的研究工作更少.

表3 谷歌學(xué)術(shù)中2010 年以來(lái)基于生理信號(hào)的情感計(jì)算工作統(tǒng)計(jì)Table 3 Statistics of physiological signal based affective computing Google Scholar publications since 2010

因此,在接下來(lái)的內(nèi)容中,我們重點(diǎn)關(guān)注基于腦電信號(hào)的情感計(jì)算研究工作,并簡(jiǎn)要介紹其他外圍生理信號(hào).此外,融合腦電與其他外圍生理信號(hào)的情感計(jì)算研究也是我們關(guān)注的一個(gè)重點(diǎn).

3 基于生理信號(hào)的情感計(jì)算任務(wù)流程

在進(jìn)行情緒識(shí)別相關(guān)任務(wù)時(shí),既可以使用一種生理信號(hào),也可以將多種生理信號(hào)融合.以腦電信號(hào)為例,基于腦電的情緒識(shí)別主要包括以下步驟[21]:

1)對(duì)被試進(jìn)行外界刺激,使其產(chǎn)生高興、悲傷、憤怒等情緒變化,同時(shí)采集被試的腦電信號(hào).刺激方式包括圖片[22]、視頻[23]、音樂(lè)[24]等.

2)對(duì)所采集的腦電信號(hào)進(jìn)行預(yù)處理,包括降采樣、去除眼動(dòng)信號(hào)和肌電信號(hào)等噪聲,以及帶通濾波、空間濾波等.

3)特征提取和特征選擇.

4)訓(xùn)練分類器以及測(cè)試.

在基于EEG 的情緒識(shí)別任務(wù)中,需要考慮的因素有:被試的數(shù)量、性別、識(shí)別的情緒類別、誘發(fā)情緒變化的方式、使用的腦電設(shè)備及相關(guān)的電極位置、EEG 信號(hào)預(yù)處理方法、特征提取方法以及分類器設(shè)計(jì)等[25].

在基于多生理信號(hào)的情感計(jì)算任務(wù)中,每種生理信號(hào)的獲取及特征處理流程與步驟1)～3)相似.進(jìn)一步地,需要將不同生理信號(hào)的特征進(jìn)行選擇和融合,之后應(yīng)用于具體的情感計(jì)算任務(wù).表4 總結(jié)了部分情感計(jì)算工作中所使用的生理信號(hào)類型.

表4 部分最近的基于生理信號(hào)的情感計(jì)算工作Table 4 Some recent studies on physiological signals based affective computing

4 情感計(jì)算常用公開(kāi)數(shù)據(jù)集

近年來(lái),隨著情感計(jì)算逐漸成為一個(gè)研究熱點(diǎn),許多研究者進(jìn)行了相關(guān)實(shí)驗(yàn),并發(fā)布多個(gè)基于腦電等生理信號(hào)的情感計(jì)算公開(kāi)數(shù)據(jù)集,表5 總結(jié)了常用的基于EEG 等生理信號(hào)的情感計(jì)算數(shù)據(jù)集.其中,SEED (SJTU emotion eeg dataset)和DEAP(Database for emotion analysis using physiological signals)數(shù)據(jù)集是目前基于生理信號(hào)的情感計(jì)算中使用最為廣泛的兩個(gè)數(shù)據(jù)集.

表5 情感計(jì)算常用公開(kāi)數(shù)據(jù)集Table 5 Popular public affective computing datasets

SEED[21,33]是由上海交通大學(xué)呂寶糧教授2015 年10 月公開(kāi)發(fā)布的基于62 導(dǎo)EEG 信號(hào)的情感計(jì)算數(shù)據(jù)集.目前該數(shù)據(jù)集包括三個(gè)子集:SEED、SEED-IV 和SEED-VIG.SEED 是最早發(fā)布的三類情緒數(shù)據(jù)集,SEED-IV 是四類情緒數(shù)據(jù)集,而SEED-VIG 是一個(gè)警覺(jué)度估計(jì)數(shù)據(jù)集.其中,SEED數(shù)據(jù)集是通過(guò)電影視頻片段來(lái)誘發(fā)被試者的不同情緒,它主要由兩部分組成.一部分是獲取的被試在實(shí)驗(yàn)中的EEG 信號(hào),這些EEG 信號(hào)在采集后進(jìn)行了降采樣、濾波以及偽跡去除等操作,以提高腦電信號(hào)的質(zhì)量(值得指出的是,從信號(hào)處理的角度,對(duì)采樣信號(hào)先進(jìn)行濾波,然后進(jìn)行降采樣處理更利于保留原始信號(hào)中包含的信息);另一部分?jǐn)?shù)據(jù)是對(duì)預(yù)處理后的EEG 信號(hào)進(jìn)行的特征提取,包括功率譜密度(PSD)、微分熵(Differential entropy,DE)、微分熵的不對(duì)稱差(Differential asymmetry,DASM)、微分熵的不對(duì)稱商(Rational asymmetry,RASM)等多種特征.同時(shí)還通過(guò)移動(dòng)平均和線性動(dòng)態(tài)系統(tǒng)(Linear dynamic system,LDS)對(duì)特征進(jìn)行了平滑.關(guān)于SEED 三分類情緒識(shí)別數(shù)據(jù)集更具體的介紹可參考[21,33].

DEAP[43]是由倫敦瑪麗皇后大學(xué)Koelstra 等采集并公開(kāi)的用于情感計(jì)算的多模態(tài)生理數(shù)據(jù)庫(kù).采樣數(shù)據(jù)包含40 個(gè)通道:32 導(dǎo)EEG 信號(hào),2 導(dǎo)肌電信號(hào),2 導(dǎo)眼電信號(hào)(1 導(dǎo)水平眼電信號(hào),1 導(dǎo)垂直眼電信號(hào)),1 導(dǎo)皮膚電信號(hào),1 導(dǎo)體溫信號(hào),1 導(dǎo)呼吸信號(hào),和1 導(dǎo)血壓信號(hào).該數(shù)據(jù)庫(kù)中被試的情緒是通過(guò)音樂(lè)視頻來(lái)誘發(fā)的.實(shí)驗(yàn)中,被試觀看40段長(zhǎng)度為1 分鐘的音樂(lè)視頻,并填寫(xiě)自我評(píng)估量表(Self-assessment manikins,SAM).自我評(píng)估量表包含喚醒度(Arousal)、效價(jià)度(Valence)、支配度(Dominance)和喜好度(Liking)等信息.前22名被試在觀看視頻時(shí)的面部表情信息也包含在數(shù)據(jù)庫(kù)中.關(guān)于DEAP 數(shù)據(jù)集更詳細(xì)的信息可參考文獻(xiàn)[43].

5 生理信號(hào)特征處理

在基于生理信號(hào)的情緒識(shí)別任務(wù)中,生理信號(hào)特征處理和分類器設(shè)計(jì)是影響情緒識(shí)別準(zhǔn)確率的兩個(gè)關(guān)鍵因素.本節(jié)重點(diǎn)介紹基于腦電和心率變異性的情緒識(shí)別任務(wù)中生理信號(hào)的特征處理方法,以及不同生理信號(hào)特征融合對(duì)情緒識(shí)別效果的影響.

5.1 EEG 特征提取、平滑與降維

EEG 信號(hào)是多通道時(shí)間序列,從傳統(tǒng)信號(hào)處理的角度分析,EEG 信號(hào)可以提取的特征主要包括時(shí)域特征、頻域特征和時(shí)頻域特征[44-45],也可通過(guò)離散小波變換[46]等方式進(jìn)行特征提取.目前,在情緒識(shí)別任務(wù)中,一種更為有效且常用的特征提取方式為微分熵特征(DE).微分熵特征由Duan 等[47]于2013 年提出,其計(jì)算公式為:

其中,時(shí)間序列X服從高斯分布 N (μ,σ2).Duan 等在SEED 數(shù)據(jù)集的6 個(gè)用戶上進(jìn)行了情緒識(shí)別實(shí)驗(yàn),驗(yàn)證了DE 特征情緒識(shí)別有效性.此外,由于大腦不同分區(qū)受到刺激時(shí)會(huì)產(chǎn)生不同程度反應(yīng),基于DE 特征,Duan 等又提出了微分熵的不對(duì)稱差(DASM)和微分熵的不對(duì)稱商(RASM)兩種特征.

以上EEG 信號(hào)特征提取方式主要考慮普通電信號(hào)的常規(guī)特征.情感腦機(jī)接口中,針對(duì)腦電信號(hào)的特征提取,不同電極通道和受試者性別是需要額外考慮的因素.為此,Moon 等[48]在情緒識(shí)別任務(wù)中考慮了大腦連通性特征來(lái)有效捕捉非對(duì)稱的大腦活動(dòng)模式,并與功率譜密度特征組合作為卷積神經(jīng)網(wǎng)絡(luò)的輸入用于模型訓(xùn)練.其中,兩個(gè)電極連通性的計(jì)算指標(biāo)有皮爾遜相關(guān)系數(shù)(Pearson correlation coefficient,PCC)、相位鎖定值(Phase locking value,PLV)和相位滯后指數(shù)(Phase lag index,PLI).

男性和女性對(duì)于外界環(huán)境的情緒感知存在很大的差異,這會(huì)在腦電信號(hào)中有所反應(yīng).在情緒識(shí)別問(wèn)題中,Yan 等[49]的研究結(jié)果表明,在多數(shù)頻段和腦區(qū),女性大腦的活躍程度要低于男性,尤其是對(duì)于恐懼情緒.與男性相比,女性在恐懼情緒下更有多樣性,而男性則在悲傷情緒下有更大的個(gè)體差異.在利用腦電信號(hào)分析不同性別在情緒誘發(fā)時(shí)的關(guān)鍵腦區(qū)研究中,Yan 等[50]的實(shí)驗(yàn)結(jié)果表明,對(duì)于男性和女性,不同情緒下的神經(jīng)模式側(cè)重于不同的關(guān)鍵腦區(qū),其中女性偏右側(cè)化而男性偏左側(cè)化.這兩項(xiàng)研究結(jié)果都表明了性別因素對(duì)情緒識(shí)別效果的影響,然而目前并沒(méi)有針對(duì)性別特別設(shè)計(jì)的EEG 信號(hào)特征提取方式.

由于EEG 信號(hào)是非線性時(shí)間序列,Soroush 等[51]提出了一種非常新穎的特征提取方式,他們將腦電相空間重構(gòu)并轉(zhuǎn)換成新的狀態(tài)空間,然后利用龐加萊平面對(duì)狀態(tài)空間進(jìn)行數(shù)學(xué)描述,從而對(duì)腦電動(dòng)力學(xué)實(shí)現(xiàn)量化并進(jìn)行特征提取.需要指出的是,這種方式所提取出的特征所表征的生理意義目前還不明確,尚待進(jìn)一步研究.

以上特征都是手工提取的.利用神經(jīng)網(wǎng)絡(luò)進(jìn)行深度特征提取的相關(guān)工作在第6.3.1 節(jié)中進(jìn)行介紹.對(duì)手工提取的特征進(jìn)行平滑處理能提高其質(zhì)量.同時(shí),對(duì)特征進(jìn)行降維處理能有效減少模型訓(xùn)練時(shí)間.

在提取的特征序列中,除了與情緒相關(guān)的腦電特征,可能還會(huì)摻雜其他大腦活動(dòng)產(chǎn)生的腦電特征,如聽(tīng)覺(jué)和視覺(jué)等行為產(chǎn)生的特有的腦電特征.為了只利用與情緒相關(guān)的特征序列,需要去除這些無(wú)關(guān)成分.情緒變化一般不會(huì)非常劇烈,而是平緩穩(wěn)定的.在實(shí)際操作中,得到的特征序列常?？梢杂^察到劇烈的變化.由此可見(jiàn),腦電特征序列里變化非常劇烈的部分往往是由情緒無(wú)關(guān)的腦電活動(dòng)等引起的,可以利用情緒變化緩慢的特性對(duì)其進(jìn)行去除.常用的腦電特征平滑算法有滑動(dòng)平均平滑算法和線性動(dòng)力系統(tǒng)平滑算法[52].Pham 等[53]對(duì)EEG 特征使用Savitzky-Golay 方法進(jìn)行了平滑處理.Savitzky-Golay 平滑器是一種基于局部最小二乘多項(xiàng)式逼近的數(shù)據(jù)平滑方法,可以在保持波形峰值形狀和高度的同時(shí)降低噪聲.

此外,由于腦電信號(hào)的特征維數(shù)較高,導(dǎo)致模型訓(xùn)練需要較大的時(shí)間開(kāi)銷.為了有效降低特征維數(shù),Hu 等[54]在基于EEG 的注意力識(shí)別任務(wù)中使用了基于相關(guān)性的特征選擇方法.Zheng 等[55]在基于EEG 的情緒識(shí)別任務(wù)中,提出使用群稀疏典型相關(guān)性分析(Group sparse canonical correlation analysis,GSCCA) 進(jìn)行EEG 通道選擇.?zerdem 等[56]使用人工神經(jīng)網(wǎng)絡(luò)在情緒識(shí)別任務(wù)中進(jìn)行了EEG通道選擇相關(guān)研究.值得注意的是,在腦電信號(hào)通道選擇的研究工作中,由于不同研究者采用的研究方法不同,并且任務(wù)場(chǎng)景、所使用的腦電設(shè)備等都不盡相同,最終選擇的EEG 信號(hào)通道也存在差別.

5.2 外圍生理信號(hào)特征處理

與EEG 不同,外圍生理信號(hào)通道數(shù)很少,因而相應(yīng)的特征提取方式也較少.需要進(jìn)行特征提取的外圍生理信號(hào)主要有心電、肌電、皮膚電以及光電容積脈搏波.Picard 等[57]提出6 種生理信號(hào)常用的傳統(tǒng)統(tǒng)計(jì)特征,包括原始信號(hào)的均值、標(biāo)準(zhǔn)差、一階差分絕對(duì)值的均值、二階差分絕對(duì)值的均值,以及規(guī)范化信號(hào)的一階和二階差分絕對(duì)值的均值.這6種傳統(tǒng)的特征提取方式都可以用在心電等生理電信號(hào)上.

基于心電圖(ECG)的時(shí)域和頻域信息可以分別計(jì)算心率(HR)和心率變異性(HRV)[39],這是基于心電的情緒識(shí)別任務(wù)中最為常見(jiàn)的兩個(gè)特征.研究表明,人在誘發(fā)愉悅等正面情緒時(shí),心率的峰值可能會(huì)增加,而心率變異性在受到恐懼或快樂(lè)等刺激時(shí)會(huì)被抑制,情緒平靜時(shí)則會(huì)恢復(fù)正常.此外,基于心電圖中QRS 波群計(jì)算的均值、標(biāo)準(zhǔn)差等統(tǒng)計(jì)特征對(duì)于情緒識(shí)別也有一定幫助.進(jìn)一步地,還可以通過(guò)經(jīng)驗(yàn)?zāi)B(tài)分解獲取ECG 的本征函數(shù)及對(duì)應(yīng)的瞬時(shí)頻率特征[58],或者利用小波包字典和離散余弦變換提取ECG 信號(hào)的MP (Matching pursuit)系數(shù)作為情感計(jì)算特征[59].最后,高階統(tǒng)計(jì)量(High order statistics,HOS)也被用于增強(qiáng)心電信號(hào)的R峰檢測(cè)和拍頻分類.

與心電相比,皮膚電信號(hào)(GSR)的特征提取主要為基于時(shí)域或頻域信息的統(tǒng)計(jì)特征[60],如中位數(shù)、均值、標(biāo)準(zhǔn)差、最大值、最小值、一階差分、二階差分等經(jīng)典統(tǒng)計(jì)參數(shù)[61],或者高階的偏度和峰度特征.頻域中還可以計(jì)算最大譜幅對(duì)應(yīng)的頻率以及一些基于高階譜的信息[62].此外,GSR 信號(hào)也可通過(guò)離散余弦變換提取MP 系數(shù)[59].在具體的情緒識(shí)別任務(wù)中,由于所提取的一些高階特征所表征的生理意義不易理解,可使用PCA、LDA 等方法對(duì)這些統(tǒng)計(jì)參數(shù)進(jìn)行特征選擇,以提高情緒識(shí)別效果[59].

前文提到的高階統(tǒng)計(jì)量是一種有效的特征提取方式,被廣泛應(yīng)用于生物信號(hào)處理等領(lǐng)域[63].與一階和二階統(tǒng)計(jì)量相比,基于HOS 的參數(shù)更適合非高斯和非線性系統(tǒng).具體地,高階特征中3 階的偏度(Skewness)和4 階的峰度(Kurtosis)特征尤為常用.偏度指數(shù)據(jù)分布在其均值周圍的不對(duì)稱程度,峰度指分布尾部相對(duì)于正態(tài)分布的相對(duì)冗余程度.對(duì)于面部肌電信號(hào)(EMG),高階統(tǒng)計(jì)特征相較于傳統(tǒng)統(tǒng)計(jì)特征能更有效地保留EMG 中的情緒信息.

除高階統(tǒng)計(jì)特征外,對(duì)EMG 進(jìn)行離散小波變換也是一種常用的特征提取方式[64-65].基于離散小波變換的非參數(shù)特征提取是一種新穎的將肌電信號(hào)分解到不同頻率范圍的方法.與快速傅里葉變換或短時(shí)傅里葉變換等傳統(tǒng)方法相比,離散小波變換提供了有效的時(shí)頻分辨率,被認(rèn)為是解讀肌電信號(hào)中的情緒狀態(tài)信息的有效手段.具體地,利用離散小波變換對(duì)肌電信號(hào)進(jìn)行分解,得到不同頻率范圍內(nèi)的小波系數(shù),根據(jù)小波系數(shù)計(jì)算出原始信號(hào)的功率等統(tǒng)計(jì)特征用于情緒識(shí)別任務(wù).

光電容積脈搏波(PPG)描記技術(shù)是紅外無(wú)損檢測(cè)技術(shù)在生物醫(yī)學(xué)中的應(yīng)用,主要用于人體運(yùn)動(dòng)心率檢測(cè).其原理為:通過(guò)光電傳感器,檢測(cè)經(jīng)過(guò)人體血液和組織吸收后的反射光強(qiáng)度的不同,描記出血管容積在心動(dòng)周期內(nèi)的變化,從得到的脈搏波形中計(jì)算出心率.在基于生理信號(hào)的情感計(jì)算中,PPG信號(hào)除了可以計(jì)算出心率用于模型的輸入,其在時(shí)域、頻域中的均值、標(biāo)準(zhǔn)差等經(jīng)典統(tǒng)計(jì)參數(shù)也可以作為模型輸入[61].此外,龐加萊截面可以量化高維相空間中軌跡的幾何模式,將PPG 信號(hào)的二維相空間進(jìn)行重構(gòu),然后形成不同的龐加萊截面,進(jìn)而可以提取幾何指標(biāo)作為PPG 信號(hào)特征[66].為了提高情緒識(shí)別模型魯棒性,也可使用粒子濾波器去除PPG 信號(hào)中的噪聲[67].

在情感計(jì)算中,眼電圖(EOG)是一種較少使用的生理電信號(hào).EOG 信號(hào)的均值、標(biāo)準(zhǔn)差、信號(hào)能量以及提取出的眨眼頻率等信息對(duì)于情緒識(shí)別有一定幫助[68].

本刊訊：中國(guó)釀酒裝備智能制造技術(shù)交流會(huì)于2018年11月16日在上海國(guó)家會(huì)展中心召開(kāi)。會(huì)議由中國(guó)酒業(yè)協(xié)會(huì)組織。

外圍生理信號(hào)中,除以上提到的心電、肌電、皮膚電、光電容積脈搏波和眼電等生理電信號(hào),心率、心率變異性、脈搏、脈搏變異性(Pulse rate variability,PRV)、皮膚溫度、血氧飽和度、呼吸模式、血壓[69]等有明確生理意義的信號(hào)也經(jīng)常作為情緒識(shí)別模型輸入.其中心率變異性可以通過(guò)心電或脈搏進(jìn)行計(jì)算得到,其與情緒狀態(tài)之間的聯(lián)系得到了較多研究[70-72].HRV 和PRV 的時(shí)域或頻域統(tǒng)計(jì)參數(shù)對(duì)于情緒識(shí)別也有一定幫助[73].龐加萊散點(diǎn)圖是二維相空間上的時(shí)間序列表示.時(shí)間序列的動(dòng)力學(xué)通過(guò)龐加萊散點(diǎn)圖更容易理解,因而也可利用龐加萊散點(diǎn)圖對(duì)HRV 和PRV 序列進(jìn)行分析[74].

總結(jié)來(lái)說(shuō),外圍生理信號(hào)的特征提取主要分為3 類.一是具有明確生理意義的信號(hào),主要包括心率、心率變異性、脈搏、脈搏變異性、皮膚溫度、血氧飽和度、呼吸模式和血壓等.二是基于心電、肌電、皮膚電、眼電和PPG 等生理電信號(hào)在時(shí)域或頻域中所提取的均值、標(biāo)準(zhǔn)差、一階差分、二階差分等傳統(tǒng)統(tǒng)計(jì)特征.三是基于心電等生理電信號(hào)提取的偏度、峰度等高階統(tǒng)計(jì)特征,或利用龐加萊映射、離散小波變換等提取的特征.

5.3 生理信號(hào)特征融合

在情緒識(shí)別任務(wù)中,將腦電、心電等多種生理信號(hào)的特征組合在一起作為模型的輸入,有助于提升情緒識(shí)別效果.

Zheng 等[75]融合腦電特征與眼動(dòng)信號(hào)特征進(jìn)行情緒識(shí)別.Guo 等[76]進(jìn)一步融合了眼睛的圖像信息,并對(duì)比了這3 種模態(tài)信號(hào)在不同組合下的情緒識(shí)別效果.Becker 等[42]對(duì)比了腦電、皮膚電、心電、呼吸、血氧、脈搏等不同生理信號(hào)組合的情緒識(shí)別準(zhǔn)確率.實(shí)驗(yàn)結(jié)果顯示,不同生理信號(hào)特征對(duì)于情緒識(shí)別具有一定的互補(bǔ)性[77],如在三分類情緒識(shí)別任務(wù)中,腦電信號(hào)更容易區(qū)分正面和負(fù)面情緒,而眼動(dòng)信號(hào)相對(duì)于腦電信號(hào)能更好地區(qū)分中性和負(fù)面情緒.Wu 等[78]使用聯(lián)合稀疏表示(Joint sparse representation,JSR) 將特征融合問(wèn)題轉(zhuǎn)化為優(yōu)化問(wèn)題,將不同特征的稀疏矩陣結(jié)合在一起,最終得到所有特征的聯(lián)合稀疏表示.此外,很多研究者也使用深度學(xué)習(xí)進(jìn)行多模態(tài)生理信號(hào)的情感計(jì)算,相關(guān)研究工作將在第6.3.2 節(jié)中介紹.

除了將腦電信號(hào)與其他生理信號(hào)進(jìn)行特征融合,Thammasan 等[79]在音樂(lè)誘發(fā)的情緒識(shí)別任務(wù)中,將EEG 特征與音樂(lè)特征進(jìn)行融合,這是一項(xiàng)非常新穎的工作,該工作證明了音樂(lè)模態(tài)特征能有效緩解EEG 的不穩(wěn)定性.

上述工作都將EEG 特征與其他信號(hào)特征融合進(jìn)行情緒識(shí)別,且都指出腦電信號(hào)與其他生理信號(hào)之間存在互補(bǔ)性.融合多生理信號(hào)的情緒識(shí)別是目前和未來(lái)的一個(gè)重要研究方向.

6 情感計(jì)算中的機(jī)器學(xué)習(xí)

情感計(jì)算中另一個(gè)核心問(wèn)題是情感模型的設(shè)計(jì).其中所涉及到的機(jī)器學(xué)習(xí)算法也是本文重點(diǎn)研究與總結(jié)的工作.

Doma 等[80]在DEAP 數(shù)據(jù)集上對(duì)比了PCA、樸素貝葉斯、邏輯回歸、kNN、支持向量機(jī)、決策樹(shù)等傳統(tǒng)機(jī)器學(xué)習(xí)方法的性能,其中PCA 和SVM 的表現(xiàn)相對(duì)更好.但是,這里的結(jié)果與數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置相關(guān),并不一定能推廣到其他問(wèn)題中.

基于腦電等生理信號(hào)的情緒識(shí)別算法研究主要包括遷移學(xué)習(xí)、主動(dòng)學(xué)習(xí)、深度學(xué)習(xí)等.

6.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)[81]主要用于處理測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)不服從獨(dú)立同分布的場(chǎng)景,非常適合處理情感計(jì)算中的個(gè)體差異問(wèn)題.具體地,情感計(jì)算中的遷移學(xué)習(xí)使用源域(來(lái)自其他用戶的數(shù)據(jù)或知識(shí)) 來(lái)幫助目標(biāo)域(新用戶)進(jìn)行學(xué)習(xí).Wu 等[82]綜述了2016 年以來(lái)遷移學(xué)習(xí)在腦機(jī)接口中的應(yīng)用,包括基于腦電的情感腦機(jī)接口系統(tǒng).

傳統(tǒng)的遷移學(xué)習(xí)方法有遷移成分分析(Transfer component analysis,TCA)[83]、直推式參數(shù)遷移(Transductive parameter transfer,TPT)[84]、TrAdaBoost[85]、風(fēng)格遷移映射(Style transfer mapping,STM)[86-87]等方法.Zheng 等[88]對(duì)比了TCA、KPCA(Kernel principal component analysis)[89]、TPT 等三種遷移學(xué)習(xí)方法在SEED 數(shù)據(jù)集上的表現(xiàn),發(fā)現(xiàn)TPT 效果最優(yōu).TPT 首先在多個(gè)源域用戶上分別訓(xùn)練SVM 分類器,再學(xué)習(xí)每個(gè)源域用戶的分類器參數(shù)與數(shù)據(jù)分布之間的回歸函數(shù),最后以目標(biāo)域用戶的數(shù)據(jù)分布為輸入,通過(guò)回歸函數(shù)得到適用于目標(biāo)域用戶的分類器.

Zhang 等[85]在情緒識(shí)別任務(wù)中,提出一種基于個(gè)體相似度的遷移學(xué)習(xí)框架.具體是通過(guò)使用最大均值差異(Maximum mean discrepancy,MMD)[90]對(duì)個(gè)體差異性進(jìn)行度量,然后使用TrAdaBoost 訓(xùn)練模型.MMD 的計(jì)算公式為:

其中,X和Y分別表示源域和目標(biāo)域的分布,ns和nt表示源域和目標(biāo)域的樣本數(shù),φ表示映射函數(shù).

Li 等[91]將風(fēng)格遷移映射應(yīng)用到基于腦電信號(hào)的多源域跨用戶情感識(shí)別.遷移風(fēng)格映射是將目標(biāo)域的數(shù)據(jù)映射到源域特征空間中,從而使在源域訓(xùn)練的分類器在目標(biāo)域中也能取得較好的測(cè)試效果.

上述研究結(jié)果表明,在不同情緒識(shí)別場(chǎng)景中,選擇合適的遷移學(xué)習(xí)方法對(duì)于情緒識(shí)別準(zhǔn)確率的提升有一定幫助.與以上在同一數(shù)據(jù)集內(nèi)部進(jìn)行跨用戶遷移不同,Lan 等[92]首次進(jìn)行了跨數(shù)據(jù)集遷移的情緒識(shí)別研究,但是其準(zhǔn)確率還有很大的提升空間.鄭偉龍等[93]提出一種新的從眼睛的掃視軌跡進(jìn)行知識(shí)遷移的異質(zhì)遷移學(xué)習(xí)方法.他們引入了基于掃視軌跡和基于腦電信號(hào)的核矩陣,并提出了改進(jìn)的直推式參數(shù)遷移學(xué)習(xí)算法,以實(shí)現(xiàn)跨被試腦電情感模型的構(gòu)建.該方法與傳統(tǒng)方法相比,具有兩個(gè)優(yōu)點(diǎn):一是利用了目標(biāo)被試容易獲取的眼動(dòng)追蹤數(shù)據(jù)進(jìn)行被試遷移,二是在目標(biāo)被試只有眼動(dòng)追蹤數(shù)據(jù)的情況下,仍然能夠從其他被試的歷史數(shù)據(jù)中學(xué)到腦電信號(hào)的情緒類別判別信息.

6.2 主動(dòng)學(xué)習(xí)

在機(jī)器學(xué)習(xí)任務(wù)中,往往需要大量有標(biāo)簽訓(xùn)練數(shù)據(jù)以獲得更好性能.但是,在許多實(shí)際應(yīng)用場(chǎng)景中,獲取未標(biāo)注的數(shù)據(jù)相對(duì)容易,標(biāo)注過(guò)程卻很困難,通常需要投入大量時(shí)間和人力資源.數(shù)據(jù)標(biāo)注難問(wèn)題在情感計(jì)算中尤其突出.例如,在語(yǔ)音信號(hào)的情感估計(jì)問(wèn)題中,可以很容易地記錄大量語(yǔ)音,但是要對(duì)語(yǔ)音進(jìn)行三個(gè)維度的評(píng)估[94](愉悅度、喚醒度和優(yōu)勢(shì)度),評(píng)估者須反復(fù)傾聽(tīng),仔細(xì)檢查.此外,由于情感估計(jì)具有主觀性,且部分?jǐn)?shù)據(jù)可能只存在細(xì)微差異,通常需要多個(gè)評(píng)估者.例如,VAM語(yǔ)料庫(kù)[95]用到6～17 個(gè)評(píng)估者,IADS-2[96]用到超過(guò)110個(gè)評(píng)估者.

除了第6.1 節(jié)介紹的遷移學(xué)習(xí)方法外,主動(dòng)學(xué)習(xí)[97]也可用來(lái)大幅降低情感計(jì)算中的標(biāo)注數(shù)據(jù)量[98-104].主動(dòng)學(xué)習(xí)從大量無(wú)標(biāo)注數(shù)據(jù)中選擇少量最有用的數(shù)據(jù)來(lái)標(biāo)注(并非所有訓(xùn)練數(shù)據(jù)都是平等的),從而可以用最少的標(biāo)注數(shù)據(jù)訓(xùn)練出更好的模型.

Wu 和Parsons[98]使用主動(dòng)類別選擇(Active class selection)進(jìn)行基于多種生理信號(hào)的喚醒度(Arousal)分類,取得比傳統(tǒng)標(biāo)注更好的效果:使用同等數(shù)量的標(biāo)注數(shù)據(jù),通過(guò)主動(dòng)類別選擇選出的樣本能夠取得比隨機(jī)標(biāo)注樣本更高的分類準(zhǔn)確度.主動(dòng)類別選擇的基本思想是在多分類問(wèn)題中優(yōu)化每個(gè)類別應(yīng)標(biāo)注的樣本量,而不是各個(gè)類別標(biāo)注同樣數(shù)量的樣本.

Wu 等[103]也進(jìn)行了基于腦電信號(hào)的駕駛員疲勞狀態(tài)估計(jì).通過(guò)主動(dòng)學(xué)習(xí)選出在輸入域和輸出域上多樣性都高的腦電樣本進(jìn)行標(biāo)注,能取得比隨機(jī)選擇樣本標(biāo)注更低的估計(jì)誤差.

值得一提的是,主動(dòng)學(xué)習(xí)和遷移學(xué)習(xí)也可以相互結(jié)合,取得比單獨(dú)使用主動(dòng)學(xué)習(xí)或遷移學(xué)習(xí)更好的效果.Wu 等[99]提出一種融合遷移學(xué)習(xí)和主動(dòng)類別選擇的方法,在基于多種生理信號(hào)的喚醒度分類問(wèn)題中取得比單獨(dú)使用遷移學(xué)習(xí)和主動(dòng)類別選擇更高的準(zhǔn)確度.

6.3 深度學(xué)習(xí)

隨著深度學(xué)習(xí)的快速發(fā)展,其在情感腦機(jī)接口中也得到了越來(lái)越多的應(yīng)用[21,105-108].基于深度學(xué)習(xí)的情感腦機(jī)接口主要有以下三個(gè)研究熱點(diǎn):一是利用深度學(xué)習(xí)技術(shù)挖掘腦電信號(hào)中的深層情感特征;二是利用神經(jīng)網(wǎng)絡(luò)將腦電信號(hào)與其他生理信號(hào)進(jìn)行深度融合;三是利用深度遷移學(xué)習(xí)技術(shù)提升基于腦電信號(hào)的情緒識(shí)別準(zhǔn)確率.

6.3.1 深度特征提取

眾多研究表明,腦電信號(hào)及其他外圍生理信號(hào)的變化與人的情緒變化之間存在諸多聯(lián)系[16,21,47].深度學(xué)習(xí)能有效學(xué)習(xí)樣本的深層特征表示,對(duì)挖掘生理信號(hào)中所蘊(yùn)涵的情感狀態(tài)信息有很大幫助.表6總結(jié)和對(duì)比了不同神經(jīng)網(wǎng)絡(luò)模型在情緒識(shí)別任務(wù)中的表現(xiàn).

在基于腦電等生理信號(hào)的情緒識(shí)別中,表6 中提到的不同深度特征表示方式相較于傳統(tǒng)的手工特征提取具有更好效果,但其所學(xué)習(xí)到的特征也更難被理解.另外,基于生理信號(hào)的情感計(jì)算是當(dāng)前較新的研究領(lǐng)域,情緒識(shí)別的場(chǎng)景設(shè)置尚無(wú)統(tǒng)一標(biāo)準(zhǔn),因而從有限實(shí)驗(yàn)結(jié)果中很難總結(jié)出哪種深度學(xué)習(xí)方法效果更好.比如,Yang 等[114]和Wang 等[115]都在SEED 數(shù)據(jù)集上進(jìn)行了相關(guān)實(shí)驗(yàn),但由于實(shí)驗(yàn)場(chǎng)景設(shè)置不同,不能輕易認(rèn)為雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)比具有子網(wǎng)節(jié)點(diǎn)的分層網(wǎng)絡(luò)模型更適合基于腦電的情緒識(shí)別.

表6 不同深度特征提取方式及效果Table 6 Different deep learning methods of feature extract and their effects

6.3.2 多模生理信號(hào)融合

基于腦電等生理信號(hào)的情緒識(shí)的另一個(gè)研究焦點(diǎn)是如何融合多種模態(tài)生理信號(hào).不同模態(tài)的生理信號(hào)包含了人類情感的不同信息表示,有效融合不同模態(tài)的信息能夠有效提高情感計(jì)算系統(tǒng)性能.

為了學(xué)習(xí)EEG 信號(hào)與其他生理信號(hào)之間的相關(guān)性,Ma 等[118]提出了一種多模態(tài)殘差LSTM 網(wǎng)絡(luò)模型(Multimodal residual LSTM network,MMResLSTM),該模型既包含殘差網(wǎng)絡(luò)提供的空間快捷方式路徑,也包含LSTM 網(wǎng)絡(luò)提供的時(shí)間快捷方式路徑,進(jìn)而能夠高效地學(xué)習(xí)到與情感相關(guān)的深層特征表示.

Zheng 等[33]提出了一種基于6 個(gè)對(duì)稱顳葉EEG 電極(FT7、T7、TP7、FT8、T8、TP8)和眼動(dòng)信號(hào)進(jìn)行情感識(shí)別的多模態(tài)框架.先將EEG 信號(hào)與眼動(dòng)信號(hào)的初級(jí)特征進(jìn)行初步融合,進(jìn)一步使用雙峰深度自編碼器(Bimodal deep auto-encoder,BDAE)來(lái)提取EEG信號(hào)和眼動(dòng)信號(hào)的深層特征表示.Liu 等[119]使用深度典型相關(guān)性分析(Deep canonical correlation analysis,DCCA)融合腦電與眼動(dòng)信號(hào).

Rayatdoost 等[120]設(shè)計(jì)了一種跨模態(tài)編碼器來(lái)聯(lián)合學(xué)習(xí)從EEG、EMG 和EOG 等信號(hào)中提取的特征.該跨模態(tài)編碼器是一種表情導(dǎo)向的編碼網(wǎng)絡(luò),先將EEG 信號(hào)不同頻段的PSD 特征轉(zhuǎn)換成頻譜地形圖,然后通過(guò)卷積網(wǎng)絡(luò)提取新的特征,學(xué)習(xí)對(duì)情緒狀態(tài)的非線性表征.該表征以EMG 和EOG特征中提取的面部表情特征為引導(dǎo),可以針對(duì)特定的情緒識(shí)別任務(wù)進(jìn)行優(yōu)化.

除以上提到的關(guān)于多模態(tài)生理信號(hào)融合的研究,在多模態(tài)場(chǎng)景下,還存在模態(tài)信息缺失、標(biāo)簽信息不完整等情況.Du 等[121]針對(duì)該問(wèn)題,提出了一種多視圖深度生成模型,可以學(xué)習(xí)到多模態(tài)的聯(lián)合深度表示,同時(shí)能夠?qū)γ總€(gè)模態(tài)的重要性進(jìn)行評(píng)估.進(jìn)一步地,將多視圖模型擴(kuò)展為半監(jiān)督學(xué)習(xí)框架,以解決數(shù)據(jù)標(biāo)簽缺失問(wèn)題.針對(duì)模態(tài)數(shù)據(jù)缺失問(wèn)題,則是將缺失的視圖視為一個(gè)隱變量,然后在推理過(guò)程中進(jìn)行集成.

6.3.3 深度遷移學(xué)習(xí)

與傳統(tǒng)的非深度遷移學(xué)習(xí)相比,深度遷移學(xué)習(xí)在許多任務(wù)場(chǎng)景中能顯著提升遷移學(xué)習(xí)效果,其在情緒識(shí)別中也有許多相關(guān)研究.

受傳統(tǒng)遷移學(xué)習(xí)方法TCA 的啟發(fā),Long 等[122]提出了深度網(wǎng)絡(luò)自適應(yīng)(Deep adaptation network,DAN) 方法,在神經(jīng)網(wǎng)絡(luò)的深層使用多核MMD (Multi kernel MMD,MK-MMD)[123]對(duì)源域和目標(biāo)域進(jìn)行適配,以緩解域間差異.Li 等[124]將DAN 框架應(yīng)用到情緒識(shí)別任務(wù)中,取得了比傳統(tǒng)遷移學(xué)習(xí)方法更高的準(zhǔn)確率.與遷移學(xué)習(xí)中的聯(lián)合概率適配方法(Joint distribution adaptation,JDA)[125]相似,Li 等[126]在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行情感計(jì)算建模時(shí),在網(wǎng)絡(luò)的淺層使用對(duì)抗訓(xùn)練來(lái)適配邊緣分布,深層使用協(xié)同強(qiáng)化的方式適配條件分布,從而實(shí)現(xiàn)源域和目標(biāo)域的聯(lián)合分布自適應(yīng).

近年來(lái),隨著ADDA[127]等基于對(duì)抗機(jī)制的遷移學(xué)習(xí)方法的提出,深度對(duì)抗網(wǎng)絡(luò)遷移逐漸成為深度遷移學(xué)習(xí)方法中的主流.在基于腦電的跨被試情緒識(shí)別任務(wù)中,Luo 等[128]提出了一種基于Wasserstein 生成對(duì)抗網(wǎng)絡(luò)[129](Wasserstein generative adversarial network,WGAN)的域適應(yīng)方法(WGANDA),包括源域和目標(biāo)域生成器、判別器和分類器四個(gè)部分以及預(yù)訓(xùn)練和對(duì)抗訓(xùn)練兩個(gè)步驟.在預(yù)訓(xùn)練階段,WGANDA 首先通過(guò)兩個(gè)域生成器將源域和目標(biāo)域映射到一個(gè)高維公共空間.在對(duì)抗訓(xùn)練階段,WGANDA 使用對(duì)抗的方式減小兩個(gè)映射的距離.WGANDA 能夠很好地解決跨被試情緒識(shí)別模型中存在的域偏移問(wèn)題.

Ma 等[130]在域?qū)咕W(wǎng)絡(luò)(Domain-adversarial neural network,DANN)[131]的基礎(chǔ)上提出了域殘差網(wǎng)絡(luò)(Domain residual network,DResNet).其基本思想是,給定k個(gè)域的訓(xùn)練數(shù)據(jù),模型的特征提取器包含一套共享權(quán)值的標(biāo)簽信息參數(shù)和k套分配給各個(gè)域的域偏差參數(shù).該結(jié)構(gòu)類似殘差網(wǎng)絡(luò),優(yōu)點(diǎn)是其為一個(gè)域泛化框架,在情感模型訓(xùn)練階段不需要目標(biāo)域被試的任何信息.

由于大腦的左右半球之間具有不對(duì)稱性,Li 等[132]將其與對(duì)抗機(jī)制結(jié)合,提出了雙半球域?qū)股窠?jīng)網(wǎng)絡(luò)模型(Bi-hemispheres domain adversarial neural network,BiDANN).該網(wǎng)絡(luò)將大腦左右半球的EEG 信號(hào)分別映射到易于區(qū)分的特征空間中,從而使數(shù)據(jù)的特征表示更容易分類,并在預(yù)測(cè)過(guò)程中使用一個(gè)全局和兩個(gè)局部域判別器,以縮小測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)之間的分布差異.

以上深度遷移學(xué)習(xí)方法在情緒識(shí)別中都取得了較好的效果.值得注意的是,在基于腦電或其他生理信號(hào)的情緒識(shí)別任務(wù)中,眾多深度學(xué)習(xí)方法都是基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行的.只有少部分工作[133-134]研究了LSTM 在情緒識(shí)別任務(wù)中的應(yīng)用.由于腦電等生理信號(hào)為時(shí)間序列,而LSTM 等循環(huán)神經(jīng)網(wǎng)絡(luò)比卷積神經(jīng)網(wǎng)絡(luò)更適合處理時(shí)序信息,其在基于生理信號(hào)的情感計(jì)算中的應(yīng)用值得進(jìn)一步研究.

此外,圖網(wǎng)絡(luò)是近年來(lái)的研究熱點(diǎn),也有研究者將其引入到情緒識(shí)別中,用以緩解個(gè)體之間的差異性.Zhao 等[135-136]使用高階相關(guān)模型的超圖結(jié)構(gòu)來(lái)構(gòu)建生理信號(hào)與人格之間的關(guān)系.考慮到在超圖中不同頂點(diǎn)、超邊和模式的重要性不同,進(jìn)一步提出頂點(diǎn)加權(quán)多模式多任務(wù)超圖學(xué)習(xí)(Vertex-weighted multi-modal multi-task hypergraph learning,VM2HL) 來(lái)構(gòu)建個(gè)性化的情緒識(shí)別模型.Song等[137-138]提出了樣本自適應(yīng)圖(Instance adaptive graph,IAG)和動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(Dynamical graph convolutional neural networks,DGCNN)模型用于緩解個(gè)體差異性,通過(guò)圖結(jié)構(gòu)來(lái)表示不同區(qū)域腦電之間的動(dòng)態(tài)關(guān)系.此外,Song 等還提出了一種稀疏圖形表示,以提取更多的有區(qū)分性的特征.

7 基于生理信號(hào)的情感計(jì)算研究挑戰(zhàn)

基于腦電等生理信號(hào)的情感計(jì)算研究雖然已取得諸多進(jìn)展,但是依然存在下列挑戰(zhàn)和需要進(jìn)一步研究的問(wèn)題:

1) 情感計(jì)算基礎(chǔ)理論研究.目前關(guān)于情緒識(shí)別的理論基礎(chǔ)主要有離散型模型和連續(xù)型模型.二者之間雖然有一定關(guān)聯(lián),但是尚未形成統(tǒng)一的理論框架.此外,情感計(jì)算中的外顯信息(如高興、悲傷等情緒類別) 與內(nèi)隱信息(如EEG 信號(hào)不同頻段對(duì)應(yīng)高興、悲傷等情緒類別的信號(hào)特征) 之間的聯(lián)系也值得進(jìn)一步研究.挖掘出二者之間的聯(lián)系對(duì)于理解腦電信號(hào)表示的不同情緒狀態(tài)有非常重要的作用.

2) 外部誘發(fā)情緒與內(nèi)部誘發(fā)情緒之間的差異性問(wèn)題.目前公開(kāi)的用于情感計(jì)算的數(shù)據(jù)集幾乎都是采用圖像、視頻、音頻等外部方式誘發(fā)情緒變化.這些都是被動(dòng)的情緒變化,與現(xiàn)實(shí)場(chǎng)景中個(gè)體主動(dòng)產(chǎn)生的情緒變化之間存在差異,也可能導(dǎo)致二者的腦電信號(hào)存在差異.因此,如何解決外部誘發(fā)情緒變化與內(nèi)部主動(dòng)情緒變化之間的差異也是一個(gè)值得研究的課題.

3) 生理信號(hào)的高質(zhì)量采集和預(yù)處理.情感計(jì)算中使用到EEG、EOG、EMG、HRV、GSR、ST 等多種生理信號(hào),所需設(shè)備繁多,實(shí)驗(yàn)中需要盡量減小信號(hào)采集過(guò)程中的噪聲.其中腦電信號(hào)的采集較為復(fù)雜,并且腦電信號(hào)容易受到外界因素的干擾,實(shí)驗(yàn)需要耗費(fèi)一定的時(shí)間和精力.高效、高質(zhì)量地采集腦電等生理信號(hào)是情感計(jì)算的重要環(huán)節(jié).對(duì)原始腦電信號(hào)的預(yù)處理也非常重要.有效的預(yù)處理可以去除原始腦電信號(hào)中的噪聲,提高信號(hào)質(zhì)量,有助于特征提取.

4) 生理信號(hào)的特征提取、選擇和融合問(wèn)題.不同生理信號(hào)有不同的特征提取方式,以腦電信號(hào)為例,其特征提取方式種類繁多,常用的特征有功率譜密度、微分熵、微分熵的不對(duì)稱差、微分熵的不對(duì)稱商、離散小波分析、經(jīng)驗(yàn)?zāi)B(tài)分解經(jīng)驗(yàn)?zāi)B(tài)分解一樣本熵 (EMD_SampEn)、統(tǒng)計(jì)特征(均值、方差等)等.如何提取合適的特征或融合不同特征等都會(huì)對(duì)情感計(jì)算模型產(chǎn)生重要影響.

5) 個(gè)體差異性問(wèn)題.由于不同被試個(gè)體之間在生理、心理等方面都存在差異,對(duì)于同一個(gè)情緒誘發(fā)視頻,不同個(gè)體所誘發(fā)的情緒不一定完全相同.即使產(chǎn)生相同的情緒,由于個(gè)體間生理上的差異,所產(chǎn)生的腦電等生理信號(hào)一般也會(huì)存在一定差異.有效解決個(gè)體差異問(wèn)題,從個(gè)體的角度,可以構(gòu)建個(gè)性化的情感計(jì)算模型.但由于生理信號(hào)的采集和標(biāo)注會(huì)帶來(lái)較大的成本,構(gòu)建泛化能力更好的情緒識(shí)別模型是一個(gè)相對(duì)更經(jīng)濟(jì)的解決辦法.提高情感計(jì)算模型的泛化能力的一個(gè)有效方法是遷移學(xué)習(xí)[82].

6) 用戶隱私問(wèn)題.用戶個(gè)人信息的隱私保護(hù)是互聯(lián)網(wǎng)時(shí)代的一個(gè)重要倫理道德問(wèn)題.情感計(jì)算中采集的腦電等生理信號(hào)屬于用戶的私人信息,因此也需要注意隱私保護(hù).目前這方面的研究才剛剛開(kāi)始[139-140].

8 總結(jié)

本文對(duì)近年來(lái)基于腦電等生理信號(hào)的情感計(jì)算研究進(jìn)展進(jìn)行了綜述.首先介紹了情感計(jì)算的相關(guān)理論基礎(chǔ)和常用的生理信號(hào)類型,以及離散和連續(xù)兩種情緒模型.接著總結(jié)了情感計(jì)算任務(wù)的整體流程,包括生理信號(hào)的采集、預(yù)處理、特征提取、特征平滑、特征融合、模型訓(xùn)練與測(cè)試等,并介紹了基于生理信號(hào)的情緒識(shí)別常用公開(kāi)數(shù)據(jù)集.然后重點(diǎn)介紹了為解決情感計(jì)算中個(gè)體差異的遷移學(xué)習(xí)方法、減少標(biāo)注數(shù)據(jù)量的主動(dòng)學(xué)習(xí)方法、以及基于深度學(xué)習(xí)的生理信號(hào)的深層情感表示和多模態(tài)生理信號(hào)的特征融合等相關(guān)算法.最后,分析總結(jié)了基于生理信號(hào)的情感計(jì)算領(lǐng)域面臨的挑戰(zhàn)及未來(lái)需要進(jìn)一步解決的問(wèn)題.