胡 斌，周穎慧，陶小梅,4

（1. 蘭州大學(xué) 信息科學(xué)與工程學(xué)院，甘肅 蘭州 730000；2. 蘭州大學(xué) 甘肅省可穿戴裝備重點(diǎn)實(shí)驗(yàn)室，甘肅 蘭州 730000；3. 桂林理工大學(xué) 信息科學(xué)與工程學(xué)院，廣西 桂林 541004；4. 桂林理工大學(xué) 廣西嵌入式技術(shù)與智能系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004）

自從1956年在達(dá)特茅斯會議上提出了“人工智能”的概念以來，人工智能的發(fā)展經(jīng)歷了起起落落，近年來人工智能進(jìn)入了第三次發(fā)展浪潮。人工智能發(fā)展至今經(jīng)歷了3個階段。第一個階段是計算智能，這個階段的人工智能能存、能查、能算，IBM研發(fā)的人工智能“深藍(lán)”就是計算智能的代表，1997年“深藍(lán)”通過窮舉搜索博弈樹在象棋比賽中戰(zhàn)勝了國際象棋世界冠軍；第二個階段是感知智能，此時的人工智能能看、能聽、能說，具體包括圖像識別、語音識別、語音合成和自動駕駛等；第三個階段是認(rèn)知智能，認(rèn)知智能是在感知智能的基礎(chǔ)上讓機(jī)器具有主動思考和理解的能力，讓機(jī)器不僅能夠模仿人類的行為還研究行為背后的心智活動，這個階段的機(jī)器能實(shí)現(xiàn)語義理解、知識表達(dá)、聯(lián)想理解、智能問答、自主學(xué)習(xí)等功能。

霍華德·加德納[1]提出多元智能理論，定義智能是人在特定情景中解決問題并有所創(chuàng)造的能力，他認(rèn)為人擁有多種智能用來解決不同的問題，其中包括人際智能、自我認(rèn)識智能等8項(xiàng)智能。彼得·沙洛維[2]提出了情緒智力的概念，情緒智力是指個體能夠識別自己和他人情緒，并利用這些信息指導(dǎo)自己的思想和行為的能力。人工智能的研究者們把多元智能理論與情緒智力的概念引入人工智能的研究中，于是就產(chǎn)生了認(rèn)知智能的新方向——情感智能，過程如圖1所示。情感智能立足于人工智能已有的技術(shù)，并在此基礎(chǔ)上增強(qiáng)人工智能理解情感、產(chǎn)生情感與表達(dá)情感的能力，以構(gòu)造有情感、能共情的類人的智能。情感智能的引入使人工智能不僅具有智商，還具有情商。心理生理計算是情感智能研究中的一種研究方法，通過分析計算生理信號來研究人心理活動與生理變化之間的關(guān)系。情感智能與心理生理計算的研究對人工智能的發(fā)展有著重大的意義，具有情感智能的智能機(jī)器人、智能虛擬助手可以更好地理解用戶的需求、與用戶更好地交互。

圖1 多元智能理論與情緒智力Fig.1 The theory of multiple intelligences and Emotional Intelligence

1 情感智能

1.1 情感智能及其相關(guān)研究

情感智能是機(jī)器通過分析用戶的面部表情、生理信號、眼動、語音、社交媒體上發(fā)布的內(nèi)容等多種模態(tài)的信息發(fā)現(xiàn)和識別人類的情感，理解情感、產(chǎn)生共情并把情感表達(dá)出來。情感智能通過給機(jī)器賦予情感以達(dá)到和諧的人機(jī)交互，可以應(yīng)用于醫(yī)療、教育、生產(chǎn)、商業(yè)、娛樂、安保等多種領(lǐng)域。

情感智能的研究內(nèi)容如圖2所示，包括發(fā)現(xiàn)與識別情感、理解情感和情感表達(dá)。

圖2 情感智能研究內(nèi)容Fig.2 Research contents of Emotional Intelligence

發(fā)現(xiàn)與識別情感是指通過攝像頭、麥克風(fēng)等傳感器采集面部表情、眼動、語音、文本、生理信號等情感數(shù)據(jù)后，利用情感計算與心理生理計算技術(shù)感知與識別人類情感。情感數(shù)據(jù)采集結(jié)束后，利用情感計算技術(shù)對情感數(shù)據(jù)進(jìn)行分析，通過情感分類模型識別人類情感[3]，過程如圖3所示(圖3中二維情感模型引用于文獻(xiàn)[4])。情感分類模型分為離散模型和維度模型。離散模型通過幾種基本情緒組成人類的情感，其中以保羅·艾克曼的情緒理論影響最大。艾克曼提出人類存在6種基本情感：憤怒、厭惡、恐懼、快樂、悲傷和驚訝，其他情感都可以由這6種基本情感構(gòu)成[5]。維度模型分為一維、二維、三維和多維情感模型，維度模型是通過在維度空間中的不同位置表達(dá)不同的情感，經(jīng)典的模型有PAD三維情感模型(Pleasure-Arousal-Dominance，愉悅度-激活度-優(yōu)勢度)[6]、普拉奇克情緒錐球模型[7]等。

圖3 發(fā)現(xiàn)與識別情感Fig.3 Discovering and recognizing emotions

理解情感是指使機(jī)器理解了情感產(chǎn)生的原因，以及情感是否符合所處的環(huán)境。心理生理計算技術(shù)可以根據(jù)采集到的情感數(shù)據(jù)感知人類情感變化，理解人類心理狀態(tài)，判斷其是否存在心境障礙。心境障礙是一種情感障礙，心境障礙患者的情感反應(yīng)比正常人的情感反應(yīng)更夸張與混亂。心理生理計算技術(shù)可以在識別與理解人類情感后，根據(jù)反應(yīng)強(qiáng)烈程度與持續(xù)時間以及情感是否與所處環(huán)境相符來判斷其是否存在心境障礙，參見圖4(圖中情感分類模型引用于文獻(xiàn)[8])。

圖4 心境障礙的判斷Fig.4 Judgment of mood disorder

情感表達(dá)是在理解情感與情感產(chǎn)生的原因后，根據(jù)情感產(chǎn)生的原因產(chǎn)生相應(yīng)的、恰當(dāng)?shù)姆答仯⑼ㄟ^虛擬角色、機(jī)器人或其他交互設(shè)備向人類表達(dá)產(chǎn)生的情感?？梢跃C合利用肢體動作、面部表情、語氣等模態(tài)表達(dá)情感和人類進(jìn)行情感交互。情感表達(dá)是和諧的人機(jī)交互中的關(guān)鍵環(huán)節(jié)，在與人類交互過程中機(jī)器能夠表達(dá)情感，對人類的情感進(jìn)行恰當(dāng)?shù)姆答?，可以提升人機(jī)交互的和諧程度。

1.2 情感智能的機(jī)遇與關(guān)鍵問題

1.2.1 機(jī)遇

2017年國務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》中提到要針對改善人際溝通障礙的需求，開發(fā)能理解人的需求、能進(jìn)行情感交互的智能助理產(chǎn)品[9]；斯坦福大學(xué)人工智能百年研究的首份報告：《2030年的人工智能與生活》里也提到未來的人工智能交互系統(tǒng)將有情感、同理心等新特性[10]；Wise guys reports的關(guān)于國際情感計算的調(diào)查報告中也提到傳統(tǒng)科技巨頭和新興科技企業(yè)都在產(chǎn)品中應(yīng)用了情感智能，并且預(yù)計到2022年情感智能市場規(guī)模將以42.63%的復(fù)合年增長率增長至410億美元[11]。這些都為情感智能的發(fā)展提供了機(jī)遇，也顯示出了人工智能向情感智能方向發(fā)展的趨勢。

1.2.2 關(guān)鍵問題

現(xiàn)階段情感智能研究面臨著3個關(guān)鍵問題，第一個關(guān)鍵問題是如何有效識別情感狀態(tài)，第二個關(guān)鍵問題是如何使機(jī)器擁有情感，第三個關(guān)鍵問題是隱私、安全和倫理風(fēng)險。

情感狀態(tài)的有效識別問題。目前，對情感狀態(tài)的識別一般是通過采集情感數(shù)據(jù)，利用情感分類模型對情感數(shù)據(jù)進(jìn)行分類。隨著情感數(shù)據(jù)采集方式的增多，為了得到更有效與可靠的情感狀態(tài)識別結(jié)果，情感智能的研究采取了收集面部表情、語音、生理信號等多種生理或行為信號的方法，但這些數(shù)據(jù)異構(gòu)龐雜、難以分析。此外，因?yàn)椴煌瑐€體對同樣事情的認(rèn)知不同，所以不同個體對情感或心理狀態(tài)的表達(dá)具有差異性。而且情感的表達(dá)與情感之前的映射關(guān)系十分復(fù)雜，目前識別情感的方法與模型尚不能解決這些問題，目前的數(shù)據(jù)采集都是在實(shí)驗(yàn)室環(huán)境中采集情感數(shù)據(jù)，但情感依賴于特定上下文，開放式動態(tài)環(huán)境下如何保證情感識別技術(shù)的魯棒性問題仍需研究。

如何使機(jī)器擁有情感的問題。在人工智能發(fā)展過程中，經(jīng)過多位研究者的研究，已經(jīng)取得了許多進(jìn)展，包括受生物視覺處理過程的啟發(fā)提出了卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，受心理學(xué)行為主義理論的啟發(fā)提出了強(qiáng)化學(xué)習(xí)方法等。但對人類情感的認(rèn)知機(jī)理仍不了解，能否用計算的方法模擬和產(chǎn)生情感這一問題仍沒有明確的答案。

隱私、安全和倫理風(fēng)險問題。人工智能的飛速發(fā)展在給人們帶來便利的同時也帶來了一些新挑戰(zhàn)。人工智能作為一項(xiàng)顛覆性的技術(shù)，可能會給個人隱私、經(jīng)濟(jì)安全、法律與社會倫理等帶來沖擊。所以，在大力發(fā)展人工智能的同時，必須高度重視人工智能可能會帶來的風(fēng)險挑戰(zhàn)，加強(qiáng)預(yù)防與約束，以降低風(fēng)險，使得人工智能的發(fā)展更加安全、可靠、可控。

2 心理生理計算

情感智能的研究需要通過采集人的面部表情、眼動、語音、生理信號等情感數(shù)據(jù)識別和理解人的情感狀態(tài)，并根據(jù)情感狀態(tài)做出恰當(dāng)?shù)姆答仯詫?shí)現(xiàn)和諧的人機(jī)交互。心理生理計算是研究情感智能的重要方法。心理生理計算可以根據(jù)生理信號識別和理解人的情感和心理狀態(tài)，并對人的情感和心理狀態(tài)進(jìn)行引導(dǎo)。

心理生理計算[12]是在心理生理學(xué)的基礎(chǔ)上發(fā)展起來的一個多學(xué)科交叉研究方向，它將信息獲取、計算及分析的思想與心理生理學(xué)相結(jié)合，運(yùn)用計算機(jī)科學(xué)、數(shù)學(xué)、物理學(xué)的方法與技術(shù)，結(jié)合多種生理信號對人的不同心理狀態(tài)進(jìn)行測量、量化和評估，研究人的心理活動與生理變化之間的關(guān)系。通過心理生理計算，可以利用生理特征識別和理解人的情緒狀態(tài)和認(rèn)知狀態(tài)，并通過采取一些方法對人進(jìn)行生理干預(yù)，進(jìn)而達(dá)到治療心理疾病、影響認(rèn)知狀態(tài)的目的。

心理生理計算基于假說演繹法、情感圖片刺激、唐德斯減數(shù)法[13]等方法進(jìn)行實(shí)驗(yàn)設(shè)計，在實(shí)驗(yàn)中采集被試的生理數(shù)據(jù)，通過校正、濾波、獨(dú)立成分分析(Independent Component Correlation Algorithm，ICA)等方法對數(shù)據(jù)質(zhì)量進(jìn)行保證，采取假設(shè)驅(qū)動與數(shù)據(jù)驅(qū)動的方法，通過多模態(tài)融合、多維關(guān)聯(lián)、時空信息及個體環(huán)境差異性對心理狀態(tài)與生理或行為反應(yīng)之間的映射關(guān)系進(jìn)行計算分析與重建，把一對多、多對一、多對多的復(fù)雜映射關(guān)系逐步轉(zhuǎn)換為最理想的一對一的映射關(guān)系。

心理生理計算的研究內(nèi)容參見圖5，常用的研究方法是采取假設(shè)與數(shù)據(jù)驅(qū)動結(jié)合的研究方法。以假設(shè)為驅(qū)動的研究方法是根據(jù)某一個問題提出假設(shè)，通過設(shè)計與實(shí)施實(shí)驗(yàn)對提出的假設(shè)進(jìn)行驗(yàn)證，通過分析得到結(jié)論。以數(shù)據(jù)為驅(qū)動的研究方法是先建立一個粗糙的模型，用大量的數(shù)據(jù)訓(xùn)練模型，使得模型契合數(shù)據(jù)。假設(shè)與數(shù)據(jù)驅(qū)動相結(jié)合的研究方法如圖6所示，首先提出研究假設(shè)，根據(jù)假設(shè)設(shè)計實(shí)驗(yàn)范式，通過實(shí)驗(yàn)采集心理、生理數(shù)據(jù)，再選擇并構(gòu)建多模態(tài)、多層次、多尺度、多維度的模型，然后將數(shù)據(jù)與模型進(jìn)行擬合，使得模型契合數(shù)據(jù)，最后用數(shù)據(jù)對模型進(jìn)行驗(yàn)證。

圖5 心理生理計算研究內(nèi)容Fig.5 Research contents of Computational Psychophysiology

圖6 假設(shè)與數(shù)據(jù)驅(qū)動結(jié)合的研究方法Fig.6 Research method of hypothesis and data driven

精神醫(yī)學(xué)領(lǐng)域也在嘗試采取數(shù)據(jù)驅(qū)動的研究方法，并且驗(yàn)證了數(shù)據(jù)驅(qū)動的研究方法的有效性。精神醫(yī)學(xué)領(lǐng)域從前對于情緒障礙患者的分類都是基于癥狀進(jìn)行分類，把患者分為重度抑郁障礙、輕度抑郁和雙相抑郁。Insel等[14]提出基于數(shù)據(jù)驅(qū)動的分類，通過融合患者的遺傳風(fēng)險、大腦活動、生理機(jī)能、行為過程、生活經(jīng)歷等數(shù)據(jù)，基于數(shù)據(jù)對患者進(jìn)行分類?；跀?shù)據(jù)的分類能更精確地對情緒障礙患者進(jìn)行分類，有利于進(jìn)行分層臨床試驗(yàn)。

3 情感智能與心理生理計算典型應(yīng)用

蘭州大學(xué)UAIS實(shí)驗(yàn)室多年來致力于情感智能與心理生理計算研究，在生理信息獲取、生物信息反饋療法以及針對抑郁癥的基于腦電、語音、眼動、表情和姿態(tài)的情感識別等方面有許多相關(guān)工作。

1) 生理信息獲取技術(shù)

胡斌、Peng等[15-16]設(shè)計了便攜式3、8、32導(dǎo)腦電采集系統(tǒng)，提出了一種實(shí)時眼電偽跡去除算法。此系統(tǒng)可以采集腦電信號，對腦電信號進(jìn)行小波分解，得到小波系數(shù)，對低頻段的小波系數(shù)進(jìn)行特定的閾值處理和小波重構(gòu)，提取出眼電參考信號，把眼電信號作為參考輸入、未處理的腦電信號作為原始輸入，輸入到自適應(yīng)濾波器，系統(tǒng)最終會輸出去除眼電噪聲后的腦電信號。新的眼電偽跡去除算法在恢復(fù)真實(shí)腦電信號和跟蹤性能上具有更好的表現(xiàn)，并且新系統(tǒng)非常適合在便攜環(huán)境中使用。

Chen等[17]提出了可以用來進(jìn)行生理參數(shù)監(jiān)測的智能服裝。智能服裝通過把傳感器集成到服裝中，采集人的血氧、脈率、心電、呼吸、體溫、體動等生理信號。智能服裝通過藍(lán)牙連接到智能手機(jī)或者通過低功率Wi-Fi連接到外部網(wǎng)絡(luò)，通過智能手機(jī)或外部網(wǎng)絡(luò)把采集的數(shù)據(jù)上傳到云端，在云端啟用數(shù)據(jù)統(tǒng)計、機(jī)器學(xué)習(xí)庫、大數(shù)據(jù)等對數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)健康監(jiān)測、情緒監(jiān)測等功能。

2) 基于腦電的情感識別

Cai等[18]通過三導(dǎo)腦電信號采集系統(tǒng)采集被試的腦電信號，提出了一個通過信號分解、眼電偽跡檢測、信號預(yù)測、信號重建進(jìn)行去噪的去噪模型。使用MRMR(Minimal-Redundancy-Maximal-Relevance，最小冗余最大相關(guān))技術(shù)進(jìn)行特征選擇，最后利用KNN(K- Nearest Neighbors，K-近鄰算法)、SVM(Support Vector Machines，支持向量機(jī))、CT(Classification Tree，分類樹)和ANN(Artificial Neural Network，人工神經(jīng)網(wǎng)絡(luò))進(jìn)行分類，把腦電信號分為抑郁和不抑郁兩類，用KNN分類達(dá)到了79.27%的最高準(zhǔn)確率。

Cai等[19]提出一個基于案例的推理模型來識別抑郁癥，達(dá)到91.25%的準(zhǔn)確率。實(shí)驗(yàn)中通過用音頻刺激被試，用三導(dǎo)腦電采集器收集被試的腦電信號，對腦電信號進(jìn)行預(yù)處理與特征提取后，用SVM、KNN、樸素貝葉斯、決策樹進(jìn)行分類并根據(jù)分類結(jié)果評價選擇的特征子集，并且在分類過程中引入案例表示和案例相似性計算，通過案例學(xué)習(xí)提高分類準(zhǔn)確率，分類準(zhǔn)確率最高達(dá)到91.25%。

胡斌等[20]提出了一種腦電與溫度相結(jié)合的抑郁人群判定方法。通過傳感器采集腦電與溫度信號，并通過一種基于離散小波變換和自適應(yīng)噪聲抵消的眼電偽跡自動去除模型來去除噪聲，然后提取renyi熵、功率譜等特征，以溫度信號作為輔助指標(biāo)用KNN算法分辨抑郁和不抑郁的兩類人群。

3) 基于語音的情感識別

Jiang等[21]研究不同語音類型和語音情緒對用不同分類器檢測抑郁癥的影響，并基于不同語音類型和情緒開發(fā)了一種新的檢測抑郁的方法。通過讓被試完成包含積極、中性和消極3種效價的3種任務(wù)：訪談、圖片描述和閱讀，采集被試的語音錄音，對語音進(jìn)行預(yù)處理、提取聲學(xué)特征，使用性別相關(guān)建模對男性和女性分別建模，選擇KNN、GMM(Gaussian Mixture Model，高斯混合模型)和SVM 3種分類器進(jìn)行分類。并且提出一種新的檢測抑郁的方法：使用6個分類器先通過訓(xùn)練確定權(quán)重值，再使用6個分類器進(jìn)行測試，檢驗(yàn)分類器對抑郁和非抑郁人群不同語音類型和情緒的辨別能力，結(jié)果顯示新方法對男性情緒辨別的準(zhǔn)確率為80.3%，對女性情緒辨別的準(zhǔn)確率為75.96%。

Liu等[22]進(jìn)行了一項(xiàng)關(guān)于抑郁癥語音潛在標(biāo)記物的研究。實(shí)驗(yàn)過程中被試要完成訪談、短文閱讀、單詞閱讀和圖片描述4個任務(wù)。在實(shí)驗(yàn)過程中進(jìn)行錄音，提取被試語音信號中的記錄時長、發(fā)聲時長和停頓時長3種特征進(jìn)行比較。研究結(jié)果表明發(fā)聲時長和停頓時長特征可以作為有效特征來進(jìn)行抑郁癥人群的識別，并且驗(yàn)證了訪談作為語音信號采集方式的穩(wěn)定性。

胡斌等[23]提出一種基于語音特征與機(jī)器學(xué)習(xí)的抑郁癥自動評估系統(tǒng)和方法。系統(tǒng)包括語音采集錄音模塊、語音特征計算模塊、語音數(shù)據(jù)庫模塊、機(jī)器學(xué)習(xí)模塊和自動評估模塊。語音采集錄音模塊通過向被試展示包含正向、中性、負(fù)性3種情緒的問題、文本和圖片激發(fā)被試的情緒并采集被試的語音；語音特征計算模塊用于對語音信號進(jìn)行預(yù)處理并計算聲學(xué)特征；語音數(shù)據(jù)庫模塊包含用于語音特征有效性分析、分類器訓(xùn)練優(yōu)化、系統(tǒng)分類率的相關(guān)數(shù)據(jù)；機(jī)器學(xué)習(xí)模塊用來進(jìn)行語音特征與抑郁癥的相關(guān)性分析，根據(jù)相關(guān)性確定有效特征的提取方式，并訓(xùn)練SVM用來進(jìn)行自動評估；自動評估模塊提取相關(guān)的語音特征，并根據(jù)語音特征進(jìn)行抑郁程度分類，抑郁識別率達(dá)到75%以上。

4) 基于眼動的情感識別

Lu等[24]進(jìn)行了一項(xiàng)對照眼動跟蹤的研究，讓抑郁與非抑郁被試觀看中性對悲傷和中性對快樂的面部表情圖像，根據(jù)被試的注視時間推斷被試對某種情感面孔的偏好。最后結(jié)果表明，與非抑郁對照受試者相比，抑郁癥患者的正注意偏向不足，負(fù)注意偏向增強(qiáng)。此外，抑郁癥患者的正注意偏向受年齡影響顯著，中年患者的正注意偏向顯著低于年輕患者。

Li等[25]提出一種基于視覺信息的自適應(yīng)變異粒子群算法(AMPSO)-SVM(Adaptive Mutation Particle Swarm Optimization- Support Vector Machines，自適應(yīng)變異的粒子群優(yōu)化-支持向量機(jī))分類模型。Li等在實(shí)驗(yàn)中通過讓被試觀看快樂、悲傷和中性的人臉圖像，收集被試的眼動數(shù)據(jù)，提取偏正注意、偏負(fù)注意、正瞳孔直徑變化率、負(fù)瞳孔直徑變化率和正斜率掃視5個特征進(jìn)行分類，并且比較了基于核嶺回歸、隨機(jī)森林、粒子群算法和SVM的不同分類方法。相較于其他幾種方法自適應(yīng)變異粒子群算法AMPSOSVM分類模型的精度最高，準(zhǔn)確率達(dá)到89.58%。實(shí)驗(yàn)結(jié)果還表明，掃視距離、掃視斜率等指標(biāo)在一定程度上可以用于抑郁人群和非抑郁人群的識別。

栗覓等[26-27]提出了情感帶寬的概念，并提出了一種情感帶寬測定方法和系統(tǒng)。系統(tǒng)首先會生成多幅正性、中性和負(fù)性情感圖片，并把情感圖片顯示在顯示器中央供被試觀看，采集被試觀看不同情感的圖像時的視點(diǎn)數(shù)量和每個視點(diǎn)的左右瞳孔直徑，分別計算被試觀看不同情感圖像時每個視點(diǎn)的瞳孔直徑和瞳孔直徑平均值，然后計算被試的正性、中性、負(fù)性情感帶寬和正負(fù)情感帶寬。若被試正性情感帶寬小于健康對照組的正性情感帶寬、正負(fù)情感帶寬也小于健康對照組的正負(fù)情感帶寬，則判定被試情感受損。

5) 基于表情的情感識別

Cai等[28]提出一個視網(wǎng)膜內(nèi)外先驗(yàn)聯(lián)合模型。Cai等提出了一種名為局部變異偏差的方法，可以在不扭曲光照結(jié)構(gòu)的情況下去除紋理。Cai等還引入一個具有形狀、光照和紋理假設(shè)的聯(lián)合先驗(yàn)?zāi)Ｐ图?xì)化正則項(xiàng)以獲得更好的先驗(yàn)表示，并采用塊坐標(biāo)下降法和迭代重加權(quán)最小二乘法求解優(yōu)化問題。該模型最后的結(jié)果和收斂速度都優(yōu)于現(xiàn)有算法。

Li等[29]進(jìn)行了一項(xiàng)通過任務(wù)誘導(dǎo)面部線索進(jìn)行重度抑郁癥檢測的研究。實(shí)驗(yàn)過程中被試需要完成包含積極、中性、消極3種效價的4種任務(wù)：視頻觀看、閱讀、采訪和圖片描述。實(shí)驗(yàn)過程中通過kinect采集被試面部表情數(shù)據(jù)，提取位置特征、距離特征、區(qū)域特征、角度特征和AU(Action Units，人臉運(yùn)動單元)特征5種特征，然后用SVM、樸素貝葉斯和隨機(jī)森林算法分別對男性和女性分類。實(shí)驗(yàn)結(jié)果表明中性情緒效價的刺激材料在重度抑郁癥檢測中比積極和消極的刺激材料表現(xiàn)更好，并且還發(fā)現(xiàn)對于抑郁癥識別而言，面部表情的關(guān)鍵部位在眉毛和嘴。

6) 基于姿態(tài)的情感識別

Hu等[30]提出一個多信道認(rèn)知無線電自組織網(wǎng)絡(luò)中的情感感知認(rèn)知系統(tǒng)。系統(tǒng)由3部分組成：移動終端、基于mCRAHN(Multi-Channel Cognitive Radio Ad Hoc Networks，多通道認(rèn)知無線電Ad Hoc網(wǎng)絡(luò))的微云和認(rèn)知云平臺。系統(tǒng)主要依靠2種移動終端：便攜式智能雙目攝像機(jī)和智能手機(jī)，這2種移動終端可以收集人的面部、手勢、語音等多維數(shù)據(jù)。移動設(shè)備和認(rèn)知云平臺會對收集的數(shù)據(jù)進(jìn)行處理、特征提取、特征編碼和分類，特征編碼是專為識別手勢和面部表情而設(shè)計的。此外，Hu等提出一種輕量級的空間拉普拉斯和時間能量金字塔(SLTEP)表示法，該方法不僅考慮了人類姿勢的空間和時間線索之間的潛在關(guān)系性，并且可以在mCRAHNs中以低計算和通信成本提高人類手勢的識別性能。在用戶的情緒被識別后，系統(tǒng)會根據(jù)用戶的情緒通過大數(shù)據(jù)進(jìn)一步分析用戶的心理健康狀況，然后給用戶推薦合適的情緒感知服務(wù)，系統(tǒng)還可以在用戶睡覺時檢測用戶的睡眠狀態(tài)，并且可以根據(jù)用戶的睡眠狀態(tài)、情緒傾向和環(huán)境向用戶發(fā)送不同的帶有智能提示的報警聲音。

Wang等[31]提出一個基于kinect傳感器的抑郁癥步態(tài)評估框架。Wang等通過兩個Kinect傳感器采集被試的步態(tài)數(shù)據(jù)，建立偽速度模型對被試的異常步態(tài)進(jìn)行分析，提取步態(tài)數(shù)據(jù)的時域和頻域特征以及空間幾何特征并進(jìn)行融合，形成新的分類特征用于抑郁癥的檢測。利用新的分類特征的分類準(zhǔn)確率達(dá)到了93.75%，結(jié)果證明了新的分類特征提高了分類的魯棒性和性能。

7) 基于VR(Virtual Reality，虛擬現(xiàn)實(shí))的生物信息反饋干預(yù)

生物反饋療法是利用電子儀器將人體器官組織產(chǎn)生的腦電、呼吸、心率、肌電、體溫等生物電信息轉(zhuǎn)換成聲、光等信號，通過感官傳回大腦，患者根據(jù)這些信號自主的控制身體器官組織的生物電等信息的活動，通過自主調(diào)節(jié)達(dá)到康復(fù)疾病的目的。生物信息反饋療法涉及物理醫(yī)學(xué)、控制論、心理學(xué)、生理學(xué)等多種學(xué)科，是一種綜合了多學(xué)科的應(yīng)用，目前生物信息反饋療法可以應(yīng)用在治療少兒多動癥、抑郁癥、自閉癥、焦慮癥等疾病。

Cai等[32]提出一個基于虛擬現(xiàn)實(shí)的抑郁癥康復(fù)神經(jīng)反饋游戲框架，通過三導(dǎo)腦電傳感器采集患者的腦電信號，然后對腦電信號進(jìn)行去噪處理、特征提取和反饋參數(shù)計算，把參數(shù)發(fā)送到游戲引擎，通過虛擬現(xiàn)實(shí)游戲?qū)崟r呈現(xiàn)給患者，患者可以根據(jù)反饋的游戲內(nèi)容調(diào)整他們的心理狀態(tài)。相比于傳統(tǒng)的藥物治療，用基于生物信息反饋的虛擬現(xiàn)實(shí)干預(yù)系統(tǒng)治療抑郁癥無創(chuàng)、無副作用、無依賴性，并且成本低廉、易推廣。

胡斌等[33]提出一種基于虛擬現(xiàn)實(shí)的生物信息反饋系統(tǒng)，用若干個頭皮電極對腦電信號進(jìn)行采樣，使用腦電信號提取模塊對腦電信號進(jìn)行提取、放大和濾波處理，把處理后的腦電信號和實(shí)時特征信息發(fā)送給虛擬現(xiàn)實(shí)反饋系統(tǒng)，虛擬現(xiàn)實(shí)反饋系統(tǒng)會根據(jù)被試的信息選擇合適的訓(xùn)練方案，并且會根據(jù)被試的實(shí)時腦電信號和特征信息對訓(xùn)練方案進(jìn)行調(diào)整。該系統(tǒng)使用簡單、界面友好、易于醫(yī)生和患者接受，并且針對不同癥狀可以采用不同配置，可干預(yù)多種癥狀。

4 結(jié)論

本文介紹了情感智能、心理生理計算和利用心理生理計算在生理信息獲取、腦電、語音、眼動、表情、姿態(tài)和生物信息反饋干預(yù)等方面的相關(guān)工作與在抑郁識別應(yīng)用上的成果。根據(jù)相關(guān)研究成果可以看出情感智能和心理生理計算在改善人際交往障礙、抑郁與心境障礙識別上具有重大意義，在醫(yī)療、教育等許多領(lǐng)域都有廣闊的前景。雖然情感智能目前尚有許多關(guān)鍵問題亟待解決，但隨著心理學(xué)、生理學(xué)、計算機(jī)科學(xué)和認(rèn)知學(xué)等交叉學(xué)科的不斷發(fā)展，一定會找到對應(yīng)的解決方法，逐步解決目前所面臨的關(guān)鍵問題。