楊捷鴻，焦學軍，曹勇，李啟杰，楚洪祚，黃夢盈，姜勁△

(1.航天工程大學研究生院，北京 101416；2.中國航天員科研訓練中心人因工程國防科技重點實驗室，北京100094)

1 引 言

情緒影響人的認知、決策、行為等諸多方面。當人情緒變化時，往往伴隨著一系列生理變化，通過監(jiān)測生理信號變化對情緒進行分析有著重要的現(xiàn)實意義。在醫(yī)療健康領(lǐng)域，相比于身體疾病，人們往往容易忽視心理疾病。而長期的不良情緒積累導致的心理疾病，將帶來更加危害的后果，所以對情緒進行有效識別，并及時地干預和排解顯得尤為必要。在人機交互領(lǐng)域，機器只有更懂人的感受，才能實現(xiàn)更自然的交互。

Deak[1]認為情緒是調(diào)節(jié)和引導行為的主觀狀態(tài)，是生物、社會和認知成分的集合。情緒既是人的一種主觀感受，同時也是客觀存在的一種狀態(tài)。通?？赏ㄟ^一些身體表現(xiàn)來表達，如面部表情、動作姿態(tài)、語言、語調(diào)等，從這些較為直觀的表達方式容易讀出情緒狀態(tài)，但因可以偽裝，結(jié)果并不一定可靠。情緒也引起生理信號的變化，如恐懼時心跳會加速。生理信號因具有不易掩飾的性質(zhì)，更能客觀地反映出真實的情緒狀態(tài)和心理感受，所以基于生理信號的情緒識別逐漸成為當前情緒識別研究領(lǐng)域的熱點。

相比單一生理信號，多種生理信號可以提供更為豐富的信息，有望提高情緒識別系統(tǒng)的準確性和魯棒性。目前，基于多生理信號信息融合技術(shù)的情緒識別研究仍處于起步階段。本文從情緒的模型和誘發(fā)、多生理信號的采集、信息融合、分類等方面出發(fā)，梳理了近年來多生理信號信息融合技術(shù)在情緒識別領(lǐng)域的發(fā)展進程和研究現(xiàn)狀，并歸納總結(jié)了目前存在的主要問題。

2 情緒模型與誘發(fā)方式

2.1 情緒模型

情緒反映人的某種心理或生理狀態(tài)，情緒研究和情感科學中一個有爭議的問題是如何區(qū)分一種情緒和另一種情緒。研究表明，情緒是可劃分的。但情緒的劃分面臨很多困難，我們的情緒是非常復雜的，涉及到諸多不同的因素，包括情緒的開始結(jié)束，情緒的程度、性質(zhì)和強度，并且人類往往同時經(jīng)歷多種情緒[2]。盡管如此，研究人員和心理學家們提出各種模型來分類情緒。針對情緒的分類模型，目前有基本情緒模型和空間維度模型兩種基本觀點。

基本情緒模型認為情緒可以被劃分為離散的幾種基本情緒，人類眾多的復雜情緒由基本情緒派生而來。心理學家們在基本情緒的種類和數(shù)量上至今沒有明確和統(tǒng)一的結(jié)論，目前的主流是著名心理學家Ekman提出的6種基本情緒，分別是憤怒、厭惡、恐懼、快樂、悲傷和驚訝。有學者在研究先天預置的基本情緒時發(fā)現(xiàn)，人的情緒激活不僅與外界的輸入刺激有關(guān)，還同個體本身的情緒狀態(tài)有關(guān)，這與有限狀態(tài)機的功能是相符合的，指出可以結(jié)合有限狀態(tài)機矩陣方法構(gòu)建基本情緒模型[3]。

空間維度模型認為情緒可以從多個維度進行度量，從而把情緒映射到一個多維空間。心理學家 Johnston 用簡單的一維實數(shù)軸來劃分情感極性，實數(shù)的正負對應于情緒的正負性，該模型只能進行粗略的劃分。目前使用最多的是將情感映射到二維空間，即V-A 二維情感模型，用橫坐標表示效價/愉悅程度，用縱坐標表示情緒的喚醒程度，見圖1。該模型能區(qū)分更多的情緒種類，但對于在二維坐標中較為接近的情緒種類，如恐懼和憤怒，要進行有效區(qū)分依然是一個挑戰(zhàn)。Wilhelm提出在此基礎(chǔ)上增加一個維度，認為情感可以用三個維度來描述：“愉悅或不愉悅”、“喚醒或抑制”和“控制或放松”。1954 年Harold將情緒的三個維度命名為“愉悅度”、“喚醒度”和“優(yōu)勢度”，即PAD 模型，見圖2。優(yōu)勢度描述情緒對外界環(huán)境處于支配或被支配的地位，可以區(qū)分如憤怒和恐懼這些在二維情感模型中較難區(qū)分的情緒種類。然而增加的第三維度不夠直觀，一定程度上限制了該模型的推廣和使用。

圖1 VA二維情感模型

2.2 情緒誘發(fā)方式

實驗室條件下誘發(fā)出個體真實的情緒并維持一段時間是進行情緒研究的前提，目前情緒誘發(fā)方式主要有：

(1)Velten 情緒誘發(fā)法。閱讀帶有強烈情緒色彩的語句來誘發(fā)相應情緒，操作簡便但易受語言理解能力和不同文化背景影響，且閱讀時對腦電信號的采集會有影響，因此該方法有一定的局限性；

圖2 PAD情感模型圖Fig.2 PAD emotion model

(2)自傳式回憶情緒誘發(fā)法。通過回憶過往經(jīng)歷誘發(fā)相應情緒，對被試配合程度要求較高，不同的過往經(jīng)歷帶來的個體差異較大，難以誘發(fā)出標準的情緒。

(3)想象情緒誘發(fā)法。根據(jù)指導語的提示，努力想象一些具有不同情緒色彩的情景。該方法的優(yōu)點是能夠誘發(fā)高級自我意識情緒，缺點是需要被試有意識的合作。

(4)圖片/視頻情緒誘發(fā)法。通過向被試呈現(xiàn)一系列帶有強烈情緒色彩的圖片，以誘發(fā)被試產(chǎn)生目標情緒。研究人員通常利用國際情緒圖片系統(tǒng)(IAPS)或中國情緒圖片系統(tǒng)(CAPS)，此方法在事件相關(guān)電位(event-related potentials，ERP)研究中應用越來越廣泛，缺點是誘發(fā)情緒持續(xù)時間短暫。也有研究者利用視頻情緒誘發(fā)方法，較之于圖片，視頻能誘發(fā)更明顯的情緒，且不容易引起疲勞，但目前標準的本地化情緒影視庫還未完全建立。

(5)聲音/音樂情緒誘發(fā)法。通過向被試呈現(xiàn)一些具有強烈情緒色彩的聲音(哭聲、打雷聲等)或音樂來誘發(fā)目標情緒，該方法不太穩(wěn)定，受個體差異影響大，目前仍存在不少質(zhì)疑，運用的比較少。

(6)任務完成方式。任務完成方式是一種比較復合的情緒誘發(fā)方式。這種誘發(fā)方式最大的優(yōu)點是由于被試的參與度較高，更容易誘發(fā)出持續(xù)且明顯的情緒，缺點是難以建立標準的誘發(fā)場景[4]。

總結(jié)以上幾種方法來看，傳統(tǒng)情緒誘導方法停留在低維空間，存在情緒誘導效率低、對外界干擾敏感度高的局限性。其次，現(xiàn)階段情緒誘導方法的標注主要采用主觀自評量表，具有較大主觀誤差，且無法實現(xiàn)時間維度的持續(xù)性標注。同時，在情緒識別領(lǐng)域，尚無適用于虛擬現(xiàn)實場景的機器學習分類模型[5]。

近年來，隨著虛擬現(xiàn)實(virtual reality ,VR)技術(shù)的發(fā)展，各種VR設備以其強烈的沉浸感迅速獲得了市場的青睞，不少研究者通過VR技術(shù)模擬構(gòu)建逼真的場景來誘發(fā)更為明顯的情緒。華南理工大學團隊[6]利用VR 視頻來誘發(fā)被試產(chǎn)生平靜-興奮的情緒狀態(tài)，并基于主成分分析(principal components analysis，PCA)和典型成分分析(canonical components analysis，CCA)，實現(xiàn)了基于腦電信號時頻特征融合的情緒識別算法，對兩種情緒狀態(tài)的平均正確識別率達到 84.43%。盡管誘發(fā)材料經(jīng)過人群篩選，但由于個體差異的存在，不同的被試對同一個視頻片段依然有不同程度的感受，所以在建模時仍需要將主觀量表考慮在內(nèi)。

3 基于生理信號情緒識別

神經(jīng)系統(tǒng)分為兩部分：中樞神經(jīng)系統(tǒng)(central nervous system, CNS)和外周神經(jīng)系統(tǒng)(peripheral nervous system，PNS)。其中，外周神經(jīng)系統(tǒng)按所聯(lián)系的器官不同，又分為自主神經(jīng)系統(tǒng)(autonomic nervous system, ANS)和軀體神經(jīng)系統(tǒng)(somatic nervous system, SNS)兩大類[7]。雖然人類的情緒起源于我們的大腦，涉及其調(diào)節(jié)和感覺的多個區(qū)域，但涉及到一些生理反應，如心率和呼吸頻率的變化，這些生理反應則起源于自主神經(jīng)系統(tǒng)，而自主神經(jīng)系統(tǒng)又受中樞神經(jīng)系統(tǒng)的調(diào)節(jié)。因此，結(jié)合中樞神經(jīng)系統(tǒng)和自主神經(jīng)系統(tǒng)活動的測量來研究情緒是合理的。目前用于情緒分類的生理信號主要有腦電(electroencephalogram, EEG)、功能性近紅外光譜(functional near-infrared spectroscopy, fNIRS)、心電(ECG)、肌電(EMG)、呼吸(RSP)、皮膚電反應(GSR)、脈搏波(PPG)、皮溫(SKT)等。

3.1 基于自主神經(jīng)系統(tǒng)生理信號的情緒識別

早在19世紀，研究人員就發(fā)現(xiàn)人類特定生理變化與特定情緒狀態(tài)之間存在一定的聯(lián)系。例如，人在說謊時會產(chǎn)生緊張情緒，自主神經(jīng)系統(tǒng)控制的生理參數(shù)如血壓、心率、呼吸和皮膚電阻會發(fā)生變化，而且這種變化不易受主觀意識影響，能較好地反映人的情緒狀態(tài)?；诖?，1885年，龍勃羅梭通過測量脈搏、血壓變化的方法來辨別謊言。1921年賴森成功研制世界上第一臺專用測謊儀，并應用于案件的偵破中，由此拉開了利用生理信號進行心理狀態(tài)識別研究的序幕。進入20世紀，隨著科學的發(fā)展和實驗手段的進步，更多的自主神經(jīng)系統(tǒng)生理信號如皮溫、心電圖、肌電圖、皮膚電反應、血容量搏動等加入到情緒識別的研究中。

1995年，Picard教授提出“情感計算”的概念，其研究成果證明從生理信號中提取特征進行情緒識別研究的方法是可行的。21世紀，人工智能的發(fā)展促進了情緒識別、情感計算等領(lǐng)域的研究，情緒識別朝著更多的情緒種類分類、更高的分類準確率以及更少更便捷的生理信號采集發(fā)展。Gouveia[8]通過使用雷達波，基于多普勒效應檢測呼吸信號進行情緒識別，提取雷達波信號的均值、方差、峰峰值、波形寬度、六個頻帶功率譜等12種特征，并用SVM、KNN和隨機森林三種分類器進行分類，研究結(jié)果顯示對于恐懼、快樂和中性三種情緒的分類準確率達到60%～70%。這種非接觸測量的方式可以避免干擾被試，但要求受試者身體不能移動，在實際應用中有很大的局限性。Bulagang等[9]回顧了使用心電圖和皮膚電圖進行情緒分類的研究，并討論了未來ECG和EDG在情緒分類中的應用前景。易慧[10]利用心率變異性的特征信息，研究了八種情緒的心電信號，針對平靜和恐懼二分類識別精度達到75%。喻一梵[11]利用心電和脈搏信號，采用貝葉斯分類器，設計實現(xiàn)了基于心電和脈搏信號線性特征的正負性情緒分類，分別取得了79.1%和75.9%的分類正確率。

皮膚電導水平也能反映情緒的變化，Ganapathy等[12]利用皮膚電活動信號對相位分量進行短時傅里葉變換，從相位信號中提取出38個時間、頻率和時頻域特征，經(jīng)過模型訓練在喚醒度和效價度分別達到79.3%和71.4%的準確度。皮膚電在情緒識別領(lǐng)域顯示出一定的應用價值，但也有不少局限性。皮膚電的檢測受到局部汗液量、檢測部位、被試者狀態(tài)及許多其他生理因素的影響，可能對情緒識別的準確率有一定的影響。表1顯示了在所有公開的情緒數(shù)據(jù)集中，所采集的自主神經(jīng)系統(tǒng)生理信號出現(xiàn)頻次最高的5種。

表1 自主神經(jīng)系統(tǒng)生理信號出現(xiàn)頻次(由高到低)

單一的自主神經(jīng)系統(tǒng)生理信號反映的信息量有限，且自主神經(jīng)系統(tǒng)生理信號變化速率相對較慢，難以達到實時性的要求，可有效區(qū)分的情緒種類較少。多種生理信號聯(lián)合檢測能結(jié)合各自的優(yōu)勢，反映更多的信息，正成為情緒識別領(lǐng)域的研究熱點。

3.2 基于腦電信號的情緒識別

腦電信號來源于與情緒高度相關(guān)的中樞神經(jīng)系統(tǒng)，具有較高的時間分辨率?；谀X電信號的情緒識別基本步驟是利用預先經(jīng)過人群篩選驗證過的情緒刺激素材(圖片或音視頻等)誘發(fā)受試者產(chǎn)生目標情緒，同時記錄腦電信號，接著對信號預處理、特征提取與降維、模型構(gòu)建、分類器分類等步驟實現(xiàn)對情緒的分類。相比于其他生理信號，腦電信號可以提取的特征較多，包括時域、頻域、時頻域、空間域等，在情緒識別領(lǐng)域占據(jù)重要的地位。研究早期，主要提取時域和頻域特征用于分類。近年來，隨著熵、相關(guān)維數(shù)、分形維數(shù)等非線性特征以及非對稱性等空間域特征引入情緒識別領(lǐng)域，識別準確率有了進一步提升。

Nawaz等[13]通過讓受試者觀看視頻，從采集的腦電信號中提取功率譜密度、熵、分形維數(shù)、統(tǒng)計特征和小波特征等綜合特征，使用三種不同的分類器(SVM、KNN和DT)對特征提取方法進行定量分析，并采用特征選擇(FS)技術(shù)縮小了特征空間。實驗結(jié)果表明，腦電信號的時域統(tǒng)計特性可以有效地區(qū)分不同的情緒狀態(tài)。Garg[14]提出了一種基于小波的深度學習框架，該框架同時考慮了多通道腦電圖信號的頻率和空間特征。圍繞面向情緒識別的腦電特征，張冠華等[15]從時域、頻域、時頻域和空間域4個方面介紹了特征的定義、計算方法和與情緒的聯(lián)系，在對比了各種特征之后，認為時域特征對情緒效價分類的貢獻度最高，且在所有時域特征中，統(tǒng)計特征顯示了其重要性。

從高通道腦電信號提取的原始特征往往會面臨“維數(shù)災難”，高維數(shù)的特征不僅會增加計算量、降低運算效率，而且不可避免包含很多無效特征，故在分類前需進行降維。降維通常有兩類方法，一類是特征選擇，從特征集合中挑選與任務相關(guān)的特征子集減少特征個數(shù)，在保證對分類準確率較小影響的同時，降低模型計算量和運行時間。針對EEG信號數(shù)據(jù)冗余導致分類準確度低等不足，王永宗[16]利用基于ReliefF算法的通道選擇算法，并對前額三、五和七通道的三種通道組合展開了研究，結(jié)果顯示對特征和通道進行優(yōu)選，基本能維持原有分類正確率，同時提高便攜性，降低通道和特征冗余。劉曉鳳[17]提出了基于Relief-FGSBS的情緒識別通道選擇方法，提高了分類器性能。Asghar等[18]利用深度特征聚類(DFC)結(jié)合多神經(jīng)網(wǎng)絡進行特征選擇，在較短的處理時間內(nèi)提高了情緒識別的性能。另一類是利用主成分分析( PCA) 、共空間模式( CSP) 等方法對原有特征進行線性或非線性變換，實現(xiàn)特征降維，從而降低強相關(guān)變量和冗余信息對計算效率的影響。

綜上，已有的基于腦電信號的情緒識別研究主要圍繞著以下幾個問題展開：腦電信號特征提取與優(yōu)選；通道選擇、特征降維算法研究；利用機器學習或深度學習改進分類算法；研究情緒識別系統(tǒng)的泛化能力以提高跨個體、跨時間分類準確率；腦電信號和其他生理信號聯(lián)合檢測。盡管腦電信號的相關(guān)研究已經(jīng)非常廣泛，但投入使用仍受到以下問題制約：腦電信號非常微弱，采集的過程中容易受噪聲干擾；空間分辨率不高；腦電圖的個體差異使得很難獲得普遍適用的一般模型，難以保持穩(wěn)定的泛化能力。

3.3 基于功能性近紅外光譜技術(shù)的情緒識別

功能性近紅外光譜技術(shù)(fNIRS)是上世紀90年代開始研究的新型腦功能檢測技術(shù)，該技術(shù)利用波長 600～900nm的近紅外光在人體組織中的散射和吸收特點，可以檢測氧合血紅蛋白和脫氧血紅蛋白的濃度變化。在大腦處于活躍狀態(tài)時，腦神經(jīng)活動會帶來腦血流量和氧代謝率的變化，該技術(shù)通過檢測血流變化參數(shù)反應大腦活動，是一種間接的腦功能檢測技術(shù)。

Watanuki等[19]在情緒面部評估和面部識別任務中，利用fNIRS來測量精神分裂癥患者大腦功能，以分析哪些大腦區(qū)域在識別情緒化的面孔時受損。Heger等[20]記錄了8名受試者分別對3種不同級別的情感視聽刺激和中性級別的情感誘導做出反應時，前額葉8個位置的fNIRS信號，并對5s長的短窗口進行評估，以持續(xù)識別情緒狀態(tài)。Hu等[21]基于功能性近紅外光譜技術(shù)，利用30段視頻片段，誘發(fā)了10種典型的積極情緒，通過多維度分析，分成了三個不同的聚類，聚類之間的二分類準確率達到了70%以上。Wang等[22]研究了導致fNIRS情緒識別系統(tǒng)跨時間分類不穩(wěn)定的影響因素，并提出了一種平衡特征穩(wěn)定性和可分離性的方法，實驗結(jié)果表明，該方法可以提高約5%的跨時間準確度。姜勁等[23]基于fNIRS技術(shù)通過對6種情緒(中性、愉快、有趣、悲傷、傷感以及恐懼)在喚醒度、愉悅度和情緒種類三個分類目標上分別實現(xiàn)了81%、78.78%和68%的平均分類正確率。

fNIRS技術(shù)便攜性好，空間分辨率高，且不易受運動、噪聲干擾。但時間分辨率不高，有滯后性，通常和其他生理信號聯(lián)合以獲得更好的分類效果。綜上，基于fNIRS情緒識別相關(guān)研究還處于起步階段，該技術(shù)擁有廣闊的應用前景。

4 多生理信號信息融合

相比于單一生理信號，多種生理信號的組合反映的信息更為豐富，因此，利用多生理信號信息融合的方式進行情緒識別已成為該領(lǐng)域當前研究的主要方向。多生理信號信息融合根據(jù)所處的階段可以分為早期融合、中期融合以及晚期融合[24]，也可以根據(jù)不同層面劃分為信號級融合、特征級融合以及決策級融合。信號級融合多用于同類信號間，是指對設備采集到的原始信號直接進行融合處理，該融合方式保留最原始的信號，但由于原始信號的采樣率通常較高，數(shù)據(jù)量大，處理時間長，導致其抗干擾能力差[7]。將信號提取的特征進行融合，即為特征級融合。特征級融合能夠?qū)崿F(xiàn)可觀的信息壓縮，提高分類識別的實時性。決策級融合是分別用單一生理信號進行分類，再將分類結(jié)果采用投票或加權(quán)投票的方式進行融合。該融合方式相對簡單，不同生理信號之間的耦合度較低，對數(shù)據(jù)的分析處理有利。表2為不同層面融合方法的比較。

表2 不同融合方法的比較

2008年，Kim等對音樂誘發(fā)的4種情緒進行分類識別，通過采集肌電、心電、皮膚電導和呼吸等多種生理信號并對提取的時頻特征進行信息融合，實現(xiàn)了90%以上的分類正確率。Gouizi等同時采集4位志愿者的肌電、呼吸容積、皮膚電傳導、皮膚溫度、血容量脈沖和心率六種生理信號，采用支持向量機( SVM) 進行情緒分類，結(jié)果表明多個生理信號組合可以明顯提高情緒的識別率[25]。Oh[26]在研究六種基本情緒分類時，使用胸帶呼吸傳感器和血量脈沖傳感器采集了53名志愿者觀看相應視頻剪輯時的呼吸和心率變異性(heart rate variablity, HRV)信號，并從HRV提取HR、HRV Amplitude、LF、HF、LF/HF Ratio特征，從RSP提取RSP Value、RSP Rate特征，利用基于卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)的深度學習模型來檢驗分類準確性。結(jié)果表明多信號分類優(yōu)于單一生理信號，且RSP和HRV所有域特征的結(jié)合顯示很明顯的優(yōu)勢。Hassouneh等[27]采集20位志愿者的腦電，心動和面部肌肉活動，并利用深度神經(jīng)網(wǎng)絡(deep neural networks, DNN)來處理多種生理信號，有效地識別了9種情緒。并進一步將DNN與SVM，樸素貝葉斯和K-Means算法進行比較，結(jié)果顯示DNN產(chǎn)生更高的分類準確率。陳沙利等[28]提出一種融合脈搏波、皮膚電反應、呼吸、皮膚溫度等多種信號的特征，結(jié)合SVM-RFE-CBR特征排序算法進行特征選擇，利用支持向量機進行分類，并通過DEAP數(shù)據(jù)集驗證該模型在愉悅度、喚醒度、優(yōu)勢度上的二分類效果，分別獲得了73.5%、81.3%、76.1%的準確率。

EEG和fNIRS的組合在情緒識別研究領(lǐng)域被認為很有潛力，一方面可以用于研究不同情緒狀態(tài)下大腦的響應規(guī)律，另一方面有望提高情緒識別的準確性和魯棒性。但如何融合這兩種生理信號是關(guān)鍵，Hong等[29]提出一種新的方法——矢量相位分析，用于識別大腦區(qū)域和血液動力學反應分類。多種生理信號可以提供更多特征，常用特征見表3。情緒變化產(chǎn)生的不同生理信號響應速度之間不盡相同，如情緒引發(fā)的腦電圖響應快于fNIRS采集到的血氧信號變化，在融合二者信息時需要考慮合適的融合策略。

分類方面，研究人員更多的關(guān)注如何改進分類算法以提高單個體的情緒識別準確率，如支持向量機、長短時記憶網(wǎng)絡、卷積神經(jīng)網(wǎng)絡[30-31]、深度森林[32]、遺傳算法[33]等，同時希望模型有更好的泛化能力。針對跨個體模型通用性不強的問題，有學者提出將遷移學習運用到跨個體的情緒識別中[34]。Li等[35]提出基于多源遷移學習方法提高了情緒識別的跨個體泛化能力，三分類準確度提高了12.72%。也有學者針對只依靠生理信號建立通用模型的做法表示懷疑，提出結(jié)合人格和生理信號建立個性化的情緒模型[36]，目前這方面的研究較少。

雖然融合多種生理信號有望進一步提高情緒識別的準確率，但同時也帶來不少挑戰(zhàn)。除了要解決單一生理信號情緒識別所面臨的問題，如情緒誘發(fā)素材是否對不同的受試者均有效，能否滿足實時在線的要求，分類模型的通用性等，還需要考慮解決以下問題：

表3 生理信號常用特征

(1)不同情緒狀態(tài)腦區(qū)激活響應有待進一步明確，未來該問題的解決有助于優(yōu)化通道布置；

(2)從多生理信號中找出和情緒最相關(guān)的特征；采集多種生理信號可以提取更多的特征，其中包含對分類結(jié)果無效的特征，找出和情緒分類最相關(guān)的特征有利于解決實時性的問題；

(3)多生理信號的優(yōu)化組合。多種生理信號可以提供更多的用于情緒分類的信息，但測量信號種類的增多會降低便攜性，平衡二者之間的關(guān)系需找到最佳的生理信號組合；

(4)多生理信號信息融合模型的建立。發(fā)展完善的信息融合理論體系和融合模型建立方法，提高融合技術(shù)的針對性。

5 總結(jié)與展望

基于多生理信號的情緒識別有著非常廣泛的應用前景，但目前仍主要停留在實驗室研究階段，距離實際應用還有很長的距離。這既需要突破情緒產(chǎn)生的生理機制，也需要數(shù)據(jù)處理、信息融合技術(shù)的進一步發(fā)展。同時，連續(xù)、實時在線的情緒識別技術(shù)是未來的發(fā)展趨勢，也是投入實際應用的基礎(chǔ)。值得注意的是，研究連續(xù)情緒識別的一大挑戰(zhàn)是連續(xù)的情感標注，Romeo等[37]提出利用多示例學習(multiple instance learning，MIL)框架來應對這一挑戰(zhàn)，更多的方法還有待探索。

本文從情緒模型與誘發(fā)方式、生理信號的采集、多生理信號情緒識別的研究現(xiàn)狀等方面，梳理了近年來生理信號應用于情緒識別領(lǐng)域的發(fā)展現(xiàn)狀，同時歸納出多生理信號情緒識別目前面對的主要挑戰(zhàn)，為后續(xù)的相關(guān)研究提供了借鑒和思考。