郭國(guó)棟,高亞罕,曹宇杰
(1.上海理工大學(xué) 醫(yī)療器械與食品學(xué)院,上海 200093;2.上海健康醫(yī)學(xué)院 醫(yī)療器械學(xué)院,上海 200237)
情緒是以個(gè)體的需要、愿望等傾向?yàn)橹薪榈囊环N心理現(xiàn)象,是人對(duì)客觀事物的態(tài)度體驗(yàn)以及相應(yīng)的行為反應(yīng)[1]。早在1884 年,情緒的概念第一次被提出。隨著研究的深入,Ekman等[2]將情緒劃分為6種基本形式,包括悲傷(Sad)、高興(Happy)、恐懼(Fear)、厭惡(Dis-gust)、驚訝(Surprise)和憤怒(Angry)。在進(jìn)行情緒識(shí)別時(shí)微表情信息、語(yǔ)言語(yǔ)態(tài)、姿態(tài)表情、生理信號(hào)等都是重要的數(shù)據(jù)來(lái)源[3]。其中,生理信號(hào)具有難以偽裝、信息量更加豐富等特點(diǎn)。腦電信號(hào)就是一種典型的生物電信號(hào),是大腦皮層神經(jīng)細(xì)胞或頭皮表層電活動(dòng)的總體反應(yīng),其中包含了大量的生理和病理信息[4]。同時(shí),情緒的波動(dòng)會(huì)對(duì)肌體生理信號(hào)產(chǎn)生影響,不可避免會(huì)對(duì)腦波產(chǎn)生相應(yīng)的影響[5]。因此,通過(guò)對(duì)腦電信號(hào)進(jìn)行采集和分析可以直觀準(zhǔn)確地判斷人體的生理及心理狀態(tài)。
腦電信號(hào)的情緒識(shí)別主要包括了5 個(gè)基本步驟[6],如圖1 所示。本文主要對(duì)腦波情緒特征提取、情緒分類方法以及基于深度學(xué)習(xí)的腦電信號(hào)情緒識(shí)別方法進(jìn)行歸納與總結(jié)。并且,腦電信號(hào)數(shù)據(jù)集是情緒識(shí)別研究中的重要部分,主要對(duì)常用的腦電信號(hào)數(shù)據(jù)集進(jìn)行介紹與分析。最后,闡述了目前腦電情緒研究中存在的問(wèn)題,并對(duì)其未來(lái)發(fā)展作出了展望。
Fig.1 Main steps of emotion recognition of EEG signals圖1 腦電信號(hào)情緒識(shí)別主要步驟
腦電信號(hào)是一種極其微弱的生理信號(hào)(幅值在微伏級(jí)別),在采集過(guò)程中不僅會(huì)受到腦電數(shù)據(jù)采集設(shè)備和外部環(huán)境的干擾,人體自身的一些生理因素如眼電、肌電等也會(huì)對(duì)腦電信號(hào)產(chǎn)生影響[7]。同時(shí),測(cè)試者自身當(dāng)下的生理及心理狀態(tài)也會(huì)對(duì)腦電信號(hào)的采集產(chǎn)生影響。大量的偽跡信號(hào)會(huì)增加腦電信號(hào)分析難度,難以從中直觀分析出與情緒的內(nèi)在聯(lián)系。為了便于后續(xù)研究,對(duì)采集到的信號(hào)作一定預(yù)處理,通過(guò)這種初步處理,可以得到具有一定規(guī)律的信號(hào)[8]。
腦電信號(hào)的情感識(shí)別是情感計(jì)算領(lǐng)域的一個(gè)重要研究方向,腦電信號(hào)的特征提取與分類是進(jìn)行情緒識(shí)別的基礎(chǔ)。傳統(tǒng)腦電信號(hào)的特征提取,主要從時(shí)域特征、頻域特征、時(shí)頻域以及非線性動(dòng)力學(xué)分析4 種特征入手,如圖2 所示。研究表明,右腦區(qū)在情緒方面有更多信息[9]。傳統(tǒng)的特征提取方法從每個(gè)通道提取腦電特征,卻忽略了通道的空間特征和全局同步信息。這些特征也包含了與情緒狀態(tài)相關(guān)的信息,因此在進(jìn)行腦電情緒識(shí)別時(shí)有必要對(duì)空間域特征進(jìn)行分析。
Fig.2 Feature extraction of EEG signals圖2 腦電信號(hào)的特征提取
(1)時(shí)域特征。時(shí)域特征也稱信號(hào)的統(tǒng)計(jì)特征,Kwon等[10]將腦電信號(hào)采集時(shí)對(duì)稱電極間產(chǎn)生的幅值差作為特征信號(hào)進(jìn)行采集,并取得了較好的分類效果;Zhuang 等[11]利用經(jīng)驗(yàn)?zāi)J椒纸猓‥MD)的特征提取和情感識(shí)別方法,適用于非線性非平穩(wěn)信號(hào)的分析處理,可提高情感識(shí)別性能。因?yàn)槟X電信號(hào)的特殊性,難以通過(guò)某一確定的時(shí)域特征進(jìn)行分析,在實(shí)際運(yùn)用過(guò)程中想要達(dá)到預(yù)期處理效果,需根據(jù)特定需求對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行有針對(duì)性的處理。
(2)頻域特征。在腦電情感識(shí)別中,最常見(jiàn)的特征是來(lái)自不同頻帶的功率特征,可通過(guò)傅里葉變換(Fourier Transfer,F(xiàn)T)將時(shí)域信號(hào)轉(zhuǎn)換為頻域信號(hào)。Xing 等[12]利用腦電信號(hào)和視聽(tīng)特征視頻情感識(shí)別的融合方法將功率譜密度與視頻視聽(tīng)特征相結(jié)合,取得了較好的分類效果。通過(guò)頻域特征進(jìn)行提取,可從分離不同頻帶相應(yīng)的特征信號(hào)加以分析,但在腦電信號(hào)采集中會(huì)產(chǎn)生干擾導(dǎo)致頻帶出現(xiàn)重疊,此時(shí)提取的特征值會(huì)產(chǎn)生偏差。
(3)時(shí)頻域特征。腦電信號(hào)是一種非平穩(wěn)隨機(jī)信號(hào),僅從時(shí)域或頻域進(jìn)行特征提取具有局限性,最常用的還是時(shí)頻結(jié)合的分析方法。在運(yùn)用小波變換處理信號(hào)時(shí)只對(duì)信號(hào)的低頻部分進(jìn)行分解,而拋棄對(duì)信號(hào)高頻部分的處理。因此,需依據(jù)小波包變化對(duì)小波空間作進(jìn)一步分解,能同時(shí)對(duì)信號(hào)的低、高頻部分進(jìn)行多層次劃分,可以對(duì)腦電信號(hào)的任意頻段信號(hào)進(jìn)行特征提取[13]。希爾伯特黃變換與傳統(tǒng)方法相比,其在處理非線性非平穩(wěn)信號(hào)方面更具優(yōu)勢(shì)。Mutlu[14]提出一種基于Hilbert 振動(dòng)分解(HVD)的腦電信號(hào)識(shí)別框架,其計(jì)算復(fù)雜度較低,更適合于實(shí)時(shí)生理信號(hào)處理應(yīng)用??傮w而言,時(shí)頻域法能夠更加細(xì)節(jié)地表現(xiàn)出腦電信號(hào)的瞬時(shí)特征。
(4)非線性動(dòng)力學(xué)分析。腦電信號(hào)具有非線性和混沌性的特點(diǎn)[15],傳統(tǒng)的腦電信號(hào)分析大多基于傅立葉變換技術(shù),該技術(shù)假定被分析信號(hào)的線性和平穩(wěn)性,由于腦電活動(dòng)的復(fù)雜性和動(dòng)態(tài)性,非線性方法更適合于評(píng)估腦電的內(nèi)在動(dòng)力學(xué),探索情緒發(fā)生時(shí)大腦活動(dòng)的生理機(jī)制。Zheng等[16]通過(guò)具有微分熵特征的判別圖正則化極值學(xué)習(xí)機(jī)實(shí)現(xiàn)情緒有效識(shí)別;Thammasan 等[17]采用分形維數(shù)(FD)從原始腦電信號(hào)中提取信息特征,對(duì)情緒進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明,F(xiàn)D 在喚醒和價(jià)態(tài)分類方面略優(yōu)于PSD 方法,并且FD與情緒的相關(guān)性高于PSD。
(5)空間域特征。腦電信號(hào)采集時(shí)在大腦頭皮層上放置不同位置的電極,這些電極在大腦頭皮上有固定的空間分布模式。同時(shí),不同腦區(qū)對(duì)不同情緒的反應(yīng)也不盡相同。因此,在對(duì)腦電信號(hào)的空間域特征進(jìn)行提取時(shí)主要從空頻域特征和電極空間組合上加以分析。Hao 等[18]在進(jìn)行腦電信號(hào)情緒識(shí)別時(shí)融入對(duì)空間特性的分析,構(gòu)造了多通道腦電信號(hào)的多帶特征矩陣(MFM)。隨著研究的深入,Chao 等[19]提出一種借助通道的空間特征和全局同步信息,將多通道腦電信號(hào)封裝成灰度圖像的全局特征提取方法。結(jié)果表明,對(duì)腦電信號(hào)全局同步特征和空間特征的分析有利于情緒識(shí)別。
在對(duì)腦電信號(hào)進(jìn)行特征提取后,依據(jù)提取出的特征對(duì)腦電信號(hào)進(jìn)行情緒分類處理。隨著人工智能的不斷發(fā)展,情緒識(shí)別計(jì)算技術(shù)已經(jīng)成功地將情緒變化與腦電信號(hào)聯(lián)系起來(lái),因此只要施加適當(dāng)?shù)拇碳?,就可以從腦電信號(hào)中識(shí)別情緒變化并對(duì)其加以分類。
目前,傳統(tǒng)機(jī)器學(xué)習(xí)研究方向主要包括決策樹(shù)、隨機(jī)森林、人工神經(jīng)網(wǎng)絡(luò)、貝葉斯學(xué)習(xí)等。每一個(gè)預(yù)測(cè)模型都獨(dú)有一個(gè)特定的算法結(jié)構(gòu),通過(guò)參數(shù)微調(diào)完成不同的識(shí)別任務(wù)。在進(jìn)行預(yù)測(cè)時(shí)首先根據(jù)數(shù)據(jù)特點(diǎn)選定一個(gè)模型結(jié)構(gòu),然后將訓(xùn)練數(shù)據(jù)輸入模型,最后輸出一個(gè)使輸出錯(cuò)誤最小化的基于特定參數(shù)的學(xué)習(xí)模型。Zhang 等[20]采用EMD策略提取特征向量,通過(guò)支持向量機(jī)分類器進(jìn)行訓(xùn)練和識(shí)別情緒。隨后Mohammadi 等[21]將支持向量機(jī)和K-近鄰分類器相結(jié)合對(duì)所提取的特征進(jìn)行情感狀態(tài)檢測(cè)。針對(duì)多通道的信號(hào)特征,Zheng[22]提出一種新的群稀疏典型相關(guān)分析(GSCCA)方法,非常適合同時(shí)處理EEG 情感識(shí)別和自動(dòng)通道選擇問(wèn)題。與利用SVM 法不同的是,Tripathi 等[23]探索了兩種不同的神經(jīng)網(wǎng)絡(luò)模型,一種簡(jiǎn)單的深層神經(jīng)網(wǎng)絡(luò)和一種用于分類的卷積神經(jīng)網(wǎng)絡(luò)。同時(shí),證明了神經(jīng)網(wǎng)絡(luò)可以作為大腦信號(hào)的魯棒分類器,甚至優(yōu)于傳統(tǒng)的學(xué)習(xí)技術(shù)。每種模式都有自己的特點(diǎn),在一些任務(wù)中表現(xiàn)不錯(cuò),但在其他方面表現(xiàn)不佳。因此,Mehmood 等[24]將SVM、K-近鄰、線性判別分析、樸素貝葉斯、隨機(jī)森林、深度學(xué)習(xí)和4 種集成方法(Bagging、Boosting、Stacking 和Voting)相結(jié)合對(duì)最優(yōu)特征作了進(jìn)一步處理。實(shí)驗(yàn)結(jié)果表明,與常用的譜功率帶方法相比,該方法極大提高了情感識(shí)別率。
傳統(tǒng)的機(jī)器學(xué)習(xí)分類器存在著缺乏確定模型結(jié)構(gòu)的專業(yè)知識(shí)和多模態(tài)特征提取過(guò)于簡(jiǎn)單的不足[25]。利用深度學(xué)習(xí),學(xué)習(xí)腦電信號(hào)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次,能夠讓機(jī)器具有分析學(xué)習(xí)能力,在處理復(fù)雜的樣本數(shù)據(jù)和進(jìn)行分類處理時(shí)更具優(yōu)勢(shì)。
(1)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)。CNN 是一類基于卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),在圖像領(lǐng)域取得了巨大成功。近年來(lái),它們被引入到腦電、肌電圖、心電圖等生理信號(hào)的處理中。Xiang等[26]進(jìn)一步設(shè)計(jì)了一個(gè)結(jié)合CNN 和RNN 的混合深度學(xué)習(xí)模型,在提取任務(wù)相關(guān)特征、挖掘信道間相關(guān)性以及從這些幀中合并上下文信息方面具有更好的效果;Li 等[27]利用層次卷積神經(jīng)網(wǎng)絡(luò)(HCNN)對(duì)情緒的積極、中性和消極狀態(tài)進(jìn)行分類。研究表明,HCNN 在二維空間中具有很強(qiáng)的表征學(xué)習(xí)能力,它在情緒識(shí)別尤其是在β 波和伽瑪波上具有很高的識(shí)別效率。
(2)深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)。深度神經(jīng)網(wǎng)絡(luò)是一個(gè)復(fù)雜的模型,由一組簡(jiǎn)單的RBM 模型組成??梢灾鸩教崛≥斎霐?shù)據(jù)的深層特征,通過(guò)預(yù)訓(xùn)練學(xué)習(xí)深度輸入特性。Zheng 等[28]介紹了一種新的基于差分熵特征的深度信念網(wǎng)絡(luò)(DBN),將兩種情緒類別(正和負(fù))從EEG 數(shù)據(jù)中進(jìn)行分類,結(jié)合隱馬爾可夫模型(HMM)準(zhǔn)確捕捉更可靠的情緒階段轉(zhuǎn)換,DBN-HMM 的平均準(zhǔn)確率達(dá)87.62%。Kawde 等[29]將原始的EEG、EMG、EOG 和GSR 信號(hào)直接輸入到DBN 中,根據(jù)數(shù)據(jù)分布提取高級(jí)特征,在DEAP 數(shù)據(jù)庫(kù)上,對(duì)價(jià)態(tài)和喚醒的識(shí)別準(zhǔn)確率分別為78.28%和70.33%。
(3)概率神經(jīng)網(wǎng)絡(luò)(Probabilistic Neural Network,PNN)。PNN 是一種基于貝葉斯策略的前饋神經(jīng)網(wǎng)絡(luò)。PNN 學(xué)習(xí)過(guò)程簡(jiǎn)單、訓(xùn)練速度快、分類更準(zhǔn)確、容錯(cuò)性好等,使得分類更加準(zhǔn)確,對(duì)誤差和噪聲有較高的容忍度。Siao 等[30]利用PNN 和KNN 研究左腦損傷和右腦損傷對(duì)情緒識(shí)別的影響,發(fā)現(xiàn)RBD 在情緒識(shí)別方面存在更大的障礙。
(4)長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)。LSTM 可以處理RNN 的消失梯度問(wèn)題,并且可以利用長(zhǎng)期依賴序列和上下文信息。Salma 等[31]提出一種從原始腦電信號(hào)中識(shí)別情緒的深度學(xué)習(xí)方法,通過(guò)LSTM 從腦電信號(hào)中學(xué)習(xí)特征,然后由稠密層將這些特征分為低/高喚醒、價(jià)態(tài)和喜歡。在DEAP 數(shù)據(jù)集上對(duì)該方法進(jìn)行了驗(yàn)證,結(jié)果表明,喚醒類、價(jià)態(tài)類和喜歡類的平均準(zhǔn)確率分別為85.65%、85.45%和87.99%。
人工神經(jīng)網(wǎng)絡(luò)(ANN)是當(dāng)前備受青睞的計(jì)算智能技術(shù)之一。然而,傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)在人類情感分析等應(yīng)用中的性能并不理想。這就需要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn),使其具有比傳統(tǒng)系統(tǒng)更好的性能。為了克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在計(jì)算復(fù)雜度和準(zhǔn)確性方面的不足,Zhong 等[32]利用深度學(xué)習(xí)方法提出一種基于多層融合層的層疊式自動(dòng)編碼器(MESAE)集成分類器用于情緒識(shí)別,基于生理數(shù)據(jù)驅(qū)動(dòng)的方法識(shí)別深層結(jié)構(gòu)。與現(xiàn)有最好的情感分類器相比,分類率和F 評(píng)分的平均值提高5.26%。Hemanth 等[33]提出循環(huán)反向傳播神經(jīng)網(wǎng)絡(luò)(CBPN)和深Kohonen 神經(jīng)網(wǎng)絡(luò)(DKNN)?;谝陨涎芯?,探討使用腦電圖(EEG)信號(hào)對(duì)人類不同情緒進(jìn)行分類時(shí)的表現(xiàn)。
腦電信號(hào)情緒識(shí)別中各數(shù)據(jù)集比較如下:
(1)DEAP。2012 年,Koelstra 等[34]創(chuàng)建了一個(gè)多模態(tài)數(shù)據(jù)集用來(lái)分析人類的情感狀態(tài)。該數(shù)據(jù)集是目前公開(kāi)的情緒腦電信號(hào)數(shù)據(jù)集中較為完善的數(shù)據(jù)集,共采集了32名受試者,每位受試者進(jìn)行40 次長(zhǎng)度為1 分鐘的音樂(lè)視頻刺激,采集相應(yīng)的腦電圖(EEG)和外周生理信號(hào),同時(shí)還記錄了其中22 人的正面面部視頻。受試者從視頻的熟悉程度、不喜歡程度、興趣程度進(jìn)行評(píng)分。
(2)NeuroMarketing[35]。該數(shù)據(jù)集是一個(gè)通過(guò)腦電信號(hào)分析神經(jīng)營(yíng)銷的數(shù)據(jù)集,共采集了25 名受試者,受試者觀看14 種商業(yè)電子商務(wù)產(chǎn)品后作出喜歡與否的判斷。
(3)SEED[36-37]。該數(shù)據(jù)集擁有最多的腦電信號(hào)采集通道,對(duì)15 名受試者的62 個(gè)通道的腦電信號(hào)進(jìn)行采集。通過(guò)令受試者觀看每段約4 分鐘的蘊(yùn)含正/負(fù)/中性情緒的視頻,記錄相應(yīng)的腦電信號(hào)。該數(shù)據(jù)集用于情緒刺激的視頻時(shí)間長(zhǎng)度較長(zhǎng),更有利于受試者的情緒表達(dá)。
(4)SEED-IV[38]。該數(shù)據(jù)集在腦電信號(hào)的基礎(chǔ)上,添加了眼球運(yùn)動(dòng)。該數(shù)據(jù)集對(duì)每位受試者進(jìn)行了更多的實(shí)驗(yàn)次數(shù),在不同的時(shí)間段對(duì)受試者進(jìn)行3 個(gè)階段采集,每個(gè)階段包含24 個(gè)試驗(yàn)共觀看72 個(gè)電影片段,并記錄相應(yīng)的腦電信號(hào)。使用62 通道ESI 神經(jīng)掃描系統(tǒng)和SMI 眼睛跟蹤眼鏡收集他(她)的EEG 信號(hào)和眼球運(yùn)動(dòng)。
(5)HCI-Tagging。該數(shù)據(jù)集建立在對(duì)多媒體標(biāo)簽這一新領(lǐng)域的研究上,在腦電信號(hào)的基礎(chǔ)上,記錄音頻、視頻、凝視數(shù)據(jù)和生理數(shù)據(jù),建立了一個(gè)在多媒體信息檢索中用戶對(duì)媒體內(nèi)容的情感反饋數(shù)據(jù)集,是目前腦電信號(hào)采集中數(shù)據(jù)類型最豐富的數(shù)據(jù)集。
(6)DREAMER[39]。建立了一個(gè)多模式數(shù)據(jù)集,該數(shù)據(jù)集由23 名參與者通過(guò)視聽(tīng)刺激在情感激發(fā)過(guò)程中記錄的腦電圖(EEG)和心電圖(ECG)信號(hào)組成。同時(shí),參與者在每次刺激后對(duì)他們的情感狀態(tài)進(jìn)行自我評(píng)估,包括配價(jià)、喚醒和支配力。
(7)MPED[40]。建立了一個(gè)多模態(tài)生理情感數(shù)據(jù)庫(kù),該數(shù)據(jù)集中的情緒類型最豐富,通過(guò)28 個(gè)視頻作為誘導(dǎo)樣本刺激6 種不同情緒和中性情緒,收集了腦電圖(EEG)、皮膚電反應(yīng)、呼吸和心電圖(ECG)4 種生理信號(hào)。
這些數(shù)據(jù)集在樣本個(gè)數(shù)、數(shù)據(jù)類型等方面略有不同,具體如表1 所示。
Table 1 Comparison of emotional EEG data sets表1 情緒腦電信號(hào)各數(shù)據(jù)集比較
數(shù)據(jù)擴(kuò)充是通過(guò)轉(zhuǎn)換訓(xùn)練生成新樣本的過(guò)程數(shù)據(jù),目的是提高分類器的準(zhǔn)確性和魯棒性[41]。隨著深度學(xué)習(xí)在情緒識(shí)別領(lǐng)域的發(fā)展,訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要更豐富、均衡的數(shù)據(jù)集。但現(xiàn)有數(shù)據(jù)集仍面臨著采集規(guī)模較小、數(shù)據(jù)量不足以及樣本不均衡的問(wèn)題。因此,提出通過(guò)從少量原始訓(xùn)練數(shù)據(jù)中生成大量人工訓(xùn)練數(shù)據(jù),并利用這些數(shù)據(jù)擴(kuò)充訓(xùn)練集以解決該問(wèn)題。在語(yǔ)音識(shí)別、圖像處理等領(lǐng)域,這已被證明可以提高分類精度。Lotte 等[42]針對(duì)BCI 領(lǐng)域提出在時(shí)域、時(shí)頻域進(jìn)行信號(hào)分割和重組,使用類比方法生成大量人工訓(xùn)練數(shù)據(jù),并利用這些數(shù)據(jù)擴(kuò)充訓(xùn)練集以解決該問(wèn)題。在處理腦電信號(hào)時(shí),Palazzo 等[43]在腦電圖儀(EEG)記錄的大腦信號(hào)基礎(chǔ)上利用生成對(duì)抗網(wǎng)絡(luò)(GAN)生成匹配特定對(duì)象類別或短文本描述的圖像。同時(shí),由于生成對(duì)抗網(wǎng)絡(luò)產(chǎn)生的人工腦電圖數(shù)據(jù)是由單通道產(chǎn)生的,缺乏通道相關(guān)性。Wang 等[44]提出通過(guò)幾何變換和加噪(高斯,Poisson,Salt,Pepper 等)同時(shí)隨機(jī)加入一些局部噪聲(泊松噪聲、Salt 噪聲,或胡椒噪聲)的方法進(jìn)行數(shù)據(jù)擴(kuò)充,并在HCI 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。結(jié)果表明,數(shù)據(jù)擴(kuò)充是解決該問(wèn)題的有效方法。
隨著人工智能的發(fā)展,腦機(jī)接口技術(shù)不斷進(jìn)步,通過(guò)腦電信號(hào)進(jìn)行情緒識(shí)別的需求日益凸顯,腦電情緒信號(hào)研究具有廣闊前景。情緒識(shí)別可從技術(shù)創(chuàng)新與應(yīng)用開(kāi)發(fā)兩方面進(jìn)行探討。
在技術(shù)層面注重與情緒相關(guān)的特征識(shí)別,考慮更多的邊緣信息,也與其他生理信號(hào)相結(jié)合進(jìn)行情緒識(shí)別。同時(shí),改進(jìn)深度學(xué)習(xí)模型,雖然當(dāng)前學(xué)習(xí)模型可以得到較高的識(shí)別結(jié)果,但在數(shù)據(jù)預(yù)訓(xùn)練過(guò)程中會(huì)產(chǎn)生大量參數(shù),導(dǎo)致成本增加,且距離實(shí)時(shí)識(shí)別還有一定距離,應(yīng)在降低成本的同時(shí)進(jìn)一步提高準(zhǔn)確率。在數(shù)據(jù)增強(qiáng)方面,通過(guò)合理的技術(shù)手段對(duì)原始數(shù)據(jù)進(jìn)行人工合成以提高數(shù)據(jù)規(guī)模,從而達(dá)到更好的訓(xùn)練效果。
在應(yīng)用開(kāi)發(fā)方面,與腦機(jī)接口技術(shù)進(jìn)一步結(jié)合,使設(shè)備輕便化,增加情緒識(shí)別的實(shí)用性,做到實(shí)時(shí)的情緒識(shí)別、情緒反饋。在心理學(xué)領(lǐng)域,將進(jìn)一步探索在傳統(tǒng)的微表情等情緒識(shí)別中加入生理信號(hào)的相互佐證。隨著腦科學(xué)的不斷發(fā)展和腦機(jī)融合技術(shù)的逐步完善,通過(guò)腦電信號(hào)對(duì)人們的情緒以及各項(xiàng)生理指標(biāo)進(jìn)行智能分析和判斷將成為現(xiàn)實(shí)。