王琳

摘 要：發(fā)現(xiàn)了一個(gè)新的潛在應(yīng)用多媒體技術(shù)，即提高駕駛安全的情感智能汽車界面。為了確定生理信號(hào)（如皮膚電反應(yīng)、心跳和溫度等）和某些相關(guān)的情緒（如沮喪、憤怒、恐慌、恐懼、無(wú)聊、困倦），設(shè)計(jì)了實(shí)驗(yàn)地圖。我們將演示描述如何使用這些結(jié)果來(lái)實(shí)現(xiàn)一個(gè)更自然的基于多通道的人機(jī)情感交互，使之應(yīng)用于未來(lái)司機(jī)駕駛的汽車界面中。

關(guān)鍵詞：虛擬現(xiàn)實(shí)；情感啟發(fā)；情感識(shí)別；生理信號(hào)

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2017）08-00-03

0 引 言

人類具有社會(huì)屬性，總是會(huì)夸張地表現(xiàn)感情，人的認(rèn)知會(huì)受自己的情緒影響。而情緒又會(huì)影響人類的認(rèn)知過(guò)程，包括感覺(jué)和記憶的組成、分類和喜好、目標(biāo)生成、評(píng)估、戰(zhàn)略規(guī)劃和決策等。先前的研究表明，人們?cè)谂c計(jì)算機(jī)的交互中也會(huì)夸張地表現(xiàn)感情?？紤]到人機(jī)交互所涉及的情緒和情感與識(shí)別之間牢固的界定，我們希望機(jī)器的感知能夠捕獲相應(yīng)的現(xiàn)象，并采取相應(yīng)措施，以加強(qiáng)我們?nèi)粘?duì)機(jī)器的使用。

開(kāi)車是人們?nèi)粘Ｉ钪械囊豁?xiàng)重要活動(dòng)，在一次研究中表明，司機(jī)在駕駛汽車時(shí)會(huì)夸張地表現(xiàn)感情，且其情緒會(huì)影響駕駛。眾所周知，憤怒會(huì)極大地影響一個(gè)人的駕駛。當(dāng)司機(jī)的憤怒情緒影響他們正常的思維和判斷時(shí)，他們對(duì)事件看法的改變會(huì)導(dǎo)致對(duì)結(jié)果的誤判，其他擁有類似效果的情緒是沮喪、焦慮、恐懼、壓力。為了在公路上成為一個(gè)更安全的司機(jī)，他們需要更好的注意自己的情緒，并需有能力有效管理它們。

一旦司機(jī)意識(shí)到了自己的情緒狀態(tài)，那他們選擇一個(gè)安全的應(yīng)對(duì)方式就變得相對(duì)容易，但司機(jī)往往缺乏這種認(rèn)識(shí)。例如一些司機(jī)往往缺乏讓自己平靜下來(lái)的能力，尤其是當(dāng)他們感到憤怒或沮喪時(shí)。而困倦是最危險(xiǎn)的狀態(tài)之一。在開(kāi)車時(shí)，當(dāng)人們發(fā)現(xiàn)他們昏昏欲睡時(shí)他們卻經(jīng)常強(qiáng)迫自己繼續(xù)開(kāi)車，而非停下來(lái)休息。

美國(guó)學(xué)者詹姆斯和拉森[1]討論了如何利用司機(jī)的技術(shù)能力來(lái)管理自己的情緒。包括通過(guò)放松技巧來(lái)減少物理喚醒和對(duì)精神狀況的重新評(píng)價(jià)。而我們的目標(biāo)是創(chuàng)建一個(gè)情感智能汽車界面，通過(guò)促進(jìn)自然地人機(jī)交互幫助司機(jī)提高駕駛安全，從而幫助其更好地意識(shí)到其在開(kāi)車時(shí)的情緒狀態(tài)。例如，當(dāng)智能系統(tǒng)識(shí)別到司機(jī)的憤怒情緒時(shí)，可以建議司機(jī)進(jìn)行呼吸練習(xí)。同樣，當(dāng)系統(tǒng)識(shí)別到司機(jī)的困倦情緒時(shí)，它可以自動(dòng)改變電臺(tái)頻道，切換不同的曲調(diào)或搖下窗戶使新鮮空氣進(jìn)入車內(nèi)。該系統(tǒng)在尊重司機(jī)個(gè)人喜好的同時(shí)會(huì)提高駕駛的防范措施，使司機(jī)感覺(jué)好像車上存在一個(gè)真實(shí)的人在幫助他們安全駕駛。

駕駛員的情感狀態(tài)可以通過(guò)兩方面解釋，即在心理和生理評(píng)估后，還經(jīng)歷了由驅(qū)動(dòng)程序控制的特定情緒組件。生理組件可以通過(guò)接收傳感器以不同的方式來(lái)識(shí)別和觀察，包括視覺(jué)（面部表情），動(dòng)覺(jué)（自主神經(jīng)系統(tǒng)的覺(jué)醒和機(jī)能活動(dòng)），聽(tīng)覺(jué)（說(shuō)話的語(yǔ)調(diào)，即V，K， A）。

目前，我們正專注于通過(guò)收集和分析他們的生理信號(hào)來(lái)識(shí)別駕駛者情感狀態(tài)的研究。

1 相關(guān)研究和初步實(shí)驗(yàn)

1.1 情感識(shí)別的生理信號(hào)

有些研究建立在對(duì)情感和生理覺(jué)醒之間的關(guān)系理解的基礎(chǔ)上。皮卡德[2]等人用個(gè)性化的意象和加載情感的圖片引出快樂(lè)，悲傷，憤怒，恐懼，厭惡，驚訝，中立等情緒。測(cè)量到的生理信號(hào)是皮膚電反應(yīng)、心跳、呼吸和心電圖。用于分析數(shù)據(jù)的算法是連續(xù)正向浮動(dòng)選區(qū)（SFFS）和費(fèi)歇爾投影這兩種方法的混合，此法擁有81%的整體精度。而希利[3]專注于對(duì)司機(jī)的壓力測(cè)量并分析其生理信號(hào)（皮膚電導(dǎo)、心臟活動(dòng)、呼吸和肌肉活動(dòng)）。本研究的實(shí)驗(yàn)參與者分別在停車場(chǎng)、城市、高速公路上開(kāi)車。結(jié)果表明，司機(jī)的壓力信號(hào)可能會(huì)分別被識(shí)別為停止（在停車場(chǎng)休息）、城市（行駛在波士頓的街道）和高速公路（在高速公路上兩個(gè)車道合并），此準(zhǔn)確率高達(dá)96%。

1.2 初步情感啟發(fā)和識(shí)別實(shí)驗(yàn)

在我們的情感誘導(dǎo)實(shí)驗(yàn)中，我們用電影片段和困難的數(shù)學(xué)問(wèn)題來(lái)引出6種情緒：悲傷，憤怒，驚訝，恐懼，沮喪和高興。我們使用一個(gè)非植入性的無(wú)線可穿戴電腦Body Media Sense Wear臂帶來(lái)收集參與者的生理信號(hào)，包括皮膚電反應(yīng)，心臟速率和體溫。

數(shù)學(xué)問(wèn)題被用來(lái)引起挫折情緒，電影片段被用來(lái)引起其他情緒。在關(guān)于導(dǎo)致引發(fā)目標(biāo)情緒的研究中，發(fā)現(xiàn)電影場(chǎng)景能夠更高程度引起特定的情緒。此外，我們選擇多通道刺激情感啟發(fā)，在電影片段和數(shù)學(xué)問(wèn)題之后還提出了讓參與者觀看幻燈片的建議。在他們觀看幻燈片和進(jìn)行自我報(bào)告的過(guò)程中，繼續(xù)對(duì)參加者的生理信號(hào)進(jìn)行收集。對(duì)收集的生理信號(hào)進(jìn)行標(biāo)準(zhǔn)化，以減少參與者之間的個(gè)體差異并進(jìn)行最小值、最大值、平均值、方差等處理。從生理數(shù)據(jù)中提取每個(gè)生理數(shù)據(jù)類型 （共12個(gè)特征）。有三個(gè)監(jiān)督學(xué)習(xí)算法可以對(duì)這12個(gè)特點(diǎn)的分析進(jìn)行實(shí)現(xiàn)，即k-最近鄰（KNN），判別函數(shù)分析（DFA），馬夸特-反向傳播（MBP）算法。KNN，DFA，和MBP這三種算法識(shí)別情緒的準(zhǔn)確率分別為72.3%，75.0%和84.1%。

2 虛擬現(xiàn)實(shí)駕駛模擬器實(shí)驗(yàn)

上述討論的情感啟發(fā)實(shí)驗(yàn)的結(jié)果表明，通過(guò)分析駕駛員的生理信號(hào)可以了解人們所經(jīng)歷的情感。虛擬現(xiàn)實(shí)駕駛模擬器實(shí)驗(yàn)的目的是要引起駕駛員有關(guān)的情緒和狀態(tài)，包括驚恐/恐懼，沮喪/憤怒和無(wú)聊/困倦。駕駛模擬器被用作虛擬現(xiàn)實(shí)的駕駛環(huán)境，這種駕駛模擬器使用虛擬現(xiàn)實(shí)技術(shù)創(chuàng)建并通過(guò)中心先進(jìn)的交通系統(tǒng)仿真設(shè)施來(lái)運(yùn)行。

實(shí)驗(yàn)會(huì)設(shè)計(jì)一系列事件并使其在模擬器上實(shí)現(xiàn)并運(yùn)行，從而引起本實(shí)驗(yàn)參與者的恐慌/恐懼，沮喪/憤怒和無(wú)聊/困倦情緒。參與者的生理信號(hào)（皮膚電反應(yīng)，溫度和心臟速率）通過(guò)非植入性的穿戴式計(jì)算機(jī)Body Media Sense Wear臂帶被收集。與此同時(shí)，對(duì)參與者進(jìn)行視頻記錄，為方便以后對(duì)每個(gè)司機(jī)加以注釋和未來(lái)對(duì)面部表情的識(shí)別。分析這些記錄，以找到與獨(dú)特的生理信號(hào)相關(guān)的情緒模式。

2.1 駕駛模擬器實(shí)驗(yàn)場(chǎng)景

為了引出參與者駕駛時(shí)的有關(guān)情緒，我們創(chuàng)建了包含一系列事件的交通場(chǎng)景。該事件通過(guò)命令的方式使他們先引起恐慌/恐懼，然后無(wú)奈/憤怒，最后無(wú)聊/困倦?；€插入之前和之后都會(huì)有情緒被誘發(fā)。endprint

（1）恐慌和恐懼：事故現(xiàn)場(chǎng)是在開(kāi)車下坡，一個(gè)孩子突然走到路中間并停住，司機(jī)不可避免地?fù)糁兴?。即使司機(jī)試圖避免觸及孩子，但由于實(shí)驗(yàn)設(shè)置為禁用汽車的制動(dòng)，所以參與者無(wú)法選擇剎車，且在道路兩旁設(shè)置了路障，使司機(jī)不能變換車道。

（2）失望/憤怒：撞過(guò)孩子后下山，挫敗感和憤怒刺激了司機(jī)直接開(kāi)到城市。因?yàn)橹挥幸粋€(gè)事件不足以引起目標(biāo)創(chuàng)建無(wú)奈/憤怒情緒，因此引起無(wú)奈/憤怒情緒要通過(guò)一系列事件。

第一個(gè)司機(jī)在路中間停止，等兩個(gè)一起拿著大玻璃的男人過(guò)馬路，但二人與另一個(gè)人在聊天，擋住了路。當(dāng)拿玻璃的男人們通過(guò)后，司機(jī)被要求在下一個(gè)十字路口向右轉(zhuǎn)，然而司機(jī)此時(shí)又被一輛汽車阻礙，所以需要花費(fèi)更多的時(shí)間到紅綠燈處右轉(zhuǎn)。當(dāng)司機(jī)終于右轉(zhuǎn)，行駛約20英尺后，道路再次受阻，有一個(gè)大垃圾車正試圖做一個(gè)直角轉(zhuǎn)彎且暫時(shí)?？俊４送?，在參與者的車后還有出租車在不斷按喇叭激怒司機(jī)。

經(jīng)過(guò)垃圾車的停放后，司機(jī)被指示在紅綠燈處左轉(zhuǎn)。而此時(shí)有一個(gè)白色的車等候在參與者的車前面。當(dāng)對(duì)司機(jī)的燈變成綠色時(shí)，幾個(gè)行人開(kāi)始橫穿馬路到對(duì)面，并且在司機(jī)左轉(zhuǎn)前燈光再次變?yōu)榧t色。

行人路過(guò)后，車開(kāi)始在狹窄的道路上駕駛，一輛公交車一直在參與者的車輛右邊，且他們即將碰撞，但公交車司機(jī)在最后一刻剎住了公交車，但他在經(jīng)過(guò)參與者時(shí)辱罵了他。

（3）無(wú)聊/困倦：離開(kāi)城市，在令人沮喪的事件發(fā)生后，參與者一直在一條直線上駕駛，漫長(zhǎng)的道路再?zèng)]有事件發(fā)生。

基線：基線包含一個(gè)平凡的和愉快的情緒誘發(fā)事件，駕駛者在此之間駕駛。

希利的研究和我們研究的最大區(qū)別在于在哪里進(jìn)行實(shí)驗(yàn)。在希利的實(shí)驗(yàn)中，真實(shí)的交通被用在一個(gè)虛擬現(xiàn)實(shí)模擬器駕駛環(huán)境的對(duì)立面。虛擬現(xiàn)實(shí)環(huán)境完全受控，在該控制環(huán)境中對(duì)比不可預(yù)知的真實(shí)交通環(huán)境，優(yōu)點(diǎn)如下：

（1）每一位參與者經(jīng)歷完全相同，因此可以在參與者之間進(jìn)行比較，并得出平均結(jié)果。

（2）錯(cuò)誤選項(xiàng)如噪聲和運(yùn)動(dòng)影響的生理信號(hào)在每個(gè)場(chǎng)景中保持平等，包括基線，這使得它可以捕獲由于參與者的情緒狀態(tài)變化而響應(yīng)的變化。

2.2 駕駛模擬器實(shí)驗(yàn)設(shè)置

樣品：樣本包括41名學(xué)生（5名女性和36名男性），他們的年齡從18歲到25歲不等，由于對(duì)年齡沒(méi)有特定的要求，因此不用計(jì)算平均年齡。

過(guò)程：參與了這項(xiàng)研究的每個(gè)會(huì)話期間都有一個(gè)主題。簽署則同意表格，填寫(xiě)預(yù)研問(wèn)卷后，非植入性的Body Media Sense Wear臂章被放置在參與者的左臂（收集皮膚電反應(yīng)和溫度值）。臂章被激活后，極地胸帶，連接臂章被放置在參與者的胸部（收集心率值）。一旦胸帶暗示，它開(kāi)始與臂章通信，參與者被告知如下信息：

（1） 他們?cè)谔摂M現(xiàn)實(shí)環(huán)境中駕駛自動(dòng)變速器，即模擬汽車。

（2） 預(yù)計(jì)他們會(huì)遵守常規(guī)交通規(guī)則，如遇到紅燈和停止標(biāo)志時(shí)停車，開(kāi)車速度不超過(guò)限制。

（3） 該模擬器畫(huà)面上的紅色和黃色箭頭將分別向哪個(gè)方向轉(zhuǎn)動(dòng)。

（4） 汽車會(huì)運(yùn)動(dòng)，因此駕駛者可能會(huì)出現(xiàn)暈車現(xiàn)象。為防止出現(xiàn)這種情況，他們應(yīng)該停車，而非繼續(xù)實(shí)驗(yàn)。

當(dāng)參與者坐到模擬器上的駕駛座位時(shí)，他們被告知扣好安全帶；打開(kāi)點(diǎn)火鑰匙啟動(dòng)汽車；把檔位放在' D '（驅(qū)動(dòng)），開(kāi)始駕駛。

一旦打開(kāi)點(diǎn)火鑰匙，駕駛模擬器的場(chǎng)景便被激活。參與者駕駛汽車時(shí)，將對(duì)其臉部進(jìn)行記錄的數(shù)碼攝像機(jī)安裝在模擬器的儀表板上。保存這些視頻是為了未來(lái)對(duì)面部表情識(shí)別的研究。該場(chǎng)景持續(xù)了12～16 min，而時(shí)間長(zhǎng)短則取決于每個(gè)參與者的駕駛速度。模擬器會(huì)在場(chǎng)景結(jié)束時(shí)用聲音警告參與者。停車后，被測(cè)試者的胸背帶和臂章被移除，并將臂章收集的數(shù)據(jù)下載到電腦。

2.3 情感識(shí)別和機(jī)器學(xué)習(xí)

生理信號(hào)在駕駛模擬器實(shí)驗(yàn)中測(cè)量，用k近鄰（KNN）、馬夸特-反向傳播（MBP）和彈性反向傳播（RBP）算法找到生理信號(hào)，通過(guò)模式匹配得到與駕駛相關(guān)的情緒。

2.3.1 特征提取

在確定對(duì)應(yīng)時(shí)間點(diǎn)的駕駛場(chǎng)景發(fā)現(xiàn)某預(yù)期情緒是最有可能被激發(fā)的，上述實(shí)驗(yàn)導(dǎo)致的生理記錄：29恐慌/恐懼，30沮喪/憤怒，27無(wú)聊/嗜睡。每個(gè)情感數(shù)據(jù)集的數(shù)量不同于總樣本量，因?yàn)闆](méi)有完整收集這些參與者的數(shù)據(jù)，他們并未完成每一個(gè)情感。對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和標(biāo)準(zhǔn)化，從數(shù)據(jù)中得到最小值，最大值，平均和標(biāo)準(zhǔn)偏差，及每個(gè)生理信號(hào)類型（皮膚電反應(yīng)、溫度和心率）的平均值。這些特性將作為模式識(shí)別算法的輸入。

2.3.2 KNN、MBP和彈性的反向傳播算法的情感識(shí)別精度

第一次我們只采用KNN和MBP算法分析數(shù)據(jù)。MBP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)使用反向傳播算法，它有12個(gè)節(jié)點(diǎn)的輸入層，17個(gè)隱藏節(jié)點(diǎn)和3個(gè)節(jié)點(diǎn)的輸出層。在對(duì)由情感引出實(shí)驗(yàn)電影片段引起的6個(gè)情緒的識(shí)別方面，MBP算法效果不理想。故在第二次識(shí)別中采用神經(jīng)網(wǎng)絡(luò)算法與彈性反向傳播（RBP）算法。

評(píng)估在實(shí)際生活中應(yīng)用算法性能的一個(gè)重要問(wèn)題是假陰性結(jié)果（即系統(tǒng)不能識(shí)別用戶的消極情緒狀態(tài)）和假陽(yáng)性結(jié)果（即系統(tǒng)可以識(shí)別的一種消極的情緒狀態(tài)，雖然用戶沒(méi)有產(chǎn)生這種狀態(tài)），得到用戶的生理信號(hào)。

鑒于情感識(shí)別問(wèn)題的本質(zhì)，無(wú)法防止一切假陰性和假陽(yáng)性出現(xiàn)，但假陰性和假陽(yáng)性率可以借助各種技術(shù)來(lái)降低。而結(jié)合不同的模式識(shí)別算法便可以達(dá)到更高的識(shí)別準(zhǔn)確率。

3 結(jié) 語(yǔ)

為了使生理信號(hào)映射到相關(guān)情緒，駕駛實(shí)驗(yàn)在嚴(yán)格設(shè)計(jì)和控制的虛擬現(xiàn)實(shí)環(huán)境中進(jìn)行。駕駛場(chǎng)景創(chuàng)建包括各種交通事件引起的恐慌/恐懼、沮喪和憤怒等情感。Body Media Sense Wear臂章和極地胸帶被用來(lái)測(cè)量皮膚電反應(yīng)、心率、皮膚溫度。KNN和彈性反向傳播（RBP）算法被用于分類相應(yīng)生理信號(hào)的情緒。總而言之，KNN能夠以66.3%的成功率劃分這三種情感，MBP可以用76.7%的成功率進(jìn)行分類，而RBP的分類準(zhǔn)確率高達(dá)91.9%。endprint

所有本文討論的實(shí)驗(yàn)是在完全受控的環(huán)境中進(jìn)行的，并在所有這些實(shí)驗(yàn)中，分析生理數(shù)據(jù)的實(shí)驗(yàn)已經(jīng)完成。下一步，我們將收集、分析生理數(shù)據(jù)，以實(shí)時(shí)進(jìn)行情感識(shí)別。另一項(xiàng)改進(jìn)是我們的研究將采用不同的特征提取技術(shù)，并結(jié)合不同的模式識(shí)別算法來(lái)提高情感識(shí)別的精度。

參考文獻(xiàn)

[1] Healey. Wearable and Automotive Systems for Affect Recognition from Physiology[Z].PhD thesis， Massachusetts Institute of Technology， May 2000.

[2] Riedmiller，H. Braun. A direct adaptive method for faster backpropagation learning： The RPROP algorithm[C].In Proceedings of the IEEE International Conference on Neural Networks， San Francisco， CA， 1993.

[3]于冬梅.情感計(jì)算關(guān)鍵技術(shù)研究[D].上海：東華大學(xué)，2009

[4]寧淑榮，涂序彥.一種具有人工情感的智能控制系統(tǒng)研究[J].微計(jì)算機(jī)信息，2006，22（1）：19-21.

[5]楊國(guó)亮，任金霞，王志良.基于情緒心理學(xué)的情感建模[J].計(jì)算機(jī)工程，2007，33（22）：209-211.

[6] Zhao Li，Qian Xiangmin，Zou Cairong，et al.A study on emotional feature analysis and recognition in speech signal[J].Journal of China Institute of Communication，2000，1（4）：418-420.

[7]胡洋，吳黎慧，高磊，等.基于SVM的語(yǔ)音情感識(shí)別研究[J].電子測(cè)試，2011（9）：25-28.

[8]石鑫鑫，胡學(xué)鋼，林耀進(jìn).融合互近鄰和可信度的K-近鄰分類算法[J].合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2014（9）：1055-1058.endprint