王志良 鄭思儀 王先梅 王巍

1 引言

心理理論（theory of mind）是Premack和Woodruff在1978年研究黑猩猩的認(rèn)知能力時(shí)首先提出的一個(gè)概念，是指了解自己和他人的愿望、信念、意圖等心理狀態(tài)并據(jù)此推斷他人行為的能力。在社會(huì)化過程中，心理理論能夠預(yù)測(cè)他人情感和認(rèn)知狀態(tài)、操作與控制日常的社會(huì)環(huán)境，有助于我們與他人合作、競(jìng)爭(zhēng)、開展良好的人際交往，為人的生活和發(fā)展所必需。

人機(jī)交互技術(shù)（human computer interaction，HCI）是研究人、計(jì)算機(jī)以及它們之間相互影響的技術(shù)，是人與計(jì)算機(jī)之間傳遞交換信息的媒介和對(duì)話接口。以人為中心、自然高效將是新一代人機(jī)交互的主要目標(biāo)。當(dāng)前人機(jī)交互技術(shù)大部分僅局限于被動(dòng)地接受用戶的指令和控制，不能主動(dòng)地理解用戶的目的或意圖，無法推斷用戶的心理狀態(tài)，缺乏感知和引導(dǎo)的能力。就像Matthew Turk在文獻(xiàn)中提到，計(jì)算機(jī)只能一直等待用戶的輸入，盡管用戶當(dāng)前已經(jīng)離開或者中途被打斷去做其他事。當(dāng)用戶對(duì)某項(xiàng)任務(wù)已經(jīng)十分厭煩甚至接近崩潰邊緣時(shí)，計(jì)算機(jī)都無法知曉，仍在進(jìn)行不停的運(yùn)算。因此，要想使計(jì)算機(jī)走進(jìn)人的世界，就必須賦予計(jì)算機(jī)擁有像人一樣的心理認(rèn)知能力，能夠根據(jù)人的行為舉止對(duì)其心理狀態(tài)進(jìn)行合理推斷，理解人的行為和意圖，從而保證高效、自然、和諧的人機(jī)交互。

2 心理認(rèn)知計(jì)算的相關(guān)概念

2.1 心理狀態(tài)

現(xiàn)代心理學(xué)研究中，把心理現(xiàn)象劃分為心理過程、個(gè)性心理特征和心理狀態(tài)。心理狀態(tài)是指心理活動(dòng)在一定時(shí)間內(nèi)的完整特征，是心理活動(dòng)的基本形式之一。如注意、疲勞、緊張、輕松、憂傷、喜悅等。它兼有心理過程和個(gè)性心理特征的特點(diǎn)，既有暫時(shí)性，又具有穩(wěn)定性，是心理過程和個(gè)性心理特征聯(lián)結(jié)的中介環(huán)節(jié)。心理狀態(tài)的表現(xiàn)是多方面的，它可以表現(xiàn)在知、情、意的任何一個(gè)方面。研究、考察人的心理狀態(tài)，不僅要描述其表現(xiàn)形態(tài)，而且要把握其具體成因，這樣才有應(yīng)用價(jià)值。

2.2 心理狀態(tài)理解

心理狀態(tài)理解（mind-reading），也稱心理狀態(tài)分析或精神狀態(tài)分析，它源自于心理學(xué)中的一個(gè)術(shù)語，是指一種能推斷出他人心理狀態(tài)或精神狀態(tài)的能力。在日常生活中，心理狀態(tài)理解可以認(rèn)為是一種“看似能辨別或有能力辨別他人的想法”或“憑直覺去猜測(cè)或了解他人的想法”的行為。Baron-Cohen和Realo等從科學(xué)的角度闡述了心理狀態(tài)理解這一概念：即一個(gè)人能夠從非語言手段及可觀察到的行為動(dòng)作中推斷出他人的心理狀態(tài)。

心理狀態(tài)理解是人際交往中人的一項(xiàng)基本心智活動(dòng)，其目的是通過觀察交往對(duì)方的行為舉止推測(cè)其心理狀態(tài)，理解其交互的意圖，并以此指導(dǎo)、調(diào)整自己的行動(dòng)以及預(yù)測(cè)對(duì)方可能采取的決策。心理狀態(tài)理解能夠讓我們從交流中判斷對(duì)方的意圖，在談話中了解對(duì)方的興趣，通過領(lǐng)會(huì)對(duì)方的心理狀態(tài)來改變其想法和行動(dòng)。人類的心理狀態(tài)理解能力從童年時(shí)期就開始出現(xiàn)并發(fā)展，18～30個(gè)月的嬰兒所能表現(xiàn)出的心理狀態(tài)包括情感、愿望、信任、思考、夢(mèng)想和偽裝。5歲的時(shí)候，很多兒童就可以感知并理解他人的心理狀態(tài)，并用其去推測(cè)這些人的行為動(dòng)作。雖然在日常生活中，心理狀態(tài)理解似給人以微妙和難以捉摸的感覺，但它是人類實(shí)現(xiàn)社會(huì)功能的基礎(chǔ)，是體現(xiàn)人類社會(huì)智能的重要組成部分。

心理狀態(tài)理解機(jī)制主要涉及到兩個(gè)部分：社會(huì)感知部分和社會(huì)認(rèn)知部分。它們產(chǎn)生于人腦的不同區(qū)域，發(fā)展于不同的年齡階段，也會(huì)因不同的種族人群產(chǎn)生差異。社會(huì)感知部分主要是通過即時(shí)觀察到的可利用信息來判斷當(dāng)時(shí)的心理狀態(tài)。例如，可以根據(jù)一個(gè)人的面部表情，或加之語音語調(diào)等因素，判斷他此刻正處于“困惑”的心理狀態(tài)，這屬于對(duì)外部刺激自下而上的（bottom-up）處理方法。社會(huì)認(rèn)知部分主要是對(duì)人的心理狀態(tài)的合理推測(cè)，包括對(duì)目的的解釋和行為的預(yù)測(cè)。它涉及到更多的認(rèn)知能力，即對(duì)抽象模型自上而下（top-down）的處理方法，描述的是人的行為與其相對(duì)應(yīng)的心理狀態(tài)之間的映射關(guān)系。

當(dāng)然，面向心理狀態(tài)理解的社會(huì)感知和社會(huì)認(rèn)知本質(zhì)上都屬于不確定性問題，所以不可能百分之百地確定人的心理狀態(tài)。顯然，心理狀態(tài)不可能被直接觀察到，而是要通過觀察人的外在行為、環(huán)境因素、上下文場(chǎng)景等前后信息進(jìn)行推測(cè)。從人機(jī)交互角度來講，心理狀態(tài)理解就是讓計(jì)算機(jī)對(duì)用戶的心理狀態(tài)具有認(rèn)知能力，它的輸入應(yīng)該為一系列觀察值，如視覺信號(hào)、聽覺信號(hào)、觸覺刺激、環(huán)境因素等，輸出則是一系列相關(guān)的心理狀態(tài)。傳統(tǒng)的表情識(shí)別和基本情感的識(shí)別，只是讓計(jì)算機(jī)具有相對(duì)簡(jiǎn)單的模式識(shí)別和分類的能力，但不具備推理和判斷的能力。而心理狀態(tài)理解在識(shí)別和分類的基礎(chǔ)上，綜合人的情感及其它非語言細(xì)節(jié)因素，對(duì)人的意圖、興趣、注意和思維等進(jìn)行了推理和判斷，它對(duì)獲取的信息進(jìn)行重新編碼、存儲(chǔ)、提取，按照一定的規(guī)則進(jìn)行重新組合，再根據(jù)不同組合所代表的意義和持續(xù)的時(shí)間，推斷出不同的心理狀態(tài)。

2.3 認(rèn)知計(jì)算

“認(rèn)知”源自于心理學(xué)的概念，《辭海》將“認(rèn)知”解釋為人類認(rèn)識(shí)客觀事物、獲得知識(shí)的活動(dòng)，包括知覺、記憶、學(xué)習(xí)、言語、思維和問題解決等過程，是人對(duì)外界信息進(jìn)行積極加工的過程。認(rèn)知的構(gòu)成信息其實(shí)是“誰、什么、哪里、何時(shí)、怎樣”這幾個(gè)問題的答案?！坝?jì)算”是對(duì)所有類型信息處理的統(tǒng)稱。根據(jù) Smith的分析，目前對(duì)“計(jì)算”至少存在 6種不盡相同的解釋，而在認(rèn)知科學(xué)中主要表現(xiàn)為3種：形式符號(hào)操作、圖靈意義上的可計(jì)算和信息加工過程。

認(rèn)知計(jì)算源自于模擬人腦的計(jì)算機(jī)系統(tǒng)的人工智能。20世紀(jì) 90年代后，研究人員開始用“認(rèn)知計(jì)算”一詞，以表明該學(xué)科用于教計(jì)算機(jī)像人腦一樣思考，而不只是開發(fā)一種人工系統(tǒng)。傳統(tǒng)的計(jì)算技術(shù)是定量的，著重于精度和序列等級(jí)，而認(rèn)知計(jì)算則試圖解決生物系統(tǒng)中的不精確、不確定性問題。

認(rèn)知計(jì)算是一種自上而下的、全局性的統(tǒng)一理論研究，旨在解釋觀察到的認(rèn)知現(xiàn)象（思維），符合已知的自下而上的神經(jīng)生物學(xué)事實(shí)（腦），可以進(jìn)行計(jì)算，也可以用數(shù)學(xué)原理解釋。它尋求一種符合已知的有著腦神經(jīng)生物學(xué)基礎(chǔ)的計(jì)算機(jī)科學(xué)類的軟、硬件元件，并用于處理感知、記憶、語言、智力和意識(shí)等心智過程。哈佛大學(xué)的 Valiant認(rèn)為，與其他方法相比，認(rèn)知計(jì)算主要有以下3個(gè)特點(diǎn)：1）所有存儲(chǔ)、學(xué)習(xí)或記憶都是用先前獲取的信息通過承載網(wǎng)絡(luò)執(zhí)行的簡(jiǎn)單算法過程；2）系統(tǒng)把持續(xù)學(xué)習(xí)作為后臺(tái)活動(dòng)；3）在更加復(fù)雜的認(rèn)知處理中，如分析復(fù)雜情景或推理時(shí)，內(nèi)部計(jì)算擁有一個(gè)重要的時(shí)間域和需要保持的狀態(tài)信息。在人機(jī)交互領(lǐng)域，認(rèn)知計(jì)算與人工智能所關(guān)注的重點(diǎn)存在著一些差別。人工智能重在研制一種能夠?qū)崿F(xiàn)人類認(rèn)知功能的人工機(jī)器，而認(rèn)知計(jì)算則重在研究可以模擬人類認(rèn)知功能的計(jì)算原理和方法。

3 心理認(rèn)知計(jì)算的研究現(xiàn)狀

心理認(rèn)知是非常復(fù)雜的過程，通常包括感覺、知覺、學(xué)習(xí)、記憶、注意、思維和語言等許多心理過程。1978年，Premack和Woodruff觀察成年黑猩猩推測(cè)人物心理狀態(tài)的實(shí)驗(yàn)，其結(jié)果揭示黑猩猩具有簡(jiǎn)單的心理推測(cè)能力，并由此提出“心理理論”的概念，激發(fā)大家在研究心理認(rèn)知方面興趣。此后這方面的相關(guān)理論、方法和實(shí)驗(yàn)結(jié)果就不斷在心理學(xué)文獻(xiàn)上出現(xiàn)。以下從3個(gè)方面對(duì)近年來國內(nèi)外心理認(rèn)知計(jì)算的研究現(xiàn)狀進(jìn)行總結(jié)。

3.1 心理認(rèn)知的神經(jīng)生物學(xué)研究

神經(jīng)系統(tǒng)是人體重要系統(tǒng)之一，包括中樞神經(jīng)系統(tǒng)和周圍神經(jīng)系統(tǒng)，其中腦和脊髓合稱中樞神經(jīng)系統(tǒng)。腦本身也是一個(gè)復(fù)雜的系統(tǒng)，大量的神經(jīng)生物學(xué)、實(shí)驗(yàn)心理學(xué)和功能成像實(shí)驗(yàn)給出腦活動(dòng)的許多知識(shí)，表明腦是心理活動(dòng)的物質(zhì)基礎(chǔ)。心理和腦構(gòu)成統(tǒng)一的系統(tǒng)，在心腦統(tǒng)一體中，心理并不是實(shí)體，而是腦的功能。

Luria等通過對(duì)腦損傷病人的臨床觀察和康復(fù)訓(xùn)練得到如下認(rèn)識(shí)：腦一定部位的損傷會(huì)引起一定的心理功能障礙，但腦的某一種功能并非僅和腦的某一部位相聯(lián)系，在腦的各個(gè)部分之間存在緊密聯(lián)系。Zeki等通過大量神經(jīng)解剖學(xué)和神經(jīng)心理學(xué)的實(shí)驗(yàn)表明，人腦由大量的腦功能子系統(tǒng)組成，部分腦功能子系統(tǒng)可以相對(duì)獨(dú)立地進(jìn)行信息加工。

各種無損傷腦成像技術(shù)的迅速發(fā)展提供腦活動(dòng)的許多實(shí)驗(yàn)資料。實(shí)驗(yàn)表明，腦內(nèi)存在許多功能分離而又相互協(xié)同工作的腦區(qū)，人在進(jìn)行不同的心理活動(dòng)時(shí)，腦內(nèi)有不同的腦區(qū)被激活。Gallagher等利用功能磁共振成像（functional magnetic resonance imaging，fMRI）技術(shù)揭開心理認(rèn)知的神經(jīng)生物學(xué)基礎(chǔ)。

事件相關(guān)電位（event-related potential，ERP）是腦波的一種，經(jīng)由將記錄到腦電圖（electroencephalography，EEG）的腦部原始生理信號(hào)進(jìn)行再分析處理而得，與主動(dòng)心理活動(dòng)伴隨產(chǎn)生的神經(jīng)電信號(hào)通常有P300、N400和N200波等。其中，P300波已被公認(rèn)為研究人的認(rèn)知活動(dòng)和判斷人的認(rèn)知能力的有用指標(biāo)。Woldorff等采用聽覺刺激進(jìn)行的一項(xiàng)研究發(fā)現(xiàn)，在刺激呈現(xiàn)大約20～50 ms后，針對(duì)目標(biāo)刺激的事件相關(guān)電位明顯大于針對(duì)非目標(biāo)刺激的事件相關(guān)電位。

Raichle介紹了認(rèn)知神經(jīng)科學(xué)家用來研究認(rèn)知過程的正電子發(fā)射層析攝影掃描技術(shù)（positron emission tomography，PET），這是一種基于減法邏輯的方法，可觀察由純實(shí)驗(yàn)條件所引起的腦興奮區(qū)域和興奮水平。PET曾多次被用來研究情景記憶（episodic memory），當(dāng)被試者提取情景記憶時(shí)，右前額葉顯示較其他記憶提取時(shí)更高的興奮水平。

Anderson等運(yùn)用磁共振成像（MRI）和腦磁圖（magnetoencephalograghy，MEG）技術(shù)研究視覺皮質(zhì)V5區(qū)的工作特點(diǎn)。他們采用MEG技術(shù)研究發(fā)現(xiàn)V5區(qū)對(duì)運(yùn)動(dòng)—對(duì)比模式（motion-contrast pattern）反應(yīng)更為強(qiáng)烈而對(duì)顏色卻沒有什么反應(yīng)。根據(jù)這一結(jié)果并結(jié)合以前通過PET和 fMRI獲得的證據(jù)作出結(jié)論：V5區(qū)的主要功能是把運(yùn)動(dòng)目標(biāo)從其背景中迅速檢測(cè)出來。此外，他們還發(fā)現(xiàn)V5區(qū)是在V1區(qū)（初級(jí)視覺皮層）對(duì)運(yùn)動(dòng)-對(duì)比模式興奮大約20 ms后開始興奮。

LeDoux和Adolphs等揭示腦的部分區(qū)域與情感的高級(jí)處理階段有關(guān)。Purves等研究發(fā)現(xiàn)，與處理情感有關(guān)的腦區(qū)域是和決定下一步行為的腦組織結(jié)構(gòu)相互連接，相互影響的。這些發(fā)現(xiàn)強(qiáng)調(diào)情緒與認(rèn)知的相互影響，并引導(dǎo)人們對(duì)腦有新的認(rèn)識(shí)：人腦不再是一個(gè)單純的認(rèn)知信息處理系統(tǒng)，而是一個(gè)情緒與認(rèn)知相互綜合的系統(tǒng)。因此，一個(gè)準(zhǔn)確的用戶模型建立需要同時(shí)綜合情緒和認(rèn)知過程，這樣才能驅(qū)動(dòng)用戶的推理和行為決策。

這些心理認(rèn)知的神經(jīng)生物學(xué)研究成果對(duì)我們了解高級(jí)社會(huì)認(rèn)知能力是如何在人腦中形成以及它在日常生活中所發(fā)揮的作用非常重要。同時(shí)，這些研究成果也是建立心理認(rèn)知計(jì)算模型的理論基礎(chǔ)。

3.2 心理情感狀態(tài)的相關(guān)研究

心理狀態(tài)主要包括情感狀態(tài)（如高興、悲傷、憤怒、恐懼、驚奇、厭惡等）、認(rèn)知狀態(tài)（如興趣、思考、贊同、否定、不確定等）和意志狀態(tài)（如克制、猶豫、鎮(zhèn)定等）3部分，它們相互作用、相互影響，組成復(fù)雜的心理感受，共同影響著我們的決策和行為。

對(duì)情感狀態(tài)的識(shí)別與分析，最早是受到美國麻省理工學(xué)院 Picard教授提出的“情感計(jì)算”（affective computing）的啟發(fā)。1997年，Picard教授出版了一本專著《Affective Computing》，認(rèn)為情感計(jì)算主要分為3個(gè)方面，即讓機(jī)器發(fā)自內(nèi)心地?fù)碛星楦序?qū)動(dòng)力、讓機(jī)器表現(xiàn)得似乎擁有情感以及讓機(jī)器能夠識(shí)別理解人類的情感表現(xiàn)。20多年以來，在美國、日本、英國、德國、荷蘭、法國、印度和新加坡等國家都有專門進(jìn)行情感狀態(tài)識(shí)別的研究小組。美國MIT媒體實(shí)驗(yàn)室已經(jīng)開發(fā)出數(shù)種用于測(cè)量心理信號(hào)的傳感器，如用于測(cè)量皮膚電信號(hào)的皮膚電反應(yīng)傳感器、血流脈沖傳感器、肌動(dòng)電流圖傳感器、呼吸傳感器等。壓力感應(yīng)鼠標(biāo)和自動(dòng)面部表情分析也作為非語音手段，對(duì)人類的情感狀態(tài)進(jìn)行識(shí)別。除此之外，還有一些基于用戶情感狀態(tài)做出反應(yīng)的實(shí)用性產(chǎn)品，例如，一系列關(guān)于情感學(xué)習(xí)（affective learning）的產(chǎn)品，陪伴輔導(dǎo)孩子的學(xué)習(xí)伙伴（affective companion），能檢測(cè)用戶心理受挫并調(diào)節(jié)用戶情緒的智能體，以及教育性游戲（educational game），遠(yuǎn)程醫(yī)療，社會(huì)服務(wù)機(jī)器人，康復(fù)治療技術(shù)和能與用戶交流對(duì)話的智能體。

在國內(nèi)，清華大學(xué)、中國科學(xué)院計(jì)算技術(shù)研究所和自動(dòng)化研究所、北京航空航天大學(xué)、北京理工大學(xué)、北京科技大學(xué)等也分別從不同方面對(duì)情感狀態(tài)進(jìn)行了深入的研究。

中國科學(xué)院自動(dòng)化研究所的黃力行等認(rèn)為語音和面部肌肉動(dòng)作是用于情感識(shí)別的2個(gè)最重要的模態(tài)。在雙模態(tài)情感識(shí)別中，給不同的特征賦予不同的權(quán)值有利于充分利用雙模態(tài)信息。他們提出一種基于Boosting算法的雙模態(tài)信息融合方法，能夠自適應(yīng)地調(diào)整語音和人臉動(dòng)作特征參數(shù)的權(quán)重，從而達(dá)到較好的識(shí)別效果，其基本情感狀態(tài)的識(shí)別率達(dá)84%以上。

哈爾濱工業(yè)大學(xué)的金輝和中國科學(xué)院的高文提出一種人臉面部混合表情識(shí)別系統(tǒng)。首先把臉部成各個(gè)表情特征區(qū)域，分別提取其運(yùn)動(dòng)特征，并按時(shí)序組成特征序列；然后分析不同特征區(qū)域所包含的不同表情信息的含義和表情的含量；最后通過概率融合來理解、識(shí)別任意時(shí)序長度的、復(fù)雜的混合表情圖像序列。其各種表情的總體識(shí)別率達(dá)到96.9%。

北京航空航天大學(xué)的薛雨麗、毛峽等使用自主開發(fā)的實(shí)時(shí)人臉表情識(shí)別系統(tǒng)，從BHU表情數(shù)據(jù)庫的所有單一表情視頻中自動(dòng)檢測(cè)出人臉并進(jìn)行篩選，作為表情分類器的訓(xùn)練樣本。采用積分圖像和基于AdaBoost方法對(duì)包括打哈欠、好奇、厭惡等9種表情進(jìn)行識(shí)別。

哈爾濱工業(yè)大學(xué)的朱永崇在分析傳統(tǒng)語音識(shí)別方法對(duì)于長時(shí)特征和短時(shí)特征利用程度方面的優(yōu)缺點(diǎn)之后，提出可以有效結(jié)合長時(shí)和短時(shí)特征的多子模式加權(quán)投票模型，利用HMM作為短時(shí)特征訓(xùn)練識(shí)別工具，KNN作為長時(shí)特征訓(xùn)練識(shí)別工具，再用隸屬矢量和權(quán)值系數(shù)對(duì)多個(gè)子模式的識(shí)別結(jié)果進(jìn)行融合，對(duì)非特定人的憤怒、高興、平靜、悲傷4種情感獲得61.06%的平均識(shí)別率。

清華大學(xué)的魏冉等對(duì)處于不同表情中人臉特征差異進(jìn)行分析。針對(duì)面部表情改變時(shí)，變化最大的 3個(gè)部分——嘴、額頭和眉毛在形狀、紋理和距離上的差異，提出用模板匹配法提取嘴部特征，用邊緣檢測(cè)法提取額頭特征，用外輪廓檢測(cè)法提取眉毛特征，并綜合這三者的輸出得到最終識(shí)別結(jié)果的多特征面部表情識(shí)別系統(tǒng)，平均識(shí)別率為85.7%。

北京理工大學(xué)的續(xù)爽等在圖嵌入的框架下提出一種根據(jù)表情相似度構(gòu)建鄰接權(quán)重圖的方法來學(xué)習(xí)人臉表情子空間。數(shù)據(jù)集中人臉圖像的表情以半監(jiān)督學(xué)習(xí)的方式估計(jì)，人臉圖像之間的表情相似度由模糊隸屬度矢量之間的內(nèi)積度量，與個(gè)體、光照、姿態(tài)等人臉差異無關(guān)。在得到的子空間內(nèi)，相似表情的人臉圖像位于流形上的鄰近位置，表情數(shù)據(jù)在子空間內(nèi)按語義分布，很好地揭示表情模糊、演變的特性。北京科技大學(xué)的王巍等以人工心理學(xué)的理論和方法為基礎(chǔ)，對(duì)人的心理活動(dòng)進(jìn)行人工機(jī)器模擬，提出人機(jī)交互中的個(gè)性化情感模型。

總的來看，目前國內(nèi)外情感狀態(tài)研究最多的仍是集中在對(duì) 6種基本情感（高興、悲傷、憤怒、恐懼、驚奇、厭惡）的識(shí)別，及少量非基本情感狀態(tài)（如困惑、煩躁、悔恨等）的識(shí)別，卻幾乎沒有涉及到對(duì)心理狀態(tài)中認(rèn)知狀態(tài)（如贊同、否定、注意、思考等）的研究，而單純識(shí)別情感狀態(tài)在人機(jī)交互中對(duì)理解用戶意圖和推斷用戶心理認(rèn)知狀態(tài)是有一定局限性的。

3.3 心理認(rèn)知狀態(tài)的相關(guān)研究

與情感狀態(tài)相比，人機(jī)交互中的心理認(rèn)知狀態(tài)、意志狀態(tài)乃至整個(gè)復(fù)雜心理狀態(tài)的研究還非常少。特別是在國內(nèi)，心理狀態(tài)的機(jī)器理解主要集中在情感識(shí)別方面，很少涉及到心理認(rèn)知方面。

根據(jù)測(cè)量手段不同，可將心理認(rèn)知狀態(tài)的研究分為基于生理信號(hào)、語音信號(hào)、視覺信號(hào)（包括面部表情和行為姿態(tài)）及多通道信息融合等多種方法。其中，生理信號(hào)主要是通過采集人的皮質(zhì)醇水平、心率、血壓、呼吸、皮膚電活動(dòng)、掌汗、瞳孔直徑、事件相關(guān)電位等，并采用波形分析、頻譜分解、統(tǒng)計(jì)特征計(jì)算等對(duì)生理信號(hào)進(jìn)行描述，最終通過統(tǒng)計(jì)產(chǎn)品與服務(wù)解決方案（statistical product and service solutions，SPSS）、近鄰、距離、多層感知機(jī)（multi-layer perception，MLP）、神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行分類。語音信號(hào)主要是根據(jù)聲調(diào)在時(shí)間構(gòu)造、振幅構(gòu)造、基頻構(gòu)造和共振峰構(gòu)造等特征方面的特點(diǎn)和分布規(guī)律進(jìn)行測(cè)算和分析，并以此為基礎(chǔ)或模板，推斷說話人所隱含的心理狀態(tài)。面部表情主要是通過眼部、面部和口部肌肉的變化（如五官的幾何特征、局部紋理特征等），建立面部表情與心理認(rèn)知狀態(tài)之間的映射關(guān)系。行為姿態(tài)主要是根據(jù)面部以外的其他身體行為（如肩部動(dòng)作、胳膊運(yùn)動(dòng)、手勢(shì)等肢體語言）對(duì)心理認(rèn)知狀態(tài)進(jìn)行分析。

Chen等在對(duì)6種基本情感狀態(tài)進(jìn)行研究的基礎(chǔ)上，對(duì)包括興趣（interest）和迷惑（puzzlement）等在內(nèi)的 4種心理認(rèn)知狀態(tài)進(jìn)行了初步研究。

Baron-Cohen提出心理狀態(tài)理解的神經(jīng)認(rèn)知機(jī)制（neurocognitive mechanism），包括一系列能夠?qū)ζ渌麄€(gè)體的心理狀態(tài)進(jìn)行歸因的模塊。他提出的視線方向檢測(cè)器（eye direction detector，EDD）可以檢測(cè)出眼睛的位置，并且通過虹膜相對(duì)于鞏膜的位置估計(jì)視線方向，借此對(duì)個(gè)體的心理狀態(tài)進(jìn)行歸因。

Liang Yulan等通過攝像頭采集駕駛員的眼動(dòng)信息來描述駕駛員的認(rèn)知分心，并用貝葉斯網(wǎng)絡(luò)、SVM等方法進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，眼動(dòng)信息中的眨眼頻率與注視指標(biāo)很適合用于評(píng)價(jià)駕駛分心。

Kutila等通過頭部姿態(tài)和眼睛的注視方向等信息來分析駕駛員的視覺分心，將眼動(dòng)信息與車道保持信息相結(jié)合來分析駕駛員的認(rèn)知分心，最后用SVM對(duì)數(shù)據(jù)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，該方法能夠檢測(cè)出80%的視覺分心與 68%～86%的認(rèn)知分心。

Ioannis等將眼動(dòng)信息（眼睛閉合時(shí)間比、眨眼頻率等）與EEG、EOG等生理信號(hào)融合起來，采用模糊專家系統(tǒng)對(duì)駕駛員進(jìn)行疲勞判斷，取得較好效果。

Qiang Ji等綜合考慮面部表情、眼部運(yùn)動(dòng)、頭部運(yùn)動(dòng)、視線變化等因素，在分別考察了單個(gè)信息的分類效果后，采用貝葉斯網(wǎng)絡(luò)對(duì)駕駛員的疲勞程度進(jìn)行判別。

美國麻省理工學(xué)院的個(gè)人機(jī)器人小組和斯坦—溫斯頓工作室發(fā)明一個(gè)走向認(rèn)知的社交智能機(jī)器人。它包含內(nèi)置情感移情系統(tǒng)，可以揣測(cè)出所遇到的人的目標(biāo)和意向。這個(gè)機(jī)器人包括一套評(píng)估和模仿可察覺面部表情的系統(tǒng)，會(huì)將特定的面部表情與相關(guān)的反應(yīng)聯(lián)系在一起。它還安裝了評(píng)估人類聲音性質(zhì)的特定傳感器，聲音的反饋強(qiáng)化它對(duì)他人面部表情和個(gè)人情感之間的聯(lián)系。

英國劍橋大學(xué)計(jì)算機(jī)實(shí)驗(yàn)室的Peter Robinson教授領(lǐng)導(dǎo)的課題組采用面部表情結(jié)合頭部姿態(tài)的變化，對(duì)心理狀態(tài)理解進(jìn)行研究，分析面部表情、頭部姿態(tài)與 6種特定心理狀態(tài)之間的映射關(guān)系，并首次將心理狀態(tài)的自動(dòng)識(shí)別應(yīng)用于人機(jī)交互領(lǐng)域。2009年，Tal Sobol-Shikler和Peter Robinson教授又發(fā)表通過語音信號(hào)對(duì)同時(shí)發(fā)生的多種心理狀態(tài)進(jìn)行識(shí)別的文章，并將配對(duì)法和投票法相結(jié)合進(jìn)行分類，該系統(tǒng)對(duì)Mind Reading DVD數(shù)據(jù)庫測(cè)試的識(shí)別率達(dá)到83%。

在多種測(cè)量方法中，由于面部是人類表達(dá)心理狀態(tài)的最自然途徑之一，它除了表達(dá)情感之外，還能發(fā)出社交信號(hào)，如繼續(xù)交談或轉(zhuǎn)換話題等。頭部的姿態(tài)、轉(zhuǎn)動(dòng)和視線盯視方向在心理狀態(tài)理解方面也有著重要的暗示作用。如Haidt研究發(fā)現(xiàn)，一種厭惡的盯視、一個(gè)克制的微笑和一個(gè)頭部的轉(zhuǎn)動(dòng)都可能代表“困窘”的信號(hào)。Langton強(qiáng)調(diào)，頭部轉(zhuǎn)動(dòng)和視線盯視方向在檢測(cè)注意力焦點(diǎn)時(shí)起著非常關(guān)鍵的作用。加之面部信息的采集是非侵入式的，大部分采集設(shè)備價(jià)格低廉，應(yīng)用范圍廣，因此基于面部表情的心理認(rèn)知狀態(tài)推斷是目前研究最多的方法之一，而多通道信息融合則是未來心理認(rèn)知發(fā)展的主要方向。

4 心理認(rèn)知計(jì)算的發(fā)展趨勢(shì)

近幾年，隨著認(rèn)知心理學(xué)、認(rèn)知神經(jīng)科學(xué)及智能科學(xué)的發(fā)展，對(duì)心理認(rèn)知的研究逐漸從心理學(xué)和神經(jīng)生物學(xué)領(lǐng)域過渡到人機(jī)交互領(lǐng)域。本文在總結(jié)國內(nèi)外研究現(xiàn)狀的基礎(chǔ)上，從模式提取和模型建立兩個(gè)方面，針對(duì)心理認(rèn)知在人機(jī)交互領(lǐng)域中可能的發(fā)展趨勢(shì)進(jìn)行簡(jiǎn)要分析，并從人類視覺和計(jì)算機(jī)視覺的分層對(duì)比中，提出心理狀態(tài)視覺認(rèn)知計(jì)算的模型框架。

4.1 模式提取

在 Baron-Cohen的心理狀態(tài)分類法中，一共有412種心理狀態(tài)。這412種心理狀態(tài)又根據(jù)不同的心理特征和強(qiáng)度被分為24個(gè)不同的心理狀態(tài)組群，其中包括我們所熟悉的6種基本情感狀態(tài)（如高興、害怕、厭惡等）和非基本情感狀態(tài)（如煩躁、懷疑等），以及心理認(rèn)知狀態(tài)（如感興趣、同意、不確定等）。

針對(duì)人機(jī)交互領(lǐng)域中對(duì)人的目的、意圖、態(tài)度等心理認(rèn)知狀態(tài)理解的需求出發(fā)，以Baron-Cohen的心理狀態(tài)詞條為基礎(chǔ)，將若干具有相似特征的心理認(rèn)知狀態(tài)進(jìn)行融合，結(jié)合人類視覺認(rèn)知機(jī)理以及計(jì)算機(jī)對(duì)圖像信息的實(shí)際處理能力，形成心理認(rèn)知狀態(tài)模式分類及表現(xiàn)形式。

4.2 模型建立

隨著神經(jīng)生理學(xué)、認(rèn)知科學(xué)、計(jì)算神經(jīng)科學(xué)等學(xué)科的蓬勃發(fā)展，大量生理解剖學(xué)和心理學(xué)的事實(shí)為人們對(duì)生物視覺系統(tǒng)的深入理解提供了豐富的實(shí)驗(yàn)基礎(chǔ)。研究表明，整個(gè)人類視覺認(rèn)知過程包含 3層結(jié)構(gòu)：感知過程、思維過程和認(rèn)知過程。在人類視覺中，感知過程是信息獲取階段，完成將視覺轉(zhuǎn)換為圖像的任務(wù)，屬于計(jì)算機(jī)視覺中對(duì)應(yīng)的圖像處理過程；思維過程是信息處理階段，完成將圖像轉(zhuǎn)換為符號(hào)（數(shù)據(jù)）的任務(wù)，屬于計(jì)算機(jī)視覺中對(duì)應(yīng)的圖像分析過程；認(rèn)知過程是信息再生和存儲(chǔ)階段，完成將符號(hào)轉(zhuǎn)換為知識(shí)的任務(wù)，屬于計(jì)算機(jī)視覺中對(duì)應(yīng)的圖像理解過程。只有建立在人類視覺認(rèn)知的基礎(chǔ)上，心理狀態(tài)的圖像理解才能借助于計(jì)算機(jī)模擬人類視覺過程的信息獲取，并利用人工智能方法，在人類智能的水平上實(shí)現(xiàn)對(duì)心理狀態(tài)的推理、識(shí)別、學(xué)習(xí)和解釋能力。借鑒人類視覺認(rèn)知的3層結(jié)構(gòu)，提出一個(gè)多模態(tài)信息融合的多層級(jí)心理狀態(tài)視覺認(rèn)知計(jì)算模型框架。該模型根據(jù)人類對(duì)自身或他人心理狀態(tài)的理解過程，結(jié)合認(rèn)知科學(xué)中兩種主流的信息加工方法——自下而上的數(shù)據(jù)驅(qū)動(dòng)（data-driven）和自上而下的模型驅(qū)動(dòng)（model-driven），融合定量分析與定性分析、多模態(tài)信息、符號(hào)推理、知識(shí)表達(dá)等信息領(lǐng)域的成熟技術(shù)，建立心理狀態(tài)與外在行為（包括面部、頭部、眼睛、視線等）的映射關(guān)系。

心理狀態(tài)視覺認(rèn)知計(jì)算模型主要包括信號(hào)輸入、低層特征提取、中層目標(biāo)識(shí)別和高層心理狀態(tài)推理4個(gè)層次。其中信號(hào)輸入主要是通過攝像頭采集動(dòng)態(tài)視頻或讀取事先采集好的視頻圖像。低層特征提取，是把以“數(shù)字”形式表示的輸入信號(hào)轉(zhuǎn)換成以“符號(hào)”形式表示的基元特征，完成信息從定量描述到定性描述的轉(zhuǎn)換。中層目標(biāo)識(shí)別，是對(duì)目標(biāo)進(jìn)行特征分析和概念理解，即對(duì)低層特征的進(jìn)一步整合、抽象與概括，形成更加符合人類思維的抽象語義符號(hào)。與低層特征相比，中層目標(biāo)更接近于人的高級(jí)認(rèn)知表征，符合人類對(duì)事物的描述與主觀認(rèn)識(shí)，具有語義概念的特點(diǎn)。高層心理狀態(tài)推理，是在心理狀態(tài)模式知識(shí)庫的指導(dǎo)下，通過一組語義目標(biāo)類別自動(dòng)地對(duì)心理狀態(tài)進(jìn)行非線性推理，實(shí)現(xiàn)心理狀態(tài)理解并為中層目標(biāo)識(shí)別等其他過程提供上下文信息。充分利用心理狀態(tài)模式知識(shí)庫對(duì)未知類別的樣本進(jìn)行心理狀態(tài)分類，是高層心理狀態(tài)推理模塊的主要任務(wù)。

5 結(jié)束語

不管在何時(shí)何地，人都存在心理活動(dòng)，包括在與計(jì)算機(jī)進(jìn)行交互的時(shí)候。和語言文字相比，潛意識(shí)中人們更經(jīng)常選擇諸如語音語調(diào)、姿態(tài)及面部表情等非語言手段來表達(dá)他們的心理狀態(tài)。研究心理認(rèn)知計(jì)算的目的是希望計(jì)算機(jī)能夠通過分析人的外在行為達(dá)到對(duì)其內(nèi)部心理狀態(tài)的合理理解，特別是針對(duì)人機(jī)交互中人的目的、意圖或注意的推理判斷。該研究涉及許多技術(shù)領(lǐng)域，包括計(jì)算機(jī)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、社會(huì)學(xué)以及人類學(xué)等諸多學(xué)科，屬于交叉學(xué)科的基礎(chǔ)應(yīng)用研究。它順應(yīng)了計(jì)算機(jī)以人為本、個(gè)性化的發(fā)展方向，是一個(gè)嶄新的、前景廣闊并具有很大挑戰(zhàn)性的研究方向。當(dāng)前，對(duì)心理認(rèn)知計(jì)算的研究主要有以下3點(diǎn)意義。

1）可作為人工心理研究領(lǐng)域的一個(gè)算法支撐。人工心理是利用信息科學(xué)的手段，對(duì)人的心理活動(dòng)的再一次人工機(jī)器實(shí)現(xiàn)。但目前人工心理的模型建立主要集中在以心理學(xué)理論為主的情緒、情感建模上，其算法只是涉及到人臉識(shí)別和表情識(shí)別，且模態(tài)也比較單一，缺乏從人類的認(rèn)知機(jī)理角度出發(fā)，結(jié)合多生物特征信息，對(duì)心理狀態(tài)進(jìn)行綜合分析，建立心理計(jì)算的模型和方法。

2）可提高計(jì)算機(jī)的認(rèn)知能力。能夠從視頻序列中通過面部、頭部、視線方向和行為姿態(tài)信息來推斷人的心理狀態(tài)，彌補(bǔ)當(dāng)前表情識(shí)別系統(tǒng)的不足；可作為用戶目的或意圖的指示器，提高計(jì)算機(jī)對(duì)視覺信息的理解能力與處理效率，使其自主地適應(yīng)環(huán)境，更好地為人類服務(wù)。

3）可與其他的人機(jī)交互手段相結(jié)合，更有效地應(yīng)用于諸如E-learning、商品導(dǎo)購、智能家居、服務(wù)機(jī)器人等實(shí)際生活場(chǎng)景中。

此外，包含認(rèn)知狀態(tài)在內(nèi)的心理狀態(tài)分析也是心理學(xué)、精神分析、醫(yī)學(xué)等多學(xué)科領(lǐng)域的重要研究課題。心理狀態(tài)分析的研究成果能為它們提供很有價(jià)值的研究手段和方法。例如，孤獨(dú)癥譜系障礙（Autism Spectrum Disorder，ASD）患者，可以很好地識(shí)別出他人的基本情感狀態(tài)，卻不能正確識(shí)別他人的心理認(rèn)知狀態(tài)和其他非基本情感狀態(tài)。若能采用心理認(rèn)知狀態(tài)分析系統(tǒng)對(duì)ASD病癥患者進(jìn)行該方面的訓(xùn)練，必將提高他們的社會(huì)交往能力。此外心理狀態(tài)分析系統(tǒng)還能對(duì)精神疾病（抑郁癥、狂躁癥等）進(jìn)行病情監(jiān)視，為醫(yī)生提供必要的輔助分析手段。

當(dāng)然，心理狀態(tài)的視覺認(rèn)知計(jì)算也存在著一定的困難。

1）人們?nèi)粘＝涣髦袀鬟f的信息，可以分為“顯性”信息和“隱性”信息?！帮@性”信息即通過觀察可直接得到的，如對(duì)象是誰（人臉識(shí)別）以及包括唇讀等識(shí)別；而“隱性”信息不能直接觀察得到，只能通過人的外在行為加之環(huán)境、上下文及先驗(yàn)知識(shí)等因素進(jìn)行綜合推理分析得出。心理狀態(tài)即是“隱性”信息，存在太多的不確定性因素，很難實(shí)現(xiàn)對(duì)它的完全正確推斷。同時(shí)，心理狀態(tài)理解還存在一個(gè)認(rèn)知標(biāo)準(zhǔn)問題，即計(jì)算機(jī)能做到何種程度（達(dá)到多少百分比）就可認(rèn)為是比較好的認(rèn)知程度。

2）基于視頻圖像的面部分析是一個(gè)開放性的機(jī)器視覺研究問題，受到世界許多相關(guān)研究單位的廣泛關(guān)注，而在面部行為和心理狀態(tài)之間還缺乏一個(gè)普遍承認(rèn)的映射關(guān)系，所采取的結(jié)合方式如何被社會(huì)認(rèn)可，如何更具有說服力，是今后研究中必須面臨的一個(gè)問題。

3）多模態(tài)生物特征融合，在特征層、分析層和決策層都存在不同的融合算法，選擇哪個(gè)層進(jìn)行融合，運(yùn)用那些融合算法，才能使心理狀態(tài)推斷達(dá)到最佳效果，還沒有一定的結(jié)論，需要經(jīng)過反復(fù)實(shí)驗(yàn)得出。

4）在心理認(rèn)知外在表現(xiàn)（如情感、表情）的識(shí)別中，幾乎所有基于統(tǒng)計(jì)的方法都被使用、改進(jìn)過，其結(jié)果都大體相當(dāng)。然而，基于統(tǒng)計(jì)的方法是自下而上信息加工的主要實(shí)現(xiàn)手段。單純的自下而上信息加工處理速度快，但容易陷入局部性和目標(biāo)不明確性；而單純的自上而下信息加工能夠從全局考慮問題，避免局部性，但搜索問題解空間的速度太慢，最好的方法就是將兩者適當(dāng)?shù)慕Y(jié)合。因此，如何有效地將兩者結(jié)合仍是視覺認(rèn)知領(lǐng)域中一個(gè)長期的課題。

總之，由于涉及到計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)、心理學(xué)、生理學(xué)等眾多學(xué)科領(lǐng)域，心理狀態(tài)的認(rèn)知計(jì)算研究在國內(nèi)外還處于起步和探索階段，有很大的發(fā)展?jié)摿ΑＯＭ疚哪芷鸬綊伌u引玉的作用，引導(dǎo)國內(nèi)更多的學(xué)者加入到該研究的探索中來。?

（摘自《模式識(shí)別與人工智能》2011年第2期）