白帥帥 陳 超,2 魏 瑋 代璐瑤 劉 燁 邱 爽,6 何暉光,6

說(shuō)謊,是人類特有的一種心理現(xiàn)象,是指說(shuō)話人主觀刻意扭曲或隱瞞某些事實(shí)真相的行為.合理高效且準(zhǔn)確的謊言檢測(cè)技術(shù)對(duì)于維護(hù)國(guó)防安全、社會(huì)穩(wěn)定、司法公正等方面具有重大的現(xiàn)實(shí)意義[1].目前,利用多導(dǎo)生理儀采集心電、血壓、皮電等生理信號(hào)進(jìn)行測(cè)謊的研究取得了長(zhǎng)足的進(jìn)步,但仍存在結(jié)果容易受到外界環(huán)境干擾,無(wú)法擺脫反測(cè)謊策略[2]的問(wèn)題,致使基于多導(dǎo)生理儀測(cè)謊的性能不穩(wěn)定.

近年來(lái),利用腦電(Electroencephalogram,EEG)信號(hào)的事件相關(guān)電位(Event-related potential,ERP)測(cè)謊技術(shù)獲得了關(guān)注和研究.腦電是腦神經(jīng)活動(dòng)產(chǎn)生的電信號(hào),反映了大腦的認(rèn)知活動(dòng),并具有時(shí)間分辨率高、便于采集等優(yōu)勢(shì).與外周生理信號(hào)相比,基于腦電的測(cè)謊研究更有望從神經(jīng)機(jī)制的層面揭示謊言的誘發(fā)過(guò)程[3].P300 電位[4]是目前ERP 測(cè)謊技術(shù)研究中較為廣泛使用的一種ERP成分,體現(xiàn)在波形上是一個(gè)在刺激產(chǎn)生后300 ms左右腦電幅值正向的偏移,其波幅反映了工作記憶中背景更新的程度[5].P300 電位測(cè)謊技術(shù)基于上述背景更新理論,犯罪者相對(duì)于無(wú)辜者而言,往往掌握對(duì)案件更多的關(guān)鍵信息,對(duì)于犯罪相關(guān)信息有更深刻的認(rèn)知加工.因此,當(dāng)案件相關(guān)信息作為探針刺激呈現(xiàn)時(shí),相比無(wú)關(guān)刺激會(huì)誘發(fā)犯罪者更顯著的P300 電位,而對(duì)于無(wú)辜者則不會(huì).

事件相關(guān)電位測(cè)謊技術(shù)的研究主要包含測(cè)謊范式和腦電解碼方法兩個(gè)方面.其中,測(cè)謊范式的研究,一方面是為了提高謊言檢測(cè)的準(zhǔn)確性,另一方面是為了擺脫反測(cè)謊策略的影響.在測(cè)謊研究中廣泛使用的隱藏信息測(cè)試(Concealed information test,CIT)基于背景更新理論,通過(guò)設(shè)置與犯罪情節(jié)相關(guān)或無(wú)關(guān)的多項(xiàng)選擇問(wèn)題來(lái)判斷被試是否誘發(fā)了定向反應(yīng),從而進(jìn)行謊言檢測(cè),但CIT 范式仍然無(wú)法避免因被試通過(guò)對(duì)無(wú)關(guān)刺激與特定任務(wù)相關(guān)的反測(cè)謊策略造成的陽(yáng)性率降低.Rosenfeld 等[6]提出了一種復(fù)合反應(yīng)范式(Complex trial protocol,CTP),將單個(gè)刺激分成簡(jiǎn)單反應(yīng)與辨別反應(yīng).其中,簡(jiǎn)單反應(yīng)可以使被試誘發(fā)顯著的P300 電位;辨別反應(yīng)是為了確定被試的認(rèn)知注意保持在實(shí)驗(yàn)任務(wù)之上,從而擺脫反測(cè)謊策略的影響,是近年來(lái)在測(cè)謊應(yīng)用中研究更為廣泛的范式.2020 年,Chang 等[7]在CIT 范式上加以改進(jìn),開(kāi)發(fā)了一種基于視聽(tīng)刺激的ERP 謊言檢測(cè)范式,將被試姓名編輯為音頻文件作為音頻刺激,與作為圖片刺激的被試自傳體信息共同呈現(xiàn),但是無(wú)法保證聽(tīng)覺(jué)刺激不被其他非探針被試所知悉,導(dǎo)致其他非探針被試同樣會(huì)誘發(fā)顯著P300 成分.2022 年,Wang 等[8]基于快速序列視覺(jué)呈現(xiàn)(Rapid serial visual presentation,RSVP)范式的隱藏信息測(cè)試方法,提出了一種RCIT (RSVP-based concealed information test)測(cè)謊范式.在此實(shí)驗(yàn)范式框架下,高速出現(xiàn)的圖像刺激使得被試無(wú)暇分配更多認(rèn)知資源施加反測(cè)謊策略,但同時(shí)作者也在原文中指出,這種范式依然受制于探針刺激不易選取的問(wèn)題.

在事件相關(guān)電位測(cè)謊研究的腦電解碼中,傳統(tǒng)方法是對(duì)多個(gè)試次腦電疊加得到的ERP 成分的波幅、波面積和潛伏期等指標(biāo)進(jìn)行峰值檢測(cè)、靴值分析等統(tǒng)計(jì)學(xué)分析.之后,基于機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的方法在謊言檢測(cè)中得到了研究和進(jìn)步.2019 年,彭絲雨等[9]將互信息分析方法應(yīng)用至腦電分析領(lǐng)域,采用CIT 測(cè)謊范式,通過(guò)量化構(gòu)建說(shuō)謊與誠(chéng)實(shí)人群具有顯著性差異的電極對(duì)的互信息作為特征分類依據(jù),構(gòu)建出大腦功能網(wǎng)絡(luò).2020 年,Dodia 等[10]提出了一種基于極限學(xué)習(xí)機(jī)(Extreme learning machine,ELM)的ERP 謊言檢測(cè)算法,通過(guò)傅里葉變換提取腦電特征集,采用ELM 對(duì)特征集進(jìn)行訓(xùn)練分類.上述方法均涉及對(duì)腦電特征的手工設(shè)計(jì),近年來(lái),一些端到端的腦電分析方法在測(cè)謊應(yīng)用中得到了研究.同年,Baghel 等[11]利用卷積神經(jīng)網(wǎng)絡(luò)在所采集的14 導(dǎo)基于CIT 范式的腦電信號(hào)數(shù)據(jù)集上進(jìn)行謊言檢測(cè),其正確率為84.44%.2021 年,Bablani 等[12]基于CIT 范式,采用Fuzzy 系統(tǒng),提取EEG 信號(hào)的空間特征進(jìn)行分類,取得了93.54%的平均預(yù)測(cè)正確率.2022 年,Javaid 等[13]提出一種由EEG 信號(hào)引導(dǎo)基于視聽(tīng)信息的多模態(tài)謊言檢測(cè)模型,采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)視聽(tīng)信息分別在時(shí)域與頻域提取特征,利用一個(gè)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)對(duì)EEG 信號(hào)進(jìn)行表征,采用權(quán)重賦值的后期融合方式將3 種模態(tài)的特征信息進(jìn)行融合,最終得到83.5%的檢測(cè)正確率.

目前,已有的基于腦電謊言檢測(cè)的解碼技術(shù),在方法層面,傳統(tǒng)方法依賴研究人員手工設(shè)計(jì)特征,存在主觀性,無(wú)法擺脫因被試個(gè)體差異性造成個(gè)別被試的特征信息冗余或缺失[14].在數(shù)據(jù)層面,僅使用一個(gè)或少量導(dǎo)聯(lián),忽略了腦電在空間上的特性[15].近年來(lái),隨著腦-機(jī)接口技術(shù)的發(fā)展,新的端到端單試次腦電解碼算法和全腦腦電采集都有了長(zhǎng)足的進(jìn)步,在避免手工設(shè)計(jì)特征帶來(lái)缺陷的同時(shí)提供了更豐富的腦電信息,為推進(jìn)測(cè)謊技術(shù)進(jìn)一步發(fā)展提供了基礎(chǔ).如基于神經(jīng)網(wǎng)絡(luò)的腦電解碼算法[16-19],可以在不同腦-機(jī)接口范式中實(shí)現(xiàn)準(zhǔn)確的單試次腦電分類,在謊言檢測(cè)場(chǎng)景下也有相關(guān)研究.由于腦電的個(gè)體差異性,此類方法一般需要為每個(gè)個(gè)體訓(xùn)練對(duì)應(yīng)的解碼模型.訓(xùn)練過(guò)程需要謊言相關(guān)信息作為標(biāo)簽用來(lái)進(jìn)行有監(jiān)督的模型訓(xùn)練,但這一信息在應(yīng)用中是無(wú)法獲得的.如記錄了犯罪嫌疑人對(duì)N條犯罪信息(N類刺激)的腦電響應(yīng),但無(wú)從知曉其中哪些信息是與嫌疑人有關(guān)的(探針刺激),哪些是無(wú)關(guān)的(無(wú)關(guān)刺激),導(dǎo)致此類方法的訓(xùn)練和測(cè)試模式在實(shí)際中難以應(yīng)用.

基于背景更新[5]相關(guān)理論,相較與被試無(wú)關(guān)的信息而言,與被試有關(guān)的信息更能使被試誘發(fā)出顯著的P300 電位.也就是說(shuō),真正的探針刺激與真正的無(wú)關(guān)刺激所誘發(fā)的腦電樣本存在顯著差異;而真正的無(wú)關(guān)刺激之間卻沒(méi)有這種差異性.解碼模型可以通過(guò)腦電樣本的顯著差異性實(shí)現(xiàn)探針刺激與無(wú)關(guān)刺激的分類.基于此,本文提出了類自舉法,從數(shù)據(jù)分布假設(shè)的角度,解決了當(dāng)前單試次腦電分類方法的訓(xùn)練和測(cè)試模式無(wú)法應(yīng)用的問(wèn)題.

基于上述背景,本研究開(kāi)展基于CTP 的自我面孔信息識(shí)別任務(wù)實(shí)驗(yàn),采集了18 名被試的64 導(dǎo)聯(lián)全腦腦電信號(hào).研究近年提出的端到端P300 腦電解碼算法在測(cè)謊中的應(yīng)用,以及訓(xùn)練數(shù)據(jù)量對(duì)不同算法結(jié)果的影響.針對(duì)當(dāng)前單試次腦電解碼訓(xùn)練和測(cè)試模式無(wú)法在測(cè)謊中實(shí)際應(yīng)用的問(wèn)題,提出了一種類自舉法,基于不同的單試次腦電解碼算法,可以實(shí)現(xiàn)在少量數(shù)據(jù)情況下的準(zhǔn)確謊言預(yù)測(cè).

1 基于自我面孔信息的CTP 實(shí)驗(yàn)

本實(shí)驗(yàn)招募共計(jì)18 名被試,其中男性8 名,女性10 名,平均年齡為23.39±2.5 歲,且均在18～29歲之間.每名被試在實(shí)驗(yàn)開(kāi)始前均簽署知情同意書(shū).

1.1 實(shí)驗(yàn)范式

自我面孔識(shí)別任務(wù)采用復(fù)合反應(yīng)范式,探針刺激是由被試提供的本人證件照,無(wú)關(guān)刺激設(shè)置為4張由軟件合成的現(xiàn)實(shí)世界并不存在的人臉圖片(https://thispersondoesnotexist.com),以避免被試對(duì)無(wú)關(guān)刺激的知曉.探針刺激和無(wú)關(guān)刺激比例為1 :4.實(shí)驗(yàn)任務(wù)共10 組,每組任務(wù)包含60 試次,每個(gè)試次包含一個(gè)圖片刺激(人臉)和一個(gè)數(shù)字刺激;每張人臉圖像隨機(jī)呈現(xiàn)12 次.

單個(gè)試次流程如圖1 所示(圖中人臉圖片為軟件合成),每個(gè)試次包含一次簡(jiǎn)單反應(yīng)和一次辨別反應(yīng).每次反應(yīng)呈現(xiàn)時(shí)間均為300 ms,需要被試在接下來(lái)的空屏?xí)r間內(nèi)進(jìn)行特定行為學(xué)響應(yīng).具體實(shí)驗(yàn)流程為:圖片刺激呈現(xiàn)300 ms,緊接著呈現(xiàn)1 300～1 650 ms 隨機(jī)時(shí)長(zhǎng)的空屏.被試需要在空屏?xí)r間內(nèi)按下按鍵“A”表示自己看到了人臉圖片.而后呈現(xiàn)數(shù)字刺激300 ms,緊接著呈現(xiàn)1 300～1 650 ms 隨機(jī)時(shí)長(zhǎng)的空屏,若數(shù)字為“11 111”,被試需要在空屏?xí)r間內(nèi)按下方向鍵“←”;若為其他數(shù)字,按下方向鍵“→”.之后進(jìn)入下一個(gè)試次呈現(xiàn)刺激圖片,依次循環(huán).其中隨機(jī)時(shí)長(zhǎng)的刺激間隔可以避免被試對(duì)即將出現(xiàn)的刺激產(chǎn)生固定預(yù)期.為了強(qiáng)制被試關(guān)注圖片刺激,每組任務(wù)中,每20～30 試次會(huì)對(duì)被試進(jìn)行隨機(jī)測(cè)試,要求被試識(shí)別上個(gè)試次的圖片刺激.每個(gè)試次時(shí)長(zhǎng)約3.5 s,每組任務(wù)時(shí)長(zhǎng)約4 min,組間強(qiáng)制被試休息超過(guò)30 s,10 組任務(wù)時(shí)長(zhǎng)共計(jì)約45 min.

圖1 單試次實(shí)驗(yàn)流程圖Fig.1 Flow chart of a single-trial experiment

對(duì)于每名被試,正式實(shí)驗(yàn)開(kāi)始之前需要記錄被試的靜息腦電,包括閉眼靜息腦電和睜眼靜息腦電.完成靜息后,給予被試標(biāo)準(zhǔn)化任務(wù)指導(dǎo)語(yǔ),并利用一些日常用品圖像讓被試進(jìn)行按鍵練習(xí).之后實(shí)驗(yàn)正式開(kāi)始.

1.2 腦電采集與預(yù)處理

本實(shí)驗(yàn)的腦電信號(hào)采集系統(tǒng)使用Neuroscan 公司生產(chǎn)的64 導(dǎo)腦電儀.腦電電極按照10/20 系統(tǒng)排布,采用左側(cè)乳突M1 為參考電極,前額GND 電極為地電極,電極與頭皮之間的阻抗均降至5 kΩ以下,并通過(guò)SCAN 軟件同步記錄腦電數(shù)據(jù),由放大器放大,采樣頻率為1 000 Hz.在正式實(shí)驗(yàn)開(kāi)始后,被試均被要求不能頻繁眨眼,頭部保持靜止,身體盡量保持不動(dòng),且實(shí)驗(yàn)過(guò)程中保證實(shí)驗(yàn)環(huán)境靜音.

對(duì)于采集的腦電數(shù)據(jù),按照實(shí)驗(yàn)分組使用EEGLAB 工具箱[20]進(jìn)行預(yù)處理.首先進(jìn)行通帶為0.5～15 Hz 的帶通濾波,采用3 階巴特沃斯線性相位濾波器實(shí)現(xiàn).接著將數(shù)據(jù)降采樣為250 Hz.最后進(jìn)行數(shù)據(jù)分段,選擇每試次中圖像刺激誘發(fā)的腦電,從圖像刺激發(fā)生時(shí)刻開(kāi)始,到之后的1 000 ms 進(jìn)行數(shù)據(jù)分割,獲得一個(gè)單試次腦電樣本.由于基于神經(jīng)網(wǎng)絡(luò)的腦電解碼方法對(duì)于輸入的歸一化需求,對(duì)每個(gè)單試次腦電樣本按照導(dǎo)聯(lián)進(jìn)行歸一化(零均值、單位方差).對(duì)于每名被試者,可以獲得60 × 10 (試次 × 組)個(gè)單試次腦電樣本,每個(gè)腦電樣本大小為63 × 250 (導(dǎo)聯(lián) × 時(shí)間).

2 類自舉策略與P300 腦電分類方法

2.1 類自舉策略

在基于自我面孔信息的CTP 實(shí)驗(yàn)中,對(duì)數(shù)據(jù)進(jìn)行預(yù)處理后,每名被試有腦電數(shù)據(jù),其中,xi∈R63×250為每張圖片刺激誘發(fā)的單試次腦電樣本,ypici∈{0,1,···,4}為誘發(fā)腦電的圖像標(biāo)簽.探針預(yù)測(cè)的基本任務(wù)是對(duì)于每名被試,利用D預(yù)測(cè)探針刺激的標(biāo)簽Y∈{0,1,···,4}.對(duì)于單試次腦電任務(wù)而言,需要對(duì)每個(gè)腦電樣本xi,預(yù)測(cè)對(duì)應(yīng)的腦電標(biāo)簽,0 表示xi為無(wú)關(guān)刺激所誘發(fā)的腦電,1 表示xi為探針刺激所誘發(fā)的腦電.單試次腦電分析模型的訓(xùn)練中,需要每個(gè)腦電樣本xi和對(duì)應(yīng)的.但在實(shí)際測(cè)謊中,一方面,難以保證圖像探針標(biāo)簽的正確選取或者泄露[8],從而也無(wú)法獲得對(duì)應(yīng)以訓(xùn)練腦電分類模型;另一方面,腦電信號(hào)信噪比低,單試分類的結(jié)果往往不穩(wěn)定[21](如同一刺激,在不同試次呈現(xiàn)所誘發(fā)的單試次腦電被分為不同類),且探針預(yù)測(cè)任務(wù)需要正確判斷某類刺激是否為探針刺激而往往并不關(guān)注單試分類的結(jié)果.針對(duì)上述問(wèn)題,本研究提出一種基于單試次腦電分類的類自舉算法,旨在實(shí)現(xiàn)一種在測(cè)謊應(yīng)用場(chǎng)景下實(shí)際可用的腦電解碼方法.

在本文進(jìn)行的CTP 實(shí)驗(yàn)任務(wù)中,呈現(xiàn)給被試的刺激包括探針刺激與無(wú)關(guān)刺激.探針刺激為被試的自我面孔信息,無(wú)關(guān)刺激為現(xiàn)實(shí)世界并不存在的面孔,對(duì)于被試而言是陌生且無(wú)意義的.根據(jù)背景更新[5]理論,相較于無(wú)關(guān)刺激,探針刺激會(huì)誘發(fā)更為顯著的P300.從數(shù)據(jù)分布的角度,在類別空間中,探針刺激誘發(fā)的不同腦電樣本屬于同一分布,無(wú)關(guān)刺激誘發(fā)的不同腦電樣本屬于同一分布,而兩者之間數(shù)據(jù)分布存在差異性.如圖2 所示,在此假設(shè)前提下,若將自我面孔信息作為探針刺激標(biāo)簽,構(gòu)造腦電樣本標(biāo)簽訓(xùn)練分類算法時(shí),算法可以根據(jù)各類數(shù)據(jù)分布實(shí)現(xiàn)有效的模型訓(xùn)練和分類(圖2(a));若將陌生人臉圖像作為探針刺激的標(biāo)簽,算法無(wú)法根據(jù)同分布數(shù)據(jù)實(shí)現(xiàn)有效訓(xùn)練,模型不具備分類能力(圖2(b)).基于此數(shù)據(jù)分布假設(shè),類自舉法分別將不同類的刺激視為探針刺激訓(xùn)練模型和測(cè)試,依據(jù)分類性能對(duì)探針刺激進(jìn)行預(yù)測(cè).

圖2 類自舉法的分布假設(shè)示意圖Fig.2 Schematic diagram of distribution hypothesis of the class bootstrap method

類自舉法對(duì)被試進(jìn)行探針刺激預(yù)測(cè)時(shí),輸入數(shù)據(jù)D,輸出預(yù)測(cè)的探針刺激對(duì)應(yīng)的標(biāo)簽Y.算法的主要流程是將5 種類別刺激依次視為探針刺激,分別構(gòu)建對(duì)應(yīng)的腦電樣本標(biāo)簽,劃分訓(xùn)練集和驗(yàn)證集;在訓(xùn)練集上訓(xùn)練單試次腦電分類器,并在驗(yàn)證集上進(jìn)行測(cè)試,獲得分類均衡精度;綜合5 種刺激分別作為探針刺激時(shí)驗(yàn)證集的分類均衡精度,最高精度對(duì)應(yīng)的圖像刺激為探針刺激,并將其輸出.

對(duì)應(yīng)本文的實(shí)驗(yàn)場(chǎng)景,類自舉法實(shí)現(xiàn)的偽代碼如算法1 所示.

輸入為單試次腦電分類模型f(·),腦電數(shù)據(jù)X=對(duì)應(yīng)圖像標(biāo)簽,其中,∈{0,1,2,3,4};輸出為探針刺激.

算法1.類自舉法

2.2 腦電P300 分類算法

在應(yīng)用中,每名被試者能獲取的腦電數(shù)據(jù)有限,導(dǎo)致訓(xùn)練數(shù)據(jù)十分稀有.基于此,在單試次腦電樣本分類算法的選擇上,本文選擇了幾種在小訓(xùn)練數(shù)據(jù)量上有較好性能表現(xiàn)的端到端腦電分類算法,包括傳統(tǒng)機(jī)器學(xué)習(xí)方法(HDCA[22]、MDRM[23])及神經(jīng)網(wǎng)絡(luò)方法(EEGNet[24]、OCLNN[25]和PLNet[26]),上述分類算法模型結(jié)構(gòu)簡(jiǎn)單,訓(xùn)練參數(shù)量小,魯棒性好.此外,采用常用的傳統(tǒng)P300 腦電分類算法作為對(duì)比方法.

1)分層判別成分分析(Hierarchical discriminant component analysis,HDCA)[22]:是一種在空間、時(shí)間維度依次提取腦電特征并進(jìn)行分類的方法,由Gerson 等[22]于2006 年提出,應(yīng)用在基于快速序列視覺(jué)呈現(xiàn)的目標(biāo)檢索任務(wù)的P300 分類中.對(duì)于單試次腦電樣本(導(dǎo)聯(lián) × 時(shí)間),在時(shí)間維度切分k個(gè)時(shí)間窗,對(duì)于每時(shí)間窗的數(shù)據(jù)分別訓(xùn)練一個(gè)線性判別分類器(Linear discriminant analysis,LDA),計(jì)算在導(dǎo)聯(lián)(空間)的投影,將投影后的各時(shí)間窗拼接,訓(xùn)練一個(gè)時(shí)間維度的LDA 分類器,并進(jìn)行分類.HDCA 算法具有簡(jiǎn)單、計(jì)算量小的優(yōu)勢(shì).

2)最小黎曼均值方法(Minimum distance to riemannian mean,MDRM)[23]:是一種基于黎曼幾何的P300 分類方法,由Barachant 等[23]于2012 年提出,應(yīng)用于P300 腦電二分類問(wèn)題.該方法在訓(xùn)練中構(gòu)建包含P300 的模板,在導(dǎo)聯(lián)維度拼接模板和單試次腦電,通過(guò)計(jì)算樣本協(xié)方差矩陣將腦電轉(zhuǎn)換到黎曼流形空間,在流形空間分布計(jì)算類別均值,按照最近鄰的思想進(jìn)行分類.MDRM 方法對(duì)P300不同的潛伏期和訓(xùn)練數(shù)據(jù)量具有較好的魯棒性.

3)EEGNet[24]:是一種基于卷積神經(jīng)網(wǎng)絡(luò)的腦電分類方法,由Lawhern 等[24]于2018 年提出,可應(yīng)用在腦電P300 分類中.EEGNet 中包含多個(gè)卷積層,分別從導(dǎo)聯(lián)、時(shí)間維度提取特征,再利用深度卷積融合特征信息及全連接層進(jìn)行分類.EEGNet 具有網(wǎng)絡(luò)結(jié)構(gòu)緊湊、應(yīng)用范式多樣的優(yōu)勢(shì).

4)OCLNN (One convolutional lager nerual network)[25]:是一種單層卷積神經(jīng)網(wǎng)絡(luò)的腦電分類方法,由Shan 等[25]于2018 年提出,應(yīng)用于基于P300 電位的腦-機(jī)接口拼寫(xiě)器中.網(wǎng)絡(luò)僅包含一個(gè)卷積層,同時(shí)從時(shí)間和導(dǎo)聯(lián)維度提取特征,并使用全連接層進(jìn)行分類.OCLNN 具有網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、參數(shù)量小、易于訓(xùn)練的優(yōu)勢(shì).

5)PLNet[26]:是一種基于卷積神經(jīng)網(wǎng)絡(luò)的腦電分類方法,由Zang 等[26]于2021 年提出,應(yīng)用于基于快速序列視覺(jué)呈現(xiàn)的目標(biāo)檢索任務(wù)的P300 分類中.類似于EEGNet,網(wǎng)絡(luò)不同的卷積層分別對(duì)腦電的時(shí)間空間維度提取特征,通過(guò)維度轉(zhuǎn)換的方式實(shí)現(xiàn)不同維度特征的融合提取,全連接層進(jìn)行分類.PLNet 是目前提出的最新的腦電P300 分類算法,并實(shí)現(xiàn)了優(yōu)于EEGNet 的性能.

2.3 實(shí)驗(yàn)設(shè)計(jì)

2.3.1 實(shí)驗(yàn)方法

為了研究近年提出的P300 腦電分類算法在謊言預(yù)測(cè)任務(wù)中的有效性以及類自舉法的性能,設(shè)計(jì)了兩種實(shí)驗(yàn):單試次腦電分類和基于腦電的探針預(yù)測(cè)任務(wù).此外,基于自我面孔信息的CTP 實(shí)驗(yàn)中每名被試包含10 組數(shù)據(jù),在腦電分析實(shí)驗(yàn)中也對(duì)使用數(shù)據(jù)量對(duì)方法性能的影響進(jìn)行了分析.

單試次腦電分類實(shí)驗(yàn)使用單試次腦電數(shù)據(jù)xi及對(duì)應(yīng)的探針標(biāo)簽訓(xùn)練腦電分類算法,對(duì)測(cè)試樣本進(jìn)行二分類.在單試次腦電分類實(shí)驗(yàn)中,研究不同訓(xùn)練數(shù)據(jù)量及不同腦電分析方法的分類性能,結(jié)果主要用于對(duì)不同算法在測(cè)謊應(yīng)用中的有效性分析.具體實(shí)現(xiàn)為,對(duì)于每一名被試,選擇其前P組(P∈{1,2,3,4,5})作為訓(xùn)練集訓(xùn)練單試次腦電分類模型,采用余下的10-P組數(shù)據(jù)作為測(cè)試集,測(cè)試模型分類性能.實(shí)驗(yàn)對(duì)比了不同端到端單試次腦電分類方法:傳統(tǒng)機(jī)器學(xué)習(xí)方法HDCA、MDRM與基于神經(jīng)網(wǎng)絡(luò)的方法OCLNN、EEGNet 和PLNet.此外,選擇了不同的傳統(tǒng)腦電分類算法進(jìn)行對(duì)比,分別使用時(shí)域特征、空域特征和小波域特征訓(xùn)練分類器(SVM (Support vector machine)或LDA)進(jìn)行分類,相關(guān)特征在基于腦電的測(cè)謊中已有研究[12,27-28].在基于神經(jīng)網(wǎng)絡(luò)算法的單試次腦電分類實(shí)驗(yàn)中,采用了10 折交叉驗(yàn)證的方式對(duì)訓(xùn)練集進(jìn)一步劃分訓(xùn)練集和驗(yàn)證集,最后分類結(jié)果為多折平均結(jié)果.

在基于腦電的探針預(yù)測(cè)實(shí)驗(yàn)中,使用探針預(yù)測(cè)算法對(duì)每名被試進(jìn)行探針(Y)預(yù)測(cè).研究不同數(shù)據(jù)量、不同方法對(duì)探針預(yù)測(cè)準(zhǔn)確性的影響.具體實(shí)現(xiàn)為,分別使用每名被試腦電數(shù)據(jù)的前P組(P∈{2,3,4,5,6})進(jìn)行探針預(yù)測(cè)任務(wù).對(duì)于類自舉法而言,在算法執(zhí)行中,使用前[P/2]組數(shù)據(jù)作為類自舉法訓(xùn)練集,余下的P-[P/2]組數(shù)據(jù)作為類自舉法驗(yàn)證集,每名被試進(jìn)行一次探針預(yù)測(cè).其中,基于神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行了10 折交叉驗(yàn)證.在基于腦電的探針預(yù)測(cè)實(shí)驗(yàn)中,采用自舉波幅差法(Bootstrapped amplitude difference,BAD)[6]作為對(duì)比方法.BAD是一種當(dāng)前普遍采用的探針檢測(cè)算法[26],對(duì)所有刺激類別,首先取該類刺激的P300 波幅的峰峰值(PP)或基峰值(B-P)平均值;隨后隨機(jī)抽取與該類刺激同等樣本量的剩余刺激并重復(fù)100 次,逐次平均,獲得剩余刺激的P300 波幅的峰峰值(P-P)或基峰值(B-P)池;最后檢測(cè)該類刺激的P300 波幅值在剩余刺激的P300 波幅值池中的百分位排名,如該類刺激的P300 波幅值在剩余刺激P300 波幅值池中的百分位排名大于95%,則預(yù)測(cè)該類刺激為探針.

2.3.2 實(shí)驗(yàn)參數(shù)

表1 列舉了單試次腦電解碼實(shí)驗(yàn)中所采用腦電分類方法的主要參數(shù)和代碼來(lái)源.

表1 單試次腦電解碼實(shí)驗(yàn)主要參數(shù)Table 1 Main parameters of single-trial EEG decoding experiment

由于探針刺激與無(wú)關(guān)刺激的比例為1 :4,存在類不均衡問(wèn)題.因此,對(duì)于神經(jīng)網(wǎng)絡(luò)方法(OCLNN、EEGNet 和PLNet),按類別比例對(duì)損失函數(shù)加權(quán),正樣本權(quán)重為 1,負(fù)樣本權(quán)重為 0.25.實(shí)驗(yàn)均在一臺(tái)擁有12 GB 內(nèi)存和NVIDIA GeForce GTX 1080 Ti GPU 的Linux 服務(wù)器上進(jìn)行.

2.3.3 實(shí)驗(yàn)度量指標(biāo)

為了對(duì)比與分析方法性能,本文采用兩種度量指標(biāo):均衡精度(Balanced accuracy,BA)及探針預(yù)測(cè)正確率.均衡精度用于衡量單試次腦電分類任務(wù)的性能,單試次腦電分類為腦電的二分類問(wèn)題,探針刺激誘發(fā)的腦電為正類,無(wú)關(guān)刺激誘發(fā)的腦電為負(fù)類,正負(fù)樣本比例為1 :4.由于類別之間存在著數(shù)量上的不均衡性,本研究采用均衡精度作為評(píng)價(jià)模型性能的指標(biāo).均衡精度表示了正樣本和負(fù)樣本分類正確率的平均值,是類別不均衡問(wèn)題中更能反映模型正負(fù)樣本均衡正確率的指標(biāo).計(jì)算式為

其中,TPR為正樣本的分類正確率,TNR為負(fù)樣本的分類正確率.TP代表被分為正類的正樣本數(shù);TN代表被分為負(fù)類的負(fù)樣本數(shù);FN代表被分為負(fù)類的正樣本數(shù);FP代表被分為正類的負(fù)樣本數(shù).

探針預(yù)測(cè)實(shí)驗(yàn)中,對(duì)每一名被試進(jìn)行一次探針預(yù)測(cè),即判定圖像刺激中的某一個(gè)為探針刺激,若判定的圖像刺激確為探針刺激則預(yù)測(cè)正確.探針預(yù)測(cè)正確率為正確預(yù)測(cè)探針被試數(shù)占所有被試的百分比.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 事件相關(guān)電位分析

圖3 展示了本文所采集的18 名被試的Pz 導(dǎo)聯(lián)的平均事件相關(guān)電位波形.

圖3 事件相關(guān)電位波形圖Fig.3 Event-related potential waveform

圖3 中實(shí)線為探針刺激所誘發(fā)的事件相關(guān)電位波形,虛線為非目標(biāo)刺激所誘發(fā)的事件相關(guān)電位波形,對(duì)應(yīng)陰影區(qū)域?yàn)閮烧邩?biāo)準(zhǔn)差.從圖3 中可以看出,探針刺激和無(wú)關(guān)刺激均可以誘發(fā)包含P300 成分的ERP.探針刺激所誘發(fā)的P300 電位峰值潛伏期為556 ms,無(wú)關(guān)刺激所誘發(fā)的P300 電位峰值潛伏期為604 ms,探針刺激所誘發(fā)的P300 電位幅值大于無(wú)關(guān)刺激.圖3 結(jié)果表明了所設(shè)計(jì)實(shí)驗(yàn)和采集數(shù)據(jù)的有效性.

3.2 單試次腦電分類結(jié)果

表2(*表示在每個(gè)訓(xùn)練數(shù)據(jù)量下,對(duì)比方法與最優(yōu)性能方法均衡精度之間具有統(tǒng)計(jì)顯著性差異性,*:p＜0.05;**:p＜0.01;***:p＜0.001,p表示顯著性概率值)展示了不同方法在不同訓(xùn)練數(shù)據(jù)量下的單試次腦電樣本分類均衡精度.雙因素重復(fù)測(cè)量方差分析的結(jié)果表明,不同訓(xùn)練數(shù)據(jù)量和不同方法兩種因素對(duì)于單試次腦電解碼均具有顯著性影響(不同方法:F(4,68)=33.179,p＜0.01;不同數(shù)據(jù)量:F(1.734,29.470)=77.438,p＜0.01,F表示方差分析的F 統(tǒng)計(jì)量),且因素間存在顯著的交互作用(F(5.967,101.447)=4.902,p＜0.01).在1 組訓(xùn)練數(shù)據(jù)量下,EEGNet 單試分類性能顯著優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法(所有p＜0.01),顯著優(yōu)于OCLNN(p＜0.001),性能高于PLNet (無(wú)統(tǒng)計(jì)顯著).在2～5 組訓(xùn)練數(shù)據(jù)量下,PLNet 單試分類性能顯著優(yōu)于其他對(duì)比方法(均有p＜0.05).

表2 不同方法在不同訓(xùn)練數(shù)據(jù)量下的分類均衡精度(均值±標(biāo)準(zhǔn)差)(%)Table 2 Balanced accuracy of different methods under different training data (mean±standard deviation)(%)

從表2 的結(jié)果可見(jiàn),對(duì)于不同的單試次腦電分類方法,均呈現(xiàn)了分類精度隨著訓(xùn)練數(shù)據(jù)量增加而增加的趨勢(shì).在一組訓(xùn)練數(shù)據(jù)量下,EEGNet 取得了最佳的單試次腦電分類性能,隨著訓(xùn)練數(shù)據(jù)量的提升,在2～5 組訓(xùn)練數(shù)據(jù)量下,PLNet 取得了優(yōu)于其他算法的顯著性能;傳統(tǒng)腦電解碼方法在小訓(xùn)練數(shù)據(jù)量(1 組)下,單試分類性能要優(yōu)于一般的端到端方法機(jī)器學(xué)習(xí)算法(HDCA、MDRM),但是隨著訓(xùn)練數(shù)據(jù)量的增加,領(lǐng)先優(yōu)勢(shì)逐漸消失,在3 組訓(xùn)練數(shù)據(jù)量下,基于傳統(tǒng)機(jī)器學(xué)習(xí)的端到端方法的單試分類性能優(yōu)于時(shí)域及小波域兩種傳統(tǒng)分類方法.隨著訓(xùn)練數(shù)據(jù)量的提升,基于神經(jīng)網(wǎng)絡(luò)的方法均顯著優(yōu)于其他腦電分類方法.此外,隨著訓(xùn)練數(shù)據(jù)量的增加,在相同訓(xùn)練數(shù)據(jù)量提升下,與傳統(tǒng)方法相比,基于神經(jīng)網(wǎng)絡(luò)的方法的分類精度提升更大.

3.3 探針預(yù)測(cè)結(jié)果

基于腦電的探針預(yù)測(cè)結(jié)果如表3 所示.從表3的結(jié)果可見(jiàn),在使用不同數(shù)量的腦電數(shù)據(jù)情況下,基于PLNet 的類自舉法探針預(yù)測(cè)結(jié)果準(zhǔn)確率最高,并高于對(duì)比方法.在僅使用2 組數(shù)據(jù)情況下,基于PLNet/OCLNN 的類自舉法探針預(yù)測(cè)可以實(shí)現(xiàn)88.89%的預(yù)測(cè)準(zhǔn)確率;隨著使用的腦電數(shù)據(jù)量的增加,探針預(yù)測(cè)的準(zhǔn)確性隨之提升,在使用3～6 組腦電數(shù)據(jù)情況下,基于PLNet 和EEGNet 的類自舉法探針預(yù)測(cè)性能相同且為對(duì)比方法中最優(yōu),在6 組數(shù)據(jù)量下,可實(shí)現(xiàn)100.00%正確探針預(yù)測(cè).對(duì)比方法BAD (P-P)在使用3 組數(shù)據(jù)的情況下可實(shí)現(xiàn)與基于神經(jīng)網(wǎng)絡(luò)的類自舉探針預(yù)測(cè)方法相同的性能.

表3 不同方法在不同數(shù)據(jù)量下的探針預(yù)測(cè)正確率 (%)Table 3 Probe prediction accuracy of different methods under different data volume (%)

隨著使用數(shù)據(jù)量的增加,BAD 方法的探針預(yù)測(cè)性能呈現(xiàn)了增加(2～4 組數(shù)據(jù))而后到達(dá)平臺(tái)期(4～6 組數(shù)據(jù))的變化趨勢(shì).類自舉法的探針預(yù)測(cè)性能整體呈現(xiàn)了隨使用數(shù)據(jù)量增加而增長(zhǎng)的趨勢(shì).基于神經(jīng)網(wǎng)絡(luò)的類自舉法在僅需要更少的數(shù)據(jù)情況下(OCLNN、EEGNet 和PLNet 在2 組數(shù)據(jù)下)便可以實(shí)現(xiàn)傳統(tǒng)方法在更多訓(xùn)練數(shù)據(jù)情況下(如BAD、HDCA 和MDRM 在5 組數(shù)據(jù)下)才得以實(shí)現(xiàn)的探針預(yù)測(cè)性能.此外,統(tǒng)計(jì)類自舉法的算法耗時(shí)的結(jié)果表明,在采用PLNet 進(jìn)行類自舉探針預(yù)測(cè)的情況下,使用不同數(shù)據(jù)量的情況下訓(xùn)練時(shí)間十分相近,平均時(shí)長(zhǎng)為17.5±0.7 min.采用BAD 方法進(jìn)行探針預(yù)測(cè)的算法耗時(shí)短,平均時(shí)長(zhǎng)為1.46±1.39 s.雖然BAD 算法的計(jì)算復(fù)雜度低,不需要額外訓(xùn)練模型的時(shí)間,但其探針預(yù)測(cè)精度低于類自舉法.類自舉法的實(shí)驗(yàn)結(jié)果表明,使用越多的任務(wù)數(shù)據(jù),探針預(yù)測(cè)性能越高,也會(huì)導(dǎo)致實(shí)際中任務(wù)實(shí)施時(shí)長(zhǎng)的增加.類自舉法在實(shí)際應(yīng)用中,可以按照實(shí)際的時(shí)間與任務(wù)精度需求實(shí)施.綜合單試分類、探針預(yù)測(cè)準(zhǔn)確率的結(jié)果看,數(shù)據(jù)驅(qū)動(dòng)的端到端腦電分類算法受到訓(xùn)練數(shù)據(jù)量的影響較大,模型準(zhǔn)確率隨著訓(xùn)練數(shù)據(jù)量的增加而增加.由于訓(xùn)練樣本少,單試次腦電分類性能較差;而本文所提出的類自舉法結(jié)合神經(jīng)網(wǎng)絡(luò)方法可以實(shí)現(xiàn)準(zhǔn)確的探針預(yù)測(cè).

3.4 可視化分析

為驗(yàn)證本文所提出的類自舉法的假設(shè)及方法的有效性,本研究對(duì)模型輸出特征進(jìn)行了可視化分析,圖4 展示了其中一名被試在類自舉法使用5 組數(shù)據(jù)情況下的可視化結(jié)果.使用前3 組腦電數(shù)據(jù),分別將5 類圖像刺激視為探針刺激構(gòu)造對(duì)應(yīng)單試次腦電的二元標(biāo)簽(探針刺激:1,無(wú)關(guān)刺激:0),訓(xùn)練PLNet.使用后2 組數(shù)據(jù)作為輸入,將PLNet 模型中卷積網(wǎng)絡(luò)所提出的特征,使用tSNE 方法降至二維,并繪制散點(diǎn)圖.

圖4 類自舉法中不同腦電標(biāo)簽訓(xùn)練解碼模型的特征可視化Fig.4 Feature visualization of decoding models trained with different EEG labels in class bootstrap method

如圖4(a)所示,真正的探針刺激作為正樣本構(gòu)建腦電標(biāo)簽情況下,所訓(xùn)練模型的特征空間中,探針刺激所誘發(fā)的腦電樣本分布集中,且與無(wú)關(guān)刺激腦電樣本具有一定的可分性.而圖4(b)～4(e)的結(jié)果表明,在無(wú)關(guān)刺激被視為探針刺激構(gòu)造單試次腦電標(biāo)簽進(jìn)行訓(xùn)練后,模型無(wú)法學(xué)習(xí)到有效的分類模式,不同圖像刺激所誘發(fā)腦電樣本的分布十分混亂,探針刺激與無(wú)關(guān)刺激之間不具有可分性.上述結(jié)果也表明了類自舉法的數(shù)據(jù)分布假設(shè)的正確性和方法的有效性.

4 總結(jié)與展望

本文面向謊言預(yù)測(cè)的腦電信號(hào)解碼研究,設(shè)計(jì)了基于CTP 的自我面孔信息任務(wù),開(kāi)展實(shí)驗(yàn)采集了18 名被試者的任務(wù)腦電數(shù)據(jù),研究分析了近年來(lái)廣泛應(yīng)用于腦-機(jī)接口領(lǐng)域的P300 腦電分類方法在測(cè)謊場(chǎng)景下的應(yīng)用.針對(duì)當(dāng)前單試次腦電分類方法的訓(xùn)練與測(cè)試模式無(wú)法應(yīng)用等問(wèn)題,基于數(shù)據(jù)分布的假設(shè),提出了一種類自舉法以實(shí)現(xiàn)實(shí)際可用的探針預(yù)測(cè)方法.實(shí)驗(yàn)結(jié)果表明,端到端的單試次腦電分類算法在測(cè)謊應(yīng)用中具有可行性,且分類性能受到訓(xùn)練數(shù)據(jù)量的影響;所提出基于單試次腦電分類的類自舉法可以實(shí)現(xiàn)準(zhǔn)確的探針預(yù)測(cè),可視化分析的結(jié)果也表明了類自舉法的前提假設(shè)與方法的有效性.

在本研究所開(kāi)展的基于CTP 實(shí)驗(yàn)中,每名被試均有自我面孔信息作為探針刺激,因此,被試中不包含無(wú)辜者.雖然本文所進(jìn)行的探針預(yù)測(cè)任務(wù)不包含對(duì)無(wú)辜者的甄別,但是提出的類自舉法可以通過(guò)設(shè)置分類性能的閾值來(lái)進(jìn)行無(wú)辜者判定,這也是我們后續(xù)繼續(xù)推進(jìn)的研究?jī)?nèi)容,并將開(kāi)展相關(guān)實(shí)驗(yàn)進(jìn)行分析和驗(yàn)證.此外,針對(duì)知情無(wú)辜者的問(wèn)題,有研究證明[29],早期后部負(fù)電位(Early posterior negativity,EPN)會(huì)在與自我相關(guān)的背景信息中得以顯著誘發(fā),可作為區(qū)分有罪者與知情無(wú)罪者的一種ERP 成分.后續(xù)研究擬在P300-CTP 組合測(cè)謊模式中加入對(duì)EPN 成分的分析,來(lái)進(jìn)一步探究EPN成分的誘發(fā)效應(yīng)與無(wú)辜者甄別能力.